JP2017084132A - Operation recording reproduction program, operation reproduction program, operation recording reproduction system, and operation recording reproduction method - Google Patents

Operation recording reproduction program, operation reproduction program, operation recording reproduction system, and operation recording reproduction method Download PDF

Info

Publication number
JP2017084132A
JP2017084132A JP2015212287A JP2015212287A JP2017084132A JP 2017084132 A JP2017084132 A JP 2017084132A JP 2015212287 A JP2015212287 A JP 2015212287A JP 2015212287 A JP2015212287 A JP 2015212287A JP 2017084132 A JP2017084132 A JP 2017084132A
Authority
JP
Japan
Prior art keywords
recording
information
recorded
record information
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015212287A
Other languages
Japanese (ja)
Other versions
JP6797524B2 (en
Inventor
真士 小林
Shinji Kobayashi
真士 小林
桃子 尾崎
Momoko Ozaki
桃子 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015212287A priority Critical patent/JP6797524B2/en
Publication of JP2017084132A publication Critical patent/JP2017084132A/en
Application granted granted Critical
Publication of JP6797524B2 publication Critical patent/JP6797524B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an operation recording reproduction program, an operation reproduction program, an operation recording reproduction system and an operation recording reproduction method.SOLUTION: A recording device 100, when a drag and drop operation is performed on an object 103 of an icon B, records operation recording information 200 including object specific information 21 which specifies an object of the icon B and operation type information 22 which indicates a movement operation (drag and drop operation). A reproduction device 300 identifies an object to be operated as the icon B according to the object specific information, specifies an operation which has been performed on the object as the movement operation according to the operation type information, causes the drag operation and the drop operation with respect to the icon B to occur and thereby an operation with respect to the object to be operated on a display screen can be reproduced.SELECTED DRAWING: Figure 2

Description

本発明は、操作記録再生プログラム、操作再生プログラム、操作記録再生システム及び操作記録再生方法に関する。   The present invention relates to an operation recording / reproducing program, an operation reproducing program, an operation recording / reproducing system, and an operation recording / reproducing method.

従来では、コンピュータに対する操作内容を記録し、記録した操作内容を再生することで、操作を再現する技術が知られている。   2. Description of the Related Art Conventionally, a technique for reproducing an operation by recording an operation content for a computer and reproducing the recorded operation content is known.

また、従来では、操作画面において操作が行われた位置を示す座標情報と、操作により起動したプログラムを示す情報とを、操作内容として記録することが知られている。   Conventionally, it is known that coordinate information indicating a position where an operation is performed on an operation screen and information indicating a program started by the operation are recorded as operation contents.

特開２００５−６３２７９号公報Japanese Patent Laying-Open No. 2005-63279

従来の手法により記録された操作内容では、例えばアイコン等の操作の対象となる表示画面に表示されたオブジェクトの表示領域に、記録された座標情報が含まれない場合、記録された操作が再現されない。また、従来の手法により記録された操作内容では、プログラムを起動させるために、どのオブジェクトに対してどのような操作がなされたかを特定できない。   In the operation content recorded by the conventional method, for example, when the recorded coordinate information is not included in the display area of the object displayed on the display screen as an operation target such as an icon, the recorded operation is not reproduced. . In addition, the operation content recorded by the conventional method cannot specify what operation has been performed on which object in order to start the program.

このため、従来の手法では、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等には、記録された操作内容が正しく再生されない可能性がある。   For this reason, in the conventional method, when the setting environment of the display screen when recording the operation contents is different from the setting environment of the display screen when reproducing the operation contents, the recorded operation contents are correctly reproduced. It may not be.

１つの側面では、操作の再現の精度を向上させることを目的とする。   In one aspect, the object is to improve the accuracy of operation reproduction.

一つの案では、表示されたオブジェクトに対する操作記録情報を記録し、記録した前記操作記録情報に従い前記操作を発生させる処理をコンピュータに実行させる操作記録再生プログラムであって、前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて前記操作記録情報に記録し、前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる、操作記録再生プログラムが提供される。   In one proposal, an operation record reproduction program for recording operation record information for a displayed object and causing a computer to execute a process for generating the operation according to the recorded operation record information is recorded in the operation record information. When the operation type is a movement operation on the operation target object, the operation type information indicating the operation type and the relative position information indicating the operation position in the operation target object are associated and recorded in the operation record information. When the operation type information included in the operation record information indicates a move operation, the position of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position An operation recording / reproducing program for generating an operation for moving the target object is provided.

一側面によれば、操作の再現の精度を向上させることができる。   According to one aspect, the accuracy of operation reproduction can be improved.

一実施形態にかかる操作内容の記録と再生について説明する図である。It is a figure explaining recording and reproduction | regeneration of the operation content concerning one Embodiment. 一実施形態にかかる記録装置による操作記録情報の記録について説明する図である。It is a figure explaining recording of the operation record information by the recording device concerning one embodiment. 図３（ａ）は一実施形態にかかる操作記録情報の一例、図３（ｂ）は比較例にかかる操作記録情報の一例を示す図である。FIG. 3A is a diagram illustrating an example of operation record information according to an embodiment, and FIG. 3B is a diagram illustrating an example of operation record information according to a comparative example. 図３（ｂ）の操作記録情報に基づく再生時の画面例を示す図である。It is a figure which shows the example of a screen at the time of reproduction | regeneration based on the operation recording information of FIG.3 (b). 一実施形態にかかる再生時の画面例を示す図である。It is a figure which shows the example of a screen at the time of the reproduction | regeneration concerning one Embodiment. 一実施形態にかかる記録装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the recording device concerning one Embodiment. 第一の実施形態の記録装置及び再生装置の機能の一例を示す図である。It is a figure which shows an example of the function of the recording device of 1st embodiment, and the reproducing | regenerating apparatus. 一実施形態にかかる記録処理の一例を示す第一のフローチャートである。It is a 1st flowchart which shows an example of the recording process concerning one Embodiment. 一実施形態にかかる記録処理の一例を示す第二のフローチャートである。It is a 2nd flowchart which shows an example of the recording process concerning one Embodiment. 一実施形態にかかる再生処理の一例を示す第一のフローチャートである。It is a 1st flowchart which shows an example of the reproduction | regeneration processing concerning one Embodiment. 一実施形態にかかる再生処理の一例を示す第二のフローチャートである。It is a 2nd flowchart which shows an example of the reproduction | regeneration processing concerning one Embodiment. 第二の実施形態の記録再生装置の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the recording / reproducing apparatus of 2nd embodiment. 第三の実施形態の記録再生装置の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the recording / reproducing apparatus of 3rd embodiment.

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.

（第一の実施形態）
［記録装置と再生装置］
以下に図面を参照して実施形態について説明する。図１は、操作内容の記録と再生について説明する図である。 (First embodiment)
[Recording device and playback device]
Embodiments will be described below with reference to the drawings. FIG. 1 is a diagram for explaining recording and reproduction of operation contents.

本実施形態では、コンピュータ１００において行われた操作の内容を、操作記録情報２００として記録する。操作記録情報２００は、コンピュータ３００−１、３００−２において読み込まれ、記録された操作が再現される。   In the present embodiment, the content of the operation performed on the computer 100 is recorded as operation record information 200. The operation record information 200 is read by the computers 300-1 and 300-2, and the recorded operation is reproduced.

本実施形態において、操作記録情報２００に内容が記録される操作は、例えばコンピュータ１００で繰り返し行わせたい操作や、コンピュータ３００−１、３００−２等の他のコンピュータで行わせたい操作等である。   In the present embodiment, the operation whose contents are recorded in the operation record information 200 is, for example, an operation that is to be repeatedly performed by the computer 100, an operation that is to be performed by another computer such as the computers 300-1 and 300-2, or the like. .

尚、図１では、操作記録情報２００を再生するコンピュータを、コンピュータ３００−１、３００−２の２台としたが、操作記録情報２００を再生するコンピュータの数は任意であって良い。以下の説明では、コンピュータ３００−１、３００−２を区別しない場合には、単にコンピュータ３００と呼ぶ。   In FIG. 1, two computers 300-1 and 300-2 are used to reproduce the operation record information 200, but the number of computers that reproduce the operation record information 200 may be arbitrary. In the following description, when the computers 300-1 and 300-2 are not distinguished, they are simply referred to as the computer 300.

また、以下の説明では、操作の内容を操作記録情報２００に記録するコンピュータ１００を、記録装置１００と呼び、操作記録情報２００を再生するコンピュータ３００を再生装置３００と呼ぶ。   In the following description, the computer 100 that records the operation content in the operation record information 200 is referred to as a recording device 100, and the computer 300 that reproduces the operation record information 200 is referred to as a playback device 300.

本実施形態では、記録装置１００において、操作記録情報２００を記録することで、記録装置１００で行われた操作を自動的に任意の数の再生装置３００に行わせることができる。したがって、本実施形態によれば、例えば複数台のコンピュータに同一の設定を行う操作を実施する場合等には、１台の記録装置１００において該当する操作を実施して操作記録情報２００を記録し、この操作記録情報２００を複数台のコンピュータに再生させれば良い。   In the present embodiment, by recording the operation record information 200 in the recording apparatus 100, an operation performed on the recording apparatus 100 can be automatically performed on any number of playback apparatuses 300. Therefore, according to the present embodiment, for example, when an operation for performing the same setting is performed on a plurality of computers, the corresponding operation is performed on one recording apparatus 100 to record the operation record information 200. The operation record information 200 may be reproduced by a plurality of computers.

また、本実施形態では、記録装置１００と再生装置３００とを別のコンピュータとしているが、これに限定されない。記録装置１００と再生装置３００とは、同一の装置であっても良い。この場合、例えば１台のコンピュータに複数回同じ操作を実行させたい場合等に、操作記録情報２００を記録し、再生させれば良い。   In the present embodiment, the recording apparatus 100 and the playback apparatus 300 are separate computers, but the present invention is not limited to this. The recording device 100 and the playback device 300 may be the same device. In this case, for example, when it is desired to execute the same operation multiple times on one computer, the operation record information 200 may be recorded and reproduced.

なお、本実施形態の操作記録情報２００は、例えば記録装置１００のハードディスク等の内部メモリに記録してもよい。操作記録情報２００は、記録装置１００に接続可能な外部メモリや可搬型の記録媒体に記録されてもよいし、クラウド上の記録装置に記録されてもよい。   Note that the operation record information 200 of the present embodiment may be recorded in an internal memory such as a hard disk of the recording apparatus 100, for example. The operation record information 200 may be recorded in an external memory or a portable recording medium that can be connected to the recording apparatus 100, or may be recorded in a recording apparatus on the cloud.

［操作記録情報の記録と再生］
次に、本実施形態の記録装置１００による操作記録情報２００の記録と、再生装置３００による操作記録情報２００に基づく再生について説明する。図２は、記録装置１００による操作記録情報２００の記録の一例を説明する図である。 [Recording and playback of operation record information]
Next, recording of the operation record information 200 by the recording apparatus 100 of the present embodiment and reproduction based on the operation record information 200 by the reproduction apparatus 300 will be described. FIG. 2 is a diagram for explaining an example of recording operation record information 200 by the recording apparatus 100.

図２では、記録装置１００の表示画面１０１に表示されたオブジェクトに対して行われた操作の内容を記録する例を示している。表示画面１０１は、記録装置１００のディスプレイ等に表示される。   FIG. 2 shows an example in which the content of an operation performed on an object displayed on the display screen 101 of the recording apparatus 100 is recorded. The display screen 101 is displayed on the display of the recording apparatus 100 or the like.

図３（ａ）には、本実施形態にかかる操作記録情報２００の一例が示されている。本実施形態の記録装置１００は、表示画面１０１に表示されたオブジェクトのうち操作対象となったオブジェクトを特定するオブジェクト特定情報２１と、特定されたオブジェクトに対して行われた操作の種類を示す操作種類情報２２と、を含む操作記録情報２００を記録する。例えば、図３（ａ）に示す操作記録情報２００の最初の行には、オブジェクト特定情報２１が示す「アイコンＡ」について、操作種類情報２２が示す「消去」の操作が行われたことが記録されている。二行目には、「アイコンＢ」について、移動操作が行われたことが記録されている。操作の種類が操作の対象オブジェクトに対する移動操作の場合、移動元の位置に関する情報（オブジェクト内座標情報２３、移動元表示領域情報２４）と、移動先の位置に関する情報（移動先座標情報２５、移動先表示領域情報２６）とが記録される。   FIG. 3A shows an example of the operation record information 200 according to the present embodiment. The recording apparatus 100 according to the present embodiment includes object specifying information 21 that specifies an object that is an operation target among objects displayed on the display screen 101, and an operation that indicates the type of operation performed on the specified object. Operation record information 200 including type information 22 is recorded. For example, the first line of the operation record information 200 shown in FIG. 3A records that the “erase” operation indicated by the operation type information 22 has been performed on the “icon A” indicated by the object specifying information 21. Has been. In the second row, it is recorded that the movement operation is performed for “icon B”. When the operation type is a movement operation on the target object of the operation, information about the position of the movement source (in-object coordinate information 23, movement source display area information 24) and information about the position of the movement destination (movement destination coordinate information 25, movement First display area information 26) is recorded.

本実施形態の再生装置３００は、操作記録情報２００に含まれるオブジェクト特定情報２１に基づき、操作の対象となるオブジェクトを特定する。そして、再生装置３００は、オブジェクト特定情報２１に基づき特定されたオブジェクトに対して操作種類情報２２が示す種類の操作を発生させる。なお、本実施形態におけるオブジェクトとは、表示画面に選択可能な状態で表示され得るものであり、且つ操作の対象となる表示部品である。   The playback device 300 according to the present embodiment specifies an object to be operated based on the object specifying information 21 included in the operation record information 200. Then, the playback device 300 generates an operation of the type indicated by the operation type information 22 for the object specified based on the object specifying information 21. Note that the object in the present embodiment is a display component that can be displayed in a selectable state on the display screen and is an operation target.

表示画面１０１は、記録装置１００のデスクトップ画面であり、オブジェクト１０２、１０３が表示されている。オブジェクト１０２，１０３は、それぞれが選択可能であり、且つ操作の対象となる表示部品である。   A display screen 101 is a desktop screen of the recording apparatus 100 and displays objects 102 and 103. Each of the objects 102 and 103 is a display component that can be selected and is an operation target.

オブジェクト１０２は、アプリケーションの起動により立ち上げられたウィンドウであり、ここでは、フォルダＡ１０２とする。オブジェクト１０３は、表示画面１０１上に配置されたアイコンＢである。   The object 102 is a window started up by starting up the application, and is assumed to be a folder A102 here. An object 103 is an icon B arranged on the display screen 101.

図２では、表示画面１０１において、例えばアイコンＢのオブジェクト１０３上にポインタＰを位置付けた状態で操作者の指（操作指）によりマウスボタンを押下する（以下、「ボタンダウン」ともいう。）ことで、オブジェクト１０３が選択される。   In FIG. 2, on the display screen 101, for example, a mouse button is pressed by an operator's finger (operation finger) while the pointer P is positioned on the object 103 of the icon B (hereinafter also referred to as “button down”). Thus, the object 103 is selected.

オブジェクト１０３は、選択された状態でポインタＰの操作に応じて移動し、操作指がマウスボタンを離したことで（以下、「ボタンアップ」ともいう。）、マウスボタンを離した位置に置かれる。表示画面１０１には、デスクトップ画面上に表示されていたオブジェクト１０３をフォルダＡ１０２まで移動し、フォルダＡ１０２内に移動する操作の例が示されている。   The object 103 moves in response to the operation of the pointer P in the selected state, and is placed at the position where the mouse button is released when the operating finger releases the mouse button (hereinafter also referred to as “button up”). . The display screen 101 shows an example of an operation for moving the object 103 displayed on the desktop screen to the folder A102 and moving it into the folder A102.

以上のように、本実施形態では、マウスボタンのボタンダウン後に、ポインタＰが指し示す座標が移動した場合に、この操作はドラッグ操作として検知される。また、本実施形態では、ポインタＰが指し示す座標が移動した後のマウスボタンのボタンアップを検知したとき、この操作はドロップ操作として検知される。ドラッグ操作とドロップ操作とを組み合わせたドラッグ＆ドロップ操作が、移動操作となる。なお、本実施形態では、表示画面の同一の座標において、マウスボタンのボタンダウンとボタンアップが検知されたとき、この操作はクリック操作として検知される。   As described above, in the present embodiment, this operation is detected as a drag operation when the coordinates indicated by the pointer P are moved after the mouse button is downed. Further, in the present embodiment, when the button up of the mouse button is detected after the coordinates indicated by the pointer P are moved, this operation is detected as a drop operation. A drag and drop operation combining a drag operation and a drop operation is a move operation. In the present embodiment, when button down and button up of a mouse button are detected at the same coordinates on the display screen, this operation is detected as a click operation.

本実施形態の記録装置１００は、アイコンＢのオブジェクト１０３に対してドラッグ＆ドロップ操作が行われると、アイコンＢのオブジェクト１０３を特定するオブジェクト特定情報２１と、移動操作（ドラッグ＆ドロップ操作）を示す操作種類情報２２と、を含む操作記録情報２００を記録する。   When the drag and drop operation is performed on the object 103 of the icon B, the recording apparatus 100 according to the present embodiment indicates the object specifying information 21 for specifying the object 103 of the icon B and the movement operation (drag and drop operation). Operation record information 200 including operation type information 22 is recorded.

尚、本実施形態のオブジェクト特定情報２１は、少なくともオブジェクトの名称を含む。また、本実施形態のオブジェクト特定情報２１には、オブジェクトの名称の他に、デスクトップ画面を最上位の階層としたときのオブジェクトが属する階層を示す階層情報、オブジェクトに対して操作が行われた時刻等が含まれても良い。操作種類情報２００に含まれる。オブジェクトが表示されている位置を示す位置情報については後述される。   The object specifying information 21 of the present embodiment includes at least the name of the object. In addition to the name of the object, the object specifying information 21 of the present embodiment includes hierarchical information indicating a hierarchy to which the object belongs when the desktop screen is the highest hierarchy, and the time when the operation is performed on the object. Etc. may be included. It is included in the operation type information 200. The position information indicating the position where the object is displayed will be described later.

本実施形態の再生装置３００は、操作記録情報２００を読み込んで、オブジェクト特定情報２１から、操作対象のオブジェクト１０３がアイコンＢであることを特定する。また、再生装置３００は、操作種類情報２２により、オブジェクト１０３に対して行われた操作を、移動操作と特定し、アイコンＢに対するドラッグ操作及びドロップ操作を発生させる。   The playback apparatus 300 of this embodiment reads the operation record information 200 and specifies from the object specification information 21 that the operation target object 103 is the icon B. Further, the playback apparatus 300 identifies the operation performed on the object 103 as a movement operation based on the operation type information 22 and generates a drag operation and a drop operation on the icon B.

以上のように、本実施形態では、操作記録情報２００を記録する際に、操作対象のオブジェクトを示すオブジェクト特定情報２１と、オブジェクトに対して実行された操作の種類を示す操作種類情報２２とを記録する。したがって、本実施形態によれば、操作記録情報２００に基づく再生の際に、表示画面における操作対象のオブジェクトの操作を再現できる。   As described above, in the present embodiment, when the operation record information 200 is recorded, the object specifying information 21 indicating the operation target object and the operation type information 22 indicating the type of operation performed on the object are stored. Record. Therefore, according to the present embodiment, the operation of the object to be operated on the display screen can be reproduced at the time of reproduction based on the operation record information 200.

また、本実施形態によれば、操作記録情報２００に基づく再生の際に、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等でも、どのオブジェクトに何の操作が行われたかを特定できる。よって、本実施形態によれば、操作記録情報２００を用いた記録及び再生の際の汎用性を向上させることができる。   Further, according to the present embodiment, when reproducing based on the operation record information 200, the setting environment of the display screen when recording the operation content is different from the setting environment of the display screen when reproducing the operation content. Etc., it is possible to specify what operation is performed on which object. Therefore, according to the present embodiment, versatility at the time of recording and reproduction using the operation record information 200 can be improved.

［再生位置のずれ］
次に、図３（ｂ）に示す比較例にかかる操作記録情報９００に基づき再生処理を行った場合の、再生位置のずれについて説明する。図３（ｂ）の操作記録情報９００には、オブジェクト特定情報９１と操作種類情報９２と移動先座標情報９５と移動先表示領域情報９６とが記録されている。オブジェクト特定情報９１には、操作の対象となるオブジェクトを特定する情報が記録される。操作種類情報９２には、操作の種類を示す情報が記録される。 [Play position shift]
Next, a description will be given of the deviation of the reproduction position when the reproduction process is performed based on the operation record information 900 according to the comparative example shown in FIG. In the operation record information 900 of FIG. 3B, object specifying information 91, operation type information 92, destination coordinate information 95, and destination display area information 96 are recorded. In the object specifying information 91, information for specifying an object to be operated is recorded. In the operation type information 92, information indicating the type of operation is recorded.

移動先座標情報９５には、オブジェクトの移動先の位置情報が記録される。具体的には、移動先座標情報９５は、オブジェクト特定情報９１により特定されるオブジェクトに対するドロップ操作時（移動先）のポインタＰの位置情報が記録される。移動先表示領域情報９６には、オブジェクトの移動先の表示領域が記録される。   In the movement destination coordinate information 95, position information of the movement destination of the object is recorded. Specifically, the movement destination coordinate information 95 records the position information of the pointer P at the time of the drop operation (movement destination) on the object specified by the object specification information 91. In the movement destination display area information 96, the display area of the movement destination of the object is recorded.

例えば、図３（ｂ）に示すアイコンＢのオブジェクト１０３を移動する操作が行われたとき、デスクトップ画面上の左上端部を基準座標Ａ（０，０）としたときのオブジェクト１０３の移動先座標が（ｘ２、ｙ２）であることが移動先座標情報９５により特定される。また、オブジェクト１０３の移動先がフォルダＡ内であることが移動先表示領域情報９６により特定される。これらの記録情報は、図４に示すように、デスクトップ画面の左上端部の基準座標Ａに対して座標（ｘ２、ｙ２）の位置にて、ポインタＰがアイコンＢをドロップしたことを示す。 For example, when an operation for moving the object 103 of the icon B shown in FIG. 3B is performed, the movement destination coordinates of the object 103 when the upper left corner on the desktop screen is set as the reference coordinates A (0, 0). Is specified by the destination coordinate information 95 to be (x 2 , y 2 ). The destination display area information 96 specifies that the destination of the object 103 is in the folder A. These pieces of recorded information indicate that the pointer P has dropped the icon B at the position of the coordinates (x 2 , y 2 ) with respect to the reference coordinate A at the upper left corner of the desktop screen, as shown in FIG. .

フォルダＡ１０２の左上端部を基準座標（０，０）として移動先座標（ｘ２、ｙ２）を定義してもよい。なお、座標（ｘ２、ｙ２）が、デスクトップ画面の左上端部の基準座標Ａに対する位置を示す場合、移動先表示領域情報９６は不要となる。 The destination coordinates (x 2 , y 2 ) may be defined with the upper left corner of the folder A102 as the reference coordinates (0, 0). When the coordinates (x 2 , y 2 ) indicate the position of the upper left corner of the desktop screen with respect to the reference coordinate A, the movement destination display area information 96 is not necessary.

再生装置３００では、図３（ｂ）の操作記録情報９００に基づき移動操作を発生させる。このとき、図４に示すように、ドラッグされたアイコンＢのオブジェクト１０３が、ポインタＰの操作に応じてフォルダＡまで移動し、座標（ｘ２，ｙ２）にてドロップされる。このとき、アイコンＢのオブジェクト１０３は、座標（ｘ２，ｙ２）がアイコンＢのオブジェクト１０３の中心になるように配置される。 再生時、実際には、図４の例ではフォルダＡ１０２内にて点線で示すように、ドロップした座標（ｘ２，ｙ２）がポインタＰが指し示す位置と一致するようにオブジェクト１０３が配置されることが正しい操作となる。ところが、ドロップした座標（ｘ２，ｙ２）がオブジェクト１０３の中心になるようにアイコンＢのオブジェクト１０３が配置される。この結果、アイコンＢのオブジェクト１０３の中心位置と、アイコンＢを実際にドラッグしたポインタＰの位置とのずれに応じて、再生時のアイコンＢの移動先の位置が記録時のアイコンＢの移動先の位置からずれてしまう。そして、図４に示すように、フォルダＡ１０２内のアイコンＢの移動先又はその近傍にサブフォルダ１０４が存在すると、サブフォルダ１０４内にオブジェクト１０３が入れ込まれてしまう場合がある。この場合、記録時のアイコンＢの移動操作と再生時のアイコンＢの移動操作とが異なる操作となり、その後の動きに影響を与えるという課題がある。 In the reproducing apparatus 300, a moving operation is generated based on the operation record information 900 of FIG. At this time, as shown in FIG. 4, the object 103 of the dragged icon B moves to the folder A according to the operation of the pointer P, and is dropped at the coordinates (x 2 , y 2 ). At this time, the object 103 of the icon B is arranged so that the coordinates (x 2 , y 2 ) are the center of the object 103 of the icon B. At the time of reproduction, the object 103 is actually arranged so that the dropped coordinates (x 2 , y 2 ) coincide with the position indicated by the pointer P as indicated by a dotted line in the folder A102 in the example of FIG. Is the correct operation. However, the object 103 of the icon B is arranged so that the dropped coordinates (x 2 , y 2 ) are the center of the object 103. As a result, the position of the movement destination of the icon B at the time of reproduction is the movement destination of the icon B at the time of recording according to the deviation between the center position of the object 103 of the icon B and the position of the pointer P where the icon B is actually dragged. It will shift from the position. Then, as shown in FIG. 4, if the subfolder 104 exists at or near the movement destination of the icon B in the folder A102, the object 103 may be inserted into the subfolder 104. In this case, the movement operation of the icon B at the time of recording and the movement operation of the icon B at the time of reproduction are different operations, and there is a problem that the subsequent movement is affected.

これに対して、本実施形態かかる記録装置１００は、オブジェクトをドラッグした際、図３（ａ）に示すように、操作記録情報２００にオブジェクト内座標情報２３を記録する。これにより、記録時の動作を忠実に再現することが可能となる。以下、本実施形態にかかる記録及び再生の動作について詳しく説明する。   On the other hand, when the object is dragged, the recording apparatus 100 according to the present embodiment records the in-object coordinate information 23 in the operation record information 200 as shown in FIG. Thereby, it is possible to faithfully reproduce the operation during recording. Hereinafter, recording and reproduction operations according to the present embodiment will be described in detail.

なお、図３（ａ）の操作記録情報２００には、移動元の位置に関する情報としてオブジェクト内座標情報２３及び移動元表示領域情報２４が記録され、移動先の位置に関する情報として移動先座標情報２５及び移動先表示領域情報２６が記録される。   In addition, in the operation record information 200 of FIG. 3A, the in-object coordinate information 23 and the movement source display area information 24 are recorded as information regarding the position of the movement source, and the movement destination coordinate information 25 as information regarding the position of the movement destination. The destination display area information 26 is recorded.

オブジェクト内座標情報２３には、オブジェクト特定情報２１により特定されるオブジェクト内の操作位置（ポインタが指す位置）を示す相対位置情報が記録される。具体的には、図３（ａ）のオブジェクト内座標情報２３には、オブジェクト内座標情報は、図５に示すように、ポインタＰが位置付けられたオブジェクト内におけるポインタＰの位置を示す。図３の例では、オブジェクト内座標情報２３は、オブジェクト１０３であるアイコンＢの左上端部を基準座標Ｂ（０，０）としたときのポインタＰの相対位置を示す座標（ｘ３、ｙ３）である。移動元表示領域情報２４には、オブジェクトの移動前の表示領域が記録される。 In the in-object coordinate information 23, relative position information indicating the operation position (position pointed by the pointer) in the object specified by the object specifying information 21 is recorded. Specifically, in the in-object coordinate information 23 of FIG. 3A, the in-object coordinate information indicates the position of the pointer P in the object where the pointer P is positioned, as shown in FIG. In the example of FIG. 3, the in-object coordinate information 23 is the coordinates (x 3 , y 3) indicating the relative position of the pointer P when the upper left corner of the icon B that is the object 103 is the reference coordinate B (0, 0). ). In the movement source display area information 24, a display area before the object is moved is recorded.

移動先座標情報２５には、オブジェクトの移動後の位置情報が記録される。具体的には、移動先座標情報２５は、オブジェクト特定情報２１により特定されるオブジェクトに対するドロップ操作時のポインタＰの位置情報が記録される。移動先表示領域情報２６には、オブジェクトの移動先の表示領域が記録される。   In the movement destination coordinate information 25, position information after movement of the object is recorded. Specifically, the movement destination coordinate information 25 records the position information of the pointer P at the time of the drop operation on the object specified by the object specifying information 21. In the movement destination display area information 26, the display area of the movement destination of the object is recorded.

例えば、図５には、移動操作が行われたとき、基準座標Ａを原点座標（０，０）としたときの移動先座標（ｘ２、ｙ２）にアイコンＢのオブジェクト１０３が移動し、その際の移動先表示領域がフォルダＡであることが図示されている。 For example, in FIG. 5, when the movement operation is performed, the object 103 of the icon B moves to the movement destination coordinates (x 2 , y 2 ) when the reference coordinates A are the origin coordinates (0, 0). It is illustrated that the destination display area at that time is folder A.

［記録装置と再生装置のハードウェア構成］
次に、図６を参照して本実施形態の記録装置１００と再生装置３００のハードウェア構成の一例について説明する。図６は、記録装置のハードウェア構成の一例を示す図である。本実施形態の記録装置１００と再生装置３００のハードウェア構成は、同じであるため、図６では、記録装置のハードウェア構成の一例について説明し、再生装置３００のハードウェア構成の説明は省略する。 [Hardware configuration of recording device and playback device]
Next, an example of the hardware configuration of the recording device 100 and the playback device 300 of this embodiment will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of a hardware configuration of the recording apparatus. Since the hardware configurations of the recording apparatus 100 and the playback apparatus 300 of this embodiment are the same, FIG. 6 illustrates an example of the hardware configuration of the recording apparatus, and the description of the hardware configuration of the playback apparatus 300 is omitted. .

本実施形態の記録装置１００は、それぞれバスＢで相互に接続されている入力装置１１、出力装置１２、ドライブ装置１３、補助記憶装置１４、メモリ装置１５、演算処理装置１６及びインターフェース装置１７を含む。   The recording apparatus 100 according to the present embodiment includes an input device 11, an output device 12, a drive device 13, an auxiliary storage device 14, a memory device 15, an arithmetic processing device 16, and an interface device 17 that are connected to each other via a bus B. .

入力装置１１はキーボードやマウス等を含み、各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等を含み、各種ウィンドウやデータ等を表示するために用いられる。インターフェース装置１７は、モデム、ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。   The input device 11 includes a keyboard and a mouse, and is used for inputting various signals. The output device 12 includes a display device and the like, and is used to display various windows and data. The interface device 17 includes a modem, a LAN card, and the like, and is used for connecting to a network.

操作記録再生プログラムは、記録装置１００を制御する各種プログラムの少なくとも一部である。操作記録再生プログラムは例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。操作記録再生プログラムを記録した記録媒体１８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。   The operation recording / reproducing program is at least a part of various programs for controlling the recording apparatus 100. The operation recording / playback program is provided by, for example, distribution of the recording medium 18 or downloading from a network. The recording medium 18 on which the operation recording / reproducing program is recorded is a recording medium on which information is optically, electrically or magnetically recorded, such as a CD-ROM, flexible disk, magneto-optical disk, ROM, flash memory, etc. Various types of recording media such as a semiconductor memory for electrically recording information can be used.

また、操作記録再生プログラムは、操作記録再生プログラムを記録した記録媒体１８がドライブ装置１３にセットされると、記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。ネットワークからダウンロードされた操作記録再生プログラムは、インターフェース装置１７を介して補助記憶装置１４にインストールされる。   The operation recording / reproducing program is installed in the auxiliary storage device 14 from the recording medium 18 via the drive device 13 when the recording medium 18 on which the operation recording / reproducing program is recorded is set in the drive device 13. The operation recording / playback program downloaded from the network is installed in the auxiliary storage device 14 via the interface device 17.

補助記憶装置１４は、インストールされた操作記録再生プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置１５は、コンピュータの起動時に補助記憶装置１４から操作記録再生プログラムを読み出して格納する。そして、演算処理装置１６はメモリ装置１５に格納された操作記録再生プログラムに従って、後述するような各種処理を実現している。   The auxiliary storage device 14 stores the installed operation recording / reproducing program and also stores necessary files, data, and the like. The memory device 15 reads and stores the operation recording / reproducing program from the auxiliary storage device 14 when the computer is activated. The arithmetic processing unit 16 implements various processes as will be described later in accordance with the operation recording / reproducing program stored in the memory device 15.

また、本実施形態の記録装置１００は、例えばタブレット型のコンピュータ等であっても良い。その場合、入力装置１１及び出力装置１２の代わりに、表示機能を有するタッチパネル等の表示操作装置を有していても良い。   Further, the recording apparatus 100 of the present embodiment may be a tablet computer, for example. In that case, instead of the input device 11 and the output device 12, a display operation device such as a touch panel having a display function may be provided.

［記録装置と再生装置の機能構成］
次に、図７を参照して本実施形態の記録装置１００と再生装置３００の機能について説明する。図７は、第一の実施形態の記録装置及び再生装置３００の機能構成の一例を説明する図である。本実施形態の記録装置１００は、操作記録再生処理部１１０を有する。また、本実施形態の再生装置３００は、操作記録再生処理部３１０を有する。 [Functional structure of recording device and playback device]
Next, functions of the recording device 100 and the playback device 300 of this embodiment will be described with reference to FIG. FIG. 7 is a diagram illustrating an example of a functional configuration of the recording device and the playback device 300 according to the first embodiment. The recording apparatus 100 according to this embodiment includes an operation recording / playback processing unit 110. In addition, the playback apparatus 300 of this embodiment includes an operation recording / playback processing unit 310.

本実施形態の操作記録再生処理部１１０は、記録装置１００にインストールされた操作記録再生プログラムを演算処理装置１６が実行することで実現される。   The operation recording / playback processing unit 110 of this embodiment is realized by the arithmetic processing device 16 executing an operation recording / playback program installed in the recording device 100.

また、本実施形態の操作記録再生処理部３１０は、再生装置３００にインストールされた操作記録再生プログラムを、再生装置３００の演算処理装置が実行することで実現される。   Further, the operation recording / playback processing unit 310 according to the present embodiment is realized by the operation processing device of the playback device 300 executing the operation record / playback program installed in the playback device 300.

ここで、本実施形態において、記録装置１００と再生装置３００のそれぞれにインストールされる操作記録再生プログラムは、同一のプログラムであって良い。   Here, in the present embodiment, the operation recording / reproducing program installed in each of the recording apparatus 100 and the reproducing apparatus 300 may be the same program.

記録装置１００では、操作記録再生プログラムに含まれる記録プログラムを実行することで記録処理部１２０を実現し、コンピュータを記録装置１００として動作させる。   In the recording apparatus 100, the recording processing unit 120 is realized by executing a recording program included in the operation recording / reproducing program, and the computer is operated as the recording apparatus 100.

また、再生装置３００では、操作記録再生プログラムに含まれる再生プログラムを実行することで再生処理部３３０を実現し、コンピュータを再生装置３００として動作させる。   Further, the playback apparatus 300 realizes the playback processing unit 330 by executing a playback program included in the operation recording / playback program, and causes the computer to operate as the playback apparatus 300.

本実施形態の記録装置１００の操作記録再生処理部１１０は、記録処理部１２０、再生処理部１３０を有する。   The operation recording / playback processing unit 110 of the recording apparatus 100 according to the present embodiment includes a recording processing unit 120 and a playback processing unit 130.

本実施形態の記録装置１００では、上述したように、記録処理部１２０の機能が実現される。本実施形態の記録処理部１２０は、操作検知部１２１、割込発生部１２２、オブジェクト特定部１２３、操作種類取得部１２４及び操作記録部１２５を有する。   In the recording apparatus 100 of the present embodiment, the function of the recording processing unit 120 is realized as described above. The recording processing unit 120 of this embodiment includes an operation detection unit 121, an interrupt generation unit 122, an object specification unit 123, an operation type acquisition unit 124, and an operation recording unit 125.

操作検知部１２１は、記録装置１００において行われた操作を検知する。具体的には、本実施形態の操作検知部１２１は、記録装置１００に搭載されたＯＳ（Operating System）がクリック操作、ドラッグ操作、ドロップ操作を検知したことを示す通知を受け付け、操作を受け付けたことを割込発生部１２２へ通知する。   The operation detection unit 121 detects an operation performed on the recording apparatus 100. Specifically, the operation detection unit 121 according to the present embodiment receives a notification indicating that the OS (Operating System) installed in the recording apparatus 100 has detected a click operation, a drag operation, and a drop operation, and has received the operation. This is notified to the interrupt generation unit 122.

本実施形態の割込発生部１２２は、操作検知部１２１により検知対象の操作が検知されると、記録装置１００に搭載されたＯＳに対して割り込みを発生させ、操作内容を記録する処理の実行を要求する。   When the operation detection unit 121 detects an operation to be detected by the operation detection unit 121, the interrupt generation unit 122 of this embodiment generates an interrupt to the OS installed in the recording apparatus 100 and executes processing for recording the operation content. Request.

本実施形態のオブジェクト特定部１２３は、割り込みが発生すると、ポインタが指し示しているオブジェクトを特定するオブジェクト特定情報を取得する。   When an interrupt occurs, the object specifying unit 123 of the present embodiment acquires object specifying information that specifies the object pointed to by the pointer.

具体的には、オブジェクト特定部１２３は、表示画面においてポインタが指し示しているオブジェクト内の位置の座標情報（オブジェクト内座標情報）、移動元表示領域情報、移動先座標情報及び移動先表示領域を取得する。   Specifically, the object specifying unit 123 acquires coordinate information (intra-object coordinate information), movement source display area information, movement destination coordinate information, and movement destination display area of the position in the object pointed to by the pointer on the display screen. To do.

オブジェクト特定部１２３は、オブジェクト内座標情報及び移動元表示領域情報を記録装置１００に搭載されたＯＳに渡し、ＯＳからオブジェクト内座標情報及び移動元表示領域情報と対応するオブジェクトのオブジェクト特定情報を受け取る。   The object specifying unit 123 passes the in-object coordinate information and the movement source display area information to the OS installed in the recording apparatus 100, and receives the object identification information of the object corresponding to the in-object coordinate information and the movement source display area information from the OS. .

本実施形態の操作種類取得部１２４は、操作検知部１２１により検知された操作の操作種類情報を取得する。   The operation type acquisition unit 124 of the present embodiment acquires operation type information of the operation detected by the operation detection unit 121.

本実施形態の操作記録部１２５は、オブジェクト特定情報２１及び操作種類情報２２を含めた操作記録情報２００を記録する。操作の種類が操作の対象オブジェクトに対する移動操作の場合、操作記録部１２５は、操作記録情報２００に、取得したオブジェクト特定情報２１、操作種類情報２２だけでなく、オブジェクト内座標情報２３、移動元表示領域情報２４、移動先座標情報２５及び移動先表示領域情報２６を含めて記録する。   The operation recording unit 125 of this embodiment records operation recording information 200 including the object specifying information 21 and the operation type information 22. When the operation type is a movement operation for the operation target object, the operation recording unit 125 includes not only the acquired object identification information 21 and operation type information 22 but also the in-object coordinate information 23 and the movement source display in the operation record information 200. The area information 24, the movement destination coordinate information 25, and the movement destination display area information 26 are included and recorded.

操作記録情報２００は、例えば可搬型の記録媒体２１０に記録される。記録媒体２１０は、再生装置３００において読取可能な記録媒体であれば良い。   The operation record information 200 is recorded on, for example, a portable recording medium 210. The recording medium 210 may be any recording medium that can be read by the playback apparatus 300.

また、本実施形態の操作記録部１２５は、記録処理の終了指示を受け付けたとき、記録の処理を終了する。   In addition, when the operation recording unit 125 of the present embodiment receives an instruction to end the recording process, the operation recording unit 125 ends the recording process.

本実施形態の記録装置１００における再生処理部１３０の機能構成は、後述する再生装置３００の有する再生処理部３３０と同様である。   The functional configuration of the reproduction processing unit 130 in the recording apparatus 100 of the present embodiment is the same as the reproduction processing unit 330 included in the reproduction apparatus 300 described later.

本実施形態の再生装置３００の操作記録再生処理部３１０は、記録処理部３２０、再生処理部３３０を有する。   The operation recording / playback processing unit 310 of the playback device 300 of this embodiment includes a recording processing unit 320 and a playback processing unit 330.

本実施形態の再生装置３００では、上述したように、再生処理部３３０が実現される。本実施形態の再生処理部３３０は、操作記録読込部３３１、オブジェクト特定部３３２、操作種類特定部３３３及び操作発生要求部３３４を有する。   In the playback device 300 of this embodiment, the playback processing unit 330 is realized as described above. The reproduction processing unit 330 according to this embodiment includes an operation record reading unit 331, an object specifying unit 332, an operation type specifying unit 333, and an operation generation requesting unit 334.

本実施形態の操作記録読込部３３１は、記録媒体２１０に格納された操作記録情報２００を読み込む。   The operation record reading unit 331 of this embodiment reads the operation record information 200 stored in the recording medium 210.

本実施形態のオブジェクト特定部３３２は、操作記録情報２００に含まれるオブジェクト特定情報から、再生装置３００の表示画面において、操作対象となるオブジェクトを特定する。操作種類特定部３３３は、操作記録情報２００に含まれる操作種類情報から、特定したオブジェクトに対して行う操作の種類を特定する。特定される操作の種類が操作の対象オブジェクトに対する移動操作の場合、オブジェクト特定部３３２は、オブジェクト内座標情報２３に基づきオブジェクト内におけるポインタの位置（オブジェクト内の相対位置情報）を特定する。また、オブジェクト特定部３３２は、オブジェクトの移動元表示領域情報２４、移動先座標情報２５及び移動先表示領域情報２６から、オブジェクトの移動元表示領域、移動先位置及び移動先表示領域を特定する。   The object specifying unit 332 of this embodiment specifies an object to be operated on the display screen of the playback device 300 from the object specifying information included in the operation record information 200. The operation type identification unit 333 identifies the type of operation performed on the identified object from the operation type information included in the operation record information 200. When the type of operation to be specified is a movement operation for the operation target object, the object specifying unit 332 specifies the position of the pointer in the object (relative position information in the object) based on the in-object coordinate information 23. Further, the object specifying unit 332 specifies the movement source display area, the movement destination position, and the movement destination display area of the object from the movement source display area information 24, the movement destination coordinate information 25, and the movement destination display area information 26 of the object.

本実施形態の操作発生要求部３３４は、再生装置３００に搭載されたＯＳに対して、操作対象のオブジェクトに対して特定した操作を発生させるための操作発生要求を行う。   The operation generation request unit 334 of the present embodiment makes an operation generation request for causing the OS installed in the playback apparatus 300 to generate the specified operation on the operation target object.

再生装置３００では、ＯＳに対して操作発生要求を行うことで、ＯＳの機能により要求した操作が発生し、操作記録情報２００に記録された操作内容が再生装置３００において再現される。   In the reproduction apparatus 300, an operation generation request is made to the OS, so that the requested operation is generated by the function of the OS, and the operation content recorded in the operation record information 200 is reproduced in the reproduction apparatus 300.

［記録装置による記録処理］
次に、図８、図９を参照し、本実施形態の記録装置１００による操作記録情報２００の記録処理について説明する。 [Recording process by recording device]
Next, recording processing of the operation record information 200 by the recording apparatus 100 of the present embodiment will be described with reference to FIGS.

図８は、記録処理部による操作記録情報の記録処理を説明する第一のフローチャートである。   FIG. 8 is a first flowchart for explaining operation recording information recording processing by the recording processing unit.

本実施形態の記録装置１００において、記録処理部１２０は、操作検知部１２１により、記録装置１００の表示画面の操作を検知する（ステップＳ７０１）。具体的には、操作検知部１２１は、記録装置１００のＯＳから操作が検知された通知を受け付ける。   In the recording apparatus 100 of the present embodiment, the recording processing unit 120 detects an operation on the display screen of the recording apparatus 100 by the operation detection unit 121 (step S701). Specifically, the operation detection unit 121 receives a notification that an operation has been detected from the OS of the recording apparatus 100.

続いて記録処理部１２０は、操作が検知されると、割込発生部１２２により、ＯＳに対して割込を発生させて操作内容の記録処理を開始し、オブジェクト特定部１２３により、操作の対象となったオブジェクトを特定する（ステップＳ７０２）。   Subsequently, when an operation is detected, the recording processing unit 120 causes the interrupt generation unit 122 to generate an interrupt to the OS and starts a recording process of the operation content, and the object specifying unit 123 performs an operation target. The object that becomes is specified (step S702).

より具体的には、オブジェクト特定部１２３は、操作の検知と同時にＯＳから取得した、ポインタの位置を示す座標情報をＯＳに渡す。そして、オブジェクト特定部１２３は、ＯＳの機能（例えばWindows（登録商標） API等）により、この座標情報が示す位置に表示されたオブジェクトを特定するオブジェクト特定情報を取得する。   More specifically, the object specifying unit 123 passes the coordinate information indicating the position of the pointer acquired from the OS simultaneously with the detection of the operation to the OS. Then, the object specifying unit 123 acquires object specifying information for specifying the object displayed at the position indicated by the coordinate information by the function of the OS (for example, Windows (registered trademark) API).

続いて、記録処理部１２０は、操作種類取得部１２４により、検知された操作の種類を示す操作種類情報を取得し、操作の種類を特定する（ステップＳ７０３）。尚、操作種類情報は、例えば操作検知部１２１が操作を検知する際に、ＯＳから取得していても良い。   Subsequently, the recording processing unit 120 acquires operation type information indicating the type of operation detected by the operation type acquisition unit 124, and specifies the type of operation (step S703). The operation type information may be acquired from the OS when the operation detection unit 121 detects an operation, for example.

続いて、記録処理部１２０は、操作記録部１２５により、オブジェクト特定情報と操作種類情報とを対応付けた操作記録情報２００として記録する（ステップＳ７０４）。   Subsequently, the recording processing unit 120 causes the operation recording unit 125 to record the operation identification information 200 associating the object identification information with the operation type information (step S704).

続いて、記録処理部１２０は、操作記録部１２５により、記録終了の指示を受け付けたか否かを判定する（ステップＳ７０５）。ステップＳ７０５において、該当する指示を受け付けていない場合、記録処理部１２０は、ステップＳ７０１へ戻る。ステップＳ７０５において、該当する指示を受け付けた場合、記録処理部１２０は、操作記録情報の記録を終了する。   Subsequently, the recording processing unit 120 determines whether a recording end instruction has been received by the operation recording unit 125 (step S705). If the corresponding instruction is not accepted in step S705, the recording processing unit 120 returns to step S701. In step S705, when the corresponding instruction is received, the recording processing unit 120 ends the recording of the operation record information.

次に、図９を参照して、本実施形態の記録処理部１２０の処理をさらに詳細に説明する。図９は、記録処理部による操作記録情報の記録の処理を説明する第二のフローチャートである。   Next, the processing of the recording processing unit 120 of the present embodiment will be described in more detail with reference to FIG. FIG. 9 is a second flowchart for explaining the process of recording the operation record information by the record processing unit.

図９のステップＳ８０１からステップＳ８０８までの処理は、図８のステップＳ７０１からステップＳ７０４までの処理の詳細を示している。   The processing from step S801 to step S808 in FIG. 9 shows the details of the processing from step S701 to step S704 in FIG.

本実施形態の操作検知部１２１は、表示画面に対する操作を検知したかを判定し（ステップＳ８０１）、検知するまでステップＳ８０１を繰り返す。表示画面に対する操作が検知された場合、オブジェクト特定部１２３は、操作対象のオブジェクトを特定するオブジェクト特定情報を取得し、操作種類取得部１２４は、操作の種類を示す操作種類情報を取得する（ステップＳ８０２）。更に操作の種類が移動操作の場合であって、今回の操作がマウスボタンのボタンダウンである場合、オブジェクト特定部１２３は、オブジェクト内座標情報２３及び移動元表示領域情報２４を取得する。操作の種類が移動操作の場合であって、今回の操作がマウスボタンのボタンアップである場合、オブジェクト特定部１２３は、移動先座標情報２５及び移動先表示領域情報２６を取得する。   The operation detection unit 121 of this embodiment determines whether an operation on the display screen has been detected (step S801), and repeats step S801 until it is detected. When an operation on the display screen is detected, the object specifying unit 123 acquires object specifying information for specifying the operation target object, and the operation type acquiring unit 124 acquires operation type information indicating the type of operation (step). S802). Furthermore, when the type of operation is a move operation and the current operation is a button down of a mouse button, the object specifying unit 123 acquires the in-object coordinate information 23 and the move source display area information 24. When the type of operation is a move operation and the current operation is a button up of a mouse button, the object specifying unit 123 acquires the move destination coordinate information 25 and the move destination display area information 26.

続いて、操作記録部１２５は、今回操作したマウスボタンのボタンアップの位置を示す座標情報と前回操作したマウスボタンのボタンダウンの位置を示す座標情報とを比較し（ステップＳ８０３）、操作対象のオブジェクトが移動したかを判定する（ステップＳ８０４）。ここで、今回操作したボタンアップの位置と前回操作したボタンダウンの位置とを示す座標情報が一致する場合、この操作は移動操作でないと判定される。この場合、ステップＳ８０５に進み、操作記録部１２５は、操作対象のオブジェクトのオブジェクト特定情報２１と操作種類情報２２とを操作記録情報２００に記録する。   Subsequently, the operation recording unit 125 compares the coordinate information indicating the button up position of the mouse button operated this time with the coordinate information indicating the button down position of the mouse button operated last time (step S803), It is determined whether the object has moved (step S804). Here, if the coordinate information indicating the button-up position operated this time matches the button-down position operated last time, it is determined that the operation is not a movement operation. In this case, the process proceeds to step S805, and the operation recording unit 125 records the object specifying information 21 and the operation type information 22 of the operation target object in the operation record information 200.

次いで、記録処理部１２０は、記録終了の指示を受け付けたか否かを判定する（ステップＳ８０９）。記録終了の指示を受け付けていない場合、記録処理部１２０は、ステップＳ８０１へ戻る。ステップＳ８０９において、記録終了の指示を受け付けると、記録処理部１２０は操作内容の記録の処理を終了する。   Next, the recording processing unit 120 determines whether an instruction to end recording has been received (step S809). If the recording end instruction has not been received, the recording processing unit 120 returns to step S801. In step S809, upon receiving an instruction to end recording, the recording processing unit 120 ends the operation content recording processing.

他方、ステップＳ８０４にて今回操作したボタンアップの位置と前回操作したボタンダウンの位置とを示す座標情報が一致しない場合、この操作は移動操作であると判定される。この場合、操作記録部１２５は、操作対象のオブジェクトが存在する移動元表示領域情報と、移動元表示領域でドラッグしたオブジェクト内座標情報とを取得する（ステップＳ８０６）。次いで、操作記録部１２５は、移動先表示領域情報と移動先表示領域でドロップした移動先座標情報とを取得する（ステップＳ８０７）。次いで、操作記録部１２５は、取得した操作対象オブジェクトのオブジェクト特定情報、操作種類情報、オブジェクト内座標情報、移動元表示領域情報、移動先座標情報及び移動先表示領域情報を操作記録情報２００に記録する（ステップＳ８０８）。   On the other hand, when the coordinate information indicating the button-up position operated this time and the button-down position operated last time do not match in step S804, it is determined that this operation is a movement operation. In this case, the operation recording unit 125 acquires the movement source display area information in which the operation target object exists and the in-object coordinate information dragged in the movement source display area (step S806). Next, the operation recording unit 125 acquires the destination display area information and the destination coordinate information dropped in the destination display area (step S807). Next, the operation recording unit 125 records the acquired object identification information, operation type information, in-object coordinate information, movement source display area information, movement destination coordinate information, and movement destination display area information in the operation recording information 200. (Step S808).

次いで、記録処理部１２０は、記録終了の指示を受け付けたか否かを判定する（ステップＳ８０９）。記録終了の指示を受け付けていない場合、記録処理部１２０は、ステップＳ８０１へ戻る。ステップＳ８０９において、記録終了の指示を受け付けると、記録処理部１２０は操作内容の記録の処理を終了する。   Next, the recording processing unit 120 determines whether an instruction to end recording has been received (step S809). If the recording end instruction has not been received, the recording processing unit 120 returns to step S801. In step S809, upon receiving an instruction to end recording, the recording processing unit 120 ends the operation content recording processing.

以上の処理により、操作記録情報２００にオブジェクト特定情報２１及び操作種類情報２２を記録することができる。また、本実施形態では、操作が移動である場合、オブジェクト特定情報２１及び操作種類情報２２を操作記録情報２００に記録するだけでなく、オブジェクト内座標情報２３、移動元表示領域情報２４、移動先座標情報２５及び移動先表示領域情報２６を記録することができる。   Through the above processing, the object specifying information 21 and the operation type information 22 can be recorded in the operation record information 200. In the present embodiment, when the operation is a movement, not only the object specifying information 21 and the operation type information 22 are recorded in the operation record information 200 but also the in-object coordinate information 23, the movement source display area information 24, the movement destination. Coordinate information 25 and destination display area information 26 can be recorded.

［再生装置による再生処理］
次に、図１０、図１１を参照して、本実施形態の再生装置３００による操作記録情報２００に基づく再生の処理について説明する。図１０は、再生処理部による操作記録情報の再生の処理を説明する第一のフローチャートである。 [Playback processing by playback device]
Next, a reproduction process based on the operation record information 200 by the reproduction apparatus 300 according to the present embodiment will be described with reference to FIGS. FIG. 10 is a first flowchart for explaining the process of reproducing the operation record information by the reproduction processing unit.

本実施形態の再生装置３００において再生処理部３３０の操作記録読込部３３１は、操作記録情報２００を読み込み、オブジェクト特定情報２１と操作種類情報２２とを取得する（ステップＳ９０１）。   In the playback apparatus 300 of this embodiment, the operation record reading unit 331 of the playback processing unit 330 reads the operation record information 200 and acquires the object specifying information 21 and the operation type information 22 (step S901).

続いて、オブジェクト特定部３３２は、取得したオブジェクト特定情報に基づき、操作対象となるオブジェクトを再生装置３００上で探す（ステップＳ９０２）。続いてオブジェクト特定部３３２は、操作対象のオブジェクトを特定できたか否かを判定する（ステップＳ９０３）。ステップＳ９０３において、操作対象のオブジェクトを特定できない場合、オブジェクト特定部３３２は、エラー処理を実行し（ステップＳ９０４）、処理を終了する。   Subsequently, the object specifying unit 332 searches the playback device 300 for an object to be operated based on the acquired object specifying information (step S902). Subsequently, the object specifying unit 332 determines whether or not the operation target object has been specified (step S903). In step S903, when the operation target object cannot be specified, the object specifying unit 332 executes error processing (step S904) and ends the processing.

本実施形態のエラー処理について以下に説明する。本実施形態の再生処理部３３０は、操作対象のオブジェクトを特定できない場合、操作対象のオブジェクトを特定できないことを示すエラーメッセージを表示画面に表示させ、再生処理を中断する。   The error processing of this embodiment will be described below. When the operation target object cannot be identified, the reproduction processing unit 330 of the present embodiment displays an error message indicating that the operation target object cannot be identified on the display screen, and interrupts the reproduction process.

操作対象のオブジェクトが特定できない場合とは、再生装置３００の表示画面に操作対象のオブジェクトが表示されていないことを示している。この場合、正しく操作記録情報２００が再現されていない状態である可能性がある。したがって、本実施形態の再生処理部３３０は、操作対象のオブジェクトが特定できない場合には、再生処理を中断する。   The case where the operation target object cannot be specified indicates that the operation target object is not displayed on the display screen of the playback device 300. In this case, there is a possibility that the operation record information 200 is not correctly reproduced. Therefore, the reproduction processing unit 330 according to the present embodiment interrupts the reproduction process when the operation target object cannot be specified.

本実施形態では、再生処理を中断することで、操作記録情報２００の再現に失敗した時点で、再生装置３００における操作の発生を中断させるため、再生装置３００の表示画面の状態から、どの時点で操作記録情報２００の再現に失敗したかを判別することができる。   In the present embodiment, by interrupting the reproduction process, the generation of the operation in the reproduction device 300 is interrupted when the reproduction of the operation record information 200 fails, so at any point in time from the state of the display screen of the reproduction device 300. It can be determined whether the reproduction of the operation record information 200 has failed.

ステップＳ９０３において、操作対象のオブジェクトが特定された場合、操作種類特定部３３３は、特定されたオブジェクトと対応する操作種類情報を取得し、操作発生要求部３３４は、該当する操作を発生させる（ステップＳ９０５）。操作発生要求部３３４によるステップＳ９０５の処理の詳細は後述する。   When an operation target object is specified in step S903, the operation type specifying unit 333 acquires operation type information corresponding to the specified object, and the operation generation requesting unit 334 generates a corresponding operation (step S903). S905). Details of the processing in step S905 by the operation generation request unit 334 will be described later.

続いて再生処理部３３０は、操作記録情報２００に含まれる全ての操作の再現が完了したか否かを判定する（ステップＳ９０６）。ステップＳ９０６において、再現が完了していない場合、再生処理部３３０は、ステップＳ９０１へ戻る。ステップＳ９０６において、再現が完了した場合、再生処理部３３０は処理を終了する。   Subsequently, the reproduction processing unit 330 determines whether or not the reproduction of all the operations included in the operation record information 200 has been completed (step S906). If reproduction has not been completed in step S906, the reproduction processing unit 330 returns to step S901. If the reproduction is completed in step S906, the reproduction processing unit 330 ends the process.

次に、図１１を参照して、操作発生要求部３３４の処理について説明する。図１１は、操作記録情報の再生の処理を説明する第二のフローチャートである。図１１の処理は、図１０のステップＳ９０５の処理の詳細を示している。   Next, processing of the operation generation request unit 334 will be described with reference to FIG. FIG. 11 is a second flowchart for explaining the process of reproducing the operation record information. The process of FIG. 11 shows the details of the process of step S905 of FIG.

本実施形態の操作発生要求部３３４は、操作記録情報２００の先頭から順にオブジェクト特定情報２１により特定される、操作対象となるオブジェクトを抽出し、操作種類情報２２により特定される、操作の種類を抽出する（ステップＳ１００１）。続いて操作発生要求部３３４は、操作の種類が移動操作であるか否かを判定する（ステップＳ１００２）。   The operation generation request unit 334 of the present embodiment extracts the objects to be operated, which are specified by the object specifying information 21 in order from the top of the operation record information 200, and specifies the type of operation specified by the operation type information 22. Extract (step S1001). Subsequently, the operation generation request unit 334 determines whether or not the operation type is a movement operation (step S1002).

ステップＳ１００２において、移動操作である場合、操作発生要求部３３４は、操作記録情報２００からオブジェクト内座標情報２３と移動元表示領域情報２４とを取得する（ステップＳ１００３）。次いで、操作記録情報２００から操作発生要求部３３４は、移動先座標情報２５と移動先表示領域情報２６とを取得する（ステップＳ１００４）。   In step S1002, when it is a moving operation, the operation generation request unit 334 acquires the in-object coordinate information 23 and the movement source display area information 24 from the operation record information 200 (step S1003). Next, the operation generation request unit 334 acquires the movement destination coordinate information 25 and the movement destination display area information 26 from the operation record information 200 (step S1004).

次に、操作発生要求部３３４は、再生装置３００のＯＳに対し、操作対象のオブジェクトに対して移動操作を発生させる要求を行い（ステップＳ１００５）、ステップＳ１００７に進む。   Next, the operation generation request unit 334 requests the OS of the playback device 300 to generate a moving operation for the operation target object (step S1005), and the process proceeds to step S1007.

これにより、特定されたオブジェクト１０３は、マウスボタンのボタンダウン操作に応じてポインタＰの移動に応じて移動し、マウスボタンのボタンアップ操作に応じてマウスボタンを離した位置に置かれる。このとき、移動先表示領域の移動先座標とオブジェクト内座標とが一致するようにオブジェクトが移動される。   Thus, the identified object 103 moves according to the movement of the pointer P according to the button down operation of the mouse button, and is placed at a position where the mouse button is released according to the button up operation of the mouse button. At this time, the object is moved so that the movement destination coordinates in the movement destination display area coincide with the in-object coordinates.

図３（ａ）の例では、操作種類情報２２が操作の対象オブジェクトに対する移動操作の場合、オブジェクト特定情報２１はアイコンＢであり、オブジェクト内座標情報２３は（ｘ３、ｙ３）である。また、移動元表示領域はデスクトップであり、移動先座標は（ｘ２、ｙ２）であり、移動先表示領域はフォルダＡである。この場合、上記移動操作を発生させる要求により、図５に示すように、表示画面１０１には、デスクトップ画面上に表示されていたアイコンＢのオブジェクト１０３がフォルダＡ１０２まで移動し、フォルダＡ１０２内に配置される。その際、図５に示す移動後のフォルダＡ内のオブジェクト１０３の移動先座標（ｘ２、ｙ２）と、オブジェクト内座標（ｘ３、ｙ３）とが一致するようにオブジェクト１０３が配置される。 In the example of FIG. 3A, when the operation type information 22 is a move operation for the operation target object, the object specifying information 21 is the icon B, and the in-object coordinate information 23 is (x 3 , y 3 ). The movement source display area is a desktop, the movement destination coordinates are (x 2 , y 2 ), and the movement destination display area is a folder A. In this case, in response to the request to generate the moving operation, the object 103 of the icon B displayed on the desktop screen is moved to the folder A102 and placed in the folder A102 on the display screen 101 as shown in FIG. Is done. At that time, the object 103 is arranged so that the movement destination coordinates (x 2 , y 2 ) of the object 103 in the folder A after movement shown in FIG. 5 coincide with the in-object coordinates (x 3 , y 3 ). The

すなわち、移動先表示領域であるフォルダＡ内において、基準座標Ａを原点座標とした移動先座標（ｘ２、ｙ２）と基準座標Ｂを原点座標としたオブジェクト内座標（ｘ３、ｙ３）とが一致するようにオブジェクト１０３が移動及び配置される。 That is, in the folder A which is the movement destination display area, the movement destination coordinates (x 2 , y 2 ) with the reference coordinates A as the origin coordinates and the in-object coordinates (x 3 , y 3 ) with the reference coordinates B as the origin coordinates. The object 103 is moved and arranged so that.

これにより、オブジェクト１０３の移動先の操作位置を、ポインタＰの位置がオブジェクト１０３の中心にある配置から実際にドラッグした位置に補正し、補正した前記操作位置に前記対象オブジェクトを移動させることができる。これにより、図５に点線にて示すように、移動先座標（ｘ２、ｙ２）にオブジェクト１０３の中心が位置付けられるようにオブジェクト１０３が配置された場合に生じた再生時の移動先のオブジェクトの位置ずれを回避することができる。そして、フォルダＡ１０２内のアイコンＢの移動先又はその近傍に、図５に示すサブフォルダ１０４が存在した場合においても、サブフォルダ１０４内にオブジェクト１０３が入れ込まれてしまう問題は生じない。この結果、記録時のオブジェクト１０３の移動操作と再生時のオブジェクト１０３の移動操作とが一致した操作となり、記録時の動作を忠実に再現することが可能となる。 Thereby, the operation position of the movement destination of the object 103 is corrected to the position where the position of the pointer P is actually dragged from the arrangement where the position of the pointer P is at the center of the object 103, and the target object can be moved to the corrected operation position. . As a result, as indicated by the dotted line in FIG. 5, the object of the movement destination at the time of reproduction that occurs when the object 103 is arranged so that the center of the object 103 is positioned at the movement destination coordinates (x 2 , y 2 ). Can be avoided. Even when the subfolder 104 shown in FIG. 5 exists at or near the destination of the movement of the icon B in the folder A102, there is no problem that the object 103 is inserted into the subfolder 104. As a result, the movement operation of the object 103 at the time of recording and the movement operation of the object 103 at the time of reproduction coincide with each other, and the operation at the time of recording can be faithfully reproduced.

他方、ステップＳ１００２において、操作の種類が移動操作でない場合、操作発生要求部３３４は、操作対象オブジェクトに対して抽出した種類の操作を発生させる要求を行い（ステップＳ１００６）、ステップＳ１００７に進む。   On the other hand, if the type of operation is not a move operation in step S1002, the operation generation request unit 334 makes a request to generate the extracted type of operation for the operation target object (step S1006), and the process proceeds to step S1007.

ステップＳ１００７において、再生処理部３３０は、操作記録情報２００に次の操作が記録されているかを判定する。操作記録情報２００に次の操作が記録されていない場合、再生処理部３３０は、再生が完了したと判定し、本処理を終了する。操作記録情報２００に次の操作に関する情報が記録されている場合、再生処理部３３０は、ステップＳ１００１に戻り、操作記録情報２００に記録されている次の操作に関する操作記録情報２００に基づき、ステップＳ１００１以降の再生処理を行う。   In step S <b> 1007, the reproduction processing unit 330 determines whether the next operation is recorded in the operation record information 200. When the next operation is not recorded in the operation record information 200, the reproduction processing unit 330 determines that the reproduction is completed, and ends the present process. If information related to the next operation is recorded in the operation record information 200, the reproduction processing unit 330 returns to step S1001 and, based on the operation record information 200 related to the next operation recorded in the operation record information 200, step S1001. The subsequent playback process is performed.

このように、本実施形態では、操作対象オブジェクトの移動先表示領域の移動先座標と、オブジェクト内座標とが一致するようにオブジェクトを移動させる。これにより、再生時のオブジェクト１０３の移動先の位置と記録時のオブジェクト１０３の移動先の位置とを一致させることができる。これにより、再生装置３００にて、操作の再生時に記録時とは異なる位置にオブジェクトが移動されることを回避できる。この結果、操作の再生時に誤った操作が発生することを防ぐことが可能となり、操作の再現の精度を向上させることができる。   Thus, in the present embodiment, the object is moved so that the movement destination coordinates of the movement destination display area of the operation target object coincide with the in-object coordinates. Thereby, the position of the movement destination of the object 103 at the time of reproduction and the position of the movement destination of the object 103 at the time of recording can be matched. Thereby, in the playback apparatus 300, it is possible to avoid moving the object to a position different from that at the time of recording during playback of the operation. As a result, it is possible to prevent an erroneous operation from occurring during the reproduction of the operation, and the accuracy of the operation reproduction can be improved.

なお、ポインタＰの位置がオブジェクト１０３の中心にある配置から実際にドラッグした位置に補正する方法としては、移動先表示領域の移動先座標とオブジェクト内座標とが一致するようにオブジェクトを移動させることに限られない。例えば、他の補正方法としては、移動先表示領域の移動先座標から予め定められた所定範囲内にオブジェクト内座標があるようにオブジェクトを移動させてもよい。   As a method for correcting the position of the pointer P from the position at the center of the object 103 to the position actually dragged, the object is moved so that the movement destination coordinates in the movement destination display area coincide with the coordinates in the object. Not limited to. For example, as another correction method, the object may be moved so that the coordinates within the object are within a predetermined range from the movement destination coordinates of the movement destination display area.

（第二の実施形態）
以下に図面を参照して第二の実施形態について説明する。第二の実施形態は、一台のコンピュータが記録処理部と再生処理部を実現する点が第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。 (Second embodiment)
The second embodiment will be described below with reference to the drawings. The second embodiment is different from the first embodiment in that one computer realizes a recording processing unit and a reproduction processing unit. Therefore, in the following description of the second embodiment, differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be described in the description of the first embodiment. The same reference numerals as those used are assigned, and the description thereof is omitted.

図１２は、第二の実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生装置１００Ａは、操作記録再生処理部１１０Ａを有する。   FIG. 12 is a diagram for explaining the functional configuration of the recording / reproducing apparatus of the second embodiment. The recording / reproducing apparatus 100A of the present embodiment includes an operation recording / reproducing processor 110A.

本実施形態の操作記録再生処理部１１０Ａは、記録処理部１２０と再生処理部１３０とを有する。再生処理部１３０は、操作記録読込部１３１、オブジェクト特定部１３２、操作種類特定部１３３、操作発生要求部１３４を有する。再生処理部１３０の有する各部は、第一の実施形態の再生処理部３３０の有する各部と同様の機能を実現する。   The operation recording / playback processing unit 110 </ b> A of the present embodiment includes a recording processing unit 120 and a playback processing unit 130. The reproduction processing unit 130 includes an operation record reading unit 131, an object specifying unit 132, an operation type specifying unit 133, and an operation generation requesting unit 134. Each unit included in the reproduction processing unit 130 realizes the same function as each unit included in the reproduction processing unit 330 according to the first embodiment.

また、本実施形態の記録再生装置１００Ａは、記録部１４０を有する。記録部１４０は、記録再生装置１００Ａが有するメモリ装置等に設けられた記憶領域である。本実施形態の記録再生装置１００Ａでは、記録処理部１２０による記録された操作記録情報２００を記録部１４０に格納しても良い。この場合、再生処理部１３０は、記録部１４０に格納された操作記録情報２００を再生する。   Further, the recording / reproducing apparatus 100 </ b> A of the present embodiment includes a recording unit 140. The recording unit 140 is a storage area provided in a memory device or the like included in the recording / reproducing apparatus 100A. In the recording / reproducing apparatus 100A of the present embodiment, the operation recording information 200 recorded by the recording processing unit 120 may be stored in the recording unit 140. In this case, the reproduction processing unit 130 reproduces the operation record information 200 stored in the recording unit 140.

本実施形態では、１台のコンピュータ（記録再生装置）１００Ａにおいて、記録処理部１２０による記録と、再生処理部１３０による再生とを同一のコンピュータで行うことで、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合でも、操作の再現の精度を維持できる。   In the present embodiment, in one computer (recording / reproducing apparatus) 100A, recording by the recording processing unit 120 and reproduction by the reproducing processing unit 130 are performed by the same computer, thereby displaying a display screen when recording the operation content. Even when the setting environment of the display screen is different from the setting environment of the display screen when the operation content is reproduced, the accuracy of the operation reproduction can be maintained.

（第三の実施形態）
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、記録装置１００において記録された操作記録情報２００が、外部のサーバに格納される点が第一の実施形態と相違する。 (Third embodiment)
The third embodiment will be described below with reference to the drawings. The third embodiment is different from the first embodiment in that operation record information 200 recorded in the recording device 100 is stored in an external server.

よって、以下の第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。   Therefore, in the following description of the third embodiment, differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be described in the description of the first embodiment. The same reference numerals as those used are assigned, and the description thereof is omitted.

図１３は、第三の実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生システム４００は、記録装置１００、再生装置３００、サーバ４１０を有する。記録装置１００、再生装置３００及びサーバ４１０は、ネットワークを介して接続されている。   FIG. 13 is a diagram illustrating the functional configuration of the recording / reproducing apparatus of the third embodiment. The recording / reproducing system 400 of this embodiment includes a recording device 100, a reproducing device 300, and a server 410. The recording device 100, the playback device 300, and the server 410 are connected via a network.

本実施形態の記録装置１００は、操作記録再生処理部１１０の記録処理部１２０により、操作記録情報２００をサーバ４１０に記録する。本実施形態の記録装置１００は、操作内容の記録の終了指示を受け付けてから、記録された操作記録情報２００をサーバ４１０に送信しても良い。   In the recording apparatus 100 of this embodiment, the operation recording information 200 is recorded in the server 410 by the recording processing unit 120 of the operation recording / reproducing processing unit 110. The recording apparatus 100 of this embodiment may transmit the recorded operation record information 200 to the server 410 after receiving an instruction to end recording of operation details.

本実施形態の再生装置３００は、操作記録再生処理部３１０の再生処理部３３０により、サーバ４１０から操作記録情報２００を読み込んで再生する。本実施形態の再生装置３００は、操作記録情報２００全てをサーバ４１０から取得した後に、再生装置３００内に保持された操作記録情報２００を再生しても良い。   In the playback device 300 of this embodiment, the playback processing unit 330 of the operation recording / playback processing unit 310 reads and plays back the operation record information 200 from the server 410. The reproduction apparatus 300 of this embodiment may reproduce the operation record information 200 held in the reproduction apparatus 300 after acquiring all the operation record information 200 from the server 410.

本実施形態によれば、再生装置３００はサーバ４１０から操作記録情報２００を取得すれば良く、操作記録情報２００が記憶された可搬型の記録媒体を持ち運んだり、記録媒体から操作記録情報２００を再生装置３００に読み取らせたりする作業が軽減される。   According to the present embodiment, the playback apparatus 300 only needs to acquire the operation record information 200 from the server 410, carry a portable recording medium in which the operation record information 200 is stored, or play back the operation record information 200 from the recording medium. Work to be read by the apparatus 300 is reduced.

以上、各実施形態によれば、操作対象となるオブジェクト内のポインタの位置をオブジェクト内座標情報２３に記録することで、マウスボタンをボタンダウンした後にボタンアップしたときのポインタの位置にオブジェクト内座標情報２３に示す位置を一致させることができる。これにより、再生時におけるオブジェクトの移動先の位置が、記録時におけるオブジェクトの移動先の位置からずれてしまうことを回避することができる。この結果、再生装置３００にて、操作の再生時に記録時とは異なる位置にオブジェクトが移動されることを回避できる。この結果、操作の再生時に誤った操作が発生することを防ぐことが可能となり、操作の再現の精度を向上させることができる。   As described above, according to each embodiment, by recording the position of the pointer in the object to be operated in the in-object coordinate information 23, the in-object coordinates are set at the position of the pointer when the mouse button is downed and then buttoned up. The positions shown in the information 23 can be matched. As a result, it is possible to prevent the position of the movement destination of the object during reproduction from deviating from the position of the movement destination of the object during recording. As a result, it is possible to prevent the playback apparatus 300 from moving the object to a position different from that during recording during playback of the operation. As a result, it is possible to prevent an erroneous operation from occurring during the reproduction of the operation, and the accuracy of the operation reproduction can be improved.

以上、操作記録再生プログラム、操作再生プログラム、操作記録再生システム及び操作記録再生方法を上記実施形態により説明したが、本発明にかかる操作記録再生プログラム、操作再生プログラム、操作記録再生システム及び操作記録再生方法は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。   As described above, the operation recording / reproducing program, the operation reproducing program, the operation recording / reproducing system, and the operation recording / reproducing method have been described in the above embodiment. The method is not limited to the above embodiment, and various modifications and improvements can be made within the scope of the present invention. In addition, when there are a plurality of the above-described embodiments and modifications, they can be combined within a consistent range.

なお、オブジェクトは、デスクトップ画面等に表示されるウィンドウ、フォルダ、フォルダ内のファイル、アイコン、タグ、スクロール等であってもよい。また、オブジェクトは、これに限られず、デスクトップ画面に表示されている選択可能なすべての表示部品が含まれる。例えば、オブジェクトは、ウィンドウの最小化の要求を行うための表示部品、ウィンドウを閉じる要求を行うための表示部品、ウィンドウの最大化の要求を行うための表示部品であってもよい。オブジェクトは、メニューやコントロールパネルに表示された表示部品、ファイル内の選択可能な図等であってもよい。   Note that the object may be a window, a folder, a file in the folder, an icon, a tag, a scroll, or the like displayed on the desktop screen or the like. Further, the object is not limited to this, and includes all selectable display components displayed on the desktop screen. For example, the object may be a display component for making a window minimization request, a display component for making a window close request, or a display component for making a window maximization request. The object may be a display part displayed on a menu or a control panel, a selectable figure in a file, or the like.

以上の説明に関し、更に以下の項を開示する。
（付記１）
表示されたオブジェクトに対する操作記録情報を記録し、記録した前記操作記録情報に従い前記操作を発生させる処理をコンピュータに実行させる操作記録再生プログラムであって、
前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて前記操作記録情報に記録し、
前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる、操作記録再生プログラム。
（付記２）
表示されたオブジェクトに対する操作記録情報を読み込み、読み込んだ前記操作記録情報に従い前記操作を発生させる処理をコンピュータに実行させる操作再生プログラムであって、
前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて記録した前記操作記録情報を読み込み、
読み込んだ前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる、操作再生プログラム。
（付記３）
表示されたオブジェクトに対する操作記録情報を記録する記録装置と、前記操作記録情報を再生する再生装置とを有する操作記録再生システムであって、
前記記録装置は、
前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて前記操作記録情報に記録する記録処理部を有し、
前記再生装置は、
前記操作記録情報を読み込む読込部と、
読み込んだ前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる再生処理部とを有する、操作記録再生システム。
（付記４）
表示されたオブジェクトに対する操作記録情報を記録し、記録した前記操作記録情報に従い前記操作を発生させる処理をコンピュータが実行する操作記録再生方法であって、
前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて前記操作記録情報に記録し、
前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる、操作記録再生方法。 Regarding the above description, the following items are further disclosed.
(Appendix 1)
An operation recording / reproducing program for recording operation recording information for a displayed object and causing a computer to execute processing for generating the operation according to the recorded operation recording information,
When the type of operation to be recorded in the operation record information is a move operation for an operation target object, the operation type information indicating the operation type is associated with relative position information indicating the operation position in the operation target object. Recorded in the operation record information,
When the operation type information included in the operation record information indicates a move operation, the position of the movement destination of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position is An operation recording / playback program for generating an operation for moving a target object.
(Appendix 2)
An operation reproduction program for reading operation record information for a displayed object and causing a computer to execute a process for generating the operation according to the read operation record information,
When the type of operation to be recorded in the operation record information is a move operation for an operation target object, the operation type information indicating the operation type is associated with relative position information indicating the operation position in the operation target object. Read the operation record information recorded,
If the operation type information included in the read operation record information indicates a move operation, the position of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position An operation reproduction program for generating an operation for moving the target object.
(Appendix 3)
An operation recording / reproducing system comprising: a recording device that records operation recording information for a displayed object; and a reproducing device that reproduces the operation recording information,
The recording device comprises:
When the type of operation to be recorded in the operation record information is a move operation for an operation target object, the operation type information indicating the operation type is associated with relative position information indicating the operation position in the operation target object. A recording processing unit for recording in the operation recording information
The playback device
A reading unit for reading the operation record information;
If the operation type information included in the read operation record information indicates a move operation, the position of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position An operation recording / reproducing system having a reproduction processing unit for generating an operation of moving the target object.
(Appendix 4)
An operation recording / reproducing method in which operation recording information for a displayed object is recorded, and a computer executes processing for generating the operation according to the recorded operation recording information,
When the type of operation to be recorded in the operation record information is a move operation for an operation target object, the operation type information indicating the operation type is associated with relative position information indicating the operation position in the operation target object. Recorded in the operation record information,
When the operation type information included in the operation record information indicates a move operation, the position of the movement destination of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position is An operation recording / reproducing method for generating an operation of moving a target object.

２１：オブジェクト特定情報
２２：操作種類情報
２３：オブジェクト内座標情報
２４：移動元表示領域情報
２５：移動先座標情報
２６：移動先表示領域情報
１００ 記録装置
１１０、３１０ 操作記録再生処理部
１２０、３２０ 記録処理部
１２１ 操作検知部
１２２ 割込発生部
１２３、１３２、３３２ オブジェクト特定部
１２４ 操作種類取得部
１２５ 操作記録部
１３０、３３０ 再生処理部
１３４、３３４ 操作発生要求部
２００ 操作記録情報
３００ 再生装置
３３１ 操作記録読込部
４００ 記録再生システム
４１０ サーバ 21: Object identification information 22: Operation type information 23: In-object coordinate information 24: Movement source display area information 25: Movement destination coordinate information 26: Movement destination display area information 100 Recording device 110, 310 Operation recording / reproduction processing unit 120, 320 Recording processing unit 121 Operation detection unit 122 Interrupt generation unit 123, 132, 332 Object identification unit 124 Operation type acquisition unit 125 Operation recording unit 130, 330 Reproduction processing unit 134, 334 Operation generation request unit 200 Operation recording information 300 Reproduction device 331 Operation record reading unit 400 Recording / reproducing system 410 Server

Claims (4)

表示されたオブジェクトに対する操作記録情報を記録し、記録した前記操作記録情報に従い前記操作を発生させる処理をコンピュータに実行させる操作記録再生プログラムであって、
前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて前記操作記録情報に記録し、
前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる、操作記録再生プログラム。 An operation recording / reproducing program for recording operation recording information for a displayed object and causing a computer to execute processing for generating the operation according to the recorded operation recording information,
When the type of operation to be recorded in the operation record information is a move operation for an operation target object, the operation type information indicating the operation type is associated with relative position information indicating the operation position in the operation target object. Recorded in the operation record information,
When the operation type information included in the operation record information indicates a move operation, the position of the movement destination of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position is An operation recording / playback program for generating an operation for moving a target object. 表示されたオブジェクトに対する操作記録情報を読み込み、読み込んだ前記操作記録情報に従い前記操作を発生させる処理をコンピュータに実行させる操作再生プログラムであって、
前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて記録した前記操作記録情報を読み込み、
読み込んだ前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる、操作再生プログラム。 An operation reproduction program for reading operation record information for a displayed object and causing a computer to execute a process for generating the operation according to the read operation record information,
When the type of operation to be recorded in the operation record information is a move operation for an operation target object, the operation type information indicating the operation type is associated with relative position information indicating the operation position in the operation target object. Read the operation record information recorded,
If the operation type information included in the read operation record information indicates a move operation, the position of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position An operation reproduction program for generating an operation for moving the target object. 表示されたオブジェクトに対する操作記録情報を記録する記録装置と、前記操作記録情報の再生を発生させる再生装置とを有する操作記録再生システムであって、
前記記録装置は、
前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて前記操作記録情報に記録する記録処理部を有し、
前記再生装置は、
前記操作記録情報を読み込む読込部と、
読み込んだ前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる再生処理部とを有する、操作記録再生システム。 An operation recording / reproducing system comprising: a recording device that records operation recording information for a displayed object; and a reproducing device that generates reproduction of the operation recording information,
The recording device comprises:
When the type of operation to be recorded in the operation record information is a move operation for an operation target object, the operation type information indicating the operation type is associated with relative position information indicating the operation position in the operation target object. A recording processing unit for recording in the operation recording information
The playback device
A reading unit for reading the operation record information;
If the operation type information included in the read operation record information indicates a move operation, the position of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position An operation recording / reproducing system having a reproduction processing unit for generating an operation of moving the target object. 表示されたオブジェクトに対する操作記録情報を記録し、記録した前記操作記録情報に従い前記操作を発生させる処理をコンピュータが実行する操作記録再生方法であって、
前記操作記録情報に記録する前記操作の種類が操作の対象オブジェクトに対する移動操作の場合、前記操作の種類を示す操作種類情報と前記操作の対象オブジェクト内の操作位置を示す相対位置情報とを対応付けて前記操作記録情報に記録し、
前記操作記録情報に含まれる前記操作種類情報が移動操作を示す場合、前記操作記録情報に記録した前記相対位置情報に基づき、前記対象オブジェクトの移動先の位置を補正し、補正した前記位置に前記対象オブジェクトを移動する操作を発生させる、操作記録再生方法。 An operation recording / reproducing method in which operation recording information for a displayed object is recorded, and a computer executes processing for generating the operation according to the recorded operation recording information,
When the type of operation to be recorded in the operation record information is a move operation for an operation target object, the operation type information indicating the operation type is associated with relative position information indicating the operation position in the operation target object. Recorded in the operation record information,
When the operation type information included in the operation record information indicates a move operation, the position of the movement destination of the target object is corrected based on the relative position information recorded in the operation record information, and the corrected position is An operation recording / reproducing method for generating an operation of moving a target object.
JP2015212287A 2015-10-28 2015-10-28 Operation record playback program, operation playback program, operation record playback system and operation record playback method Active JP6797524B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015212287A JP6797524B2 (en) 2015-10-28 2015-10-28 Operation record playback program, operation playback program, operation record playback system and operation record playback method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015212287A JP6797524B2 (en) 2015-10-28 2015-10-28 Operation record playback program, operation playback program, operation record playback system and operation record playback method

Publications (2)

Publication Number Publication Date
JP2017084132A true JP2017084132A (en) 2017-05-18
JP6797524B2 JP6797524B2 (en) 2020-12-09

Family

ID=58712064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015212287A Active JP6797524B2 (en) 2015-10-28 2015-10-28 Operation record playback program, operation playback program, operation record playback system and operation record playback method

Country Status (1)

Country Link
JP (1) JP6797524B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206288A (en) * 2017-06-09 2018-12-27 富士ゼロックス株式会社 Information processing device and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721067A (en) * 1993-06-18 1995-01-24 Hitachi Ltd Multiplex undoing method
JPH1136919A (en) * 1997-07-24 1999-02-09 Nissan Motor Co Ltd Exhaust control device for internal combustion engine
JP2000181835A (en) * 1998-12-16 2000-06-30 Internatl Business Mach Corp <Ibm> Communication method, client terminal, server, communication system and recording medium for storing software product to control communication
JP2010146260A (en) * 2008-12-18 2010-07-01 Hitachi Ltd Reproduction processing method, computer system, and program
JP2011164785A (en) * 2010-02-05 2011-08-25 Nomura Research Institute Ltd Device, method and program for verifying operation
JP2014219885A (en) * 2013-05-10 2014-11-20 株式会社日立製作所 Test support method and test support system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721067A (en) * 1993-06-18 1995-01-24 Hitachi Ltd Multiplex undoing method
JPH1136919A (en) * 1997-07-24 1999-02-09 Nissan Motor Co Ltd Exhaust control device for internal combustion engine
JP2000181835A (en) * 1998-12-16 2000-06-30 Internatl Business Mach Corp <Ibm> Communication method, client terminal, server, communication system and recording medium for storing software product to control communication
JP2010146260A (en) * 2008-12-18 2010-07-01 Hitachi Ltd Reproduction processing method, computer system, and program
JP2011164785A (en) * 2010-02-05 2011-08-25 Nomura Research Institute Ltd Device, method and program for verifying operation
JP2014219885A (en) * 2013-05-10 2014-11-20 株式会社日立製作所 Test support method and test support system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
柿元 宏晃 他: "「Ｗｅｂ行動リプレイシステムに基づくＷｅｂアプリ ケーション動作検証システムとその応用」", ２００９年度人工知能学会 全国大会（第２３回）論文集, JPN6019012589, 19 June 2009 (2009-06-19), JP, pages 1 - 4, ISSN: 0004149677 *
牟田 拓: "「ゼロからはじめる Microsoft Visual Basic クリッカブルマップエディタ〜その４〜」", ＨＥＬＬＯ！ＰＣ ５・８／５・２４, vol. 第6巻 第8号, JPN6019012590, 24 May 1999 (1999-05-24), JP, pages 196 - 201, ISSN: 0004149678 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206288A (en) * 2017-06-09 2018-12-27 富士ゼロックス株式会社 Information processing device and program

Also Published As

Publication number Publication date
JP6797524B2 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
US9442832B2 (en) User workflow replication for execution error analysis
CN109918055B (en) Application program generation method and device
CN112445579B (en) Zero terminal data processing system and file copying method and device thereof
TW201222361A (en) Resolving merged touch contacts
EP3025255A1 (en) Virtual synchronization with on-demand data delivery
KR20140088551A (en) Server upgrades with safety checking and preview
US9813517B2 (en) Feedback layer for native content display in virtual desktop infrastructure
US20200241992A1 (en) System and method for dynamic domain-specific sequence diagram visualization
JP6035971B2 (en) Information processing apparatus, program, and image processing system
US20120050336A1 (en) Touch-based remote control
CN112181579A (en) Method and device for providing prototype of graphical user interface
CN109213668B (en) Operation recording method and device and terminal
CN112445578B (en) Zero terminal data processing system and file copying method and device thereof
JP6797524B2 (en) Operation record playback program, operation playback program, operation record playback system and operation record playback method
US10534690B1 (en) Concurrent quality testing by broadcasting user events
US10902179B2 (en) Modification of file graphic appearance within a collection canvas
KR20130126614A (en) Application file system access
JP6528646B2 (en) Operation reproduction program, operation reproduction apparatus and operation reproduction method
JP6547584B2 (en) Operation recording and reproduction program, operation reproduction program, operation recording and reproduction method, and operation recording and reproduction system
CN104898967A (en) Presenting indication of input to a touch-enabled pad on touch-enabled pad
JP6927340B2 (en) Operation recording program, operation recording method, operation recording device, operation playback program, operation playback method and operation playback device
JP6561775B2 (en) Operation recording / reproducing program, operation reproducing program, operation reproducing method, and operation recording / reproducing apparatus
JP6813265B2 (en) Operation recording / playback program, operation recording program, operation recording / playback method, and operation recording / playback device
JP2007179260A (en) Asset management device and asset management method
US11182064B2 (en) Information processing apparatus performing control on drag operation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191112

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200210

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200811

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201013

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201117

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201118

R150 Certificate of patent or registration of utility model

Ref document number: 6797524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150