JP2017084186A - Operation recording reproduction program, operation reproduction program, operation reproduction method, and operation recording reproduction device - Google Patents
Operation recording reproduction program, operation reproduction program, operation reproduction method, and operation recording reproduction device Download PDFInfo
- Publication number
- JP2017084186A JP2017084186A JP2015213371A JP2015213371A JP2017084186A JP 2017084186 A JP2017084186 A JP 2017084186A JP 2015213371 A JP2015213371 A JP 2015213371A JP 2015213371 A JP2015213371 A JP 2015213371A JP 2017084186 A JP2017084186 A JP 2017084186A
- Authority
- JP
- Japan
- Prior art keywords
- information
- recording
- target object
- hierarchy
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、操作記録再生プログラム、操作再生プログラム、操作再生方法及び操作記録再生装置に関する。 The present invention relates to an operation recording / reproducing program, an operation reproducing program, an operation reproducing method, and an operation recording / reproducing apparatus.
従来では、コンピュータに対する操作内容を記録し、記録した操作内容を再生することで、操作を再現する技術が知られている。 2. Description of the Related Art Conventionally, a technique for reproducing an operation by recording an operation content for a computer and reproducing the recorded operation content is known.
また、従来では、操作画面において操作が行われた位置を示す座標情報と、操作により起動したプログラムを示す情報とを、操作内容として記録することが知られている。 Conventionally, it is known that coordinate information indicating a position where an operation is performed on an operation screen and information indicating a program started by the operation are recorded as operation contents.
従来の手法により記録された操作内容では、例えばアイコン等の操作の対象となる画面上のオブジェクトの表示領域に、記録された座標情報が含まれない場合、記録された操作が再現されない。また、従来の手法により記録された操作内容では、プログラムを起動させるために、どのオブジェクトに対してどのような操作がなされたかを特定できない。 In the operation content recorded by the conventional method, for example, when the recorded coordinate information is not included in the display area of the object on the screen as an operation target such as an icon, the recorded operation is not reproduced. In addition, the operation content recorded by the conventional method cannot specify what operation has been performed on which object in order to start the program.
このため、従来の手法では、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等には、記録された操作内容が正しく再生されない可能性がある。 For this reason, in the conventional method, when the setting environment of the display screen when recording the operation contents is different from the setting environment of the display screen when reproducing the operation contents, the recorded operation contents are correctly reproduced. It may not be.
１つの側面では、操作の再現の精度を向上させることが可能な操作記録再生プログラム、操作記録再生方法及び操作記録再生システムを提供することを目的としている。 An object of one aspect is to provide an operation recording / reproducing program, an operation recording / reproducing method, and an operation recording / reproducing system capable of improving the accuracy of operation reproduction.
１つの実施態様では、画面に表示されたオブジェクトに対する操作を検知し、検知された操作対象オブジェクトに基づいて、オブジェクトの階層情報を取得し、取得した前記階層情報に基づいて、前記操作対象オブジェクトと、共通のオブジェクトに従属する識別対象オブジェクトを検索し、前記操作対象オブジェクトと識別対象オブジェクトとを識別するインデックス情報を生成してオブジェクト特定情報に付与し、前記インデックス情報を付与した前記オブジェクト特定情報に、前記操作の種類を示す操作種類情報を、対応付けた操作記録情報を記録し、記録された前記操作記録情報を読み込み、前記オブジェクト特定情報と前記インデックス情報とに基づき、前記操作を発生させるオブジェクトを特定し、特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる、処理をコンピュータに実行させる。 In one embodiment, an operation on the object displayed on the screen is detected, hierarchical information of the object is acquired based on the detected operation target object, and the operation target object is acquired based on the acquired hierarchical information. The identification target object subordinate to the common object is searched, index information for identifying the operation target object and the identification target object is generated and assigned to the object specifying information, and the object specifying information to which the index information is added The operation type information indicating the type of the operation is recorded in the associated operation record information, the recorded operation record information is read, and the operation is generated based on the object specifying information and the index information. Identify the identified object Generating a type of the operation according to the operation type information for, to execute the processing to the computer.
上記各処理は、上記各処理を実現する機能部、上記各処理を手順としてコンピュータにより実行させる方法、プログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもできる。 Each of the above processes may be a functional unit that realizes each of the above processes, a method of causing each computer to execute each of the processes as a procedure, and a computer-readable storage medium that stores the program.
操作の再現の精度を向上させることができる。 The accuracy of operation reproduction can be improved.
（第一の実施形態）
以下に図面を参照して実施形態について説明する。図１は、操作内容の記録と再生について説明する図である。
(First embodiment)
Embodiments will be described below with reference to the drawings. FIG. 1 is a diagram for explaining recording and reproduction of operation contents.
本実施形態では、コンピュータ１００において行われた操作の内容を、操作記録情報２００として記録する。記録された操作記録情報２００は、コンピュータ３００−１、３００−２において読み込まれ、記録された操作が再現される。
In the present embodiment, the content of the operation performed on the
本実施形態において、操作記録情報２００として内容が記録される操作は、例えばコンピュータ１００で繰り返し行わせたい操作や、コンピュータ３００−１、３００−２等の他のコンピュータで行わせたい操作等である。
In the present embodiment, the operation whose contents are recorded as the
尚、図１では、操作記録情報２００を再生するコンピュータを、コンピュータ３００−１、３００−２の２台としたが、操作記録情報２００を再生するコンピュータの数は任意であって良い。以下の説明では、コンピュータ３００−１、３００−２を区別しない場合には、単にコンピュータ３００と呼ぶ。
In FIG. 1, two computers 300-1 and 300-2 are used to reproduce the
また、以下の説明では、操作の内容を操作記録情報２００として記録するコンピュータ１００を、記録装置１００と呼び、操作記録情報２００を再生するコンピュータ３００を再生装置３００と呼ぶ。
In the following description, the
本実施形態では、記録装置１００において、操作記録情報２００を記録することで、記録装置１００で行われた操作を自動的に任意の数の再生装置３００に行わせることができる。したがって、本実施形態によれば、例えば複数台のコンピュータに同一の設定を行う操作を実施する場合等には、１台の記録装置１００において該当する操作を実施して操作記録情報２００を記録し、この操作記録情報２００を複数台のコンピュータに再生させれば良い。
In the present embodiment, by recording the
また、本実施形態では、記録装置１００と再生装置３００とを別のコンピュータとしているが、これに限定されない。記録装置１００と再生装置３００とは、同一の装置であっても良い。この場合、例えば１台のコンピュータに複数回同じ操作を実行させたい場合等に、操作記録情報２００を記録し、再生させれば良い。
In the present embodiment, the
尚、本実施形態の操作記録情報２００は、例えば記録装置１００において、外部の記憶装置や可搬型の記憶媒体等に記録されても良い。
Note that the
次に、本実施形態の記録装置１００による操作記録情報２００の記録と、再生装置３００による操作記録情報２００の再生について説明する。
Next, recording of the
本実施形態の記録装置１００は、表示画面に表示されたオブジェクトを特定するオブジェクト特定情報と、特定されたオブジェクトに対して行われた操作の種類を示す操作種類情報と、を操作記録情報２００として記録する。言い換えれば、本実施形態の操作記録情報２００は、オブジェクト特定情報と、オブジェクト特定情報に対応付けられた操作種類情報とを含む。本実施形態におけるオブジェクトとは、画面上に選択可能な状態で表示され得るものであり、且つ操作の対象となる表示部品である。
The
以下に、オブジェクト特定情報について説明する。 Below, object specific information is demonstrated.
本実施形態のオブジェクト特定情報は、操作対象とされたオブジェクトの階層を示す階層情報と、表示画面に表示された各オブジェクトの並び順を示すインデックス情報と、を含む。 The object specifying information of the present embodiment includes hierarchy information indicating the hierarchy of the object to be operated, and index information indicating the arrangement order of the objects displayed on the display screen.
本実施形態の階層情報は、デスクトップを最上位の階層としたとき、階層情報の取得対象とされたオブジェクトが所属する階層から最上位の階層までに、取得対象のオブジェクトが従属しているオブジェクトの名称と、取得対象のオブジェクトの名称と、を上位の階層にあるものから順に並べた情報である。つまり、本実施形態の階層情報は、操作対象のオブジェクトと、表示画面における他のオブジェクトとの関係を示す情報である。 In the hierarchical information of this embodiment, when the desktop is the highest hierarchy, the hierarchy of the object for which the acquisition target object is subordinate from the hierarchy to which the object for which the hierarchical information is acquired belongs to the highest hierarchy. This is information in which the name and the name of the object to be acquired are arranged in order from the upper level. That is, the hierarchical information of this embodiment is information indicating the relationship between the operation target object and other objects on the display screen.
インデックス情報とは、オブジェクトの名称に付与されるものであり、オブジェクトの属する階層の１階層上の階層における、該当するオブジェクトの並び順（配置）を示す。 The index information is given to the name of the object and indicates the arrangement order (arrangement) of the corresponding object in the hierarchy one level above the hierarchy to which the object belongs.
本実施形態のオブジェクトの名称は、記録装置１００に搭載されたＯＳ（Operating System）により取得されるオブジェクト情報に含まれる。オブジェクト情報は、オブジェクトの名称、種類、自身が従属するオブジェクトの名称、自身に従属しているオブジェクトの名称、その名称のオブジェクトの数等の情報が含まれる。
The name of the object of the present embodiment is included in object information acquired by an OS (Operating System) installed in the
本実施形態の再生装置３００は、操作記録情報２００に含まれるオブジェクト特定情報に基づき、再生装置３００の表示画面において、操作の対象となるオブジェクトを特定する。そして、再生装置３００は、操作種類情報に基づき、特定されたオブジェクトに対して操作種類情報が示す種類の操作を発生させる。
The
したがって、本実施形態によれば、操作記録情報２００の再生の際に、表示画面における操作対象のオブジェクトの表示位置に関わらず操作を再現でき、操作の再現の精度を向上させることができる。
Therefore, according to the present embodiment, when the
また、本実施形態によれば、操作記録情報２００の再生の際に、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等でも、どのオブジェクトに何の操作が行われたかを特定できる。よって、本実施形態によれば、記録時の環境と再生時の環境の違いに影響を抑えることができ、汎用性を向上させることができる。
Further, according to the present embodiment, when the
図２は、記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する図である。 FIG. 2 is a diagram for explaining the recording of the operation record information by the recording device and the reproduction of the operation record information by the reproduction device.
図２では、記録装置１００の表示画面１０１に表示されたオブジェクトに対して行われた操作の内容を記録する例を示している。表示画面１０１は、記録装置１００のディスプレイ等に表示される。
FIG. 2 shows an example in which the content of an operation performed on an object displayed on the
表示画面１０１は、記録装置１００のデスクトップ画面であり、オブジェクト１０２−１〜１０７−１、１０２−２〜１０７−２が表示されている。オブジェクト１０２−１〜１０７−１、１０２−２〜１０７−２は、それぞれが選択可能であり、且つ操作の対象となり得る。
A
オブジェクト１０２−１、１０２−２は、アプリケーション「ＸＹＺ」の起動により立ち上げられたウィンドウである。つまり、表示画面１０１は、同一名称のアプリケーション「ＸＹＺ」が複数立ち上げられた状態を示している。
The objects 102-1 and 102-2 are windows started up by starting up the application “XYZ”. That is, the
オブジェクト１０３−１、１０３−２、１０４−１、１０４−２は、起動しているアプリケーション「ＸＹＺ」それぞれに対する操作を行うための表示部品である。 The objects 103-1, 103-2, 104-1, and 104-2 are display components for performing operations on each activated application “XYZ”.
オブジェクト１０３−１、１０４−１は、オブジェクト１０２−１の内部に表示された、オブジェクト１０２−１の１階層下の階層のオブジェクトであり、オブジェクト１０２−１に従属している。オブジェクト１０３−２、１０４−２は、オブジェクト１０２−２の内部に表示された、オブジェクト１０２−２の１階層下のオブジェクトであり、オブジェクト１０２−２に従属している。 The objects 103-1 and 104-1 are objects that are displayed in the object 102-1 and are one layer below the object 102-1 and are subordinate to the object 102-1. The objects 103-2 and 104-2 are objects one level below the object 102-2 displayed inside the object 102-2, and are subordinate to the object 102-2.
オブジェクト１０５−１、１０５−２は、それぞれが対応するウィンドウの最小化の要求を行うための表示部品である。オブジェクト１０６−１、１０６−２は、それぞれが対応するウィンドウを閉じる要求を行うための表示部品である。ウィンドウを閉じる要求とは、アプリケーション「ＸＹＺ」の終了の要求である。オブジェクト１０７−１、１０７−２は、それぞれが対応するウィンドウの最大化の要求を行うための表示部品である。 The objects 105-1 and 105-2 are display parts for requesting the minimization of the corresponding window. The objects 106-1 and 106-2 are display components for making a request to close the corresponding window. The request to close the window is a request to end the application “XYZ”. The objects 107-1 and 107-2 are display components for requesting the maximization of the corresponding window.
オブジェクト１０５−１、１０６−１、１０７−１は、オブジェクト１０２−１の内部に表示された表示部品であり、オブジェクト１０２−１の１階層下のオブジェクトである。オブジェクト１０５−２、１０６−２、１０７−２は、オブジェクト１０２−２の内部に表示された表示部品であり、オブジェクト１０２−２の１階層下のオブジェクトである。 The objects 105-1, 106-1 and 107-1 are display components displayed inside the object 102-1, and are objects one layer below the object 102-1. Objects 105-2, 106-2, and 107-2 are display components displayed inside the object 102-2, and are objects one layer below the object 102-2.
ここで、表示画面１０１に表示されたオブジェクトのうち、名称と種類が一致するオブジェクトについて考える。オブジェクトの名称とは、オブジェクト内に表示されたテキストデータである。オブジェクトの種類とは、例えばウィンドウ、ダイアログボックス、ボタン（最小化、最大化、閉じる等）、ラベル等を示す。
Here, of the objects displayed on the
図２の例では、オブジェクト１０２−１、１０２−２は、同一のアプリケーション「ＸＹＺ」によって表示されるウィンドウであり、オブジェクトの名称と種類が一致する。 In the example of FIG. 2, the objects 102-1 and 102-2 are windows displayed by the same application “XYZ”, and the names and types of the objects match.
オブジェクト１０２−１には、オブジェクト１０３−１とオブジェクト１０４−１が表示されている。オブジェクト１０３−１とオブジェクト１０４−１のそれぞれは、名称が「ＯＫ」、種類が「ボタン」であり、両方ともオブジェクト１０２−１に従属しており、自身に従属するオブジェクトは存在しない。 In the object 102-1, an object 103-1 and an object 104-1 are displayed. Each of the object 103-1 and the object 104-1 has the name “OK” and the type “button”, and both are subordinate to the object 102-1, and there are no subordinate objects.
オブジェクト１０２−２には、オブジェクト１０３−２とオブジェクト１０４−２が表示されている。オブジェクト１０３−２とオブジェクト１０４−２のそれぞれは、名称が「ＯＫ」、種類が「ボタン」であり、両方ともオブジェクト１０２−２に従属しており、自身に従属するオブジェクトは存在しない。 In the object 102-2, an object 103-2 and an object 104-2 are displayed. Each of the object 103-2 and the object 104-2 has the name “OK” and the type “button”, both of which are subordinate to the object 102-2, and there is no object subordinate to itself.
したがって、オブジェクト１０２−１、１０２−２のそれぞれのオブジェクト情報は同一の情報となる。また、オブジェクト１０３−１、１０４−１、１０３−２、１０４−２のそれぞれのオブジェクト情報は、同一の情報となる。 Therefore, the object information of the objects 102-1 and 102-2 is the same information. Further, the object information of the objects 103-1, 104-1, 103-2, and 104-2 is the same information.
このため、例えば、表示画面１０１において、ポインタＰによりオブジェクト１０３−２を選択してクリック操作を行い、その次にオブジェクト１０４−１を選択してクリック操作を行った場合、単にオブジェクト情報を取得しただけでは、オブジェクト１０３−２とオブジェクト１０４−１のオブジェクト情報が同一のものとなり、区別がつかなくなる。したがって、このオブジェクト情報を操作種類情報と対応付けて操作記録情報とした場合、再生装置３００に操作を正しく再生させることができない。
For this reason, for example, when the object 103-2 is selected by the pointer P on the
そこで、本実施形態の記録装置１００は、表示画面に、操作対象とオブジェクト情報が同一となるオブジェクトが複数存在する場合、操作対象のオブジェクトの名称にインデックス情報を付与する。
Therefore, when there are a plurality of objects having the same object information as the operation target on the display screen, the
そして、記録装置１００は、インデックス情報が含むオブジェクト特定情報を、操作種類情報と共に操作記録情報２００として記録する。
Then, the
本実施形態では、インデックス情報を付与することで、操作対象のオブジェクトを表示画面上で一意に特定することができる。したがって、例えばオブジェクト１０３−２に対する操作の操作記録情報と、オブジェクト１０４−１に対する操作の操作記録情報とは異なるものとなり、これらの操作の操作記録情報を区別して記録することができる。 In the present embodiment, by adding index information, an operation target object can be uniquely specified on the display screen. Therefore, for example, the operation record information of the operation for the object 103-2 is different from the operation record information of the operation for the object 104-1, and the operation record information of these operations can be recorded separately.
また、以下の説明では、オブジェクト情報が一致するオブジェクト同士を、同一のオブジェクトと呼ぶ。 In the following description, objects having the same object information are referred to as the same object.
また、本実施形態の再生装置３００は、操作記録情報２００を再生する際に、再生装置３００の表示画面において、操作対象となるオブジェクトと同一のオブジェクトの数が、記録装置１００の表示画面における操作対象のオブジェクトと同一のオブジェクトの数と一致するか否かを判定する。
Further, when reproducing the
そして、本実施形態の再生装置３００は、操作対象のオブジェクトと同一のオブジェクトの数が操作記録情報２００と一致する場合に再生の処理を実行する。また、本実施形態の再生装置３００は、操作対象のオブジェクトと同一のオブジェクトの数が一致しない場合は、エラーとして再生の処理を停止させる。再生装置３００において、表示されるオブジェクトの数が記録時と異なる場合には、何らかの理由により操作が正しく再現されていないと考えられるからである。
Then, the
以上のように、本実施形態の記録装置１００は、操作記録情報２００を記録する際に、画面上に同一のオブジェクトが複数存在する場合でも、操作対象とされたオブジェクトを区別して記録することができる。
As described above, when recording the
また、本実施形態の再生装置３００は、操作記録情報２００を再生する際に、操作対象のオブジェクトと同一のオブジェクトが複数存在していても、記録時に操作対象とされたオブジェクトを特定し、そのオブジェクトに対する操作を再現することができる。
In addition, when reproducing the
よって、本実施形態によれば、操作の再現の精度を向上させることができる。 Therefore, according to the present embodiment, it is possible to improve the accuracy of operation reproduction.
次に、図３を参照して本実施形態の記録装置１００と再生装置３００のハードウェア構成について説明する。本実施形態の記録装置１００と再生装置３００のハードウェア構成は、同じであるため、図３では、記録装置のハードウェア構成について説明し、再生装置３００のハードウェア構成の説明は省略する。
Next, the hardware configuration of the
図３は、記録装置のハードウェア構成の一例を示す図である。本実施形態の記録装置１００は、それぞれバスＢで相互に接続されている入力装置１１、出力装置１２、ドライブ装置１３、補助記憶装置１４、メモリ装置１５、演算処理装置１６及びインターフェース装置１７を含む。
FIG. 3 is a diagram illustrating an example of a hardware configuration of the recording apparatus. The
入力装置１１はキーボードやマウス等を含み、各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等を含み、各種ウィンドウやデータ等を表示するために用いられる。インターフェース装置１７は、モデム、ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。
The
操作記録再生プログラムは、記録装置１００を制御する各種プログラムの少なくとも一部である。操作記録再生プログラムは例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。操作記録再生プログラムを記録した記録媒体１８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
The operation recording / reproducing program is at least a part of various programs for controlling the
また、操作記録再生プログラムは、操作記録再生プログラムを記録した記録媒体１８がドライブ装置１３にセットされるとは記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。ネットワークからダウンロードされた操作記録再生プログラムは、インターフェース装置１７を介して補助記憶装置１４にインストールされる。
The operation recording / reproducing program is installed from the
補助記憶装置１４は、インストールされた操作記録再生プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置１５は、コンピュータの起動時に補助記憶装置１４から操作記録再生プログラムを読み出して格納する。そして、演算処理装置１６はメモリ装置１５に格納された操作記録再生プログラムに従って、後述するような各種処理を実現している。
The
また、本実施形態の記録装置１００は、例えばタブレット型のコンピュータ等であっても良い。その場合、入力装置１１及び出力装置１２の代わりに、表示機能を有するタッチパネル等の表示操作装置を有していても良い。
Further, the
次に、図４を参照して本実施形態の記録装置１００と再生装置３００の機能について説明する。
Next, functions of the
図４は、第一の実施形態の記録装置及び再生装置の機能構成を説明する図である。本実施形態の記録装置１００は、操作記録再生処理部１１０を有する。また、本実施形態の再生装置３００は、操作記録再生処理部３１０を有する。
FIG. 4 is a diagram illustrating the functional configuration of the recording device and the playback device according to the first embodiment. The
本実施形態の操作記録再生処理部１１０は、記録装置１００にインストールされた操作記録再生プログラムを演算処理装置１６が実行することで実現される。
The operation recording /
また、本実施形態の操作記録再生処理部３１０は、再生装置３００にインストールされた操作記録再生プログラムを、再生装置３００の演算処理装置が実行することで実現される。
Further, the operation recording /
ここで、本実施形態において、記録装置１００と再生装置３００のそれぞれにインストールされる操作記録再生プログラムは、同一のプログラムであって良い。
Here, in the present embodiment, the operation recording / reproducing program installed in each of the
記録装置１００では、操作記録再生プログラムに含まれる記録プログラムを実行することで記録処理部１２０を実現し、コンピュータを記録装置１００として動作させる。
In the
また、再生装置３００では、操作記録再生プログラムに含まれる再生プログラムを実行することで再生処理部３３０を実現し、コンピュータを再生装置３００として動作させる。
Further, the
始めに、本実施形態の記録装置１００について説明する。本実施形態の記録装置１００の操作記録再生処理部１１０は、記録処理部１２０、再生処理部１３０を有する。
First, the
本実施形態の記録処理部１２０は、操作検知部１２１、割込発生部１２２、オブジェクト情報取得部１２３、操作種類取得部１２４、階層情報取得部１２５、オブジェクト数判定部１２６、インデックス付与部１２７、操作記録部１２８を有する。
The
操作検知部１２１は、記録装置１００において行われた操作を検知する。具体的には、本実施形態の操作検知部１２１は、記録装置１００に搭載されたＯＳがクリック操作、ドラッグ操作、ドロップ操作を検知したことを示す通知を受け付け、操作を受け付けたことを割込発生部１２２へ通知する。
The
本実施形態では、画面上の同一の座標において、マウスボタンのボタンダウンとボタンアップが検知されたとき、この操作はクリック操作として検知される。また、本実施形態では、マウスボタンのボタンダウン後に、ポインタが指し示す座標が移動した場合に、この操作はドラッグ操作として検知される。また、本実施形態では、ポインタが指し示す座標が移動した後のマウスボタンのボタンアップを検知したとき、この操作はドロップ操作として検知される。 In the present embodiment, when button down and button up of a mouse button are detected at the same coordinates on the screen, this operation is detected as a click operation. In the present embodiment, this operation is detected as a drag operation when the coordinate pointed to by the pointer moves after the mouse button is down. Further, in the present embodiment, when the button up of the mouse button is detected after the coordinates indicated by the pointer have moved, this operation is detected as a drop operation.
割込発生部１２２は、操作検知部１２１により検知対象の操作が検知されると、記録装置１００に搭載されたＯＳに対して割り込みを発生させ、操作内容を記録する処理の実行を要求する。
When the
オブジェクト情報取得部１２３は、割り込みが発生すると、ポインタが指し示しているオブジェクトに関するオブジェクト情報を取得する。
When an interrupt occurs, the object
具体的には、オブジェクト情報取得部１２３は、表示画面においてポインタが指し示している位置の座標情報を取得し、この座標情報を記録装置１００に搭載されたＯＳに渡し、ＯＳから座標情報と対応するオブジェクトのオブジェクト情報を受け取る。
Specifically, the object
操作種類取得部１２４は、割り込みが発生すると、操作検知部１２１により検知された操作の種類を示す情報を取得する。
When an interruption occurs, the operation
階層情報取得部１２５は、オブジェクトの階層情報を取得する。具体的には、階層情報取得部１２５は、階層情報の取得対象とされたオブジェクトについて、そのオブジェクトが従属している全てのオブジェクトの名称を取得する。つまり、階層情報取得部１２５は、階層情報の取得対象のオブジェクトが属する階層から１つ上の階層から最上位の階層（デスクトップ）に到達するまでに辿れる全てのオブジェクトの名称と、取得対象のオブジェクトの名称と、を階層情報として取得する。
The hierarchy
オブジェクト数判定部１２６は、オブジェクト情報及び階層情報に基づき、表示画面上における、判定対象のオブジェクトと同一のオブジェクトの数を判定する。
The object
インデックス付与部１２７は、オブジェクト数判定部１２６により、表示画面上に同一のオブジェクトが複数存在すると判定されたとき、複数のオブジェクトのそれぞれの名称に、オブジェクトの並び順を示すインデックス情報を付与する。
When the object
操作記録部１２８は、オブジェクトの名称にインデックス情報を付与したオブジェクト特定情報を、操作種類情報と対応付けた操作記録情報２００として記録する。また、本実施形態の操作記録部１２８は、記録処理の終了指示を受け付けたとき、記録の処理を終了する。
The
操作記録情報２００は、例えば可搬型の記憶媒体２１０に記録される。記憶媒体２１０は、再生装置３００において読取可能な記憶媒体であれば良い。
The
次に、本実施形態の再生装置３００について説明する。本実施形態の再生装置の操作記録再生処理部３１０は、記録処理部３２０、再生処理部３３０を有する。
Next, the
本実施形態の再生装置３００では、上述したように、再生処理部３３０が実現される。本実施形態の再生処理部３３０は、操作記録読込部３３１、操作種類特定部３３２、存在判定部３３３、オブジェクト数比較部３３４、オブジェクト特定部３３５、操作発生要求部３３６、テーブル格納部３３７を有する。
In the
操作記録読込部３３１は、記憶媒体２１０に格納された操作記録情報２００を読み込む。操作種類特定部３３２は、操作記録情報２００に含まれる操作種類情報から、特定したオブジェクトに対して行う操作の種類を特定する。
The operation
存在判定部３３３は、再生装置３００の表示画面上に、操作記録情報２００が示すオブジェクトが存在するか否か（表示されているか否か）を判定する。存在判定部３３３は、再生装置３００の表示画面上に該当するオブジェクトが存在しない場合、エラーとして操作記録情報２００の再生を停止させる。
The
オブジェクト数比較部３３４は、再生装置３００の表示画面上に、操作記録情報２００が示すオブジェクトが存在すると判定されたとき、操作記録情報２００が示すオブジェクトの数と、表示画面上におけるこのオブジェクトの数と、を比較する。そして、オブジェクト数比較部３３４は、比較結果が一致しない場合には、エラーとして操作記録情報２００の再生を停止させる。
When it is determined that the object indicated by the
オブジェクト特定部３３５は、オブジェクト数比較部３３４による比較結果が一致したとき、操作記録情報２００に含まれるオブジェクト特定情報に基づき、操作対象のオブジェクトに特定する。
When the comparison result by the object
操作発生要求部３３６は、再生装置３００に搭載されたＯＳに対して、操作対象のオブジェクトに対して特定した操作を発生させるための操作発生要求を行う。再生装置３００では、ＯＳに対して操作発生要求を行うことで、ＯＳの機能により要求した操作が発生し、操作記録情報２００に記録された操作内容が再生装置３００において再現される。
The operation
テーブル格納部３３７は、存在判定部３３３の処理において参照されるテーブルを格納する。テーブル格納部３３７が格納するテーブルの詳細は後述する。
The
次に、図５を参照して、本実施形態のオブジェクト特定情報について説明する。図５は、オブジェクト情報を説明する図である。 Next, the object specifying information of this embodiment will be described with reference to FIG. FIG. 5 is a diagram for explaining object information.
図５では、図２に示す表示画面１０１に対する操作により取得されるオブジェクト特定情報を説明する。
In FIG. 5, object specifying information acquired by an operation on the
図２に示す表示画面１０１に表示された各オブジェクトのオブジェクト情報を示している。
The object information of each object displayed on the
オブジェクト情報１１２−１は、オブジェクト１０２−１のオブジェクト情報であり、オブジェクト情報１１２−２は、オブジェクト１０２−２のオブジェクト情報である。オブジェクト情報１１２−１、１１２−２のそれぞれは、オブジェクト１０２−１、１０２−２の名称と種類及びオブジェクト１０２−１、１０２−２に含まれるオブジェクトの名称とその数が含まれる。 The object information 112-1 is object information of the object 102-1, and the object information 112-2 is object information of the object 102-2. Each of the object information 112-1 and 112-2 includes the names and types of the objects 102-1 and 102-2 and the names and the numbers of the objects included in the objects 102-1 and 102-2.
本実施形態のオブジェクト１０２−１、１０２−２は、デスクトップ１０１Ａを最上位の階層とした場合に、デスクトップ１０１Ａの１つ下の階層のオブジェクトとなる。デスクトップ１０１Ａは、オブジェクトではないため、オブジェクト１０２−１、１０２−２が従属しているオブジェクトは存在しない。よって、オブジェクト情報１１２−１、１１２−２には、オブジェクト１０２−１、１０２−２が従属するオブジェクトの名称は含まれない。
The objects 102-1 and 102-2 according to the present embodiment are objects in a hierarchy one level below the
また、本実施形態のオブジェクト１０２−１、１０２−２には、それぞれにオブジェクト１０３−１、１０４−１とオブジェクト１０３−２、１０４−２が含まれる。したがって、オブジェクト情報１１２−１には、オブジェクト１０２−１に含まれる（従属する）１０３−１、１０４−１の名称が含まれる。また、オブジェクト情報１１２−１には、オブジェクト１０２−１に含まれるオブジェクトのうち、名称が一致するオブジェクトの個数が含まれる。 In addition, the objects 102-1 and 102-2 of the present embodiment include the objects 103-1 and 104-1 and the objects 103-2 and 104-2, respectively. Therefore, the object information 112-1 includes the names of 103-1 and 104-1 included (subordinate) in the object 102-1. The object information 112-1 includes the number of objects having the same name among the objects included in the object 102-1.
オブジェクト１０２−１、１０２−２は、両者ともアプリケーション「ＸＹＺ」により起動されるウィンドウである。よって、オブジェクト情報１１２−１、１１２−２のどちらも、名称「ＸＹＺ」、種類「ウィンドウ」を含む。また、オブジェクト１０２−１、１０２−２は、両者ともに、オブジェクトの名称が「ＯＫ」となるオブジェクトが２つずつ含まれる。このため、オブジェクト情報１１２−１、１１２−２のどちらも、含んでいるオブジェクトの名称「ＯＫ」と、個数「２」を含む。 Both of the objects 102-1 and 102-2 are windows activated by the application “XYZ”. Accordingly, both the object information 112-1 and 112-2 include the name “XYZ” and the type “window”. Each of the objects 102-1 and 102-2 includes two objects each having the object name “OK”. Therefore, both of the object information 112-1 and 112-2 include the name “OK” of the included object and the number “2”.
したがって、オブジェクト情報１１２−１、１１２−２は同一の情報となり、それぞれに同一の識別子が付与される。 Accordingly, the object information 112-1 and 112-2 are the same information, and are given the same identifier.
本実施形態の識別子とは、オブジェクトをデスクトップ１０１Ａに表示させるときに、各オブジェクトのオブジェクト情報に付与される識別子である。この識別子は、アプリケーションＸＹＺの実行によって付与され、画面の表示が遷移する度に新たに付与されるものであり、オブジェクト情報には含まれなくても良い。また、本実施形態では、同一のオブジェクト情報に対しては同一の識別子が付与される。以下の説明では、オブジェクト情報を識別するための識別子を、オブジェクトＩＤと呼ぶ。
The identifier of this embodiment is an identifier given to the object information of each object when the object is displayed on the
オブジェクト情報１１３−１、１１４−１は、オブジェクト１０３−１、１０４−１のオブジェクト情報であり、オブジェクト１０３−１、１０４−１の名称と種類と及びオブジェクト１０３−１、１０４−１のそれぞれが従属するオブジェクトの名称が含まれる。また、オブジェクト１０３−１、１０４−１に含まれるオブジェクトは存在しない。したがって、オブジェクト情報１１３−１、１１４−１には、含まれるオブジェクトの名称と個数を示す情報は含まれない。 The object information 113-1, 114-1 is object information of the objects 103-1, 104-1. The names and types of the objects 103-1, 104-1 and the objects 103-1, 104-1 are respectively Contains the name of the subordinate object. In addition, there are no objects included in the objects 103-1 and 104-1. Therefore, the object information 113-1, 114-1 does not include information indicating the names and number of objects included.
オブジェクト１０３−１の名称は「ＯＫ」であり、種類は「ボタン」である。また、オブジェクト１０３−１は、オブジェクト１０２−１の内部に表示されたオブジェクト１０２−１に従属するオブジェクトであり、オブジェクト１０２−１の下の階層のオブジェクトとなる。 The name of the object 103-1 is “OK”, and the type is “button”. The object 103-1 is an object subordinate to the object 102-1 displayed inside the object 102-1, and is an object in a hierarchy below the object 102-1.
よって、オブジェクト情報１１３−１では、オブジェクト１０３−１の名称「ＯＫ」、種類「ボタン」に加え、オブジェクト１０３−１が従属するオブジェクト１０２−１の名称である「ＸＹＺ」を含む。 Therefore, the object information 113-1 includes “XYZ” that is the name of the object 102-1 on which the object 103-1 is subordinate, in addition to the name “OK” and the type “button” of the object 103-1.
オブジェクト１０４−１の名称は「ＯＫ」であり、種類は「ボタン」である。また、オブジェクト１０４−１は、オブジェクト１０２−１の内部に表示されているオブジェクトであり、オブジェクト１０２−１の下の階層のオブジェクトである。 The name of the object 104-1 is “OK”, and the type is “button”. The object 104-1 is an object displayed inside the object 102-1 and is an object below the object 102-1.
よって、オブジェクト情報１１４−１では、オブジェクト１０４−１の名称「ＯＫ」、種類「ボタン」、オブジェクト１０４−１が従属するオブジェクト１０２−１の名称である「ＸＹＺ」を含む。 Therefore, the object information 114-1 includes the name “OK” of the object 104-1, the type “button”, and “XYZ” that is the name of the object 102-1 on which the object 104-1 is subordinate.
すなわち、オブジェクト情報１１３−１、１１４−１は、同一の情報となる。したがって、オブジェクト情報１１３−１、１１４−１には、同一のオブジェクトＩＤが付与される。 That is, the object information 113-1 and 114-1 are the same information. Therefore, the same object ID is assigned to the object information 113-1, 114-1.
オブジェクト情報１１３−２、１１４−２は、オブジェクト１０３−２、１０４−２のオブジェクト情報であり、オブジェクト１０３−２、１０４−２の名称と種類と及びオブジェクト１０３−２、１０４−２のそれぞれが従属するオブジェクトの名称が含まれる。 The object information 113-2 and 114-2 are object information of the objects 103-2 and 104-2. The names and types of the objects 103-2 and 104-2 and the objects 103-2 and 104-2 are respectively Contains the name of the subordinate object.
したがって、オブジェクト情報１１３−２、１１４−２は、名称「ＯＫ」、種類「ボタン」、それぞれのオブジェクトが従属するオブジェクト１０２−２の名称である「ＸＹＺ」を含む。よって、オブジェクト情報１１３−２、１１４−２はそれぞれが同一の情報であり、さらに、オブジェクト情報１１３−１、１１４−１とも同一の情報となる。したがって、オブジェクト情報１１３−１、１１３−２、１１４−１、１１４−２には、同一のオブジェクトＩＤが付与される。 Therefore, the object information 113-2 and 114-2 includes the name “OK”, the type “button”, and “XYZ” that is the name of the object 102-2 on which each object is subordinate. Therefore, the object information 113-2 and 114-2 are the same information, and the object information 113-1 and 114-1 are also the same information. Therefore, the same object ID is assigned to the object information 113-1, 113-2, 114-1, 114-2.
本実施形態の記録装置１００では、これらのオブジェクト情報に含まれるオブジェクトの名称に、そのオブジェクトの１つ上の階層における並び順（配置）を示す情報をインデックス情報として付与する。
In the
例えば、オブジェクト１０２−１は、オブジェクト１０２−１の１つ上の階層のデスクトップ１０１Ａにおいて、左側に配置され、オブジェクト１０２−２は、オブジェクト１０２−２の１つ上の階層のデスクトップ１０１Ａにおいて、右側に配置されている（図２参照）。
For example, the object 102-1 is arranged on the left side of the
そこで、本実施形態では、１つ上の階層において、左端に配置されたオブジェクトから順に、並び順を示す値をインデックス情報として付与する。 Therefore, in this embodiment, a value indicating the arrangement order is assigned as index information in order from the object arranged at the left end in the hierarchy one level above.
例えば、デスクトップ１０１Ａには、同一のオブジェクト１０２−１、１０２−２が表示されており、オブジェクト１０２−１は左端に表示されている。
For example, the same object 102-1 and 102-2 are displayed on the
したがって、記録装置１００は、例えばオブジェクト１０２−１の場合、オブジェクト１０２−１の名称に、インデックス情報として「インデックス値：０」を付与し、オブジェクト１０２−１のオブジェクト特定情報とする。
Therefore, for example, in the case of the object 102-1, the
また、記録装置１００は、オブジェクト１０２−２の場合、オブジェクト１０２−２の名称に、インデックス情報として「インデックス値：１」を付与し、オブジェクト１０２−２のオブジェクト特定情報とする。
Further, in the case of the object 102-2, the
同様に、記録装置１００は、オブジェクト１０３−１の場合、オブジェクト１０３−１の１つ上の階層であるオブジェクト１０２−１における、オブジェクト１０３−１の並び順をインデックス情報として、オブジェクト１０３−１の名称に付与する。
Similarly, in the case of the object 103-1, the
オブジェクト１０２−１には、オブジェクト１０３−１と同一のオブジェクトであるオブジェクト１０４−１が存在する。また、オブジェクト１０３−１は、オブジェクト１０２−１において左端に表示されている。よって、記録装置１００は、オブジェクト１０３−１の名称に、インデックス情報として「インデックス値：０」を付与し、オブジェクト１０３−１のオブジェクト特定情報とする。
The object 102-1 includes an object 104-1 that is the same object as the object 103-1. The object 103-1 is displayed at the left end of the object 102-1. Therefore, the
また、本実施形態の記録装置１００は、オブジェクトの１階層上に、同一の他のオブジェクトが存在しない場合には、このオブジェクトの名称に、インデックス情報として「インデックス値：０」を付与する。
The
以上のように、本実施形態の記録装置１００は、操作記録情報２００を記録する際に、オブジェクトの名称に、インデックス情報を付与することで、同一のオブジェクトが複数存在する場合でも再生装置３００に操作対象のオブジェクトを特定させることができる。
As described above, the
以下に、図６を参照して本実施形態の記録装置１００の記録処理部１２０の処理について説明する。図６は、記録処理部の処理を説明するフローチャートである。
Hereinafter, processing of the
本実施形態の記録装置１００の記録処理部１２０は、操作検知部１２１により、操作を検知し、割込発生部１２２により割込を発生させ、表示画面において操作を受け付けた位置の座標を示す座標情報を取得する。また、記録処理部１２０は、操作種類取得部１２４により、操作検知部１２１が検知した操作の種類を示す操作種類情報を取得する（ステップＳ６０１）。
The
続いて、記録処理部１２０は、オブジェクト情報取得部１２３により、取得した座標情報と対応する位置にあるオブジェクトのオブジェクト情報と、オブジェクト情報に付与されたオブジェクトＩＤをＯＳから取得する。さらに、記録処理部１２０は、階層情報取得部１２５により、座標情報と対応する位置にあるオブジェクトの階層情報をＯＳから取得する（ステップＳ６０２）。取得した座標情報と対応する位置にあるオブジェクトは、操作対象のオブジェクトである。
Subsequently, the
続いて、記録処理部１２０は、階層情報取得部１２５により、階層情報に基づき、操作対象のオブジェクトからデスクトップまでの階層数を取得し、取得した階層数をｍａｘとする（ステップＳ６０３）。
Subsequently, the
続いて、記録処理部１２０は、操作対象のオブジェクトを問い合わせ対象のオブジェクトに設定し（ステップＳ６０４）、変数ｎ＝１とする（ステップＳ６０５）。続いて、記録処理部１２０は、記録装置１００の有する作業用の記憶領域を初期化する（ステップＳ６０６）。作業用の記憶領域とは、例えば記録装置１００の有するメモリ装置１５等に設けられた所定の記憶領域である。
Subsequently, the
続いて、記録処理部１２０は、オブジェクト情報取得部１２３により、階層情報を参照し、問い合わせ対象のオブジェクトの１階層上のオブジェクトのオブジェクト情報と、そのオブジェクトＩＤとを取得する（ステップＳ６０７）。続いて、記録処理部１２０は、オブジェクト数判定部１２６により、ステップＳ６０７で取得したオブジェクト情報に、問い合わせ対象のオブジェクトの名称がいくつあるか、判定する（ステップＳ６０８）。
Subsequently, the
続いて、記録処理部１２０は、オブジェクト数判定部１２６により、該当するオブジェクトの名称が１つであるか否かを判定する（ステップＳ６０９）。
Subsequently, the
つまり、オブジェクト数判定部１２６は、問い合わせ対象のオブジェクトと同じ名称のオブジェクトが、１階層上のオブジェクトに複数存在しているか否かを判定している。言い換えれば、オブジェクト数判定部１２６は、問い合わせ対象のオブジェクトと、共通するオブジェクトに従属しているオブジェクトの数を判定している。
That is, the object
ステップＳ６０９において、該当するオブジェクトの数が１つであった場合、記録処理部１２０は、インデックス付与部１２７により、「インデックス値：０」のインデックス情報をステップＳ６０２で取得した問い合わせ対象のオブジェクトの名称に付与し（ステップＳ６１０）、後述するステップＳ６１３へ進む。
If the number of corresponding objects is one in step S609, the
ステップＳ６０９において、該当するオブジェクトの数が１つでない場合、つまり２つ以上であった場合、記録処理部１２０は、インデックス付与部１２７により、複数存在した同一名称のオブジェクトのオブジェクト情報に付与されたオブジェクトＩＤを抽出する（ステップＳ６１１）。
In step S609, when the number of corresponding objects is not one, that is, when the number is two or more, the
続いて、インデックス付与部１２７は、抽出したオブジェクトＩＤのうち、問い合わせ対象のオブジェクトのオブジェクト情報に付与されたオブジェクトＩＤと一致するオブジェクトＩＤを特定する。そして、インデックス付与部１２７は、特定されたオブジェクトＩＤが付与されたオブジェクト情報が示すオブジェクトの並び順を判定し、並び順に応じたインデックス情報を付与する（ステップＳ６１２）。つまり、インデックス値は、問い合わせ対象（操作対象）のオブジェクトと、共通のオブジェクトに従属している他のオブジェクト（識別対象オブジェクト）とを識別するための情報である。
Subsequently, the
続いて、記録処理部１２０は、作業用の記憶領域へ、インデックス情報と、問い合わせ対象のオブジェクトの名称とを対応付けて、記憶（保持）させる（ステップＳ６１３）。
Subsequently, the
続いて、記録処理部１２０は、問い合わせ対象のオブジェクトの１階層上のオブジェクトを問い合わせ対象とし（ステップＳ６１４）、変数ｎの値をｎ＋１とする（ステップＳ６１５）。
Subsequently, the
続いて、記録処理部１２０は、ｎの値がＭａｘより大きいか否かを判定する（ステップＳ６１６）。ステップＳ６１６において、ｎの値がＭａｘ以下である場合、記録処理部１２０は、ステップＳ６０７へ戻る。
Subsequently, the
ステップＳ６１６において、ｎの値がＭａｘより大きい場合、記録処理部１２０は、作業用の記憶領域に格納された情報をオブジェクト特定情報とし、操作種類情報と対応付けた操作記録情報２００として記憶媒体２１０に記録する（ステップＳ６１７）。続いて記録処理部１２０は、記録処理の終了指示を受け付けたか否かを判定する（ステップＳ６１８）。ステップＳ６１８において、終了指示を受け付けない場合、記録処理部１２０は、ステップＳ６０１へ戻る。
In step S616, when the value of n is larger than Max, the
ステップＳ６１８において、終了指示を受け付けた場合、記録処理部１２０は処理を終了する。
If an end instruction is accepted in step S618, the
尚、本実施形態では、ステップＳ６１０において、問い合わせ対象オブジェクトと名称が一致するオブジェクトが１つであった場合にもインデックス値を付与するものとしたが、
これに限定されない。問い合わせ対象オブジェクトと名称が一致し、且つ共通する一階層上のオブジェクトに従属する他のオブジェクトが存在しない場合、インデックス値は付与されなくても良い。
In this embodiment, in step S610, the index value is assigned even when there is one object whose name matches the query target object.
It is not limited to this. When there is no other object subordinate to the object on the same hierarchy as the name of the object to be inquired, the index value may not be given.
図７は、インデックス情報が付与された操作記録情報の記述例を示す図である。図７に示す記述７１では、表示画面１０１においてオブジェクト１０３−２をクリックする操作の操作記録情報と、オブジェクト１０４−１をクリックする操作の操作記録情報とを記述した例である。尚、本実施形態では、記述＜Ｏｐｅｒａｔｉｏｎ＞から記述＜／Ｏｐｅｒａｔｉｏｎ＞までを１回の操作を示す記述とする。
FIG. 7 is a diagram illustrating a description example of operation record information to which index information is added. The
記述７１において、記述２００−１は、表示画面１０１においてオブジェクト１０３−２をクリックする操作の操作記録情報であり、記述２００−２は、表示画面１０１においてオブジェクト１０４−１をクリックする操作の操作記録情報である。
In the
記述２００−１の記述２１は、オブジェクト１０３−２を特定するオブジェクト特定情報であり、記述２２は操作種類情報である。
The
オブジェクト１０３−２の１階層上のオブジェクトはオブジェクト１０２−２である。また、オブジェクト１０２−２には、オブジェクト１０３−２と、名称とオブジェクトＩＤが一致するオブジェクト１０４−２が存在し、オブジェクト１０３−２は、左端に配置されている。したがって、オブジェクト１０３−２の名称には、インデックス情報「インデックス値：０」が付与される。 The object on the first layer of the object 103-2 is the object 102-2. In addition, the object 102-2 includes an object 103-2 and an object 104-2 whose name and object ID match, and the object 103-2 is arranged at the left end. Therefore, index information “index value: 0” is given to the name of the object 103-2.
また、オブジェクト１０２−２の１階層上のデスクトップ１０１Ａには、オブジェクト１０２−２の名称とオブジェクトＩＤが一致するオブジェクト１０２−１が存在し、オブジェクト１０２−２は、左端から２番目に配置されている。したがって、オブジェクト１０２−２の名称には、インデックス情報「インデックス値：１」が付与される。
In addition, in the
また、本実施形態の記述２１では、上位の階層から下位の階層に向かって、上位の階層にあるオブジェクトから順に名称が記述されている。この記述が、本実施形態の階層情報である。
Further, in the
すなわち、記述２１は、階層情報であるオブジェクト１０２−２の名称「ＸＹＺ」と、インデックス情報である「インデックス値：１」とが対応付けられた記述２１−１と、記述２１−１の次の階層を示す階層情報であるオブジェクト１０３−２の名称「ＯＫ」と、インデックス情報と「インデックス値：０」が対応付けられた記述２１−２と、を含む。
That is, the
言い換えれば、本実施形態のオブジェクト特定情報は、表示画面における操作対象のオブジェクトと、他のオブジェクトとの関係を示す階層情報と、操作対象のオブジェクトの並び順を示すインデックス情報とが対応付けられた情報である。 In other words, the object specifying information of the present embodiment is associated with the operation target object on the display screen, hierarchical information indicating the relationship between other objects, and index information indicating the arrangement order of the operation target objects. Information.
そして、インデックス特定情報である記述２１は、操作の種類「ｃｌｉｃｋ」を示す操作種類情報である記述２２と対応付けられている。
The
したがって、本実施形態の記述２００−１によれば、デスクトップ１０１Ａの左から２つ目のＸＹＺアプリケーションのウィンドウに表示された２つのＯＫボタンのうち、左側のＯＫボタンがクリックされたことがわかる。
Therefore, according to the description 200-1 of the present embodiment, it can be seen that the left OK button is clicked among the two OK buttons displayed in the second XYZ application window from the left of the
記述２００−２の記述２３は、オブジェクト１０４−１を特定するオブジェクト特定情報であり、記述２３は操作種類情報である。
The
オブジェクト１０３−１の１階層上のオブジェクトはオブジェクト１０２−１である。また、オブジェクト１０２−１には、オブジェクト１０４−１と、名称とオブジェクトＩＤが一致するオブジェクト１０３−１が存在し、オブジェクト１０４−１は、左端から２番目に配置されている。したがって、オブジェクト１０４−１の名称には、インデックス情報「インデックス値：１」が付与される。 The object on one level of the object 103-1 is the object 102-1. In addition, the object 102-1 includes the object 104-1 and the object 103-1 having the same name and object ID, and the object 104-1 is arranged second from the left end. Therefore, index information “index value: 1” is given to the name of the object 104-1.
また、オブジェクト１０２−１の１階層上のデスクトップ１０１Ａには、オブジェクト１０２−１の名称とオブジェクトＩＤが一致するオブジェクト１０２−２が存在し、オブジェクト１０２−１は、左端に配置されている。したがって、オブジェクト１０２−１の名称には、インデックス情報「インデックス値：０」が付与される。
Further, on the
本実施形態の記述２３は、オブジェクト１０２−１の名称「ＸＹＺ」と、「インデックス値：０」が対応付けられた記述２３−１と、記述２３−１の次に記述された、オブジェクト１０４−１の名称「ＯＫ」と、「インデックス値：１」が対応付けられた記述２３−２と、を含む。そして、記述２４は、操作の種類「ｃｌｉｃｋ」を示す操作種類情報を示す記述２４と対応付けられている。
The
したがって、本実施形態の記述２００−２によれば、デスクトップ１０１Ａの一番左のＸＹＺアプリケーションのウィンドウに表示された２つのＯＫボタンのうち、右側のＯＫボタンがクリックされたことがわかる。
Therefore, according to the description 200-2 of this embodiment, it can be seen that the right OK button is clicked out of the two OK buttons displayed in the leftmost XYZ application window of the
次に、図８を参照して、本実施形態の再生装置３００による操作記録情報２００の再生について説明する。図８は、再生処理部３３０の処理を説明するフローチャートである。
Next, with reference to FIG. 8, the reproduction of the
本実施形態の再生処理部３３０は、操作記録読込部３３１により、操作記録情報２００を読み込む（ステップＳ８０１）。続いて、再生処理部３３０は、操作記録情報２００における操作の数（回数）をｎＭａｘに設定し（ステップＳ８０２）、変数ｎに１を設定する（ステップＳ８０３）。
The
続いて、再生処理部３３０は、存在判定部３３３により、ｎ番目の操作の操作記録情報からオブジェクト特定情報を抽出する（ステップＳ８０４）。続いて、再生処理部３３０は、操作種類特定部３３２により、ｎ番目の操作の操作記録情報から操作種類情報を抽出する（ステップＳ８０５）。
Subsequently, the
続いて、再生処理部３３０は、存在判定部３３３により、オブジェクト特定情報により示される階層数をｋＭａｘとする（ステップＳ８０６）。続いて、再生処理部３３０は、存在判定部３３３により、テーブル格納部３３７が格納する存在チェックテーブルにデスクトップを設定し（ステップＳ８０７）、変数ｋの値を１に設定する（ステップＳ８０８）。
Subsequently, the
続いて、再生処理部３３０は、存在判定部３３３により、抽出したオブジェクト特定情報から、デスクトップからｋ階層下のオブジェクトまでを着目オブジェクトとし、着目オブジェクトのオブジェクト情報を取得する（ステップＳ８０９）。
Subsequently, the
続いて、再生処理部３３０は、存在判定部３３３により、取得したオブジェクト情報に基づき、着目オブジェクトが、存在チェックテーブルに設定された階層に従属しているか否かを判定する（ステップＳ８１０）。
Subsequently, the
ステップＳ８１０において、着目オブジェクトが従属していない場合（ステップＳ８１１）、再生処理部３３０は、エラーと判定し（ステップＳ８１２）、操作記録情報２００の再生を中止して処理を終了する。尚、本実施形態の再生処理部３３０は、エラーと判定した場合、その旨のメッセージ等を再生装置３００に表示させても良い。
In step S810, when the object of interest is not subordinate (step S811), the
ステップＳ８１０において、着目オブジェクトが従属してする場合（ステップＳ８１１）、再生処理部３３０は、オブジェクト数比較部３３４により、ステップＳ８０９で取得したオブジェクト情報の数と、オブジェクト特定情報のデスクトップからｋ階層下のオブジェクトの名称に付与されたインデックス値に１を加算した値と、を比較する（ステップＳ８１３）。
In step S810, when the object of interest is dependent (step S811), the
具体的には、オブジェクト数比較部３３４は、再生装置３００に表示されている画面において、操作対象となるオブジェクトと同一のオブジェクトが、操作記録情報２００において操作対象とされたオブジェクトの数と同じ数存在しているか否かを判定している。
Specifically, the object
再生処理部３３０は、オブジェクト数比較部３３４により、着目オブジェクトのオブジェクト情報の数が、インデックス値に１を加算した値より大きいと判定された場合（ステップＳ８１４）、ステップＳ８１２へ進む。
When the object
再生処理部３３０は、オブジェクト数比較部３３４により、着目オブジェクトのオブジェクト情報の数が、インデックス値に１を加算した値以下と判定された場合（ステップＳ８１４）、オブジェクト特定情報における、デスクトップからｋ階層下のオブジェクトの名称とインデックス値とを存在チェックテーブルへ保持させる（ステップＳ８１５）。
When the object
続いて、再生処理部３３０は、変数ｋの値をｋ＋１に設定し（ステップＳ８１６）、ｋの値がｋＭａｘより大きい否かを判定する（ステップＳ８１７）。
Subsequently, the
ステップＳ８１７において、ｋの値がｋＭａｘ以下である場合、再生処理部３３０は、ステップＳ８０９に戻る。
In step S817, when the value of k is equal to or less than kMax, the
ステップＳ８１７において、ｋの値がｋＭａｘより大きい場合、再生処理部３３０は、存在チェックテーブルに保持されたオブジェクト特定情報を読み取る（ステップＳ８１８）。尚、ステップＳ８１８において存在チェックテーブルに保持されたオブジェクト特定情報は、操作記録情報から読み取ったオブジェクト特定情報と同じものである。
In step S817, when the value of k is larger than kMax, the
存在チェックテーブルに保持されたオブジェクト特定情報は、再生装置３００の表示画面において、オブジェクト特定情報に含まれるインデックス情報の通りに、オブジェクト特定情報に含まれる名称のオブジェクトが配置されていることが確認されたものである。
The object identification information held in the presence check table is confirmed on the display screen of the
続いて、再生処理部３３０は、操作発生要求部３３６により、読み取ったオブジェクト特定情報により特定されたオブジェクトに対し、操作種類情報が示す種類の操作を発生させる（ステップＳ８１９）。
Subsequently, the
続いて、再生処理部３３０は、変数ｎの値をｎ＋１に設定し（ステップＳ８２０）、ｎの値がｎＭａｘより大きいか否かを判定する（ステップＳ８２１）。ステップＳ８２１において、ｎの値がｎＭａｘ以下の場合、再生処理部３３０は、ステップＳ８０４に戻る。ステップＳ８２１において、ｎの値がｎＭａｘより大きい場合、再生処理部３３０は、処理を終了する。
Subsequently, the
以下に、図９を参照して本実施形態の存在チェックテーブルについて説明する。図９は、存在チェックテーブルを説明する図である。 Hereinafter, the presence check table of this embodiment will be described with reference to FIG. FIG. 9 is a diagram for explaining the existence check table.
本実施形態の存在チェックテーブル９１では、操作記録情報２００から読み取ったオブジェクト特定情報において、再生装置３００の表示画面に存在していると判定されたオブジェクトの名称とインデックス値とを保持する。
In the presence check table 91 of this embodiment, the object identification information read from the
以下に、再生装置３００が、操作記録情報２００として、図７に示す記述７１を読み込んだ場合について説明する。
Hereinafter, a case where the
このとき、再生装置３００の再生処理部３３０は、再生装置３００の表示画面に、図２に示す表示画面１０１上に存在する全てのオブジェクトが存在しているか否かを判定する。
At this time, the
再生処理部３３０は、記述７１に示す操作記録情報２００を読み込むと、操作の数が２であるから、ｎＭａｘ＝２とする。
When the
また、再生処理部３３０は、１番目の操作記録情報である記述２００−１から、オブジェクト特定情報である記述２２と、操作種類情報である記述２３を抽出し、記述２１の階層数である２をｋＭａｘの値とする。
In addition, the
そして再生処理部３３０は、存在チェックテーブル９１にデスクトップを設定し、デスクトップの１階層下のオブジェクトを着目オブジェクトとする。着目オブジェクトと同一の名称「ＸＹＺ」のオブジェクトは、デスクトップに２つ存在する。したがって、再生処理部３３０は、２つのオブジェクトのオブジェクト情報を取得する。
Then, the
次に、再生処理部３３０は、着目オブジェクトがデスクトップに従属しているため、着目オブジェクトのオブジェクト数と、オブジェクト特定情報において名称「ＸＹＺ」に付与されたインデックス値に１を加算した値とを比較する。
Next, since the target object is dependent on the desktop, the
ここで、オブジェクト数は２であり、インデックス値に１を加算した値は２であるため、比較結果が一致する。 Here, since the number of objects is 2 and the value obtained by adding 1 to the index value is 2, the comparison results match.
よって、本実施形態の再生処理部３３０は、再生装置３００の画面における名称「ＸＹＺ」のオブジェクトの数と、記録装置１００の表示画面における名称「ＸＹＺ」のオブジェクトの数が一致することがわかる。そして、再生処理部３３０は、オブジェクト特定情報に含まれる名称「ＸＹＺ」のオブジェクトが、デスクトップに並べられた２個のオブジェクトのうち、左から２番目のものであることを示す情報を、存在チェックテーブルに保持させる。つまり、存在チェックテーブル９１には、この時点でオブジェクト特定情報の一部が保持された状態となる。
Therefore, the
続いて、再生処理部３３０は、名称「ＸＹＺ」のオブジェクトの１階層下のオブジェクトである、名称が「ＯＫ」のオブジェクトについても同様の処理を行い、存在チェックテーブル９１へ保持させる。この処理により、存在チェックテーブル９１には、オブジェクト特定情報と同一の情報が保持される。
Subsequently, the
本実施形態では、以上のように、存在チェックテーブルを用いることで、再生装置３００の画面においてオブジェクト特定情報が示す並び順にオブジェクトが存在するか否かを判定できる。本実施形態では、存在チェックテーブルに保持された情報が、オブジェクト特定情報と同一となった場合に、操作記録情報２００を再生する。
In the present embodiment, as described above, by using the presence check table, it can be determined whether or not the objects exist in the arrangement order indicated by the object specifying information on the screen of the
したがって、本実施形態の再生装置３００によれば、操作記録情報２００による操作の再現の精度を向上させるこができる。
Therefore, according to the
以下に、インデックス情報を有していない操作記録情報の例を示す。図１０は、インデックス情報が付与されていない操作記録情報の記述例を示す図である。 The following is an example of operation record information that does not have index information. FIG. 10 is a diagram illustrating a description example of operation record information to which no index information is assigned.
図１０の示す記述１０は、図２に示す画面１０１において、オブジェクト１０３−２をクリックする操作と、オブジェクト１０４−１をクリックする操作を示している。
A
記述１０では、オブジェクトを特定する情報１１、１２に、オブジェクトの並び順を示すインデックス情報が付与されていない。
In the
このため、オブジェクトを特定する情報１１、１２は同一の情報となり、再生時にどのオブジェクトをクリックする操作なのか区別することができないことがわかる。
Therefore, the
これに対し、本実施形態では、オブジェクトを特定するオブジェクト特定情報に含まれるオブジェクトの名称に、オブジェクトの並び順を示すインデックス情報を対応付けるため、同じ名称のオブジェクトが複数存在していても、操作対象のオブジェクトを特定できる。したがって、本実施形態によれば、操作の再現の精度を向上させることができる。 On the other hand, in this embodiment, the object name included in the object specifying information for specifying the object is associated with the index information indicating the arrangement order of the objects, so even if there are a plurality of objects with the same name, the operation target Can identify objects. Therefore, according to the present embodiment, it is possible to improve the accuracy of operation reproduction.
（第二の実施形態）
以下に図面を参照して第二の実施形態について説明する。第二の実施形態は、一台のコンピュータが記録処理部と再生処理部を実現する点が第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Second embodiment)
The second embodiment will be described below with reference to the drawings. The second embodiment is different from the first embodiment in that one computer realizes a recording processing unit and a reproduction processing unit. Therefore, in the following description of the second embodiment, differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be described in the description of the first embodiment. The same reference numerals as those used are assigned, and the description thereof is omitted.
図１１は、第二の実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生装置１００Ａは、操作記録再生処理部１１０Ａを有する。
FIG. 11 is a diagram illustrating the functional configuration of the recording / reproducing apparatus according to the second embodiment. The recording / reproducing
本実施形態の操作記録再生処理部１１０Ａは、記録処理部１２０と再生処理部１３０とを有する。再生処理部１３０は、操作記録読込部１３１、操作種類特定部１３２、存在判定部１３３、オブジェクト数比較部１３４、オブジェクト特定部１３５、操作発生要求部１３６を有する。再生処理部１３０の有する各部は、第一の実施形態の再生処理部３３０の有する各部と同様の機能を実現する。
The operation recording /
また、本実施形態の記録再生装置１００Ａは、記憶部１４０を有する。記憶部１４０は、記録再生装置１００Ａが有するメモリ装置等に設けられた記憶領域である。本実施形態の記録再生装置１００Ａでは、記録処理部１２０による記録された操作記録情報２００を記憶部１４０に格納しても良い。この場合、再生処理部１３０は、記憶部１４０に格納された操作記録情報２００を再生する。
In addition, the recording / reproducing
本実施形態では、１台のコンピュータ（記録再生装置）１００Ａにおいて、記録処理部１２０による記録と、再生処理部１３０による再生とを同一のコンピュータで行うことで、操作内容を記録する際の表示画面の環境と、操作内容を再生する際の表示画面の環境とが異なる場合でも、操作の再現の精度を維持できる。
In the present embodiment, in one computer (recording / reproducing apparatus) 100A, recording by the
（第三の実施形態）
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、記録装置１００において記録された操作記録情報２００が、外部のサーバに格納される点が第一の実施形態と相違する。
(Third embodiment)
The third embodiment will be described below with reference to the drawings. The third embodiment is different from the first embodiment in that
よって、以下の第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。 Therefore, in the following description of the third embodiment, differences from the first embodiment will be described, and those having the same functional configuration as the first embodiment will be described in the description of the first embodiment. The same reference numerals as those used are assigned, and the description thereof is omitted.
図１２は、第三の実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生システム４００は、記録装置１００、再生装置３００、サーバ４１０を有する。記録装置１００、再生装置３００及びサーバ４１０は、ネットワークを介して接続されている。
FIG. 12 is a diagram for explaining the functional configuration of the recording / reproducing apparatus of the third embodiment. The recording / reproducing
本実施形態の記録装置１００は、操作記録再生処理部１１０の記録処理部１２０により、操作記録情報２００をサーバ４１０に記録する。本実施形態の記録装置１００は、操作内容の記録の終了指示を受け付けてから、記録された操作記録情報２００をサーバ４１０に送信しても良い。
In the
本実施形態の再生装置３００は、操作記録再生処理部３１０の再生処理部３３０により、サーバ４１０から操作記録情報２００を読み込んで再生する。本実施形態の再生装置３００は、操作記録情報２００全てをサーバ４１０から取得した後に、再生装置３００内に保持された操作記録情報２００を再生しても良い。
In the
本実施形態によれば、再生装置３００はサーバ４１０から操作記録情報２００を取得すれば良く、操作記録情報２００が記憶された可搬型の記憶媒体を持ち運んだり、記憶媒体から操作記録情報２００を再生装置３００に読み取らせたりする作業が軽減される。
According to the present embodiment, the
開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
画面に表示されたオブジェクトに対する操作を検知し、
検知された操作対象オブジェクトに基づいて、オブジェクトの階層情報を取得し、
取得した前記階層情報に基づいて、前記操作対象オブジェクトと、共通のオブジェクトに従属する識別対象オブジェクトを検索し、
前記操作対象オブジェクトと識別対象オブジェクトとを識別するインデックス情報を生成してオブジェクト特定情報に付与し、
前記インデックス情報を付与した前記オブジェクト特定情報に、前記操作の種類を示す操作種類情報を、対応付けた操作記録情報を記録し、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報と前記インデックス情報とに基づき、前記操作を発生させるオブジェクトを特定し、
特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる、処理をコンピュータに実行させる
（付記２）
前記操作記録情報を記録する処理は、前記操作対象オブジェクトの上位階層の階層情報を含む操作記録情報を記録し、
前記識別対象オブジェクトを検索する処理は、前記操作対象オブジェクトに変えて、前記階層情報から得られる操作対象オブジェクトの上位階層の上位オブジェクトに対して、前記操作対象オブジェクトと共通のオブジェクトに従属する識別対象オブジェクトを検索し、
前記インデックス情報を生成する処理は、前記上位オブジェクトと前記識別対象オブジェクトを識別するインデックス情報を生成し、
生成した前記インデックス情報を前記階層情報に含まれる前記上位オブジェクトを示す情報に付与する付記１記載の操作記録再生プログラム。
（付記３）
前記識別対象オブジェクトを検索する処理は、インデックス情報を生成する対象のオブジェクトと同じオブジェクト名称を有する識別対象オブジェクトを検索し、
前記インデックス情報を生成する処理は、インデックス情報を生成する対象のオブジェクトと同じオブジェクト名称を有する識別対象オブジェクトが存在する場合に付与する付記１記載の操作記録再生プログラム。
（付記４）
前記操作を発生させる処理は、
前記階層情報と前記インデックス情報とに基づき、画面に、前記操作対象オブジェクト及び他のオブジェクトが表示されているか否かを判定し、
前記操作対象オブジェクト及び前記他のオブジェクトが全て前記画面に表示されていると判定された場合、前記操作を発生させるオブジェクトを特定し、
前記操作対象オブジェクト及び前記他のオブジェクトの少なくとも一部が前記画面に表示されていないと判定された場合、前記操作を発生させる処理を終了する、付記１記載の操作記録再生プログラム。
（付記５）
前記操作対象オブジェクト及び前記他のオブジェクトの少なくとも一部が前記画面に表示されていないと判定された場合、エラー通知を出力する、付記４記載の操作記録再生プログラム。
（付記６）
前記階層情報は、
前記操作対象オブジェクトの名称と、
前記操作対象オブジェクトが属する階層より１階層上の階層から前記画面と対応する階層までの各階層における、前記操作対象オブジェクトが従属するオブジェクトの名称と、を、上位の階層から順に記述した情報である、付記１乃至５の何れか一項に記載の操作記録再生プログラム。
（付記７）
前記インデックス情報は、
前記操作対象オブジェクト及び他のオブジェクトのそれぞれが属する階層の１階層上の階層における、前記操作対象オブジェクト及び前記他のオブジェクトの並び順を示す情報である付記１乃至６の何れか一項に記載の操作記録再生プログラム。
（付記８）
画面に表示されたオブジェクトに対する操作を記録した操作記録情報を読み込み、
前記操作記録情報に含まれる、オブジェクトの階層情報と、操作対象オブジェクトと共通のオブジェクトに従属する識別対象オブジェクトとを識別するインデックス情報と、を含むオブジェクト特定情報に基づき、前記操作を発生させるオブジェクトを特定し、
前記オブジェクト特定情報と対応付けられた操作記録情報に含まれる、前記操作の種類を示す操作種類情報に従った操作を、特定された前記オブジェクトに対して発生させる、処理をコンピュータに実行させる操作再生プログラム。
（付記９）
コンピュータによる操作再生方法であって、該コンピュータが、
画面に表示されたオブジェクトに対する操作を記録した操作記録情報を読み込み、
前記操作記録情報に含まれる、オブジェクトの階層情報と、操作対象オブジェクトと共通のオブジェクトに従属する識別対象オブジェクトとを識別するインデックス情報と、を含むオブジェクト特定情報に基づき、前記操作を発生させるオブジェクトを特定し、
前記オブジェクト特定情報と対応付けられた操作記録情報に含まれる、前記操作の種類を示す操作種類情報に従った操作を、特定された前記オブジェクトに対して発生させる、操作再生方法。
（付記１０）
画面に表示されたオブジェクトに対する操作を検知し、
検知された操作対象オブジェクトに基づいて、オブジェクトの階層情報を取得し、
取得した前記階層情報に基づいて、前記操作対象オブジェクトと、共通のオブジェクトに従属する識別対象オブジェクトを検索し、
前記操作対象オブジェクトと識別対象オブジェクトとを識別するインデックス情報を生成してオブジェクト特定情報に付与し、
前記インデックス情報を付与した前記オブジェクト特定情報に、前記操作の種類を示す操作種類情報を、対応付けた操作記録情報を記録する記録処理部と、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報と前記インデックス情報とに基づき、前記操作を発生させるオブジェクトを特定し、
特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる再生処理部と、を有する操作記録再生装置。
In the disclosed technology, forms such as the following supplementary notes are conceivable.
(Appendix 1)
Detects operations on objects displayed on the screen,
Based on the detected operation target object, obtain the hierarchy information of the object,
Based on the acquired hierarchy information, the operation target object and the identification target object subordinate to the common object are searched,
Generating index information for identifying the operation target object and the identification target object and assigning the index information to the object specifying information;
Recording operation record information in which operation type information indicating the type of operation is associated with the object specifying information to which the index information is assigned,
Read the recorded operation record information,
Based on the object identification information and the index information, identify the object that causes the operation,
Causes a computer to execute a process for generating the type of the operation according to the operation type information for the identified object (Appendix 2)
The process of recording the operation record information records operation record information including hierarchical information of an upper hierarchy of the operation target object,
The process of searching for the identification target object is performed by replacing the operation target object with an identification target subordinate to an object common to the operation target object with respect to a higher level object of the operation target object obtained from the hierarchical information. Search for objects
The process of generating the index information generates index information for identifying the upper object and the identification target object,
The operation recording / reproducing program according to
(Appendix 3)
The process of searching for the identification target object searches for an identification target object having the same object name as the target object for generating index information,
The operation recording / reproducing program according to
(Appendix 4)
The process for generating the operation is as follows:
Based on the hierarchy information and the index information, it is determined whether the operation target object and other objects are displayed on the screen,
When it is determined that the operation target object and the other objects are all displayed on the screen, the object that causes the operation is specified,
The operation recording / reproducing program according to
(Appendix 5)
The operation recording / reproducing program according to
(Appendix 6)
The hierarchy information is
The name of the object to be operated;
Information describing the names of the objects to which the operation target object is subordinate in each hierarchy from the hierarchy one level higher than the hierarchy to which the operation target object belongs to the hierarchy corresponding to the screen in order from the higher hierarchy. The operation recording / reproducing program according to any one of
(Appendix 7)
The index information is
The information according to any one of
(Appendix 8)
Read the operation record information that records the operation for the object displayed on the screen,
An object for generating the operation based on object specifying information including hierarchical information of the object included in the operation record information and index information for identifying an identification target object subordinate to an object common to the operation target object. Identify,
Operation reproduction for causing a computer to execute a process for causing the identified object to perform an operation according to the operation type information indicating the type of operation included in the operation record information associated with the object specifying information. program.
(Appendix 9)
An operation reproduction method by a computer, the computer comprising:
Read the operation record information that records the operation for the object displayed on the screen,
An object for generating the operation based on object specifying information including hierarchical information of the object included in the operation record information and index information for identifying an identification target object subordinate to an object common to the operation target object. Identify,
An operation reproduction method for causing an operation according to operation type information indicating the type of operation included in operation record information associated with the object specifying information to be generated for the specified object.
(Appendix 10)
Detects operations on objects displayed on the screen,
Based on the detected operation target object, obtain the hierarchy information of the object,
Based on the acquired hierarchy information, the operation target object and the identification target object subordinate to the common object are searched,
Generating index information for identifying the operation target object and the identification target object and assigning the index information to the object specifying information;
A record processing unit for recording operation record information in which the operation type information indicating the type of operation is associated with the object specifying information to which the index information is added;
Read the recorded operation record information,
Based on the object identification information and the index information, identify the object that causes the operation,
An operation recording / reproducing apparatus comprising: a reproduction processing unit that generates the type of the operation according to the operation type information for the identified object.
本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 The present invention is not limited to the specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.
１００、１００Ａ 記録装置
１１０、１１０Ａ、３１０ 操作記録再生処理部
１２０、３２０ 記録処理部
１２３ オブジェクト情報取得部
１２４ 操作種類取得部
１２５ 階層情報取得部
１２６ オブジェクト数判定部
１２７ インデックス付与部
１３０、３３０ 再生処理部
２００ 操作記録情報
２１０ 記憶媒体
３３３ 存在判定部
３３４ オブジェクト数比較部
３３５ オブジェクト特定部
３３６ 操作発生要求部
４００ 記録再生システム
４１０ サーバ
100,
Claims (9)
検知された操作対象オブジェクトに基づいて、オブジェクトの階層情報を取得し、
取得した前記階層情報に基づいて、前記操作対象オブジェクトと、共通のオブジェクトに従属する識別対象オブジェクトを検索し、
前記操作対象オブジェクトと識別対象オブジェクトとを識別するインデックス情報を生成してオブジェクト特定情報に付与し、
前記インデックス情報を付与した前記オブジェクト特定情報に、前記操作の種類を示す操作種類情報を、対応付けた操作記録情報を記録し、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報と前記インデックス情報とに基づき、前記操作を発生させるオブジェクトを特定し、
特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる、処理をコンピュータに実行させる操作記録再生プログラム。 Detects operations on objects displayed on the screen,
Based on the detected operation target object, obtain the hierarchy information of the object,
Based on the acquired hierarchy information, the operation target object and the identification target object subordinate to the common object are searched,
Generating index information for identifying the operation target object and the identification target object and assigning the index information to the object specifying information;
Recording operation record information in which operation type information indicating the type of operation is associated with the object specifying information to which the index information is assigned,
Read the recorded operation record information,
Based on the object identification information and the index information, identify the object that causes the operation,
An operation recording / reproducing program for causing a computer to execute a process for generating the type of the operation according to the operation type information for the identified object.
前記識別対象オブジェクトを検索する処理は、前記操作対象オブジェクトに変えて、前記階層情報から得られる操作対象オブジェクトの上位階層の上位オブジェクトに対して、前記操作対象オブジェクトと共通のオブジェクトに従属する識別対象オブジェクトを検索し、
前記インデックス情報を生成する処理は、前記上位オブジェクトと前記識別対象オブジェクトを識別するインデックス情報を生成し、
生成した前記インデックス情報を前記階層情報に含まれる前記上位オブジェクトを示す情報に付与する請求項１記載の操作記録再生プログラム。 The process of recording the operation record information records operation record information including hierarchical information of an upper hierarchy of the operation target object,
The process of searching for the identification target object is performed by replacing the operation target object with an identification target subordinate to an object common to the operation target object with respect to a higher level object of the operation target object obtained from the hierarchical information. Search for objects
The process of generating the index information generates index information for identifying the upper object and the identification target object,
The operation recording / reproducing program according to claim 1, wherein the generated index information is added to information indicating the upper object included in the hierarchy information.
前記インデックス情報を生成する処理は、インデックス情報を生成する対象のオブジェクトと同じオブジェクト名称を有する識別対象オブジェクトが存在する場合に付与する請求項１記載の操作記録再生プログラム。 The process of searching for the identification target object searches for an identification target object having the same object name as the target object for generating index information,
The operation recording / reproducing program according to claim 1, wherein the processing for generating the index information is given when there is an identification target object having the same object name as the target object for generating the index information.
前記階層情報と前記インデックス情報とに基づき、画面に、前記操作対象オブジェクト及び他のオブジェクトが表示されているか否かを判定し、
前記操作対象オブジェクト及び前記他のオブジェクトが全て前記画面に表示されていると判定された場合、前記操作を発生させるオブジェクトを特定し、
前記操作対象オブジェクト及び前記他のオブジェクトの少なくとも一部が前記画面に表示されていないと判定された場合、前記操作を発生させる処理を終了する、請求項１乃至３の何れか一項に記載の操作記録再生プログラム。 The process for generating the operation is as follows:
Based on the hierarchy information and the index information, it is determined whether the operation target object and other objects are displayed on the screen,
When it is determined that the operation target object and the other objects are all displayed on the screen, the object that causes the operation is specified,
The process for generating the operation is terminated when it is determined that at least a part of the operation target object and the other object is not displayed on the screen. Operation recording / playback program.
前記操作対象オブジェクトの名称と、
前記操作対象オブジェクトが属する階層より１階層上の階層から前記画面と対応する階層までの各階層における、前記操作対象オブジェクトが従属するオブジェクトの名称と、を、上位の階層から順に記述した情報である、請求項１乃至４の何れか一項に記載の操作記録再生プログラム。 The hierarchy information is
The name of the object to be operated;
Information describing the names of the objects to which the operation target object is subordinate in each hierarchy from the hierarchy one level higher than the hierarchy to which the operation target object belongs to the hierarchy corresponding to the screen in order from the higher hierarchy. The operation recording / reproducing program according to any one of claims 1 to 4.
前記操作対象オブジェクト及び他のオブジェクトのそれぞれが属する階層の１階層上の階層における、前記操作対象オブジェクト及び前記他のオブジェクトの並び順を示す情報である請求項１乃至５の何れか一項に記載の操作記録再生プログラム。 The index information is
6. The information according to claim 1, wherein the operation target object and the other object are information indicating an arrangement order of the operation target object and the other object in a hierarchy one level higher than a hierarchy to which each of the operation target object and the other object belongs. Operation recording and playback program.
前記操作記録情報に含まれる、オブジェクトの階層情報と、操作対象オブジェクトと共通のオブジェクトに従属する識別対象オブジェクトとを識別するインデックス情報と、を含むオブジェクト特定情報に基づき、前記操作を発生させるオブジェクトを特定し、
前記オブジェクト特定情報と対応付けられた操作記録情報に含まれる、前記操作の種類を示す操作種類情報に従った操作を、特定された前記オブジェクトに対して発生させる、処理をコンピュータに実行させる操作再生プログラム。 Read the operation record information that records the operation for the object displayed on the screen,
An object for generating the operation based on object specifying information including hierarchical information of the object included in the operation record information and index information for identifying an identification target object subordinate to an object common to the operation target object. Identify,
Operation reproduction for causing a computer to execute a process for causing the identified object to perform an operation according to the operation type information indicating the type of operation included in the operation record information associated with the object specifying information. program.
画面に表示されたオブジェクトに対する操作を記録した操作記録情報を読み込み、
前記操作記録情報に含まれる、オブジェクトの階層情報と、操作対象オブジェクトと共通のオブジェクトに従属する識別対象オブジェクトとを識別するインデックス情報と、を含むオブジェクト特定情報に基づき、前記操作を発生させるオブジェクトを特定し、
前記オブジェクト特定情報と対応付けられた操作記録情報に含まれる、前記操作の種類を示す操作種類情報に従った操作を、特定された前記オブジェクトに対して発生させる、操作再生方法。 An operation reproduction method by a computer, the computer comprising:
Read the operation record information that records the operation for the object displayed on the screen,
An object for generating the operation based on object specifying information including hierarchical information of the object included in the operation record information and index information for identifying an identification target object subordinate to an object common to the operation target object. Identify,
An operation reproduction method for causing an operation according to operation type information indicating the type of operation included in operation record information associated with the object specifying information to be generated for the specified object.
検知された操作対象オブジェクトに基づいて、オブジェクトの階層情報を取得し、
取得した前記階層情報に基づいて、前記操作対象オブジェクトと、共通のオブジェクトに従属する識別対象オブジェクトを検索し、
前記操作対象オブジェクトと識別対象オブジェクトとを識別するインデックス情報を生成してオブジェクト特定情報に付与し、
前記インデックス情報を付与した前記オブジェクト特定情報に、前記操作の種類を示す操作種類情報を、対応付けた操作記録情報を記録する記録処理部と、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報と前記インデックス情報とに基づき、前記操作を発生させるオブジェクトを特定し、
特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる再生処理部と、を有する操作記録再生装置。 Detects operations on objects displayed on the screen,
Based on the detected operation target object, obtain the hierarchy information of the object,
Based on the acquired hierarchy information, the operation target object and the identification target object subordinate to the common object are searched,
Generating index information for identifying the operation target object and the identification target object and assigning the index information to the object specifying information;
A record processing unit for recording operation record information in which the operation type information indicating the type of operation is associated with the object specifying information to which the index information is added;
Read the recorded operation record information,
Based on the object identification information and the index information, identify the object that causes the operation,
An operation recording / reproducing apparatus comprising: a reproduction processing unit that generates the type of the operation according to the operation type information for the identified object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015213371A JP6561775B2 (en) | 2015-10-29 | 2015-10-29 | Operation recording / reproducing program, operation reproducing program, operation reproducing method, and operation recording / reproducing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015213371A JP6561775B2 (en) | 2015-10-29 | 2015-10-29 | Operation recording / reproducing program, operation reproducing program, operation reproducing method, and operation recording / reproducing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017084186A true JP2017084186A (en) | 2017-05-18 |
| JP6561775B2 JP6561775B2 (en) | 2019-08-21 |
Family
ID=58711175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015213371A Active JP6561775B2 (en) | 2015-10-29 | 2015-10-29 | Operation recording / reproducing program, operation reproducing program, operation reproducing method, and operation recording / reproducing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6561775B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021163123A (en) * | 2020-03-31 | 2021-10-11 | 株式会社 ディー・エヌ・エー | Information processing program, information processing apparatus and information processing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001350653A (en) * | 2000-06-05 | 2001-12-21 | Fuji Xerox Co Ltd | Operation history recording system |
| JP2010160538A (en) * | 2009-01-06 | 2010-07-22 | Hitachi Ltd | Terminal operation history storage system and user terminal |
| JP2013033377A (en) * | 2011-08-02 | 2013-02-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for specifying component to be automatically operated |
| JP2015049520A (en) * | 2013-08-29 | 2015-03-16 | 富士通株式会社 | Scenario generation program, scenario execution program, scenario generation method, scenario execution method, scenario generation apparatus, and scenario execution apparatus |
-
2015
- 2015-10-29 JP JP2015213371A patent/JP6561775B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001350653A (en) * | 2000-06-05 | 2001-12-21 | Fuji Xerox Co Ltd | Operation history recording system |
| JP2010160538A (en) * | 2009-01-06 | 2010-07-22 | Hitachi Ltd | Terminal operation history storage system and user terminal |
| JP2013033377A (en) * | 2011-08-02 | 2013-02-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for specifying component to be automatically operated |
| JP2015049520A (en) * | 2013-08-29 | 2015-03-16 | 富士通株式会社 | Scenario generation program, scenario execution program, scenario generation method, scenario execution method, scenario generation apparatus, and scenario execution apparatus |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021163123A (en) * | 2020-03-31 | 2021-10-11 | 株式会社 ディー・エヌ・エー | Information processing program, information processing apparatus and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6561775B2 (en) | 2019-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10511674B2 (en) | Gesture based switching of virtual desktop clients | |
| US9218197B2 (en) | Virtual machine image migration | |
| US9998551B1 (en) | Automatic discovery and registration of service application for files introduced to a user interface | |
| US10534753B2 (en) | Caseless file lookup in a distributed file system | |
| CN109739855B (en) | Method and system for realizing data sheet splicing and automatically training machine learning model | |
| US20160098390A1 (en) | Command history analysis apparatus and command history analysis method | |
| US11423008B2 (en) | Generating a data lineage record to facilitate source system and destination system mapping | |
| TW201222361A (en) | Resolving merged touch contacts | |
| JP6040837B2 (en) | Information processing apparatus management method and program | |
| US20160124795A1 (en) | Evaluation method and apparatus | |
| US11647086B2 (en) | System and method for maintaining user session continuity across multiple devices and/or multiple platforms | |
| EP2814208B1 (en) | Program, apparatus, and method for creating configuration requirements | |
| US20140164908A1 (en) | Content reproducing apparatus | |
| US9886271B2 (en) | Change method, apparatus, and recording medium | |
| JP6561775B2 (en) | Operation recording / reproducing program, operation reproducing program, operation reproducing method, and operation recording / reproducing apparatus | |
| JP2012094129A (en) | Method, device and program for discovering resource in computing environment | |
| CN112100092A (en) | Information caching method, device, equipment and medium | |
| EP2680172A2 (en) | Other user content-based collaborative filtering | |
| JP2020170427A (en) | Model creation supporting method and model creation supporting system | |
| CN106453544B (en) | Cloud environment and monitoring method and system thereof | |
| US10678539B2 (en) | Information processing device, information processing method for determining program, and storage medium | |
| US9998341B2 (en) | Method of constructing data collector, server performing the same and storage medium for the same | |
| US10852899B2 (en) | Non-transitory computer-readable storage medium, and terminal device | |
| JP6797524B2 (en) | Operation record playback program, operation playback program, operation record playback system and operation record playback method | |
| JP4411343B2 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180706 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190708 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6561775 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |