JP2017083970A - 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム - Google Patents

操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム Download PDF

Info

Publication number
JP2017083970A
JP2017083970A JP2015209354A JP2015209354A JP2017083970A JP 2017083970 A JP2017083970 A JP 2017083970A JP 2015209354 A JP2015209354 A JP 2015209354A JP 2015209354 A JP2015209354 A JP 2015209354A JP 2017083970 A JP2017083970 A JP 2017083970A
Authority
JP
Japan
Prior art keywords
click
recording
click operation
predetermined time
record information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015209354A
Other languages
English (en)
Other versions
JP6547584B2 (ja
Inventor
真士 小林
Shinji Kobayashi
真士 小林
桃子 尾崎
Momoko Ozaki
桃子 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015209354A priority Critical patent/JP6547584B2/ja
Priority to US15/291,667 priority patent/US20170115999A1/en
Publication of JP2017083970A publication Critical patent/JP2017083970A/ja
Application granted granted Critical
Publication of JP6547584B2 publication Critical patent/JP6547584B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Abstract

【課題】操作の再現の精度を向上させる。
【解決手段】操作を記録するコンピュータに設定された第一の所定時間を取得し、第一のクリックと第二のクリックとの時間差と、第一の所定時間とを比較し、時間差が第一の所定時間より短い場合に、第一及び第二のクリックの種類をダブルクリックと判定し、時間差が第一の所定時間よりも長い場合に、第一及び第二のクリックのそれぞれの種類をクリックと判定して、操作記録情報を記録し、操作を再生するコンピュータに設定された第二の所定時間を取得し、操作記録情報に含まれる操作の種類がダブルクリックであったとき、第一のクリックを発生させてから第二の所定時間以内に第二のクリックを発生させ、操作記録情報に含まれる操作の種類がクリックであったとき、第一のクリックを発生させてから第二の所定時間が経過した後に第二のクリックを発生させる。
【選択図】図2

Description

本発明は、操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システムに関する。
従来では、コンピュータに対する操作内容を記録し、記録した操作内容を再生することで、操作を再現する技術が知られている。
また、従来では、操作画面において操作が行われた位置を示す座標情報と、操作により起動したプログラムを示す情報とを、操作内容として記録することが知られている。
特開2005−63279号公報
従来の手法により記録された操作内容では、例えばアイコン等の操作の対象となる画面上のオブジェクトの表示領域に、記録された座標情報が含まれない場合、記録された操作が再現されない。また、従来の手法により記録された操作内容では、プログラムを起動させるために、どのオブジェクトに対してどのような操作がなされたかを特定できない。
このため、従来の手法では、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等には、記録された操作内容が正しく再生されない可能性がある。
1つの側面では、操作の再現の精度を向上させることが可能な操作記録再生プログラム、操作記録再生方法及び操作記録再生システムを提供することを目的としている。
一様態によれば、操作を記録するコンピュータに設定された第一の所定時間を取得し、第一のクリック操作と第二のクリック操作との時間差と、前記第一の所定時間とを比較し、前記時間差が前記第一の所定時間より短い場合に、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作と判定し、前記時間差が前記第一の所定時間よりも長い場合に、前記第一のクリック操作及び前記第二のクリック操作のそれぞれの種類をクリック操作と判定して、操作記録情報を記録し、操作を再生するコンピュータに設定された第二の所定時間を取得し、前記操作記録情報に含まれる前記操作の種類がダブルクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間以内に前記第二のクリック操作を発生させ、前記操作記録情報に含まれる前記操作の種類がクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる、処理を前記コンピュータに実行させる。
上記各部は、上記各部を実現するプログラム、各部を手順としてコンピュータにより実行させる方法、プログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもできる。
操作の再現の精度を向上させる。
操作内容の記録と再生について説明する図である。 記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する第一の図である。 記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する第二の図である。 ダブルクリックとシングルクリックを区別せずに操作記録情報を記録した場合の操作記録情報の記述例を示す図である。 記録装置のハードウェア構成の一例を示す図である。 第一の実施形態の記録装置及び再生装置の機能構成を説明する図である。 記録処理部による操作記録情報の記録の処理を説明する第一のフローチャートである。 記録処理部による操作記録情報の記録の処理を説明する第二のフローチャートである。 再生処理部による操作記録情報の再生の処理を説明する第一のフローチャートである。 再生処理部による操作記録情報の再生の処理を説明する第二のフローチャートである。 記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する第三の図である。 記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する第四の図である。 第二の実施形態の記録再生装置の機能構成を説明する図である。 第三の実施形態の記録再生システムのシステム構成を説明する図である。
(第一の実施形態)
以下に図面を参照して実施形態について説明する。図1は、操作内容の記録と再生について説明する図である。
本実施形態では、コンピュータ100において行われた操作の内容を、操作記録情報200として記録する。記録された操作記録情報200は、コンピュータ300−1、300−2において読み込まれ、記録された操作が再現される。
本実施形態において、操作記録情報200として内容が記録される操作は、例えばコンピュータ100で繰り返し行わせたい操作や、コンピュータ300−1、300−2等の他のコンピュータで行わせたい操作等である。
尚、図1では、操作記録情報200を再生するコンピュータを、コンピュータ300−1、300−2の2台としたが、操作記録情報200を再生するコンピュータの数は任意であって良い。以下の説明では、コンピュータ300−1、300−2を区別しない場合には、単にコンピュータ300と呼ぶ。
また、以下の説明では、操作の内容を操作記録情報200として記録するコンピュータ100を、記録装置100と呼び、操作記録情報200を再生するコンピュータ300を再生装置300と呼ぶ。
本実施形態では、記録装置100において、操作記録情報200を記録することで、記録装置100で行われた操作を自動的に任意の数の再生装置300に行わせることができる。したがって、本実施形態によれば、例えば複数台のコンピュータに同一の設定を行う操作を実施する場合等には、1台の記録装置100において該当する操作を実施して操作記録情報200を記録し、この操作記録情報200を複数台のコンピュータに再生させれば良い。
また、本実施形態では、記録装置100と再生装置300とを別のコンピュータとしているが、これに限定されない。記録装置100と再生装置300とは、同一の装置であっても良い。この場合、例えば1台のコンピュータに複数回同じ操作を実行させたい場合等に、操作記録情報200を記録し、再生させれば良い。
尚、本実施形態の操作記録情報200は、例えば記録装置100において、外部の記憶装置や可搬型の記憶媒体等に記録されても良い。
次に、本実施形態の記録装置100による操作記録情報200の記録と、再生装置300による操作記録情報200の再生について説明する。
本実施形態の記録装置100は、表示画面に表示されたオブジェクトを特定するオブジェクト特定情報と、特定されたオブジェクトに対して行われた操作の種類を示す操作種類情報と、を操作記録情報200として記録する。言い換えれば、本実施形態の操作記録情報200は、オブジェクト特定情報と、オブジェクト特定情報に対応付けられた操作種類情報とを含む。
本実施形態の再生装置300は、操作記録情報200に含まれるオブジェクト特定情報に基づき、再生装置300の表示画面において、操作の対象となるオブジェクトを特定する。そして、再生装置300は、操作種類情報に基づき、特定されたオブジェクトに対して操作種類情報が示す種類の操作を発生させる。
尚、本実施形態におけるオブジェクトとは、画面上に選択可能な状態で表示され得るものであり、且つ操作の対象となる表示部品である。
図2は、記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する第一の図である。
図2では、記録装置100の表示画面101に表示されたオブジェクトに対して行われた操作の内容を記録する例を示している。表示画面101は、記録装置100のディスプレイ等に表示される。
表示画面101は、記録装置100のデスクトップ画面であり、オブジェクト102〜107が表示されている。オブジェクト102〜107は、それぞれが選択可能であり、且つ操作の対象となり得る。
オブジェクト102は、セットアップアプリケーションの起動により立ち上げられたウィンドウである。オブジェクト103は、インストールの要求を行うための表示部品である。
オブジェクト104は、ウィンドウの最小化の要求を行うための表示部品である。オブジェクト105は、ウィンドウを閉じる要求を行うための表示部品である。ウィンドウを閉じる要求とは、セットアップアプリケーションの終了の要求である。オブジェクト106は、ウィンドウの最大化の要求を行うための表示部品である。オブジェクト107は、表示画面101上に配置されたアイコンの1つであり、本実施形態のオブジェクト107は、ゴミ箱のアイコンである。
図2では、表示画面101において、ポインタPによりオブジェクト107が選択され、オブジェクト107に対してダブルクリック操作が行われた場合を示している。
本実施形態の記録装置100は、オブジェクト107に対してダブルクリック操作が行われると、オブジェクト107を特定するオブジェクト特定情報201と、ダブルクリック操作を示す操作種類情報202と、を含む操作記録情報200Aを記録する。
尚、本実施形態のオブジェクト特定情報201は、少なくともオブジェクトの名称を含む。また、本実施形態のオブジェクト特定情報201には、オブジェクトの名称の他に、オブジェクトが表示されている位置を示す位置情報や、デスクトップ画面を最上位の階層としたときのオブジェクトが属する階層を示す階層情報、オブジェクトに対して操作が行われた時刻等が含まれても良い。
本実施形態の再生装置300は、操作記録情報200Aを読み込んで、オブジェクト特定情報201から、操作対象のオブジェクト107が「ゴミ箱」であることを特定する。また、再生装置300は、操作種類情報202により、オブジェクト107に対して行われた操作を、ダブルクリック操作と特定する。よって、再生装置300は、オブジェクト107に対するダブルクリック操作を発生させる。
以上のように、本実施形態では、操作記録情報200Aを記録する際に、操作対象を示す情報として、操作が行われたオブジェクトを特定する情報を記録する。また、本実施形態では、操作記録情報200Aを記録する際に、オブジェクトに対して実行された操作の種類を示す情報を記録する。
したがって、本実施形態によれば、操作記録情報200Aの再生の際に、表示画面における操作対象のオブジェクトの表示位置に関わらず操作を再現でき、操作の再現の精度を向上させることができる。
また、本実施形態によれば、操作記録情報200Aの再生の際に、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等でも、どのオブジェクトに何の操作が行われたかを特定できる。よって、本実施形態によれば、汎用性を向上させることができる。
次に、ダブルクリック操作について説明する。
本実施形態では、記録装置100では、クリック操作が2回続いた場合に、シングルクリック操作が2回行われたのか、ダブルクリック操作が行われたのかを区別して記録する。
具体的には、本実施形態の記録装置100は、1回目のクリック操作を受け付けてから所定時間以内に2回目のクリック操作を受け付けたとき、ダブルクリック操作と判定し、操作種類情報を「ダブルクリック」として記録する。また、本実施形態の記録装置100は、1回目のクリック操作を受け付けてから所定時間以内に2回目のクリック操作を受け付けなかったとき、1回目と2回目のクリック操作の操作種類情報を、共に「クリック」として記録する。
所定時間は、2回のクリック操作が、ダブルクリック操作であるか、又は2回のシングルクリック操作であるかを判定するための閾値であり、コンピュータにおける表示画面の環境設定の1つに含まれる。以下の説明では、この閾値を判定閾値と呼ぶ。
図2は、記録装置100には、判定閾値550msecが設定されており、再生装置300には、記録装置100の判定閾値より短い判定閾値400msecが設定されていた場合を示している。
この場合、記録装置100は、1回目のクリックを受け付けてから550msec秒以内に2回目のクリックを受け付けたとき、操作の種類をダブルクリック操作と判定し、操作記録情報200を記録する。
本実施形態の再生装置300は、操作記録情報200Aにおける操作種類情報202がダブルクリック操作であった場合、再生装置300に設定されている判定閾値を参照し、1回目のクリック操作を発生させてから400msec以内に2回目のクリック操作を発生させ、ダブルクリック操作を再現する。
以上のように、本実施形態では、操作記録情報200Aにおける操作の種類がダブルクリック操作であった場合、再生装置300は、1回目のクリックを発生させてから、自機に設定された判定閾値以内に2回のクリックを発生させる。
本実施形態の再生装置300では、以上のように操作記録情報200Aを再生することで、異なる判定閾値が設定された記録装置100で行われたダブルクリック操作を、2回のシングルクリック操作と誤認識せずに、再現できる。
次に、図3を参照し、記録装置100においてシングルクリック操作が2回行われた場合について説明する。
図3は、記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する第二の図である。
図3は、記録装置100に判定閾値400msecが設定されており、再生装置300には、記録装置100の判定閾値よりも長い判定閾値550mecが設定されている場合を示している。
図3の記録装置100において、500msecの間隔おいて2回のクリック操作が行われた場合について考える。この場合、記録装置100は、2回のクリック操作を2回のシングルクリック操作と判定する。そして、記録装置100は、各クリック操作につき、操作種類情報を「クリック」として記録する。
図3に示す操作記録情報200Bでは、オブジェクト107に対する1回目のシングルクリック操作を示す操作情報200B−1と、オブジェクト107に対する2回目のシングルクリック操作を示す操作情報200B−2とが含まれる。
また、操作情報200B−1、200B−2のそれぞれには、オブジェクト107を特定するオブジェクト特定情報201と、オブジェクト107に対して行われた操作の種類を示す操作種類情報203が含まれる。
すなわち、図3に示す操作記録情報200Bには、2つの操作情報200B−1、200B−2を含んでおり、記録装置100において2回の操作が行われたことを示している。
本実施形態の再生装置300は、操作記録情報200Bにおける操作種類情報203がシングルクリック操作であった場合、再生装置300に設定されている判定閾値を参照し、1回目のクリック操作を発生させてから550msec経過した後に2回目のクリック操作を発生させ、2回のシングルクリック操作を再現する。
以上のように、本実施形態では、操作記録情報200Bにおける操作の種類が2回のシングルクリック操作であった場合、再生装置300は、1回目のクリックを発生させてから、自機に設定された判定閾値が経過した後に2回のクリックを発生させる。
本実施形態の再生装置300では、以上のように操作記録情報200Bを再生することで、異なる判定閾値が設定された記録装置100で行われた2回のシングルクリック操作を、ダブルクリック操作と誤認識せずに、再現できる。
以下に、図4を参照し、ダブルクリックとシングルクリックを区別せずに操作記録情報を記録した場合について説明する。
図4は、ダブルクリックとシングルクリックを区別せずに操作記録情報を記録した場合の操作記録情報の記述例を示す図である。
記録装置100は、2回のクリック操作を受け付け場合、2回のクリック操作を、各クリック操作と、クリック操作を受け付けた時刻とを対応付けた操作記録情報20を記録する。
操作記録情報20は、操作情報21、22を含んでいる。操作情報21は、オブジェクト107に対して、0時01分20秒に行われたクリック操作を示している。操作情報22は、オブジェクト107に対して、0時01分20.5秒に行われたクリック操作を示している。
すなわち、操作記録情報20には、500mecの間隔をあけて、同一のオブジェクトに対して2回のクリック操作がなされたことが記録されている。
ここで、記録装置100の判定閾値が550msecであり、再生装置300の判定閾値が400msecである場合について考える。
この場合、操作記録情報20は、記録装置100において、ダブルクリック操作が行われたときの記述となる。
この操作記録情報20を、再生装置300が、記録上の時間間隔どおりに500msecの間隔で再生した場合、2回のクリック操作の間隔が再生装置300の判定閾値より長いため、ダブルクリック操作ではなく、2回のシングルクリック操作を発生させることになり、ダブルクリック操作は再現されない。
次に、記録装置100の判定閾値が400msecであり、再生装置300の判定閾値が550msecである場合について考える。
この場合、操作記録情報20は、記録装置100において、シングルクリック操作が行われたときの記述となる。
この操作記録情報20を、再生装置300が、記録上の時間間隔どおりに500msecの間隔で再生した場合、2回のクリック操作の間隔が再生装置300の判定閾値以内であるため、シングルクリック操作ではなく、ダブルクリック操作を発生させることになり、2回のシングルクリック操作は再現されない。
本実施形態では、記録装置100において、2回のクリック操作が行われたとき、この2回のクリック操作がダブルクリック操作であるか、又はシングルクリック操作であるかを判定し、その結果を記録する。したがって、本実施形態によれば、記録装置100と再生装置300のそれぞれに異なる判定閾値が設定されていた場合でも、記録装置100において行われた操作を再生装置300で再現することができる。
次に、図5を参照して本実施形態の記録装置100と再生装置300のハードウェア構成について説明する。本実施形態の記録装置100と再生装置300のハードウェア構成は、同じであるため、図5では、記録装置のハードウェア構成について説明し、再生装置300のハードウェア構成の説明は省略する。
図5は、記録装置のハードウェア構成の一例を示す図である。本実施形態の記録装置100は、それぞれバスBで相互に接続されている入力装置11、出力装置12、ドライブ装置13、補助記憶装置14、メモリ装置15、演算処理装置16及びインターフェース装置17を含む。
入力装置11はキーボードやマウス等を含み、各種信号を入力するために用いられる。出力装置12はディスプレイ装置等を含み、各種ウィンドウやデータ等を表示するために用いられる。インターフェース装置17は、モデム、LANカード等を含み、ネットワークに接続する為に用いられる。
操作記録再生プログラムは、記録装置100を制御する各種プログラムの少なくとも一部である。操作記録再生プログラムは例えば記録媒体18の配布やネットワークからのダウンロードなどによって提供される。操作記録再生プログラムを記録した記録媒体18は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
また、操作記録再生プログラムは、操作記録再生プログラムを記録した記録媒体18がドライブ装置13にセットされるとは記録媒体18からドライブ装置13を介して補助記憶装置14にインストールされる。ネットワークからダウンロードされた操作記録再生プログラムは、インターフェース装置17を介して補助記憶装置14にインストールされる。
補助記憶装置14は、インストールされた操作記録再生プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置15は、コンピュータの起動時に補助記憶装置14から操作記録再生プログラムを読み出して格納する。そして、演算処理装置16はメモリ装置15に格納された操作記録再生プログラムに従って、後述するような各種処理を実現している。
また、本実施形態の記録装置100は、例えばタブレット型のコンピュータ等であっても良い。その場合、入力装置11及び出力装置12の代わりに、表示機能を有するタッチパネル等の表示操作装置を有していても良い。
次に、図6を参照して本実施形態の記録装置100と再生装置300の機能について説明する。
図6は、第一の実施形態の記録装置及び再生装置の機能構成を説明する図である。本実施形態の記録装置100は、操作記録再生処理部110を有する。また、本実施形態の再生装置300は、操作記録再生処理部310を有する。
本実施形態の操作記録再生処理部110は、記録装置100にインストールされた操作記録再生プログラムを演算処理装置16が実行することで実現される。
また、本実施形態の操作記録再生処理部310は、再生装置300にインストールされた操作記録再生プログラムを、再生装置300の演算処理装置が実行することで実現される。
ここで、本実施形態において、記録装置100と再生装置300のそれぞれにインストールされる操作記録再生プログラムは、同一のプログラムであって良い。
記録装置100では、操作記録再生プログラムに含まれる記録プログラムを実行することで記録処理部120を実現し、コンピュータを記録装置100として動作させる。
また、再生装置300では、操作記録再生プログラムに含まれる再生プログラムを実行することで再生処理部330を実現し、コンピュータを再生装置300として動作させる。
本実施形態の記録装置100の操作記録再生処理部110は、記録処理部120、再生処理部130を有する。
本実施形態の記録装置100では、上述したように、記録処理部120が実現される。本実施形態の記録処理部120は、操作検知部121、割込発生部122、オブジェクト特定部123、操作種類取得部124、操作記録部125、閾値取得部126を有する。
操作検知部121は、記録装置100において行われた操作を検知する。具体的には、本実施形態の操作検知部121は、記録装置100に搭載されたOS(Operating System)がクリック操作、ドラッグ操作、ドロップ操作を検知したことを示す通知を受け付け、操作を受け付けたことを割込発生部122へ通知する。
本実施形態では、画面上の同一の座標において、マウスボタンのボタンダウンとボタンアップが検知されたとき、この操作はクリック操作として検知される。また、本実施形態では、マウスボタンのボタンダウン後に、ポインタが指し示す座標が移動した場合に、この操作はドラッグ操作として検知される。また、本実施形態では、ポインタが指し示す座標が移動した後のマウスボタンのボタンアップを検知したとき、この操作はドロップ操作として検知される。
本実施形態の割込発生部122は、操作検知部121により検知対象の操作が検知されると、記録装置100に搭載されたOSに対して割り込みを発生させ、操作内容を記録する処理の実行を要求する。
本実施形態のオブジェクト特定部123は、割り込みが発生すると、ポインタが指し示しているオブジェクトを特定するオブジェクト特定情報を取得する。
具体的には、オブジェクト特定部123は、表示画面においてポインタが指し示している位置の座標情報を取得し、この座標情報を記録装置100に搭載されたOSに渡し、OSから座標情報と対応するオブジェクトのオブジェクト特定情報を受け取る。
本実施形態の操作種類取得部124は、操作検知部121により検知された操作の種類を示す情報を取得する。
本実施形態の操作記録部125は、オブジェクト特定部123により取得したオブジェクト特定情報と、操作種類取得部124により取得した操作種類情報と、を対応付けて操作記録情報200とする。
また、本実施形態の操作記録部125は、クリック操作が2回続けて行われた場合に、2回のクリック操作がダブルクリック操作であるか、又は2回のシングルクリック操作であるかを判別して記録する。
操作記録情報200は、例えば可搬型の記憶媒体210に記録される。記憶媒体210は、再生装置300において読取可能な記憶媒体であれば良い。
また、本実施形態の操作記録部125は、記録処理の終了指示を受け付けたとき、記録の処理を終了する。
本実施形態の閾値取得部126は、記録装置100に設定された判定閾値を取得する。
本実施形態の記録装置100における再生処理部130の機能構成は、後述する再生装置300の有する再生処理部330と同様である。
本実施形態の再生装置300の操作記録再生処理部310は、記録処理部320、再生処理部330を有する。
本実施形態の再生装置300では、上述したように、再生処理部330が実現される。本実施形態の再生処理部330は、操作記録読込部331、オブジェクト特定部332、操作種類特定部333、操作発生要求部334、閾値取得部335を有する。
本実施形態の操作記録読込部331は、記憶媒体210に格納された操作記録情報200を読み込む。
本実施形態のオブジェクト特定部332は、操作記録情報200に含まれるオブジェクト特定情報から、再生装置300の表示画面において、操作対象となるオブジェクトを特定する。操作種類特定部333は、操作記録情報200に含まれる操作種類情報から、特定したオブジェクトに対して行う操作の種類を特定する。
本実施形態の操作発生要求部334は、再生装置300に搭載されたOSに対して、操作対象のオブジェクトに対して特定した操作を発生させるための操作発生要求を行う。
再生装置300では、OSに対して操作発生要求を行うことで、OSの機能により要求した操作が発生し、操作記録情報200に記録された操作内容が再生装置300において再現される。
本実施形態の閾値取得部335は、再生装置300に設定された判定閾値を取得する。
次に、図7、図8を参照し、本実施形態の記録装置100による操作記録情報200の記録の処理について説明する。
図7は、記録処理部による操作記録情報の記録の処理を説明する第一のフローチャートである。
本実施形態の記録装置100において、記録処理部120は、操作検知部121により、記録装置100の表示画面上の操作を検知する(ステップS701)。具体的には、操作検知部121は、記録装置100のOSから操作が検知された通知を受け付ける。
続いて記録処理部120は、操作が検知されると、割込発生部122により、OSに対して割込を発生させて操作内容の記録処理を開始し、オブジェクト特定部123により、操作の対象となったオブジェクトを特定する(ステップS702)。
より具体的には、オブジェクト特定部123は、操作の検知と同時にOSから取得した、ポインタの位置を示す座標情報をOSに渡す。そして、オブジェクト特定部123は、OSの機能(例えばWindows(登録商標) API等)により、この座標情報が示す位置に表示されたオブジェクトを特定するオブジェクト特定情報を取得する。
続いて、記録処理部120は、操作種類取得部124により、検知された操作の種類を示す操作種類情報を取得し、操作の種類を特定する(ステップS703)。尚、操作種類情報は、例えば操作検知部121が操作を検知する際に、OSから取得していても良い。
続いて、記録処理部120は、操作記録部125により、オブジェクト特定情報と操作種類情報とを対応付けた操作記録情報200として記録する(ステップS704)。
続いて、記録処理部120は、操作記録部125により、記録終了の指示を受け付けたか否かを判定する(ステップS705)。ステップS705において、該当する指示を受け付けていない場合、記録処理部120は、ステップS701へ戻る。ステップS705において、該当する指示を受け付けた場合、記録処理部120は、操作記録情報の記録を終了する。
次に、図8を参照して、本実施形態の記録処理部120の処理をさらに詳細に説明する。図8は、記録処理部による操作記録情報の記録の処理を説明する第二のフローチャートである。
図8のステップS801からステップS809までの処理は、図7のステップS701からステップS704までの処理の詳細を示している。
本実施形態の記録処理部120は、閾値取得部126により、記録装置100に設定されている判定閾値を取得する(ステップS801)。続いて、記録処理部120は、操作検知部121により、表示画面に対する操作を検知する。そして、オブジェクト特定部123により、操作対象のオブジェクトを特定するオブジェクト特定情報を取得し、操作種類取得部124により、操作の種類を示す操作種類情報を取得する(ステップS802)。
続いて、操作記録部125は、取得した操作種類情報が示す操作の種類がクリック操作であるか否かを判定する(ステップS803)。
ステップS803において、クリック操作でなかった場合、操作記録部125は、操作対象のオブジェクトと、操作の種類とを操作記録に反映させ(ステップS804)、後述するステップS810へ進む。具体的には、操作記録部125は操作対象のオブジェクト特定情報と、操作種類情報とを対応付けて操作記録情報200に追加する。また操作種類がクリックであればその操作を検知した時刻を一時的な記憶領域等で記録する。
ステップS803において、クリック操作であった場合、操作記録部125は、直前に記録された操作記録情報200の操作対象オブジェクトと、操作の種類と、操作が行われた時刻とを参照する(ステップS805)。
続いて操作記録部125は、直前の操作の種類がクリックであり、且つ操作対象のオブジェクトが、ステップS802で特定されたオブジェクトと同じであるか否かを判定する(ステップS806)。
ステップS806において、条件を満たさない場合、操作記録部125は、ステップS804へ進む。
ステップS806において、条件を満たす場合、操作記録部125は、ステップS802で操作を検知した時刻と、直前の操作が検知されたときの時刻との差分を求める(ステップS807)。すなわち、操作記録部125は、1回目のクリック操作と2回目のクリック操作との間の間隔を求める。
続いて操作記録部125は、1回目と2回目のクリック操作の間隔が、ステップS801で取得した判定閾値より大きいか否かを判定する(ステップS808)。
ステップS808において、1回目と2回目のクリック操作の間隔が判定閾値より大きい場合、操作記録部125は、ステップS804へ進む。
ステップS808において、1回目と2回目のクリック操作の間隔が判定閾値以下である場合、操作記録部125は、直前の操作記録情報200におけるオブジェクト特定情報は変更せず、操作種類情報を「クリック操作」から「ダブルクリック操作」へ変更し、操作記録情報200へ反映させる(ステップS809)。
続いて操作記録部125は、記録終了の指示を受け付けたか否かを判定する(ステップS810)。ステップS810において、記録終了の指示を受け付けていない場合、記録処理部120は、ステップS802へ戻る。
ステップS810において、記録終了の指示を受け付けると、記録処理部120は操作内容の記録の処理を終了する。
以上の処理により、本実施形態では、クリック操作が2回続いた場合に、この2回のクリック操作をダブルクリック操作又は2回のシングルクリック操作の何れか区別して記録することができる。
次に、図9、図10を参照して、本実施形態の再生装置300による操作記録情報200の再生の処理について説明する。
図9は、再生処理部による操作記録情報の再生の処理を説明する第一のフローチャートである。
本実施形態の再生装置300において、再生処理部330は、閾値取得部335により、再生装置300に設定された判定閾値を取得する(ステップS901)。続いて再生処理部330は、操作記録読込部331により、操作記録情報200を読み込み、オブジェクト特定情報と操作種類情報とを取得する(ステップS902)。
続いて再生処理部330は、オブジェクト特定部332により、取得したオブジェクト特定情報に基づき、操作対象となるオブジェクトを再生装置300上で探す(ステップS903)。
続いて再生処理部330は、操作対象のオブジェクトを特定できたか否かを判定する(ステップS904)。ステップS904において、操作対象のオブジェクトを特定できない場合、再生処理部330は、エラー処理を実行し(ステップS907)、処理を終了する。
本実施形態のエラー処理について以下に説明する。本実施形態の再生処理部330は、操作対象のオブジェクトを特定できない場合、操作対象のオブジェクトを特定できないことを示すエラーメッセージを表示画面に表示させ、再生処理を中断する。
操作対象のオブジェクトが特定できない場合とは、再生装置300の表示画面に操作対象のオブジェクトが表示されていないことを示している。この場合、正しく操作記録情報200が再現されていない状態である可能性がある。したがって、本実施形態の再生処理部330は、操作対象のオブジェクトが特定できない場合には、再生処理を中断する。
本実施形態では、再生処理を中断することで、操作記録情報200の再現に失敗した時点で、再生装置300における操作の発生を中断させるため、再生装置300の表示画面の状態から、どの時点で操作記録情報200の再現に失敗したかを判別することができる。
尚、本実施形態では、失敗した事象をユーザにより回復させ、続きから操作記録情報200の再生を再開しても良い。
ステップS904において、操作対象のオブジェクトが特定された場合、再生処理部330は、操作種類取得部333により、特定されたオブジェクトと対応する操作種類情報を取得し、操作発生要求部334により、該当する操作を発生させる(ステップS905)。操作発生要求部334によるステップS905の処理の詳細は後述する。
続いて再生処理部330は、操作記録情報200に含まれる全ての操作の再現が完了したか否かを判定する(ステップS906)。ステップS906において、再現が完了していない場合、再生処理部330は、ステップS902へ戻る。ステップS906において、再現が完了した場合、再生処理部330は処理を終了する。
次に、図10を参照して、操作発生要求部334の処理について説明する。図10は、再生処理部による操作記録情報の再生の処理を説明する第二のフローチャートである。図10の処理は、図9のステップS905の処理の詳細を示している。
本実施形態の操作発生要求部334は、操作対象のオブジェクトと、操作の種類とを抽出する(ステップS1001)。続いて操作発生要求部334は、操作の種類がダブルクリック操作であるか否かを判定する(ステップS1002)。
ステップS1002において、ダブルクリック操作である場合、操作発生要求部334は、再生装置300のOSに対し、操作対象のオブジェクトに対してダブルクリック操作を発生させる要求を行い(ステップS1003)、処理を終了する。
ステップS1002において、操作の種類がダブルクリック操作でない場合、操作発生要求部334は、操作の種類がクリック操作(シングルクリック操作)であるか否かを判定する(ステップS1004)。
ステップS1004において、操作の種類がクリック操作であった場合、操作発生要求部334は、判定閾値を超える時間が経過するまで待機する(ステップS1005)。続いて操作発生要求部334は、操作対象のオブジェクトに対してクリック操作を発生させる要求を行い(ステップS1006)、処理を終了する。
このように、本実施形態では、操作の種類がクリック操作であった場合、直前の操作の発生を要求してから、判定閾値を超えた間隔をあけたタイミングで、クリック操作の発生を要求する。本実施形態では、このタイミングでクリック操作の発生を要求することで、直前の操作がクリック操作であるか否かに関わらず、クリック操作を再現することができる。
ステップS1004において、操作の種類がクリック操作でない場合、操作発生要求部334は、操作対象のオブジェクトに対し、操作種類情報が示す種類の操作の発生を要求し(ステップS1007)、処理を終了する。
以上のように、本実施形態では、連続したクリック操作を再現させる操作記録情報200を記録する際に、この操作がダブルクリック操作であるかシングルクリック操作であるかを区別して記録する。したがって、本実施形態の再生装置300では、ダブルクリック操作と、2回のシングルクリック操作を誤認識することがなく、操作の再現の精度を向上させることができる。
以下に、図11と図12を参照し、複数回の続くクリック操作を再現させる例について説明する。
図11は、記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する第三の図である。
図11では、記録装置100の判定閾値が550msecに設定され、再生装置300の判定閾値が400msecに設定されていた場合を示している。
表示画面101Aにおいて、ポインタPによりオブジェクト108が選択され、オブジェクト108に対してダブルクリック操作が行われた場合を示している。
本実施形態の記録装置100は、オブジェクト108に対してダブルクリック操作が行われると、オブジェクト108を特定するオブジェクト特定情報201Aと、ダブルクリック操作を示す操作種類情報202Aと、を含む操作記録情報200Cを記録する。
オブジェクト108は、アプリケーションPRGのアイコンである。記録装置100は、オブジェクト108に対してダブルクリック操作が行われると、アプリケーションPRGを起動させる動作を行う。
本実施形態の再生装置300は、操作記録情報200Cを読み込んで、オブジェクト特定情報201Aから、操作対象のオブジェクト108を特定する。また、再生装置300は、操作種類情報202Aにより、オブジェクト108に対して行われた操作を、ダブルクリック操作と特定する。よって、再生装置300は、オブジェクト108に対するダブルクリック操作を発生させる。具体的には再生装置300は、2回のクリック操作の間隔が400msec以内となるように、2回のクリック操作を発生させる。
図11の例では、このように操作を再現することで、記録装置100において実行された、アプリケーションPRGを起動させる処理を、再生装置300においても再現することができる。
図12は、記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する第四の図である。
図12では、記録装置100の判定閾値が400msecに設定され、再生装置300の判定閾値が550msecに設定されていた場合を示している。
図12では、表示画面101Aにおいて、ポインタPによりオブジェクト108が選択され、オブジェクト108に対して2回続けてシングルクリック操作が行われた場合を示している。
本実施形態の記録装置100は、オブジェクト108に対してクリック操作(シングルクリック操作)が行われると、オブジェクト108を特定するオブジェクト特定情報201Aと、クリック操作を示す操作種類情報203と、対応付けた操作記録情報200Dを記録する。
図12に示す操作記録情報200Dでは、オブジェクト108に対する1回目のシングルクリック操作を示す操作情報200D−1と、オブジェクト108に対する2回目のシングルクリック操作を示す操作情報200D−2とが含まれる。
オブジェクト108は、アプリケーションPRGのアイコンである。したがって、記録装置100は、オブジェクト108に対する1回目のクリック操作により、表示画面101Aにおいてオブジェクト108を選択する動作を行う。そして、記録装置100は、オブジェクト108に対する2回目のクリック操作により、オブジェクト108の名称を表示する表示欄109を編集可能な状態にする動作を行う。
本実施形態の再生装置300は、操作記録情報200Dを読み込んで、オブジェクト特定情報201Aから、操作対象のオブジェクト108を特定する。また、再生装置300は、操作種類情報203により、オブジェクト108に対して行われた操作を、2回のクリック操作と特定する。よって、再生装置300は、オブジェクト108に対する1回目のクリック操作を発生させ、再生装置300の表示画面に表示されたオブジェクト108を選択する動作を再現する。続いて再生装置300は、オブジェクト108に対する2回目のクリック操作を発生させ、オブジェクト108の名称を表示する表示欄109を編集可能な状態にする動作を行う。
具体的には再生装置300は、2回目のクリック操作は、1回目のクリック操作を発生させてから、550msecを超える間隔をあけてから2回目のクリック操作を発生させる。
以上のように、本実施形態では、記録装置100において、ダブルクリック操作を複数回のシングルクリック操作と区別して記録することで、再生装置300では、自機の判定閾値を参照して、記録された操作記録情報200を再現させることができる。すなわち、本実施形態によれば、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合でも、記録された操作を再現することができる。よって、本実施形態によれば、操作の再現の精度を向上させることができる。
(第二の実施形態)
以下に図面を参照して第二の実施形態について説明する。第二の実施形態は、一台のコンピュータが記録処理部と再生処理部を実現する点が第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図13は、第二の実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生装置100Aは、操作記録再生処理部110Aを有する。
本実施形態の操作記録再生処理部110Aは、記録処理部120と再生処理部130とを有する。再生処理部130は、操作記録読込部131、オブジェクト特定部132、操作種類特定部133、操作発生要求部134、閾値取得部135を有する。再生処理部130の有する各部は、第一の実施形態の再生処理部330の有する各部と同様の機能を実現する。
また、本実施形態の記録再生装置100Aは、記憶部140を有する。記憶部140は、記録再生装置100Aが有するメモリ装置等に設けられた記憶領域である。本実施形態の記録再生装置100Aでは、記録処理部120による記録された操作記録情報200を記憶部140に格納しても良い。この場合、再生処理部130は、記憶部140に格納された操作記録情報200を再生する。
本実施形態では、1台のコンピュータ(記録再生装置)100Aにおいて、記録処理部120による記録と、再生処理部130による再生とを同一のコンピュータで行うことで、例えば記録再生装置100Aの判定閾値の設定が変更された場合でも、操作の再現の精度を維持できる。言い換えれば、本実施形態では、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合でも、操作の再現の精度を維持できる。
判定閾値の設定が変更される場合とは、例えば記録再生装置100Aにおいて、ユーザ毎に異なる判定閾値が設定されていた場合や、記録再生装置100Aの管理者等が判定閾値の設定を変更した場合等である。
(第三の実施形態)
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、記録装置100において記録された操作記録情報200が、外部のサーバに格納される点が第一の実施形態と相違する。
よって、以下の第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図14は、第三の実施形態の記録再生システムのシステム構成を説明する図である。本実施形態の記録再生システム400は、記録装置100、再生装置300、サーバ410を有する。記録装置100、再生装置300及びサーバ410は、ネットワークを介して接続されている。
本実施形態の記録装置100は、操作記録再生処理部110の記録処理部120により、操作記録情報200をサーバ410に記録する。本実施形態の記録装置100は、操作内容の記録の終了指示を受け付けてから、記録された操作記録情報200をサーバ410に送信しても良い。
本実施形態の再生装置300は、操作記録再生処理部310の再生処理部330により、サーバ410から操作記録情報200を読み込んで再生する。本実施形態の再生装置300は、操作記録情報200全てをサーバ410から取得した後に、再生装置300内に保持された操作記録情報200を再生しても良い。
本実施形態によれば、再生装置300はサーバ410から操作記録情報200を取得すれば良く、操作記録情報200が記憶された可搬型の記憶媒体を持ち運んだり、記憶媒体から操作記録情報200を再生装置300に読み取らせたりする作業が軽減される。
開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
操作を記録するコンピュータに設定された第一の所定時間を取得し、
第一のクリック操作と第二のクリック操作との時間差と、前記第一の所定時間とを比較し、
前記時間差が前記第一の所定時間より短い場合に、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作と判定し、
前記時間差が前記第一の所定時間よりも長い場合に、前記第一のクリック操作及び前記第二のクリック操作のそれぞれの種類をクリック操作と判定して、操作記録情報を記録し、
操作を再生するコンピュータに設定された第二の所定時間を取得し、
前記操作記録情報に含まれる前記操作の種類がダブルクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間以内に前記第二のクリック操作を発生させ、
前記操作記録情報に含まれる前記操作の種類がクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる、処理を前記コンピュータに実行させる操作記録再生プログラム。
(付記2)
前記操作記録情報は、
前記操作の対象となった表示部品を特定する特定情報と、
前記表示部品に対して行われた操作の種類を示す操作種類情報と、を含む付記1記載の操作記録再生プログラム。
(付記3)
操作を記録するコンピュータに設定された第一の所定時間を取得し、
第一のクリック操作が検知されてから、第一の所定時間以内に第二のクリック操作が検知されたとき、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作として記録し、
前記第一のクリック操作が検知されてから、前記第一の所定時間が経過した後に前記第二のクリック操作が検知されたとき、前記第一のクリック操作及び前記第二のクリック操作の種類をクリック操作として記録した操作記録情報を読み込み、
操作を再生するコンピュータに設定された第二の所定時間を取得し、
前記操作記録情報に含まれる操作の種類が前記ダブルクリック操作の場合に、前記第一のクリック操作を発生させてから、前記第二の所定時間以内に前記第二のクリック操作を発生させ、
前記操作記録情報に含まれる操作の種類が、前記クリック操作の場合に、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる、処理を前記コンピュータに実行させる操作再生プログラム。
(付記4)
コンピュータによる操作記録再生方法であって、該コンピュータが、
操作を記録するコンピュータに設定された第一の所定時間を取得し、
第一のクリック操作と第二のクリック操作との時間差と、前記第一の所定時間とを比較し、
前記時間差が前記第一の所定時間より短い場合に、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作と判定し、
前記時間差が前記第一の所定時間よりも長い場合に、前記第一のクリック操作及び前記第二のクリック操作のそれぞれの種類をクリック操作と判定して、操作記録情報を記録し、
操作を再生するコンピュータに設定された第二の所定時間を取得し、
前記操作記録情報に含まれる前記操作の種類がダブルクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間以内に前記第二のクリック操作を発生させ、
前記操作記録情報に含まれる前記操作の種類がクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる操作記録再生方法。
(付記5)
操作記録情報を記録する記録装置と、前記操作記録情報を再生する再生装置とを有する操作記録再生システムであって、
前記記録装置は、
前記記録装置に設定された第一の所定時間を取得する第一の取得部と、
第一のクリック操作と第二のクリック操作との時間差と、前記第一の所定時間とを比較し、
前記時間差が前記第一の所定時間より短い場合に、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作と判定し、
前記時間差が前記第一の所定時間よりも長い場合に、前記第一のクリック操作及び前記第二のクリック操作のそれぞれの種類をクリック操作と判定して、操作記録情報を記録する操作記録部と、を有し、
前記再生装置は、
前記再生装置に設定された第二の所定時間を取得する第二の取得部と、
前記操作記録情報を読み込む読込部と、
前記操作記録情報に含まれる操作の種類が前記ダブルクリック操作であったとき、前記第一のクリック操作を発生させてから、前記第二の所定時間以内に前記第二のクリック操作を発生させ、
前記操作記録情報に含まれる操作の種類が、複数の前記クリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる操作発生要求部と、を有する操作記録再生システム。
(付記6)
コンピュータにより実行される操作記録再生プログラムであって、
第一のクリック操作及び前記第一のクリック操作の次に行われた第二のクリック操作をダブルクリック操作であるか又は複数回のクリック操作であるか区別して記録した操作記録情報を読み込み、
前記操作記録情報に含まれる操作の種類が前記ダブルクリック操作であったとき、前記第一のクリック操作を発生させてから、前記コンピュータに設定された所定時間以内に前記第二のクリック操作を発生させ、
前記操作記録情報に含まれる操作の種類が、複数の前記クリック操作であったとき、前記第一のクリック操作を発生させてから前記所定時間が経過した後に前記第二のクリック操作を発生させる、処理を前記コンピュータに実行させる操作記録再生プログラム。
(付記7)
前記操作記録情報は、
前記第一のクリック操作が検知されてから、前記所定時間とは異なる他の所定時間以内に第二のクリック操作が検知されたとき、前記第一のクリック操作及び前記第二のクリック操作の種類がダブルクリック操作として記録され、
前記第一のクリック操作が検知されてから、前記他の所定時間が経過した後に前記第二のクリック操作が検知されたとき、前記第一のクリック操作及び前記第二のクリック操作のそれぞれの操作の種類がクリック操作として記録される付記6記載の操作記録再生プログラム。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から
逸脱することなく、種々の変形や変更が可能である。
100 記録装置
110、310 操作記録再生処理部
120、320 記録処理部
121 操作検知部
122 割込発生部
123、132、332 オブジェクト特定部
124 操作種類取得部
125 操作記録部
126、134、334 判定閾値取得部
130、330 再生処理部
134、334 操作発生要求部
200 操作記録情報
300 再生装置
331 操作記録読込部
400 記録再生システム
410 サーバ

Claims (5)

  1. 操作を記録するコンピュータに設定された第一の所定時間を取得し、
    第一のクリック操作と第二のクリック操作との時間差と、前記第一の所定時間とを比較し、
    前記時間差が前記第一の所定時間より短い場合に、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作と判定し、
    前記時間差が前記第一の所定時間よりも長い場合に、前記第一のクリック操作及び前記第二のクリック操作のそれぞれの種類をクリック操作と判定して、操作記録情報を記録し、
    操作を再生するコンピュータに設定された第二の所定時間を取得し、
    前記操作記録情報に含まれる前記操作の種類がダブルクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間以内に前記第二のクリック操作を発生させ、
    前記操作記録情報に含まれる前記操作の種類がクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる、処理を前記コンピュータに実行させる操作記録再生プログラム。
  2. 前記操作記録情報は、
    前記操作の対象となった表示部品を特定する特定情報と、
    前記表示部品に対して行われた操作の種類を示す操作種類情報と、を含む請求項1記載の操作記録再生プログラム。
  3. 第一のクリック操作が検知されてから、第一の所定時間以内に第二のクリック操作が検知されたとき、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作として記録し、
    前記第一のクリック操作が検知されてから、前記第一の所定時間が経過した後に前記第二のクリック操作が検知されたとき、前記第一のクリック操作及び前記第二のクリック操作の種類をクリック操作として記録した操作記録情報を読み込み、
    操作を再生するコンピュータに設定された第二の所定時間を取得し、
    前記操作記録情報に含まれる操作の種類が前記ダブルクリック操作の場合に、前記第一のクリック操作を発生させてから、前記第二の所定時間以内に前記第二のクリック操作を発生させ、
    前記操作記録情報に含まれる操作の種類が、前記クリック操作の場合に、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる、処理を前記コンピュータに実行させる操作再生プログラム。
  4. コンピュータによる操作記録再生方法であって、該コンピュータが、
    操作を記録するコンピュータに設定された第一の所定時間を取得し、
    第一のクリック操作と第二のクリック操作との時間差と、前記第一の所定時間とを比較し、
    前記時間差が前記第一の所定時間より短い場合に、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作と判定し、
    前記時間差が前記第一の所定時間よりも長い場合に、前記第一のクリック操作及び前記第二のクリック操作のそれぞれの種類をクリック操作と判定して、操作記録情報を記録し、
    操作を再生するコンピュータに設定された第二の所定時間を取得し、
    前記操作記録情報に含まれる前記操作の種類がダブルクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間以内に前記第二のクリック操作を発生させ、
    前記操作記録情報に含まれる前記操作の種類がクリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる操作記録再生方法。
  5. 操作記録情報を記録する記録装置と、前記操作記録情報を再生する再生装置とを有する操作記録再生システムであって、
    前記記録装置は、
    前記記録装置に設定された第一の所定時間を取得する第一の取得部と、
    第一のクリック操作と第二のクリック操作との時間差と、前記第一の所定時間とを比較し、
    前記時間差が前記第一の所定時間より短い場合に、前記第一のクリック操作及び前記第二のクリック操作の種類をダブルクリック操作と判定し、
    前記時間差が前記第一の所定時間よりも長い場合に、前記第一のクリック操作及び前記第二のクリック操作のそれぞれの種類をクリック操作と判定して、操作記録情報を記録する操作記録部と、を有し、
    前記再生装置は、
    前記再生装置に設定された第二の所定時間を取得する第二の取得部と、
    前記操作記録情報を読み込む読込部と、
    前記操作記録情報に含まれる操作の種類が前記ダブルクリック操作であったとき、前記第一のクリック操作を発生させてから、前記第二の所定時間以内に前記第二のクリック操作を発生させ、
    前記操作記録情報に含まれる操作の種類が、複数の前記クリック操作であったとき、前記第一のクリック操作を発生させてから前記第二の所定時間が経過した後に前記第二のクリック操作を発生させる操作発生要求部と、を有する操作記録再生システム。
JP2015209354A 2015-10-23 2015-10-23 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム Active JP6547584B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015209354A JP6547584B2 (ja) 2015-10-23 2015-10-23 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム
US15/291,667 US20170115999A1 (en) 2015-10-23 2016-10-12 Method, system, and non-transitory computer-readable recording medium for recording and reproducing an operation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015209354A JP6547584B2 (ja) 2015-10-23 2015-10-23 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム

Publications (2)

Publication Number Publication Date
JP2017083970A true JP2017083970A (ja) 2017-05-18
JP6547584B2 JP6547584B2 (ja) 2019-07-24

Family

ID=58561610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015209354A Active JP6547584B2 (ja) 2015-10-23 2015-10-23 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム

Country Status (2)

Country Link
US (1) US20170115999A1 (ja)
JP (1) JP6547584B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115328347A (zh) * 2022-08-09 2022-11-11 青岛海信移动通信技术股份有限公司 界面展示方法、装置、终端设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235455A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体
JP2002183086A (ja) * 2000-12-13 2002-06-28 Matsushita Electric Ind Co Ltd 遠隔操作システム
JP2003029891A (ja) * 2001-07-19 2003-01-31 Hitachi Ltd コンピュータ操作支援装置及びその処理プログラム
JP2005063279A (ja) * 2003-08-18 2005-03-10 Ricoh Co Ltd コンピュータ操作記録再生方式
JP2006178966A (ja) * 2004-12-23 2006-07-06 Microsoft Corp ユーザアクセシビリティオプションのパーソナライゼーション
US20120131456A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Capture and Playback for GUI-Based Tasks
JP2014215788A (ja) * 2013-04-25 2014-11-17 株式会社リコー 情報処理システム、情報処理方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235455A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 操作履歴の構造的記録による同期再生方法および操作抽出端末と操作再生端末の操作履歴同期再生プログラムを記録した記録媒体
JP2002183086A (ja) * 2000-12-13 2002-06-28 Matsushita Electric Ind Co Ltd 遠隔操作システム
JP2003029891A (ja) * 2001-07-19 2003-01-31 Hitachi Ltd コンピュータ操作支援装置及びその処理プログラム
JP2005063279A (ja) * 2003-08-18 2005-03-10 Ricoh Co Ltd コンピュータ操作記録再生方式
JP2006178966A (ja) * 2004-12-23 2006-07-06 Microsoft Corp ユーザアクセシビリティオプションのパーソナライゼーション
US20120131456A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Capture and Playback for GUI-Based Tasks
JP2014215788A (ja) * 2013-04-25 2014-11-17 株式会社リコー 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP6547584B2 (ja) 2019-07-24
US20170115999A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
US9747191B1 (en) Tool to replicate actions across devices in real time for improved efficiency during manual application testing
US20120166522A1 (en) Supporting intelligent user interface interactions
US20100162209A1 (en) Embedding Software Developer Comments In Source Code Of Computer Programs
US9983987B2 (en) Method, apparatus, and device for locating a software failure
CN103970649B (zh) Android终端应用程序的测试方法和装置
US10275341B2 (en) Mobile application usability testing
KR101938203B1 (ko) 컴퓨터 시스템의 하드웨어 및 소프트웨어의 에러 발생 여부를 통합적으로 관리하는 장치
US20200241992A1 (en) System and method for dynamic domain-specific sequence diagram visualization
CN112181579A (zh) 图形用户界面原型提供方法以及装置
US20160092085A1 (en) Selective access to interactive device features
JP6547584B2 (ja) 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム
US10534690B1 (en) Concurrent quality testing by broadcasting user events
US10733076B2 (en) Techniques for detecting faults in rendering graphics
KR101941105B1 (ko) 컴퓨터 시스템에 포함된 하드웨어의 에러 발생 여부를 통합적으로 관리하여 백업 및 복구를 수행하여 외부 단말에 알리는 방법
US20140344257A1 (en) Detecting a Preferred Implementation of an Operation
JP6797524B2 (ja) 操作記録再生プログラム、操作再生プログラム、操作記録再生システム及び操作記録再生方法
JP6662861B2 (ja) ユーザアクションに応答して直接操作の有効化を決定するためのヒットテスト
JP6528646B2 (ja) 操作再生プログラム、操作再生装置及び操作再生方法
JP6927340B2 (ja) 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置
CN114443453A (zh) 一种测试数据录制方法、装置、设备及计算机存储介质
KR101938202B1 (ko) 컴퓨터 시스템에 포함된 하드웨어의 에러 발생 여부를 통합적으로 관리하여 백업 및 복구를 수행하여 외부 단말에 알리는 방법
JP6813265B2 (ja) 操作記録再生プログラム、操作記録プログラム、操作記録再生方法及び操作記録再生装置
JP6561775B2 (ja) 操作記録再生プログラム、操作再生プログラム、操作再生方法及び操作記録再生装置
US20230315499A1 (en) Simulation of user actions in computer environment
TWI556154B (zh) 觸控資訊時間的記錄方法、裝置、系統及其電腦可讀取媒體

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R150 Certificate of patent or registration of utility model

Ref document number: 6547584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150