JP2021114194A - Device test automation method, program and device - Google Patents

Device test automation method, program and device Download PDF

Info

Publication number
JP2021114194A
JP2021114194A JP2020007043A JP2020007043A JP2021114194A JP 2021114194 A JP2021114194 A JP 2021114194A JP 2020007043 A JP2020007043 A JP 2020007043A JP 2020007043 A JP2020007043 A JP 2020007043A JP 2021114194 A JP2021114194 A JP 2021114194A
Authority
JP
Japan
Prior art keywords
screen
evaluation
record
user
inconsistency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020007043A
Other languages
Japanese (ja)
Other versions
JP7467929B2 (en
Inventor
菜摘 田門
Natsumi Tamon
菜摘 田門
一樹 原田
Kazuki Harada
一樹 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2020007043A priority Critical patent/JP7467929B2/en
Publication of JP2021114194A publication Critical patent/JP2021114194A/en
Application granted granted Critical
Publication of JP7467929B2 publication Critical patent/JP7467929B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)

Abstract

To provide a technology which enables execution of a non-recorded operation.SOLUTION: A device test automation method includes a step for detecting an operation performed by a user with respect to an operation screen of an objective device for accepting an operation input of the user, and a step for determining a plurality of operation forms of the user in the operation. The plurality of operation forms include a first operation form which is registered in an operation record, and a second operation form not registered in the operation record. The method further includes: a step for recording first operations (1) to (3) which are performed in the first operation form; a step for accepting second operations (4), (5) for screen transitions performed in the second operation forms; and a step for detecting the non-coincidence of the operations on the basis of a record of a third operation (6) which is performed in the first operation form after the screen transitions performed by the second operations (4), (5).SELECTED DRAWING: Figure 11

Description

本開示は、操作部を備える装置のテストに関し、より特定的には、装置の操作内容に基づく自動実行スクリプトの生成技術に関する。 The present disclosure relates to a test of a device including an operation unit, and more specifically to a technique for generating an automatic execution script based on the operation content of the device.

近年、ＭＦＰ（Multifunction Peripheral）などのユーザーから入力操作を受け付ける装置は、多機能化が進んでいる。そのため、これらの装置の動作テストの工数も増大し続けている。特に、ソフトウェア開発において、テスト工数の増大は、メーカーにとって大きな負担になっている。 In recent years, devices such as MFPs (Multifunction Peripheral) that accept input operations from users are becoming more multifunctional. Therefore, the man-hours for the operation test of these devices continue to increase. In particular, in software development, an increase in test man-hours is a heavy burden on manufacturers.

ソフトウェアの開発工程においては、動作テストを繰り返すことによりソフトウェアの品質を確保することが重要である。しかし、動作テストにかけられる工数は有限であり、また、開発速度の向上のために、動作テストの効率化が求められている。動作テストの効率化のために、操作内容を記録し、当該操作内容に基づいて同様の操作を実行する自動実行スクリプトを作成するテストツールが使用されることがある。 In the software development process, it is important to ensure the quality of software by repeating operation tests. However, the man-hours required for the operation test are finite, and in order to improve the development speed, the efficiency of the operation test is required. In order to improve the efficiency of the operation test, a test tool that records the operation contents and creates an automatic execution script that executes the same operation based on the operation contents may be used.

記録された操作内容を自動実行するテストツールに関して、例えば、特開２０１７−１１７３０９号公報（特許文献１）は、「管理サーバーのアプリ管理は操作イベント処理コードを注入したアプリケーションをスマートフォン端末に送信し、インストールさせる。クライアント端末上でスマートフォン端末操作を実行すると、スマートフォン端末上で同などの操作が実行され、操作ログ情報がスクリプト生成手段により、スクリプトファイルに保存される。クライアント端末上でテスト実行を指示すると、端末管理は、操作イベント処理コード注入済みのアプリケーションを複数のスマートフォン端末に送信してインストールさせ、スクリプト実行手段が、スクリプトファイルからスクリプトを読み出し、端末操作情報に変換して、スマートフォン端末に送信し、スマートフォン端末では、受信した端末操作情報に基づいてアプリケーションが実行される」テスト自動化システムを開示している（［要約］参照）。 Regarding a test tool that automatically executes recorded operation contents, for example, Japanese Patent Application Laid-Open No. 2017-117309 (Patent Document 1) states that "application management of a management server transmits an application in which an operation event processing code is injected to a smartphone terminal. When a smartphone terminal operation is executed on the client terminal, the same operation is executed on the smartphone terminal, and the operation log information is saved in a script file by the script generation means. Test execution is performed on the client terminal. When instructed, the terminal management sends the application with the operation event processing code injected to multiple smartphone terminals to install it, and the script execution means reads the script from the script file, converts it into terminal operation information, and sends it to the smartphone terminal. The application is executed based on the received terminal operation information on the smartphone terminal that sends the application. ”(See [Summary]).

また、操作内容の操作履歴に対する技術などが、特開２０１５−１２１８６９号公報（特許文献２）および特開２０１５−１５３１８３号公報（特許文献３）に開示されている。 Further, Japanese Patent Application Laid-Open No. 2015-121869 (Patent Document 2) and Japanese Patent Application Laid-Open No. 2015-153183 (Patent Document 3) disclose techniques for operating history of operation contents.

特開２０１７−１１７３０９号公報JP-A-2017-117309 特開２０１５−１２１８６９号公報Japanese Unexamined Patent Publication No. 2015-121869 特開２０１５−１５３１８３号公報Japanese Unexamined Patent Publication No. 2015-153183

特許文献１〜３に開示された技術によると、テスターが、記録されない操作、例えば事前に入力し忘れていた操作など、を実行することができない。その結果、テスターは、一から全ての操作をやり直す必要があり、テスト工数が増大してしまう。そのため、記録されない操作の実行を可能にするための技術が必要とされている。 According to the techniques disclosed in Patent Documents 1 to 3, the tester cannot perform an operation that is not recorded, for example, an operation that has been forgotten to be input in advance. As a result, the tester has to redo all the operations from the beginning, which increases the test man-hours. Therefore, there is a need for technology that enables the execution of unrecorded operations.

本開示は、上記のような背景に鑑みてなされたものであって、ある局面における目的は、記録されない操作の実行を可能にするための技術を提供することにある。 The present disclosure has been made in view of the above background, and an object in a certain aspect is to provide a technique for enabling the execution of an unrecorded operation.

ある実施の形態に従うと、装置のテストを自動化するための方法が提供される。この方法は、ユーザーの操作入力を受け付ける対象装置の操作画面に対するユーザーによる操作を検出するステップと、操作におけるユーザーの複数の操作態様を判定するステップとを含む。複数の操作態様は、操作記録に登録される第１の操作態様と、操作記録に登録されない第２の操作態様とを含む。方法は、第１の操作態様により実行される第１の操作を記録するステップと、第２の操作態様により実行される画面遷移のための第２の操作を受け付けるステップと、第２の操作による画面遷移後に、第１の操作態様により実行される第３の操作を記録したことに基づいて、操作の不整合を検出するステップとをさらに含む。 According to certain embodiments, a method for automating the testing of the device is provided. This method includes a step of detecting an operation by the user on the operation screen of the target device that accepts the operation input of the user, and a step of determining a plurality of operation modes of the user in the operation. The plurality of operation modes include a first operation mode registered in the operation record and a second operation mode not registered in the operation record. The method comprises a step of recording the first operation performed by the first operation mode, a step of accepting a second operation for screen transition performed by the second operation mode, and a second operation. After the screen transition, it further includes a step of detecting an operation inconsistency based on recording a third operation performed by the first operation mode.

ある局面において、第１および第３の操作を記録するステップは、それぞれ、各操作の内容と、各操作が実行されたときの画面の識別情報とを各々関連付けて操作記録に保存するステップを含む。操作の不整合を検出するステップは、操作記録を参照し、第１の操作が実行された第１の画面と、第３の操作が実行されたときの第２の画面とを取得するステップと、第１および第２の画面が互いに異なることに基づいて、操作の不整合を検出するステップとを含む。 In a certain aspect, the step of recording the first and third operations includes a step of associating the content of each operation with the identification information of the screen when each operation is executed and saving the operation record. .. The step of detecting the inconsistency of the operation is a step of referring to the operation record and acquiring the first screen when the first operation is executed and the second screen when the third operation is executed. , Includes steps to detect operational inconsistencies based on the fact that the first and second screens are different from each other.

ある局面において、操作の不整合を検出するステップは、操作記録に含まれる第１の操作の記録と第３の操作の記録との間に、第１の操作態様による第２の画面への遷移操作の記録があるか否かを判定するステップと、遷移操作の記録がないことに基づいて、操作の不整合を検出するステップとを含む。 In a certain aspect, the step of detecting the inconsistency of the operation is a transition to the second screen by the first operation mode between the recording of the first operation and the recording of the third operation included in the operation record. It includes a step of determining whether or not there is a record of operations and a step of detecting an operation inconsistency based on the absence of a record of transition operations.

ある局面において、方法は、操作の不整合を検出したことに基づいて、第３の操作を操作記録から除外するステップをさらに含む。 In one aspect, the method further comprises the step of excluding the third operation from the operation record based on the detection of the inconsistency in the operation.

ある局面において、方法は、操作の不整合を検出したことに基づいて、操作の不整合を解消する操作を補完するための操作リストをテスト自動化装置の画面に表示するステップをさらに含む。 In one aspect, the method further comprises displaying an operation list on the screen of the test automation device to supplement the operation to resolve the operation inconsistency based on the detection of the operation inconsistency.

ある局面において、方法は、第２の操作態様による操作を操作記録とは別に一時的に記録するステップをさらに含む。操作リストをテスト自動化装置の画面に表示するステップは、第１の操作の実行から第３の操作の実行までの間に、第２の操作態様によって実行された全ての操作をテスト自動化装置の画面に表示するステップを含む。 In certain aspects, the method further comprises the step of temporarily recording the operation according to the second mode of operation separately from the operation record. The step of displaying the operation list on the screen of the test automation device is the screen of the test automation device for all the operations executed by the second operation mode between the execution of the first operation and the execution of the third operation. Includes steps to display in.

ある局面において、方法は、操作の不整合を検出したことに基づいて、操作の不整合が発生したことをスピーカーから通知するステップをさらに含む。 In one aspect, the method further comprises the step of notifying the speaker that an operational inconsistency has occurred based on the detection of the operational inconsistency.

ある局面において、複数の操作態様を判定するステップは、操作画面に触れる指が、右手の指または左手の指のいずれかであるかに基づいて、各操作態様が、第１の操作態様または第２の操作態様のいずれであるかを判定するステップを含む。 In a certain aspect, the step of determining a plurality of operation modes is based on whether the finger touching the operation screen is either the finger of the right hand or the finger of the left hand, and each operation mode is the first operation mode or the first operation mode. A step of determining which of the two operation modes is included.

ある局面において、複数の操作態様を判定するステップは、操作画面に触れるタッチペンの形状または色に基づいて、各操作態様が、第１の操作態様または第２の操作態様のいずれであるかを判定するステップを含む。 In a certain aspect, the step of determining a plurality of operation modes determines whether each operation mode is a first operation mode or a second operation mode based on the shape or color of the touch pen touching the operation screen. Includes steps to do.

ある局面において、複数の操作態様を判定するステップは、操作画面に触れる対象の形状に基づいて、各操作態様が、第１の操作態様または第２の操作態様のいずれであるかを判定するステップを含む。 In a certain aspect, the step of determining a plurality of operation modes is a step of determining whether each operation mode is a first operation mode or a second operation mode based on the shape of an object touching the operation screen. including.

他の実施の形態に従うと、上述のいずれかの方法をコンピューターに実行させるプログラムが提供される。 According to other embodiments, a program is provided that causes a computer to perform any of the above methods.

他の実施の形態に従うと、操作対象の装置のテストを自動化するための装置が提供される。この装置は、上述のプログラムを格納したメモリーと、プログラムを実行するプロセッサーとを備える。 According to other embodiments, an apparatus is provided for automating the testing of the apparatus to be operated. This device includes a memory for storing the above-mentioned program and a processor for executing the program.

ある実施の形態に従うと、テスターは、記録されない操作、例えば事前に入力し忘れていた操作など、を実行することが可能である。 According to certain embodiments, the tester can perform unrecorded operations, such as pre-filled operations.

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。 The above and other objectives, features, aspects and advantages of the invention will become apparent from the following detailed description of the invention as understood in connection with the accompanying drawings.

テストスクリプト自動生成システムにより、自動実行スクリプトを生成する画像形成装置の一例である。This is an example of an image forming device that generates an automatic execution script by a test script automatic generation system. ある実施の形態に従うテストスクリプト自動生成システムの一例を示す図である。It is a figure which shows an example of the test script automatic generation system according to a certain embodiment. 情報処理装置２００のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the information processing apparatus 200. 修正操作に基づく評価操作の修正処理の概要の一例を示す図である。It is a figure which shows an example of the outline of the correction process of the evaluation operation based on the correction operation. ユーザーの操作手順の第１の例を示す図である。It is a figure which shows the 1st example of the operation procedure of a user. 情報処理装置２００における図５の操作を検出したときの内部動作の一例を示す図である。It is a figure which shows an example of the internal operation at the time of detecting the operation of FIG. 5 in an information processing apparatus 200. 整合性を満たす操作の一例を示す図である。It is a figure which shows an example of the operation which satisfies the consistency. 情報処理装置２００における図７の操作を検出した場合の内部処理の一例について説明するための図である。It is a figure for demonstrating an example of the internal processing at the time of detecting the operation of FIG. 7 in an information processing apparatus 200. 整合性を満たさない操作の一例を示す図である。It is a figure which shows an example of the operation which does not satisfy the consistency. 情報処理装置２００における図９の操作を検出した場合の内部処理の一例について説明するための図である。It is a figure for demonstrating an example of the internal processing at the time of detecting the operation of FIG. 9 in an information processing apparatus 200. 操作の不整合が検出された場合に情報処理装置２００が実行する処理の第１の例を示す図である。It is a figure which shows the 1st example of the process which the information processing apparatus 200 executes when the inconsistency of operation is detected. 図１１における情報処理装置２００の詳細な内部処理の一例を示す図である。It is a figure which shows an example of the detailed internal processing of the information processing apparatus 200 in FIG. 操作の不整合が検出された場合に情報処理装置２００が実行する処理の第２の例を示す図である。It is a figure which shows the 2nd example of the process which the information processing apparatus 200 executes when the inconsistency of operation is detected. 操作の不整合が検出された場合に情報処理装置２００が実行する処理の第３の例を示す図である。It is a figure which shows the 3rd example of the process which the information processing apparatus 200 executes when the inconsistency of operation is detected. 操作の不整合が検出された場合に情報処理装置２００が実行する処理の第４の例を示す図である。It is a figure which shows the 4th example of the process which the information processing apparatus 200 executes when the inconsistency of operation is detected. 情報処理装置２００の自動実行スクリプトの生成までの手順の一例を示す図である。It is a figure which shows an example of the procedure up to the generation of the automatic execution script of the information processing apparatus 200. 操作情報記録処理の手順の一例を示す図である。It is a figure which shows an example of the procedure of operation information recording processing.

以下、図面を参照しつつ、本開示に係る技術思想の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the technical concept according to the present disclosure will be described with reference to the drawings. In the following description, the same parts are designated by the same reference numerals. Their names and functions are the same. Therefore, the detailed description of them will not be repeated.

［システム構成について］
まず、図１〜３を用いて、本実施の形態に従うテストスクリプト自動生成システムの概要について説明する。以降の説明では、テスト対象として画像形成装置を例に、テストスクリプト自動生成システムの処理内容について説明するが、本実施の形態に従うテストスクリプト自動生成システムのテスト対象は画像形成装置に限られない。本実施の形態に従うテストスクリプト自動生成システムは、タッチパネルなどの入力手段を持つ任意の装置のテストに使用され得る。 [About system configuration]
First, the outline of the test script automatic generation system according to the present embodiment will be described with reference to FIGS. In the following description, the processing contents of the test script automatic generation system will be described by taking an image forming apparatus as an example as a test object, but the test object of the test script automatic generation system according to the present embodiment is not limited to the image forming apparatus. The test script automatic generation system according to the present embodiment can be used for testing any device having an input means such as a touch panel.

図１は、テストスクリプト自動生成システムにより、自動実行スクリプトを生成する画像形成装置の一例である。画像形成装置１００は、制御部１０１と、原稿読取部１０２と、印刷出力部１０３と、ＦＡＸ（ファクシミリ）部１０４と、記憶装置１０５と、無線インターフェイス１０６と、有線インターフェイス１０７と、ユーザー認証部１０８と、操作パネル１０９とを備える。制御部１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１１１と、ＲＯＭ（Read Only Memory）１１２とを含む。操作パネル１０９は、表示部１１３と、操作部１１４とを含む。 FIG. 1 is an example of an image forming apparatus that generates an automatic execution script by a test script automatic generation system. The image forming apparatus 100 includes a control unit 101, a document reading unit 102, a print output unit 103, a fax (facsimile) unit 104, a storage device 105, a wireless interface 106, a wired interface 107, and a user authentication unit 108. And an operation panel 109. The control unit 101 includes a CPU (Central Processing Unit) 110, a RAM (Random Access Memory) 111, and a ROM (Read Only Memory) 112. The operation panel 109 includes a display unit 113 and an operation unit 114.

制御部１０１は、画像形成装置１００を制御し、各種プログラムを実行する。ＣＰＵ１１０は、ＲＡＭ１１１に読み込まれた各種プログラムおよびデータを実行または参照する。ある局面において、ＣＰＵ１１０は、組み込みＣＰＵであってもよいし、ＦＰＧＡ（Field-Programmable Gate Array）であってもよいし、またはこれらの組み合わせなどによって構成される。ＣＰＵ１１０は、画像形成装置１００の各種機能を実現するためのプログラムを実行し得る。 The control unit 101 controls the image forming apparatus 100 and executes various programs. The CPU 110 executes or refers to various programs and data read into the RAM 111. In a certain aspect, the CPU 110 may be an embedded CPU, an FPGA (Field-Programmable Gate Array), or a combination thereof. The CPU 110 can execute a program for realizing various functions of the image forming apparatus 100.

ＲＡＭ１１１は、制御部１０１によって実行されるプログラムと、制御部１０１によって参照されるデータとを格納する。ある局面において、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）が、ＲＡＭ１１１として使用されてもよい。 The RAM 111 stores a program executed by the control unit 101 and data referenced by the control unit 101. In a certain aspect, DRAM (Dynamic Random Access Memory) or SRAM (Static Random Access Memory) may be used as RAM 111.

ＲＯＭ１１２は、不揮発性メモリーであり、ＣＰＵ１１０によって実行されるプログラムを格納してもよい。その場合、ＣＰＵ１１０は、ＲＯＭ１１２からＲＡＭ１１１に読み出されたプログラムを実行する。ある局面において、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）またはフラッシュメモリーが、ＲＯＭ１１２として使用されてもよい。 The ROM 112 is a non-volatile memory and may store a program executed by the CPU 110. In that case, the CPU 110 executes the program read from the ROM 112 to the RAM 111. In certain aspects, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM) or a flash memory may be used as the ROM 112.

原稿読取部１０２は、原稿をスキャンして、当該原稿を画像データに変換し得る。ＣＰＵ１１０は、原稿読取部１０２を介して、画像データを取得し得る。ある局面において、原稿読取部１０２は、取得した画像データを記憶装置１０５に保存し得る。他の局面において、原稿読取部１０２は、有線インターフェイス１０７を介して画像データを取得し、当該取得した画像データを記憶装置１０５に保存してもよい。 The document reading unit 102 can scan the document and convert the document into image data. The CPU 110 can acquire image data via the document reading unit 102. In a certain aspect, the document reading unit 102 may store the acquired image data in the storage device 105. In another aspect, the document reading unit 102 may acquire image data via the wired interface 107 and store the acquired image data in the storage device 105.

印刷出力部１０３は、画像形成装置１００が取り込んだ画像データの印刷処理を行う。ある局面において、イメージングユニットを含む印刷機能のための各種アクチュエーターを制御する回路が、印刷出力部１０３として使用されてもよい。 The print output unit 103 prints the image data captured by the image forming apparatus 100. In certain aspects, a circuit that controls various actuators for printing functions, including an imaging unit, may be used as the print output unit 103.

ＦＡＸ部１０４は、電話回線を用いたファクシミリにより、原稿または画像データの送受信を行う。ある局面において、ファクシミリの通信制御機能を持つ回路および電話回線の通信ポートがＦＡＸ部１０４として使用されてもよい。 The FAX unit 104 transmits and receives manuscripts or image data by facsimile using a telephone line. In a certain aspect, a circuit having a facsimile communication control function and a communication port of a telephone line may be used as the FAX unit 104.

記憶装置１０５は、不揮発性メモリーであり、画像形成装置１００の電源が切れた状態でもデータを保存しておくことができる。記憶装置１０５は、ＣＰＵ１１０が実行または参照する任意のプログラムおよびデータを保存し得る。ある局面において、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）が、記憶装置１０５として使用されてもよい。ＣＰＵ１１０は、必要に応じて各種プログラムを記憶装置１０５からＲＡＭ１１１に読み込み、当該読み込まれたプログラムを実行することができる。 The storage device 105 is a non-volatile memory, and data can be stored even when the power of the image forming device 100 is turned off. The storage device 105 may store any program and data that the CPU 110 executes or references. In a certain aspect, an HDD (Hard Disk Drive) or an SSD (Solid State Drive) may be used as the storage device 105. The CPU 110 can read various programs from the storage device 105 into the RAM 111 and execute the read programs as needed.

無線インターフェイス１０６は、有線ネットワーク機器と接続される。ある局面において、Ｗｉ-Ｆｉ（登録商標）モジュールなどが無線インターフェイス１０６として使用されてもよい。他の局面において、無線インターフェイス１０６は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）、ＵＤＰ（User Datagram Protocol）などの通信プロトコルを用いてデータを送受信してもよい。 The wireless interface 106 is connected to a wired network device. In certain aspects, a Wi-Fi® module or the like may be used as the wireless interface 106. In another aspect, the wireless interface 106 may transmit and receive data using a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol) and UDP (User Datagram Protocol).

有線インターフェイス１０７は、有線ネットワーク機器と接続される。ある局面において、有線ＬＡＮ（Local Area Network）ポートなどが有線インターフェイス１０７として使用されてもよい。他の局面において、有線インターフェイス１０７は、ＴＣＰ／ＩＰ、ＵＤＰなどの通信プロトコルを用いてデータを送受信してもよい。 The wired interface 107 is connected to a wired network device. In some aspects, a wired LAN (Local Area Network) port or the like may be used as the wired interface 107. In another aspect, the wired interface 107 may send and receive data using communication protocols such as TCP / IP and UDP.

ユーザー認証部１０８は、操作パネル１０９などから入力されたユーザーＩＤ（Identifier）およびパスワードに基づいて、ユーザーを認証し得る。ある局面において、ユーザー認証部１０８は、外部の認証サーバーと連携してもよいし、ユーザーＩＤおよびパスワードの代わりに、指紋などの生態認証情報の入力を受け付けてもよい。 The user authentication unit 108 can authenticate the user based on the user ID (Identifier) and password input from the operation panel 109 or the like. In a certain aspect, the user authentication unit 108 may cooperate with an external authentication server, or may accept input of ecological authentication information such as a fingerprint instead of the user ID and password.

操作パネル１０９は、画像形成装置１００への各種操作を受け付けると共に、操作メニューおよび各種情報を表示し得る。表示部１１３は、操作メニューおよび各種情報を表示する。表示部１１３は、一例として、液晶モニターまたは有機ＥＬ（Electro-Luminescence）モニターなどであってもよい。操作部１１４は、一例として、操作パネル１０９に組み込まれたタッチセンサーまたはボタンなどであり、ユーザーからの操作入力を受付け得る。 The operation panel 109 can accept various operations on the image forming apparatus 100 and display an operation menu and various information. The display unit 113 displays an operation menu and various information. As an example, the display unit 113 may be a liquid crystal monitor, an organic EL (Electro-Luminescence) monitor, or the like. As an example, the operation unit 114 is a touch sensor or a button incorporated in the operation panel 109, and can receive an operation input from the user.

図２は、本実施の形態に従うテストスクリプト自動生成システムの一例を示す図である。本実施の形態に従うテストスクリプト自動生成システムは、画像形成装置１００におけるユーザーの操作を記録し、同じ操作入力を画像形成装置１００に行なうための自動実行スクリプトを生成する。当該テストスクリプト自動生成システムは、画像形成装置１００におけるユーザーの操作の記録中に、ユーザーが操作を誤った場合に、誤った操作の修正を受け付け得る。さらに、テストスクリプト自動生成システムは、ユーザーが入力し忘れた操作を後から実行したときに、操作記録の整合性をチェックする機能を備える。以下、テストスクリプト自動生成システムの構成と共に、ユーザーの操作の修正処理および整合性のチェック処理について説明する。 FIG. 2 is a diagram showing an example of a test script automatic generation system according to the present embodiment. The test script automatic generation system according to the present embodiment records the user's operation in the image forming apparatus 100, and generates an automatic execution script for performing the same operation input to the image forming apparatus 100. The test script automatic generation system can accept correction of an erroneous operation when the user makes an erroneous operation during recording of the user's operation in the image forming apparatus 100. In addition, the automatic test script generation system has a function to check the integrity of the operation record when the operation that the user has forgotten to input is executed later. Hereinafter, along with the configuration of the test script automatic generation system, the correction process of the user's operation and the consistency check process will be described.

テストスクリプト自動生成システムは、情報処理装置２００と、カメラ２５０とを備える。カメラ２５０は、例えば、画像形成装置１００の操作パネル１０９の画面およびユーザーの操作内容を録画または撮影する。情報処理装置２００は、カメラ２５０から取得した操作記録２１０（映像または写真）に基づいて、画像形成装置１００の自動実行スクリプトを生成し得る。 The test script automatic generation system includes an information processing device 200 and a camera 250. The camera 250 records or captures, for example, the screen of the operation panel 109 of the image forming apparatus 100 and the operation contents of the user. The information processing device 200 can generate an automatic execution script of the image forming device 100 based on the operation record 210 (video or photograph) acquired from the camera 250.

情報処理装置２００は、画面解析部２０１と、操作解析部２０２と、操作判定部２０３と、修正処理部２０４と、スクリプト生成部２０５と、コンテンツＤＢ（データベース）２０６と、修正操作ストア２０７と、評価操作ストア２０８と、スクリプトＤＢ２０９とを含む。 The information processing device 200 includes a screen analysis unit 201, an operation analysis unit 202, an operation determination unit 203, a correction processing unit 204, a script generation unit 205, a content DB (database) 206, a correction operation store 207, and the like. Includes evaluation operation store 208 and script DB 209.

画面解析部２０１は、カメラ２５０から取得した操作記録２１０と、コンテンツＤＢ２０６とに基づいて、操作記録２１０に含まれる画面が何の画面であるかを解析する。一例として、画面解析部２０１は、操作記録２１０に含まれる画面が、印刷設定の画面またはスキャン設定の画面などであると判定し得る。 The screen analysis unit 201 analyzes what screen is included in the operation record 210 based on the operation record 210 acquired from the camera 250 and the content DB 206. As an example, the screen analysis unit 201 may determine that the screen included in the operation record 210 is a print setting screen, a scan setting screen, or the like.

コンテンツＤＢ２０６は、画像形成装置１００の操作画面の画面情報および各操作画面に含まれる操作部品（入力フィールド、プルダウンおよびボタンなど）の配置などに関する情報を含む。画面解析部２０１は、操作記録２１０に含まれる画面と、コンテンツＤＢ２０６に含まれる操作画面とを比較し、ユーザーがどの画面で操作入力を行なっているかを検出し得る。 The content DB 206 includes screen information on the operation screen of the image forming apparatus 100 and information on the arrangement of operation parts (input fields, pull-downs, buttons, etc.) included in each operation screen. The screen analysis unit 201 can compare the screen included in the operation record 210 with the operation screen included in the content DB 206, and detect on which screen the user is performing the operation input.

操作解析部２０２は、カメラ２５０から取得した操作記録２１０と、コンテンツＤＢ２０６とに基づいて、ユーザーが行なった操作を解析し得る。ここでの「操作」とは、ユーザーが画像形成装置１００のタッチパネルなどを操作して、画像形成装置１００に何らかの機能を実行させる行為を指す。 The operation analysis unit 202 can analyze the operation performed by the user based on the operation record 210 acquired from the camera 250 and the content DB 206. The "operation" here refers to an act in which the user operates the touch panel or the like of the image forming apparatus 100 to cause the image forming apparatus 100 to perform some function.

画面解析部２０１は、一例として、操作記録２１０に含まれる画面を解析し、ユーザーの指が触れた位置を特定する。次に、画面解析部２０１は、コンテンツＤＢ２０６を参照し、ユーザーの指が触れた位置に配置された操作部品を特定することで、ユーザーが何の操作入力を行なっているかを検出し得る。 As an example, the screen analysis unit 201 analyzes the screen included in the operation record 210 and identifies the position touched by the user's finger. Next, the screen analysis unit 201 can detect what operation input the user is performing by referring to the content DB 206 and specifying the operation component arranged at the position touched by the user's finger.

操作判定部２０３は、ユーザーの操作形態に基づいて、ユーザーの操作が「評価操作」または「修正操作」のいずれであるかを判定し得る。操作態様とは、ユーザーがどのように操作入力を行なったかである。一例として、操作態様は、右手での操作、左手での操作、指の本数、カメラ２５０から見た指の角度、タッチペンを使用したか否かおよび操作パネル１０９を操作する物体（指、タッチペンなど）の形状などを含み得る。一例として、操作判定部２０３は、操作パネル１０９に触れる指が、右手の指または左手の指のいずれかであるかに基づいて、ユーザーの操作が評価操作または修正操作のいずれであるかを判定し得る。他の例として、操作判定部２０３は、操作パネル１０９に触れるタッチペンの形状または色に基づいて、ユーザーの操作が評価操作または修正操作のいずれであるかを判定し得る。さらに他の例として、操作パネル１０９に触れる任意のものの形状に基づいて、ユーザーの操作が評価操作または修正操作のいずれであるかを判定し得る。 The operation determination unit 203 can determine whether the user's operation is an "evaluation operation" or a "correction operation" based on the user's operation mode. The operation mode is how the user inputs the operation. As an example, the operation modes are right-hand operation, left-hand operation, number of fingers, angle of finger as seen from camera 250, whether or not a touch pen is used, and an object (finger, touch pen, etc.) that operates the operation panel 109. ) And the like. As an example, the operation determination unit 203 determines whether the user's operation is an evaluation operation or a correction operation based on whether the finger touching the operation panel 109 is either the finger of the right hand or the finger of the left hand. Can be done. As another example, the operation determination unit 203 may determine whether the user's operation is an evaluation operation or a correction operation based on the shape or color of the touch pen that touches the operation panel 109. As yet another example, it may be determined whether the user's operation is an evaluation operation or a correction operation based on the shape of any object that touches the operation panel 109.

ここでの評価操作とは、自動実行スクリプトに含まれることになる操作である。すなわち、評価操作は、画像形成装置１００の動作テストのための操作である。修正操作とは、すでに入力された評価操作の中から、間違った操作を削除するための操作である。 The evaluation operation here is an operation that will be included in the automatic execution script. That is, the evaluation operation is an operation for operating the image forming apparatus 100. The correction operation is an operation for deleting an erroneous operation from the already input evaluation operations.

ある局面において、操作判定部２０３は、操作記録２１０に基づいて、ユーザーが右手で画像形成装置１００を操作した場合に評価操作がされたと判定し、ユーザーが左手で画像形成装置１００を操作した場合に修正操作がされたと判定し得る。他の局面において、操作判定部２０３は、操作記録２１０に基づいて、カメラ２５０から見た手の角度、どの指で画像形成装置１００を操作したか、または、何本の指で画像形成装置１００を操作したかなどの任意の方法に基づいて、ユーザーの操作が評価操作または修正操作のいずれであるかを判定し得る。さらに、操作判定部２０３は、ユーザーが入力し忘れた操作を後から実行したときに、操作記録の整合性をチェックする。整合性のチェック機能については、図９および図１０を参照して後述する。 In a certain aspect, when the operation determination unit 203 determines that the evaluation operation has been performed when the user operates the image forming apparatus 100 with the right hand based on the operation record 210, and the user operates the image forming apparatus 100 with the left hand. It can be determined that the correction operation has been performed. In another aspect, the operation determination unit 203 determines the angle of the hand as seen from the camera 250, which finger used to operate the image forming apparatus 100, or how many fingers the image forming apparatus 100 operates based on the operation record 210. It is possible to determine whether the user's operation is an evaluation operation or a correction operation based on any method such as whether the operation is performed. Further, the operation determination unit 203 checks the consistency of the operation record when the operation that the user has forgotten to input is executed later. The consistency check function will be described later with reference to FIGS. 9 and 10.

以降の説明では、一例として、操作判定部２０３は、ユーザーがいずれの手で画像形成装置１００を操作したかに基づいて、ユーザーの操作が評価操作または修正操作のいずれであるかを判定するものとして説明する。 In the following description, as an example, the operation determination unit 203 determines whether the user's operation is an evaluation operation or a correction operation based on which hand the user operates the image forming apparatus 100. It is explained as.

修正操作ストア２０７は、修正操作をまとめた修正操作テンポラリーデータを格納する。修正操作テンポラリーデータは、ある動作テストのための一連の操作内での修正操作を一時的にまとめたものである。操作判定部２０３は、操作記録２１０に基づいて、ユーザーが左手で画像形成装置１００を操作したと判定した場合に、当該ユーザーの操作入力を修正操作として判別し得る。修正操作は、当該修正操作によって実際に操作された操作部品と対応付けて、修正操作テンポラリーデータに含められる。当該修正操作テンポラリーデータは、修正操作ストア２０７に格納される。 The correction operation store 207 stores the correction operation temporary data that summarizes the correction operations. Correction operation temporary data is a temporary collection of correction operations within a series of operations for a certain operation test. When the operation determination unit 203 determines that the user has operated the image forming apparatus 100 with the left hand based on the operation record 210, the operation determination unit 203 can determine the operation input of the user as a correction operation. The correction operation is included in the correction operation temporary data in association with the operation component actually operated by the correction operation. The correction operation temporary data is stored in the correction operation store 207.

評価操作ストア２０８は、評価操作をまとめた評価操作テンポラリーデータを格納する。評価操作テンポラリーデータは、ある動作テストのための一連の操作内での評価操作を一時的にまとめたものである。操作判定部２０３は、操作記録２１０に基づいて、ユーザーが右手で画像形成装置１００を操作したと判定した場合に、当該ユーザーの操作入力を評価操作として評価操作ストア２０８に格納する。評価操作は、当該評価操作によって実際に操作された操作部品と対応付けて、評価操作テンポラリーデータに含められる。当該評価操作テンポラリーデータは、評価操作ストア２０８に格納される。 The evaluation operation store 208 stores evaluation operation temporary data that summarizes the evaluation operations. Evaluation operation temporary data is a temporary collection of evaluation operations within a series of operations for a certain operation test. When the operation determination unit 203 determines that the user has operated the image forming apparatus 100 with the right hand based on the operation record 210, the operation determination unit 203 stores the operation input of the user as an evaluation operation in the evaluation operation store 208. The evaluation operation is included in the evaluation operation temporary data in association with the operation component actually operated by the evaluation operation. The evaluation operation temporary data is stored in the evaluation operation store 208.

修正処理部２０４は、修正操作テンポラリーデータに基づいて、評価操作テンポラリーデータを修正する。より具体的には、修正処理部２０４は、修正操作テンポラリーデータに含まれる修正操作に基づいて、評価操作テンポラリーデータに含まれる一部の操作を削除する。 The correction processing unit 204 corrects the evaluation operation temporary data based on the correction operation temporary data. More specifically, the correction processing unit 204 deletes some operations included in the evaluation operation temporary data based on the correction operation included in the correction operation temporary data.

スクリプト生成部２０５は、修正後の評価操作テンポラリーデータを画像形成装置１００に読み込ますことができる自動実行スクリプトに変換し、当該自動実行スクリプトをスクリプトＤＢ２０９に保存する。ある局面において、スクリプト生成部２０５は、修正操作テンポラリーデータに基づいて、ユーザーが間違った操作のリストを出力してもよい。また、他の局面において、スクリプト生成部２０５は、修正操作ストア２０７に蓄えられた過去の修正操作テンポラリーデータに基づいて、ユーザーが間違った各操作と、各操作の間違い回数とに関する情報を出力してもよい。当該情報は、画像形成装置１００のユーザーインターフェイスの改善に使用され得る。 The script generation unit 205 converts the modified evaluation operation temporary data into an automatic execution script that can be read into the image forming apparatus 100, and saves the automatic execution script in the script DB 209. In a certain aspect, the script generation unit 205 may output a list of incorrect operations by the user based on the correction operation temporary data. Further, in another aspect, the script generation unit 205 outputs information regarding each operation wrong by the user and the number of mistakes in each operation based on the past correction operation temporary data stored in the correction operation store 207. You may. The information can be used to improve the user interface of the image forming apparatus 100.

ある局面において、テストスクリプト自動生成システムは、ユーザーの操作内容を判別するために、カメラ２５０以外の構成を含んでいてもよい。一例として、テストスクリプト自動生成システムは、操作パネル１０９の右上と左上に測距センサーを備え、これらの各々の距離センサーから指の位置（操作パネル１０９上の操作位置）を特定してもよい。また、他の例として、操作パネル１０９にかぶせるタッチパネルシートを備え、当該タッチパネルシートにより、指の位置（操作パネル１０９上の操作位置）を検出してもよい。さらに、タッチパネルシートは、指紋検出機能を備えていてもよい。テストスクリプト自動生成システムは、当該指紋検出機能により、右手と左手の操作を区別し得る。テストスクリプト自動生成システムは、これらの各種センサーなどから取得した情報を操作記録２１０として解析してもよい。 In a certain aspect, the automatic test script generation system may include a configuration other than the camera 250 in order to determine the operation content of the user. As an example, the test script automatic generation system may include distance measuring sensors on the upper right and upper left of the operation panel 109, and the finger position (operation position on the operation panel 109) may be specified from each of these distance sensors. Further, as another example, a touch panel sheet to be placed on the operation panel 109 may be provided, and the position of a finger (operation position on the operation panel 109) may be detected by the touch panel sheet. Further, the touch panel sheet may have a fingerprint detection function. The automatic test script generation system can distinguish between right-handed and left-handed operations by the fingerprint detection function. The test script automatic generation system may analyze the information acquired from these various sensors and the like as the operation record 210.

上記のように、本実施の形態に従うテストスクリプト自動生成システムは、ユーザーの操作態様に基づいて、ユーザーの操作が評価操作または修正操作のいずれであるかを判定し得る。さらに、テストスクリプト自動生成システムは、修正操作に基づいて、評価操作を修正し得る。さらに、テストスクリプト自動生成システムは、ユーザーが入力し忘れた操作を後から実行したときに、操作記録の整合性をチェックする。そのため、ユーザーが後から事前設定を実行する場合などにおいて、整合性を満たさない操作（本来実行できない操作）をしたときでも、テストスクリプト自動生成システムは、当該整合性を満たさない操作を検出し、最終的に整合性のとれた自動実行スクリプトを生成し得る。 As described above, the test script automatic generation system according to the present embodiment can determine whether the user's operation is an evaluation operation or a correction operation based on the user's operation mode. In addition, the test script auto-generation system can modify the evaluation operation based on the modification operation. In addition, the test script auto-generation system checks the integrity of the operation record when the user later executes an operation that he or she has forgotten to enter. Therefore, the test script automatic generation system detects the operation that does not satisfy the consistency even when the user performs the operation that does not satisfy the consistency (the operation that cannot be executed originally) when the user executes the preset setting later. Finally, a consistent autorun script can be generated.

図２の情報処理装置２００の各機能部は、図３で説明するハードウェアによって実行されるプログラムまたはデータとして実現されてもよい。図３は、情報処理装置２００のハードウェア構成の一例を示す図である。 Each functional unit of the information processing apparatus 200 of FIG. 2 may be realized as a program or data executed by the hardware described with reference to FIG. FIG. 3 is a diagram showing an example of the hardware configuration of the information processing apparatus 200.

情報処理装置２００は、ＣＰＵ３０１と、１次記憶装置３０２と、２次記憶装置３０３と、外部機器インターフェイス３０４と、入力インターフェイス３０５と、出力インターフェイス３０６と、通信インターフェイス３０７とを備える。 The information processing device 200 includes a CPU 301, a primary storage device 302, a secondary storage device 303, an external device interface 304, an input interface 305, an output interface 306, and a communication interface 307.

ＣＰＵ３０１は、１次記憶装置３０２に読み込まれた各種プログラムおよびデータを実行または参照する。ある局面において、ＣＰＵ３０１は、組み込みＣＰＵであってもよいし、ＦＰＧＡであってもよいし、またはこれらの組み合わせなどによって構成される。ＣＰＵ３０１は、図２の各種機能部を実現するためのプログラムを実行し得る。 The CPU 301 executes or refers to various programs and data read into the primary storage device 302. In a certain aspect, the CPU 301 may be an embedded CPU, an FPGA, or a combination thereof. The CPU 301 can execute a program for realizing the various functional units shown in FIG.

１次記憶装置３０２は、ＣＰＵ３０１によって実行されるプログラムと、ＣＰＵ３０１によって参照されるデータとを格納する。ある局面において、ＤＲＡＭまたはＳＲＡＭが、１次記憶装置３０２として使用されてもよい。 The primary storage device 302 stores a program executed by the CPU 301 and data referenced by the CPU 301. In certain aspects, DRAM or SRAM may be used as the primary storage device 302.

２次記憶装置３０３は、不揮発性メモリーであり、情報処理装置２００の電源が切れた状態でもデータを保存しておくことができる。２次記憶装置３０３は、ＣＰＵ３０１が実行または参照する任意のプログラムおよびデータを保存し得る。ある局面において、ＨＤＤまたはＳＳＤが、２次記憶装置３０３として使用されてもよい。ＣＰＵ３０１は、必要に応じて各種プログラムを２次記憶装置３０３から１次記憶装置３０２に読み込み、当該読み込まれたプログラムを実行することができる。 The secondary storage device 303 is a non-volatile memory, and can store data even when the power of the information processing device 200 is turned off. The secondary storage device 303 may store any program and data executed or referenced by the CPU 301. In some aspects, the HDD or SSD may be used as the secondary storage device 303. The CPU 301 can read various programs from the secondary storage device 303 into the primary storage device 302 as needed, and execute the read programs.

外部機器インターフェイス３０４は、プリンター、スキャナーおよび外付けＨＤＤなどの任意の外部機器に接続され得る。情報処理装置２００は、外部機器インターフェイス３０４を介して、カメラ２５０と通信してもよい。ある局面において、ＵＳＢ（Universal Serial Bus）端子などが外部機器インターフェイス３０４として使用されてもよい。一例として、情報処理装置２００は、外部機器インターフェイス３０４を介して、スピーカー３０８と接続されてもよい。その場合、情報処理装置２００は、整合性のとれない操作を検出したことに基づいて、スピーカー３０８に操作間違いを通知させ得る。ある局面において、情報処理装置２００は、スピーカーを内蔵していてもよい。 The external device interface 304 may be connected to any external device such as a printer, scanner and external HDD. The information processing device 200 may communicate with the camera 250 via the external device interface 304. In a certain aspect, a USB (Universal Serial Bus) terminal or the like may be used as the external device interface 304. As an example, the information processing device 200 may be connected to the speaker 308 via the external device interface 304. In that case, the information processing apparatus 200 may cause the speaker 308 to notify the operation error based on the detection of the inconsistent operation. In a certain aspect, the information processing apparatus 200 may have a built-in speaker.

入力インターフェイス３０５は、キーボード、マウスまたはゲームパッドなどの任意の入力装置に接続され得る。ある局面において、ＵＳＢ端子、ＰＳ／２端子およびＢｌｕｅｔｏｏｔｈ（登録商標）モジュールなどが入力インターフェイス３０５として使用されてもよい。 The input interface 305 may be connected to any input device such as a keyboard, mouse or gamepad. In some aspects, a USB terminal, a PS / 2 terminal, a Bluetooth® module, and the like may be used as the input interface 305.

出力インターフェイス３０６は、ブラウン管ディスプレイ、液晶ディスプレイまたは有機ＥＬディスプレイなどの任意の出力装置に接続され得る。ある局面において、ＵＳＢ端子、Ｄ−ｓｕｂ端子、ＤＶＩ端子およびＨＤＭＩ（登録商標）端子などが出力インターフェイス３０６として使用されてもよい。 The output interface 306 may be connected to any output device such as a cathode ray tube display, a liquid crystal display or an organic EL display. In some aspects, a USB terminal, a D-sub terminal, a DVI terminal, an HDMI® terminal, and the like may be used as the output interface 306.

通信インターフェイス３０７は、有線または無線のネットワーク機器と接続される。情報処理装置２００は、通信インターフェイス３０７を介して、カメラ２５０と通信してもよい。ある局面において、有線ＬＡＮ（Local Area Network）ポートおよびＷｉ-Ｆｉモジュールなどが通信インターフェイス３０７として使用されてもよい。他の局面において、通信インターフェイス３０７は、ＴＣＰ／ＩＰ、ＵＤＰなどの通信プロトコルを用いてデータを送受信してもよい。 The communication interface 307 is connected to a wired or wireless network device. The information processing device 200 may communicate with the camera 250 via the communication interface 307. In some aspects, a wired LAN (Local Area Network) port, a Wi-Fi module, or the like may be used as the communication interface 307. In another aspect, the communication interface 307 may send and receive data using a communication protocol such as TCP / IP or UDP.

［評価操作の修正処理について］
図４は、修正操作に基づく評価操作の修正処理の概要の一例を示す図である。図４を参照して、本実施の形態に従うテストスクリプト自動生成システムの、評価操作および修正操作の役割について説明する。 [Correction processing of evaluation operation]
FIG. 4 is a diagram showing an example of an outline of the correction process of the evaluation operation based on the correction operation. With reference to FIG. 4, the roles of the evaluation operation and the correction operation of the test script automatic generation system according to the present embodiment will be described.

画面４０１において、第１に、ユーザーが右手（評価操作）で、操作（Ａ）および操作（Ｂ）を行なう。情報処理装置２００は、カメラ２５０から取得した操作記録に基づき、評価操作テンポラリーデータに、操作（Ａ），Ｂを含める。第２に、ユーザーが、操作（Ｂ）が間違った操作であることに気づき、左手（修正操作）で操作（Ｂ）を取り消す作業を行なう。情報処理装置２００は、カメラ２５０から取得した操作記録に基づき、修正操作テンポラリーデータに、操作（Ｂ）の修正操作を含める。第３に、情報処理装置２００は、修正操作テンポラリーデータに基づいて、評価操作テンポラリーデータから操作（Ｂ）を削除し、当該修正後の評価操作テンポラリーデータから自動実行スクリプトを生成する。上記のように、評価操作は、自動実行スクリプトに含めるべき操作を記録するために使用される。修正操作は、間違った評価操作を正しい評価操作に上書きするために使用され得る。ただし、修正操作自体は、何度実行されても操作記録には記録されない。 On the screen 401, first, the user performs the operation (A) and the operation (B) with the right hand (evaluation operation). The information processing apparatus 200 includes operations (A) and B in the evaluation operation temporary data based on the operation record acquired from the camera 250. Second, the user notices that the operation (B) is an incorrect operation, and cancels the operation (B) with his / her left hand (correction operation). The information processing apparatus 200 includes the correction operation of the operation (B) in the correction operation temporary data based on the operation record acquired from the camera 250. Third, the information processing apparatus 200 deletes the operation (B) from the evaluation operation temporary data based on the correction operation temporary data, and generates an automatic execution script from the modified evaluation operation temporary data. As mentioned above, evaluation operations are used to record the operations that should be included in the autorun script. The corrective operation can be used to overwrite the wrong evaluation operation with the correct evaluation operation. However, the correction operation itself is not recorded in the operation record no matter how many times it is executed.

次に、図５および図６を参照して、評価操作の修正処理によって修正可能な操作間違いの典型的な例について説明する。評価操作の修正処理で修正可能な操作は、典型的には直前の操作間違いである。 Next, with reference to FIGS. 5 and 6, a typical example of an operation error that can be corrected by the correction process of the evaluation operation will be described. The operation that can be corrected by the correction process of the evaluation operation is typically an operation error immediately before.

図５は、ユーザーの操作手順の第１の例を示す図である。図５の例では、ユーザーは、全９ステップの操作を行なう中で、１度操作を誤り、その直後に修正操作を行なう。 FIG. 5 is a diagram showing a first example of a user operation procedure. In the example of FIG. 5, the user makes an error once in the operation of all nine steps, and immediately after that, performs a correction operation.

ホームメニュー画面５０１において、ユーザーは、右手で、評価操作（１）「コピー選択」を行なう。評価操作（１）により、画面はコピー設定画面５０２に遷移する。コピー設定画面５０２において、ユーザーは、右手で、評価操作（２）「部数を３に設定」と、評価操作（３）「カラー設定をカラーに設定」とを行なう。 On the home menu screen 501, the user performs the evaluation operation (1) "copy selection" with the right hand. The screen transitions to the copy setting screen 502 by the evaluation operation (1). On the copy setting screen 502, the user performs the evaluation operation (2) "set the number of copies to 3" and the evaluation operation (3) "set the color setting to color" with the right hand.

ユーザーは、評価操作（３）の直後に、本来は、カラー設定をモノクロに設定する予定であったことに気づく。そこで、ユーザーは、左手で、修正操作（Ａ）「カラー設定をキャンセル」を行なう。次に、右手で、評価操作（３’）「カラー設定をモノクロに設定」を行なう。 Immediately after the evaluation operation (3), the user notices that the color setting was originally planned to be set to monochrome. Therefore, the user performs the correction operation (A) "Cancel color setting" with the left hand. Next, with the right hand, perform the evaluation operation (3') "Set the color setting to monochrome".

続けて、コピー設定画面５０２において、ユーザーは、右手で、評価操作（４）「印刷種類を両面に設定」と、評価操作（５）「余白設定ボタンの選択」とを行なう。評価操作（５）により、画面は余白設定画面５０３に遷移する。 Subsequently, on the copy setting screen 502, the user performs the evaluation operation (4) "set the print type on both sides" and the evaluation operation (5) "selection of the margin setting button" with the right hand. By the evaluation operation (5), the screen transitions to the margin setting screen 503.

余白設定画面５０３において、ユーザーは、右手で、評価操作（６）「余白のたてを５ｍｍに設定」と、評価操作（７）「余白のよこを５ｍｍに設定」と、評価操作（８）「ＯＫ選択」とを行なう。評価操作（８）により、画面はコピー設定画面５０２に遷移する。コピー設定画面５０２において、ユーザーは、右手で、評価操作（９）「印刷実行」を行なう。 On the margin setting screen 503, the user uses his right hand to perform the evaluation operation (6) "set the vertical margin to 5 mm" and the evaluation operation (7) "set the horizontal margin to 5 mm" and the evaluation operation (8). Perform "OK selection". The screen transitions to the copy setting screen 502 by the evaluation operation (8). On the copy setting screen 502, the user performs the evaluation operation (9) “print execution” with his / her right hand.

図６は、情報処理装置２００における図５の操作を検出したときの内部動作の一例を示す図である。操作記録６０１は、評価操作（１）〜（９）および（３’）と、修正操作（Ａ）とを含む。以下に、図５の操作に基づく情報処理装置２００の内部処理について説明する。 FIG. 6 is a diagram showing an example of an internal operation when the operation of FIG. 5 in the information processing apparatus 200 is detected. The operation record 601 includes evaluation operations (1) to (9) and (3'), and a correction operation (A). The internal processing of the information processing apparatus 200 based on the operation of FIG. 5 will be described below.

第１のステップにおいて、情報処理装置２００は、カメラ２５０から取得した操作記録６０１に基づいて、評価操作テンポラリーデータ６０２および修正操作テンポラリーデータ６０３を生成する。評価操作テンポラリーデータ６０２は、「カラー設定」に対する操作（３）および操作（３’）をレコードとして含む。修正操作テンポラリーデータ６０３は、「カラー設定」を修正する操作（Ａ）をレコードとして含む。 In the first step, the information processing apparatus 200 generates the evaluation operation temporary data 602 and the correction operation temporary data 603 based on the operation record 601 acquired from the camera 250. The evaluation operation temporary data 602 includes the operation (3) and the operation (3') for the "color setting" as a record. The correction operation temporary data 603 includes the operation (A) for correcting the "color setting" as a record.

第２のステップにおいて、情報処理装置２００は、修正操作テンポラリーデータ６０３に基づいて、評価操作テンポラリーデータ６０２を修正する。より具体的には、まず、情報処理装置２００は、「カラー設定」に対する修正操作（Ａ）に基づいて、評価操作テンポラリーデータ６０２内の修正操作（Ａ）の直前に行なわれた「カラー設定」に対する評価操作（３）を削除する。次に、情報処理装置２００は、修正操作（Ａ）の後に行なわれた「カラー設定」に対する評価操作（３’）に基づいて、評価操作テンポラリーデータ６０２内の評価操作（３）のあった位置に評価操作（３’）を挿入する。当該処理により、情報処理装置２００は、最終的に、評価操作テンポラリーデータ６０２の評価操作（３）を評価操作（３’）に置き換える。 In the second step, the information processing apparatus 200 modifies the evaluation operation temporary data 602 based on the modification operation temporary data 603. More specifically, first, the information processing apparatus 200 performs the "color setting" immediately before the correction operation (A) in the evaluation operation temporary data 602 based on the correction operation (A) for the "color setting". The evaluation operation (3) for is deleted. Next, the information processing apparatus 200 is based on the evaluation operation (3') for the "color setting" performed after the correction operation (A), and the position where the evaluation operation (3) is in the evaluation operation temporary data 602. Insert the evaluation operation (3') into. By this process, the information processing apparatus 200 finally replaces the evaluation operation (3) of the evaluation operation temporary data 602 with the evaluation operation (3').

第３のステップにおいて、情報処理装置２００は、修正後の評価操作テンポラリーデータ６０２を、自動実行スクリプトに変換する。情報処理装置２００は、生成した自動実行スクリプトを２次記憶装置３０３に保存し得る。ユーザーは、例えば、ネットワークを介して、自動実行スクリプトを画像形成装置１００に入力することで、画像形成装置１００に図５の操作に基づく動作を再現させることができる。 In the third step, the information processing apparatus 200 converts the modified evaluation operation temporary data 602 into an automatic execution script. The information processing device 200 can store the generated automatic execution script in the secondary storage device 303. The user can reproduce the operation based on the operation of FIG. 5 in the image forming apparatus 100 by inputting the automatic execution script into the image forming apparatus 100 via the network, for example.

上記のように、情報処理装置２００は、ある操作部品（Ｐ）に対する評価操作（Ｘ）をした後に、操作部品（Ｐ）に対する修正操作（Ｙ）を検出したことに基づいて、評価操作（Ｘ）を削除する。または、操作部品（Ｐ）が設定選択用の操作部品である場合、情報処理装置２００は、操作部品（Ｐ）に対する修正操作（Ｙ）を検出したことに基づいて、操作部品（Ｐ）の設定をデフォルトに戻す。 As described above, the information processing apparatus 200 performs the evaluation operation (X) on the operation component (P) and then detects the correction operation (Y) on the operation component (P), and then the evaluation operation (X). ) Is deleted. Alternatively, when the operation component (P) is an operation component for setting selection, the information processing apparatus 200 sets the operation component (P) based on the detection of the correction operation (Y) for the operation component (P). To return to the default.

さらに、情報処理装置２００は、操作部品（Ｐ）に対する修正操作（Ｙ）を検出した後に、再度操作部品（Ｐ）に対する評価操作（Ｚ）を検出したことに基づいて、評価操作テンポラリーデータ内の評価操作（Ｘ）のあった位置に、評価操作（Ｚ）を挿入する。すなわち、情報処理装置２００は、評価操作テンポラリーデータ内の評価操作（Ｘ）を評価操作（Ｚ）で上書きする。 Further, the information processing apparatus 200 detects the correction operation (Y) for the operation component (P) and then detects the evaluation operation (Z) for the operation component (P) again, and based on that, the evaluation operation temporary data The evaluation operation (Z) is inserted at the position where the evaluation operation (X) was performed. That is, the information processing apparatus 200 overwrites the evaluation operation (X) in the evaluation operation temporary data with the evaluation operation (Z).

これらの処理により、ユーザーは、操作を途中で間違えた場合も、操作を１からやり直す必要はなく、修正操作および上書き操作を行なうだけで、目的の自動実行スクリプトを入手することができる。 By these processes, even if the user makes a mistake in the middle of the operation, it is not necessary to restart the operation from 1, and the target automatic execution script can be obtained only by performing the correction operation and the overwrite operation.

従来のテストスクリプト自動生成システムは、このような操作態様に基づいて評価操作を修正する機能を有していなかった。そのため、ユーザーは、評価操作を途中で修正することができず、ユーザーは、評価操作の入力を１度でも間違えると、最初からやり直す必要があった。 The conventional automatic test script generation system does not have a function of modifying the evaluation operation based on such an operation mode. Therefore, the user cannot correct the evaluation operation in the middle, and if the user makes a mistake in inputting the evaluation operation even once, he / she has to start over from the beginning.

例えば、ユーザーが従来のテストスクリプト自動生成システムを使用して全３０ステップの操作を含む自動実行スクリプトを作成する場合、ユーザーが２９ステップ目で操作を失敗したとき、ユーザーは、全３０ステップをやり直す必要があった。 For example, if the user uses a conventional test script auto-generation system to create an auto-execution script that includes an operation of all 30 steps, if the user fails the operation at the 29th step, the user redoes all 30 steps. I needed it.

これに対して、ユーザーが本実施の形態に従うテストスクリプト自動生成システムを使用して全３０ステップの操作を含む自動実行スクリプトを作成する場合、ユーザーが２９ステップ目で操作を失敗したとしても、修正操作を１度実行するだけでよく、ユーザーの自動実行スクリプトの作成負担は大幅に削減され得る。 On the other hand, when the user creates an automatic execution script including the operation of all 30 steps using the test script automatic generation system according to the present embodiment, even if the user fails the operation at the 29th step, it is corrected. The operation only needs to be executed once, and the burden of creating the automatic execution script of the user can be significantly reduced.

［操作の整合性のチェック機能について］
次に、図７〜図１０を参照しての操作の整合性のチェック機能の例について説明する。情報処理装置２００は、ユーザーが現在行なっている操作を中断して、実行し忘れていた事前設定などの操作を実行したときに、中断された操作と、後から実行される操作とに基づいて、整合性がとれているか否かを判定する。これ以降、説明のために、ユーザーが現在行なっている操作を中断して、実行し忘れていた事前設定などの操作を実行する場合における、中断された一連の操作を「中断操作」と呼ぶ。ユーザーが操作を中断した後に実行する事前設定などの一連の操作を「挿入操作」と呼ぶ。 [About the operation consistency check function]
Next, an example of the operation consistency check function with reference to FIGS. 7 to 10 will be described. When the information processing device 200 interrupts the operation currently being performed by the user and executes an operation such as preset setting that the user has forgotten to perform, the information processing device 200 is based on the interrupted operation and the operation to be executed later. , Determine if it is consistent. Hereinafter, for the sake of explanation, a series of interrupted operations in the case of interrupting the operation currently being performed by the user and executing an operation such as presetting that has been forgotten to be executed will be referred to as a "suspend operation". A series of operations such as presetting performed after the user interrupts the operation is called an "insert operation".

図７は、整合性を満たす操作の一例を示す図である。図７の例では、ユーザーは、「スキャン画像を登録先のＥメールアドレスに送信する設定」の評価操作を行なう途中で、事前に「Ｅメールアドレスの登録」を行なうべきであったことに気づく。 FIG. 7 is a diagram showing an example of an operation satisfying consistency. In the example of FIG. 7, the user notices that "registration of e-mail address" should have been performed in advance during the evaluation operation of "setting to send the scanned image to the e-mail address of the registration destination". ..

ホームメニュー画面７０１において、ユーザーは、右手で、評価操作（１）「スキャン選択」を行なう。評価操作（１）により、画面はスキャン設定画面７０２に遷移する。スキャン設定画面７０２において、ユーザーは、右手で、評価操作（２）「解像度設定を標準に設定」と、評価操作（３）「カラー設定をカラーに設定」とを行なう。 On the home menu screen 701, the user performs the evaluation operation (1) "scan selection" with the right hand. The screen transitions to the scan setting screen 702 by the evaluation operation (1). On the scan setting screen 702, the user performs the evaluation operation (2) "set the resolution setting to the standard" and the evaluation operation (3) "set the color setting to the color" with the right hand.

ユーザーは、評価操作（３）の次に、評価操作「スキャンデータの送信先の選択」を行なうはずであったが、事前にスキャンデータの送信先を画像形成装置１００に登録し忘れていたことに気づく。そこで、ユーザーは、以下の手順でスキャンデータの送信先の登録操作を実行する。 The user was supposed to perform the evaluation operation "selection of the scan data transmission destination" after the evaluation operation (3), but forgot to register the scan data transmission destination in the image forming apparatus 100 in advance. Notice. Therefore, the user executes the operation of registering the destination of the scan data according to the following procedure.

まず、ユーザーは、左手で、修正操作（４）「キャンセルボタンの選択」を行ない、画面をホームメニュー画面７０１に遷移させる。次に、ホームメニュー画面７０１において、ユーザーは、左手で、修正操作（５）「設定選択」を行なう。続けて、初期設定画面７０３において、ユーザーは、左手で、修正操作（６）「Ｅメールアドレスの登録」を行い、Ｅメールアドレスを画像形成装置１００に登録し、修正操作（７）「ＯＫボタンの選択」を行なうことで、画面をホームメニュー画面７０１に遷移させる。次に、ホームメニュー画面７０１において、ユーザーは、左手で、修正操作（８）「スキャン選択」を行なう。 First, the user performs the correction operation (4) "selection of the cancel button" with the left hand to transition the screen to the home menu screen 701. Next, on the home menu screen 701, the user performs the correction operation (5) "setting selection" with the left hand. Subsequently, on the initial setting screen 703, the user performs the correction operation (6) "registering the e-mail address" with the left hand, registers the e-mail address in the image forming apparatus 100, and corrects the operation (7) "OK button". By performing "selection of", the screen is changed to the home menu screen 701. Next, on the home menu screen 701, the user performs the correction operation (8) "scan selection" with the left hand.

最後に、スキャン設定画面７０２において、ユーザーは、右手で、評価操作（９）「スキャンデータの送信先の選択」と、評価操作（１０）「ＯＫボタンの選択」とを行なう。上記の例において、操作（１）〜（３）、（９）および（１０）は、「中断操作」である。また、これらの操作は、いずれも右手で実行されているため評価操作である。他方、操作（４）〜（８）は、「挿入操作」である。また、これらの操作は、いずれも左手で実行されているため修正操作である。 Finally, on the scan setting screen 702, the user performs the evaluation operation (9) "selection of the scan data transmission destination" and the evaluation operation (10) "selection of the OK button" with the right hand. In the above example, the operations (1) to (3), (9) and (10) are "interrupted operations". Moreover, since all of these operations are executed by the right hand, they are evaluation operations. On the other hand, the operations (4) to (8) are "insertion operations". Moreover, since all of these operations are executed by the left hand, they are correction operations.

図８は、情報処理装置２００における図７の操作を検出した場合の内部処理の一例について説明するための図である。情報処理装置２００は、右手で実行された評価操作（１）〜（３）、（９）、（１０）を評価操作テンポラリーデータ８０１に格納する。また、情報処理装置２００は、左手で実行された修正操作（４）〜（８）を修正操作テンポラリーデータ８０２に格納する。情報処理装置２００は、評価操作テンポラリーデータ８０１に含まれる各表操作に基づいて、次の手順により自動実行スクリプトを生成する。 FIG. 8 is a diagram for explaining an example of internal processing when the operation of FIG. 7 is detected in the information processing apparatus 200. The information processing apparatus 200 stores the evaluation operations (1) to (3), (9), and (10) executed by the right hand in the evaluation operation temporary data 801. Further, the information processing apparatus 200 stores the correction operations (4) to (8) executed by the left hand in the correction operation temporary data 802. The information processing apparatus 200 generates an automatic execution script according to the following procedure based on each table operation included in the evaluation operation temporary data 801.

第１のステップにおいて、情報処理装置２００は、評価操作テンポラリーデータ８０１に含まれる各評価操作（１）〜（３）、（９）および（１０）が整合性を満たすか否かを判定する。ここでの「整合性を満たす」とは、評価操作テンポラリーデータ８０１に含まれる一連の操作が現実に実行可能な手順で実行されていることをいう。 In the first step, the information processing apparatus 200 determines whether or not each of the evaluation operations (1) to (3), (9) and (10) included in the evaluation operation temporary data 801 satisfies the consistency. Here, "satisfying consistency" means that a series of operations included in the evaluation operation temporary data 801 are executed in a procedure that can be actually executed.

一例として、整合性を満たす一連の操作は、同一画面で実行された一連の操作を含む。図８に示す例では、評価操作（１）〜（３）、（９）および（１０）は、いずれもスキャン設定画面７０２にて実行されている。よって、当該一連の動作は、ユーザーが現実に実行可能な一連の操作であり、整合性を満たす。 As an example, a series of operations that satisfy consistency includes a series of operations performed on the same screen. In the example shown in FIG. 8, the evaluation operations (1) to (3), (9) and (10) are all executed on the scan setting screen 702. Therefore, the series of operations is a series of operations that can be actually executed by the user, and satisfies the consistency.

他の例として、整合性を満たす一連の操作とは、適切な画面遷移の操作を有する一連の操作を含む。評価操作（Ａ）がスキャン設定画面７０２において実行されており、評価操作（Ｂ）がホームメニュー画面７０１への遷移操作であり、評価操作（Ｃ）がホームメニュー画面７０１において実行されていたとする。評価操作（Ａ）および（Ｃ）は異なる画面で実行されているが、その間に適切な画面遷移の操作（Ｂ）がある。よって、当該一連の動作は、ユーザーが現実に実行可能な一連の操作であり、整合性を満たす。ある局面において、情報処理装置２００は、当該ステップにおいて、操作の不整合を検出した場合、即座にテスト操作を行なっているユーザーに操作の不整合の発生を通知してもよい。 As another example, a series of operations that satisfy consistency includes a series of operations that have appropriate screen transition operations. It is assumed that the evaluation operation (A) is executed on the scan setting screen 702, the evaluation operation (B) is the transition operation to the home menu screen 701, and the evaluation operation (C) is executed on the home menu screen 701. The evaluation operations (A) and (C) are performed on different screens, with the appropriate screen transition operation (B) in between. Therefore, the series of operations is a series of operations that can be actually executed by the user, and satisfies the consistency. In a certain aspect, when the information processing apparatus 200 detects an operation inconsistency in the step, the information processing apparatus 200 may immediately notify the user performing the test operation of the occurrence of the operation inconsistency.

第２のステップにおいて、情報処理装置２００は、修正操作テンポラリーデータ８０２に含まれる各修正操作に基づいて、評価操作テンポラリーデータ８０１に含まれる各評価操作を上書き更新する。図８に示す例において、評価操作テンポラリーデータ８０１に含まれる各評価操作は、いずれも修正操作テンポラリーデータ８０２に含まれる各修正操作により上書きされる対象ではないため、評価操作テンポラリーデータ８０１に含まれる各評価操作の内容は変化しない。 In the second step, the information processing apparatus 200 overwrites and updates each evaluation operation included in the evaluation operation temporary data 801 based on each correction operation included in the correction operation temporary data 802. In the example shown in FIG. 8, each evaluation operation included in the evaluation operation temporary data 801 is not a target to be overwritten by each modification operation included in the correction operation temporary data 802, and therefore is included in the evaluation operation temporary data 801. The content of each evaluation operation does not change.

例えば、評価操作（１）および修正操作（８）は、同じスキャンボタンに対する操作であるが、操作内容が同一である。そのため、情報処理装置２００は、評価操作（１）を修正操作（８）により上書きする必要はない。また、評価操作（２）〜（１０）に対応する修正操作は存在しないため、情報処理装置２００は、評価操作（２）〜（１０）を上書き更新する必要はない。 For example, the evaluation operation (1) and the correction operation (8) are operations for the same scan button, but the operation contents are the same. Therefore, the information processing apparatus 200 does not need to overwrite the evaluation operation (1) by the correction operation (8). Further, since there is no correction operation corresponding to the evaluation operations (2) to (10), the information processing apparatus 200 does not need to overwrite and update the evaluation operations (2) to (10).

第３のステップにおいて、情報処理装置２００は、操作の整合性のチェックおよび上書き更新後の評価操作テンポラリーデータ８０１から自動実行スクリプトを生成する。上述のように、ユーザーは、入力し忘れていた操作などの記録されない操作を実行したい場合、全ての挿入操作を修正操作として実行することで、評価操作テンポラリーデータ８０１に含まれる評価操作の整合性を満たすことができる。 In the third step, the information processing apparatus 200 generates an automatic execution script from the evaluation operation temporary data 801 after checking the consistency of the operation and overwriting and updating. As described above, when the user wants to perform an unrecorded operation such as an operation that he / she has forgotten to input, he / she executes all the insertion operations as correction operations to ensure the consistency of the evaluation operations included in the evaluation operation temporary data 801. Can be met.

図９は、整合性を満たさない操作の一例を示す図である。図９の例では、ユーザーは、「スキャン画像を登録先のＥメールアドレスに送信する設定」の評価操作を行なう途中で、事前に「Ｅメールアドレスの登録」を行なうべきであったことに気づく。ユーザーは、図７と同様の手順で操作を行なうが、操作（６）および（８）の操作態様を間違えてしまう（右手と左手とを間違える）。 FIG. 9 is a diagram showing an example of an operation that does not satisfy the consistency. In the example of FIG. 9, the user notices that "registration of e-mail address" should have been performed in advance during the evaluation operation of "setting to send the scanned image to the e-mail address of the registration destination". .. The user performs the operation in the same procedure as in FIG. 7, but makes a mistake in the operation modes (6) and (8) (mistakes the right hand and the left hand).

挿入操作である操作（４）〜（８）は、自動実行スクリプトに含めるべき操作ではない。そのため、ユーザーは、操作（４）〜（８）を修正操作として実行すべきである。しかし、図９に示す例では、ユーザーは、間違って、右手を使用してしまい、修正操作（６）〜（８）の代わりに評価操作（６）〜（８）を実行している。 The operations (4) to (8), which are insertion operations, are not operations that should be included in the automatic execution script. Therefore, the user should execute operations (4) to (8) as correction operations. However, in the example shown in FIG. 9, the user mistakenly uses his right hand and executes the evaluation operations (6) to (8) instead of the correction operations (6) to (8).

図１０は、情報処理装置２００における図９の操作を検出した場合の内部処理の一例について説明するための図である。情報処理装置２００は、右手で実行された評価操作（１）〜（３）および（６）〜（１０）を評価操作テンポラリーデータ１００１に格納する。また、情報処理装置２００は、左手で実行された修正操作（４）および（５）を修正操作テンポラリーデータ１００２に格納する。情報処理装置２００は、評価操作テンポラリーデータ１００１に含まれる各表操作に基づいて、次の手順により自動実行スクリプトを生成する。 FIG. 10 is a diagram for explaining an example of internal processing when the operation of FIG. 9 in the information processing apparatus 200 is detected. The information processing apparatus 200 stores the evaluation operations (1) to (3) and (6) to (10) executed by the right hand in the evaluation operation temporary data 1001. Further, the information processing apparatus 200 stores the correction operations (4) and (5) executed by the left hand in the correction operation temporary data 1002. The information processing apparatus 200 generates an automatic execution script according to the following procedure based on each table operation included in the evaluation operation temporary data 1001.

第１のステップにおいて、情報処理装置２００は、評価操作テンポラリーデータ１００１に含まれる各評価操作（１）〜（３）および（６）〜（１０）が整合性を満たすか否かを判定する。ここで、評価操作（３）は、スキャン設定画面７０２おいて実行されているが、その直後に、評価操作（６）が初期設定画面７０３において実行されている。すなわち、画面遷移の操作が実行されていないにも係わらず、画面が遷移したことになる。よって、情報処理装置２００は、評価操作テンポラリーデータ１００１に含まれる一連の操作は、整合性を満たさないと判定する。ある局面において、情報処理装置２００は、スピーカー３０８に、整合性を満たさない評価操作を検出したことを通知させてもよい。第２のステップおよび第３のステップについては、図７と同様である。第２のステップ以降の処理は、整合性を満たさない評価操作が修正された時点で実行され得る。 In the first step, the information processing apparatus 200 determines whether or not each of the evaluation operations (1) to (3) and (6) to (10) included in the evaluation operation temporary data 1001 satisfies the consistency. Here, the evaluation operation (3) is executed on the scan setting screen 702, and immediately after that, the evaluation operation (6) is executed on the initial setting screen 703. That is, the screen has changed even though the screen transition operation has not been executed. Therefore, the information processing apparatus 200 determines that the series of operations included in the evaluation operation temporary data 1001 does not satisfy the consistency. In a certain aspect, the information processing apparatus 200 may notify the speaker 308 that it has detected an evaluation operation that does not satisfy the consistency. The second step and the third step are the same as in FIG. 7. The processing after the second step can be executed when the evaluation operation that does not satisfy the consistency is corrected.

上述のように、ユーザーが間違った挿入操作をした場合でも、情報処理装置２００は、当該整合性を満たさない評価操作を検出し得る。当該処理により、情報処理装置２００は、不適切な自動実行スクリプトを生成することを抑制できる。 As described above, the information processing apparatus 200 can detect an evaluation operation that does not satisfy the consistency even if the user performs an erroneous insertion operation. By this process, the information processing apparatus 200 can suppress the generation of an inappropriate automatic execution script.

［操作の不整合を検出したときの処理について］
次に、図１１〜図１５を参照して、情報処理装置２００が整合性を満たさない評価操作（操作の不整合）を検出した場合における処理について説明する。これ以降、ユーザーが図９に示す操作間違いをした場合を例に、情報処理装置２００が操作の不整合を検出したときの各処理について説明する。ある局面において、情報処理装置２００は、図１１〜図１５の各処理を個別に実行してもよいし、組み合わせて実行してもよい。 [Processing when operation inconsistency is detected]
Next, with reference to FIGS. 11 to 15, processing when the information processing apparatus 200 detects an evaluation operation (operation inconsistency) that does not satisfy the consistency will be described. Hereinafter, each process when the information processing apparatus 200 detects an operation inconsistency will be described by taking the case where the user makes an operation error shown in FIG. 9 as an example. In a certain aspect, the information processing apparatus 200 may execute each of the processes of FIGS. 11 to 15 individually or in combination.

図１１は、操作の不整合が検出された場合に情報処理装置２００が実行する処理の第１の例を示す図である。最初に、ユーザーは、評価操作（１）〜（３）を実行する。情報処理装置２００は、評価操作（１）〜（３）を評価操作テンポラリーデータ１１０１に追加する。次に、ユーザーは、忘れていた「Ｅメールアドレスの登録」を行なうために、修正操作（４）〜（６）を実行しようとする。しかし、初期設定画面７０３において、ユーザーは、間違えて、右手で、評価操作（６）「Ｅメールアドレスの登録」を実行してしまう。情報処理装置２００は、評価操作（６）を評価操作テンポラリーデータ１１０１に追加する。 FIG. 11 is a diagram showing a first example of processing executed by the information processing apparatus 200 when an operation inconsistency is detected. First, the user executes the evaluation operations (1) to (3). The information processing apparatus 200 adds the evaluation operations (1) to (3) to the evaluation operation temporary data 1101. Next, the user tries to execute the correction operations (4) to (6) in order to perform the forgotten "registration of the e-mail address". However, on the initial setting screen 703, the user mistakenly executes the evaluation operation (6) "Registration of e-mail address" with the right hand. The information processing device 200 adds the evaluation operation (6) to the evaluation operation temporary data 1101.

情報処理装置２００は、評価操作テンポラリーデータ８０１に新しい評価操作が追加されるごとに、追加された評価操作と、その直前の評価操作との整合性をチェックする。ユーザーが評価操作（６）を実行したとき、情報処理装置２００は、評価操作（６）と、その直前の評価操作（３）との整合性をチェックする。 Each time a new evaluation operation is added to the evaluation operation temporary data 801 the information processing device 200 checks the consistency between the added evaluation operation and the evaluation operation immediately before the new evaluation operation. When the user executes the evaluation operation (6), the information processing apparatus 200 checks the consistency between the evaluation operation (6) and the evaluation operation (3) immediately before the evaluation operation (6).

より具体的には、第１のステップにおいて、情報処理装置２００は、評価操作（３）および（６）が同じ画面で実行されているか否かを判定する。第２のステップにおいて、情報処理装置２００は、評価操作（３）および（６）が異なる画面で実行されている場合、評価操作（３）は、評価操作（６）が実行された画面への画面遷移の操作であるか否かを判定する。 More specifically, in the first step, the information processing apparatus 200 determines whether or not the evaluation operations (3) and (6) are executed on the same screen. In the second step, when the information processing apparatus 200 executes the evaluation operations (3) and (6) on different screens, the evaluation operation (3) is performed on the screen on which the evaluation operation (6) is executed. Determine if it is a screen transition operation.

情報処理装置２００は、これらの第１および第２のステップにおいていずれの条件も満たされない場合、操作の不整合が発生したと判定する。情報処理装置２００は、操作の不整合が発生したと判定したとき、スピーカー３０８に、操作の不整合が発生したことを通知させる。ユーザーは、当該通知により、自身の操作が間違っていたことに気づき得る。ある局面において、情報処理装置２００は、操作の不整合が発生したと判定したとき、操作記録を１ステップ前の状態に戻してもよい。図１１に示す例では、情報処理装置２００は、操作記録を評価操作（６）が実行される直前に戻す。当該処理により、ユーザーは、即座に間違った操作を修正することができる。 If neither of the conditions is satisfied in these first and second steps, the information processing apparatus 200 determines that an operation inconsistency has occurred. When the information processing apparatus 200 determines that the operation inconsistency has occurred, the information processing apparatus 200 causes the speaker 308 to notify that the operation inconsistency has occurred. The user may notice that his / her operation was wrong by the notification. In a certain aspect, when the information processing apparatus 200 determines that an operation inconsistency has occurred, the information processing apparatus 200 may return the operation record to the state one step before. In the example shown in FIG. 11, the information processing apparatus 200 returns the operation record immediately before the evaluation operation (6) is executed. This process allows the user to immediately correct the wrong operation.

図１２は、図１１における情報処理装置２００の詳細な内部処理の一例を示す図である。評価操作テンポラリーデータ１２０１は、評価操作テンポラリーデータ１１０１に含まれる評価操作の記録をより詳細に示す。各評価操作は、「操作が実行された画面」、「操作された部品」および「操作の種類」をプロパティとして含み得る。一例として、評価操作（１）のプロパティは、「操作が実行された画面＝Ｈｏｍｅ（ホームメニュー画面）」、「操作された部品＝Ｓｃａｎ−Ｂｕｔｔｏｎ（スキャンボタン）」および「操作の種類＝Ｃｌｉｃｋ」である。画面遷移（Ａ）は、評価操作（１）によって実行される画面遷移である。「Ｍｏｖｅ：Ｓｃａｎ」はスキャン設定画面への画面遷移を意味する。 FIG. 12 is a diagram showing an example of detailed internal processing of the information processing apparatus 200 in FIG. The evaluation operation temporary data 1201 shows in more detail the record of the evaluation operation included in the evaluation operation temporary data 1101. Each evaluation operation may include "screen on which the operation was performed", "operated part" and "type of operation" as properties. As an example, the properties of the evaluation operation (1) are "the screen on which the operation was executed = Home (home menu screen)", "the operated part = Scan-Button (scan button)", and "the type of operation = Click". Is. The screen transition (A) is a screen transition executed by the evaluation operation (1). "Move: Scan" means a screen transition to the scan setting screen.

情報処理装置２００は、図１１の第１のステップにおいて、評価操作（６）と、その直前の評価操作（３）との整合性をチェックするとき、各操作のプロパティ「操作が実行された画面」が一致するか否かに基づいて、評価操作（３）および（６）が同じ画面で実行されているか否かを判定する。 When the information processing apparatus 200 checks the consistency between the evaluation operation (6) and the evaluation operation (3) immediately before it in the first step of FIG. 11, the property "screen on which the operation is executed" of each operation is checked. It is determined whether or not the evaluation operations (3) and (6) are executed on the same screen based on whether or not they match.

また、情報処理装置２００は、図１１の第２のステップにおいて、評価操作（３）および（６）が異なる画面で実行されている場合、評価操作（３）および（６）の間に適切な画面遷移「Ｍｏｖｅ：Ｈｏｍｅ」および「Ｍｏｖｅ：Ｓｅｔｔｉｎｇｓ」があるか否かを判定することで、評価操作（３）は、評価操作（６）が実行された画面への画面遷移の操作であるか否かを判定する。 Further, when the evaluation operations (3) and (6) are executed on different screens in the second step of FIG. 11, the information processing apparatus 200 is appropriate between the evaluation operations (3) and (6). By determining whether or not there are screen transitions "Move: Home" and "Move: Settings", is the evaluation operation (3) an operation of screen transition to the screen on which the evaluation operation (6) is executed? Judge whether or not.

ある局面において、情報処理装置２００は２次記憶装置に、各画面同士の遷移関係のリストを格納していてもよい。その場合、情報処理装置２００は、当該遷移関係のリストを参照することで、評価操作テンポラリーデータに含まれる評価操作間（例えば、評価操作（３）および（６）の間）に在るべき画面遷移を取得し得る。 In a certain aspect, the information processing device 200 may store a list of transition relationships between the screens in the secondary storage device. In that case, the information processing apparatus 200 refers to the list of the transition relationships, and the screen that should be between the evaluation operations included in the evaluation operation temporary data (for example, between the evaluation operations (3) and (6)). You can get the transition.

図１３は、操作の不整合が検出された場合に情報処理装置２００が実行する処理の第２の例を示す図である。図１３に示す例では、情報処理装置２００は、図１１と同様の手順にて、操作の不整合を検出する。 FIG. 13 is a diagram showing a second example of processing executed by the information processing apparatus 200 when an operation inconsistency is detected. In the example shown in FIG. 13, the information processing apparatus 200 detects an operation inconsistency in the same procedure as in FIG.

情報処理装置２００は、操作の不整合が発生したと判定したとき、スピーカー３０８に、操作の不整合が発生したことを通知させると共に、情報処理装置２００に接続されたディスプレイにスクリプトに追加する操作のリスト１３０３を表示する。ある局面において、リスト１３０３は、修正操作テンポラリーデータに基づいて作成されてもよい。他の局面において、リスト１３０３は、評価操作テンポラリーデータおよび修正操作テンポラリーデータに基づいて作成されてもよい。その場合、情報処理装置２００は、チェックボックスを表示するなどして、どの操作が評価操作であるかを識別できるようにし得る。 When the information processing device 200 determines that an operation inconsistency has occurred, the speaker 308 is notified that the operation inconsistency has occurred, and the operation is added to the script on the display connected to the information processing device 200. List 1303 of. In some aspects, list 1303 may be created based on corrective operation temporary data. In other aspects, list 1303 may be created based on evaluation operation temporary data and modification operation temporary data. In that case, the information processing apparatus 200 may be able to identify which operation is the evaluation operation by displaying a check box or the like.

ユーザーは、リスト１３０３に表示された各操作の中から評価操作テンポラリーデータ１３０１に含めたい操作のみを選択することができる。当該処理により、ユーザーは、即座に間違った操作を修正することができ、かつ、自身で自動実行スクリプトに含めるべき操作を適宜選択することができる。 The user can select only the operations to be included in the evaluation operation temporary data 1301 from each operation displayed in the list 1303. By this process, the user can immediately correct the wrong operation and can appropriately select the operation to be included in the autorun script by himself / herself.

図１４は、操作の不整合が検出された場合に情報処理装置２００が実行する処理の第３の例を示す図である。図１４に示す例では、情報処理装置２００は、図１１と同様の手順にて、操作の不整合を検出する。 FIG. 14 is a diagram showing a third example of processing executed by the information processing apparatus 200 when an operation inconsistency is detected. In the example shown in FIG. 14, the information processing apparatus 200 detects an operation inconsistency in the same procedure as in FIG.

情報処理装置２００は、操作の不整合が発生したと判定したとき、スピーカー３０８に、操作の不整合が発生したことを通知させる。さらに、情報処理装置２００は、評価操作テンポラリーデータ１４０１から操作の不整合の原因である評価操作（６）を削除し、修正操作テンポラリーデータ１４０２に修正操作（６）を追加する。当該処理により、情報処理装置２００は、操作の不整合が発生した場合でも、自動的に評価操作テンポラリーデータ１４０１を修正し、適切な自動実行スクリプトを生成し得る。 When the information processing apparatus 200 determines that the operation inconsistency has occurred, the information processing apparatus 200 causes the speaker 308 to notify that the operation inconsistency has occurred. Further, the information processing apparatus 200 deletes the evaluation operation (6) which is the cause of the inconsistency of the operation from the evaluation operation temporary data 1401, and adds the correction operation (6) to the correction operation temporary data 1402. By this process, the information processing apparatus 200 can automatically correct the evaluation operation temporary data 1401 and generate an appropriate automatic execution script even when an operation inconsistency occurs.

図１５は、操作の不整合が検出された場合に情報処理装置２００が実行する処理の第４の例を示す図である。図１５に示す例では、情報処理装置２００は、図１１と同様の手順にて、操作の不整合を検出する。 FIG. 15 is a diagram showing a fourth example of processing executed by the information processing apparatus 200 when an operation inconsistency is detected. In the example shown in FIG. 15, the information processing apparatus 200 detects an operation inconsistency in the same procedure as in FIG.

情報処理装置２００は、操作の不整合が発生したと判定したとき、スピーカー３０８に、操作の不整合が発生したことを通知させ、かつ、情報処理装置２００に接続されたディスプレイに修正処理を選択するためのボタン１５０４〜１５０６を含む画面１５０３を表示させる。当該処理により、ユーザーは、情報処理装置２００が操作の不整合を検出した場合の処理（例えば、図１１〜図１４に示す処理）を適切に選択し得る。 When the information processing apparatus 200 determines that an operation inconsistency has occurred, the speaker 308 is notified that the operation inconsistency has occurred, and the display connected to the information processing apparatus 200 selects the correction process. The screen 1503 including the buttons 1504 to 1506 for the function is displayed. By this process, the user can appropriately select the process when the information processing apparatus 200 detects the inconsistency of the operation (for example, the process shown in FIGS. 11 to 14).

図１６は、情報処理装置２００の自動実行スクリプトの生成までの手順の一例を示す図である。ある局面において、ＣＰＵ３０１は、図１６の処理を行うためのプログラムを２次記憶装置３０３から１次記憶装置３０２に読み込んで、当該プログラムを実行してもよい。他の局面において、当該処理の一部または全部は、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。 FIG. 16 is a diagram showing an example of a procedure up to the generation of the automatic execution script of the information processing apparatus 200. In a certain aspect, the CPU 301 may read the program for performing the process of FIG. 16 from the secondary storage device 303 into the primary storage device 302 and execute the program. In other aspects, some or all of the processing may also be realized as a combination of circuit elements configured to perform the processing.

ステップＳ１６１０において、ＣＰＵ３０１は、操作態様の設定がされたか否かを判定する。ＣＰＵ３０１は、入力インターフェイス３０５などを介して、ユーザーからの操作態様の設定を受け付け得る。操作態様の設定は、評価操作の操作態様および修正操作の操作態様を含み得る。ＣＰＵ３０１は、操作態様の設定がされたと判定した場合（ステップＳ１６１０にてＹＥＳ）、制御をステップＳ１６２０に移す。そうでない場合（ステップＳ１６１０にてＮＯ）、ＣＰＵ３０１は、再度ステップＳ１６１０の処理を実行する。 In step S1610, the CPU 301 determines whether or not the operation mode has been set. The CPU 301 can accept the setting of the operation mode from the user via the input interface 305 or the like. The setting of the operation mode may include the operation mode of the evaluation operation and the operation mode of the correction operation. When the CPU 301 determines that the operation mode has been set (YES in step S1610), the CPU 301 shifts control to step S1620. If not (NO in step S1610), the CPU 301 executes the process of step S1610 again.

ステップＳ１６２０において、ＣＰＵ３０１は、カメラ２５０を制御し、ユーザーの画像形成装置１００の操作の記録を開始する。ステップＳ１６３０において、ＣＰＵ３０１は、カメラ２５０から、操作記録を取得する。当該操作記録は、映像または画像であってもよい。ＣＰＵ３０１は、操作記録に基づいて、評価操作テンポラリーデータまたは修正操作テンポラリーデータを更新する。ある局面において、操作記録は、評価操作または修正操作の少なくともいずれかを含み得る。 In step S1620, the CPU 301 controls the camera 250 and starts recording the operation of the user's image forming apparatus 100. In step S1630, the CPU 301 acquires an operation record from the camera 250. The operation record may be a video or an image. The CPU 301 updates the evaluation operation temporary data or the correction operation temporary data based on the operation record. In some aspects, the operation record may include at least one of an evaluation operation or a correction operation.

ステップＳ１６４０において、ＣＰＵ３０１は、操作情報記録処理を実行する。操作情報記録処理は、図４〜図１５に示す評価操作および修正操作の取得、操作の不整合の検出およびその修正処理である。操作情報記録処理の詳細については、図１７を参照して説明する。 In step S1640, the CPU 301 executes the operation information recording process. The operation information recording process is the acquisition of the evaluation operation and the correction operation shown in FIGS. 4 to 15, the detection of the inconsistency of the operation, and the correction process thereof. The details of the operation information recording process will be described with reference to FIG.

ステップＳ１６５０において、ＣＰＵ３０１は、ユーザーの画像形成装置１００の操作の記録を終了するか否かを判定する。一例として、ＣＰＵ３０１は、入力インターフェイス３０５などを介して、ユーザーの画像形成装置１００の操作の記録を終了する命令を受け付けてもよい。ＣＰＵ３０１は、ユーザーの画像形成装置１００の操作の記録を終了すると判定した場合（ステップＳ１６５０にてＹＥＳ）、制御をステップＳ１６６０に移す。そうでない場合（ステップＳ１６５０にてＮＯ）、ＣＰＵ３０１は、制御をステップＳ１６３０に移す。ステップＳ１６６０において、ＣＰＵ３０１は、評価操作テンポラリーデータに基づいて、自動実行スクリプトを生成する。 In step S1650, the CPU 301 determines whether or not to end the recording of the operation of the user's image forming apparatus 100. As an example, the CPU 301 may accept an instruction to end recording of the operation of the user's image forming apparatus 100 via the input interface 305 or the like. When the CPU 301 determines that the recording of the operation of the user's image forming apparatus 100 is finished (YES in step S1650), the CPU 301 shifts the control to step S1660. If not (NO in step S1650), the CPU 301 shifts control to step S1630. In step S1660, the CPU 301 generates an automatic execution script based on the evaluation operation temporary data.

図１７は、操作情報記録処理の手順の一例を示す図である。ある局面において、ＣＰＵ３０１は、図１７の処理を行うためのプログラムを２次記憶装置３０３から１次記憶装置３０２に読み込んで、当該プログラムを実行してもよい。他の局面において、当該処理の一部または全部は、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。以降の説明では、一例として、情報処理装置２００は、図１５に示す処理を実行するものとして説明する。 FIG. 17 is a diagram showing an example of the procedure of the operation information recording process. In a certain aspect, the CPU 301 may read the program for performing the process of FIG. 17 from the secondary storage device 303 into the primary storage device 302 and execute the program. In other aspects, some or all of the processing may also be realized as a combination of circuit elements configured to perform the processing. In the following description, as an example, the information processing apparatus 200 will be described as executing the process shown in FIG.

ステップＳ１７０５において、ＣＰＵ３０１は、検出した操作が評価操作であるか否かを判定する。ＣＰＵ３０１は、検出した操作が評価操作であると判定した場合（ステップＳ１７０５にてＹＥＳ）、制御をステップＳ１７１０に移す。そうでない場合（ステップＳ１７０５にてＮＯ）、ＣＰＵ３０１は、制御をステップＳ１７７０に移す。 In step S1705, the CPU 301 determines whether or not the detected operation is an evaluation operation. When the CPU 301 determines that the detected operation is an evaluation operation (YES in step S1705), the CPU 301 shifts the control to step S1710. If not (NO in step S1705), the CPU 301 shifts control to step S1770.

ステップＳ１７１０において、ＣＰＵ３０１は、操作の不整合の判定処理を行なう。本ステップの処理は、図８〜図１０に示す判定方法に対応する。ステップＳ１７１５において、ＣＰＵ３０１は、評価操作に不整合があるか否かを判定する。ＣＰＵ３０１は、評価操作に不整合があると判定した場合（ステップＳ１７１５にてＹＥＳ）、制御をステップＳ１７２０に移す。そうでない場合（ステップＳ１７１５にてＮＯ）、ＣＰＵ３０１は、制御をステップＳ１７６５に移す。 In step S1710, the CPU 301 performs an operation inconsistency determination process. The process of this step corresponds to the determination method shown in FIGS. 8 to 10. In step S1715, the CPU 301 determines whether or not there is an inconsistency in the evaluation operation. When the CPU 301 determines that the evaluation operation is inconsistent (YES in step S1715), the CPU 301 shifts control to step S1720. If not (NO in step S1715), the CPU 301 shifts control to step S1765.

ステップＳ１７２０において、ＣＰＵ３０１は、通知処理を行なう。本ステップの処理は、図１５に示すスピーカーによる通知と、ディスプレイによる修正処理の選択肢の表示とを含み得る。 In step S1720, the CPU 301 performs the notification process. The processing of this step may include notification by the speaker shown in FIG. 15 and display of correction processing options by the display.

ステップＳ１７２５において、ＣＰＵ３０１は、修正処理を選択する入力を受け付ける。本ステップの処理は、例えば、図１５の画面１５０３において、ボタン１５０４〜１５０６のいずれかに対する入力を受け付けることに対応する。 In step S1725, the CPU 301 receives an input for selecting a correction process. The process of this step corresponds to, for example, accepting an input for any of the buttons 1504 to 1506 on the screen 1503 of FIG.

ステップＳ１７３０において、ＣＰＵ３０１は、ステップＳ１７２５にて修正処理の選択肢として操作の補完が選択されたか否かを判定する。操作の補完とは、図１３に示す処理である。例えば、ボタン１５０４が押されることによって、操作の補完が選択され得る。ＣＰＵ３０１は、修正処理の選択肢として操作の補完が選択されたと判定した場合（ステップＳ１７３０にてＹＥＳ）、制御をステップＳ１７３５に移す。そうでない場合（ステップＳ１７３０にてＮＯ）、ＣＰＵ３０１は、制御をステップＳ１７５０に移す。 In step S1730, the CPU 301 determines whether or not operation complementation is selected as an option for correction processing in step S1725. Complementing the operation is the process shown in FIG. For example, by pressing button 1504, operation completion may be selected. When the CPU 301 determines that the operation complement is selected as the correction processing option (YES in step S1730), the CPU 301 shifts the control to step S1735. If not (NO in step S1730), the CPU 301 shifts control to step S1750.

ステップＳ１７３５において、ＣＰＵ３０１は、操作の補完のためのリストを作成し、情報処理装置２００に接続されたディスプレイに当該リストを表示する。当該リストは、一例として、リスト１３０３である。 In step S1735, the CPU 301 creates a list for complementing the operation, and displays the list on the display connected to the information processing apparatus 200. The list is, by example, List 1303.

ステップＳ１７４０において、ＣＰＵ３０１は、情報処理装置２００に接続されたキーボードまたはディスプレイのタッチパネルなどから、操作の補完のためのリストに対する入力を受け付ける。 In step S1740, the CPU 301 receives input to the list for complementing the operation from the keyboard connected to the information processing device 200, the touch panel of the display, or the like.

ステップＳ１７４５において、ＣＰＵ３０１は、ステップＳ１７４０にて受け付けた入力に基づいて、評価操作ストア２０８を更新する。一例として、ＣＰＵ３０１は、評価操作ストア２０８内の評価操作テンポラリーデータをリスト１３０３にて選択された操作のみを含むように更新する。 In step S1745, the CPU 301 updates the evaluation operation store 208 based on the input received in step S1740. As an example, the CPU 301 updates the evaluation operation temporary data in the evaluation operation store 208 so as to include only the operations selected in list 1303.

ステップＳ１７５０において、ＣＰＵ３０１は、修正処理の選択肢として不整合操作の削除が選択されたか否かを判定する。不整合操作の削除とは、図１４に示す処理である。例えば、ボタン１５０５が押されることによって、不整合操作の削除が選択され得る。ＣＰＵ３０１は、ステップＳ１７２５にて修正処理の選択肢として不整合操作の削除が選択されたと判定した場合（ステップＳ１７５０にてＹＥＳ）、制御をステップＳ１７５５に移す。そうでない場合（ステップＳ１７５０にてＮＯ）、ＣＰＵ３０１は、制御をステップＳ１７６０に移す。 In step S1750, the CPU 301 determines whether or not the deletion of the inconsistent operation is selected as an option for the correction process. The deletion of the inconsistent operation is the process shown in FIG. For example, by pressing button 1505, deletion of the inconsistent operation may be selected. When the CPU 301 determines in step S1725 that deletion of the inconsistent operation is selected as an option for correction processing (YES in step S1750), the CPU 301 shifts control to step S1755. If not (NO in step S1750), the CPU 301 shifts control to step S1760.

ステップＳ１７５５において、ＣＰＵ３０１は、評価操作テンポラリーデータから削除する操作を修正操作テンポラリーデータに保存する。ステップＳ１７６０において、ＣＰＵ３０１は、整合性を満たさない操作を削除する。本ステップは、例えば、ボタン１５０６が押された場合に実行される処理であり、図１１および図１２の処理に対応する。 In step S1755, the CPU 301 saves the operation of deleting from the evaluation operation temporary data in the correction operation temporary data. In step S1760, the CPU 301 deletes an operation that does not satisfy the consistency. This step is, for example, a process executed when the button 1506 is pressed, and corresponds to the process of FIGS. 11 and 12.

ステップＳ１７６５において、ＣＰＵ３０１は、整合性を満たす評価操作を評価操作ストア２０８に保存する。ステップＳ１７７０において、ＣＰＵ３０１は、修正操作を修正操作ストア２０７に保存する。 In step S1765, the CPU 301 stores the evaluation operation satisfying the consistency in the evaluation operation store 208. In step S1770, the CPU 301 stores the modification operation in the modification operation store 207.

以上説明したように、ユーザーは、修正操作を用いることで、テスト対象機器に入力し忘れていた設定などの記録されない操作を実行し得る。そのとき、情報処理装置２００は、検出した操作の整合性をチェックし、操作の不整合が発生したことに基づいて、当該操作の不整合の発生を通知する。当該処理により、ユーザーは、操作間違いをしてもすぐに気づくことができる。 As described above, the user can perform an unrecorded operation such as a setting that has been forgotten to be input to the device under test by using the correction operation. At that time, the information processing apparatus 200 checks the consistency of the detected operation and notifies the occurrence of the inconsistency of the operation based on the occurrence of the inconsistency of the operation. By this process, the user can immediately notice even if an operation error is made.

さらに、情報処理装置２００は、操作の不整合を検出した際に、操作の補完、不整合操作の削除または直前に戻る機能を提供し得る。これらの機能により、ユーザーは、操作を間違えた場合でも、一から操作をやり直すことなく操作間違いを修正することができる。 Further, the information processing apparatus 200 may provide a function of complementing the operation, deleting the inconsistent operation, or returning to the immediately preceding state when the inconsistency of the operation is detected. With these functions, even if a user makes a mistake in an operation, the user can correct the mistake without having to restart the operation from the beginning.

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内で全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is shown not by the above description but by the scope of claims, and it is intended that all modifications are included in the meaning and scope equivalent to the scope of claims. In addition, the inventions described in the embodiments and the modifications are intended to be implemented, either alone or in combination, wherever possible.

１００ 画像形成装置、１０１ 制御部、１０２ 原稿読取部、１０３ 印刷出力部、１０４ ＦＡＸ部、１０５ 記憶装置、１０６ 無線インターフェイス、１０７ 有線インターフェイス、１０８ ユーザー認証部、１０９ 操作パネル、１１０，３０１ ＣＰＵ、１１１ ＲＡＭ、１１２ ＲＯＭ、１１３ 表示部、１１４ 操作部、２００ 情報処理装置、２０１ 画面解析部、２０２ 操作解析部、２０３ 操作判定部、２０４ 修正処理部、２０５ スクリプト生成部、２０６ コンテンツＤＢ、２０７ 修正操作ストア、２０８ 評価操作ストア、２０９ スクリプトＤＢ、２１０，６０１ 操作記録、２５０ カメラ、３０２ １次記憶装置、３０３ ２次記憶装置、３０４ 外部機器インターフェイス、３０５ 入力インターフェイス、３０６ 出力インターフェイス、３０７ 通信インターフェイス、３０８ スピーカー、４０１，１５０３ 画面、５０１，７０１ ホームメニュー画面、５０２ コピー設定画面、５０３ 余白設定画面、６０２，８０１，１００１，１１０１，１２０１，１３０１，１４０１ 評価操作テンポラリーデータ、６０３，８０２，１００２，１４０２ 修正操作テンポラリーデータ、７０２ スキャン設定画面、７０３ 初期設定画面、１３０３ リスト、１５０４，１５０５，１５０６ ボタン。 100 image forming device, 101 control unit, 102 document reading unit, 103 print output unit, 104 FAX unit, 105 storage device, 106 wireless interface, 107 wired interface, 108 user authentication unit, 109 operation panel, 110, 301 CPU, 111 RAM, 112 ROM, 113 display unit, 114 operation unit, 200 information processing device, 201 screen analysis unit, 202 operation analysis unit, 203 operation judgment unit, 204 correction processing unit, 205 script generation unit, 206 content DB, 207 correction operation Store, 208 Evaluation Operation Store, 209 Script DB, 210, 601 Operation Record, 250 Camera, 302 Primary Storage, 303 Secondary Storage, 304 External Device Interface, 305 Input Interface, 306 Output Interface, 307 Communication Interface, 308 Speaker, 401,1503 screen, 501,701 home menu screen, 502 copy setting screen, 503 margin setting screen, 602,801,1001,1101,1201,1301,1401 Evaluation operation temporary data, 603,802,1002,1402 correction Operation temporary data, 702 scan setting screen, 703 initial setting screen, 1303 list, 1504, 1505, 1506 buttons.

Claims (12)

装置のテストを自動化するための方法であって、
ユーザーの操作入力を受け付ける対象装置の操作画面に対するユーザーによる操作を検出するステップと、
前記操作におけるユーザーの複数の操作態様を判定するステップとを含み、
前記複数の操作態様は、
操作記録に登録される第１の操作態様と、
前記操作記録に登録されない第２の操作態様とを含み、
前記方法は、
前記第１の操作態様により実行される第１の操作を記録するステップと、
前記第２の操作態様により実行される画面遷移のための第２の操作を受け付けるステップと、
前記第２の操作による画面遷移後に、前記第１の操作態様により実行される第３の操作を記録したことに基づいて、操作の不整合を検出するステップとをさらに含む、方法。 A method for automating equipment testing,
A step to detect the user's operation on the operation screen of the target device that accepts the user's operation input, and
Including a step of determining a plurality of user operation modes in the operation.
The plurality of operation modes
The first operation mode registered in the operation record and
Including a second operation mode not registered in the operation record.
The method is
A step of recording the first operation performed by the first operation mode, and
A step of accepting a second operation for screen transition executed by the second operation mode, and
A method further comprising a step of detecting an operation inconsistency based on recording a third operation performed by the first operation mode after a screen transition by the second operation. 前記第１および第３の操作を記録するステップは、それぞれ、各操作の内容と、各操作が実行されたときの画面の識別情報とを各々関連付けて前記操作記録に保存するステップを含み、
前記操作の不整合を検出するステップは、
前記操作記録を参照し、前記第１の操作が実行された第１の画面と、前記第３の操作が実行されたときの第２の画面とを取得するステップと、
前記第１および第２の画面が互いに異なることに基づいて、前記操作の不整合を検出するステップとを含む、請求項１に記載の方法。 Each of the steps of recording the first and third operations includes a step of associating the content of each operation with the identification information of the screen when each operation is executed and saving the step in the operation record.
The step of detecting the inconsistency of the operation is
With reference to the operation record, a step of acquiring a first screen on which the first operation is executed and a second screen when the third operation is executed, and a step of acquiring the second screen.
The method of claim 1, comprising the step of detecting an inconsistency in the operation based on the fact that the first and second screens are different from each other. 前記操作の不整合を検出するステップは、
前記操作記録に含まれる前記第１の操作の記録と前記第３の操作の記録との間に、前記第１の操作態様による前記第２の画面への遷移操作の記録があるか否かを判定するステップと、
前記遷移操作の記録がないことに基づいて、前記操作の不整合を検出するステップとを含む、請求項２に記載の方法。 The step of detecting the inconsistency of the operation is
Whether or not there is a record of the transition operation to the second screen according to the first operation mode between the record of the first operation and the record of the third operation included in the operation record. Judgment step and
The method of claim 2, comprising the step of detecting an inconsistency in the operation based on the absence of a record of the transition operation. 前記操作の不整合を検出したことに基づいて、前記第３の操作を前記操作記録から除外するステップをさらに含む、請求項１〜３のいずれかに記載の方法。 The method according to any one of claims 1 to 3, further comprising a step of excluding the third operation from the operation record based on the detection of the inconsistency of the operation. 前記操作の不整合を検出したことに基づいて、前記操作の不整合を解消する操作を補完するための操作リストをテスト自動化装置の画面に表示するステップをさらに含む、請求項１〜３のいずれかに記載の方法。 Any of claims 1 to 3, further comprising a step of displaying an operation list for complementing the operation for resolving the inconsistency of the operation on the screen of the test automation device based on the detection of the inconsistency of the operation. The method described in Crab. 前記方法は、前記第２の操作態様による操作を前記操作記録とは別に一時的に記録するステップをさらに含み、
前記操作リストを前記テスト自動化装置の画面に表示するステップは、前記第１の操作の実行から前記第３の操作の実行までの間に、前記第２の操作態様によって実行された全ての操作を前記テスト自動化装置の画面に表示するステップを含む、請求項５に記載の方法。 The method further includes a step of temporarily recording the operation according to the second operation mode separately from the operation record.
The step of displaying the operation list on the screen of the test automation device performs all the operations executed by the second operation mode between the execution of the first operation and the execution of the third operation. The method of claim 5, comprising displaying on the screen of the test automation apparatus. 前記操作の不整合を検出したことに基づいて、前記操作の不整合が発生したことをスピーカーから通知するステップをさらに含む、請求項１〜６のいずれかに記載の方法。 The method according to any one of claims 1 to 6, further comprising a step of notifying the speaker that the inconsistency of the operation has occurred based on the detection of the inconsistency of the operation. 前記複数の操作態様を判定するステップは、操作画面に触れる指が、右手の指または左手の指のいずれかであるかに基づいて、各操作態様が、前記第１の操作態様または前記第２の操作態様のいずれであるかを判定するステップを含む、請求項１〜７のいずれかに記載の方法。 The step of determining the plurality of operation modes is based on whether the finger touching the operation screen is either the finger of the right hand or the finger of the left hand, and each operation mode is the first operation mode or the second operation mode. The method according to any one of claims 1 to 7, which comprises a step of determining which of the operation modes of the above. 前記複数の操作態様を判定するステップは、操作画面に触れるタッチペンの形状または色に基づいて、各操作態様が、前記第１の操作態様または前記第２の操作態様のいずれであるかを判定するステップを含む、請求項１〜８のいずれかに記載の方法。 The step of determining the plurality of operation modes determines whether each operation mode is either the first operation mode or the second operation mode based on the shape or color of the touch pen that touches the operation screen. The method of any of claims 1-8, comprising the steps. 前記複数の操作態様を判定するステップは、操作画面に触れる対象の形状に基づいて、各操作態様が、前記第１の操作態様または前記第２の操作態様のいずれであるかを判定するステップを含む、請求項１〜９のいずれかに記載の方法。 The step of determining the plurality of operation modes is a step of determining whether each operation mode is the first operation mode or the second operation mode based on the shape of the object touching the operation screen. The method according to any one of claims 1 to 9, which includes. 請求項１〜１０のいずれかに記載の方法をコンピューターに実行させるプログラム。 A program that causes a computer to execute the method according to any one of claims 1 to 10. 請求項１１に記載のプログラムを格納したメモリーと、
前記プログラムを実行するプロセッサーとを備える、装置。 A memory storing the program according to claim 11 and
A device comprising a processor that executes the program.
JP2020007043A 2020-01-20 2020-01-20 Method, program and device for automating device testing Active JP7467929B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020007043A JP7467929B2 (en) 2020-01-20 2020-01-20 Method, program and device for automating device testing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020007043A JP7467929B2 (en) 2020-01-20 2020-01-20 Method, program and device for automating device testing

Publications (2)

Publication Number Publication Date
JP2021114194A true JP2021114194A (en) 2021-08-05
JP7467929B2 JP7467929B2 (en) 2024-04-16

Family

ID=77077089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020007043A Active JP7467929B2 (en) 2020-01-20 2020-01-20 Method, program and device for automating device testing

Country Status (1)

Country Link
JP (1) JP7467929B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000112785A (en) 1998-09-30 2000-04-21 Hitachi Software Eng Co Ltd Program test support device and storage medium recording program test support program
JP5167523B2 (en) 2010-09-22 2013-03-21 島根県 Operation input device, operation determination method, and program
JP6205716B2 (en) 2012-12-18 2017-10-04 コニカミノルタ株式会社 Image forming apparatus
JP6041742B2 (en) 2013-04-09 2016-12-14 三菱電機株式会社 Touch panel display controller
JP6840656B2 (en) 2017-11-29 2021-03-10 日本電信電話株式会社 Test script modifiers and programs

Also Published As

Publication number Publication date
JP7467929B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
US8356279B2 (en) Program-generating device and method, program for implementing the program-generating method, and storage medium
US8264729B2 (en) Image forming apparatus performing function related to external apparatus
US20160360051A1 (en) Image forming apparatus, method for controlling operation screen of image forming apparatus
KR20150144136A (en) Mobile device, image forming apparatus and method for providng menual
US20190004752A1 (en) Image forming apparatus, method of controlling the same, and storage medium
US9026642B2 (en) Processing apparatus, control method thereof, and storage medium
JP2014139764A (en) Information processing device, information processing method, program, and information processing system
US20150153988A1 (en) Image forming apparatus, controlling method thereof, and program
US9727281B2 (en) Image processing apparatus, computer readable medium, and image processing method
JP7294043B2 (en) Program and method for device test automation and script generator
JP4807615B2 (en) Copier, copier system, and computer program
JP2011018135A (en) Electronic device, information processing method, and program
US20200036847A1 (en) Operation support information providing apparatus, operation support information providing system, and non-transitory recording medium
JP7367471B2 (en) Information processing device, file guarantee method, and file guarantee program
JP7467929B2 (en) Method, program and device for automating device testing
US11269680B2 (en) Information processing apparatus, information processing system, and information processing method
JP2021111021A (en) Device test automation method, program and device
US8930910B2 (en) Information processing apparatus, information processing method, and program
US11178298B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2014056547A (en) Counter-failure support device, counter-failure support system, counter-failure support method, and counter-failure support program
US10681237B2 (en) Information processing apparatus, information processing method, and recording medium
JP2017105146A (en) Information processing unit, information processing system, information processing method, program and apparatus
JP4957506B2 (en) Management program, information processing apparatus, and information processing system
JP4888251B2 (en) Image processing apparatus and image processing method
US11949649B2 (en) Device management apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7467929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150