JP2016129020A - Information processing device, information processing system, information processing method, and program - Google Patents
Information processing device, information processing system, information processing method, and program Download PDFInfo
- Publication number
- JP2016129020A JP2016129020A JP2015255351A JP2015255351A JP2016129020A JP 2016129020 A JP2016129020 A JP 2016129020A JP 2015255351 A JP2015255351 A JP 2015255351A JP 2015255351 A JP2015255351 A JP 2015255351A JP 2016129020 A JP2016129020 A JP 2016129020A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- image
- control
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, an information processing method, and a program.
近年、情報処理装置の高機能化に伴い、各機能に係る設定操作も煩雑化している。このような情報処理装置を最大限利用するには、ユーザは、当該情報処理装置の各機能や設定操作を熟知する必要がある。しかし、情報処理装置に不慣れなユーザは、誤って削除すべきでない設定情報を削除してしまう場合や、適切でない設定を行うことでエラーを発生させてしまう場合なども多い。そのため、例えば操作に関するサポートを行うサポート担当者が、遠隔の端末（サポート担当者の端末）から情報処理装置を操作して各機能の設定を行う方法や、情報処理装置のユーザを指導して操作を行わせる方法などが知られている。 In recent years, setting operations related to each function have become complicated as information processing apparatuses become more sophisticated. In order to make maximum use of such an information processing apparatus, the user needs to be familiar with each function and setting operation of the information processing apparatus. However, there are many cases where a user unfamiliar with the information processing apparatus deletes setting information that should not be deleted by mistake, or generates an error by performing an inappropriate setting. For this reason, for example, a support person who provides support related to operation operates the information processing apparatus from a remote terminal (support person's terminal) to set each function, or guides and operates the user of the information processing apparatus. There are known methods for performing the above.
また、情報処理装置のユーザが、サポートを受けた操作を記憶または理解できていない状態で、再度同じ操作を実施したい場合でも、サポート担当者に対する問い合わせを行うことなく、当該操作の実施を可能にする技術が知られている。例えば特許文献１には、画像形成装置の操作に関するサポートを行うサポート担当者のサポート端末と該画像形成装置との通信内容を、動画データとして記憶手段に記憶するとともに、サポート担当者と画像形成装置のユーザとの会話内容を、音声データとして上記動画データに関連付けて上記記憶手段に保存し、ユーザの要求に応じて、その保存された動画データおよび音声データを再生する技術が開示されている。
In addition, even if the user of the information processing device wants to perform the same operation again without memorizing or understanding the supported operation, the operation can be performed without making an inquiry to the support staff. The technology to do is known. For example, in
しかしながら、特許文献１に開示された技術では、動画データや音声データなどの大きなサイズのデータを記録・保持しなくてはならないためデータ量が多くなるという問題がある。
However, the technique disclosed in
本発明は、上記に鑑みてなされたものであって、操作を再現するためのデータ量を低減することを目的とする。 The present invention has been made in view of the above, and an object thereof is to reduce the amount of data for reproducing an operation.
上述した課題を解決し、目的を達成するために、本発明は、操作を受け付ける受付部と、前記受付部で受け付けた操作を示す操作情報と、表示部に表示される画面のうち、前記受付部で受け付けた操作に対応する領域の画像とを紐付けて記憶部に記憶する制御を行う紐付制御部と、を備える情報処理装置である。 In order to solve the above-described problems and achieve the object, the present invention provides a reception unit that receives an operation, operation information indicating an operation received by the reception unit, and a screen displayed on a display unit. And an association control unit that performs control for associating an image of an area corresponding to an operation received by the unit and storing the image in a storage unit.
本発明によれば、操作を再現するためのデータ量を低減できる。 According to the present invention, the amount of data for reproducing an operation can be reduced.
以下、添付図面を参照しながら、本発明に係る情報処理装置、情報処理システム、情報処理方法およびプログラムの実施形態を詳細に説明する。以下では、本発明が適用される情報処理装置の一例として、画像処理装置の一態様である複合機（ＭＦＰ：Multifunction Peripheral）を例に挙げて説明するが、これに限られるものではない。なお、複合機とは、コピー機能、スキャナ機能、プリント機能、ファクス機能などの複数の異なる機能を有する装置である。 Hereinafter, embodiments of an information processing apparatus, an information processing system, an information processing method, and a program according to the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, as an example of an information processing apparatus to which the present invention is applied, a multifunction peripheral (MFP) that is an aspect of an image processing apparatus will be described as an example, but the present invention is not limited to this. Note that a multifunction peripheral is a device having a plurality of different functions such as a copy function, a scanner function, a print function, and a fax function.
（第１実施形態）
図１は、本実施形態に係る情報処理システム１００の構成の一例を示す図である。図１に示すように、情報処理システム１００は、ＭＦＰ１とＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２とを含み、これらはインターネットなどのネットワーク３を介して相互に接続可能である。本実施形態のＭＦＰ１は、例えばマイク４、スピーカ５およびキーボード６などのハードウェアデバイス（以下、総称して「ハードウェアデバイス７」と称する場合がある）を着脱可能な構成である。
(First embodiment)
FIG. 1 is a diagram illustrating an example of a configuration of an
次に、図２を用いて、ＭＦＰ１のハードウェア構成について説明する。図２に示すように、ＭＦＰ１は、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種の機能を実現可能な本体１０と、ユーザの操作を受け付ける操作部２０とを備える。なお、ユーザの操作を受け付けるとは、ユーザの操作に応じて入力される情報（画面の座標値を示す信号等を含む）を受け付けることを含む概念である。本体１０と操作部２０は、専用の通信路３０を介して相互に通信可能に接続されている。通信路３０は、例えばＵＳＢ（Universal Serial Bus）規格のものを用いることもできるが、有線か無線かを問わず任意の規格のものであってよい。
Next, the hardware configuration of the
なお、本体１０は、操作部２０で受け付けた操作に応じた動作を行うことができる。また、本体１０は、クライアントＰＣ（パーソナルコンピュータ）等の外部装置とも通信可能であり、外部装置から受信した指示に応じた動作を行うこともできる。
The
まず、本体１０のハードウェア構成について説明する。図２に示すように、本体１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ＨＤＤ（ハードディスクドライブ）１４と、通信Ｉ／Ｆ（インタフェース）１５と、接続Ｉ／Ｆ１６と、エンジン部１７とを備え、これらがシステムバス１８を介して相互に接続されている。
First, the hardware configuration of the
ＣＰＵ１１は、本体１０の動作を統括的に制御する。ＣＰＵ１１は、ＲＡＭ１３をワークエリア（作業領域）としてＲＯＭ１２またはＨＤＤ１４等に格納されたプログラムを実行することで、本体１０全体の動作を制御し、上述したコピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種機能を実現する。
The
通信Ｉ／Ｆ１５は、ネットワーク３と接続するためのインタフェースである。接続Ｉ／Ｆ１６は、通信路３０を介して操作部２０と通信するためのインタフェースである。
The communication I /
エンジン部１７は、コピー機能、スキャナ機能、ファクス機能、および、プリンタ機能を実現させるための、汎用的な情報処理および通信以外の処理を行うハードウェアである。例えば、原稿の画像をスキャンして読み取るスキャナ（画像読取部）、用紙等のシート材への印刷を行うプロッタ（画像形成部）、ファクス通信を行うファクス部などを備えている。更に、印刷済みシート材を仕分けるフィニッシャや、原稿を自動給送するＡＤＦ（自動原稿給送装置）のような特定のオプションを備えることもできる。
The
次に、操作部２０のハードウェア構成について説明する。図２に示すように、操作部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、フラッシュメモリ２４と、通信Ｉ／Ｆ２５と、接続Ｉ／Ｆ２６と、操作パネル２７と、外部接続Ｉ／Ｆ２８とを備え、これらがシステムバス２９を介して相互に接続されている。
Next, the hardware configuration of the
ＣＰＵ２１は、操作部２０の動作を統括的に制御する。ＣＰＵ２１は、ＲＡＭ２３をワークエリア（作業領域）としてＲＯＭ２２またはフラッシュメモリ２４等に格納されたプログラムを実行することで、操作部２０全体の動作を制御し、ユーザから受け付けた入力に応じた情報（画像）の表示などの後述する各種機能を実現する。
The
通信Ｉ／Ｆ２５は、ネットワーク３と接続するためのインタフェースである。接続Ｉ／Ｆ２６は、通信路３０を介して本体１０と通信するためのインタフェースである。
The communication I /
操作パネル２７は、ユーザの操作に応じた各種の入力を受け付けるとともに、各種の情報（例えば受け付けた操作に応じた情報、ＭＦＰ１の動作状況を示す情報、設定状態などを示す情報など）を表示する。この例では、操作パネル２７は、タッチパネル機能を搭載した液晶表示装置（ＬＣＤ）で構成されるが、これに限られるものではない。例えばタッチパネル機能が搭載された有機ＥＬ表示装置で構成されてもよい。さらに、これに加えて又はこれに代えて、ハードウェアキー等の操作部やランプ等の表示部を設けることもできる。
Operation panel 27 accepts various inputs in accordance with user operations and displays various types of information (for example, information in accordance with accepted operations, information indicating the operation status of
外部接続Ｉ／Ｆ２８は、ハードウェアデバイス７と接続するためのインタフェースである。上述したように、ハードウェアデバイス７としては、例えばマイク４、スピーカ５、キーボード６などが考えられる。
The external connection I /
次に、ＭＦＰ１のソフトウェア構成について説明する。図３は、ＭＦＰ１のソフトウェア構成の一例を示す模式図である。図３に示すように、本体１０は、アプリ層１０１と、サービス層１０２と、ＯＳ層１０３とを有する。アプリ層１０１、サービス層１０２、および、ＯＳ層１０３の実体は、ＲＯＭ１２やＨＤＤ１４等に格納されている各種ソフトウェアである。ＣＰＵ１１が、これらのソフトウェアを実行することにより、各種の機能が提供される。
Next, the software configuration of the
アプリ層１０１のソフトウェアは、ハードウェア資源を動作させて所定の機能を提供するためのアプリケーションソフトウェア（以下の説明では、単に「アプリ」と称する場合がある）である。例えばアプリとしては、コピー機能を提供するためのコピーアプリ、スキャナ機能を提供するためのスキャナアプリ、ファクス機能を提供するためのファクスアプリ、プリンタ機能を提供するためのプリンタアプリなどが挙げられる。
The software of the
サービス層１０２のソフトウェアは、アプリ層１０１とＯＳ層１０３との間に介在し、アプリに対し、本体１０が備えるハードウェア資源を利用するためのインタフェースを提供するためのソフトウェアである。より具体的には、ハードウェア資源に対する動作要求の受付、動作要求の調停を行う機能を提供するためのソフトウェアである。サービス層１０２が受け付ける動作要求としては、スキャナによる読み取りやプロッタによる印刷等の要求が考えられる。
The software of the service layer 102 is software that is interposed between the
なお、サービス層１０２によるインタフェースの機能は、本体１０のアプリ層１０１だけではなく、操作部２０のアプリ層２０１に対しても提供される。すなわち、操作部２０のアプリ層２０１（アプリ）も、サービス層１０２のインタフェース機能を介して、本体１０のハードウェア資源（例えばエンジン部１７）を利用した機能を実現することができる。
Note that the interface function by the service layer 102 is provided not only to the
ＯＳ層１０３のソフトウェアは、本体１０が備えるハードウェアを制御する基本機能を提供するための基本ソフトウェア（オペレーティングシステム（ＯＳ））である。サービス層１０２のソフトウェアは、各種アプリからのハードウェア資源の利用要求を、ＯＳ層１０３が解釈可能なコマンドに変換してＯＳ層１０３に渡す。そして、ＯＳ層１０３のソフトウェアによりコマンドが実行されることで、ハードウェア資源は、アプリの要求に従った動作を行う。
The software of the
同様に、操作部２０は、アプリ層２０１と、サービス層２０２と、ＯＳ層２０３とを有する。操作部２０が備えるアプリ層２０１、サービス層２０２及びＯＳ層２０３も、階層構造については本体１０側と同様である。ただし、アプリ層２０１のアプリにより提供される機能や、サービス層２０２が受け付け可能な動作要求の種類は、本体１０側とは異なる。アプリ層２０１のアプリは、操作部２０が備えるハードウェア資源を動作させて所定の機能を提供するためのソフトウェアであってもよいが、主として本体１０が備える機能（コピー機能、スキャナ機能、ファクス機能、プリンタ機能）に関する操作や表示を行うためのＵＩ（ユーザインタフェース）の機能を提供するためのソフトウェアである。アプリ層２０１のアプリには、ＭＦＰ１がＰＣ２からの操作を受け付けることが可能なモードを示す遠隔サポートを提供するための遠隔サポートアプリも含まれている。
Similarly, the
なお、本実施形態では、機能の独立性を保つために、本体１０側のＯＳ層１０３のソフトウェアと操作部２０側のＯＳ層２０３のソフトウェアが互いに異なる。つまり、本体１０と操作部２０は、別々のオペレーティングシステムで互いに独立して動作する。例えば、本体１０側のＯＳ層１０３のソフトウェアとしてＬｉｎｕｘ（登録商標）を用い、操作部２０側のＯＳ層２０３のソフトウェアとしてＡｎｄｒｏｉｄ（登録商標）を用いることも可能である。
In this embodiment, the software of the
以上のように、本実施形態のＭＦＰ１において、本体１０と操作部２０は別々のオペレーティングシステムで動作するため、本体１０と操作部２０との間の通信は、共通の装置内のプロセス間通信ではなく、異なる装置間の通信として行われる。操作部２０が受け付けた情報（ユーザからの指示内容）を本体１０へ伝達する動作（コマンド通信）や、本体１０が操作部２０へイベントを通知する動作などがこれに該当する。ここでは、操作部２０が本体１０へコマンド通信を行うことにより、本体１０の機能を使用することができる。また、本体１０から操作部２０に通知するイベントには、本体１０における動作の実行状況、本体１０側で設定された内容などが挙げられる。
As described above, in the
また、本実施形態では、操作部２０に対する電力供給は、本体１０から通信路３０を経由して行われているので、操作部２０の電源制御を、本体１０の電源制御とは別に（独立して）行うことができる。
In the present embodiment, since the power supply to the
次に、ＰＣ２のハードウェア構成について説明する。図４は、ＰＣ２のハードウェア構成の一例を示す図である。図４に示すように、ＰＣ２は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、入力部３０４と、表示部３０５と、通信Ｉ／Ｆ３０６と、補助記憶装置３０７とを有する。ＣＰＵ３０１は、ＰＣ２の動作を統括的に制御する。ＲＯＭ３０２は、プログラム等の各種のデータを記憶する不揮発性のメモリである。ＲＡＭ３０３は、ＣＰＵ３０１が実行する各種の処理の作業領域（ワークエリア）として機能する揮発性のメモリである。入力部３０４は、ユーザによる操作の入力に用いられるデバイスであり、例えばマウスやキーボードなどで構成される。表示部３０５は各種の情報を表示するデバイスであり、例えば液晶型ディスプレイ装置などで構成される。通信Ｉ／Ｆ３０６は、ネットワーク３と接続するためのインタフェースである。補助記憶装置３０７は、例えばＨＤＤやＮＶＲＡＭなどで構成される。
Next, the hardware configuration of the
この例では、ＭＦＰ１と接続可能な端末の一例として、据置型のＰＣ２を挙げているが、これに限らず、例えばスマートフォンやタブレットなどの携帯型の端末を採用することもできる。要するに、ＭＦＰ１と接続可能な端末（情報処理システム１００に含まれる端末）の種類は任意である。
In this example, a
次に、ＰＣ２が有する機能について説明する。図５は、ＰＣ２が有する機能の一例を示す図である。説明の便宜上、図５では、本発明に係る機能を主に例示しているが、ＰＣ２が有する機能はこれらに限られるものではない。図５に示すように、ＰＣ２は、遠隔サポート制御部４０と、ネットワーク通信制御部４２と、ＵＩ制御部４４と、記憶領域４６とを有する。
Next, functions of the
遠隔サポート制御部４０は、接続・認証制御部４０１と、模擬ＵＩ受信部４０２と、模擬ＵＩ表示部４０３と、遠隔操作制御部４０４とを有する。
The remote
接続・認証制御部４０１は、ＭＦＰ１から、ＰＣ２との接続を要求する接続要求（ここでは遠隔サポートの要求であると考えることができる）を受信した場合、該ＭＦＰ１との接続が可能であるか否かを確認し、接続可能であると確認された場合、その確認結果に基づいてＭＦＰ１との接続を行う。本実施形態では、接続・認証制御部４０１は、ＭＦＰ１から接続要求を受信した場合、該ＭＦＰ１に対して、ＭＦＰ１が有する機能の詳細な内容（ＭＦＰ１が有するスペックの内容）を示す機能詳細情報を要求し、その応答として、機能詳細情報をＭＦＰ１から受信する。そして、ＭＦＰ１から受信した機能詳細情報が、予め定められた条件（ＰＣ２と接続するための条件）を満たす場合に、ＰＣ２との接続を許可し、ＰＣ２とＭＦＰ１とを接続するための制御を行う。
If the connection /
なお、この例では、接続・認証制御部４０１は、ＭＦＰ１からの接続要求を受信したことを契機として、ＭＦＰ１とＰＣ２とを接続するための制御を行っているが、これに限らず、例えばＰＣ２のユーザ（以下の説明では、「第２のユーザ」と称する場合がある）からの指示を契機として、ＭＦＰ１とＰＣ２とを接続するための制御を行う形態であってもよい。この形態では、例えば接続・認証制御部４０１は、第２のユーザによって指定されたＭＦＰ１に対して上述の機能詳細情報を要求し、その応答として、機能詳細情報を受信する。そして、機能詳細情報が、予め定められた条件を満たす場合に、ＰＣ２との接続を許可し、ＰＣ２とＭＦＰ１とを接続するための制御を行うという形態であってもよい。
In this example, the connection /
模擬ＵＩ受信部４０２は、接続・認証制御部４０１によってＰＣ２とＭＦＰ１とが接続された場合、ＰＣ２と接続されたＭＦＰ１に対して、該ＭＦＰ１の操作部２０の操作パネル２７（表示部の一例）に表示される画面を少なくとも模擬した模擬ＵＩ（模擬画面の一例）を要求し、その応答として模擬ＵＩを受信する。なお、模擬ＵＩは、ＭＦＰ１に追加して接続されたハードウェアデバイス７のハードキーをエミュレートした情報（画像）を含む形態であってもよい。
When the
模擬ＵＩ表示部４０３は、模擬画面表示部の一例であり、模擬ＵＩを表示する。本実施形態では、模擬ＵＩ表示部４０３は、模擬ＵＩ受信部４０２で受信された模擬ＵＩを、ＰＣ２の表示部３０５に表示する制御を行う。
The simulated
遠隔操作制御部４０４は、第１の入力情報送信部の一例であり、ＰＣ２の表示部３０５に表示された模擬ＵＩに対する入力を示す第１の入力情報をＭＦＰ１へ送信する。本実施形態では、遠隔操作制御部４０４は、ＭＦＰ１とＰＣ２とがネットワーク３を介して接続され、ＭＦＰ１がＰＣ２からの操作を受け付けることが可能なモードを示す遠隔サポート中において、模擬ＵＩに対する入力を後述のＵＩ制御部４４で受け付けた場合、その受け付けた入力を示す第１の入力情報をＭＦＰ１へ送信する制御を行う。本実施形態では、第２のユーザは、マウス（入力部３０４の一例）を操作して、表示部３０５に表示されるカーソル（ポインタ）を移動させ、カーソルの位置を任意の位置に合わせてマウスのボタンを押下することで、その任意の位置を指示することができるが、任意の位置を指示する方法はこれに限られるものではない。この例では、上述の第１の入力情報は、模擬ＵＩのうち、第２のユーザによって指示された位置の始点（この例では第２のユーザがマウスのボタンの押下を開始した位置）を示す第１の始点情報と、第１の始点情報に対応する時間（マウスのボタンの押下を開始した時間）を示す時間情報と、模擬ＵＩのうち第２のユーザによって指示された位置の終点（この例では第２のユーザがマウスのボタンの押下を終了した位置、つまり、マウスのボタンから指を離した位置）を示す第１の終点情報と、第１の終点情報に対応する時間（マウスのボタンの押下を終了した時間）を示す時間情報と、を少なくとも含むが、これに限られるものではない。
Remote
ネットワーク通信制御部４２は、ネットワーク３の通信制御を行う。すなわち、ネットワーク通信制御部４２は、ネットワーク３を介して、ＭＦＰ１との間でデータの送受信を行う。ＵＩ制御部４４は、マウス、キーボードなどを利用した各種の入力を受け付ける。記憶領域４６は、ＨＤＤやＮＶＲＡＭなどの補助記憶装置３０７などに形成される領域であり、ＵＩデータ（イメージデータ）４０５および操作ログ４０６を格納する。
The network communication control unit 42 performs communication control of the
本実施形態では、上述の遠隔サポート制御部４０（接続・認証制御部４０１、模擬ＵＩ受信部４０２、模擬ＵＩ表示部４０３、遠隔操作制御部４０４）、ネットワーク通信制御部４２およびＵＩ制御部４４の各々の機能は、ＣＰＵ３０１がＲＯＭ３０２等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えば上述の遠隔サポート制御部４０、ネットワーク通信制御部４２およびＵＩ制御部４４の各々の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）により実現されてもよい。
In the present embodiment, the remote support control unit 40 (the connection /
次に、ＭＦＰ１が有する機能について説明する。図６は、ＭＦＰ１が有する機能の一例を示す図である。説明の便宜上、図６では、本発明に係る機能を主に例示しているが、ＭＦＰ１が有する機能はこれらに限られるものではない。図６に示すように、ＭＦＰ１は、ＭＦＰ１とＰＣ２とがネットワーク３を介して接続され、ＭＦＰ１がＰＣ２からの操作を受け付けることが可能なモードを示す遠隔サポートを提供するための遠隔サポートアプリ５０により提供される機能（接続・認証制御部５１０、模擬ＵＩ生成部５２０、模擬ＵＩ送信部５３０、受付部５４０、紐付制御部５５０、遠隔操作制御部５６０）と、ネットワーク通信制御部５１と、アプリケーション実行部５２と、記憶部５３と、操作制御部５４とを有する。
Next, functions of the
図６の例では、上述の遠隔サポートアプリ５０により提供される機能として、接続・認証制御部５１０、模擬ＵＩ生成部５２０、模擬ＵＩ送信部５３０、受付部５４０、紐付制御部５５０、遠隔操作制御部５６０がある。
In the example of FIG. 6, as the functions provided by the
接続・認証制御部５１０は、ＭＦＰ１のユーザ（以下の説明では「第１のユーザ」と称する場合がある）からの指示に従って、上述の接続要求をＰＣ２へ送信する。本実施形態では、第１のユーザがＭＦＰ１上で遠隔サポートを開始するための操作を行うと、接続・認証制御部５１０は上述の接続要求を生成してＰＣ２へ送信する制御を行う。そして、ＰＣ２から上述の機能詳細情報を要求された場合、接続・認証制御部５１０は、ＭＦＰ１が有する機能の詳細な内容を示す機能詳細情報をＲＯＭ１２等から読み出し、読み出した機能詳細情報をＰＣ２へ送信する制御を行う。そして、ＰＣ２によって接続が許可された場合、接続・認証制御部５１０は、ＰＣ２の接続・認証制御部４０１と協働して、ＭＦＰ１とＰＣ２とを接続するための制御を行う。なお、ＭＦＰ１とＰＣ２との接続を終了する場合（遠隔サポートを終了する場合）は、ＭＦＰ１の接続・認証制御部５１０が、第１のユーザからの指示に従って、ＭＦＰ１とＰＣ２との接続を終了するための制御を行う形態であってもよいし、ＰＣ２の接続・認証制御部４０１が、第２のユーザからの指示に従って、ＰＣ２とＭＦＰ１との接続を終了するための制御を行う形態であってもよい。
The connection /
模擬ＵＩ生成部５２０は、ＭＦＰ１と接続されたＰＣ２からの要求に応じて、模擬ＵＩを生成する。模擬ＵＩ送信部５３０は、模擬ＵＩ生成部５２０により生成された模擬ＵＩをＰＣ２へ送信する制御を行う。
A simulated
受付部５４０は、操作を受け付ける。本実施形態では、受付部５４０は、ネットワーク３を介してＭＦＰ１と接続されたＰＣ２からの操作を受け付ける機能、および、ＭＦＰ１の操作部２０に対する操作（第１のユーザによる直接の操作）を受け付ける機能を有している。図６に示すように、受付部５４０は、遠隔サポート中において、ＰＣ２からの操作を受け付ける機能として、第１の入力情報受信部５４１と、第１の特定部５４２とを有する。また、受付部５４０は、遠隔サポート中において、操作部２０（操作パネル２７）に対する操作を受け付ける機能として、検出部５４３と、第２の特定部５４４とを有する。
The accepting
第１の入力情報受信部５４１は、模擬ＵＩを表示するＰＣ２から、模擬ＵＩに対する入力を示す第１の入力情報を受信する。第１の特定部５４２は、第１の入力情報受信部５４１により受信された第１の入力情報に基づいて、操作を特定する。上述したように、本実施形態では、第１の入力情報は、模擬ＵＩのうち第２のユーザによって指示された位置の始点を示す第１の始点情報と、第１の始点情報に対応する時間を示す時間情報と、模擬ＵＩのうち第２のユーザによって指示された位置の終点を示す第１の終点情報と、第１の終点情報に対応する時間を示す時間情報と、を少なくとも含む。第１の特定部５４２は、第１の入力情報に含まれる上述の情報に基づいて、第２のユーザが模擬ＵＩに対して行った操作が、クリックなのか、長押しなのか、ドラッグ（マウスのボタンを押下した状態でカーソル（指示位置）を移動させる操作）なのか、フリック（マウスのボタンを押下した状態で画面を弾くようにカーソルを移動させる操作）なのかを特定（判定）することができる。
The first input
第１の特定部５４２による操作の判定方法（特定方法）としては、公知の様々な技術を利用することができる。また、第１の特定部５４２は、第１の入力情報に含まれる上述の情報に基づき、操作の種別と併せて、操作の方向（例えばフリック操作の方向）や操作量（例えば長押し操作の押下時間）などの操作に付帯する情報（付帯情報）を特定することもできる。本実施形態では、受付部５４０は、上述の第１の入力情報受信部５４１および第１の特定部５４２を有することにより、上述の第１の入力情報に基づく操作（ＰＣからの操作）を受け付ける機能を実現することができる。
Various known techniques can be used as the operation determination method (specific method) by the first specifying
検出部５４３は、操作部２０の操作パネル２７（表示部の一例）に表示される画面に対する入力を検出する。本実施形態では、第１のユーザ（ＭＦＰ１のユーザ）が、自身の指や指示用のデバイスなどで、操作パネル２７に表示される画面の任意の位置を押下（タッチ）すると、検出部５４３は、操作パネル２７に表示される画面のうち第１のユーザによってタッチされた位置を入力情報として検出することができるが、これに限られるものではない。第２の特定部５４４は、検出部５４３により検出された入力を示す第２の入力情報に基づいて、操作を特定する。
The
本実施形態では、上述の第２の入力情報は、操作パネル２７に表示される画面のうち第１のユーザによって指示された位置の始点（この例では第１のユーザが画面に対するタッチを開始した位置）を示す第２の始点情報と、第２の始点情報に対応する時間を示す時間情報と、操作パネル２７に表示される画面のうち第１のユーザによって指示された位置の終点（この例では第１のユーザが画面に対するタッチを終了した位置、つまり、第１のユーザの指や指示デバイスが画面から離れた位置）を示す第２の終点情報と、第２の終点情報に対応する時間を示す時間情報と、を少なくとも含むが、これに限られるものではない。第２の特定部５４４は、第２の入力情報に含まれる上述の情報に基づいて、第１のユーザが操作パネル２７に表示される画面に対して行った操作が、クリックなのか、長押しなのか、ドラッグなのか、フリックなのかを特定（判定）することができる。
In the present embodiment, the second input information described above is the start point of the position indicated by the first user in the screen displayed on the operation panel 27 (in this example, the first user has started touching the screen. Second start point information indicating the position), time information indicating the time corresponding to the second start point information, and the end point of the position indicated by the first user in the screen displayed on the operation panel 27 (this example) Then, the time corresponding to the second end point information indicating the position where the first user finishes touching the screen, that is, the position where the first user's finger or pointing device is away from the screen) and the second end point information. Including at least time information indicating, but is not limited thereto. Based on the above-mentioned information included in the second input information, the second specifying
第２の特定部５４４による操作の判定方法（特定方法）としては、公知の様々な技術を利用することができる。また、第２の特定部５４４は、第２の入力情報に含まれる上述の情報に基づき、操作の種別と併せて、操作の方向（例えばフリック操作の方向）や操作量（例えば長押し操作の押下時間）などの操作に付帯する情報（付帯情報）を特定することもできる。本実施形態では、受付部５４０は、上述の検出部５４３および第２の特定部５４４を有することにより、上述の第２の入力情報に基づく操作（操作パネル２７に対する操作）を受け付ける機能を実現することができる。要するに、受付部５４０は、上述の第１の入力情報に基づく操作、または、上述の第２の入力情報に基づく操作を受け付ける機能を有している。
Various known techniques can be used as the operation determination method (specific method) by the second specifying
紐付制御部５５０は、受付部５４０で受け付けた操作を示す操作情報と、操作パネル２７（表示部の一例）に表示される画面のうち、受付部５４０で受け付けた操作に対応する領域の画像とを紐付けて記憶部５３に記憶する制御を行う。本実施形態では、紐付制御部５５０は、第１の特定部５４２により特定された操作を示す操作情報と、操作パネル２７に表示される画面のうち、模擬ＵＩにおいて該操作が行われた領域に対応する領域の画像と、を紐付けて記憶部５３に記憶する制御を行う。また、本実施形態では、紐付制御部５５０は、第２の特定部５４４により特定された操作を示す操作情報と、操作パネル２７に表示される画面のうち該操作が行われた領域に対応する領域の画像と、を紐付けて記憶部５３に記憶する制御を行う。
The
より具体的には、紐付制御部５５０は、遠隔サポートが開始されてから終了するまでの期間ごとに、第１の特定部５４２により特定された操作を示す操作情報、または、第２の特定部５４４により特定された操作を示す操作情報と、操作パネル２７に表示される画面のうち、模擬ＵＩにおいて第１の特定部５４２により特定された操作が行われた領域に対応する領域の画像、または、操作パネル２７に表示される画面のうち第２の特定部５４４により特定された操作が行われた領域の画像と、を紐付けて時系列順に示す紐付情報を記憶部５３に記憶する制御を行う。
More specifically, the associating
上述したように、本実施形態では、遠隔サポート中にＰＣ２から受信する第１の入力情報は、模擬ＵＩのうち第２のユーザによって指示された位置の始点を示す第１の始点情報と、第１の始点情報に対応する時間を示す時間情報と、模擬ＵＩのうち第２のユーザによって指示された位置の終点を示す第１の終点情報と、第１の終点情報に対応する時間を示す時間情報と、を少なくとも含む。本実施形態では、紐付制御部５５０は、遠隔サポート中において、第１の特定部５４２により特定された操作を示す操作情報と、操作パネル２７に表示される画面のうち、第１の特定部５４２により特定された操作の元となる第１の入力情報に含まれる第１の始点情報に対応する位置を中心とする所定形状の領域の画像と、を紐付けて記憶部５３に記憶する制御を行う。
As described above, in the present embodiment, the first input information received from the
より具体的には、紐付制御部５５０は、遠隔サポート中において、第１の特定部５４２により操作（ＰＣ２側の操作）が特定されるたびに、操作パネル２７に表示される画面のうち、その特定された操作の元となる第１の入力情報に含まれる第１の始点情報に対応する位置を中心とする矩形状（所定形状の一例）の領域の画像を抽出してファイルに格納する。そして、該ファイルを識別する画像ＩＤと、第１の特定部５４２により特定された操作を示す操作情報とを紐付けて、当該遠隔サポートに対応する（当該遠隔サポートが開始されてから終了するまでの期間に対応する）紐付情報内に時系列順（操作が行われた順番）に記録していく。なお、この例では、操作情報に対して画像ＩＤが紐付けられているが、これに限らず、例えば操作情報に対して、画像を特定可能なハッシュ値を紐付ける形態であってもよい。
More specifically, the associating
また、上述したように、本実施形態では、遠隔サポート中に検出部５４３によって検出される入力（操作パネル２７に対する入力）を示す第２の入力情報は、操作パネル２７に表示される画面のうち第１のユーザによって指示された位置の始点を示す第２の始点情報と、第２の始点情報に対応する時間を示す時間情報と、操作パネル２７に表示される画面のうち第１のユーザによって指示された位置の終点を示す第２の終点情報と、第２の終点情報に対応する時間を示す時間情報と、を少なくとも含む。本実施形態では、紐付制御部５５０は、遠隔サポート中において、第２の特定部５４４により特定された操作を示す操作情報と、操作パネル２７に表示される画面のうち、第２の特定部５４４により特定された操作の元となる第２の入力情報に含まれる第２の始点情報が示す位置を中心とする所定形状の領域の画像とを紐付けて記憶部５３に記憶する制御を行う。
Further, as described above, in the present embodiment, the second input information indicating the input (input to the operation panel 27) detected by the
より具体的には、紐付制御部５５０は、遠隔サポート中において、第２の特定部５４４により操作（ＭＦＰ１側の操作）が特定されるたびに、操作パネル２７に表示される画面のうち、その特定された操作の元となる第２の入力情報に含まれる第２の始点情報が示す位置を中心とする矩形状（所定形状の一例）の領域の画像を抽出してファイルに格納する。そして、該ファイルを識別する画像ＩＤと、特定された操作を示す操作情報とを紐付けて、当該遠隔サポートに対応する紐付情報内に時系列順に記録していく。
More specifically, the associating
図７は、ある期間（任意の１回の遠隔サポートが開始されてから終了するまでの期間）に対応する紐付情報の一例を示す図である。図７の例では、紐付情報は、対応する期間内に行われた操作の順番を示す順番情報ごとに、操作情報と画像ＩＤとを紐付けた情報であるが、これに限られるものではない。また、図７の例では、操作情報は、操作の種別を示す種別情報と、操作に付帯する情報（例えば操作の方向や操作量などを示す情報）を示す付帯情報とを含むが、これに限られるものではない。付帯情報は、例えば上述の第１の特定部５４２や第２の特定部５４４によって生成可能である。
FIG. 7 is a diagram illustrating an example of the association information corresponding to a certain period (period from the start of any one remote support to the end). In the example of FIG. 7, the association information is information in which operation information and an image ID are associated for each order information indicating the order of operations performed in the corresponding period, but is not limited thereto. . In the example of FIG. 7, the operation information includes type information indicating the type of operation and auxiliary information indicating information incidental to the operation (for example, information indicating an operation direction, an operation amount, and the like). It is not limited. The incidental information can be generated by, for example, the first specifying
図７の紐付情報に対応する期間において、順番情報が６の操作が行われる場合を例に挙げて説明する。図８に示すように、第２のユーザが、マウスを操作して、ＰＣ２の表示部３０５に表示された模擬ＵＩの任意の位置（図８の例では「スキャナ」を示すアイコン）にカーソルを移動させ、マウスのボタンを押して素早く離すクリック操作を行うと、ＰＣ２の遠隔操作制御部４０４は、当該クリック操作に応じた第１の入力情報をＭＦＰ１へ送信する。この第１の入力情報は、模擬ＵＩのうち第２のユーザがマウスのボタンの押下を開始した位置を示す第１の始点情報と、第１の始点情報に対応する時間を示す時間情報と、模擬ＵＩのうち第２のユーザがマウスのボタンから指を離した位置を示す第１の終点情報と、第１の終点情報に対応する時間を示す時間情報と、を少なくとも含む。ＭＦＰ１の第１の入力情報受信部５４１がＰＣ２から上述の第１の入力情報を受信すると、ＭＦＰ１の第１の特定部５４２は、その受信した第１の入力情報に基づいて、「クリック」操作を特定することができる。そして、紐付制御部５５０は、操作パネル２７に表示される画面のうち、第１の特定部５４２により特定された「クリック」操作の元となる第１の入力情報に含まれる第１の始点情報に対応する位置を中心とする矩形状の領域の画像を抽出してファイルに格納する。そして、紐付制御部５５０は、直前の順番情報（この例では「５」を示す順番情報）に１を加えた順番情報（この例では「６」を示す順番情報）に対して、「クリック」を示す操作情報と、上記ファイルを識別する画像ＩＤ（この例では「Ｆｆｆ．ｐｎｇ」）とを紐付けて、紐付情報内に記録する。
A case where the operation with the order information of 6 is performed in the period corresponding to the association information in FIG. 7 will be described as an example. As shown in FIG. 8, the second user operates the mouse to move the cursor to an arbitrary position of the simulated UI displayed on the
図６に戻って説明を続ける。遠隔操作制御部５６０は、遠隔サポート中において受付部５４０で受け付けた操作に応じて、アプリケーション実行部５２にアプリケーションを実行させる制御を行う。
Returning to FIG. 6, the description will be continued. The remote
ネットワーク通信制御部５１は、ネットワーク３の通信制御を行う。すなわち、ネットワーク通信制御部５１は、ネットワーク３を介して、ＰＣ２との間でデータの送受信を行う。アプリケーション実行部５２は、遠隔操作制御部５６０または後述の操作制御部５４の制御に従って、アプリケーションを実行する。記憶部５３は、１回の遠隔サポートが開始されてから終了するまでの期間ごとに上述の紐付情報を対応付けて記憶する。つまり、この例では、記憶部５３は、複数の期間と１対１に対応する複数の紐付情報を記憶する。
The network
操作制御部５４は、記憶部５３に記憶された１以上の紐付情報のうち第１のユーザによって選択された紐付情報において紐付けられた画像を時系列順に読み出し、操作パネル２７に表示される画面の中に、該読み出した画像に対応する領域が存在する場合は、該読み出した画像に紐付けられた操作情報が示す操作を実行する制御を示す自動操作制御（以下の説明では、「スクリプト制御」と称する場合がある）を行う。本実施形態では、操作制御部５４は、操作パネル２７に表示される画面の中に、紐付情報において紐付けられた画像に対応する領域が存在する場合は、該領域の中心を始点として該画像に紐付けられた操作情報が示す操作を実行する。
The
本実施形態では、操作制御部５４は、スクリプト制御の前段階として、図９に示すような、記憶部５３に記憶された１以上（この例では４つ）の紐付情報を選択するための選択画面を、操作パネル２７に表示する制御を行う。例えば操作制御部５４は、第１のユーザから選択画面の表示要求を受け付けたことを契機として、選択画面を表示する制御を行う形態であってもよい。図９の選択画面では、紐付情報を識別する情報（「スクリプトＡ」〜「スクリプトＤ」）と、対応する期間との組み合わせを１つの単位とする選択情報が４つ表示されている。この例では、第１のユーザは、選択画面に対して、何れかの選択情報を選択するための操作（この例では何れかの選択情報をタッチする操作）を行い、操作制御部５４は、第１のユーザによる選択情報の選択を契機として、選択された選択情報に対応する紐付情報を用いてスクリプト制御を実行する。
In the present embodiment, the
例えば第１のユーザによって選択された選択情報に対応する紐付情報が、図７に示す態様である場合におけるスクリプト制御を例に挙げて説明する。まず操作制御部５４は、図７の紐付情報において紐付けられた画像として、「１」を示す順番情報に対して紐付けられた画像ＩＤ（この例では「Ａａａ．ｐｎｇ」）で識別されるファイルに格納された画像を読み出す。そして、図１０に示すように、操作パネル２７に表示された画面の左上からラスター順に走査していき、「Ａａａ．ｐｎｇ」で識別されるファイルに格納された画像に対応する領域が存在するか否かを検出する。そして、操作パネル２７に表示される画面の中に、「Ａａａ．ｐｎｇ」で識別されるファイルに格納された画像に対応する領域が存在する場合は、当該領域の中心を始点として、図７の紐付情報において「Ａａａ．ｐｎｇ」を示す画像ＩＤに紐付けられた「クリック」操作を実行する制御を行う。そして、操作制御部５４は、スクリプト制御で実行した操作に応じて、アプリケーション実行部５２にアプリケーションを実行させる制御を行う。以降、操作制御部５４は、図７の紐付情報において紐付けられた画像を時系列順に読み出して上記と同様の制御を繰り返し、「６」を示す順番情報に対して紐付けられた画像ＩＤ（この例では「Ｆｆｆ．ｐｎｇ」）で識別されるファイルに格納された画像を用いた制御（上記と同様の制御）が完了すると、スクリプト制御を終了する。
For example, script control in the case where the association information corresponding to the selection information selected by the first user is in the form shown in FIG. 7 will be described as an example. First, the
図１１は、上述の遠隔サポートアプリ５０による処理の一例を示すフローチャートである。まず、接続・認証制御部５１０は、遠隔サポートを開始するための制御を行う（ステップＳ１）。上述したように、本実施形態では、第１のユーザがＭＦＰ１上で遠隔サポートを開始するための操作を行うと、接続・認証制御部５１０は上述の接続要求を生成してＰＣ２へ送信する制御を行う。そして、ＰＣ２から上述の機能詳細情報を要求された場合、接続・認証制御部５１０は、ＭＦＰ１が有する機能の詳細な内容を示す機能詳細情報をＲＯＭ１２等から読み出し、読み出した機能詳細情報をＰＣ２へ送信する制御を行う。そして、ＰＣ２によって接続が許可された場合、接続・認証制御部５１０は、ＰＣ２の接続・認証制御部４０１と協働して、ＭＦＰ１とＰＣ２とを接続するための制御を行う。
FIG. 11 is a flowchart illustrating an example of processing by the
次に、受付部５４０の第１の入力情報受信部５４１が第１の入力情報を受信した場合（ステップＳ２：Ｙｅｓ）、第１の特定部５４２は、ステップＳ２で受信した第１の入力情報に基づいて、操作を特定する（ステップＳ３）。次に、紐付制御部５５０は、操作パネル２７に表示される画面のうち、ステップＳ３で特定した操作の元となる第１の入力情報に含まれる第１の始点情報に対応する位置を中心とする矩形状の領域の画像をファイルに格納する。そして、ステップＳ３で特定した操作を示す操作情報と、該ファイルを識別する画像ＩＤとを紐付けて、当該遠隔サポート（ステップＳ１で開始された遠隔サポート）に対応する紐付情報内に時系列順に記録する（ステップＳ４）。
Next, when the first input
一方、第１の入力情報受信部５４１が第１の入力情報を受信せず（ステップＳ２：Ｎｏ）、受付部５４０の検出部５４３が、操作部２０の操作パネル２７に表示される画面に対する入力を検出した場合（ステップＳ５：Ｙｅｓ）、第２の特定部５４４は、ステップＳ５で検出した入力を示す第２の入力情報に基づいて、操作を特定する（ステップＳ６）。次に、紐付制御部５５０は、操作パネル２７に表示される画面のうち、ステップＳ６で特定した操作の元となる第２の入力情報に含まれる第２の始点情報が示す位置を中心とする矩形状の領域の画像をファイルに格納する。そして、ステップＳ６で特定した操作を示す操作情報と、該ファイルを識別する画像ＩＤとを紐付けて、当該遠隔サポート（ステップＳ１で開始された遠隔サポート）に対応する紐付情報内に時系列順に記録する（ステップＳ７）。
On the other hand, the first input
上述のステップＳ４または上述のステップＳ７の後、遠隔サポートが終了していない場合（ステップＳ８：Ｎｏ）は、上述のステップＳ２以降の処理を繰り返す。一方、遠隔サポートが終了した場合（ステップＳ８：Ｙｅｓ）は処理を終了する。 If the remote support has not ended after step S4 or step S7 described above (step S8: No), the processing after step S2 is repeated. On the other hand, when the remote support is finished (step S8: Yes), the process is finished.
以上に説明したように、本実施形態では、受付部５４０で受け付けた操作を示す操作情報と、操作パネル２７に表示される画面のうち、受付部５４０で受け付けた操作に対応する領域の画像とを紐付けて記憶部５３に記憶する制御を行うことにより、操作を再現するためのデータ量を低減できるという有利な効果を達成できる。
As described above, in the present embodiment, the operation information indicating the operation received by the receiving
より具体的には、上述したように、１回の遠隔サポートが開始されてから終了するまでの期間ごとに、第１の特定部５４２により特定された操作（ＰＣ２からの操作）を示す操作情報、または、第２の特定部５４４により特定された操作（操作パネル２７に対する操作）を示す操作情報と、操作パネル２７に表示される画面のうち、ＰＣ２上の模擬ＵＩにおいて第１の特定部５４２により特定された操作が行われた領域に対応する領域の画像、または、操作パネル２７に表示される画面のうち第２の特定部５４４により特定された操作が行われた領域の画像と、を紐付けて時系列順に示す紐付情報を記憶部５３に記憶する制御を行う。そして、記憶部５３に記憶された１以上の紐付情報のうち第１のユーザによって選択された紐付情報において紐付けられた画像を時系列順に読み出し、操作パネル２７に表示される画面の中に、該読み出した画像に対応する領域が存在する場合は、該読み出した画像に紐付けられた操作情報が示す操作を実行するスクリプト制御を行うことにより、動画データや音声データなどに比べて少ないデータで操作を再現することができる。
More specifically, as described above, operation information indicating an operation (operation from the PC 2) specified by the first specifying
(第２実施形態)
次に、第２実施形態について説明する。上述の第１実施形態と共通する部分については説明を省略する。第２実施形態では、操作制御部５４は、操作パネル２７に表示される画面の中に、紐付情報において紐付けられた画像との差分が閾値以下を示す領域が存在する場合は、操作パネル２７に表示される画面の中に、紐付情報において紐付けられた画像に対応する領域が存在すると判断する。
(Second embodiment)
Next, a second embodiment will be described. A description of portions common to the above-described first embodiment is omitted. In the second embodiment, the
例えば上述のスクリプト制御において、操作パネル２７に表示される画面の中に、紐付情報において紐付けられた画像に対応する領域が存在すると判断するための条件として、画像間の完全一致を条件とすると、紐付情報の記録時と、スクリプト制御の実行時との間で、操作パネル２７に表示される画面内のアイコンやボタン周りの画像（例えば背景画像）が変更されていた場合、上記条件を満たさないためにスクリプト制御を進行させることができないという問題が起こる。 For example, in the above-described script control, if a condition for determining that there is a region corresponding to the image associated with the association information in the screen displayed on the operation panel 27, a complete match between images is a condition. When the association information is recorded and when the script control is executed, the above-mentioned condition is satisfied when the icon or the image around the button (for example, the background image) in the screen displayed on the operation panel 27 is changed. There is a problem that the script control cannot proceed because of the absence.
これに対して、本実施形態では、操作パネル２７に表示される画面の中に、紐付情報において紐付けられた画像との差分が閾値以下を示す領域が存在する場合は、操作パネル２７に表示される画面の中に、該画像に対応する領域が存在すると判断するので、軽微な変更によりスクリプト制御の進行が妨げられることを回避できる。上述の閾値は、設計条件等に応じて任意に設定可能である。また、例えば上記差分の逆数を、画像間の類似度を評価するための評価値とし、評価値が予め定められた値以上の場合は、操作パネル２７に表示される画面の中に、紐付情報において紐付けられた画像に対応する領域が存在すると判断することもできる。要するに、操作制御部５４は、操作パネル２７に表示される画面の中に、紐付情報において紐付けられた画像との差分が閾値以下を示す領域が存在する場合は、操作パネル２７に表示される画面の中に、紐付情報において紐付けられた画像に対応する領域が存在すると判断することができる。
On the other hand, in the present embodiment, if there is an area on the screen displayed on the operation panel 27 that indicates that the difference from the image associated with the association information is equal to or less than the threshold value, the screen is displayed on the operation panel 27. Since it is determined that there is a region corresponding to the image in the screen to be displayed, it is possible to avoid that the progress of the script control is hindered by a minor change. The above-mentioned threshold value can be arbitrarily set according to design conditions and the like. In addition, for example, the reciprocal of the difference is used as an evaluation value for evaluating the similarity between images. If the evaluation value is equal to or greater than a predetermined value, the association information is displayed on the screen displayed on the operation panel 27. It can also be determined that there is an area corresponding to the image associated with. In short, the
(第３実施形態)
次に、第３実施形態について説明する。上述の第１実施形態と共通する部分については説明を省略する。本実施形態では、操作制御部５４は、上述のスクリプト制御（自動操作制御）を行う場合、スクリプト制御を実行中であることを示す情報を操作パネル２７に表示する制御を行う。例えば図１２に示すように、スクリプト制御を実行中であることを示すメッセージを、操作パネル２７に表示することができる。これにより、第１のユーザ（ＭＦＰ１のユーザ）に対して、スクリプト制御を実行中であることを報知することができるので、スクリプト制御を実行中に、第１のユーザが誤って操作パネル２７に対する操作を行ってしまうことを防止できる。
(Third embodiment)
Next, a third embodiment will be described. A description of portions common to the above-described first embodiment is omitted. In the present embodiment, when performing the above-described script control (automatic operation control), the
(第４実施形態)
次に、第４実施形態について説明する。上述の第１実施形態と共通する部分については説明を省略する。本実施形態では、操作制御部５４は、上述のスクリプト制御（自動操作制御）を中止する指示を受け付けた場合、スクリプト制御を中止する。例えば上述の第３実施形態で説明したように、スクリプト制御を実行中であることを示すメッセージが操作パネル２７に表示されている状態（つまり、スクリプト制御を実行中の状態）で、該メッセージに対する押下を受け付けた場合、操作制御部５４は、図１３に示すような、スクリプト制御を中止するか否かの指示を受け付けるための指示画面を操作パネル２７に表示する制御を行うこともできる。ただし、図１３の指示画面を表示する契機となるイベントは、上記メッセージの押下に限られるものではない。そして、操作制御部５４は、図１３の指示画面を介して、スクリプト制御を中止する指示を受け付けた場合（図１３の例では、「はい」のボタンが押下された場合）、スクリプト制御が終了していない状態であっても、実行中のスクリプト制御を中止する。
(Fourth embodiment)
Next, a fourth embodiment will be described. A description of portions common to the above-described first embodiment is omitted. In the present embodiment, the
(第５実施形態)
次に、第５実施形態について説明する。上述の第１実施形態と共通する部分については説明を省略する。本実施形態では、操作制御部５４は、一定期間にわたって、操作パネル２７に表示される画面から、紐付情報において紐付けられた画像に対応する領域を検出できなかった場合、スクリプト制御（自動操作制御）の失敗を示す情報を操作パネル２７に表示する制御を行う。
(Fifth embodiment)
Next, a fifth embodiment will be described. A description of portions common to the above-described first embodiment is omitted. In the present embodiment, the
上述したように、スクリプト制御を実行する場合、操作制御部５４は、第１のユーザによって選択された紐付情報において紐付けられた画像を時系列順に読み出し、操作パネル２７に表示された画面の左上からラスター順に走査して、該読み出した画像に対応する領域が存在するか否かを検出する。そして、一定期間にわたって、該読み出した画像に対応する領域を検出できなかった場合、図１４に示すように、タイムアウトのため操作の実行に失敗したことを示すメッセージ（スクリプト制御の失敗を示す情報の一例）を操作パネル２７に表示する制御を行うこともできる。
As described above, when executing the script control, the
(第６実施形態)
次に、第６実施形態について説明する。上述の第１実施形態と共通する部分については説明を省略する。本実施形態では、紐付制御部５５０は、遠隔サポートが開始されてから終了するまでの期間ごとに、受付部５４０で受け付けた操作を示す操作情報と、表示部に表示される画面のうち該操作情報が示す操作に対応する領域の画像と、該操作情報が示す操作に反応した表示情報を識別する表示識別情報と、を紐付けて時系列順に示す紐付情報を記憶部５３に記憶する制御を行う。より具体的には、紐付制御部５５０は、第１の特定部５４２により特定された操作を示す操作情報、または、第２の特定部５４４により特定された操作を示す操作情報と、操作パネル２７（表示部の一例）に表示される画面のうち、模擬ＵＩにおいて第１の特定部５４２により特定された操作が行われた領域に対応する領域の画像、または、操作パネル２７に表示される画面のうち第２の特定部５４４により特定された操作が行われた領域の画像と、第１の特定部５４２により特定された操作に反応したボタン（表示情報の一例）を識別するボタンＩＤ（表示識別情報の一例）、または、第２の特定部５４４により特定された操作に反応したボタンを識別するボタンＩＤと、を紐付けて時系列順に示す紐付情報を記憶部５３に記憶する制御を行う。
(Sixth embodiment)
Next, a sixth embodiment will be described. A description of portions common to the above-described first embodiment is omitted. In the present embodiment, the associating
本実施形態では、紐付制御部５５０は、遠隔サポート中において、第１の特定部５４２により操作（ＰＣ２側の操作）が特定されるたびに、操作パネル２７に表示される画面のうち、その特定された操作の元となる第１の入力情報に含まれる第１の始点情報に対応する位置を中心とする矩形状（所定形状の一例）の領域の画像を抽出してファイルに格納する。そして、該ファイルを識別する画像ＩＤと、第１の特定部５４２により特定された操作を示す操作情報と、操作パネル２７に表示される画面に含まれる複数のボタンのうち、第１の特定部５４２により特定された操作に反応したボタンを識別するボタンＩＤとを紐付けて、当該遠隔サポートに対応する紐付情報内に時系列順（操作が行われた順番）に記録していく。
In the present embodiment, the pegging
また、紐付制御部５５０は、遠隔サポート中において、第２の特定部５４４により操作（ＭＦＰ１側の操作）が特定されるたびに、操作パネル２７に表示される画面のうち、その特定された操作の元となる第２の入力情報に含まれる第２の始点情報が示す位置を中心とする矩形状の領域の画像を抽出してファイルに格納する。そして、該ファイルを識別する画像ＩＤと、第２の特定部５４４により特定された操作を示す操作情報と、操作パネル２７に表示される画面に含まれる複数のボタンのうち、第２の特定部５４４により特定された操作に反応したボタンを識別するボタンＩＤとを紐付けて、当該遠隔サポートに対応する紐付情報内に時系列順に記録していく。
Also, the
図１５は、ある期間（任意の１回の遠隔サポートが開始されてから終了するまでの期間）に対応する紐付情報の一例を示す図である。図１５の例では、紐付情報は、対応する期間内に行われた操作の順番を示す順番情報ごとに、操作情報と画像ＩＤとボタンＩＤとを紐付けた情報である。その他の構成は、上述の各実施形態と同様である。 FIG. 15 is a diagram illustrating an example of the association information corresponding to a certain period (period from when any one remote support is started to when it is ended). In the example of FIG. 15, the association information is information obtained by associating operation information, an image ID, and a button ID for each piece of order information indicating the order of operations performed within a corresponding period. Other configurations are the same as those of the above-described embodiments.
また、本実施形態では、操作制御部５４は、操作パネル２７に表示される画面の中に、前述の第１のユーザによって選択された紐付情報に含まれる画像が存在しない場合は、該画像に紐付けられたボタンＩＤが存在するか否かを検出し、該ボタンＩＤが存在する場合は、操作パネル２７に表示される画面に含まれる複数のボタンのうち該ボタンＩＤで識別されるボタンに対して、該画像に紐付けられた操作情報が示す操作を実行する制御を行う。例えば該ボタンＩＤで識別されるボタンの中心を始点として、該画像に紐付けられた操作情報が示す操作を実行することもできる。
In the present embodiment, the
例えば第１のユーザによって選択された紐付情報が図１５に示す態様であり、操作制御部５４が、図１５の紐付情報において紐付けられた画像として、「６」を示す順番情報に対して紐付けられた画像ＩＤ（この例では「ＦＦＦ．ｐｎｇ」）で識別されるファイルに格納された画像を読み出した場合を例に挙げて動作を説明する。操作制御部５４は、操作パネル２７に表示された画面の左上からラスター順に走査していき、「ＦＦＦ．ｐｎｇ」で識別されるファイルに格納された画像が存在するか否かを検出する。そして、操作パネル２７に表示される画面の中に、「ＦＦＦ．ｐｎｇ」で識別されるファイルに格納された画像が存在しない場合は、図１５に示す紐付情報において「ＦＦＦ．ｐｎｇ」という画像ＩＤに紐付けられた「Ｐｒｉｎｔ」というボタンＩＤが、操作パネル２７に表示される画面の中に存在するか否かを検出（操作パネル２７に表示される画面を作る情報の中に、「Ｐｒｉｎｔ」というボタンＩＤが記述されているか否かを検出）する。図１６に示すように、「Ｐｒｉｎｔ」というボタンＩＤが、操作パネル２７に表示される画面の中に存在する場合、操作制御部５４は、該ボタンＩＤで識別されるボタンに対して、図１５の紐付情報において「Ａａａ．ｐｎｇ」を示す画像ＩＤに紐付けられた「クリック」操作を実行するスクリプト制御を行う。他の画像を読み出した場合についても同様である。その他の動作内容は上述の各実施形態と同様である。
For example, the association information selected by the first user is in the form shown in FIG. 15, and the
(第６実施形態の変形例１)
上述の第６実施形態では、ボタンＩＤはソフト開発時に、予め組み込んでおくことを想定している。その場合、アプリケーションによってはボタンＩＤが付与されていないこともあり得る。そこで、例えば押下などの操作が行われたボタンに対して、予めボタンＩＤが付与されていなかった場合には、該ボタンに対応する文字列（ここでは「キートップ文字列」と称する）を、ボタンＩＤとして紐付情報に自動で保存することもできる。
(
In the sixth embodiment described above, it is assumed that the button ID is incorporated in advance during software development. In that case, the button ID may not be given depending on the application. Therefore, for example, if a button ID is not previously assigned to a button that has been operated such as pressing, a character string corresponding to the button (herein referred to as a “key top character string”), It can also be automatically saved in the association information as a button ID.
例えば図１７に示すように、プリンタアプリを起動するためのボタン（ボタン画像）６１０に対しては、該ボタン６１０を識別する「Ｐｒｉｎｔ」というボタンＩＤが予め付与されており、スキャナアプリを起動するためのボタン６２０に対しては、該ボタン６２０を識別するボタンＩＤが予め付与されていない場合を想定する。この例では、複数のボタン（ボタン画像）ごとに、ボタンＩＤ、キートップ文字列、ボタン押下時の処理などの情報を対応付けたボタン情報が、例えば記憶部５３等の記憶装置に保持されている。
For example, as shown in FIG. 17, a button ID “Print” for identifying the
例えば上述した紐付情報の登録時において、受付部５４０で受け付けた操作（第１の特定部５４２または第２の特定部５４４により特定された操作）が「フリック操作」であり、操作パネル２７に表示される画面のうち該「フリック操作」に対応する領域の画像が「ＢＢＢ．ｐｎｇ」という画像ＩＤで識別される画像であり、該「フリック操作」に反応したボタンがボタン６２０であった場合を想定する。この場合、紐付制御部５５０は、上述のボタン情報を参照して、ボタン６２０に対するボタンＩＤが予め付与されているか否かを確認する。この場合、ボタン６２０に対するボタンＩＤは付与されていないので、図１８に示すように、紐付制御部５５０は、ボタン情報においてボタン６２０に対応付けられた「スキャナ」というキートップ文字列を、ボタンＩＤとして紐付情報に登録する。
For example, at the time of registration of the association information described above, the operation received by the receiving unit 540 (the operation specified by the first specifying
要するに、紐付制御部５５０は、受付部５４０で受け付けた操作に反応したボタンに対して、予めボタンＩＤが付与されていない場合は、該ボタンに対応する文字列を、該ボタンを識別するボタンＩＤとして設定することができる。
In short, if the button ID is not previously assigned to the button that has responded to the operation accepted by the accepting
(第６実施形態の変形例２)
図１９は、本変形例のＭＦＰ１が有する機能の一例を示す図である。図１９に示すように、遠隔サポートアプリ５０により提供される機能には、紐付情報更新部５７０が含まれる。紐付情報更新部５７０は、操作パネル２７に表示される画面の中に、第１のユーザによって選択された紐付情報に含まれる画像が存在せず、かつ、該画像に紐付けられたボタンＩＤが存在する場合、該画像を、操作パネル２７に表示される画面のうち該ボタンＩＤで識別されるボタンを含む所定領域の画像に更新して紐付情報を更新する。
(
FIG. 19 is a diagram illustrating an example of functions that the
例えば第１のユーザによって選択された紐付情報が図１５に示す態様であり、操作制御部５４が、図１５の紐付情報において紐付けられた画像として、「６」を示す順番情報に対して紐付けられた画像ＩＤ（この例では「ＦＦＦ．ｐｎｇ」）で識別されるファイルに格納された画像を読み出した場合を例に挙げて説明する。操作制御部５４は、操作パネル２７に表示された画面の左上からラスター順に走査していき、「ＦＦＦ．ｐｎｇ」で識別されるファイルに格納された画像が存在するか否かを検出する。そして、操作パネル２７に表示される画面の中に、「ＦＦＦ．ｐｎｇ」で識別されるファイルに格納された画像が存在しない場合は、図１５に示す紐付情報において「ＦＦＦ．ｐｎｇ」という画像ＩＤに紐付けられた「Ｐｒｉｎｔ」というボタンＩＤが、操作パネル２７に表示される画面の中に存在するか否かを検出する。「Ｐｒｉｎｔ」というボタンＩＤが、操作パネル２７に表示される画面の中に存在する場合、操作制御部５４は、該画面に表示される複数のボタンのうち該ボタンＩＤで識別されるボタンに対して、図１５の紐付情報において「ＦＦＦ．ｐｎｇ」という画像ＩＤに紐付けられた「クリック」操作を実行するスクリプト制御を行う。このとき、紐付情報更新部５７０は、操作パネル２７に表示される画面のうち、「Ｐｒｉｎｔ」というボタンＩＤで識別されるボタンを含む所定領域の画像を抽出してファイルに格納する。ここでは、このファイルは、「ＧＧＧ．ｐｎｇ」という画像ＩＤで識別されるものとする。そして、紐付情報更新部５７０は、図１５に示す紐付情報において「６」を示す順番情報に対して紐付けられた「ＦＦＦ．ｐｎｇ」という画像ＩＤを、「ＧＧＧ．ｐｎｇ」という画像ＩＤに更新して該紐付情報を更新する（図２０参照）。これにより、紐付情報内の画像を更新しつつ、スクリプト制御の失敗（画像もボタンＩＤも見つからずに処理が継続できない）を抑制できる。
For example, the association information selected by the first user is in the form shown in FIG. 15, and the
(第６実施形態の変形例３)
また、例えば紐付制御部５５０は、受付部５４０で受け付けた操作（第１の特定部５４２または第２の特定部５４４により特定された操作）を示す操作情報と、操作パネル２７に表示される画面のうち該操作情報が示す操作に対応する領域の画像と、該操作情報が示す操作に反応した表示情報（この例では「ボタン」）を識別する表示識別情報（この例では「ボタンＩＤ」）と、該表示情報の種別を示す種別情報と、を紐付けて時系列順に示す紐付情報を記憶部５３に記憶する制御を行うこともできる。
(
Further, for example, the associating
図２１は、ある期間（任意の１回の遠隔サポートが開始されてから終了するまでの期間）に対応する紐付情報の一例を示す図である。図２１の例では、紐付情報は、対応する期間内に行われた操作の順番を示す順番情報ごとに、操作情報と画像ＩＤとボタンＩＤと種別情報とを紐付けた情報である。 FIG. 21 is a diagram illustrating an example of the association information corresponding to a certain period (period from when any one remote support is started to when it is ended). In the example of FIG. 21, the association information is information obtained by associating operation information, an image ID, a button ID, and type information for each piece of order information indicating the order of operations performed within a corresponding period.
また、この例では、操作制御部５４は、操作パネル２７に表示される画面の中に、前述の第１のユーザによって選択された紐付情報に含まれるボタンＩＤが存在し、かつ、該ボタンＩＤに紐付けられた種別情報が示す種別が特定の種別である場合、例えば図２２に示すような、自動操作制御（スクリプト制御）を継続するか中止するかの指示を受け付けるための指示画面を操作パネル２７に表示（例えばダイアログの形式で表示）し、該指示の入力を待つ制御を行う（継続の指示を受け付けない限り、スクリプト制御は実行しない）。継続の指示を受け付けた場合はスクリプト制御を再開する。一方、中止の指示を受け付けた場合は、その時点でスクリプト制御を中止する。
In this example, the
ここでは、「特定の種別のボタン」とは、システム設定変更の操作を行うためのボタンや、ジョブの実行を指示するためのボタンなどの、不可逆な操作を行うためのボタンを想定しているが、これに限られるものではない。 Here, the “specific type of button” is assumed to be a button for performing an irreversible operation such as a button for changing a system setting or a button for instructing execution of a job. However, it is not limited to this.
また、本実施形態では、ユーザは、スクリプト制御を中断するボタン（特定の種別のボタン）を事前に指定することができる。例えばＭＦＰ１のユーザ（第１のユーザ）は、図２３に示すような、特定の種別のボタンを指定するための指定画面を操作パネル２７に呼び出す操作を行い、該指定画面に対して、特定の種別のボタンを指定する操作を行うことができる。この例では、ＭＦＰ１は、指定画面で受け付けた操作に応じて、特定の種別のボタンとして１以上のボタンを決定する機能を有している。そして、ＭＦＰ１は、その決定したボタンの種別を示す情報（特定の種別を示す特定種別情報）を、記憶部５３等の記憶装置に格納する。操作制御部５４は、この特定種別情報を参照して、ボタンＩＤに紐付けられた種別情報が特定種別情報と一致するか否かを判断することで、該種別情報が示す種別が特定の種別であるか否かを判断することができる。なお、これに限らず、例えばＭＦＰ１は、複数種類の種別情報ごとに、特定の種別であるか否かを示す情報を対応付けた対応情報を予め記憶装置に記憶しておく形態であってもよい。この場合、ＭＦＰ１は、ボタンＩＤに紐付けられた種別情報に対応付けられた情報が特定の種別であることを示す場合は、該種別情報が示す種別は特定の種別であると判断することができる。
In the present embodiment, the user can specify in advance a button (a button of a specific type) that interrupts script control. For example, a user (first user) of the
また、スクリプト制御では、ＭＦＰ１の設定を変更するような手順が含まれることがあるが、上述のようにスクリプト制御を途中で中断した場合に、設定変更が中途半端な状態になってしまうことを防ぐため、操作制御部５４は、スクリプト制御の実行前に、例えば図２４の（Ａ）のような、その時点でのＭＦＰ１の設定の一覧を示す情報（設定一覧テーブル）を生成し、その生成した設定一覧テーブルを記憶部５３等の記憶装置に保存しておくことができる。そして、上述の指示画面の表示時や該指示画面でスクリプト制御の中止の指示を受け付けた場合に、操作制御部５４は、その時点での設定一覧テーブル（例えば２４（Ｂ）のような設定一覧テーブル）を生成し、記憶装置に記憶される設定一覧テーブルを更新する。例えば操作制御部５４は、記憶装置に保存しておいた設定一覧テーブルを取り出し、その取り出した設定一覧テーブルと、スクリプト制御の中断時に生成した設定一覧テーブルとを比較し（スクリプト制御の実行前後の両テーブルを比較し）、設定が変わっている項目を抽出する。そして、スクリプト制御の実行前の設定一覧テーブルの項目のうち該抽出した項目の設定値を、スクリプト制御の実行後の設定値に上書きすることができる。
The script control may include a procedure for changing the setting of the
以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Although the embodiments according to the present invention have been described above, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
なお、以上に説明したＭＦＰ１の各部の機能（接続・認証制御部５１０、模擬ＵＩ生成部５２０、模擬ＵＩ送信部５３０、受付部５４０（第１の入力情報受信部５４１、第１の特定部５４２、検出部５４３、第２の特定部５４４）、紐付制御部５５０、遠隔操作制御部５６０、ネットワーク通信制御部５１、アプリケーション実行部５２、操作制御部５４）は、ＣＰＵ（１１または２１）が、記憶装置（例えばＲＯＭ１２、ＨＤＤ１４、ＲＯＭ２２、フラッシュメモリ２４等）に格納されたプログラムを実行することにより実現されるが、これに限らず、例えば上記ＭＦＰ１の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。また、上述の記憶部５３は、ＭＦＰ１が有する記憶装置（例えばＲＯＭ１２、ＨＤＤ１４、ＲＯＭ２２、フラッシュメモリ２４等）により実現される。
It should be noted that the functions of each unit of the
また、上述の実施形態では、本体１０と操作部２０は、別々のオペレーションシステムで互いに独立して動作しているが、これに限らず、例えば本体１０と操作部２０が同じオペレーションシステムで動作する形態であってもよい。
In the above-described embodiment, the
また、上述した実施形態のＭＦＰ１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
The program executed by the
１ ＭＦＰ
２ ＰＣ
３ ネットワーク
１０ 本体
２０ 操作部
４０ 遠隔サポート制御部
４２ ネットワーク通信制御部
４４ ＵＩ制御部
４６ 記憶領域
５１ ネットワーク通信制御部
５２ アプリケーション実行部
５３ 記憶部
５４ 操作制御部
１００ 情報処理システム
４０１ 接続・認証制御部
４０２ 模擬ＵＩ受信部
４０３ 模擬ＵＩ表示部
４０４ 遠隔操作制御部
５１０ 接続・認証制御部
５２０ 模擬ＵＩ生成部
５３０ 模擬ＵＩ送信部
５４０ 受付部
５４１ 第１の入力情報受信部
５４２ 第１の特定部
５４３ 検出部
５４４ 第２の特定部
５５０ 紐付制御部
５６０ 遠隔操作制御部
５７０ 紐付情報更新部
1 MFP
2 PC
3
Claims (32)
前記受付部で受け付けた操作を示す操作情報と、表示部に表示される画面のうち、前記受付部で受け付けた操作に対応する領域の画像とを紐付けて記憶部に記憶する制御を行う紐付制御部と、を備える、
情報処理装置。 A reception unit for receiving operations;
Linkage for performing control to link the operation information indicating the operation received by the reception unit and the image of the area corresponding to the operation received by the reception unit among the screens displayed on the display unit and store them in the storage unit A control unit,
Information processing device.
前記表示部に表示される前記画面を少なくとも模擬した模擬画面を表示する端末から、前記模擬画面に対する入力を示す第１の入力情報を受信する第１の入力情報受信部と、
前記第１の入力情報受信部により受信された前記第１の入力情報に基づいて、操作を特定する第１の特定部と、を有し、
前記紐付制御部は、
前記第１の特定部により特定された操作を示す前記操作情報と、前記表示部に表示される前記画面のうち、前記模擬画面において該操作が行われた領域に対応する領域の画像とを紐付けて前記記憶部に記憶する制御を行う、
請求項１に記載の情報処理装置。 The reception unit
A first input information receiving unit that receives first input information indicating an input to the simulated screen from a terminal that displays a simulated screen that at least simulates the screen displayed on the display unit;
A first specifying unit that specifies an operation based on the first input information received by the first input information receiving unit,
The association control unit
The operation information indicating the operation specified by the first specifying unit is associated with an image of an area corresponding to the area where the operation is performed on the simulated screen among the screens displayed on the display unit. And control to store in the storage unit,
The information processing apparatus according to claim 1.
前記表示部に表示される前記画面に対する入力を検出する検出部と、
前記検出部により検出された入力を示す第２の入力情報に基づいて、操作を特定する第２の特定部と、を有し、
前記紐付制御部は、
前記第２の特定部により特定された操作を示す前記操作情報と、前記表示部に表示される前記画面のうち該操作が行われた領域の画像とを紐付けて前記記憶部に記憶する制御を行う、
請求項１に記載の情報処理装置。 The reception unit
A detection unit for detecting an input to the screen displayed on the display unit;
A second specifying unit that specifies an operation based on second input information indicating an input detected by the detecting unit;
The association control unit
Control for associating the operation information indicating the operation specified by the second specifying unit with the image of the area where the operation is performed in the screen displayed on the display unit, and storing it in the storage unit I do,
The information processing apparatus according to claim 1.
請求項２に記載の情報処理装置。 The association control unit is specified by the first specifying unit for each period from the start to the end of remote support indicating a mode in which the information processing apparatus can accept an operation from the terminal. The operation information indicating an operation is associated with an image of an area corresponding to an area where the operation specified by the first specifying unit is performed on the simulated screen among the screens displayed on the display unit. To perform the control of storing the association information shown in chronological order in the storage unit,
The information processing apparatus according to claim 2.
請求項３に記載の情報処理装置。 The association control unit is configured to perform an operation specified by the second specifying unit for each period from the start to the end of remote support indicating a mode in which the information processing apparatus can accept an operation from a terminal. The linking information indicating the chronological order by linking the operation information indicating the image and the image of the area where the operation specified by the second specifying unit of the screen displayed on the display unit is performed. Control to be stored in the storage unit,
The information processing apparatus according to claim 3.
請求項４に記載の情報処理装置。 The images linked in the linking information selected by the first user indicating the user of the information processing apparatus among the one or more linking information stored in the storage unit are read in chronological order, and are displayed on the display unit. An operation for performing an automatic operation control indicating a control for executing an operation indicated by the operation information associated with the read image when there is an area corresponding to the read image in the displayed screen. A control unit;
The information processing apparatus according to claim 4.
請求項５に記載の情報処理装置。 The images linked in the linking information selected by the first user indicating the user of the information processing apparatus among the one or more linking information stored in the storage unit are read in chronological order, and are displayed on the display unit. An operation for performing an automatic operation control indicating a control for executing an operation indicated by the operation information associated with the read image when there is an area corresponding to the read image in the displayed screen. A control unit;
The information processing apparatus according to claim 5.
前記模擬画面のうち、前記端末のユーザを示す第２のユーザによって指示された位置の始点を示す第１の始点情報と、前記第１の始点情報に対応する時間を示す時間情報と、前記模擬画面のうち前記第２のユーザによって指示された位置の終点を示す第１の終点情報と、前記第１の終点情報に対応する時間を示す時間情報とを少なくとも含み、
前記紐付制御部は、
前記第１の特定部により特定された操作を示す前記操作情報と、前記表示部に表示される前記画面のうち、前記第１の特定部により特定された操作の元となる前記第１の入力情報に含まれる前記第１の始点情報に対応する位置を中心とする所定形状の領域の画像と、を紐付けて前記記憶部に記憶する制御を行う、
請求項６に記載の情報処理装置。 The first input information is:
Of the simulation screen, first start point information indicating a start point of a position designated by a second user indicating a user of the terminal, time information indicating a time corresponding to the first start point information, and the simulation Including at least first end point information indicating an end point of a position designated by the second user in the screen, and time information indicating a time corresponding to the first end point information,
The association control unit
Of the operation information indicating the operation specified by the first specifying unit and the screen displayed on the display unit, the first input serving as a source of the operation specified by the first specifying unit Performing control for associating and storing in the storage unit an image of an area of a predetermined shape centered on a position corresponding to the first start point information included in the information;
The information processing apparatus according to claim 6.
前記表示部に表示される前記画面のうち前記第１のユーザによって指示された位置の始点を示す第２の始点情報と、前記第２の始点情報に対応する時間を示す時間情報と、前記表示部に表示される前記画面のうち前記第１のユーザによって指示された位置の終点を示す第２の終点情報と、前記第２の終点情報に対応する時間を示す時間情報とを少なくとも含み、
前記紐付制御部は、
前記第２の特定部により特定された操作を示す前記操作情報と、前記表示部に表示される前記画面のうち、前記第２の特定部により特定された操作の元となる前記第２の入力情報に含まれる前記第２の始点情報が示す位置を中心とする所定形状の領域の画像と、を紐付けて前記記憶部に記憶する制御を行う、
請求項７に記載の情報処理装置。 The second input information is:
Of the screen displayed on the display unit, second start point information indicating a start point of a position designated by the first user, time information indicating a time corresponding to the second start point information, and the display At least second end point information indicating an end point of a position designated by the first user in the screen displayed on the section, and time information indicating a time corresponding to the second end point information,
The association control unit
Of the operation information indicating the operation specified by the second specifying unit and the screen displayed on the display unit, the second input serving as a source of the operation specified by the second specifying unit Performing control for associating and storing in the storage unit an image of an area of a predetermined shape centered on the position indicated by the second start point information included in the information;
The information processing apparatus according to claim 7.
前記表示部に表示される前記画面の中に、前記紐付情報において紐付けられた画像に対応する領域が存在する場合は、該領域の中心を始点として該画像に紐付けられた前記操作情報が示す操作を実行する、
請求項８に記載の情報処理装置。 The operation controller is
In the screen displayed on the display unit, when there is a region corresponding to the image associated with the association information, the operation information associated with the image starts from the center of the region. Perform the indicated operation,
The information processing apparatus according to claim 8.
前記表示部に表示される前記画面の中に、前記紐付情報において紐付けられた画像に対応する領域が存在する場合は、該領域の中心を始点として該画像に紐付けられた前記操作情報が示す操作を実行する、
請求項９に記載の情報処理装置。 The operation controller is
In the screen displayed on the display unit, when there is a region corresponding to the image associated with the association information, the operation information associated with the image starts from the center of the region. Perform the indicated operation,
The information processing apparatus according to claim 9.
請求項６に記載の情報処理装置。 The operation control unit is displayed on the display unit when there is an area in the screen displayed on the display unit where the difference from the image associated with the association information is equal to or less than a threshold value. In the screen, it is determined that there is an area corresponding to the image associated with the association information.
The information processing apparatus according to claim 6.
請求項７に記載の情報処理装置。 The operation control unit is displayed on the display unit when there is an area in the screen displayed on the display unit where the difference from the image associated with the association information is equal to or less than a threshold value. In the screen, it is determined that there is an area corresponding to the image associated with the association information.
The information processing apparatus according to claim 7.
請求項６に記載の情報処理装置。 The operation control unit performs control to display information indicating that the automatic operation control is being performed on the display unit when performing the automatic operation control.
The information processing apparatus according to claim 6.
請求項７に記載の情報処理装置。 The operation control unit performs control to display information indicating that the automatic operation control is being performed on the display unit when performing the automatic operation control.
The information processing apparatus according to claim 7.
請求項６に記載の情報処理装置。 When the operation control unit receives an instruction to stop the automatic operation control, the operation control unit stops the automatic operation control.
The information processing apparatus according to claim 6.
請求項７に記載の情報処理装置。 When the operation control unit receives an instruction to stop the automatic operation control, the operation control unit stops the automatic operation control.
The information processing apparatus according to claim 7.
請求項６に記載の情報処理装置。 When the operation control unit cannot detect an area corresponding to the image associated with the association information from the screen displayed on the display unit over a certain period of time, information indicating failure of the automatic operation control Control to display on the display unit,
The information processing apparatus according to claim 6.
請求項７に記載の情報処理装置。 When the operation control unit cannot detect an area corresponding to the image associated with the association information from the screen displayed on the display unit over a certain period of time, information indicating failure of the automatic operation control Control to display on the display unit,
The information processing apparatus according to claim 7.
前記遠隔サポートが開始されてから終了するまでの期間ごとに、前記受付部で受け付けた操作を示す前記操作情報と、前記表示部に表示される前記画面のうち前記操作情報が示す操作に対応する領域の画像と、前記操作情報が示す操作に反応した表示情報を識別する表示識別情報と、を紐付けて時系列順に示す前記紐付情報を前記記憶部に記憶する制御を行う、
請求項６に記載の情報処理装置。 The association control unit
Corresponds to the operation information indicating the operation received by the reception unit and the operation indicated by the operation information among the screens displayed on the display unit for each period from the start to the end of the remote support. Control is performed to store in the storage unit the association information that associates an image of the region and display identification information that identifies display information that has reacted to the operation indicated by the operation information, and that is shown in chronological order.
The information processing apparatus according to claim 6.
前記遠隔サポートが開始されてから終了するまでの期間ごとに、前記受付部で受け付けた操作を示す前記操作情報と、前記表示部に表示される前記画面のうち前記操作情報が示す操作に対応する領域の画像と、前記操作情報が示す操作に反応した表示情報を識別する表示識別情報と、を紐付けて時系列順に示す前記紐付情報を前記記憶部に記憶する制御を行う、
請求項７に記載の情報処理装置。 The association control unit
Corresponds to the operation information indicating the operation received by the reception unit and the operation indicated by the operation information among the screens displayed on the display unit for each period from the start to the end of the remote support. Control is performed to store in the storage unit the association information that associates an image of the region and display identification information that identifies display information that has reacted to the operation indicated by the operation information, and that is shown in chronological order.
The information processing apparatus according to claim 7.
前記表示部に表示される前記画面の中に、前記第１のユーザによって選択された前記紐付情報において紐付けられた画像に対応する領域が存在しない場合は、該画像に紐付けられた前記表示識別情報が存在するか否かを検出し、該表示識別情報が存在する場合は、前記表示部に表示される前記画面に含まれる複数の前記表示情報のうち該表示識別情報で識別される前記表示情報に対して、該画像に紐付けられた前記操作情報が示す操作を実行する制御を行う、
請求項２０に記載の情報処理装置。 The operation controller is
In the screen displayed on the display unit, when there is no region corresponding to the image associated with the association information selected by the first user, the display associated with the image It is detected whether or not identification information exists, and when the display identification information exists, the display identification information is identified among the plurality of display information included in the screen displayed on the display unit. Control the display information to perform an operation indicated by the operation information associated with the image.
The information processing apparatus according to claim 20.
前記表示部に表示される前記画面の中に、前記第１のユーザによって選択された前記紐付情報において紐付けられた画像に対応する領域が存在しない場合は、該画像に紐付けられた前記表示識別情報が存在するか否かを検出し、該表示識別情報が存在する場合は、前記表示部に表示される前記画面に含まれる複数の前記表示情報のうち該表示識別情報で識別される前記表示情報に対して、該画像に紐付けられた前記操作情報が示す操作を実行する制御を行う、
請求項２１に記載の情報処理装置。 The operation controller is
In the screen displayed on the display unit, when there is no region corresponding to the image associated with the association information selected by the first user, the display associated with the image It is detected whether or not identification information exists, and when the display identification information exists, the display identification information is identified among the plurality of display information included in the screen displayed on the display unit. Control the display information to perform an operation indicated by the operation information associated with the image.
The information processing apparatus according to claim 21.
請求項２０に記載の情報処理装置。 In the screen displayed on the display unit, there is no area corresponding to the image associated with the association information selected by the first user, and the image associated with the image is associated with the image. When display identification information exists, the image is updated to an image of a predetermined area including the display information identified by the display identification information in the screen displayed on the display unit, and the association information is updated. Further comprising a linking information update unit,
The information processing apparatus according to claim 20.
請求項２１に記載の情報処理装置。 In the screen displayed on the display unit, there is no area corresponding to the image associated with the association information selected by the first user, and the image associated with the image is associated with the image. When display identification information exists, the image is updated to an image of a predetermined area including the display information identified by the display identification information in the screen displayed on the display unit, and the association information is updated. Further comprising a linking information update unit,
The information processing apparatus according to claim 21.
前記受付部で受け付けた操作を示す前記操作情報と、前記表示部に表示される前記画面のうち前記操作情報が示す操作に対応する領域の画像と、前記操作情報が示す操作に反応した表示情報を識別する表示識別情報と、該表示情報の種別を示す種別情報と、を紐付けて時系列順に示す前記紐付情報を前記記憶部に記憶する制御を行う、
請求項２０に記載の情報処理装置。 The association control unit
The operation information indicating the operation received by the reception unit, the image of the area corresponding to the operation indicated by the operation information in the screen displayed on the display unit, and the display information in response to the operation indicated by the operation information Control is performed to store in the storage unit the association information that associates the display identification information that identifies the type and the type information that indicates the type of the display information, and indicates the association information in chronological order.
The information processing apparatus according to claim 20.
前記受付部で受け付けた操作を示す前記操作情報と、前記表示部に表示される前記画面のうち前記操作情報が示す操作に対応する領域の画像と、前記操作情報が示す操作に反応した表示情報を識別する表示識別情報と、該表示情報の種別を示す種別情報と、を紐付けて時系列順に示す前記紐付情報を前記記憶部に記憶する制御を行う、
請求項２１に記載の情報処理装置。 The association control unit
The operation information indicating the operation received by the reception unit, the image of the area corresponding to the operation indicated by the operation information in the screen displayed on the display unit, and the display information in response to the operation indicated by the operation information Control is performed to store in the storage unit the association information that associates the display identification information that identifies the type and the type information that indicates the type of the display information, and indicates the association information in chronological order.
The information processing apparatus according to claim 21.
前記表示部に表示される前記画面の中に、前記第１のユーザによって選択された前記紐付情報に含まれる前記表示識別情報が存在し、かつ、該表示識別情報に紐付けられた前記種別情報が示す種別が特定の種別である場合、前記自動操作制御を継続するか中止するかの指示を受け付けるための指示画面を前記表示部に表示し、前記指示の入力を待つ制御を行う、
請求項２６に記載の情報処理装置。 The operation controller is
In the screen displayed on the display unit, the display identification information included in the association information selected by the first user exists, and the type information associated with the display identification information When the type indicated by is a specific type, an instruction screen for accepting an instruction to continue or stop the automatic operation control is displayed on the display unit, and control for waiting for the input of the instruction is performed.
The information processing apparatus according to claim 26.
前記表示部に表示される前記画面の中に、前記第１のユーザによって選択された前記紐付情報に含まれる前記表示識別情報が存在し、かつ、該表示識別情報に紐付けられた前記種別情報が示す種別が特定の種別である場合、前記自動操作制御を継続するか中止するかの指示を受け付けるための指示画面を前記表示部に表示し、前記指示の入力を待つ制御を行う、
請求項２７に記載の情報処理装置。 The operation controller is
In the screen displayed on the display unit, the display identification information included in the association information selected by the first user exists, and the type information associated with the display identification information When the type indicated by is a specific type, an instruction screen for accepting an instruction to continue or stop the automatic operation control is displayed on the display unit, and control for waiting for the input of the instruction is performed.
The information processing apparatus according to claim 27.
前記端末は、
前記表示部に表示される画面を少なくとも模擬した模擬画面を表示する模擬画面表示部と、
前記模擬画面に対する入力を示す第１の入力情報を前記情報処理装置へ送信する第１の入力情報送信部と、を有し、
前記情報処理装置は、
前記第１の入力情報に基づく操作、または、前記表示部に表示される画面に対する入力を示す第２の入力情報に基づく操作を受け付ける受付部と、
前記受付部で受け付けた操作を示す操作情報と、前記表示部に表示される画面のうち、前記受付部で受け付けた操作に対応する領域の画像とを紐付けて記憶部に記憶する制御を行う紐付制御部と、を有する、
情報処理システム。 An information processing system including an information processing device including a display unit and a terminal connectable to the information processing device,
The terminal
A simulated screen display unit that displays a simulated screen that at least simulates the screen displayed on the display unit;
A first input information transmitting unit that transmits first input information indicating an input to the simulated screen to the information processing apparatus;
The information processing apparatus includes:
A receiving unit that receives an operation based on the first input information or an operation based on second input information indicating an input to a screen displayed on the display unit;
Control is performed for associating operation information indicating the operation received by the reception unit with an image of an area corresponding to the operation received by the reception unit in the screen displayed on the display unit, and storing it in the storage unit A stringing control unit;
Information processing system.
前記受付ステップで受け付けた操作を示す操作情報と、表示部に表示される画面のうち、前記受付ステップで受け付けた操作に対応する領域の画像とを紐付けて記憶部に記憶する制御を行う紐付制御ステップと、を含む、
情報処理方法。 A reception step for accepting operations;
Association for performing control to associate the operation information indicating the operation received in the reception step with the image of the area corresponding to the operation received in the reception step in the screen displayed on the display unit and store it in the storage unit A control step,
Information processing method.
操作を受け付ける受付ステップと、
前記受付ステップで受け付けた操作を示す操作情報と、表示部に表示される画面のうち、前記受付ステップで受け付けた操作に対応する領域の画像とを紐付けて記憶部に記憶する制御を行う紐付制御ステップと、を実行させるためのプログラム。 On the computer,
A reception step for accepting operations;
Association for performing control to associate the operation information indicating the operation received in the reception step with the image of the area corresponding to the operation received in the reception step in the screen displayed on the display unit and store it in the storage unit And a control step for executing the program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/988,125 US9794437B2 (en) | 2015-01-06 | 2016-01-05 | Information processing apparatus, information processing system, and information processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015001003 | 2015-01-06 | ||
| JP2015001003 | 2015-01-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016129020A true JP2016129020A (en) | 2016-07-14 |
Family
ID=56384381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015255351A Pending JP2016129020A (en) | 2015-01-06 | 2015-12-25 | Information processing device, information processing system, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016129020A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018034404A (en) * | 2016-08-31 | 2018-03-08 | コニカミノルタ株式会社 | Remote support system, information processing apparatus, image formation apparatus and program |
-
2015
- 2015-12-25 JP JP2015255351A patent/JP2016129020A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018034404A (en) * | 2016-08-31 | 2018-03-08 | コニカミノルタ株式会社 | Remote support system, information processing apparatus, image formation apparatus and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9471261B2 (en) | Image processing apparatus, display control method, and recording medium | |
| JP6524620B2 (en) | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP6442976B2 (en) | Image forming apparatus, browser control method, and program | |
| JP2010114825A (en) | Image processing apparatus, method of controlling the same, and program | |
| US20140340706A1 (en) | Cooperative image processing system, portable terminal apparatus, cooperative image processing method, and recording medium | |
| JP5599085B2 (en) | Image processing apparatus, control method therefor, and program | |
| US11330131B2 (en) | Image processing apparatus and control method for managing values related to a function of the image processing apparatus | |
| JP5275319B2 (en) | Image processing system, program, and recording medium | |
| US9794437B2 (en) | Information processing apparatus, information processing system, and information processing method | |
| JP6311676B2 (en) | System and information processing method | |
| JP2017122963A (en) | Information processing device, information processing method, program, and information processing system | |
| JP2016129020A (en) | Information processing device, information processing system, information processing method, and program | |
| US9001359B2 (en) | Information processing apparatus capable of setting configuration information for use by an image processing apparatus, and control method and storage medium therefor | |
| JP6786777B2 (en) | Image processing equipment, information processing equipment and programs | |
| US10917531B2 (en) | Operation apparatus, information processing system, and operation method for outputting a message by voice sound | |
| JP6816602B2 (en) | Programs, main programs and subprograms, and information processing terminals | |
| JP2018028874A (en) | System, electronic apparatus, authentication processing method, and program | |
| JP2017041711A (en) | System, information processing method, information terminal, and program | |
| JP2016100828A (en) | Information processing apparatus, information processing system, control method, and control program | |
| US20130201511A1 (en) | Image processing apparatus, operation standardization method, and non-transitory computer-readable recording medium encoded with operation standardization program | |
| JP7010345B2 (en) | Operation device, information processing system, information processing method and program | |
| US11165925B2 (en) | API for printing apparatus functions | |
| JP6798580B2 (en) | Multifunction devices, information processing systems and information processing methods | |
| JP2018112960A (en) | Display control apparatus, image processing apparatus and program | |
| JP6988081B2 (en) | Image forming equipment, image forming system, operating equipment and programs |