JP2023018726A - 遠隔操作方法、遠隔操作プログラム、および情報処理端末 - Google Patents

Abstract

【課題】情報処理端末が遠隔地から制御を受けるための準備を容易にすることを可能にする。【解決手段】インターネットに接続された他の情報処理端末になされた操作に従ってインターネットに接続されていないさらに他の情報処理端末の動作を制御する。他の情報処理端末になされた操作を示す操作情報をインターネットを介して受信し、操作情報に基づいて、他の情報処理端末によるさらに他の情報処理端末のインターネットに接続するためのコマンドをさらに他の情報処理端末に有線通信または無線通信で送信する。【選択図】 図１

Description

本発明は、遠隔操作方法、遠隔操作プログラム、および情報処理端末に関する。

ＣＯＶＩＤ－１９の影響で、情報処理端末の操作に疎い人や高齢者が、テレワークやオンライン会議を行う機会が増えた。テレワークやオンライン会議で、情報処理端末に問題が生じた場合に、支援員が電話により情報処理端末の操作者に情報処理端末の操作を指示をするだけでは、情報処理端末に生じた問題を解決することができない場合がある。そこで、支援員が遠隔地から問題が生じている情報処理端末を操作する場合がある。支援員が遠隔地から遠隔操作対象の情報処理端末を操作する場合、一般に、次の事前準備が必要である。遠隔操作対象の情報処理端末の操作者が、インターネットに遠隔操作対象の情報処理端末を接続したり、専用のソフトウェアを遠隔操作対象の情報処理端末にインストールしたりする準備が事前に必要である。しかし、情報処理端末の操作に疎い人や高齢者には、操作対象の情報処理端末を操作し、操作対象の情報処理端末が遠隔操作を受けるための準備をすることが困難である。

特許文献１には、遠隔地に設置され、かつインターネットに接続された遠隔操作装置と、インターネットに接続され、かつ遠隔操作装置から供給される指令により携帯電話を操作する被遠隔操作装置とを含むシステムについて記載されている。特許文献１に記載の方法では、被遠隔操作装置に接続されるカメラが、携帯電話の表示画面を撮影し、被遠隔操作装置が、撮影された表示画面の画像データを遠隔操作装置に送信する。特許文献１に記載の方法では、遠隔操作装置が、遠隔操作装置の表示装置に画像を表示するので、遠隔操作装置の操作者は、遠隔操作装置の表示装置に表示された携帯電話の表示画面を確認しながら、遠隔操作によって携帯電話を操作することができる。

特開２００２－０３２２４１号公報

特許文献１に記載の方法では、遠隔操作装置の操作者が、遠隔操作装置を操作して、遠隔地から携帯電話を操作するために、被遠隔操作装置がインターネットに事前に接続される必要がある。このように、被遠隔操作装置の操作者が、被遠隔操作装置をインターネットに事前に接続する必要があるので、特許文献１に記載の方法では、情報処理端末が遠隔地から制御を受けるための準備が容易ではない。

本発明の目的の一例は、情報処理端末が遠隔地から制御を受けるための準備を容易にすることを可能にする遠隔操作方法、遠隔操作プログラム、および情報処理端末を提供することにある。

本発明の一態様において、遠隔操作方法は、インターネットに接続された他の情報処理端末になされた操作に従ってインターネットに接続されていないさらに他の情報処理端末の動作を制御する方法である。また、遠隔操作方法は、他の情報処理端末になされた操作を示す操作情報をインターネットを介して受信し、操作情報に基づいて、他の情報処理端末によるさらに他の情報処理端末のインターネットに接続するためのコマンドをさらに他の情報処理端末に有線通信または無線通信で送信する。

また、本発明の他の態様において、遠隔操作プログラムは、インターネットに接続された他の情報処理端末になされた操作に従ってインターネットに接続されていないさらに他の情報処理端末の動作を制御するプログラムである。遠隔操作プログラムは、コンピュータに、他の情報処理端末になされた操作を示す操作情報をインターネットを介して受信する受信機能と、操作情報に基づいて、他の情報処理端末によるさらに他の情報処理端末のインターネットに接続するためのコマンドをさらに他の情報処理端末に有線通信または無線通信で送信する送信機能と、を実現させる。

また、本発明の他の態様において、情報処理端末は、インターネットに接続された他の情報処理端末になされた操作に従ってインターネットに接続されていないさらに他の情報処理端末の動作を制御する。情報処理端末は、他の情報処理端末になされた操作を示す操作情報をインターネットを介して受信する受信部と、操作情報に基づいて、他の情報処理端末によるさらに他の情報処理端末のインターネットに接続するためのコマンドをさらに他の情報処理端末に有線通信または無線通信で送信する送信部と、を備える。

本発明の遠隔操作方法、遠隔操作プログラム、および情報処理端末により、情報処理端末が遠隔地から制御を受けるための準備を容易にすることが可能になる。

本発明における第一の実施形態の情報処理端末の構成例を示すブロック図である。 本発明における第一の実施形態の遠隔操作システムの構成例を示すブロック図である。 本発明における第一の実施形態の情報処理端末の動作例を示すフローチャートである。 本発明における第二の実施形態の遠隔操作システムの構成例を示すブロック図である。 本発明における第二の実施形態の遠隔操作システムの動作例を示すシーケンス図である。 本発明における第二の実施形態の遠隔操作システムの動作例を示すシーケンス図である。 本発明における第二の実施形態の遠隔操作システムの動作例を示すシーケンス図である。 本発明における第二の実施形態の他の情報処理端末の動作例を示すフローチャートである。 本発明における第二の実施形態の他の情報処理端末の動作例を示すフローチャートである。 本発明における第二の実施形態のスマートデバイスの動作例を示すフローチャートである。 本発明における第二の実施形態のスマートデバイスの動作例を示すフローチャートである。 本発明における第二の実施形態の情報処理端末の動作例を示すフローチャートである。 本発明における第二の実施形態のさらに他の情報処理端末の動作例を示すフローチャートである。 本発明における第三の実施形態の遠隔操作システムの構成例を示すブロック図である。 本発明における第三の実施形態の遠隔操作システムの動作例を示すシーケンス図である。 本発明における第三の実施形態の他の情報処理端末の動作例を示すフローチャートである。 本発明における第三の実施形態のスマートデバイスの動作例を示すフローチャートである。 本発明における第三の実施形態の情報処理端末の動作例を示すフローチャートである。 本発明における第三の実施形態のさらに他の情報処理端末の動作例を示すフローチャートである。 本発明における各実施形態のハードウェア構成例を示す図である。

［第一の実施形態］
本発明の第一の実施形態について説明する。

図１は、本実施形態の情報処理端末１の構成例を示すブロック図である。図２は、本発明における第一の実施形態の遠隔操作システムの構成例を示すブロック図である。

本実施形態の情報処理端末１は、インターネットＮに接続された他の情報処理端末２になされた操作に従ってインターネットＮに接続されていないさらに他の情報処理端末４の動作を制御する。

他の情報処理端末２は、入力インタフェース部２１とインターネット接続部２２とを含む。例えば、他の情報処理端末２は、情報処理端末１と、スマートデバイス３と、さらに他の情報処理端末４とは離れた、遠隔地に設置される。

他の情報処理端末２が、さらに他の情報処理端末４の遠隔操作を開始する前に、インターネット接続部２２は、インターネットＮにあらかじめ接続される。入力インタフェース部２１は、他の情報処理端末２になされた操作を示す操作情報の入力を受ける。入力インタフェース部２１には、利用者による入力デバイス（図示せず）の操作に応じて操作情報が入力される。入力インタフェース部２１は、操作情報をインターネット接続部２２に出力する。例えば、入力インタフェース部２１は、入力デバイスであるマウスを含む。例えば、入力インタフェース部２１は、入力デバイスであるキーボードを含む。

他の情報処理端末２は、画像を表示する表示部（図示せず）を備えてもよい。例えば、他の情報処理端末２は、所定の方法で、さらに他の情報処理端末４の表示部（図示せず）の画像を取得する。なお、他の情報処理端末２は、さらに他の情報処理端末４の表示部の画像を必ずしも取得しなくてよい。そして、他の情報処理端末２は、他の情報処理端末２の表示部に、さらに他の情報処理端末４の表示部の画像を表示させる。他の情報処理端末２は、さらに他の情報処理端末４の表示部の画像を利用者に確認させながら操作情報を入力させることができる。

インターネット接続部２２には、操作情報が入力インタフェース部２１から入力される。インターネット接続部２２は、入力された操作情報をスマートデバイス３に送信する。

他の情報処理端末２の入力インタフェース部２１にマウスが含まれ、かつ、利用者がマウスを操作した場合の操作情報について具体的に説明する。操作情報には、利用者のマウスの操作に応じて、次に例示する情報が少なくとも１つ以上含まれる。操作情報には、マウスカーソルの座標を示す情報、マウスのボタンが押下されたことを示す情報、マウスのホイールボタンが回されたことを示す情報、およびマウスのドラッグ操作を示す情報が含まれる。例えば、マウスのドラッグ操作を示す情報には、マウスのボタンが押下されたままマウスカーソルの座標が変化したことを示す情報と、移動前後のマウスカーソルの座標を示す情報とが含まれてもよい。

他の情報処理端末２の入力インタフェース部２１にキーボードが含まれ、かつ利用者がキーボードを操作した場合の操作情報について具体的に説明する。操作情報には、利用者のキーボードの操作に応じて入力されたキーに応じたスキャンコードを示す情報が含まれる。

スマートデバイス３は、インターネットＮに接続する機能と、情報処理端末１と通信を行う通信機能とを備える。

具体的には、スマートデバイス３は、通信部３１とインターネット接続部３２とを含む。他の情報処理端末２が、さらに他の情報処理端末４の遠隔操作を開始する前に、スマートデバイス３の通信部３１は、情報処理端末１の受信部１１と所定の方法であらかじめ接続される。また、他の情報処理端末２が、さらに他の情報処理端末４の遠隔操作を開始する前に、インターネット接続部３２は、インターネットＮにあらかじめ接続される。スマートデバイス３は、例えば、スマートフォンである。

さらに他の情報処理端末４は、インターネットに接続されていない。さらに他の情報処理端末４は、通信部４１を含む。通信部４１は、情報処理端末１と、有線通信または無線通信で通信を行う。

図１および図２を参照して本実施形態の情報処理端末１の構成について詳細に説明する。

情報処理端末１は、受信部１１と送信部１２とを含む。受信部１１は、スマートデバイス３の通信部３１に接続される。送信部１２は、さらに他の情報処理端末４の通信部４１に接続される。

受信部１１は、他の情報処理端末２になされた操作を示す操作情報をインターネットＮを介して受信する。例えば、図２に示されるように、受信部１１は、インターネットＮに接続したスマートデバイス３を介して、スマートデバイス３の通信部３１から、他の情報処理端末２が送信した操作情報を受信する。あるいは、受信部１１は、インターネットＮに接続されてもよい。受信部１１がインターネットＮに接続される場合、受信部１１は、スマートデバイス３を介さずに、操作情報をインターネットＮを介して受信する。

送信部１２は、操作情報に基づいて、他の情報処理端末２によるさらに他の情報処理端末４のインターネットＮに接続するためのコマンドをさらに他の情報処理端末４に有線通信または無線通信で送信する。例えば、さらに他の情報処理端末４のインターネットＮに接続するためのコマンドは、他の情報処理端末２から送信された、さらに他の情報処理端末４がインターネットＮに接続するための操作情報である。

このように、情報処理端末１は、インターネットＮに接続された他の情報処理端末２になされた操作に従ってインターネットＮに接続されていないさらに他の情報処理端末４の動作を制御する。情報処理端末１は、他の情報処理端末２になされた操作を示す操作情報をインターネットＮを介して受信する。情報処理端末１は、操作情報に基づいて、他の情報処理端末２によるさらに他の情報処理端末４のインターネットＮに接続するためのコマンドをさらに他の情報処理端末４に有線通信または無線通信で送信する。そのため、他の情報処理端末２が、インターネットＮを介して情報処理端末１に操作情報を送信することにより、インターネットＮに接続されていないさらに他の情報処理端末４の動作を制御することができる。これにより、インターネットＮに接続されていないさらに他の情報処理端末４をインターネットＮに接続する操作を他の情報処理端末２を操作することにより行うことができる。また、情報処理端末１とさらに他の情報処理端末４とを有線通信または無線通信で接続することにより、さらに他の情報処理端末４が遠隔地から制御を受けるための準備が完了する。このように、情報処理端末４が遠隔地から制御を受けるための準備を容易にすることができる。

次に、図３を参照して、本実施形態の情報処理端末１の動作例を説明する。図３は、情報処理端末１の動作例を示すフローチャートである。

受信部１１は、他の情報処理端末２になされた操作を示す操作情報をインターネットＮを介して受信する（ステップＳ１０１）。

送信部１２は、操作情報に基づいて、他の情報処理端末２によるさらに他の情報処理端末４のインターネットＮに接続するためのコマンドをさらに他の情報処理端末４に有線通信または無線通信で送信する（ステップＳ１０２）。

そのため、他の情報処理端末２が、インターネットＮを介して情報処理端末１に操作情報を送信することにより、インターネットＮに接続されていないさらに他の情報処理端末４の動作を制御することができる。これにより、インターネットＮに接続されていないさらに他の情報処理端末４をインターネットＮに接続する操作を他の情報処理端末２を操作することにより行うことができる。また、情報処理端末１とさらに他の情報処理端末４とを有線通信または無線通信で接続することにより、さらに他の情報処理端末４が遠隔地から制御を受けるための準備が完了する。このように、情報処理端末４が遠隔地から制御を受けるための準備を容易にすることができる。

［第二の実施形態］
次に、本発明の第二の実施形態における遠隔操作システムついて具体的に説明する。第二の実施形態は、情報処理端末５の送信部５２がＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子を備え、さらに他の情報処理端末８の通信部８１がＵＳＢポートを備える点で、第一の実施形態の遠隔操作システムと異なる。また、他の情報処理端末６が、スマートデバイス７により撮影された画像を他の情報処理端末６の表示部６４に表示させる表示制御部６３を備える点で、第一の実施形態の遠隔操作システムと異なる。

まず、図４に、本実施形態の遠隔操作システムの構成例を示す。本実施形態の遠隔操作システムは、情報処理端末５と、他の情報処理端末６と、スマートデバイス７と、さらに他の情報処理端末８とを含む。情報処理端末５は、さらに他の情報処理端末８とスマートデバイス７とに接続される。また、他の情報処理端末６は、インターネットＮに接続される。スマートデバイス７は、情報処理端末５とインターネットＮとに接続される。

本実施形態では、情報処理端末５の各構成の機能を実現するプログラムであるＯＣＰ（Ｏｐｅｒａｔｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍ）１が予め情報処理端末５にインストールされる。また、他の情報処理端末６の各構成の機能を実現するプログラムであるＯＣＰ３が予め他の情報処理端末６にインストールされる。スマートデバイス７の各構成の機能を実現するプログラムであるＯＣＰ２のスマートデバイス７へのインストールについては、後述する。なお、スマートデバイス７が、後述する情報処理端末５の機能を有してもよい。例えば、スマートデバイス７には、情報処理端末５の各構成の機能を実現するプログラムであるＯＣＰ１が、ＯＣＰ２と同様にインストールされてもよい。スマートデバイス７にＯＣＰ１とＯＣＰ２とがインストールされた場合、スマートデバイス７は情報処理端末５の機能を有する。スマートデバイス７にＯＣＰ１とＯＣＰ２とがインストールされた場合、情報処理端末５ではなく、スマートデバイス７が、さらに他の情報処理端末８の動作を制御する。

図４を参照して本実施形態の他の情報処理端末６の構成について詳細に説明する。他の情報処理端末６は、入力インタフェース部６１とインターネット接続部６２とを含む。インターネット接続部６２は、インターネットＮと入力インタフェース部６１と表示制御部６３とに接続される。表示制御部６３は、インターネット接続部６２と表示部６４とに接続される。

他の情報処理端末６の記憶部（図示せず）には、ＯＣＰ３というプログラムが予め記憶されている。他の情報処理端末６は、ＯＣＰ３に従って処理を実行する。他の情報処理端末６が、ＯＣＰ３に従って処理を実行することにより、後述する入力インタフェース部６１、インターネット接続部６２、表示制御部６３、および表示部６４の機能を実現する。

ＯＣＰ３は、少なくとも次の２つの機能の両方を他の情報処理端末６に実現させるプログラムである。ＯＣＰ３は、利用者の他の情報処理端末６の入力デバイスの操作をトラッキングして生成した操作情報をスマートデバイス７に送信する機能を他の情報処理端末６に実現させる。ＯＣＰ３は、スマートデバイス７から受信した画像データが示す画像を表示部６４に表示する機能を他の情報処理端末６に実現させる。

入力インタフェース部６１は、利用者による入力を受ける。具体的には、入力インタフェース部６１には、利用者による入力インタフェース部６１の操作に応じた操作情報が入力される。

入力インタフェース部６１は、入力された操作情報をインターネット接続部６２に出力する。入力インタフェース部６１には、利用者による入力インタフェース部６１の操作に応じてさらに他の情報処理端末８をインターネットＮに接続するための操作情報が入力される。入力される操作情報は、例えば、さらに他の情報処理端末８において、所定の操作画面に入力される必要があるパスワードを示す情報を入力する操作に応じた操作情報である。また、入力インタフェース部６１には、さらに他の情報処理端末８をインターネットＮに接続するための操作情報に加えて、さらに他の情報処理端末８を遠隔操作するための操作情報が入力されてもよい。

入力インタフェース部６１は、例えば、入力デバイスであるマウスを含む。あるいは、入力インタフェース部６１は、入力デバイスであるキーボードを含む。入力インタフェース部６１は、例えば、マウスとキーボードとを含んでもよいし、その他の入力デバイスを含んでもよい。入力インタフェース部６１に２以上の複数の種類の入力デバイスが含まれる場合、入力インタフェース部６１は、入力デバイスの種類を示す情報と操作情報とを関連付けてインターネット接続部６２に出力してもよい。また、入力デバイスの種類を示す情報と操作情報に基づくコマンドとを受信した後述するさらに他の情報処理端末８は、入力デバイスの種類を示す情報に基づいて、操作情報に基づくコマンドが示す処理を行ってもよい。

入力インタフェース部６１にマウスが含まれ、かつ、利用者がマウスを操作した場合の操作情報について具体的に説明する。例えば、操作情報には、利用者のマウスの操作に応じて、次に例示する情報が少なくとも１つ以上含まれる。操作情報には、マウスカーソルの座標を示す情報、マウスのボタンが押下されたことを示す情報、マウスのホイールボタンが回されたことを示す情報、およびマウスのドラッグ操作を示す情報が含まれる。例えば、マウスのドラッグ操作を示す情報には、マウスのボタンが押下されたままマウスカーソルの座標が変化したことを示す情報と、移動前後のマウスカーソルの座標を示す情報とが含まれてもよい。

入力インタフェース部６１にキーボードが含まれ、かつ利用者がキーボードを操作した場合の操作情報について具体的に説明する。操作情報には、利用者のキーボードの操作に応じて入力されたキーに応じたスキャンコードを示す情報が含まれる。

入力インタフェース部６１は、利用者による入力を受ける都度、操作情報をインターネット接続部６２に出力する。入力インタフェース部６１は、所定時間の間の利用者の操作を示す操作ログを操作情報としてインターネット接続部６２に出力してもよい。

インターネット接続部６２は、インターネットＮと接続される。インターネットＮに含まれるインターネット接続部６２の接続先に、スマートデバイス７が含まれる。

インターネット接続部６２は、スマートデバイス７から、情報処理端末５と接続済みであることを示す通知を受信する。情報処理端末５と接続済みであることを示す通知を受信した場合に、インターネット接続部６２は、インストールを要求する通知を、情報処理端末５と接続済みであることを示す通知の通知元に送信する。例えば、インターネット接続部６２は、情報処理端末５と接続済みであることを示す通知に含まれるＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスに基づいて通知元を特定する。

なお、入力インタフェース部６１には、利用者による、入力インタフェース部６１の入力デバイス（図示せず）の操作に応じてスマートデバイス７へのプログラムのインストールを要求する指示が入力されてもよい。スマートデバイス７へのプログラムのインストールを要求する指示を入力された場合に、入力インタフェース部６１は、スマートデバイス７へのプログラムのインストールを要求する通知をインターネット接続部６２に出力する。そして、インターネット接続部６２がスマートデバイス７へのプログラムのインストールを要求する通知を送信することにより、スマートデバイス７にプログラムをインストールさせてもよい。例えば、スマートデバイス７へのプログラムのインストールを要求する通知を受信したスマートデバイス７は、スマートデバイス７の表示部に、プログラムの格納先とインストールの要求とを示すメッセージを表示する。これにより、利用者は、スマートデバイス７にプログラムを容易にインストールすることができる。

インターネット接続部６２は、遠隔操作の準備が完了したことを示す通知をスマートデバイス７から受信する。遠隔操作の準備が完了したことを示す通知を受信した場合に、他の情報処理端末６は、さらに他の情報処理端末８の遠隔操作を開始する。また、他の情報処理端末６は、さらに他の情報処理端末８への操作情報の送信を開始する。なお、遠隔操作の準備が完了したことを示す通知を受信した場合に、表示制御部６３は、さらに他の情報処理端末８の遠隔操作の準備が完了したことを示すメッセージを表示部６４に表示させてもよい。

他の情報処理端末６がさらに他の情報処理端末８の遠隔操作を開始した場合に、インターネット接続部６２は、遠隔操作の開始を示す通知を入力インタフェース部６１と表示制御部６３とに出力してもよい。遠隔操作の開始を示す通知が入力された場合に、入力インタフェース部６１は、利用者による入力インタフェース部６１の操作に応じた操作情報の生成を開始してもよい。また、遠隔操作の開始を示す通知を入力された場合に、表示制御部６３は、遠隔操作の開始を示すメッセージを表示部６４に表示させてもよい。また、インターネット接続部６２は、スマートデバイス７に画像データを要求してもよい。画像データを要求された場合に、スマートデバイス７の撮影部７３は撮影を行い、インターネット接続部７２が、他の情報処理端末６に画像データを送信してもよい。

他の情報処理端末６の制御ではなく、利用者による操作に応じてスマートデバイス７にＯＣＰ２がインストールされた場合、インターネット接続部６２は、インストールが終了したスマートデバイス７から遠隔操作の準備が完了したことを示す通知を受信する。他の情報処理端末６は、接続済みであることを示す通知と遠隔操作の準備が完了したことを示す通知とを両方受信した場合に、さらに他の情報処理端末８の遠隔操作を開始してもよい。

インターネット接続部６２には、操作情報が入力インタフェース部６１から入力される。インターネット接続部６２は、操作情報をインターネットＮを介してスマートデバイス７に送信する。

また、インターネット接続部６２は、スマートデバイス７からインターネットＮを介して画像データを受信する。インターネット接続部６２は、画像データを表示制御部６３に出力する。

表示制御部６３には、インターネット接続部６２から画像データが入力される。表示制御部６３は、入力された画像データが示す画像を表示部６４に表示させる。

表示部６４は、画像データが示す画像を表示する。表示部６４は、表示制御部６３の制御を受ける。表示部６４は、例えば、ディスプレイである。

次に、図４を参照して本実施形態のスマートデバイス７の構成について詳細に説明する。

スマートデバイス７は、通信部７１とインターネット接続部７２とを含む。インターネット接続部７２は、撮影部７３に接続される。

本実施形態におけるスマートデバイス７の通信部７１とインターネット接続部７２の各々の構成は、図２に示す第一の実施形態におけるスマートデバイス３の通信部３１とインターネット接続部３２の各々の構成と同様であるので、共通する説明を省略する。

スマートデバイス７に含まれる記憶部（図示せず）には、ＯＣＰ２というプログラムが、他の情報処理端末６または利用者によって記憶される。本実施形態では、他の情報処理端末６に要求された場合に、スマートデバイス７がＯＣＰ２をインストールする。また、スマートデバイス７は、インストールした後にＯＣＰ２を起動し、ＯＣＰ２に従って処理を実行する。スマートデバイス７が、ＯＣＰ２に従って処理を実行することにより、後述する通信部７１、インターネット接続部７２、および撮影部７３の機能を実現する。

ＯＣＰ２は、インターネットＮ経由で他の情報処理端末６から指示を受けて、スマートデバイス７が情報処理端末１に操作情報を送信する機能をスマートデバイス７に実現させるプログラムである。また、ＯＣＰ２は、スマートデバイス７の撮影部７３により撮影された画像データを他の情報処理端末６に送信する機能をスマートデバイス７に実現させるプログラムである。ＯＣＰ２は、例えば、さらに他の情報処理端末８の操作に関しての支援員による支援を受ける人によってスマートデバイス７にインストールされてもよい。あるいは、ＯＣＰ２は、支援を受ける人に代行して、支援員によってスマートデバイス７に予めインストールされてもよい。

通信部７１は、情報処理端末５の受信部５１と所定の方法であらかじめ接続される。本実施形態では、利用者が、通信部７１と、情報処理端末５の受信部５１とを接続する。情報処理端末５と接続された場合、通信部７１は、情報処理端末５の登録や認証を行い、スマートデバイス７が、情報処理端末５と通信や情報処理端末５の機能の呼び出しができる状態にするペアリング処理を行う。

本実施形態では、まず、利用者が、スマートデバイス７と情報処理端末５とを接続する。次に、利用者が、後述する情報処理端末５とさらに他の情報処理端末８とを接続する。他の情報処理端末６とスマートデバイス７とは、インターネットＮを介して接続される。なお、利用者が各装置を接続する順番は、前述の順番に限定されない。利用者は、任意の順序で各装置を接続することができる。

通信部７１は、情報処理端末５から、さらに他の情報処理端末８と接続済みであることを示す通知を受信する。さらに他の情報処理端末８と接続済みであることを示す通知を受信した場合、通信部７１は、情報処理端末５と接続済みであることを示す通知を後述するインターネット接続部７２に出力する。

通信部７１には、インターネット接続部７２から操作情報が入力される。通信部７１は、入力された操作情報を情報処理端末５の受信部５１に送信する。

インターネット接続部７２は、インターネットＮと予め接続される。インターネットＮに含まれるインターネット接続部７２の接続先に、他の情報処理端末６が含まれる。

インターネット接続部７２には、情報処理端末５と接続済みであることを示す通知が通信部７１から入力される。インターネット接続部７２は、情報処理端末５と接続済みであることを示す通知を他の情報処理端末６にインターネットＮを介して送信する。

インターネット接続部７２は、他の情報処理端末６からインストールを要求する通知を受信する。インストールを要求する通知を受信した場合、インターネット接続部７２は、外部の装置からＯＣＰ２を取得する。なお、他の情報処理端末６のインターネット接続部６２が、ＯＣＰ２をスマートデバイス７に送信してもよい。インターネット接続部７２は、取得したＯＣＰ２を記憶部（図示せず）に記憶させる。ＯＣＰ２をインストールした場合、インターネット接続部７２は、遠隔操作の準備が完了したことを示す通知を他の情報処理端末６にインターネットＮを介して送信する。

なお、ＯＣＰ２が利用者によってスマートデバイス７にインストールされた場合も、インターネット接続部７２は、遠隔操作の準備が完了したことを示す通知を他の情報処理端末６に送信する。

インターネット接続部７２は、他の情報処理端末６から、インターネットＮを介し操作情報を受信する。インターネット接続部７２は、操作情報を通信部７１に出力する。

また、インターネット接続部７２には、画像データが撮影部７３から入力される。インターネット接続部７２は、入力された画像データを他の情報処理端末６にインターネットＮを介し送信する。

撮影部７３は、撮影対象物を撮影し、画像データをインターネット接続部７２に出力する。撮影部７３は、例えば、スマートデバイス７に内蔵されるカメラである。スマートデバイス７は、利用者により、撮影部７３がさらに他の情報処理端末８の表示部８３を撮影可能な位置に設置される。例えば、スマートデバイス７が各装置と接続された後に、スマートデバイス７は、撮影部７３がさらに他の情報処理端末８の表示部８３を撮影可能な位置に設置される。撮影部７３が撮影する撮影対象物は、さらに他の情報処理端末８の表示部８３である。撮影部７３は、継続して、または所定の頻度で撮影対象物の撮影を行う。また、撮影部７３は、所定の頻度で画像データをインターネット接続部７２に出力する。撮影部７３の画像データにより、他の情報処理端末６の表示部６４は、リアルタイムに他の情報処理端末８の表示部８３の画面を示す画像を表示することができる。

なお、利用者は、撮影部７３がさらに他の情報処理端末８の表示部８３を撮影できる位置にスマートデバイス７を設置した後に、利用者のスマートデバイス７の操作に応じて、スマートデバイス７は遠隔操作を要求する通知を他の情報処理端末６へ送信してもよい。他の情報処理端末６のインターネット接続部６２が遠隔操作を要求する通知を受信した場合に、他の情報処理端末６は、遠隔操作を開始してもよい。

図４を参照して本実施形態の情報処理端末５の構成について詳細に説明する。

本実施形態における情報処理端末５の構成は、図１と図２とに示す第一の実施形態における情報処理端末１の構成と同様であるので、共通する説明を省略する。

情報処理端末５の記憶部（図示せず）には、ＯＣＰ１というプログラムが予め記憶されている。情報処理端末５は、ＯＣＰ１に従って処理を実行する。

ＯＣＰ１は、ＯＣＰ２に従って処理を実行するスマートデバイス７から受ける指示に応じて、操作情報をさらに他の情報処理端末８に送信する機能を情報処理端末１に実現させるプログラムである。

図４を参照して本実施形態の情報処理端末５の構成について詳細に説明する。情報処理端末５は、受信部５１と送信部５２とを含む。

受信部５１は、スマートデバイス７の通信部７１と接続される。受信部５１は、他の情報処理端末６になされた操作を示す操作情報をインターネットＮを介して受信する。受信部５１は、受信した操作情報を送信部５２に出力する。受信部５１と、スマートデバイス７の通信部７１との間の接続は、遠隔操作システムの利用者により接続される。本実施形態では、受信部５１が、スマートデバイス７の通信部７１と接続された後に、送信部５２とさらに他の情報処理端末８の通信部８１とが接続される。

受信部５１と、スマートデバイス７の通信部７１との間の接続には、所定の方法を用いることができる。例えば、受信部５１と、スマートデバイス７の通信部７１との間を接続する方法として、Ｂｌｕｅｔｏｏｔｈ（登録商標）による接続や、電波による接続や、赤外線による接続や、ＵＳＢによる接続を含む有線による接続を用いることができるが、これらに限定されない。

情報処理端末５とスマートデバイス７とが接続された場合、情報処理端末５とスマートデバイス７の各々は、次の処理を行う。具体的には、情報処理端末５とスマートデバイス７とが接続された場合、情報処理端末５の受信５１１とスマートデバイス７の通信部７１とは、互いの装置の登録や認証を行い、通信や機能の呼び出しができる状態にするペアリング処理を行う。具体的には、スマートデバイス７と接続された場合、受信部５１は、スマートデバイス７の登録や認証を行い、受信部５１が、スマートデバイス７と通信やスマートデバイス７の機能の呼び出しができる状態にするペアリング処理を行う。送信部５２とさらに他の情報処理端末８の通信部８１とが接続された場合に、受信部５１は、さらに他の情報処理端末８と接続済みであることを示す通知をスマートデバイス７に送信する。

送信部５２には、受信部５１から操作情報が入力される。送信部５２は、操作情報に基づいて、他の情報処理端末６によるさらに他の情報処理端末８のインターネットＮに接続するためのコマンドをさらに他の情報処理端末８に有線通信または無線通信で送信する。本実施形態では、送信部５２は、有線通信でコマンドをさらに他の情報処理端末８に送信する。コマンドは、操作情報であってもよい。

あるいは、送信部５２は、入力された操作情報を、さらに他の情報処理端末８に応じたコマンドに変換してもよい。他の情報処理端末６から送信された操作情報が、さらに他の情報処理端末８が処理可能な操作情報ではない場合に、送信部５２は、入力された操作情報を、さらに他の情報処理端末８に応じたコマンドに変換する。さらに他の情報処理端末８に応じたコマンドは、例えば、情報処理端末８が処理可能な操作情報である。これにより、情報処理端末８が情報処理端末６から送信された操作情報を処理できる否かによらず、他の情報処理端末６が、さらに他の情報処理端末８を制御することができる。

具体的には、送信部５２は、ＵＳＢ端子を備える。送信部５２は、ＵＳＢ端子がさらに他の情報処理端末８のＵＳＢポートに挿入されることによりさらに他の情報処理端末８と接続される。

情報処理端末５は、さらに他の情報処理端末８に直接接続されたマウスやキーボードのように、ＨＩＤ（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）に準拠した装置としてさらに他の情報処理端末８に認識される。

情報処理端末５は、例えば、マイクロコントローラである。情報処理端末５がマイクロコントローラである場合、送信部５２は、マイクロコントローラのＧＰＩＯ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）と、ケーブルを有するＵＳＢ端子とで構成される。情報処理端末５がマイクロコントローラである場合、送信部５２は、マイクロコントローラのＧＰＩＯと、ケーブルの端部とが接続されることにより実現される。

なお、情報処理端末５は、さらに他の情報処理端末８から、インターネットＮに接続したことを示す通知を受信してもよい。情報処理端末５は、スマートデバイス７とインターネットＮとを介して、さらに他の情報処理端末８がインターネットＮに接続したことを示す通知を他の情報処理端末６に通知してもよい。さらに他の情報処理端末８がインターネットＮに接続したことを示す通知を受信した場合に、他の情報処理端末６の表示制御部６３は、さらに他の情報処理端末８がインターネットＮに接続したことを示すメッセージを表示部６４に表示させてもよい。

図４を参照して本実施形態のさらに他の情報処理端末８の構成について詳細に説明する。さらに他の情報処理端末８は、通信部８１を含む。通信部８１は、表示制御部８２に接続される。表示制御部８２は、通信部８１と表示部８３とに接続される。

さらに他の情報処理端末８は、情報処理端末１に接続される。具体的には、さらに他の情報処理端末８の通信部８１のＵＳＢポートに、情報処理端末５の送信部５２のＵＳＢ端子が挿入されることにより、さらに他の情報処理端末８は、情報処理端末５に接続される。さらに他の情報処理端末８は、遠隔地の支援員による支援を受ける人が有する情報処理端末が想定される。また、さらに他の情報処理端末８が支援を受ける人の情報処理端末である場合、支援を受ける人が、情報処理端末５の送信部５２のＵＳＢ端子をさらに他の情報処理端末８の通信部８１のＵＳＢポートに挿入することが想定される。あるいは、遠隔操作システムがリモートワークで利用される場合、さらに他の情報処理端末８は、リモートワークで労働者が遠隔地から操作する情報処理端末であることが想定される。さらに他の情報処理端末８がリモートワークに使用される場合、労働者は、後述する他の情報処理端末６を操作する前に、情報処理端末５の送信部５２のＵＳＢ端子をさらに他の情報処理端末８の通信部８１のＵＳＢポートに予め挿入する。

さらに他の情報処理端末８は、情報処理端末５以外の装置と接続せずに、あるいは情報処理端末５以外の装置に依存せずに機能するスタンドアロンの状態であってもよい。図４に示されるように、さらに他の情報処理端末８は、インターネットＮに接続されない。

通信部８１は、ＵＳＢ端子の差込口であるＵＳＢポートを備える。通信部８１は、情報処理端末５から操作情報に基づくコマンドを受信する。通信部８１は、操作情報に基づくコマンドを表示制御部８２に出力する。

表示制御部８２は、表示部８３に表示される画像を制御する。具体的には、表示制御部８２には、通信部８１から操作情報に基づくコマンドが入力される。表示制御部８２は、操作情報に基づくコマンドに応じた処理を行い、処理結果に応じた画像を表示部８３に表示させる。例えば、インターネットへの接続のために、表示制御部８２には、さらに他の情報処理端末８において所定の操作画面に入力される必要があるパスワードとを入力する操作に応じた操作情報に基づくコマンドが入力される。なお、パスワードとを入力する操作は、他の情報処理端末６になされる。

表示制御部８２が、操作情報に基づくコマンドに応じた処理を行い、処理結果に応じた画像を表示部８３に表示させる場合について、具体的に説明する。

例えば、マウスの位置を示すマウスカーソルの座標を示す情報が操作情報に基づくコマンドに含まれる場合、表示制御部８２は、座標が示す情報に示される座標の位置にマウスカーソルが位置する画像に、表示部８３に表示させる画像を変える。

操作情報に基づくコマンドに、マウスのボタンが押下されたことを示す情報を含まれる場合、表示制御部８２は、マウスのボタンが押下された後の画像に表示部８３に表示される画像を変える。

操作情報に基づくコマンドに、マウスのホイールボタンが回されたことを示す情報や、マウスのドラッグ操作を示す情報が含まれる場合、表示制御部８２は、コマンドに応じた処理を行い、処理結果に応じた画像を表示部８３に表示させる。

操作情報に基づくコマンドに、スキャンコードを示す情報が含まれる場合、表示制御部８２は、スキャンコードに応じたキーが入力された後の画像を表示部８３に表示させる。

操作情報に基づくコマンドが、所定時間の間の利用者の操作を示す操作ログを含む場合、表示制御部８２は、次の操作を行う。表示制御部８２は、操作ログのうち、最も過去の操作を示す操作情報について、操作情報に基づくコマンドに応じた処理を行い、処理結果に応じた画像を表示部８３に表示させる。表示制御部８２は、最も過去の操作の次に行われた操作を示す操作情報について、操作情報に基づくコマンドに応じた処理を行い、処理結果に応じた画像を表示部８３に表示させる。このように、表示制御部８２は、最も過去に行われた操作を示す操作情報から最も新しい操作を示す操作情報まで、操作ログに含まれる操作情報に基づくコマンドに応じた処理を行い、処理結果に応じた画像を順次表示部８３に表示させる。

表示部８３は、表示制御部８２の制御を受けて画像を表示する。表示部８３は、例えば、ディスプレイである。

このように、情報処理端末５は、インターネットＮに接続された他の情報処理端末６になされた操作に従ってインターネットＮに接続されていないさらに他の情報処理端末８の動作を制御する。情報処理端末５は、他の情報処理端末６になされた操作を示す操作情報をインターネットＮを介して受信する。情報処理端末５は、操作情報に基づいて、他の情報処理端末６によるさらに他の情報処理端末８のインターネットＮに接続するためのコマンドをさらに他の情報処理端末８に有線通信または無線通信で送信する。そのため、他の情報処理端末６が、インターネットＮを介して情報処理端末５に操作情報を送信することにより、インターネットＮに接続されていないさらに他の情報処理端末８の動作を制御することができる。これにより、インターネットＮに接続されていないさらに他の情報処理端末８をインターネットＮに接続する操作を他の情報処理端末６を操作することにより行うことができる。また、情報処理端末５とさらに他の情報処理端末８とを有線通信または無線通信で接続することにより、さらに他の情報処理端末８が遠隔地から制御操作を受けるための準備が完了する。このように、情報処理端末８が遠隔地から制御操作を受けるための準備を容易にすることができる。

次に、図５から図１３を用いて、本実施形態の遠隔操作システムの動作例を説明する。

図５から図７は、遠隔操作システムの動作例を示すシーケンス図である。図８および図９は、他の情報処理端末６の動作例を示すフローチャートである。図１０および図１１は、スマートデバイス７の動作例を示すフローチャートである。図１２は、情報処理端末５の動作例を示すフローチャートである。図１３は、さらに他の情報処理端末８の動作例を示すフローチャートである。

まず、図５を参照して、スマートデバイス７が遠隔操作の準備が完了したことを示す通知を送信するまでの動作を説明する。

利用者により、情報処理端末５の受信部５１は、スマートデバイス７の通信部７１と接続される（ステップＳ２０１）。情報処理端末５の受信部５１は、ペアリング処理を行う（ステップＳ２０２）。また、スマートデバイス７の通信部７１は、ペアリング処理を行う（ステップＳ２０３）。

そして、利用者により、情報処理端末５の送信部５２のＵＳＢ端子が、さらに他の情報処理端末８の通信部８１のＵＳＢポートに挿入される。情報処理端末５の送信部５２がさらに他の情報処理端末８の通信部８１と接続された場合（ステップＳ２０４）に、情報処理端末５の受信部５１は、さらに他の情報処理端末８と接続済みであることを示す通知をスマートデバイス７に送信する（ステップＳ２０５）。

スマートデバイス７の通信部７１は、情報処理端末５から、さらに他の情報処理端末８と接続済みであることを示す通知を受信する。さらに他の情報処理端末８と接続済みであることを示す通知を受信した場合に、通信部７１は、情報処理端末５と接続済みであることを示す通知をインターネット接続部７２に出力する。インターネット接続部７２は、情報処理端末５と接続済みであることを示す通知を他の情報処理端末６にインターネットＮを介して送信する（ステップＳ２０６）。

他の情報処理端末６のインターネット接続部６２は、インターネットＮを介して、スマートデバイス７から、情報処理端末５と接続済みであることを示す通知を受信する。インターネット接続部６２は、インストールを要求する通知を、情報処理端末５と接続済みであることを示す通知の通知元にインターネットＮを介して送信する（ステップＳ２０７）。

スマートデバイス７のインターネット接続部７２は、他の情報処理端末６からインストールを要求する通知を受信する。インストールを要求する通知を受信した場合、インターネット接続部７２は、外部の装置からＯＣＰ２を取得する。インターネット接続部７２は、取得したＯＣＰ２を記憶部に記憶させることにより、ＯＣＰ２をスマートデバイス７にインストールする（ステップＳ２０８）。インターネット接続部７２は、遠隔操作の準備が完了したことを示す通知を他の情報処理端末６にインターネットＮを介して送信する（ステップＳ２０９）。

他の情報処理端末６のインターネット接続部６２は、遠隔操作の準備が完了したことを示す通知をスマートデバイス７から受信する。

次に、図６を参照して、他の情報処理端末６がスマートデバイス７に操作情報を送信し、さらに他の情報処理端末８が操作情報に基づくコマンドに応じた処理を行い、処理結果に応じた画像を表示するまでの動作を説明する。

他の情報処理端末６の入力インタフェース部６１には、利用者による入力インタフェース部６１の操作に応じた操作情報が入力される。入力インタフェース部６１は、入力された操作情報をインターネット接続部６２に出力する。

インターネット接続部６２は、操作情報をインターネットＮを介してスマートデバイス７に送信する（ステップＳ３０１）。

スマートデバイス７のインターネット接続部７２は、他の情報処理端末６から、インターネットＮを介し操作情報を受信する。通信部７１は、情報処理端末５の受信部５１に操作情報を送信する（ステップＳ３０２）。

情報処理端末５の受信部５１は、操作情報を受信する。送信部５２には、受信部５１から操作情報が入力される。送信部５２は、操作情報に基づいて、他の情報処理端末６によるさらに他の情報処理端末８のインターネットに接続するためのコマンドをさらに他の情報処理端末８に有線通信で送信する（ステップＳ３０３）。

さらに他の情報処理端末８の通信部８１は、情報処理端末５から操作情報に基づくコマンドを受信する。表示制御部８２には、通信部８１から操作情報に基づくコマンドが入力される。表示制御部８２は、操作情報に基づくコマンドに応じた処理を行い（ステップＳ３０４）、処理結果に応じた画像を表示部８３に表示させる。表示部８３は、処理結果に応じた画像を表示する（ステップＳ３０５）。

次に、図７を参照して、スマートデバイス７が撮影した画像を示す画像データを他の情報処理端末６が表示部６４に表示させる動作を説明する。

スマートデバイス７は、利用者により、撮影部７３がさらに他の情報処理端末８の表示部８３を撮影可能な位置に設置される。

スマートデバイス７の撮影部７３は、さらに他の情報処理端末８の表示部８３を撮影し（ステップＳ４０１）、画像データをインターネット接続部７２に出力する。インターネット接続部７２は、画像データを他の情報処理端末６にインターネットＮを介し送信する（ステップＳ４０２）。

他の情報処理端末６のインターネット接続部６２は、インターネットＮを介して画像データを受信する。インターネット接続部６２は、画像データを表示制御部６３に出力する。表示制御部６３は、画像データが示す画像を表示部６４に表示させる。表示部６４は、画像データが示す画像を表示する（ステップＳ４０３）。表示制御部６３が表示させる画像には、さらに他の情報処理端末８の表示部８３の画像が含まれる。

次に、図８を参照して、他の情報処理端末６が操作情報を送信する動作例を説明する。また、図８の動作は、図６のステップＳ３０１の動作を詳述するものである。

入力インタフェース部６１は、利用者による入力インタフェース部６１の操作に応じて操作情報の入力を受ける（ステップＳ５０１）。入力インタフェース部６１は、入力された操作情報をインターネット接続部６２に出力する。

インターネット接続部６２は、操作情報をインターネットＮを介してスマートデバイス７に送信する（ステップＳ５０２）。

なお、表示部６４に表示される画像は、表示制御部６３が表示させた、スマートデバイス７により撮影されたさらに他の情報処理端末８の表示部８３の画像である。表示制御部６３が表示させる画像には、さらに他の情報処理端末８の表示部８３の画像が含まれるので、利用者はさらに他の情報処理端末８の表示部８３の画像を確認しつつ、入力インタフェース部６１を操作することができる。

次に、図９を参照して、スマートデバイス７が撮影した画像を他の情報処理端末６が表示部６４に表示させる動作例を説明する。図９の動作は、図７のステップＳ４０３の動作を詳述するものである。

他の情報処理端末６のインターネット接続部６２は、スマートデバイス７からインターネットＮを介して画像データを受信する（ステップＳ６０１）。インターネット接続部６２は、画像データを表示制御部６３に出力する。

表示制御部６３には、インターネット接続部６２から画像データが入力される。表示制御部６３は、入力された画像データが示す画像を表示部６４に表示させる（ステップＳ６０２）。表示部６４は、画像データが示す画像を表示する。

次に、図１０を参照して、操作情報を受信したスマートデバイス７が、操作情報を情報処理端末５に送信する動作例を説明する。また、図１０の動作は、図６のステップＳ３０２の動作を詳述するものである。

インターネット接続部７２は、他の情報処理端末６から、インターネットＮを介し操作情報を受信する（ステップＳ７０１）。インターネット接続部７２は、操作情報を通信部７１に出力する。

通信部７１には、インターネット接続部７２から操作情報が入力される。通信部７１は、入力された操作情報を情報処理端末５の受信部５１に送信する（ステップＳ７０２）。

次に、図１１を参照して、画像データを他の情報処理端末６にスマートデバイス７が送信する動作例を説明する。また、図１１の動作は、図７のステップＳ４０１からステップＳ４０２の動作を詳述するものである。

撮影部７３は、撮影対象物を撮影し（ステップＳ８０１）、画像データをインターネット接続部７２に出力する。撮影対象物には、さらに他の情報処理端末８の表示部８３が含まれる。

インターネット接続部７２は、入力された画像データを他の情報処理端末６にインターネットＮを介し送信する（ステップＳ８０２）。

次に、図１２を参照して、操作情報をさらに他の情報処理端末８に情報処理端末５が送信する動作例を説明する。また、図１２の動作は、図６のステップＳ３０３の動作を詳述するものである。

受信部５１は、他の情報処理端末６になされた操作を示す操作情報をインターネットＮを介して受信する（ステップＳ９０１）。受信部５１は、受信した操作情報を送信部５２に出力する。

送信部５２には、受信部５１から操作情報が入力される。送信部５２は、操作情報に基づいて、他の情報処理端末６によるさらに他の情報処理端末８のインターネットＮに接続するためのコマンドをさらに他の情報処理端末８に有線通信で送信する（ステップＳ９０２）。

次に、図１３を参照して、操作情報に基づくコマンドに応じた処理をさらに他の情報処理端末８が行う動作例を説明する。また、図１３の動作は、図６のステップＳ３０４からステップＳ３０５の動作を詳述するものである。

通信部８１は、情報処理端末５から操作情報に基づくコマンドを受信する（ステップＳ１００１）。通信部８１は、受信した操作情報に基づくコマンドを表示制御部８２に出力する。

表示制御部８２は、操作情報に基づくコマンドに応じた処理を行い（ステップＳ１００２）、処理結果に応じた画像を表示部８３に表示させる（ステップＳ１００３）。

このように、情報処理端末５は、インターネットＮに接続された他の情報処理端末６になされた操作に従ってインターネットＮに接続されていないさらに他の情報処理端末８の動作を制御する。情報処理端末５は、他の情報処理端末６になされた操作を示す操作情報をインターネットＮを介して受信する。情報処理端末５は、操作情報に基づいて、他の情報処理端末６によるさらに他の情報処理端末８のインターネットＮに接続するためのコマンドをさらに他の情報処理端末８に有線通信または無線通信で送信する。このように、他の情報処理端末６が、インターネットＮを介して情報処理端末５に操作情報を送信することにより、インターネットＮに接続されていないさらに他の情報処理端末８の動作を制御することができる。そのため、インターネットＮに接続されていないさらに他の情報処理端末８をインターネットＮに接続する操作を情報処理端末６を操作することにより行うことができる。また、情報処理端末５とさらに他の情報処理端末８とを有線通信または無線通信で接続することにより、さらに他の情報処理端末８が遠隔地から制御操作を受けるための準備が完了する。このように、情報処理端末８が遠隔地から制御操作を受けるための準備を容易にすることができる。

［第二の実施形態の変形例１］
第二の実施形態の変形例１の他の情報処理端末の表示制御部は、インターネット接続部から入力された画像データが示す画像を補正する。例えば、スマートデバイス７の撮影部７３の撮影方向が、さらに他の情報処理端末８の表示部８３の画面に対して垂直でない場合が想定される。つまり、スマートデバイス７の撮影部７３が、表示部８３の画面に対して斜めの方向から、さらに他の情報処理端末８の表示部８３を撮影可能な位置に設置された場合が想定される。変形例１の他の情報処理端末の表示制御部は、画像データが示す画像の特徴部分を特定する。例えば、変形例１の他の情報処理端末の表示制御部は、さらに他の情報処理端末８の表示部８３の画面の角に対応する部分を、画像の特徴部分として特定する。変形例１の他の情報処理端末の表示制御部は、特定した画像の特徴部分に基づき画像を補正する。例えば、さらに他の情報処理端末８の表示部８３の画面の角に対応する部分を、画像の特徴部分として特定した場合、表示制御部は、画面の角に対応する部分の各々が他の情報処理端末の表示部の四隅に配置されるように画像データが示す画像を補正する。他の情報処理端末の表示制御部は、補正した画像を表示部に表示させる。

あるいは、他の情報処理端末６ではなく、スマートデバイス７の処理部（図示せず）が、画像の補正を行ってもよい。スマートデバイス７の処理部は、撮影部７３により撮影された、さらに他の情報処理端末８の表示部８３の画面を示す画像データを取得し、画像の特徴部分に基づき、歪みを補正してもよい。そして、スマートデバイス７のインターネット接続部７２が、歪みが補正された画像を示す画像データを他の情報処理端末６に送信してもよい。

変形例１の他の情報処理端末は、スマートデバイス７の撮影部７３により撮影された、さらに他の情報処理端末８の表示部８３の画面を示す画像が歪んでいる場合に、表示制御部が特定した画像の特徴部分に基づき、歪みを補正した画像を表示部に表示させる。これにより、他の情報処理端末の表示部には歪みが補正された後の画像が表示される。歪みが補正された後の画像を利用者に確認させて他の情報処理端末の入力インタフェース部を利用者に操作させることが可能になるので、変形例１の他の情報処理端末は、利用者の利便性を向上させることができる。

［第二の実施形態の変形例２］
利用者が他の情報処理端末６の入力インタフェース部６１を操作してから、スマートデバイス７により撮影された、さらに他の情報処理端末８の表示部８３の操作に応じた画像が、他の情報処理端末６の表示部６４に表示されるまでに時間がかかる可能性がある。一般に、利用者が他の情報処理端末６の入力インタフェース部６１を操作してから、表示部６４に操作に応じた画像が表示されるまでに１００ミリ秒以上の時間がかかると、利用者に違和感を感じさせてしまうことがある。第二の実施形態の変形例２の遠隔操作装置は、利用者に遅延時間があることを把握させる。

さらに他の情報処理端末８の表示制御部８２が、さらに他の情報処理端末８のシステム時刻を表示部８３に表示させる。第二の実施形態の変形例２の遠隔操作装置の表示制御部は、インターネット接続部から入力された画像データが示す画像に、さらに遠隔制御装置のシステム時刻を表示させる。なお、システム時刻は、さらに他の情報処理端末８と他の情報処理端末とが予め時刻合わせを行うことによりさらに他の情報処理端末８と他の情報処理端末との間で共通の時刻である。

さらに他の情報処理端末８の表示部８３に表示されるシステム時刻を含む画像の上に、他の情報処理端末のシステム時刻が表示されるので、利用者は、さらに他の情報処理端末８のシステム時刻と他の情報処理端末のシステム時刻とを利用者に比較することができる。本変形例の他の情報処理端末は、さらに他の情報処理端末８のシステム時刻と他の情報処理端末のシステム時刻とを利用者に比較させることにより、利用者に遅延時間があることを把握させる。利用者が遅延時間があることを把握できない場合、送信済みの操作が反映される前のさらに他の情報処理端末８の画面が、他の情報処理端末の表示部に表示されたままである。そのため、すでに操作情報が送信されている操作を再度行うという利用者の誤操作を引き起こす可能性がある。本変形例では、利用者に遅延時間があることを把握させることにより、利用者が再度入力済みの操作を行う可能性を低減することができる。

［第二の実施形態の変形例３］
第二の実施形態の変形例３のスマートデバイスは、光学文字認識を行う処理部をさらに含む。スマートデバイスの処理部には、撮影部から画像データが入力される。スマートデバイスの処理部は、光学文字認識を行うことにより、入力された画像データが示す画像に含まれる文字を認識し、システム時刻を示すシステム時刻情報を生成する。あるいは、他の情報処理端末６の表示制御部６３が、光学文字認識を行うことにより、画像データが示す画像に含まれる文字を認識し、システム時刻情報を生成してもよい。

本変形例では、さらに他の情報処理端末８の表示制御部８２が、さらに他の情報処理端末８のシステム時刻を表示部８３に表示させる。システム時刻は、さらに他の情報処理端末８と他の情報処理端末６とが予め時刻合わせを行うことにより、さらに他の情報処理端末８と他の情報処理端末６との間で共通の時刻である。

あるいは、情報処理端末５が、システム時刻を表示する表示部をさらに備えてもよい。情報処理端末５は、スマートデバイスから、システム時刻を示すシステム時刻情報を取得してもよい。また、スマートデバイスは、さらに他の情報処理端末８および他の情報処理端末６と予め時刻合わせを行ってもよい。情報処理端末５が、表示部にシステム時刻を表示する場合、表示部は、例えば、２以上の複数のＬＥＤ（Ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）が縦横に配置されたマトリクスＬＥＤである。情報処理端末５が、システム時刻を表示する表示部をさらに備える場合、スマートデバイスは、撮影部が、情報処理端末５の表示部と、さらに他の情報処理端末８の表示部８３とを両方撮影可能な位置に配置される。

スマートデバイスの処理部は、インターネット接続部に生成したシステム時刻情報を出力する。インターネット接続部は、システム時刻情報と画像データとを関連付けて他の情報処理端末６送信する。

システム時刻情報と画像データとを受信した他の情報処理端末６のインターネット接続部６２は、受信したシステム時刻情報と画像データとを関連付けて表示制御部６３に出力する。表示制御部６３は、入力されたシステム時刻情報が示すシステム時刻と、他の情報処理端末６のシステム時刻の差分を算出し、入力された画像データが示す画像と算出した差分とを表示部６４に表示させる。

表示部６４の画像におけるさらに他の情報処理端末８の表示部８３のシステム時刻と、他の情報処理端末６のシステム時刻との差分を表示部６４に表示させることにより、他の情報処理端末６は、利用者に遅延時間があることを把握させる。利用者が遅延時間があることを把握できない場合、送信済みの操作情報が反映される前のさらに他の情報処理端末８の画面が、情報処理端末６の表示部６４に表示されたままである。そのため、すでに操作情報が送信されている操作を再度行うという利用者の誤操作を引き起こす可能性がある。一方で、本変形例の遠隔操作システムは、利用者に遅延時間があることを把握させるので、利用者の誤操作を抑制することができる。

［第二の実施形態の変形例４］
第二の実施形態の変形例４の他の情報処理端末は、他の情報処理端末の入力インタフェース部に操作情報が入力されてから、さらに他の情報処理端末８の表示部８３の画像が変化するまでの時間を計測する。

本変形例の他の情報処理端末の入力インタフェース部は、操作情報が入力されたシステム時刻を記憶部（図示せず）に記憶させる。さらに、他の情報処理端末の表示制御部は、操作情報が入力されたシステム時刻以後に撮影された画像データが示す画像が他の画像に変化するまでのフレーム数を算出する。そして、他の情報処理端末の表示制御部は、スマートデバイス７により撮影された動画像のフレームレートと、算出したフレーム数とに基づいて、さらに他の情報処理端末８の表示部８３の画像が変化するまでの時間を算出する。

なお、スマートデバイス７のインターネット接続部７２は、スマートデバイス７により撮影された動画像のフレームレートを示す情報と画像データとを関連付けて遠隔操作装置に送信する。

スマートデバイス７の撮影部７３が、３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）でさらに他の情報処理端末８の表示部８３を撮影する場合を例に、具体的に説明する。操作情報が入力されたシステム時刻から３フレーム後に撮影された画像に変化が生じた場合、他の情報処理端末の表示制御部は、操作情報が入力されたシステム時刻以後に撮影された画像データが示す画像が他の画像に変化するまでのフレーム数である３を算出する。他の情報処理端末の表示制御部は、フレームレートを示す情報が示すフレームレートと、算出したフレーム数とに基づいて、さらに他の情報処理端末８の表示部８３の画像が変化するまでの時間を算出する。具体的には、他の情報処理端末の表示制御部は、０．１秒（１秒÷３０ｆｐｓ×３ｆｒａｍｅ＝０．１秒）を算出する。他の情報処理端末の表示制御部は、画像データが示す画像と、算出した遅延時間とを表示部に表示させる。

他の情報処理端末が、算出した遅延時間を表示部に表示させることにより、利用者に遅延時間を把握させる。利用者が遅延時間があることを把握できない場合、送信済みの操作が反映される前のさらに他の情報処理端末８の画面が、他の情報処理端末の表示部に表示されたままである。そのため、すでに操作情報が送信されている操作を再度行うという利用者の誤操作を引き起こす可能性がある。一方で、本変形例の遠隔操作システムは、利用者に遅延時間を把握させるので、他の情報処理端末は、利用者の誤操作を抑制することができる。

あるいは、スマートデバイス７が、遅延時間を算出してもよい。他の情報処理端末は、操作情報が他の情報処理端末に入力されたシステム時刻を示すシステム時刻情報と操作情報とを関連付けてスマートデバイス７に送信する。

スマートデバイス７の通信部７１は、受信した操作情報を情報処理端末５に送信する。また、スマートデバイス７の処理部（図示せず）は、システム時刻情報が示すシステム時刻から、撮影されている画像データが示す画像が他の画像に変化するまでのフレーム数を算出する。そして、スマートデバイス７の処理部は、スマートデバイス７の撮影部７３により撮影された動画像のフレームレートと、算出したフレーム数とに基づいて遅延時間を算出する。スマートデバイス７は、算出した遅延時間を示す情報を他の情報処理端末６に送信する。他の情報処理端末６は、受信した遅延時間を示す情報に基づいて、遅延時間を示すメッセージを表示部６４に表示させる。

［第三の実施形態］
次に、本発明の第三の実施形態における遠隔操作システムついて具体的に説明する。第三の実施形態は、他の情報処理端末１００が、画像を表示させるための制御情報である、画像制御情報を受信する点で、第二の実施形態の遠隔操作システムと異なる。画像制御情報に基づく画像は、さらに他の情報処理端末１２０の表示制御部１２２が他の情報処理端末１００からの操作情報に基づくコマンドを処理した結果に応じる画像である。また、さらに他の情報処理端末１２０の表示部８３および他の情報処理端末１００の表示部６４に表示される画像である。画像制御情報には、画像の情報、または表示制御部１２２によるコマンドに応じた処理の結果を示す情報が含まれる。本実施形態では、第二の実施形態との相違点を中心に説明するが、第二の実施形態で説明した様々な例が適用できる。

図１４を参照して、本実施形態の遠隔操作システムの構成例を説明する。図１４は、本実施形態の遠隔操作システムの構成例を示すブロック図である。本実施形態の遠隔操作システムは、情報処理端末９と他の情報処理端末１００と、スマートデバイス１１０と、さらに他の情報処理端末１２０とを含む。情報処理端末９は、さらに他の情報処理端末１２０とスマートデバイス１１０とに接続される。また、他の情報処理端末１００は、インターネットＮに接続される。スマートデバイス１１０は、情報処理端末９とインターネットＮとに接続される。

図１４を参照して本実施形態の他の情報処理端末１００の構成について詳細に説明する。他の情報処理端末１００は、入力インタフェース部６１とインターネット接続部１０２とを含む。インターネット接続部１０２は、インターネットＮと入力インタフェース部６１と表示制御部１０３とに接続される。表示制御部１０３は、インターネット接続部１０２と表示部６４とに接続される。本実施形態における他の情報処理端末１００の入力インタフェース部６１および表示部６４の各々は、図４に示す第二の実施形態における他の情報処理端末６の入力インタフェース部６１および表示部６４の各々と同様である。そこで、本実施形態における他の情報処理端末１００の入力インタフェース部６１および表示部６４の各々について、対応する要素に図４と同じ符号を付して説明を省略する。

インターネット接続部１０２は、インターネットＮと接続される。インターネットＮに含まれるインターネット接続部１０２の接続先に、スマートデバイス１１０が含まれる。他の情報処理端末１００の各構成が、さらに他の情報処理端末１２０の遠隔操作を開始するまでの処理、および操作情報を送信する処理は、第二の実施形態の他の情報処理端末６の処理と同様であるので、説明を省略する。

インターネット接続部１０２は、スマートデバイス１１０からインターネットＮを介して、画像を表示させるための制御情報である画像制御情報を受信する。インターネット接続部１０２は、画像制御情報を表示制御部１０３に出力する。

表示制御部１０３には、インターネット接続部１０２から画像制御情報が入力される。表示制御部１０３は、画像制御情報に基づく画像を表示部６４に表示させる。

次に、図１４を参照して本実施形態のスマートデバイス１１０の構成について詳細に説明する。

スマートデバイス１１０は、通信部１１１とインターネット接続部１１２とを含む。

スマートデバイス１１０が、ペアリング処理、さらに他の情報処理端末１２０と接続済みであることを示す通知を受信した場合の処理、およびインストールを要求する通知を受信した場合の処理は、第二の実施形態のスマートデバイス７の処理と同様である。また、スマートデバイス１１０が、操作情報を送受信する場合の処理は、第二の実施形態のスマートデバイス７の処理と同様である。そこで、スマートデバイス１１０が行う、ペアリング処理、さらに他の情報処理端末１２０と接続済みであることを示す通知を受信した場合の処理、インストールを要求する通知を受信した場合の処理、および操作情報を送受信する場合の処理の説明を省略する。

通信部１１１は、画像制御情報を受信する。通信部１１１は、画像制御情報をインターネット接続部１１２に出力する。

インターネット接続部１１２には、画像制御情報が通信部１１１から入力される。インターネット接続部１１２は、入力された画像制御情報を他の情報処理端末１００にインターネットＮを介し送信する。

図１４を参照して本実施形態の情報処理端末９の構成について詳細に説明する。

情報処理端末９は、受信部９１と送信部９２とを含む。

本実施形態における情報処理端末９の受信部９１は、第二の実施形態における情報処理端末５の受信部５１と同様にペアリング処理を行うので、ペアリング処理の説明を省略する。

受信部９１は、他の情報処理端末１００になされた操作を示す操作情報を、インターネットＮを介してスマートデバイス１１０を経由して受信する。受信部９１は、受信した操作情報を送信部９２に出力する。

また、受信部９１には、画像制御情報が送信部９２から入力される。受信部９１は、入力された画像制御情報をスマートデバイス１１０に送信する。

送信部９２は、ＵＳＢ端子がさらに他の情報処理端末１２０の通信部１２１のＵＳＢポートに挿入されることによりさらに他の情報処理端末１２０と接続される。送信部９２は２つのＵＳＢ端子を備える。送信部９２の２つのＵＳＢ端子の各々が、通信部１２１のＵＳＢポートに挿入される。

送信部９２には、受信部９１から操作情報が入力される。送信部９２は、一方のＵＳＢ端子を介し、入力された操作情報に基づいて、他の情報処理端末１００によるさらに他の情報処理端末１２０のインターネットＮに接続するためのコマンドを、さらに他の情報処理端末１２０に送信する。送信部９２は、他方のＵＳＢ端子を介し、画像制御情報をさらに他の情報処理端末１２０から受信する。送信部９２は、画像制御情報を受信部９１に出力する。

２つのＵＳＢ端子のうち、少なくとも、画像制御情報をさらに他の情報処理端末１２０から受信するＵＳＢ端子は、ＵＳＢ規格以外の信号を流すことができるオルタネイトモードに対応する。

また、送信部９２は２つのＵＳＢ端子を備えるのではなく、送信部９２は１つのＵＳＢ端子を備えてもよい。送信部９２が１つのＵＳＢ端子を備える場合、ＵＳＢ端子を構成する複数の信号線のうち、所定の信号線を用いて操作情報に基づくコマンドを送信し、その他の信号線から画像制御情報を受信してもよい。

図１４を参照して本実施形態のさらに他の情報処理端末１２０の構成について詳細に説明する。

さらに他の情報処理端末１２０は、通信部１２１を含む。通信部１２１は、表示制御部１２２に接続される。表示制御部１２２は、通信部１２１と表示部８３とに接続される。本実施形態におけるさらに他の情報処理端末１２０の表示部８３は、図４に示す第二の実施形態におけるさらに他の情報処理端末８の表示部８３と同様であるので、対応する要素に図４と同じ符号を付して説明を省略する。

通信部１２１は、２つのＵＳＢポートを備える。２つのＵＳＢポートの各々に、情報処理端末９の送信部９２の２つのＵＳＢ端子の各々が挿入されることにより、さらに他の情報処理端末１２０は、情報処理端末９に接続される。通信部１２１は、一方のＵＳＢポートを介し、情報処理端末９から操作情報に基づくコマンドを受信する。通信部１２１は、操作情報に基づくコマンドを表示制御部１２２に出力する。

また、通信部１２１には、表示制御部１２２から、画像制御情報が入力される。通信部１２１は、他方のＵＳＢポートを介し、画像制御情報を情報処理端末９に送信する。

表示制御部１２２には、通信部１２１から操作情報に基づくコマンドが入力される。表示制御部１２２は、操作情報に基づくコマンドに応じた処理を行う。表示制御部１２２は、処理結果に応じた画像を表示させるための制御情報である画像制御情報を生成する。また、画像制御情報には、画像の情報、または表示制御部１２２が操作情報に基づくコマンドを処理した結果を示す情報が含まれる。表示制御部１２２は、生成した画像制御情報を表示部８３と通信部１２１とに出力する。画像制御情報は、さらに他の情報処理端末１２０によりコマンドが処理された結果を表示する画像を表示するための制御情報である。

表示部８３は、表示制御部１２２の制御を受けて画像を表示する。具体的には、表示部８３には、表示制御部１２２から、画像制御情報が入力される。表示部８３は、画像制御情報に基づく画像を表示する。このように、表示部８３は、表示制御部１２２が操作情報に基づくコマンドを処理した結果を示す画像を表示する。

このように、情報処理端末９は、インターネットＮに接続された他の情報処理端末１００になされた操作に従ってインターネットＮに接続されていないさらに他の情報処理端末１２０の動作を制御する。情報処理端末９は、他の情報処理端末１００になされた操作を示す操作情報をインターネットＮを介して受信する。情報処理端末９は、操作情報に基づいて、他の情報処理端末１００によるさらに他の情報処理端末１２０のインターネットＮに接続するためのコマンドをさらに他の情報処理端末１２０に有線通信または無線通信で送信する。そのため、他の情報処理端末１００が、インターネットＮを介して情報処理端末９に操作情報を送信することにより、インターネットＮに接続されていないさらに他の情報処理端末１２０の動作を制御することができる。これにより、インターネットＮに接続されていないさらに他の情報処理端末１２０をインターネットＮに接続する操作を他の情報処理端末１００を操作することにより行うことができる。また、情報処理端末９とさらに他の情報処理端末１２０とを有線通信または無線通信で接続することにより、さらに他の情報処理端末１２０が遠隔地から制御操作を受けるための準備が完了する。このように、情報処理端末１２０が遠隔地から制御を受けるための準備を容易にすることができる。

次に、図１５から図１９を用いて、本実施形態の遠隔操作システムの動作例を説明する。

図１５は、遠隔操作システムの動作例を示すシーケンス図である。図１６は、他の情報処理端末１００の動作例を示すフローチャートである。図１７は、スマートデバイス１１０の動作例を示すフローチャートである。図１８は、情報処理端末９の動作例を示すフローチャートである。図１９は、さらに他の情報処理端末１２０の動作例を示すフローチャートである。

まず、図１５を参照して、スマートデバイス１１０に操作情報を他の情報処理端末１００が送信し、さらに他の情報処理端末１２０が操作情報に基づくコマンドに応じた処理を行い、処理結果に応じた画像を他の情報処理端末１００が表示するまでの動作を説明する。

他の情報処理端末１００の入力インタフェース部６１には、利用者による入力インタフェース部６１の操作に応じた操作情報が入力される。入力インタフェース部６１は、入力された操作情報をインターネット接続部１０２に出力する。

インターネット接続部１０２は、操作情報をインターネットＮを介してスマートデバイス１１０に送信する（ステップＳ１１０１）。

スマートデバイス１１０のインターネット接続部１１２は、他の情報処理端末１００から、インターネットＮを介し操作情報を受信する。通信部１１１は、情報処理端末９の受信部９１に操作情報を送信する（ステップＳ１１０２）。

情報処理端末９の受信部９１は、他の情報処理端末１００になされた操作を示す操作情報をインターネットＮを介して受信する。送信部９２は、操作情報に基づいて、他の情報処理端末１００によるさらに他の情報処理端末１２０のインターネットＮに接続するためのコマンドをさらに他の情報処理端末１２０に有線通信で送信する（ステップＳ１１０３）。

さらに他の情報処理端末１２０の通信部１２１は、情報処理端末９から操作情報に基づくコマンドを受信する。表示制御部１２２は、操作情報に基づくコマンドに応じた処理を行う（ステップＳ１１０４）。表示制御部１２２は、処理結果に応じた画像を表示させるための制御情報である画像制御情報を生成する。表示制御部１２２は、生成した画像制御情報を表示部８３と通信部１２１とに出力する。表示部８３は、画像制御情報に基づく画像を表示する（ステップＳ１１０５）。

通信部１２１には、表示制御部１２２により、画像制御情報が入力される。通信部１２１は、画像制御情報を情報処理端末９に送信する（ステップＳ１１０６）。

送信部９２は、画像制御情報をさらに他の情報処理端末１２０から受信する。受信部９１には、画像制御情報が送信部９２にから入力される。受信部９１は、入力された画像制御情報をスマートデバイス１１０に送信する（ステップＳ１１０７）。

スマートデバイス１１０の通信部１１１は、画像制御情報を受信する。インターネット接続部１１２には、画像制御情報が通信部１１１から入力される。インターネット接続部１１２は、入力された画像制御情報を他の情報処理端末１００にインターネットＮを介して送信する（ステップＳ１１０８）。

他の情報処理端末１００のインターネット接続部１０２は、スマートデバイス１１０からインターネットＮを介して画像制御情報を受信する。表示制御部１０３には、インターネット接続部１０２から画像制御情報が入力される。表示制御部１０３は、画像制御情報に基づく画像を表示部６４に表示させる。

表示部６４は、画像制御情報に基づく画像を表示する（ステップＳ１１０９）。

次に、図１６を参照して、他の情報処理端末１００の動作を説明する。また、図１６の動作は、図１５のステップＳ１１０１の動作とステップＳ１１０９の動作とを詳述するものである。

入力インタフェース部６１は、利用者による入力インタフェース部６１の操作に応じた操作情報の入力を受ける（ステップＳ１２０１）。入力インタフェース部６１は、入力された操作情報をインターネット接続部１０２に出力する。

インターネット接続部１０２は、操作情報をインターネットＮを介してスマートデバイス１１０に送信する（ステップＳ１２０２）。

インターネット接続部１０２は、スマートデバイス１１０からインターネットＮを介して画像制御情報を受信する（ステップＳ１２０３）。

表示制御部１０３には、インターネット接続部１０２から画像制御情報が入力される。表示制御部１０３は、画像制御情報に基づく画像を表示部６４に表示させる。

表示部６４は、画像制御情報に基づく画像を表示する（ステップＳ１２０４）。

なお、他の情報処理端末１００が、画像制御情報を受信する前に、他の情報処理端末１００が新しい操作情報の入力を受けた場合、他の情報処理端末１００は、次の動作を行ってもよい。他の情報処理端末１００は、新しく入力された操作情報をスマートデバイス１１０に送信する。また、他の情報処理端末１００は、操作情報の入力を受けるタイミングによらず、画像制御情報を受信する都度、画像制御情報に基づく画像を表示する。

次に、図１７を参照して、スマートデバイス１１０の動作を説明する。図１７の動作は、図１５のステップＳ１１０２の動作とステップＳ１１０８の動作とを詳述するものである。

スマートデバイス１１０のインターネット接続部１１２は、他の情報処理端末１００から、インターネットＮを介し操作情報を受信する（ステップＳ１３０１）。は、情報処理端末９の受信部９１に操作情報を送信する（ステップＳ１３０２）。

スマートデバイス１１０の通信部１１１は、画像制御情報を受信する（ステップＳ１３０３）。インターネット接続部１１２には、画像制御情報が通信部１１１から入力される。インターネット接続部１１２は、入力された画像制御情報を他の情報処理端末１００に送信する（ステップＳ１３０４）。

なお、通信の遅延や利用者の操作により、スマートデバイス１１０が操作情報を送信した後に、画像制御情報ではなく、操作情報を受信する場合が想定される。あるいは、スマートデバイス１１０が画像制御情報を送信した後に、操作情報ではなく、画像制御情報を受信する場合が想定される。他の情報処理端末１００から操作情報を受信する都度、スマートデバイス１１０は、操作情報を情報処理端末９に送信する。また、画像制御情報を受信する都度、スマートデバイス１１０は、画像制御情報を他の情報処理端末１００に送信する。

次に、図１８を参照して、情報処理端末９の動作を説明する。図１８の動作は、図１５のステップＳ１１０３の動作とステップＳ１１０７の動作とを詳述するものである。

情報処理端末９の受信部９１は、他の情報処理端末１００になされた操作を示す操作情報を、インターネットＮを介してスマートデバイス１１０を経由して受信する（ステップＳ１４０１）。

送信部９２は、操作情報に基づいて、他の情報処理端末１００によるさらに他の情報処理端末１２０のインターネットＮに接続するためのコマンドを、さらに他の情報処理端末１２０に送信する（ステップＳ１４０２）。

送信部９２は、画像制御情報を、さらに他の情報処理端末１２０から受信する（ステップＳ１４０３）。受信部９１には、画像制御情報が送信部９２にから入力される。受信部９１は、入力された画像制御情報をスマートデバイス１１０に送信する（ステップＳ１４０４）。

なお、通信の遅延や利用者の操作により、情報処理端末９が操作情報に基づくコマンドを送信した後に、画像制御情報ではなく、操作情報を受信する場合が想定される。あるいは、情報処理端末９が画像制御情報を送信した後に、操作情報ではなく、画像制御情報を受信する場合が想定される。スマートデバイス１１０から操作情報を受信する都度、情報処理端末９は、操作情報に基づくコマンドをさらに他の情報処理端末１２０に送信する。また、情報処理端末９は、画像制御情報を受信する都度、画像制御情報をスマートデバイス１１０に送信する。

次に、図１９を参照して、さらに他の情報処理端末１２０の動作を説明する。図１９の動作は、図１５のステップＳ１１０４の動作、ステップＳ１１０５の動作、およびステップＳ１１０６の動作を詳述するものである。

さらに他の情報処理端末１２０の通信部１２１は、情報処理端末９から操作情報に基づくコマンドを受信する（ステップＳ１５０１）。表示制御部１２２は、操作情報に基づくコマンドに応じた処理を行う（ステップＳ１５０２）。表示制御部１２２は、処理結果に応じた画像を表示させるための制御情報である画像制御情報を生成する。表示制御部１２２は、生成した画像制御情報を表示部８３と通信部１２１とに出力する。表示制御部１２２は、画像制御情報を表示部８３に出力することにより、処理結果に応じた画像を表示部８３に表示させる（ステップＳ１５０３）。表示部８３は、画像制御情報に基づく画像を表示する。

通信部１２１には、表示制御部１２２から、画像制御情報が入力される。通信部１２１は、画像制御情報を情報処理端末９に送信する（ステップＳ１５０４）。

なお、表示制御部１２２は、画像制御情報の表示部８３への出力を停止してもよい。表示制御部１２２が画像制御情報の表示部８３への出力を停止した場合、表示部８３は、表示制御部１２２による処理結果に応じた画像の表示を停止する。

このように、情報処理端末９は、インターネットＮに接続された他の情報処理端末１００になされた操作に従ってインターネットＮに接続されていないさらに他の情報処理端末１２０の動作を制御する。情報処理端末９は、他の情報処理端末１００になされた操作を示す操作情報をインターネットＮを介して受信する。情報処理端末９は、操作情報に基づいて、他の情報処理端末１００によるさらに他の情報処理端末１２０のインターネットＮに接続するためのコマンドをさらに他の情報処理端末１２０に有線通信または無線通信で送信する。そのため、他の情報処理端末１００が、インターネットＮを介して情報処理端末９に操作情報を送信することにより、インターネットＮに接続されていないさらに他の情報処理端末１２０の動作を制御することができる。これにより、インターネットＮに接続されていないさらに他の情報処理端末１２０をインターネットＮに接続する操作を他の情報処理端末１００を操作することにより行うことができる。また、情報処理端末９とさらに他の情報処理端末１２０とを有線通信または無線通信で接続することにより、さらに他の情報処理端末１２０が遠隔地から制御操作を受けるための準備が完了する。このように、情報処理端末１２０が遠隔地から制御を受けるための準備を容易にすることができる。

本実施形態の情報処理端末９の送信部９２は、画像制御情報をさらに他の情報処理端末１２０から受信する。また、受信部９１は、スマートデバイス１１０を介して他の情報処理端末１００に画像制御情報を送信する。これにより、他の情報処理端末１００の表示制御部が、画像制御情報に基づく画像を表示することができる。他の情報処理端末１００の表示制御部が、画像制御情報に基づく画像を表示するので、さらに他の情報処理端末１２０を直接操作する場合と同様に、遠隔地から利用者にさらに他の情報処理端末１２０を操作させることができる。

［ハードウェア構成例］
上述した本発明の各実施形態における情報処理端末（１、５、９）の各々を、一つの情報処理装置（コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。なお、情報処理端末は、物理的または機能的に少なくとも二つの情報処理装置を用いて実現してもよい。また、情報処理端末は、専用の装置として実現してもよい。また、情報処理端末の一部の機能のみを情報処理装置を用いて実現してもよい。

図２０は、本発明における各実施形態の情報処理端末を実現可能な情報処理装置のハードウェア構成例を概略的に示す図である。情報処理装置１３０は、通信インタフェース１３１、入出力インタフェース１３２、演算装置１３３、記憶装置１３４、不揮発性記憶装置１３５およびドライブ装置１３６を含む。

例えば、図１の情報処理端末１の受信部１１や送信部１２は、通信インタフェース１３１で実現することが可能である。

通信インタフェース１３１は、各実施形態の情報処理端末が、有線あるいは／および無線で外部装置と通信するための通信手段である。なお、情報処理端末を、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース１３１経由で相互に通信可能なように接続してもよい。

入出力インタフェース１３２は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。

演算装置１３３は、汎用のＣＰＵ（Central Processing Unit）やマイクロプロセッサ等の演算処理装置や複数の電気回路によって実現される。演算装置１３３は、たとえば、不揮発性記憶装置１３５に記憶された各種プログラムを記憶装置１３４に読み出し、読み出したプログラムに従って処理を実行することが可能である。

記憶装置１３４は、演算装置１３３から参照可能な、ＲＡＭ（Random Access Memory）等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置１３４は、揮発性のメモリ装置であってもよい。

不揮発性記憶装置１３５は、たとえば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。

ドライブ装置１３６は、たとえば、後述する記録媒体１３７に対するデータの読み込みや書き込みを処理する装置である。

記録媒体１３７は、たとえば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。

本発明の各実施形態は、たとえば、図２０に例示した情報処理装置１３０により情報処理端末を構成してもよい。そして、本発明の各実施形態は、この情報処理端末に対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現してもよい。

この場合、情報処理端末に対して供給したプログラムを、演算装置１３３が実行することによって、実施形態を実現することが可能である。また、情報処理端末のすべてではなく、一部の機能を情報処理装置１３０で構成することも可能である。

さらに、上記プログラムを記録媒体１３７に記録しておき、情報処理端末の出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置１３５に格納されるように、情報処理端末を構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用して情報処理端末の内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。

１、５、９ 情報処理端末
１１、５１、９１ 受信部
１２、５２、９２ 送信部
２、６、１００ 情報処理端末
２１、６１ 入力インタフェース部
２２、６２、１０２ インターネット接続部
６３、１０３ 表示制御部
６４ 表示部
３、７、１１０ スマートデバイス
３１、７１、１１１ 通信部
３２、７２、１１２ インターネット接続部
７３ 撮影部
４、８、１２０ 情報処理端末
４１、８１，１２１ 通信部
８２、１２２ 表示制御部
８３ 表示部
Ｎ インターネット
１３０ 情報処理装置
１３１ 通信インタフェース
１３２ 入出力インタフェース
１３３ 演算装置
１３４ 記憶装置
１３５ 不揮発性記憶装置
１３６ ドライブ装置
１３７ 記録媒体

Claims (10)

1. インターネットに接続された他の情報処理端末になされた操作に従ってインターネットに接続されていないさらに他の情報処理端末の動作を制御する遠隔操作方法であって、
   前記他の情報処理端末になされた操作を示す操作情報をインターネットを介して受信し、
   前記操作情報に基づいて、前記他の情報処理端末による前記さらに他の情報処理端末のインターネットに接続するためのコマンドを前記さらに他の情報処理端末に有線通信または無線通信で送信する
   遠隔操作方法。
2. 前記さらに他の情報処理端末の表示部を撮影可能に設置されて、撮影した前記さらに他の情報処理端末の表示部の画面を示す画像データを前記他の情報処理端末に送信する
   ことを特徴とする請求項１に記載の遠隔操作方法。
3. 前記さらに他の情報処理端末の表示部の画面を示す画像データにおいて、前記画像データが示す画像の歪みを補正し、
   前記他の情報処理端末に歪みを補正した画像を示す画像データを送信する
   ことを特徴とする請求項２に記載の遠隔操作方法。
4. 前記さらに他の情報処理端末がインターネットに接続したことを前記他の情報処理端末に通知する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の遠隔操作方法。
5. 前記さらに他の情報処理端末の遠隔操作の準備が完了したことを前記他の情報処理端末に通知する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の遠隔操作方法。
6. 前記さらに他の情報処理端末により前記コマンドが処理された結果を表示する画像を表示するための制御情報である画像制御情報を前記さらに他の情報処理端末から受信し、
   前記他の情報処理端末に前記画像制御情報を送信する
   ことを特徴とする請求項１に記載の遠隔操作方法。
7. インターネットに接続された他の情報処理端末になされた操作に従ってインターネットに接続されていないさらに他の情報処理端末の動作を制御する遠隔操作プログラムであって、
   コンピュータに、
   前記他の情報処理端末になされた操作を示す操作情報をインターネットを介して受信する受信機能と、
   前記操作情報に基づいて、前記他の情報処理端末による前記さらに他の情報処理端末のインターネットに接続するためのコマンドを前記さらに他の情報処理端末に有線通信または無線通信で送信する送信機能と、
   を実現させる遠隔操作プログラム。
8. 前記さらに他の情報処理端末の表示部を撮影可能な撮影機能をさらに備え、
   前記送信機能は、撮影した前記さらに他の情報処理端末の表示部の画面を示す画像データを前記他の情報処理端末に送信する
   ことを特徴とする請求項７に記載の遠隔操作プログラム。
9. インターネットに接続された他の情報処理端末になされた操作に従ってインターネットに接続されていないさらに他の情報処理端末の動作を制御する情報処理端末であって、
   前記他の情報処理端末になされた操作を示す操作情報をインターネットを介して受信する受信部と、
   前記操作情報に基づいて、前記他の情報処理端末による前記さらに他の情報処理端末のインターネットに接続するためのコマンドを前記さらに他の情報処理端末に有線通信または無線通信で送信する送信部と、
   を備える情報処理端末。
10. 前記さらに他の情報処理端末の表示部を撮影可能に設置された撮影部をさらに備え、
    前記送信部は、撮影された前記さらに他の情報処理端末の表示部の画面を示す画像データを前記他の情報処理端末に送信する
    ことを特徴とする請求項９に記載の情報処理端末。

Images