JP2006268190A - 遠隔制御システムおよび方法、プログラム - Google Patents

Abstract

【課題】 遠隔制御対象のアプリケーションおよびその動作状態に応じた適切なアプリケーション実行手段を提供でき、アプリケーションの動作状態を切替え後に引き継ぐことができ、切替えが生じる直前の状態から遠隔制御の再開をすることを可能とした、遠隔制御システムおよび方法、プログラムを提供する。
【解決手段】 イベント振分規則に基づいて振り分ける入力イベントルーティング部と、入力イベントに対する処理能力を記述した機器能力情報による遠隔制御条件を記述した遠隔制御情報を送受信し機器能力情報の交換を行う能力交換部と、能力交換により決定した遠隔制御条件に基づいてイベント振分規則の変更方法を記述したイベント振分規則変更命令を生成し、入力イベントルーティング部へ送信する遠隔制御命令生成部と、入力イベントを送受信するイベント通信部と、送受信の開始または終了を指示する通信制御部と、出力部と、を備える。
【選択図】 図１

Description

本発明は、電話端末や携帯電話端末、パーソナルコンピュータなどの通信装置から構成される遠隔制御システムおよび遠隔制御方法に関し、特に、遠隔にある通信装置を、ネットワーク経由で操作し、その操作結果を共有することの可能な遠隔制御システムおよび方法、プログラムに関する。

従来、遠隔にある通信装置を遠隔操作したり、あるいは、遠隔の通信装置との間でアプリケーションの共有を行ったりする場合、操作側の通信装置は、操作イベントを被操作側の通信装置に送信し、被操作側の通信装置は、定期的に、画面出力をビットマップなどの画像データとして操作側に転送し、操作結果を通知することで、アプリケーションの共有これらの処理を実現していた（非特許文献１を参照）。

別の方法としては、操作側通信装置と被操作側通信装置の間で、共通のアプリケーションをそれぞれ起動し、その共通アプリケーションの操作コマンドを、操作側通信装置側で起動されているアプリケーションだけでなく、被操作側通信装置にも転送することにより、アプリケーションの共有を実現していた（特許文献１を参照）。

上記２つの例はいずれも、パーソナルコンピュータ同士で実現されるもので、すなわち、システムを構成する端末に備わる操作デバイス等のハードウェアが、ほぼ等しいことを前提としている。

異なるハードウェア間での遠隔制御の例としては、携帯電話を用いて、パーソナルコンピュータの遠隔操作を実現しているものがある（特許文献２を参照）。これは、パーソナルコンピュータの画面情報を、携帯電話で表示・操作可能な情報に変換することにより、携帯電話からの遠隔制御を実現している。
特開平８−２１２１６２ 特開２００２−１１１８９３ T.Richardsonら："Virtual Network Computing"、IEEE Internet Computing, Vol.2, No.1, Jan/Feb pp 33-38, 1998

しかしながら、従来の技術においては、これまでの遠隔制御システムまたはアプリケーション共有システムの場合、システムを構成する端末が汎用コンピュータであることを前提としている。

特に操作デバイスについては、マウスとキーボードのみが想定されており、これら以外の特別な操作デバイスが存在する装置や、マウスやキーボードが存在しない装置の間で遠隔制御を行う場合、これらのシステムを適用することは難しい。

今後、様々な情報家電機器間での遠隔制御やアプリケーション共有が想定されるが、これらの端末は、それぞれ特有の操作デバイスを具備しているため、非特許文献１と特許文献１のような方法では、システムの実現が難しい。

また、異なる機種の間での遠隔操作のための従来技術として特許文献２のシステムが挙げられる。このシステムでは、パソコン側で、携帯電話とパソコンの間のハードウェアの違いを吸収するために、携帯電話に表示する画面表示データの生成や、携帯電話から送信される操作コマンドの処理などをすべてパソコン側が行うことで遠隔操作することを可能としている。

しかしながら、このようなシステムであるため、パソコンから携帯電話を操作することはできない。多種多様な情報家電機器間で行われる遠隔制御やアプリケーション共有では、片方向の制御ではなく、いずれの機器も、操作側としても被操作側としても振舞うことのできる、双方向性を実現する必要がある。

また、従来の技術による遠隔制御システムでは、すべての機能を遠隔制御するか、あらかじめ定められた１つのアプリケーションを遠隔制御するかのいずれかであった。

また、遠隔制御の度に、所望の操作対象アプリケーションを指定したり、あるいは複数のアプリケーションの操作対象として指定したり、さらには、どの操作デバイスを用いてどの操作対象アプリケーションを制御するのかを指定するなど、より柔軟性の高い遠隔制御条件を、ユーザが要求できる遠隔制御システムの実現は難しかった。

また、これらの遠隔制御条件を、通信装置間でネゴシエーションできる遠隔制御システムも存在しなかった。

また、被操作側通信装置が操作側通信装置に対して出力データを転送する遠隔制御方式を用いて、被操作側通信装置で映像の再生を行うような場合、出力データの転送速度が、映像の再生速度よりも劣るために、操作側通信装置で得られる映像の品質が劣化してしまうという問題点があった。

また、従来技術による遠隔制御方式を用いた場合、被操作側通信装置にのみ実装されているアプリケーションの共有は不可能である。

また、あるデータベースへの書き込みをこの方式を用いた遠隔制御により行う場合、データベースに二重に書込みを行ってしまっていた。

このような課題に鑑み、本発明は、遠隔制御対象のアプリケーションおよびその動作状態に応じた適切なアプリケーション実行手段を提供でき、
遠隔制御の実行中におけるアプリケーション実行方法を切替える際に、切替え前のアプリケーションの動作状態を切替え後に引き継ぐことができ、
アプリケーション実行手段の切替えの失敗において、切替えが生じる直前の状態から遠隔制御の再開をすることを可能とした、遠隔制御システムおよび方法、プログラムを提供することを目的とする。

上記の課題を解決するために、請求項１に記載の本発明は、操作側通信装置がネットワークを介して被操作側通信装置を遠隔に制御するための遠隔制御システムにおいて、前記操作側通信装置に入力された入力イベントを送信対象のアプリケーションへ振分する規則であるイベント振分規則に基づいて振り分けるための入力イベントルーティング部と、前記操作側装置および前記被操作側装置の前記入力イベントに対する処理能力を記述した機器能力情報に基づき、遠隔制御条件を記述した遠隔制御情報を生成し、この遠隔制御情報を送受信して前記機器能力情報の交換を行うための能力交換部と、前記能力交換部による能力交換により決定した前記遠隔制御条件に基づいて前記イベント振分規則の変更方法を記述したイベント振分規則変更命令を生成し、前記入力イベントルーティング部へ送信するための遠隔制御命令生成部と、前記入力イベントを送受信するためのイベント通信部と、前記イベント通信部に対して送受信の開始または終了を指示するための通信制御部と、前記アプリケーションの出力データを出力するための出力部と、を備える。

また、請求項２に記載の本発明は、請求項１において、イベント変換規則に従って前記入力イベントを変換し出力するためのイベント変換部を備え、前記操作側通信装置の前記遠隔制御命令生成部は、前記遠隔制御条件に基づく入力イベントの変換の必要性を判断し、前記イベント変換部に対して前記遠隔制御条件に指定される入力イベントと前記操作側通信装置で入力可能な入力イベントのリストを含むイベント変換命令を送信し、前記入力イベントルーティング部に対して、入力イベントの振分先にイベント変換部を指定するイベント振分規則変更命令を送信し、イベント変換命令を発信した前記イベント変換部は、当該イベント変換命令に従ったイベント変換規則を取得し、前記入力イベントルーティング部より受信した入力イベントについて、前記イベント変換規則に従い変換し、前記イベント通信部を介して前記被操作側通信装置に対して送信する。

また、請求項３に記載の本発明は、請求項１または２のいずれか１項において、前記遠隔制御命令生成部は、前記遠隔制御条件に指定されている操作対象アプリケーションの出力データ取得方法として、操作対象アプリケーションと同一のアプリケーションを前記操作側通信装置にて実行することが指定されている場合において、このアプリケーションの制御方法を記述した前記イベント振分規則変更命令を前記入力イベントルーティング部に送信し、前記入力イベントルーティング部において、受信した前記イベント振分規則変更命令で指定される前記入力イベントの振分先として前記被操作側通信装置に加え前記操作側通信装置に搭載されている所定のアプリケーションも前記振分先に設定する。

また、請求項４に記載の本発明は、請求項２または３のいずれか１項において、前記操作側通信装置は、アプリケーションの出力データを解析する出力データ解析部を備え、前記イベント変換部はイベント変換規則を取得した結果においてイベント変換を実行するための解析プログラムをアプリケーションの出力データに埋め込む処理を実行する必要がある場合において、前記解析プログラムが記述された出力データ解析命令を前記出力データ解析部に送信し、前記出力データ解析部は出力データ解析命令を受信すると、当該出力データ解析命令において指定される前記解析プログラムを取得して動作する。

また、請求項５に記載の本発明は、操作側通信装置がネットワークを介して被操作側通信装置を遠隔に制御するための遠隔制御方法において、入力イベントルーティング部によって、前記操作側通信装置に入力された入力イベントを送信対象のアプリケーションへ振分する規則であるイベント振分規則に基づいて振り分けるステップと、能力交換部によって、前記操作側装置および前記被操作側装置の前記入力イベントに対する処理能力を記述した機器能力情報に基づき、遠隔制御条件を記述した遠隔制御情報を生成し、この遠隔制御情報を送受信して前記機器能力情報の交換を行うステップと、遠隔制御命令生成部によって、前記能力交換部による能力交換により決定した前記遠隔制御条件に基づいて前記イベント振分規則の変更方法を記述したイベント振分規則変更命令を生成し、前記入力イベントルーティング部へ送信するステップと、イベント通信部によって、前記入力イベントを送受信するステップと、
通信制御部によって、前記イベント通信部に対して送受信の開始または終了を指示するステップと、出力部によって、前記アプリケーションの出力データを出力するステップと、を有する。

また、請求項６に記載の本発明は、請求項５において、イベント変換規則に従って前記入力イベントを変換し出力するためのイベント変換部を備え、前記操作側通信装置の前記遠隔制御命令生成部は、前記遠隔制御条件に基づく入力イベントの変換の必要性を判断し、前記イベント変換部に対して前記遠隔制御条件に指定される入力イベントと前記操作側通信装置で入力可能な入力イベントのリストを含むイベント変換命令を送信し、前記入力イベントルーティング部に対して、入力イベントの振分先にイベント変換部を指定するイベント振分規則変更命令を送信し、イベント変換命令を発信した前記イベント変換部は、当該イベント変換命令に従ったイベント変換規則を取得し、前記入力イベントルーティング部より受信した入力イベントについて、前記イベント変換規則に従い変換し、前記イベント通信部を介して前記被操作側通信装置に対して送信する。

また、請求項７に記載の本発明は、請求項５または６のいずれか１項において、前記遠隔制御命令生成部は、前記遠隔制御条件に指定されている操作対象アプリケーションの出力データ取得方法として、操作対象アプリケーションと同一のアプリケーションを前記操作側通信装置にて実行することが指定されている場合において、このアプリケーションの制御方法を記述した前記イベント振分規則変更命令を前記入力イベントルーティング部に送信し、前記入力イベントルーティング部において、受信した前記イベント振分規則変更命令で指定される前記入力イベントの振分先として前記被操作側通信装置に加え前記操作側通信装置に搭載されている所定のアプリケーションも前記振分先に設定する。

また、請求項８に記載の本発明は、請求項６または７のいずれか１項において、前記操作側通信装置は、アプリケーションの出力データを解析する出力データ解析部を備え、前記イベント変換部はイベント変換規則を取得した結果においてイベント変換を実行するための解析プログラムをアプリケーションの出力データに埋め込む処理を実行する必要がある場合において、前記解析プログラムが記述された出力データ解析命令を前記出力データ解析部に送信し、前記出力データ解析部は出力データ解析命令を受信すると、当該出力データ解析命令において指定される前記解析プログラムを取得して動作する。

また、請求項９に記載の本発明は、操作側通信装置がネットワークを介して被操作側通信装置を遠隔に制御するための遠隔制御プログラムにおいて、入力イベントルーティング部によって、前記操作側通信装置に入力された入力イベントを送信対象のアプリケーションへ振分する規則であるイベント振分規則に基づいて振り分けるステップと、能力交換部によって、前記操作側装置および前記被操作側装置の前記入力イベントに対する処理能力を記述した機器能力情報に基づき、遠隔制御条件を記述した遠隔制御情報を生成し、この遠隔制御情報を送受信して前記機器能力情報の交換を行うステップと、遠隔制御命令生成部によって、前記能力交換部による能力交換により決定した前記遠隔制御条件に基づいて前記イベント振分規則の変更プログラムを記述したイベント振分規則変更命令を生成し、前記入力イベントルーティング部へ送信するステップと、イベント通信部によって、前記入力イベントを送受信するステップと、通信制御部によって、前記イベント通信部に対して送受信の開始または終了を指示するステップと、出力部によって、前記アプリケーションの出力データを出力するステップと、を有する。

また、請求項１０に記載の本発明は、請求項９において、イベント変換規則に従って前記入力イベントを変換し出力するためのイベント変換部を備え、前記操作側通信装置の前記遠隔制御命令生成部は、前記遠隔制御条件に基づく入力イベントの変換の必要性を判断し、前記イベント変換部に対して前記遠隔制御条件に指定される入力イベントと前記操作側通信装置で入力可能な入力イベントのリストを含むイベント変換命令を送信し、前記入力イベントルーティング部に対して、入力イベントの振分先にイベント変換部を指定するイベント振分規則変更命令を送信し、イベント変換命令を発信した前記イベント変換部は、当該イベント変換命令に従ったイベント変換規則を取得し、前記入力イベントルーティング部より受信した入力イベントについて、前記イベント変換規則に従い変換し、前記イベント通信部を介して前記被操作側通信装置に対して送信する。

また、請求項１１に記載の本発明は、請求項９または１０のいずれか１項において、前記遠隔制御命令生成部は、前記遠隔制御条件に指定されている操作対象アプリケーションの出力データ取得プログラムとして、操作対象アプリケーションと同一のアプリケーションを前記操作側通信装置にて実行することが指定されている場合において、このアプリケーションの制御プログラムを記述した前記イベント振分規則変更命令を前記入力イベントルーティング部に送信し、前記入力イベントルーティング部において、受信した前記イベント振分規則変更命令で指定される前記入力イベントの振分先として前記被操作側通信装置に加え前記操作側通信装置に搭載されている所定のアプリケーションも前記振分先に設定する。

また、請求項１２に記載の本発明は、請求項１０または１１のいずれか１項において、前記操作側通信装置は、アプリケーションの出力データを解析する出力データ解析部を備え、前記イベント変換部はイベント変換規則を取得した結果においてイベント変換を実行するための解析プログラムをアプリケーションの出力データに埋め込む処理を実行する必要がある場合において、前記解析プログラムが記述された出力データ解析命令を前記出力データ解析部に送信し、前記出力データ解析部は出力データ解析命令を受信すると、当該出力データ解析命令において指定される前記解析プログラムを取得して動作する。

本発明によれば、遠隔制御対象のアプリケーションおよびその動作状態に応じた適切なアプリケーション実行手段を提供でき、
遠隔制御の実行中におけるアプリケーション実行方法を切替える際に、切替え前のアプリケーションの動作状態を切替え後に引き継ぐことができ、
アプリケーション実行手段の切替えの失敗において、切替えが生じる直前の状態から遠隔制御の再開をすることを可能とした、遠隔制御システムおよび方法、プログラムを提供することができる。

＜第１の実施の形態＞
本発明の第１の実施の形態に係る、遠隔制御システムを説明するための全体構成図を図１に示す。

この図１において、遠隔制御する側の操作側通信装置１と、遠隔制御される側の被操作側通信装置２と、が示されている。

また、操作側通信装置１には、外部からの操作が入力される操作部３と、アプリケーション制御部４と、遠隔制御管理部７と、アプリケーション実行ルールデータベース９と、アプリケーションＡ１７と、アプリケーションＢ１８と、表示部１９と、出力データ通信アプリケーション１１と、が示されている。

また、被操作側通信装置２には、操作部５と、アプリケーション制御部６と、遠隔制御管理部８と、アプリケーション実行ルールデータベース１０と、アプリケーションＡ１４と、アプリケーションＢ１５と、表示部１６と、出力データ解析部１３と、出力データ通信アプリケーション１２と、が示されている。

この図１に示す構成を参照しつつ、次に図２に示す遠隔制御システムのメッセージシーケンス図を参照して、本発明の第１の実施の形態による遠隔制御システムの動作を説明する。

まず、被操作側通信装置２において、図３に参照されるように操作側通信装置１と被操作側通信装置２との間での能力交換のための処理が実行される。

最初にＳ４０１では、遠隔制御管理部８において、入力された遠隔制御条件に基づいて遠隔制御対象アプリケーション識別情報を出力する。この処理により、遠隔制御条件から遠隔制御対象アプリケーションを抽出し、当該アプリケーションの識別情報を出力する。

次に、Ｓ４０２では、遠隔制御管理部８において、入力された遠隔制御条件に基づいて動作状態識別情報を出力する。この処理により、遠隔制御条件から、当該アプリケーションの初期の動作状態を抽出し、当該動作状態の識別情報を出力する。なお、ＷＥＢブラウザの場合は初期の表示するＵＲＬの表示中の状態を初期状態とする。

次に、Ｓ４０３では、アプリケーション実行ルールデータベース１０において、入力された遠隔制御対象アプリケーション識別情報および動作状態識別情報に基づいて、アプリケーション実行ルールを出力する。この処理により、入力される情報に適用されるアプリケーション実行ルールを検索し、該当するアプリケーション実行ルールを出力する。

なお、アプリケーション実行ルールデータベース１０に記憶されているデータベースの一つの例を図７に示す。Ｗｅｂブラウザや映像プレイヤ、アドレス帳、実装されていないアプリケーションなどのそれぞれに応じて、動作状態と、その動作状態における表示中の出力データの解析結果、および操作側通信装置１での当該アプリケーション実行の有無が示されている。

次に、Ｓ４０４では、遠隔制御管理部８において、入力された遠隔制御対象アプリケーション識別情報と、動作状態識別情報およびアプリケーション実行ルールに基づいて、遠隔制御要求を生成する。この処理により、入力される情報に基づき遠隔制御要求の生成が完了する。

なお、生成される遠隔制御要求は、図８に参照されるような内容を一つの例としている。操作側を通信装置Ａとし、コンポーネント１、コンポーネント２とし、それぞれについて操作対象アプリケーション、初期状態、アプリケーション実行ルール、イベント種別が示されている。

次に、Ｓ４０６では、遠隔制御管理部８において、入力された遠隔制御要求を操作側通信装置１に送信する。

次に、Ｓ４０６では、遠隔制御管理部８において、受信した遠隔制御要求に対する応答を待機し、受信すると、当該応答を出力する。

次に、Ｓ４０７では、遠隔制御管理部８において、操作側通信装置１から受信した応答の内容を解析し、当該応答の受信した段階での能力交換状態識別情報を出力する。

次に、Ｓ４０８では、遠隔制御管理部８において、遠隔制御対象アプリケーション識別情報と動作状態識別情報に基づき遠隔制御対象アプリケーション起動命令を生成し、アプリケーション制御部６に送信する。ただし、アプリケーション実行ルールとして、操作側通信装置１でアプリケーションを実行しないことが指定されている場合は、出力データ通信アプリケーション１２に対して出力データ送信命令を送信する。

次に、Ｓ４０９では、アプリケーション制御部６において、入力された遠隔制御対象アプリケーション起動命令に指定されるアプリケーションに対して制御命令を送り、当該アプリケーションを起動するとともに、当該遠隔制御対象アプリケーション起動命令に指定される初期状態に遷移させる。

次に、Ｓ４１０では、アプリケーション制御部６において、入力された遠隔制御対象アプリケーション起動命令と出力データ通信アプリケーション起動確認通知に基づき、被操作側通信装置２の操作部５からの入力イベントの入力を禁止し、操作側通信装置１からの入力イベントを遠隔制御対象アプリケーションに送信するように、イベント振分ルールを変更する。

次に、Ｓ４１１では、出力データ解析部１３において、遠隔制御対象アプリケーション識別情報が遠隔制御管理部８から入力されると、当該アプリケーションの出力データの解析結果として検出すべき項目を、アプリケーション実行ルールデータベース１０より取得する。さらに取得した項目を検出できるように出力データ解析ルールを設定する。

次に、Ｓ４１２では、遠隔制御管理部８において、Ｓ４０３で出力されるアプリケーション実行ルールにおいて、当該実行ルールを変更可能と定義されている場合は、変更要求受諾を示す能力交換状態識別情報を出力し、変更不可能の場合は、変更要求拒否を示す能力交換状態識別情報を出力する。

次に、Ｓ４１３では、遠隔制御管理部８において、入力された能力交換状態識別情報（変更要求受諾）によりアプリケーション実行ルールを変更する。その後に変更後のアプリケーション実行ルールとアプリケーション実行ルール変更完了通知を出力する。

次に、Ｓ４１４では、遠隔制御管理部８において、操作側通信装置１に対して変更要求受諾応答を送信する。

次に、Ｓ４１５では、遠隔制御管理部８において、入力された能力交換状態識別情報（変更要求拒否）に基づき、操作側通信装置１に対して変更要求拒否応答を送信する。

次に、Ｓ４１６では、出力データ通信アプリケーション１２が起動して、出力データの送信を開始する。

次に、操作側通信装置１において、図２に参照されるように操作側通信装置１と被操作側通信装置２との間での能力交換のための処理が実行される。

まず、図４を参照して、Ｓ５０１では、遠隔制御管理部７において、被操作側通信装置２からの遠隔制御要求に対する応答を待機し、受信する。

次に、Ｓ５０２では、遠隔制御管理部７において、入力された遠隔制御要求を解析し、遠隔制御対象アプリケーション識別情報、動作状態識別情報、アプリケーション実行ルールを抽出する。

次に、Ｓ５０３では、アプリケーション実行ルールデータベース９において、入力される情報に適用されるアプリケーション実行ルールを検索し、該当するアプリケーション実行ルールを出力する。アプリケーション実行ルールデータベース９は図７に参照される。

次に、Ｓ５０４では、遠隔制御管理部７において、入力される２つのアプリケーション実行ルールを比較し、比較結果に基づき能力交換状態識別情報を生成し、出力する。

次に、Ｓ５０５では、遠隔制御管理部７において、遠隔制御要求に対する拒否応答を生成する。

次に、Ｓ５０６では、遠隔制御管理部７において、被操作側通信装置２に対して、当該遠隔制御要求に対する拒否応答を送信する。

次に、Ｓ５０７では、遠隔制御管理部７において、遠隔制御要求に対する拒否応答を生成する。

次に、Ｓ５０８では、遠隔制御管理部７において、被操作側通信装置２に対して、当該遠隔制御要求に対する受諾応答を送信する。

次に、Ｓ５０９では、遠隔制御管理部７において、アプリケーション実行ルールとして、操作側通信装置１における当該アプリケーションの実行が指定されている場合は、遠隔制御対象アプリケーション識別情報と動作状態識別情報に基づき遠隔制御対象アプリケーション起動命令を生成し、アプリケーション制御部４に送信する。ただし、アプリケーション実行ルールとして、操作側通信装置１でアプリケーションを実行しないことが指定されている場合は、出力データ通信アプリケーション１１に対して出力データ受信命令を送信する。

次に、Ｓ５１０では、アプリケーション制御部４において、入力された遠隔制御対象アプリケーション起動命令に指定されるアプリケーションに対して制御命令を送り、当該アプリケーションを起動するとともに、当該遠隔制御対象アプリケーション起動命令に指定される初期状態に遷移させる。

次に、Ｓ５１１では、アプリケーション制御部４において、遠隔制御対象アプリケーション起動命令が入力される場合は、操作側通信装置１の操作部３からの入力イベントを、当該アプリケーションと被操作側通信装置２に対して送信するようにイベント振分ルールを変更する。出力データ通信アプリケーション起動通知が入力される場合は、操作側通信装置１の操作部からの入力イベントを、被操作側通信装置２に対してだけ送信するようにイベント振分ルールを変更する。

次に、Ｓ５１２では、遠隔制御管理部７において、遠隔制御要求に対する、アプリケーション実行ルールの変更要求を送信する。

次に、Ｓ５１３では、遠隔制御管理部７において、被操作側通信装置２に対して、当該遠隔制御要求に対する、アプリケーション実行ルールの変更要求を送信する。

次に、Ｓ５１４では、遠隔制御管理部７において、送信したアプリケーション実行ルールの変更要求に対する応答を待機し、受信すると、当該応答を出力する。

次に、Ｓ５１５では、遠隔制御管理部７において、変更要求に対する応答が入力される。操作側通信装置１から受信した応答の内容を解析し、当該応答の受信した段階での能力交換状態識別情報を出力する。この出力は、能力交換状態識別情報（受諾応答入力時は、能力交換成功を示す識別情報の他、遠隔制御対象アプリケーション識別情報、動作状態識別情報、アプリケーション実行ルール）である。

次に、Ｓ５１６では、出力データ通信アプリケーション１１において、出力データ通信アプリケーションが起動し、出力データの受信を開始する。

さらに、図２と図５を参照して状態解析時の被操作側通信装置における処理を説明する。

まず、Ｓ６０１では、アプリケーション制御部６において、起動中の各々のアプリケーションから、現在の状態を示す動作状態識別情報を取得する。取得した動作状態識別情報のうち、遠隔制御対象アプリケーションの動作状態識別情報を、遠隔制御管理部８に送信する。

次に、Ｓ６０２では、アプリケーション制御部６において、制御側通信装置１の操作により、当該遠隔制御に関する能力交換時に指定されていないアプリケーションが起動された場合、遠隔制御管理部８に対して、新規に起動されたアプリケーションを通知する。

次に、Ｓ６０３では、出力データ解析部１３において、新たに出力データを受信したか否かを示す出力データ受信状態識別情報を、遠隔制御管理部８に対して送信する。

次に、Ｓ６０４では、出力データ解析部１３において、Ｓ４１１で設定された出力データ解析ルールに従い、入力された出力データを解析する。解析結果である出力データ解析情報を、遠隔制御管理部８に送信する。

次に、Ｓ６０５では、アプリケーション実行ルールデータベース１０において、入力された遠隔制御対象アプリケーション識別情報、動作状態識別情報、出力データ解析情報に適用されるアプリケーション実行ルールを検索し、該当するアプリケーション実行ルールを出力する。

次に、Ｓ６０６では、遠隔制御管理部８において、入力された遠隔制御で適用中のアプリケーション実行ルールと、Ｓ６０５で検出されたアプリケーション実行ルールを比較し、両者が異なれば、アプリケーション実行ルール変更要求を生成する。このとき、変更後のアプリケーション実行ルールとして、操作側通信装置１でも当該アプリケーションを実行することを指定する場合は、Ｓ６０１で取得した、当該アプリケーションの動作状態識別情報も、アプリケーション実行ルール変更要求に記述する。また、両者が等しければ、状態解析処理を終了する。

次に、Ｓ６０７では、遠隔制御管理部８において、新規アプリケーションを遠隔制御対象に追加した遠隔制御条件を生成する。

次に、Ｓ６０８では、遠隔制御管理部８において、操作側通信装置１に対して、当該遠隔制御要求に対する、アプリケーション実行ルールの変更要求を送信する。

次に、Ｓ６０９では、遠隔制御管理部８において、送信したアプリケーション実行ルール変更要求に対する応答を待機し、受信すると、当該応答を出力する。

次に、Ｓ６１０では、遠隔制御管理部８において、アプリケーション実行ルール変更要求に対する応答が入力されたことに対して、能力交換状態識別情報を出力する。なお、受諾応答入力時は、能力交換成功を示す識別情報の他、遠隔制御対象アプリケーション識別情報、現在の動作状態識別情報、アプリケーション実行ルールを出力する。

次に、Ｓ６１１では、遠隔制御管理部８において、アプリケーション実行ルールとして、操作側通信装置１における当該アプリケーションの実行が新たに指定された場合は、出力データ通信アプリケーション１２に対して出力データを送信停止命令を送信する。または、アプリケーション実行ルールとして、操作側通信装置１における当該アプリケーションを実行しないことが新たに指定された場合は、出力データ通信アプリケーション１２に対して出力データ送信命令を送信する。

次に、Ｓ６１２では、出力データ通信アプリケーション１２において、入力された出力データ送信停止命令に基づき、出力データ通信アプリケーションで実行されている出力データの送信を停止し、出力データ通信アプリケーション送信停止確認通知を出力する。

次に、Ｓ６１３では、出力データ通信アプリケーション１２において、出力データ送信命令が入力され、出力データ通信アプリケーション起動確認通知を出力し、出力データ通信アプリケーションが起動し、出力データの受信を開始する。

次に、Ｓ６１４では、アプリケーション制御部６において、能力交換状態識別情報（変更要求拒否）が入力され、アプリケーション制御命令を出力する。処理として、入力された遠隔制御対象アプリケーション起動命令に指定されるアプリケーションに対して制御命令を送り、Ｓ６０１で取得した動作状態の１つ前の状態に遷移させる。

さらに、図２と図６を参照して状態解析時の被操作側通信装置における処理を説明する。

まず、Ｓ７０１では、操作部３において、入力されたユーザ操作に応じて入力イベントを出力する。

次に、Ｓ７０２では、アプリケーション制御部４において、イベント振分ルールに従い入力イベントをルーティングする。アプリケーションを操作側通信装置１でも実行している場合は、当該入力イベント出力後に、当該アプリケーションの動作状態識別情報を取得する。

次に、Ｓ７０３では、遠隔制御管理部７において、被操作側通信装置２から遠隔制御要求に対する応答を受信した場合は、能力交換を新たに開始する。

次に、Ｓ７０４では、遠隔制御管理部７において、被操作側通信装置２からアプリケーション実行ルール変更要求を受信すると、制御を中断する。

次に、Ｓ７０５では、遠隔制御管理部７において、進行中の遠隔制御のアプリケーション実行ルールが、変更可能と定義されている場合は、変更要求受諾を示す能力交換状態識別情報を出力し、変更不可能の場合は、変更要求拒否を示す能力交換状態識別情報を出力する。

次に、Ｓ７０６では、遠隔制御管理部７において、入力された能力交換状態識別情報（変更要求受諾）に応じて、アプリケーション実行ルール（変更後）とアプリケーション実行ルール変更完了通知を出力し、アプリケーション実行ルールを変更する。

次に、Ｓ７０７では、遠隔制御管理部７において、アプリケーション実行ルール変更完了通知が入力され、操作側通信装置１に対して変更要求受諾応答を送信する。

次に、Ｓ７０８では、遠隔制御管理部７において、能力交換状態識別情報（能力交換成功）と、アプリケーション実行ルールと、動作状態識別情報が入力される。出力としては、出力データ送信命令もしくは出力データ送信停止命令と、アプリケーション起動命令もしくはアプリケーション停止命令である。ここでの処理の詳細は、アプリケーション実行ルールとして、操作側通信装置１における当該アプリケーションの実行が新たに指定された場合は、当該アプリケーション起動命令および出力データ送信停止命令を送信する。または、アプリケーション実行ルールとして、操作側通信装置１における当該アプリケーションを実行しないことが新たに指定された場合は、当該アプリケーション停止命令および、出力データ通信アプリケーションに対して出力データ受信命令を送信する。

次に、Ｓ７０９では、アプリケーション制御部４において、入力された遠隔制御対象アプリケーション起動命令に指定されるアプリケーションに対して制御命令を送り、当該アプリケーションを起動するとともに、当該遠隔制御対象アプリケーション起動命令に指定される状態に遷移させる。

次に、Ｓ７１０では、出力データ通信アプリケーション１１において、出力データ送信停止命令が入力され、出力データ通信アプリケーションで実行されている出力データの送信を停止し、出力データ通信アプリケーション送信停止確認通知を出力する。

次に、Ｓ７１１では、アプリケーション制御部４において、入力された遠隔制御対象アプリケーション起動命令もしくは出力データ通信アプリケーション送信停止確認通知に基づき、操作側通信装置１の操作部３からの入力イベントを、当該アプリケーションと被操作側通信装置２に対して送信するようにイベント振分ルールを変更する。

次に、Ｓ７１２では、アプリケーション制御部４において、入力された遠隔制御対象アプリケーション起動命令に指定されるアプリケーションに対して制御命令を送り、当該アプリケーションを停止する。

次に、Ｓ７１３では、出力データ通信アプリケーション１１において、入力された出力データ送信命令に従い、出力データ通信アプリケーションで実行されている出力データの送信を開始し、出力データ通信アプリケーション起動確認通知を出力する。

次に、Ｓ７１４では、アプリケーション制御部４において、遠隔制御対象アプリケーション停止命令と出力データ通信アプリケーション起動確認通知が入力され、操作側通信装置１の操作部３からの入力イベントを、被操作側通信装置２に対してだけ送信するようにイベント振分ルールを変更する。

次に、Ｓ７１５では、遠隔制御管理部７において、入力された能力交換状態識別情報（変更要求拒否）に応じて、操作側通信装置に対して変更要求拒否応答を送信する。

次に、Ｓ７１６では、アプリケーション制御部４において、入力された能力交換状態識別情報（変更要求拒否）に応じて、アプリケーションを操作側でも実行している場合は、当該アプリケーションに対して制御命令を送り、Ｓ７０２で取得した動作状態の１つ前の状態に遷移させる。

＜第２の実施の形態＞
図９は、本発明の第２の実施の形態の遠隔制御システムを示す図であり、そのブロック図である。

この遠隔制御システムは、操作側ユーザによる操作を、対応する入力イベントに変換し出力する操作入力部１０１、２０１と、イベント振分規則データベース１０２、２０２と、イベント振分規則データベース１０２、２０２からイベント振分規則を読み出し、当該イベント振分規則に基づき、入力イベントを所定のアプリケーションに振り分ける入力イベントルーティング部１０３、２０３と、を備えている。

また、機能能力情報データベース１０４、２０４と、この機能能力情報データベース１０４、２０４から装置で処理可能な入力イベントのフォーマットや実行可能なアプリケーションなどの能力を記述した機器能力情報を読み出し、この能力機器能力情報に基づいて操作対象アプリケーションや、操作対象アプリケーションの出力データの取得方法や、操作権の所在および使用する入力イベントの種類などの遠隔制御条件を記述した遠隔制御情報を生成または解析し、もって遠隔制御情報を送受信することによって遠隔制御条件に関する能力交換を行うための能力交換部１０５、２０５を備える。

また、前記能力交換により決定した遠隔制御条件に基づき、イベント振分規則の変更方法を記述したイベント振分規則変更命令を生成し、前記入力イベントルーティング部１０３、２０３に送信する遠隔制御命令生成部１０６、２０６と、遠隔に存在する通信装置との間で入力イベントを送受信するイベント通信部１０７、２０７と、前記イベント通信部１０７、２０７に対して、遠隔に存在する通信装置との間で入力イベントの送受信の開始または終了を命令する通信制御部１０８、２０８と、を備える。

また、アプリケーション１０９、２０９の出力データを出力する出力部１１０、２１０と、イベント変換規則データベース１１１より所定のイベント変換規則を読み出し、当該イベント変換規則に従って所定の入力イベントを変換し出力するイベント変換部１１２と、アプリケーションの出力データを解析する出力データ解析部１１３とを備える複数の通信装置と、を備えて構成される。

なお、図９では、説明の都合上、操作側通信装置１００と被操作側通信装置２００を区別した上、被操作側通信装置２００については、被操作側通信装置として振舞うときに有効となる処理部のみを記載している。したがって、実際は、操作側通信装置１００だけに記載されている処理部が、被操作側通信装置２００に具備される場合もある。

なお、図９では、イベント振分規則データベース１０２、２０２と、機器能力情報データベース１０４、２０４と、イベント変換規則データベース１１１とが、すべて通信装置内に備えられているが、これらのデータベースがそれぞれ遠隔に存在し、ネットワークを介して各処理部と通信して所望のデータを取得するシステムであってもよい。

また、図９に参照されるように、通信装置はイベント変換部１１２および出力データ解析部１１３を備えているが、入力イベントを変換する必要がない場合などは、これらの構成部を備えずともよい。

次に、図９および、各処理部で行われる処理のフローチャートを用いて、本実施の形態について説明する。

被操作側ユーザの遠隔操作開始要求が、操作入力部２０１と入力イベントルーティング部２０３を介して能力交換部２０５に送信される。このとき、能力交換部２０５では、遠隔制御開始処理が実行される。

図１０は、能力交換部２０５の遠隔制御開始処理のフローチャートである。

能力交換部２０５は、ユーザからの遠隔制御開始要求の受信を常に待機しており、遠隔制御開始要求を受信すると、遠隔制御開始処理を開始する。この遠隔制御開始要求には、操作側通信装置１００に委ねるアプリケーションもしくはアプリケーションの一部機能など、操作委譲範囲を指定する情報が含まれている。これらの情報は、操作入力部を介してユーザにより指定される。

被操作側ユーザからの遠隔制御開始要求を受信すると、機器能力情報データベース２０４から、当該遠隔制御開始要求に付随する情報に基づき、当該遠隔制御に必要となる操作対象アプリケーションや、入力イベントを抽出し、遠隔制御情報を生成する（Ｓ２０１´）。

図１１は、Ｓ２０１´で生成される遠隔制御情報の例である。この場合、被操作側通信装置２００は、被操作側通信装置２００に実装されているアプリケーションのうちの、映像プレイヤとブラウザの遠隔制御を、通信装置Ａに対して要求していることを示している。

当該遠隔装置における操作側通信装置がいずれの通信装置であるかを示すとともに、操作側通信装置に操作を委譲するアプリケーション、当該アプリケーションの出力データの取得方法、当該アプリケーションを操作するための入力イベントの種別が指定される。コンポーネントは、操作対象アプリケーションとアプリケーションの出力データ取得方法、イベント種別の組み合わせを示す。

図１１の場合、上下方向キーイベントは対象プレイヤの操作に、左右方向キーイベントはブラウザの操作に、それぞれ割り当てられていることを示す。

能力交換部２０５は、Ｓ２０１´の処理で生成した遠隔制御情報を、操作側通信装置１００の能力交換部１０５に対して送信する（Ｓ２０２´）。

次に、Ｓ２０２´で送信した遠隔制御情報に対する操作側通信装置の応答を待機する（Ｓ２０３´）。応答を受信すると、当該応答の内容を解析し、当該応答が、当該遠隔制御情報に基づく遠隔制御の受諾通知であった場合は、遠隔制御命令生成部２０６に対して当該遠隔制御の遠隔制御条件を送信するとともに（Ｓ２０４´）、通信制御部２０８に対して能力交換完了通知を送信する（Ｓ２０５´）。

また、Ｓ２０３´で受信した応答が当該遠隔制御の拒否通知であった場合は、遠隔制御開始処理を終了する。

操作側通信装置１００の能力交換部１０５は、被操作側通信装置２００から遠隔制御情報を受信すると、被操作側通信装置２００の場合と同様に、遠隔制御開始処理を実行する。

図１２は、操作側通信装置１００の能力交換部１０５の遠隔制御開始処理のフローチャートである。

能力区間部１０５は、被操作側通信装置２００からネットワークを介して送信される遠隔制御情報を待機しており、遠隔制御情報を受信すると、遠隔制御開始処理が開始される。

遠隔制御情報を受信すると、機器能力情報データーベース１０４から自身の機器能力情報を読み出し、当該遠隔制御情報に基づく遠隔制御を実行可能かどうか判断する（Ｓ４０１´〜Ｓ４０２´）。

Ｓ４０２´で、当該遠隔制御を実行可能と判断した場合は、当該遠隔制御の受諾通知を被操作側通信装置２００の能力交換部２０５に対して送信する（Ｓ４０３´）。

次に、遠隔制御命令生成部１０６に対して当該遠隔制御の遠隔制御条件を送信する（Ｓ４０４´）。さらに、通信制御部１０８に対して能力交換完了通知を送信する（Ｓ４０５´）。

なお、被操作側通信装置２００から遠隔制御情報を受信し、図１２のＳ４０１´とＳ４０２´で示した処理により、当該遠隔制御情報により要求されている遠隔制御が、操作側通信装置１００において実行可能であると判断された段階で、当該遠隔制御の実行可否を、操作側ユーザに問い合わせる処理を、図１２のＳ４０２´とＳ４０３´の間に実行することも考えられる。これにより、遠隔制御の実行可否を、通信装置の能力で判断するだけでなく、ユーザの意思により決定可能となる。

また、Ｓ４０４´で送信される遠隔制御条件には、遠隔制御情報に示される条件のほかに、自身の通信装置で実行可能な入力イベントのリストも含まれている。このリストは、遠隔制御命令生成部１１２がイベント変換の必要性を判断するために用いられる。

次に、能力交換部１０５、２０５から、前記遠隔制御開始処理により決定された遠隔制御条件に基づき、当該遠隔制御を実行するための命令を生成する。遠隔制御命令生成部１０６、２０６について説明する。

まずは、操作側通信装置１００の遠隔制御命令生成部１０６について説明する。図１３は、遠隔制御命令生成部１０６の動作を示すフローチャートである。

能力交換部から、遠隔制御条件を受信すると、図１３に示す処理が開始される。

まず、当該遠隔制御条件に基づく遠隔制御を行うために、操作側通信装置１００で入力される入力イベントを変換する必要があるかどうか判断する（Ｓ５０１´）。この判断には、能力交換部から受信した遠隔制御条件を用いる。

遠隔制御条件には、当該遠隔制御に用いる入力イベントのリストと、操作側通信装置１００で実行可能な入力イベントのリストが含まれている。なお、能力交換部１０５、２０５の間で行われる能力交換により、操作側通信装置１００で実行可能な入力イベントの場合は、完全に等しい集合か、当該遠隔制御に用いる入力イベントのリストを包含する集合のいずれかの集合となる。この２つの集合がまったく等しい場合は、イベント変換の必要性なしと判断され、そうでない場合は、イベント変換部１１２に対してイベント変換命令を送信する（Ｓ５０２´）。

なお、イベント変換命令には、当該遠隔制御に用いる入力イベントのリストと、操作側通信装置１００で実行可能な入力イベントのリストが含まれる。

次に、遠隔制御条件に指定される入力イベントを、操作入力部１０１から受信した場合、イベント通信部１０７を介して被操作側通信装置２００に対して当該入力イベントを送信するように、入力イベントルーティング部に対してイベント振分規則変更命令を送信する（Ｓ５０３´）。

ここで、遠隔制御条件において、アプリケーションの出力データの取得方法として、操作対象アプリケーションと同じアプリケーションを操作側通信装置１００でも実行することが指定されている場合は、入力イベントを被操作側通信装置２００だけでなく、自身の当該アプリケーションに対してもルーティングすることを前記イベント振分規則変更命令にて指定する。

次に、被操作側通信装置２００の遠隔制御命令生成部２０６について説明する。被操作側通信装置２００の遠隔制御命令生成部２０６の場合の動作は、図１３に示す操作側通信装置１００の遠隔制御命令静止部１０６の処理のうち、Ｓ５０３のみ実行される。すなわち、能力交換部２０５から遠隔制御条件を受信すると、当該遠隔制御条件に従ったイベント振分規則変更命令を生成し、入力イベントルーティング２０３に送信される。

ただし、被操作側通信装置の場合、遠隔制御受験に指定される入力イベントを、イベント通信部２０７を介して操作側通信装置１００から受信した場合、当該遠隔制御条件で指定される操作対象のアプリケーションに対して、当該入力イベントを送信することが、イベント振分規則変更命令において指定される。

加えて、このイベント振分規則変更命令において、自身の操作入力部１０１から入力される入力イベントをすべて遮断することも可能である。これにより、遠隔制御条件に指定される入力イベントに関しての制御権を完全に操作側通信装置１００に委ねることが可能となる。

次に、操作側通信装置１００または被操作側通信装置２００の遠隔制御命令生成部１０６、２０６から、イベント振分規則変更命令を受信する入力イベントルーティング部１０３、２０３について説明する。図１４は、操作側通信装置１００の入力イベントルーティング部１０３のフローチャートである。

まず、イベント振分規則データベース１０３より、イベント振分規則を読み出し、当該イベント振分規則に従い入力イベントを所定のアプリケーションに振り分けるように設定する（Ｓ６０１´）。

ここで図１５は、イベント振分規則の一つの例を示している。例えば、アプリケーションＡの状態が状態Ａ１で、アプリケーションＢが状態Ｂ３の場合、イベント１が入力されると、イベント１はアプリケーションＡとＢの両方に送信されることを示す。また、このとき、イベント２はアプリケーションＢのみに送信され、イベントＸはいずれのアプリケーションにも送信されないことを示す。

次に、遠隔制御命令生成部１０６から受信した、未処理のイベント振分規則変更命令があるかどうかを判断する（Ｓ６０２´）。未処理のイベント振分規則変更命令が存在する場合は、当該命令に従い、Ｓ６０１´で設定されたイベント振分規則を変更する（Ｓ６０３´）。

例えば、Ｓ６０１´で図１４のイベント振分規則が読み出されている場合、イベント振分規則変更命令にイベント２を被操作側通信装置２００に送信することが指定されていれば、イベント２を遠隔の通信装置に送信しないことを示す「×」が、送信することを示す「○」に変更される。

なお、Ｓ６０２´の処理において、未処理のイベント振分規則変更命令が存在しない場合は、Ｓ６０３´の処理は実行されない。

次に、イベント振分規則の設定が完了すると、操作入力部１０１から送信される入力イベントを待機する（Ｓ６０４´）。入力イベントを受信すると、設定されているイベント振分規則に従い、当該入力イベントを所定のアプリケーションまたは、イベント変換部１１２とイベント通信部１０７を介して遠隔の被操作側通信装置２００に対して当該入力イベントを送信する。

図１４に示すとおり、入力イベントルーティング部１０３は、入力イベントの受信を待機しており、入力イベントを受信する度に、イベント振分規則に従い、所定のアプリケーションや被操作側通信装置２００に対してこれを転送する。イベント振分規則変更命令による設定の変更処理は、イベント転送を行うループ処理に対する割り込み処理として実行される。

被操作側通信装置２００の入力イベントルーティング部２０３における処理も、図１４に示した操作側通信装置１００の処理と同様である。

まず、イベント振分規則データベース２０４より、図１５に参照されるイベント振分規則を読み出し、当該イベント振分規則に従い入力イベントを所定のアプリケーションに振り分けるように設定する。次に、遠隔制御命令生成部２０６から受信した、未処理のイベント振分規則変更命令があるかどうかを判断する。

未処理のイベント振分規則変更命令が存在する場合は、当該命令に従い、既に設定されているイベント振分規則を変更する。なお、このように、被操作側通信装置２００で実行されるイベント振分規則の変更により、操作側通信装置１００から送信される入力イベントの振分規則が、入力イベントルーティング部２０３に設定される。

なお、被操作側通信装置２００に、操作入力部および入力イベント抽象化部が搭載されており、これを操作することにより、アプリケーションを操作できる場合は、被操作側通信装置２００において入力される入力イベントも、操作側通信装置１００から送信されてくる入力イベントも、入力イベントルーティング部において、同様に処理される。

次に、イベント変換部１１２について説明する。図１６は、イベント変換部１１２のフローチャートである。

イベント変換部１１２は、遠隔制御命令生成部１０６からイベント変換命令の受信を待機している（Ｓ８０１´）。イベント変換命令には、遠隔制御情報に指定される入力イベントと、操作側通信装置１００で実行可能な入力イベントのリストが含まれる。このリストをもとにイベント変換規則データベース１１１から適切なイベント変換規則を検索し、適合するイベント変換規則を取得する（Ｓ８０２´）。

図１７は、イベント変換規則の例である。「変換前の入力イベント」は変化後の「入力イベント」に変換され被操作側通信装置２００に対して送信されることを示している。

一方、図１７にある動作プログラムは、例えばマウスやタッチパネルなどによって、アプリケーションの出力データのどこをポインティングされたかなど、所定の入力イベントを取得するために、必要となる動作プログラムである。イベント変換部１１２は、取得したイベント変換規則に、イベント検出プログラムが指定されているかどうかを判別する（Ｓ８０３´）。

図１７に示すように、動作プログラムを指定されたイベント変換規則を取得した場合、イベント変換部１１２は、出力データ解析部１１３に対して、出力データ解析命令を送信する（Ｓ８０４´）。この出力データ解析命令には、取得したイベント変換規則に記述されている動作プログラムが指定される。

取得したイベント変換規則に基づき動作するための設定が完了すると、入力イベントルーティング部１０３から送信される入力イベントを待機する（Ｓ８０５´）。

入力イベントを受信すると、イベント変換規則に基づき入力イベントを変換する（Ｓ８０６）。例えば、図１７のイベント変換規則に従えば、イベント変換部に入力イベント「vertical vector +3」が入力されると、これを「vertical vector +1」する。なお、イベント変換規則で指定されていない入力イベントを受信した場合や、イベント変換命令自体を受信していない場合は、イベント変換処理を実行しない。

変換された入力イベントは、イベント通信部１０７を介して被操作側通信装置２００に送信される（Ｓ８０７´）。

図１６に示すとおり、あるイベント変換命令に基づくイベント変換処理（Ｓ８０５´〜Ｓ８０７´）は、当該遠隔制御が継続する間は、入力イベントを受信する度に繰り返される。遠隔制御命令生成部１０６から、新たなイベント変換命令を受信した場合は、当該イベント変換処理を終了し（Ｓ８０８´）、再度Ｓ８０１´より処理を開始する。

次に、イベント変換部１１２から受信する出力データ解析命令に従い動作する。出力データ解析部１１３について説明する。図１８は、出力データ解析部１１３の動作を示すフローチャートである。

イベント変換部１１２から、出力データ解析命令を受信すると、当該出力データ解析命令において指定される動作プログラムを取得する（Ｓ１００１´）。本実施の形態では、イベント変換規則データベースから、動作プログラムを取得しているが、別のデータベースであってもよく、また、ネットワーク経由で遠隔のデータベースから取得してもよい。取得した動作プログラムに基づき、出力データ解析部１１３は、出力データの受信を待機する（Ｓ１００２´）。

アプリケーションより、出力データを受信すると、取得した動作プログラムに従い当該出力データを解析する（Ｓ１００３´）。アプリケーションの出力データとしては、ＨＴＭＬやＸＭＬなどの記述言語で記述されたデータや、ビットマップ等の画像データなどが考えられる。出力データ解析部１１３における動作の例としては、これらの出力データを解析するだけでなく、当該出力データの適切な箇所に、ポインティングの位置情報を検出するための動作スクリプトを書き加えるなど、イベントを検出するために必要となるデータを付加することが考えられる。

出力データの解析が完了すると、出力部１１０を介して当該出力データを出力する（Ｓ１００４´）。

図１８に参照されるように、ある出力データ解析命令に基づく出力データ解析処理（Ｓ１００２´〜Ｓ１００４´）は、当該遠隔制御が継続する間は、出力データを受信する度に繰り返される。

このように、第２の実施の形態の遠隔制御システムは、被操作側通信装置２００で動作するアプリケーションと同じアプリケーションを動作させ、これら双方のアプリケーションに対して、操作側通信装置１００で生成される入力イベントを送信し、出力データを取得することで、アプリケーションの同期を図っている。これにより、被操作側通信装置２００で得られる出力データと同じ出力データを、操作側通信装置１００でも得ることが可能となる。

＜第３の実施の形態＞
一方、被操作側通信装置２００にしかないアプリケーションの遠隔制御を行う場合など、既に説明した本発明の第２の実施の形態に示す出力データの取得方法では、アプリケーションの同期がとれない可能性もある。

そこで、本発明の第３の実施の形態の遠隔制御システムは、被操作側通信装置の出力データを操作側通信装置に転送し、アプリケーションの同期を図ることによって、第２の実施の形態の問題点を解決を図るものである。

図１９は、本発明の第２の実施の形態の遠隔制御システムを示す図であり、そのブロック図である。

この実施の形態の場合、第２の実施の形態の遠隔制御システムの構成部に加え、被操作側通信装置２００ａで実行されるアプリケーションの出力データを、操作側通信装置１００ａに対して送信するための出力データ通信アプリケーション１１４、２１４が備えられている。

本実施の形態では、被操作側通信装置２００ａの能力交換部２０５ａから送信される遠隔制御情報において、出力データの取得方法として、被操作側通信装置２００ａから取得することが指定される。

当該遠隔制御情報を受信した操作側通信装置１００ａの能力交換部１０５ａが、当該遠隔制御情報に基づいた遠隔制御条件を遠隔制御命令生成部１０６ａに送信すると、遠隔制御命令生成部１０６ａは、当該遠隔制御条件に基づいたイベント振分規則変更命令を生成し、入力イベントルーティング部１０３ａに送信する。

これとともに、遠隔制御命令生成部１０６ａは、被操作側通信装置２００ａから出力データを受信するために、出力データ通信アプリケーション１１４を起動する。当該イベント振分規則変更命令を受信した入力イベントルーティング部１０５ａは、当該イベント振分規則変更命令に従い、イベント振分規則を変更する。

被操作側通信装置２００ａの遠隔制御命令生成部２０６ａも同様に、入力イベントルーティング部２０３ａに対してイベント振分規則変更命令を送信するとともに、出力データ通信アプリケーション２１４を起動し、操作側通信装置１００ａに対して出力データを送信するように命令する。入力イベントルーティング部２０３ａは、当該イベント振分規則変更命令に従いイベント振分規則を変更する。

なお、本実施の形態の出力データ通信アプリケーションとしては、ＷＥＢブラウザ等が取得するＨＴＭＬやＸＭＬなどの記述言語で記述されたファイルを転送する方式や、アプリケーションの出力画面をビットマップデータとして取得し、これを転送する方式などが考えられる。

＜第４の実施の形態＞
本発明の第４の実施の形態の遠隔制御システムとして、アプリケーションの出力データ取得方法を切り換えて実行するシステムが考えられる。すなわち、既に説明した第２と第３の実施の形態の両方を実現可能であり、遠隔制御情報の記述に従って、いずれの出力データ取得方法を実行するかを決定する遠隔制御システムである。

被操作側ユーザまたは被操作側通信装置が、いずれの出力データ取得方法を使用するかを指定する場合は、図１１の遠隔制御情報にある、出力データの取得方法の項目において、所望の出力データ取得方法を指定する。

また、被操作側ユーザまたは被操作側通信装置が出力データ取得方法を指定しない場合や、指定されている出力データ取得方法を、操作側通信装置で実行できない場合は、操作側通信装置で出力データ取得方法を改めて指定する。

例えば、遠隔制御情報において指定される操作対象アプリケーションを装備しておらず、かつ、出力データの取得方法として総称の通信装置でアプリケーションを実行することが指定されている場合、本実施の形態の遠隔制御システムでは、出力データの取得方法を、被操作側通信装置からの転送による方法に切り換えることにより、遠隔制御を実行することが可能となる。

＜第５の実施の形態＞
図２０は、本発明の第５の実施の形態の遠隔制御システムを示す図であり、そのブロック図である。本実施の形態の遠隔制御システムは、第２または第３の実施の形態とは異なり、操作側ユーザが、操作側通信装置１００ｂの操作入力部１０１ｂ、および入力イベントルーティング部１０３ｂを介して、能力交換部１０５ｂに対して遠隔操作開始要求を送信する。

当該遠隔操作開始要求を受信した被操作側通信装置１００ｂの能力交換部１０５ｂは、当該遠隔操作開始要求に基づき遠隔制御情報を生成し、被操作側通信装置２００ｂに送信する。このとき、遠隔制御情報において、自身の通信装置を操作側通信装置として指定する。

遠隔制御情報を受信した被操作側通信装置２００ｂの能力交換部２０５ｂは、当該遠隔制御情報に基づく遠隔制御を実行可能かどうかを判断し、あるいはその後に被操作側ユーザに対して当該遠隔制御を実行するかどうかの判断を求めるなどして、当該遠隔制御を実行するかどうかを判断する。これ以後の動作は、第２の実施の形態の遠隔制御システムと同様である。

＜第６の実施の形態＞
図２１は、本発明の第６の実施の形態の遠隔制御システムを示す図であり、そのブロック図である。本実施の形態は、既に説明した第４の実施の形態と同様に、操作側ユーザが遠隔操作開始要求を行うものである。

操作側ユーザによる遠隔操作開始要求から、被操作側通信装置２００ｃにおける遠隔制御の受け入れ判断までの処理は本発明の第４の実施の形態の遠隔制御システムと同様であり、それ以後の動作は、第３の実施の形態の遠隔制御システムと同様である。

＜第７の実施の形態＞
本発明の第７の実施の形態の遠隔制御システムとしては、第５と第６の実施の形態の両方を実現可能であり、遠隔制御情報の記述に従って、いずれの出力データ取得方法を実行するかを決定する遠隔制御システムである。

操作側ユーザまたは操作側通信装置が、いずれの出力データ取得方法を使用するかを指定する場合は、図１１の遠隔制御情報にある、出力データの取得方法の項目において、所望の出力データ取得方法を指定する。

また、操作側ユーザまたは操作側通信装置が出力データ取得方法を指定しない場合や、指定されている出力データ取得方法を、操作側通信装置で実行できない場合は、操作側通信装置で出力データ取得方法を改めて指定することも可能である。

＜第８の実施の形態＞
本発明の第８の実施の形態の遠隔制御システムとして、遠隔制御情報の送信側の通信装置が、操作側と被操作側のいずれになるかを、切り換えることが可能なシステムが考えられる。

すなわち、通信装置が遠隔の通信装置に対して、遠隔通信装置による自身の操作を依頼することと、自身による遠隔通信装置の操作を要求することの両方を、実行可能である遠隔制御システムである。

これらの機能の切り替えは、遠隔の通信装置に送信する遠隔制御情報において、操作側通信装置の項目に、遠隔の通信装置を指定するのか、自身の通信装置を指定するのかにより、可能である。

この実現方法としては、例えば、ユーザから遠隔操作開始要求を入力する際のユーザインタフェースに、自身の通信装置の操作を相手に依頼するのか、相手の通信装置の操作を自身が引き受けるのかを選択できるボタンなどを具備しておくことが考えられる。別の方法としては、通信装置の状態や属性情報などに基づき、能力交換部が判断し指定することも考えられる。

以上説明した本発明の実施の形態によれば、遠隔制御を行う度に、自装置で処理可能な入力イベントのフォーマットや実行可能なアプリケーションなどの能力を記述した機器能力情報に基づき、操作対象アプリケーションや、操作対象アプリケーションの出力データの取得方法、操作権の所在、使用する入力イベントの種類などの、遠隔制御条件に関する能力交換を通信装置の間で行うことにより、操作デバイスの異なる様々な情報家電機器間での遠隔制御やアプリケーションの共有を実現することが可能となる。

また、遠隔制御の度に、所望の操作対象アプリケーションを指定したり、あるいは複数のアプリケーションの操作対象として指定したり、さらには、どの操作デバイスを用いてどの操作対象アプリケーションを制御するのかなど、より柔軟性の高い遠隔制御条件を、ユーザが指定でき、
また、遠隔制御条件において操作権の所在を指定することにより、遠隔制御システムを構成するいずれの通信装置であっても、操作側としても被操作側としても動作することが可能となり、
また、遠隔制御の目的や用途に応じて、操作結果の取得方法を切り換えることが可能となる遠隔制御システムを提供することができる。

本発明の遠隔制御システムの第１の実施の形態に係る、全体構成を説明するための構成図を示す。 本発明の遠隔制御システムの第１の実施の形態に係る、メッセージシーケンス図を示す。 本発明の遠隔制御システムの第１の実施の形態に係る、能力交換時の被操作側通信装置のフロー図を示す。 本発明の遠隔制御システムの第１の実施の形態に係る、能力交換時の操作側通信装置のフロー図を示す。 本発明の遠隔制御システムの第１の実施の形態に係る、状態解析時の被操作側通信装置のフロー図を示す。 本発明の遠隔制御システムの第１の実施の形態に係る、制御時の操作側通信装置のフロー図を示す。 本発明の遠隔制御システムの第１の実施の形態に係る、遠隔制御時のアプリケーション動作ルールデータベースの一つの例を示す。 本発明の遠隔制御システムの第１の実施の形態に係る、遠隔制御要求の一つの例を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、全体構成を説明するための構成図を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、能力交換部の遠隔制御開始処理のフロー図を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、Ｓ２０１で生成される遠隔制御情報の一つの例を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、操作側通信装置の能力交換部の遠隔制御開始処理のフロー図を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、遠隔制御命令生成部の動作を示すフロー図を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、操作側通信装置の入力イベントルーティング部のフロー図を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、イベント振分規則の一つの例を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、イベント変換部のフロー図を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、イベント変換規則の一つの例を示す。 本発明の遠隔制御システムの第２の実施の形態に係る、出力データ解析部の動作を示すフロー図を示す。 本発明の遠隔制御システムの第３の実施の形態に係る、遠隔制御システムのブロック図を示す。 本発明の遠隔制御システムの第５の実施の形態に係る、遠隔制御システムのブロック図を示す。 本発明の遠隔制御システムの第６の実施の形態に係る、遠隔制御システムのブロック図を示す。

符号の説明

１００、１００ａ、１００ｂ、１００ｃ 操作側通信装置
２００、２００ａ、２００ｂ、２００ｃ 被操作側通信装置
１０１、１０１ｂ 操作入力部
１０２、２０２ イベント振分規則データベース
１０３、１０３ａ、１０３ｂ、１０３ｃ、２０３、２０３ａ、２０３ｂ、２０３ｃ 入力イベントルーティング部
１０４、２０４ 機器能力情報データベース
１０５、１０５ａ、１０５ｂ、１０５ｃ、２０５、２０５ａ、２０５ｂ、２０５ｃ 能力交換部
１０６、１０６ａ、１０６ｂ、１０６ｃ、２０６、２０６ａ、２０６ｂ、２０６ｃ 遠隔制御命令生成部
１０７、２０７ イベント通信部
１０８、２０８ 通信制御部
１０９、２０９ アプリケーション
１１０、２１０ 出力部
１１１ イベント変換規則データベース
１１２ イベント変換部
１１３ 出力データ解析部
１１４、２１４ 出力データ通信アプリケーション

Claims (12)

1. 操作側通信装置がネットワークを介して被操作側通信装置を遠隔に制御するための遠隔制御システムにおいて、
   前記操作側通信装置に入力された入力イベントを送信対象のアプリケーションへ振分する規則であるイベント振分規則に基づいて振り分けるための入力イベントルーティング部と、
   前記操作側装置および前記被操作側装置の前記入力イベントに対する処理能力を記述した機器能力情報に基づき、遠隔制御条件を記述した遠隔制御情報を生成し、この遠隔制御情報を送受信して前記機器能力情報の交換を行うための能力交換部と、
   前記能力交換部による能力交換により決定した前記遠隔制御条件に基づいて前記イベント振分規則の変更方法を記述したイベント振分規則変更命令を生成し、前記入力イベントルーティング部へ送信するための遠隔制御命令生成部と、
   前記入力イベントを送受信するためのイベント通信部と、
   前記イベント通信部に対して送受信の開始または終了を指示するための通信制御部と、
   前記アプリケーションの出力データを出力するための出力部と、
   を備えることを特徴とする遠隔制御システム。
2. イベント変換規則に従って前記入力イベントを変換し出力するためのイベント変換部を備え、
   前記操作側通信装置の前記遠隔制御命令生成部は、
   前記遠隔制御条件に基づく入力イベントの変換の必要性を判断し、
   前記イベント変換部に対して前記遠隔制御条件に指定される入力イベントと前記操作側通信装置で入力可能な入力イベントのリストを含むイベント変換命令を送信し、
   前記入力イベントルーティング部に対して、入力イベントの振分先にイベント変換部を指定するイベント振分規則変更命令を送信し、
   イベント変換命令を発信した前記イベント変換部は、当該イベント変換命令に従ったイベント変換規則を取得し、
   前記入力イベントルーティング部より受信した入力イベントについて、前記イベント変換規則に従い変換し、前記イベント通信部を介して前記被操作側通信装置に対して送信する
   ことを特徴とする、請求項１に記載の遠隔制御システム。
3. 前記遠隔制御命令生成部は、
   前記遠隔制御条件に指定されている操作対象アプリケーションの出力データ取得方法として、操作対象アプリケーションと同一のアプリケーションを前記操作側通信装置にて実行することが指定されている場合において、このアプリケーションの制御方法を記述した前記イベント振分規則変更命令を前記入力イベントルーティング部に送信し、
   前記入力イベントルーティング部において、受信した前記イベント振分規則変更命令で指定される前記入力イベントの振分先として前記被操作側通信装置に加え前記操作側通信装置に搭載されている所定のアプリケーションも前記振分先に設定する
   ことを特徴とする請求項１または２のいずれか１項に記載の遠隔制御システム。
4. 前記操作側通信装置は、
   アプリケーションの出力データを解析する出力データ解析部を備え、
   前記イベント変換部はイベント変換規則を取得した結果においてイベント変換を実行するための解析プログラムをアプリケーションの出力データに埋め込む処理を実行する必要がある場合において、
   前記解析プログラムが記述された出力データ解析命令を前記出力データ解析部に送信し、前記出力データ解析部は出力データ解析命令を受信すると、当該出力データ解析命令において指定される前記解析プログラムを取得して動作する
   ことを特徴とする請求項２または３のいずれか１項に記載の遠隔制御システム。
5. 操作側通信装置がネットワークを介して被操作側通信装置を遠隔に制御するための遠隔制御方法において、
   入力イベントルーティング部によって、前記操作側通信装置に入力された入力イベントを送信対象のアプリケーションへ振分する規則であるイベント振分規則に基づいて振り分けるステップと、
   能力交換部によって、前記操作側装置および前記被操作側装置の前記入力イベントに対する処理能力を記述した機器能力情報に基づき、遠隔制御条件を記述した遠隔制御情報を生成し、この遠隔制御情報を送受信して前記機器能力情報の交換を行うステップと、
   遠隔制御命令生成部によって、前記能力交換部による能力交換により決定した前記遠隔制御条件に基づいて前記イベント振分規則の変更方法を記述したイベント振分規則変更命令を生成し、前記入力イベントルーティング部へ送信するステップと、
   イベント通信部によって、前記入力イベントを送受信するステップと、
   通信制御部によって、前記イベント通信部に対して送受信の開始または終了を指示するステップと、
   出力部によって、前記アプリケーションの出力データを出力するステップと、
   を有することを特徴とする遠隔制御方法。
6. イベント変換規則に従って前記入力イベントを変換し出力するためのイベント変換部を備え、
   前記操作側通信装置の前記遠隔制御命令生成部は、
   前記遠隔制御条件に基づく入力イベントの変換の必要性を判断し、
   前記イベント変換部に対して前記遠隔制御条件に指定される入力イベントと前記操作側通信装置で入力可能な入力イベントのリストを含むイベント変換命令を送信し、
   前記入力イベントルーティング部に対して、入力イベントの振分先にイベント変換部を指定するイベント振分規則変更命令を送信し、
   イベント変換命令を発信した前記イベント変換部は、当該イベント変換命令に従ったイベント変換規則を取得し、
   前記入力イベントルーティング部より受信した入力イベントについて、前記イベント変換規則に従い変換し、前記イベント通信部を介して前記被操作側通信装置に対して送信する
   ことを特徴とする、請求項５に記載の遠隔制御方法。
7. 前記遠隔制御命令生成部は、
   前記遠隔制御条件に指定されている操作対象アプリケーションの出力データ取得方法として、操作対象アプリケーションと同一のアプリケーションを前記操作側通信装置にて実行することが指定されている場合において、このアプリケーションの制御方法を記述した前記イベント振分規則変更命令を前記入力イベントルーティング部に送信し、
   前記入力イベントルーティング部において、受信した前記イベント振分規則変更命令で指定される前記入力イベントの振分先として前記被操作側通信装置に加え前記操作側通信装置に搭載されている所定のアプリケーションも前記振分先に設定する
   ことを特徴とする請求項５または６のいずれか１項に記載の遠隔制御方法。
8. 前記操作側通信装置は、
   アプリケーションの出力データを解析する出力データ解析部を備え、
   前記イベント変換部はイベント変換規則を取得した結果においてイベント変換を実行するための解析プログラムをアプリケーションの出力データに埋め込む処理を実行する必要がある場合において、
   前記解析プログラムが記述された出力データ解析命令を前記出力データ解析部に送信し、前記出力データ解析部は出力データ解析命令を受信すると、当該出力データ解析命令において指定される前記解析プログラムを取得して動作する
   ことを特徴とする請求項６または７のいずれか１項に記載の遠隔制御方法。
9. 操作側通信装置がネットワークを介して被操作側通信装置を遠隔に制御するための遠隔制御プログラムにおいて、
   入力イベントルーティング部によって、前記操作側通信装置に入力された入力イベントを送信対象のアプリケーションへ振分する規則であるイベント振分規則に基づいて振り分けるステップと、
   能力交換部によって、前記操作側装置および前記被操作側装置の前記入力イベントに対する処理能力を記述した機器能力情報に基づき、遠隔制御条件を記述した遠隔制御情報を生成し、この遠隔制御情報を送受信して前記機器能力情報の交換を行うステップと、
   遠隔制御命令生成部によって、前記能力交換部による能力交換により決定した前記遠隔制御条件に基づいて前記イベント振分規則の変更プログラムを記述したイベント振分規則変更命令を生成し、前記入力イベントルーティング部へ送信するステップと、
   イベント通信部によって、前記入力イベントを送受信するステップと、
   通信制御部によって、前記イベント通信部に対して送受信の開始または終了を指示するステップと、
   出力部によって、前記アプリケーションの出力データを出力するステップと、
   を有することを特徴とする遠隔制御プログラム。
10. イベント変換規則に従って前記入力イベントを変換し出力するためのイベント変換部を備え、
    前記操作側通信装置の前記遠隔制御命令生成部は、
    前記遠隔制御条件に基づく入力イベントの変換の必要性を判断し、
    前記イベント変換部に対して前記遠隔制御条件に指定される入力イベントと前記操作側通信装置で入力可能な入力イベントのリストを含むイベント変換命令を送信し、
    前記入力イベントルーティング部に対して、入力イベントの振分先にイベント変換部を指定するイベント振分規則変更命令を送信し、
    イベント変換命令を発信した前記イベント変換部は、当該イベント変換命令に従ったイベント変換規則を取得し、
    前記入力イベントルーティング部より受信した入力イベントについて、前記イベント変換規則に従い変換し、前記イベント通信部を介して前記被操作側通信装置に対して送信する
    ことを特徴とする、請求項９に記載の遠隔制御プログラム。
11. 前記遠隔制御命令生成部は、
    前記遠隔制御条件に指定されている操作対象アプリケーションの出力データ取得プログラムとして、操作対象アプリケーションと同一のアプリケーションを前記操作側通信装置にて実行することが指定されている場合において、このアプリケーションの制御プログラムを記述した前記イベント振分規則変更命令を前記入力イベントルーティング部に送信し、
    前記入力イベントルーティング部において、受信した前記イベント振分規則変更命令で指定される前記入力イベントの振分先として前記被操作側通信装置に加え前記操作側通信装置に搭載されている所定のアプリケーションも前記振分先に設定する
    ことを特徴とする請求項９または１０のいずれか１項に記載の遠隔制御プログラム。
12. 前記操作側通信装置は、
    アプリケーションの出力データを解析する出力データ解析部を備え、
    前記イベント変換部はイベント変換規則を取得した結果においてイベント変換を実行するための解析プログラムをアプリケーションの出力データに埋め込む処理を実行する必要がある場合において、
    前記解析プログラムが記述された出力データ解析命令を前記出力データ解析部に送信し、前記出力データ解析部は出力データ解析命令を受信すると、当該出力データ解析命令において指定される前記解析プログラムを取得して動作する
    ことを特徴とする請求項１０または１１のいずれか１項に記載の遠隔制御プログラム。

Images