JP2005347953A - 制御システム、制御装置、及び被制御装置 - Google Patents

Abstract

【課題】 ユーザ操作の煩わしさを軽減し、被制御装置が有する高度な機能をリモート制御により利用できるようにする。
【解決手段】 操作情報を送信するとともに、受信した制御情報に基づいて動作する被制御装置と、受信した操作情報に基づいて当該操作情報に係る画像を表示部に表示してユーザに操作画面を提供するとともに、ユーザの操作に応じた上記制御情報を送信する制御装置とがネットワークを介して接続された制御システムにて、制御情報にユーザの操作に係る時間情報を含ませ、制御情報の時間情報に応じて受信した制御情報に基づく動作を行うようにして、同一種類の制御情報であっても時間情報に基づいて異なる動作を可能にし、ユーザ操作の煩わしさを軽減し、被制御装置が有する高度な機能をリモート制御により利用できるようにする。
【選択図】 図１

Description

本発明は、制御システム、制御装置、及び被制御装置に関し、特に、ネットワークを介して接続されたリモート制御装置と被制御装置とからなるネットワークリモート制御システムに用いて好適なものである。

従来、単独で動作していた、あるいは機器独自の接続により動作していた家庭内のオーディオ・ビジュアル（ＡＶ）機器や家電機器を、一つのネットワークによって接続する要求が高まっている。動画データ、音声データといったリアルタイム性が要求されるデータと、静止画データ、制御データといった転送の信頼性が要求されるデータとを混在した状態で転送することが可能な高速デジタル通信技術がこれを実現している。

ネットワークを介して接続された周辺機器を制御する１つの方法として、家庭内ネットワークでは、インタフェースをユーザに提供する機器をテレビとし、テレビ自身が周辺機器を操作するための操作画面を準備してテレビ画面上に表示し、テレビのリモコン装置によりユーザが操作画面において行った操作に基づいてテレビ自身が周辺機器を制御する、といったものが考えられる。

しかしながら上記方法では、表示する操作画面データや、ユーザ操作に基づいた制御を実行するためのコマンド、プログラム等を、予めテレビ内に準備する必要がある。これら操作画面データ、コマンド、プログラム等は周辺機器毎に必要であり、ネットワークに接続される周辺機器は多種に及ぶため、操作画面データ、コマンド、プログラムの量は膨大なものになってしまう。さらに、時間を追って機器を追加接続することも当然考えられるため、接続される可能性のあるすべての機器に対する操作画面データ、コマンド、プログラムをテレビ内に準備すると、その量はさらに増大する。また、将来の機器に対する操作画面データ、コマンド、プログラムを予め準備することは困難である。

このような問題を解決する方法として、ネットワークに接続された被制御装置からその操作画面データを送信し、テレビに代表される表示器を備えたリモート制御装置がこれを受信して、ユーザに対して操作画面を表示するとともに、ユーザの操作入力を被制御装置に送信することで被制御装置の制御を行うシステムが提案されている（例えば、特許文献１参照。）。

図４５はこうした従来の制御システムの構成を示すブロック図である。
図４５において、３１０は操作画面データを送信し、ネットワーク３００を介してリモート制御を受ける被制御装置である。３１３はリモート制御のための操作画面データを生成する画像生成部、３１１はネットワーク３００に接続されデータを送受信するための双方向通信部、３１２は操作画面データを送信し、受信したユーザ操作情報に基づき被制御機器本体部３１４を制御する処理部、３１４は制御を受けて動作することによりユーザにサービスを提供する被制御機器本体部である。

また、３２０は表示機能を有し、ネットワーク３００を介してリモート制御を行うリモート制御装置である。３２４は操作画面を表示する表示部、３２５はリモコン等によるユーザ操作を受信する入力部、３２３はネットワーク３００を介して受信した操作画面データを記憶する記憶部である。３２２は受信した操作画面データを記憶部３２３に格納し、当該操作画面データに基づいた操作画面を表示部３２４に表示するとともに、入力部３２５により受信したユーザ操作に基づいてユーザ操作情報を出力する処理部である。３２１はこうしたデータをネットワーク３００を介して送受信するための双方向通信部である。

ネットワーク３００を介して被制御装置３１０から送られる操作画面データは、リモート制御装置３２０で受信され、当該操作画面データに基づく操作画面が表示部３２４に表示され、ユーザはこの操作画面を見てリモコン等を操作する。ユーザの操作に関する情報は、リモート制御装置３２０から被制御装置３１０にネットワーク３００を介して送られ、この情報に従って被制御機器本体部３１４が制御され、ユーザに対するサービスが提供される。

特開平１１−３３１４号公報

しかしながら、上記従来の制御システムにおいては、以下に説明するような問題があった。
例えば、リモート制御装置をテレビ、被制御装置をデジタル画像の蓄積、表示、編集が可能なデジタルフォトアルバムとする。図４６は、テレビ（リモート制御装置）に表示されたデジタルフォトアルバム（被制御装置）の操作画面の一例を示す図である。図４６において、３５０はサムネイル表示されたデジタルフォト画像Ａ〜Ｐであり、各デジタルフォト画像Ａ〜Ｐは操作要素ともなっている。３５１、３５２は、ユーザがリモコンの決定キーを押した場合に実行する動作を示す操作要素であり、操作要素３５１は表示、操作要素３５２は削除の動作を行うことを示している。

例えば、図４６においては、「表示」の操作要素３５１のチェックボックスが選択されており、カーソルがデジタルフォト画像Ｇをフォーカスしている。この状態でユーザがリモコンの決定キーを押すと、図４７に示すようにデジタルフォト画像Ｇが大きく表示される。図４７は、デジタルフォト画像Ｇが大きく表示されたテレビ上の画面を示す図である。図４７において、表示される操作要素は「戻る」の操作要素３６１のみであり、カーソルが「戻る」の操作要素３６１をフォーカスしている。この状態でユーザがリモコンの決定キーを押すと、テレビ上の画面は図４６に示した画面に戻る。

また、例えば、ユーザがサムネイル表示されたデジタルフォト画像３５０の中から、デジタルフォト画像Ｊを削除したいといった場合のユーザの操作は、リモコンのカーソル移動キーを適宜操作し、カーソルが「削除」の操作要素３５２をフォーカスするようにして、この状態でリモコンの決定キーを押す。すると、図４８に示すように「削除」の操作要素３５２のチェックボックスが選択、かつ「表示」の操作要素３５１のチェックボックスが非選択の状態になる。

そして、さらにユーザがリモコンのカーソル移動キーを適宜操作し、図４９に示すようにカーソルがデジタルフォト画像Ｊをフォーカスするようにして、この状態でリモコンの決定キーを押す。すると、「削除」の操作要素３５２のチェックボックスが選択されており、カーソルがデジタルフォト画像Ｊをフォーカスしているので、デジタルフォト画像Ｊが削除されることになる。

このように、上述した従来の制御システムにおいては、ユーザにとっては被制御装置が有する高度な機能をリモート制御により利用できる反面、複雑な操作を強いられるという問題があった。

本発明は、このような事情に鑑みてなされたものであり、ユーザ操作の煩わしさを軽減し、被制御装置が有する高度な機能をリモート制御により利用できるようにすることを目的とする。

本発明の制御システムは、操作情報を送信するとともに、受信した制御情報に基づいて動作する被制御装置と、受信した操作情報に基づいて当該操作情報に係る画像を表示部に表示してユーザに操作画面を提供するとともに、ユーザの操作に応じた上記制御情報を送信する制御装置とがネットワークを介して接続された制御システムであって、上記制御情報は、上記ユーザの操作に係る時間情報を含み、上記被制御装置は、複数の上記制御情報を受信した場合、上記制御情報の時間情報に応じて受信した制御情報に基づく動作を行うことを特徴とする。
本発明の制御装置は、ネットワークに接続され、当該ネットワークに情報を送信する手段と、当該ネットワークより情報を受信する手段と、表示手段と、ユーザ指示手段とを有し、前記ネットワークより複数の操作情報を受信し、当該複数の操作情報を上記表示手段に表示し、上記ユーザ指示手段により指示される操作情報を上記ネットワークを介して送信する制御装置であって、カウンターを有し時間を計時する手段を有し、ユーザからの指示を受けた時、上記カウンターから供給されるタイムコードを上記ユーザ指示手段により指示される操作情報の属性として付加し、上記ネットワークを介して送信することを特徴とする。
本発明の被制御装置は、ネットワークに接続され、当該ネットワークに情報を送信する手段と、当該ネットワークより情報を受信する手段と、一つ以上の操作情報とを有し、上記ネットワークに操作情報を送信し、上記ネットワークより上記操作情報を受信し、当該受信した操作情報に基づいてサービスを提供する被制御装置であって、タイマーを有する時間計測手段を有し、属性としてタイムコードを有する上記操作情報を受信した時、当該タイムコードをメモリに記憶保持して上記タイマーを起動し当該タイマーのタイムアウト時に上記操作情報に基づく動作を行い、上記タイマーのタイムアウト以前に新たな上記タイムコードを有する操作情報を受信した時、当該タイムコードと上記メモリに保持している上記タイムコードとの差分を計算し、計算結果と上記操作情報に基づく動作を行うことを特徴とする。
本発明の制御方法は、操作情報を送信するとともに、受信した制御情報に基づいて動作する被制御装置と、受信した操作情報に基づいて当該操作情報に係る画像を表示部に表示してユーザに操作画面を提供するとともに、ユーザの操作に応じた上記制御情報を送信する制御装置とがネットワークを介して接続された制御システムの制御方法であって、ユーザの操作に応じて、当該ユーザ操作に係る時間情報を含む制御情報を生成して送信する制御情報送信ステップと、上記制御情報送信ステップにて送信された制御情報を受信する制御情報受信ステップと、上記制御情報受信ステップにて受信した制御情報に基づく動作を行う第１の制御ステップと上記制御情報受信ステップにより複数の上記制御情報を受信した場合、上記制御情報の時間情報に応じて受信した制御情報に基づく動作を行う第２の制御ステップとを有することを特徴とする。
本発明のプログラムは、操作情報を送信するとともに、受信した制御情報に基づいて動作する被制御装置と、受信した操作情報に基づいて当該操作情報に係る画像を表示部に表示してユーザに操作画面を提供するとともに、ユーザの操作に応じた上記制御情報を送信する制御装置とがネットワークを介して接続された制御システムの制御方法をコンピュータに実行させるためのプログラムであって、ユーザの操作に応じて、当該ユーザ操作に係る時間情報を含む制御情報を生成して送信する制御情報送信ステップと、上記制御情報送信ステップにて送信された制御情報を受信する制御情報受信ステップと、上記制御情報受信ステップにて受信した制御情報に基づく動作を行う第１の制御ステップと上記制御情報受信ステップにより複数の上記制御情報を受信した場合、上記制御情報の時間情報に応じて受信した制御情報に基づく動作を行う第２の制御ステップとを有することを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、上記プログラムを記録したことを特徴とする。

本発明によれば、受信した制御情報に加え、当該制御情報に含まれる時間情報を参照し、上記制御情報及び時間情報に応じて受信した制御情報に基づく動作を行うので、同一種類の制御情報であっても時間情報に基づいて異なる動作を行うことができる。したがって、１つの制御情報で複数の制御が可能になり、ユーザ操作の煩わしさを軽減して、被制御装置が有する高度な機能をリモート制御により利用することができる。

以下、本発明の実施形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態におけるリモート制御システムの構成例を示すブロック図である。

図１において、１０００はリモート制御装置としてのテレビであり、リモコンによるユーザ操作入力手段を有している。また、１２００は被制御装置としてのデジタルフォトアルバムである。テレビ１０００とデジタルフォトアルバム１２００とは、ＩＥＥＥ１３９４−１９９５規格に準拠したシリアルバス（以下、「１３９４シリアルバス」と称す。）１２５０により通信可能に接続されている。

まず、テレビ１０００の構成について説明する。
１０１０はチューナー部であり、アンテナ１０２０からの信号を受信して受信データの復調や誤り訂正等を行い、トランスポートストリーム（ＴＳ）データを出力する。１０３０はデマルチプレクサであり、複数チャンネル分の映像データ、音声データ等が時分割多重化されているＴＳデータから、所望の映像データＤ１と音声データＤ２とを取り出す。

取り出された映像データ（デジタルＴＶ放送の場合、例えばＭＰＥＧ２等により符号化されたデータである）Ｄ１はビデオデコーダ１０４０に送られ、また音声データＤ２は音声デコーダ１０５０に送られ、それぞれ復号化される。復号化された映像データは、画像合成部１０６０に送られる。１０７０は音声出力部であり、Ｄ／Ａ変換器、増幅器、及びスピーカ等より構成され、音声デコーダ１０５０で復号化された音声データの出力を音声として出力する。

１０８０は１３９４シリアルバスのインタフェースである１３９４Ｉ／Ｆ部である。１０９０は表示データメモリであり、１３９４Ｉ／Ｆ部１０８０で受信した操作画面データを格納する。１１００は描画制御部であり、表示データメモリ１０９０に記憶された操作画面データに基づいて操作画面の画像を生成する。１０６０は画像合成部であり、ビデオデコーダ１０４０にてデコードされた映像データの画像と、描画制御部１１００にて生成された操作画面の画像とを合成する。１１１０は表示部であり、画像合成部１０６０で合成された画像を表示する。

１１２０はリモコン信号受信部であり、図示しないリモコンより送信された赤外線を受信／デコードし、ユーザが操作したリモコンのキーを示すキーコードを出力する。１１４０はミリ秒毎にカウントアップするカウンターである。なお、カウンター１１４０は、テレビ１０００の外部に備えていても構わない。
１１３０は制御部であり、１３９４Ｉ／Ｆ部１０８０、表示データメモリ１０９０、描画制御部１１００等を統合的に制御し、リモコン信号受信部１１２０より出力されるキーコードに基づいた制御情報を１３９４Ｉ／Ｆ部１０８０を介して出力する。

次に、デジタルフォトアルバム１２００の構成について説明する。
１２１０は１３９４Ｉ／Ｆ部であり、テレビ１０００内の１３９４Ｉ／Ｆ部１０８０と同様である。１２２０は操作画面データ生成部であり、操作画面データを格納又は生成する。１２３０はデジタル画像記憶部であり、デジタルフォト画像を記憶する。デジタル画像記憶部１２３０は、デジタルカメラ等で通常使用されているコンパクトフラッシュ（登録商標）カードのような記録媒体により構成され、コンパクトフラッシュ（登録商標）カードのような記録媒体そのものであっても良いし、さらにそれが着脱可能に構成されていても良い。

１２４０は制御部であり、操作画面データ生成部１２２０からの必要な操作画面データ、あるいはデジタル画像記憶部１２３０内のデジタルフォト画像を、１３９４Ｉ／Ｆ部１２１０を介して外部に送信する。また、１３９４Ｉ／Ｆ部１２１０を介して受信する制御情報に基づいて、デジタル画像記憶部１２３０内のデジタルフォト画像の読み出しや削除等の制御を行う。

１２６０はテレビ（リモート制御装置）１０００から受信する後述の“User_Action”コマンド中に格納されているタイムコードを記憶するためのタイムコード用メモリである。１２７０は計時機能を有するタイマーであり、“User_Action”コマンドを受信してから５００ミリ秒内に次の“User_Action”コマンドを受信しなかった場合に、制御部１２４０に対するタイムアウト信号の出力と、タイマーリセットを行う。

図２は、テレビ１０００用のリモコンを示す図である。
図２に示すように、リモコンは、チャンネル切り替え、音量制御、電源制御（オン／オフ制御）のテレビ１０００自身の操作を行うキーを有する。また、リモコンは、操作画面（操作パネル）の表示を要求するための「パネル」キー２０００と、操作画面の消去を要求するための「終了」キー２１００と、操作画面上で操作要素を選択する際に使用する「上」キー２２００、「下」キー２３００、「左」キー２４００、及び「右」キー２５００からなるカーソル移動キーと、このカーソル移動キーにより指定した（例えば、操作画面上で強調表示等されている）操作要素を選択決定するための「決定」キー２６００とを有する。

以下に、１３９４シリアルバス１２５０の基本的な機能について説明する。
１３９４シリアルバスは、自由度の高い接続方式、自動設定、リアルタイム転送等の特長を有している。１３９４シリアルバスは、ＳＣＳＩ規格等に見られるデイジーチェーン型のトポロジの他にスター型のトポロジにも対応しており、自由度の高い接続を可能としている。また、１００Ｍｂｐｓ、２００Ｍｂｐｓ、４００Ｍｂｐｓの転送速度でシリアル転送を行うデータ転送方式で、上位の転送速度を有するノード（接続されている機器、装置）は下位のデータ転送速度をサポートするようになっているため、異なる転送速度を有するノードの混在が可能である。

また１３９４シリアルバスは、自動設定の機能を有しており、ノードの電源がＯＮ／ＯＦＦされた場合や新たなノードが接続された場合、それを検知し自動的にバスリセットを行う。そして、バスリセット後にトポロジの認識と各ノードへのＩＤの割り当てを自動的に行う。さらに１３９４シリアルバスは、接続されているノードの電源をＯＦＦすることなく新たなノードの接続や接続の解除が可能となっており、接続／接続解除後のバスリセット、トポロジの自動認識、ＩＤの自動割り当て機能とともに、Ｐｌｕｇ＆Ｐｌａｙ（プラグアンドプレイ）の機能を実現している。データ転送モードとしては、コマンドなどの制御信号、ファイルデータ等の転送に適するアシンクロナス転送と、動画データや音声データ等の時間的に連続性を持つデータの転送に適したアイソクロナス転送の二つの転送モードを有している。

図３は、１３９４シリアルバスの階層構造を示す図である。
物理層５０１は、ケーブル／コネクタの機械的／電気的仕様を規定するとともに、入出力信号の符号／復号化、バスの初期化、及びバス使用権の調停等を行う。リンク層５０５は、物理層５０１とトランザクション層５１０との間でパケットデータの送受信を実現するためのサービスを提供する。トランザクション層５１０は、リンク層５０５とアプリケーション等の上位層との間で、ｒｅａｄ（リード）、ｗｒｉｔｅ（ライト）、ｌｏｃｋ（ロック）の３種類のアシンクロナス転送を実現するためのサービスを提供する。

１３９４シリアルバスには、バス・マネージャとアイソクロナス・リソース・マネージャ（ＩＲＭ）の２つのバス管理ノードが存在する。これらは同一ノードであってもよい。

バス管理層５１５は、ノード制御、アイソクロナス・リソース管理、バス管理を行う。ノード制御は、１３９４シリアルバスの各ノードに存在し、ＩＥＥＥ１２１２規格で規定されるＣＳＲ（control status register）を備え、ノード間でのアシンクロナス転送の管理を行う。アイソクロナス・リソース管理は、ＩＲＭであるノードによってのみ行われ、アイソクロナス転送を行おうとするノードに対しチャンネル番号と帯域を与え、当該アイソクロナス転送に使用するチャンネル番号と保証された帯域とを確保する。バス管理は、バス・マネージャ・ノードによってのみ行われ、接続情報の管理（トポロジーマップの作成）、速度情報の管理（速度マップの作成）、電源管理等を行う。

ＦＣＰ（Function Control Protocol）層５２０は、アシンクロナス転送を使用してコマンド・フレーム、レスポンス・フレームと呼ぶ５１２バイト以下のデータの送受信を行い、ノード間での制御を可能とする。コマンド・フレームは、制御ノードから被制御ノードのコマンド・レジスタへ書き込まれるデータである。レスポンス・フレームは、コマンド・フレームの応答として、被制御ノードから制御ノードのレスポンス・レジスタへ書き込まれるデータである。この様子を図４に示す。図４は、ノードＡとノードＢとの間のＦＣＰに基づくコマンド・フレーム及びレスポンス・フレームの送受信を示す図である。

図５は、ＦＣＰ層５２０で使用するアシンクロナス転送パケットの構造を示す図である。当該パケットのデータ部にコマンド・フレーム・データあるいはレスポンス・フレーム・データが書かれる。

図３に戻り、ＡＶ／Ｃコマンド設定（AV/C command set）層５２５は、ＦＣＰ層５２０の上位層であり、コマンド・フレーム、レスポンス・フレームに、ＡＶ／Ｃアイソクロナス転送のコネクション制御と、テレビ、モニター、ＶＣＲといった、いわゆるＡＶ機器の制御コマンドを適用するものである。

図６は、ＡＶ／Ｃコマンド設定層５２５のコマンド・フレームの構造を示す図であり、図７は、ＡＶ／Ｃコマンド設定層５２５のレスポンス・フレームの構造を示す図である。制御コマンドの内容は、図６におけるopcode及びsubfunctionによって区別される。

図８、図９、図１０は、ＡＶ／Ｃコマンド設定層５２５のコマンドの中で、ＶＣＲで使用されるＶＣＲ subunit command setの一部を示す図である。ここでは、通常の制御に必要な再生、記録、停止、巻き戻し、早送り等が定義されている。

図３に戻り、次に、動画データや音声データといったストリームデータを転送するために使用されるＡＶ／Ｃアイソクロナス転送層５３０について説明する。ＡＶ／Ｃアイソクロナス転送層５３０は、リンク層５０５の上位層として位置付けられ、プラグと称する概念を用いてコネクションの管理が行われる。

図１１は、ＡＶ／Ｃアイソクロナス転送層５３０のプラグを制御するためのプラグ・コントロール・レジスタを示す図である。プラグ・コントロール・レジスタへのアクセスは、アシンクロナス転送によって行われる。

図１１におけるｏＭＰＲ（output Master Plug Register）は出力プラグ全体の管理を行うレジスタであり、その詳細を図１２に示す。図１２において、Data rate capabilityは、可能な最大の転送速度を示す。Broadcast channel baseは、broadcast-out connectionが確立された場合のチャンネル番号の基準を設定するためのレジスタである。Number of output plugsは、当該ノードが実装する出力プラグの数を示す。

図１１におけるｏＰＣＲ（output Plug Control Register）は各出力プラグに関する管理を行うレジスタであり、その詳細を図１３に示す。図１３において、On-lineはオンラインであるかオフラインであるかを示す。Broadcast connection counterは、broadcast-out connectionが存在する場合“１”、存在しない場合“０”となる。point-to-point connection counterは、point-to-point connectionの数を示す。Channel numberは、当該プラグで使用するチャンネル番号を示す。Data rateは、当該プラグより送信されるデータの転送速度を示す。Overhead IDは、当該プラグで使用する帯域を示す。Payloadは、当該プラグより送信されるアイソクロナス・パケットの最大値を示す。

図１１におけるｉＭＰＲ（input Master Plug Register）は入力プラグ全体の管理を行うレジスタであり、その詳細を図１４に示す。図１４において、Data rate capabilityは、可能な最大の転送速度を示す。Number of input plugsは、当該ノードが実装する入力プラグの数を示す。

図１１におけるｉＰＣＲ（input Plug Control Register）は各入力プラグに関する管理を行うレジスタであり、その詳細を図１５に示す。図１５において、On-lineはオンラインであるかオフラインであるかを示す。Broadcast connection counterは、broadcast-in connectionが存在する場合“１”、存在しない場合“０”となる。point-to-point connection counterは、point-to-point connectionの数を示す。Channel numberは、当該プラグで使用するチャンネル番号を示す。Data rateは、当該プラグで受信されるデータの転送速度を示す。

次に、いくつかのコネクションの確立までの手順について説明する。
図１６は、point-to-point connectionを確立する手順を示すフローチャートである。
point-to-point connectionとは、１つの未使用チャンネルを用いて、コネクションが確立されていない入力プラグと出力プラグとの間にprotectedなコネクション（保護されたコネクション、以下、保護コネクションと称す）を確立することである。保護コネクションとは、当該コネクションを確立した者（上位層ソフト）のみが当該コネクションを解除可能なコネクションを指す。ここではノードＡの出力プラグ［ａ］とノードＢの入力プラグ［ｂ］の間に、point-to-point connectionを確立する場合について説明する。

まず、point-to-point connectionを確立したいノードは、チャンネル番号と必要な帯域を取得する（Ｓ１６０１）。取得に失敗した場合は（Ｓ１６０２のＮ）、取得しようとしたチャンネル番号が既に使用されていること等が考えられ、この場合はチャンネル番号を変更しリトライするか、あるいは処理を中止する。

取得に成功すると（Ｓ１６０２のＹ）、ロック・トランザクションを使用して、ノードＡのｏＰＣＲ[a]とノードＢのｉＰＣＲ[b]との両方に取得したチャンネル番号を書き込み、ノードＡのｏＰＣＲ[a]に取得した帯域と転送速度を書き込み、ノードＡのｏＰＣＲ[a]とノードＢのｉＰＣＲ[b]とのpoint-to-point connection counterに“１”を書き込む（Ｓ１６０３〜Ｓ１６０６）。書き込みに失敗した場合は（Ｓ１６０７のＮ）、当該プラグが使用されていること等が考えられ、使用プラグを変更しリトライするか、あるいは処理を中止する。一方、書き込みに成功すると（Ｓ１６０７のＹ）、ノードＡの出力プラグ［ａ］とノードＢの入力プラグ［ｂ］との間にpoint-to-point connectionが確立し、ノードＡの出力プラグ［ａ］からノードＢの入力プラグ［ｂ］へのデータ転送が可能となる。

図１７は、overlay point-to-point connectionを確立する手順を示すフローチャートである。
overlay point-to-point connectionとは、既に確立しているpoint-to-point connectionにコネクションを追加することであり、１つの使用されている出力プラグと１つの未使用入力プラグとの間に保護コネクションを確立することである。ここではノードＡの出力プラグ［ａ］とノードＢの入力プラグ［ｂ］との間に確立しているpoint-to-point connectionに、ノードＣの入力プラグ［ｃ］を追加する場合について説明する。なお、当該コネクションを確立したいノードは、既に確立しているpoint-to-point connectionの出力側に関する情報、ノードＩＤ、及び出力プラグの番号等を認識している必要があるが、これはＡＶ／Ｃアイソクロナス転送層５３０よりさらに上位の層で認識される。

まず、ノードＡのｏＰＣＲ[a]のチャンネル番号をノードＣのｉＰＣＲ[c]にコピーする準備を行い、さらにノードＡのｏＰＣＲ[a]とノードＣのｉＰＣＲ[c]のpoint-to-point connection counterをインクリメントする準備を行い、これらをロック・トランザクションを使用して書き込む（Ｓ１７０１、Ｓ１７０２）。書き込みに失敗した場合は（Ｓ１７０３のＮ）、設定値を変更しリトライするか、あるいは処理を中止する。一方、書き込みに成功すると（Ｓ１７０３のＹ）、overlay point-to-point connectionが確立し、ノードＣの入力プラグ［ｃ］はノードＡの出力プラグ［ａ］からのデータを受信可能となる。

図１８は、broadcast-out connectionを確立する手順を示すフローチャートである。
broadcast-out connectionとは、コネクションが確立されていない出力プラグと１つの未使用チャンネルとの間にunprotectedなコネクション（保護されていないコネクション、以下、非保護コネクションと称す）を確立することである。broadcast-out connectionは入力側の設定を伴わないpoint-to-point connectionに近似している。ここではノードＤの出力プラグ［ｄ］に、broadcast-out connectionを確立する場合について説明する。

まず、broadcast-out connectionを確立したいノードは、point-to-point connectionと同様に、チャンネル番号と必要な帯域を取得する（Ｓ１８０１）。取得に失敗した場合は（Ｓ１８０２のＮ）、前述と同様にチャンネル番号を変更しリトライするか、あるいは処理を中止する。

取得に成功すると（Ｓ１８０２のＹ）、ロック・トランザクションを使用して、ノードＤのｏＰＣＲ[d]に取得したチャンネル番号、取得した帯域、転送速度を書き込み、Broadcast connection counterに“１”を書き込む（Ｓ１８０３〜Ｓ１８０６）。書き込みに失敗した場合は（Ｓ１８０７のＮ）、前述と同様に使用プラグを変更しリトライするか、あるいは処理を中止する。一方、書き込みに成功すると（Ｓ１８０７のＹ）、ノードＤの出力プラグ［ｄ］にbroadcast-out connectionが確立し、ノードＤの出力プラグ［ｄ］よりデータ転送が可能となる。

次に、overlay broadcast-out connectionについて説明する。
overlay broadcast-out connectionとは、既にコネクションが確立している出力プラグと１つのチャンネルとの間に、非保護コネクションを確立することである。詳細は、上述のコネクション確立と同様であるため、ここでは図１９にoverlay broadcast-out connectionを確立する手順を示すにとどめる。

次に、broadcast-in connectionについて説明する。
broadcast-in connectionとは、１つのチャンネルと１つの未使用入力プラグとの間に、非保護コネクションを確立することである。詳細は、上述のコネクション確立と同様であるため、ここでは図２０にbroadcast-in connectionを確立する手順を示すにとどめる。

最後に、overlay broadcast-in connectionについて説明する。
overlay broadcast-in connectionとは、１つのチャンネルと既にコネクションが確立している入力プラグとの間に非保護コネクションを確立することである。詳細は、上述のコネクション確立と同様であるため、ここでは図２１にoverlay broadcast-in connectionを確立する手順を示すにとどめる。

図２２は、確立されたコネクションで転送されるＡＶ／Ｃアイソクロナス転送パケットのデータ構造を示す図である。
図２２におけるdata blocksに、ＭＰＥＧ２-ＴＳ（トランスポートストリーム）データ、ＤＶＣＲ（デジタルビデオカセットレコーダ）データ、あるいは音声／音楽（ＭＩＤＩ）データ等が分割、格納され、転送される。

次に図３に戻り、制御信号やファイルデータといった、必要に応じて非同期で転送されるデータの転送である非同期シリアルバス接続（Asynchronous serial bus Connection）層５４０について説明する。
非同期シリアルバス接続層５４０におけるコネクションの確立は、前述のＡＶ／Ｃアイソクロナス転送層５３０と同様にプラグの概念を用いて行われる。非同期シリアルバス接続層５４０における転送制御は、入力プラグ、出力プラグ、セグメント・バッファという３つのリソースによって管理される。そして、データの送信側をプロデューサー、データの受信側をコンスーマと呼ぶ。また、コネクションの管理、制御を行うものをコントローラと呼ぶ。非同期シリアルバス接続層５４０におけるコネクションは、前述のＡＶ／Ｃコマンド設定層５２５のAsynchronous connectionコマンド（opcode“26h”）を使用して行われる。

図２３は、Asynchronous connectionコマンドのコマンド・フレームの構造を示す図であり、図２４は、Asynchronous connection managementコマンドを示す図である。
図２４において、ALLOCATEコマンドは、コンスーマ・プラグ・リソースを割り当てるコマンドである。ALLOCATE_ATTACHコマンドは、プロデューサー・プラグ・リソースを割り当て、かつコンスーマ・プラグにそれを接続するコマンドである。ATTACHコマンドは、プロデューサー・プラグにコンスーマ・プラグを接続するコマンドである。RELEASEコマンドは、コンスーマ・プラグ・リソースを開放するコマンドである。RELEASE_DETACHコマンドは、コンスーマ・プラグを切断し、プロデューサー・プラグ・リソースを開放するコマンドである。DETACHコマンドは、プロデューサー・プラグを切断するコマンドである。またADD_OVERLAYコマンドは、コンスーマ・プラグをプロデューサー・プラグにoverlay接続するコマンドである。

図２５は、非同期シリアルバス接続層５４０におけるコネクションの確立の手順を示す図である。
まず、コントローラ８０１がコンスーマ８０５に対してALLOCATEコマンドを送信する。コンスーマ８０５はALLOCATEコマンドの応答として、コンスーマ・プラグのアドレスをコントローラ８０１に返信する（Ｓ２５０１）。

次に、コントローラ８０１は、ALLOCATE_ATTACHコマンドをコンスーマ８０５のコンスーマ・プラグのアドレスとともにプロデューサー８１０に送信する。プロデューサー８１０はALLOCATE_ATTACHコマンドの応答として、プロデューサー・プラグのアドレスをコントローラ８０１に返信する（Ｓ２５０２）。そしてプロデューサー８１０は、コンスーマ・プラグのアドレスが判明したためデータ送信の初期設定を行う。

次に、コントローラ８０１は、ATTACHコマンドをプロデューサー８１０のプロデューサー・プラグのアドレスとともにコンスーマ８０５に送信する（Ｓ２５０３）。コンスーマ８０５は、プロデューサー・プラグのアドレスが判明したためデータ受信の初期設定を行う。

以上でプラグの接続が終了し、コネクションが確立する。なお、コントローラ８０１とコンスーマ８０５が同一のノードである場合は、ALLOCATE_ATTACHコマンドのみでプラグの接続が可能である。

次に、接続されたAsynchronous plugを使用して、プロデューサーからコンスーマへデータを転送する制御法について、図２６を参照して説明する。図２６は、Asynchronous plugを使用したデータ転送を説明するための図である。

図２６に示されるように、プラグの接続時に得られたプロデューサーのプロデューサー・プラグのアドレスには、ｏＡＰＲが存在する。またコンスーマのコンスーマ・プラグのアドレスには、ｉＡＰＲが存在する。コンスーマは、プロデューサーのｏＡＰＲに受信可能なデータサイズを書き込む。プロデューサーは、データをコンスーマのセグメント・バッファに転送し、ｏＡＰＲに実際に転送したデータサイズを書き込む。コンスーマは次のデータが受け取れる状態になった時点で、再びプロデューサーのｏＡＰＲに受信可能なデータサイズを書き込む。以上を繰り返し実行することでデータが転送される。転送されるデータの単位をフレームと呼ぶが、フレームは複数のサブフレームに分割されてもよい。

図２７は、Asynchronous plugを使用したデータ転送の手順を示す図である。図２７において、コンスーマは３２Ｋバイトのセグメント・バッファを持っているものとし、プロデューサーが３４Ｋバイトのデータ（１フレーム）を転送する場合について説明する。

（１）コンスーマは、プロデューサーのｏＡＰＲに、受信可能なデータサイズである３２Ｋバイトの値と、モード“ＳＥＮＤ”を書き込む（Ｓ２７０１）。“ＳＥＮＤ”は、コンスーマのセグメント・バッファが有効であることを示す。

（２）プロデューサーは、モードが“ＳＥＮＤ”であることを認識すると、転送したい３４Ｋバイトのデータ中の３２Ｋバイトをコンスーマのセグメント・バッファに転送する（Ｓ２７０２）。

（３）プロデューサーは、３２Ｋバイトのデータ転送が終了すると、コンスーマのｉＡＰＲに転送したデータサイズである３２Ｋバイトの値と、モード“ＭＯＲＥ”を書き込む（Ｓ２７０３）。“ＭＯＲＥ”は、プロデューサーの転送データのフレームがまだ終了していないことを示す。

（４）コンスーマは、モードが“ＭＯＲＥ”であることを認識し、再びプロデューサーのｏＡＰＲに、受信可能なデータサイズである３２Ｋバイトの値と、モード“ＳＥＮＤ”を書き込む（Ｓ２７０４）。この時、セグメントカウント（segment count）を“０”から“１”に切り替え、セグメント・バッファを切り替えたことを通知する。

（５）プロデューサーは、モードが“ＳＥＮＤ”であることを認識すると、転送したいデータの残りの２Ｋバイトをコンスーマのセグメント・バッファに転送する（Ｓ２７０５）。

（６）プロデューサーは転送が終了すると、コンスーマのｉＡＰＲに、転送したデータサイズである２Ｋバイトの値と、モード“ＬＡＳＴ”を書き込む（Ｓ２７０６）。“ＬＡＳＴ”は、プロデューサーの転送データの１フレーム分が終了し、次は別のフレームであることを示す。
以上で、１フレーム分の転送が完了する。

各装置の１３９４Ｉ／Ｆ部間において、以上のような手順に従い、アシンクロナス転送によるＡＶ／Ｃコマンドデータ、アイソクロナス転送によるストリームデータの転送を行う。

次に、操作画面（操作パネル）について説明する。
操作画面として被制御装置よりリモート制御装置へ送信される表示データは、操作環境として表示される要素の集合であり、パネル要素をルートとした木構造のデータ構造を有する。すべての要素は、固有のＩＤを有する。

図２８は、操作画面の要素の種類と各要素のデータを示す図である。
要素「パネル」は、操作画面の要素の集合であり、当該要素「パネル」に属する要素の要素ＩＤを有する。また、操作画面のタイトルとなる文字列データであるラベルと、制御装置の表示画面上における操作画面の位置及び大きさ（サイズ）のデータを有する。また、操作画面の背景の色、背景に表示するビットマップデータ、表示する文字列に対するフォントの選択指定をオプションとして有することができる。さらに、動画及び音声ストリームを転送するアイソクロナス転送チャンネル番号を、オプションとして有することが可能であり、このオプションが指定された場合は、転送されるストリームからデコードされる動画の表示と音声の再生が可能である。

要素「ボタン」は、ユーザがリモコンによって「押下」又は「開放」の操作が可能な要素であり、押下された時と開放された時の各々に対応する２つのビットマップデータを有する。ビットマップの大きさはサイズデータで、表示位置は位置データで示される。位置データは、当該要素「ボタン」が属する要素「パネル」内での相対位置を画素単位で指定したものである。また、要素「ボタン」のタイトル（または機能的な説明）となるラベルへのリンクを有する。そして、表示する文字列に対するフォントの選択指定をオプションとして有することが可能である。

要素「テキスト」は、タイトルや説明を文字列で表示する要素であり、位置、サイズ、ラベルとなるテキストデータを有する。そして、背景色の指定とフォントの選択指定をオプションとして有することが可能である。

要素「アイコン」は、ユーザがリモコン等によって「選択」の操作が可能な要素である。ビットマップデータ、ラベル、位置、サイズ、ラベルとなるテキストデータを有する。そして、フォントの選択指定をオプションとして有することが可能である。

要素「レンジ」は、最大及び最小を示す数値による範囲と、該範囲内の特定の値を表示する要素であり、位置、サイズと、ラベルとなるテキストデータへのリンクを有する。そして、フォントの選択指定をオプションとして有することが可能である。

図２９は、操作画面の送受信に使用されるコマンドを示す図である。
GUI_UPDATEコマンドは操作画面による制御可能の開始及び停止を指示するものであり、PUSH_GUI_DATAコマンドは操作画面データの転送を要求するためのものである。また、USER_ACTIONコマンドは、操作画面の要素に対して、図３０に示すアクションタイプで示すアクションが生じたことを示すためのものである。

図３０は、操作画面の各要素に対するユーザ操作を示す図である。
操作（アクションタイプ）には、「選択」、「押下」、「開放」等がある。例えば、ボタン要素では、当該要素が押された時は「押下」のアクションタイプが、放された時は「開放」のアクションタイプが送信される。

次に、本実施形態のリモート制御システムにおけるリモート制御のための表示データ（ＧＵＩデータ）の転送と表示、及びリモート制御の手順について、図３１を参照して説明する。
図３１は、本実施形態のリモート制御システムにおける制御手順の一例を示す図である。なお、図３１においては、１３９４シリアルバスを適用したネットワーク１２５０上の被制御装置はデジタルフォトアルバム１２００のみであるが、他の装置が接続された場合にも同様の通信が行われ、デジタルフォトアルバム１２００と並行して制御が行われても構わない。

リモート制御装置であるテレビ１０００の制御部１１３０は、被リモート制御装置であるデジタルフォトアルバム１２００を被制御装置としたセッションを開始するために、ＡＶ／ＣコマンドのGUI_UPDATE（open）コマンドを発行する。

図３２は、GUI_UPDATEコマンドのコマンド・フレームを示す図である。図３２中のoperand[3]に格納されるサブファンクション（subfunction）の値により、当該コマンドによる被リモート制御装置への指示が指定される。

図３３は、サブファンクション（subfunction）の値と被リモート制御装置への指示との対応を示す図である。open（00h）はリモート制御のセッション開始を指示し、close（01h）はセッション終了を指示する。start（03h）はリモート制御のためのＧＵＩデータ（操作画面データ）の転送を指示するものであり、被リモート制御装置は、次にstop（04h）の指示があるまでの間、装置の状態やユーザ操作の結果に応じてＧＵＩデータに変更が生じたときには後述の手順でＧＵＩデータを制御装置に送信する。restore（02h）は１３９４シリアルバス１２５０のバスリセットが発生した際に、ＧＵＩデータ転送のための非同期シリアルバス接続（Asynchronous serial bus connection）を復帰する場合に指定される。change（06h）はＧＵＩデータ変更の報告範囲の変更を指定する際に使用する。

図３１に戻り、GUI_UPDATE（open）コマンドを受信したデジタルフォトアルバム１２００の制御部１２４０は、当該コマンドへのレスポンスとして非同期シリアルバス接続に使用すべきプラグ番号をoperand[0]に格納して返送する。テレビ１０００の制御部１１３０は、応答として返送されたこのプラグ番号を用いて、必要なデジタルフォトアルバム１２００の内部コネクション及びデジタルフォトアルバム１２００とテレビ１０００との間のコネクションを、ALLOCATE_ATTACHコマンド（Ｓ５４０２）、CONNECTIONコマンド（Ｓ５４０３）を発行し、前述のコネクション確立手順に従って確立する。

このコネクションが確立すると、テレビ１０００の制御部１１３０は、デジタルフォトアルバム１２００に対して、GUI_UPDATE（start）コマンドを発行してＧＵＩデータの転送の開始を指示し（Ｓ５４０４）、さらにPUSH_GUI_DATAコマンドを発行してＧＵＩデータの転送を要求する（Ｓ５４０５）。

図３４は、PUSH_GUI_DATAコマンドのコマンド・フレームを示す図である。図３４中のoperand[0]にはGUI_UPDATE（open）コマンドにより取得したプラグ番号が指定される。operand[5]にはindicatorとして、図３５に示すlevelとwith_dataの指定を格納する。

図３５は、PUSH_GUI_DATAコマンドのoperand[5]（indicator）の構成を示す図である。
levelフィールドは、PUSH_GUI_DATAコマンドによる指示で転送される被リモート制御機器のＧＵＩデータの転送範囲を、前述したＧＵＩデータの木構造に従って指定する。当該フィールドに指定する値は、図３６に示す２ビットの３値であり、“00”（itself）は前述の要素ＩＤで指定した要素そのものを指定し、“01”（itself and next level）は要素ＩＤで指定した要素とその要素に属する要素を指定する。また、“11”（all level）は、“01”（itself and next level）の範囲と、この範囲に含まれる要素に属する次の要素までを指定する。
with_dataフィールドは、このビットの値が“１”のとき、要素ＩＤとlevelで指定される要素が持つテキスト、イメージ、サウンドなどの実データを指定する。

図３４に戻り、PUSH_GUI_DATAコマンドにおけるoperand[6]からの４バイトには、後述するＧＵＩデータの要素を識別する要素ＩＤを格納して、非同期シリアルバス接続を通じて転送を指示するＧＵＩデータを指定するが、ルートとなるパネル要素を指定する場合に限り“FFFF”（１６進数表記）で要素ＩＤを代用することが可能である。

図３１に戻り、PUSH_GUI_DATAコマンドを受信したデジタルフォトアルバム１２００の制御部１２４０は、コマンドのレスポンスを返送した後、操作画面データ生成部１２２０からリモート制御のための操作画面データを非同期シリアルバス接続によりテレビ１０００へ転送する（Ｓ５４０６）。転送された操作画面データは、テレビ１０００の表示データメモリ１０９０に格納された後、制御部１１３０で要素ごとに読み出され、描画制御部１１００へ送られる。そして、テレビ１０００の画像合成部１０６０を通じて表示部１１１０により表示され、ユーザに対する操作環境（操作画面、操作パネル）として提供される。

図３７は、前述した手順により、リモート制御装置であるテレビ１０００の表示部１１１０に表示されたデジタルフォトアルバム１２００の操作画面を示す図である。
図３７において、７０１〜７１６はサムネイル表示されたデジタルフォト画像Ａ〜Ｐであり、各デジタルフォト画像Ａ〜Ｐは操作要素ともなっている。各デジタルフォト画像Ａ〜Ｐはボタン要素であり、ユーザがリモコン等を用いて「選択」、「押下」等の操作をすると、ボタンＩＤとともに、このユーザ操作の内容をアクションタイプ（図３０参照）として、ＡＶ／ＣコマンドのUSER_ACTIONコマンドを送信される（Ｓ５４０７）。

図３８は、USER_ACTIONコマンドのコマンド・フレームを示す図である。
operand[0]には、前述のGUI_UPDATE（open）により取得したプラグ番号を指定する。operand[3]、operand[4]には、ボタンＩＤを格納する。operand[5]には、action_typeとして図３０に示したようなユーザーアクションの種類に対応した値を格納する。operand[6]には、operand[7]以降のaction_infoの長さ（バイト単位）を格納する。operand[7]以降のaction_infoには、action_typeに従った値が格納され、特にaction_typeが「押下」の場合のUSER_ACTIONコマンドには、後述する４バイトのタイムコードを格納する。

ここで、図３７に示した操作画面において、画像７２０のシングルクリック操作を行ったような「決定」キー２６００の押下があった場合について説明をする。なお、本実施形態においては、例えば、キー押下の時間間隔（クリック間隔）が１００ミリ秒以上の場合をシングルクリック操作とし、１００ミリ秒以下の場合をダブルクリック操作とするが、他の値であっても何ら問題ない。

画像７２０のシングルクリック操作が十分長い時間間隔で２回行われ、以下のような実時間で「決定」キー２６００の押下があったとする。
１回目の「決定」キー２６００の押下操作 ｔミリ秒
２回目の「決定」キー２６００の押下操作 ｔ＋１０００ミリ秒

テレビ１００の制御部１１３０は、「決定」キー２６００の押下があると、カウンター１１４０から「決定」キー２６００が押下された時のカウント値ｔ、例えばｔ＝７５００であれば“00001D4C”（１６進数）を取得する。そして、テレビ１０００の制御部１１３０は、action_infoに実時間を示すタイムコードとして取得したカウント値を格納し、action_typeに「押し下げ」であることを示す値“01”を格納し、さらにelement_IDに表示データメモリ１２６０より読み出した選択されたボタン要素である画像７０７に対応するボタンＩＤを格納したUSER_ACTIONコマンドをデジタルフォトアルバム１２００へ送信する。

前述したように１３９４シリアルバス１２５０のバス使用権の調停等によって、USER_ACTIONコマンド等のコマンド送信に遅延が発生する可能性が十分あり、デジタルフォトアルバム１２００の制御部１２４０は、以下のような実時間でUSER_ACTIONコマンドを受信したとする。
１回目のUSER_ACTIONコマンド ｔ＋１０１０ミリ秒
２回目のUSER_ACTIONコマンド ｔ＋１６１０ミリ秒

デジタルフォトアルバム１２００の制御部１２４０は、１回目のUSER_ACTIONコマンドを受信すると、当該コマンドのaction_info中のタイムコードをタイムコード用メモリ１２６０に保持してタイマー１２７０を起動する。ここで、２回目のUSER_ACTIONコマンドは、１回目のUSER_ACTIONコマンドを受信してから（ｔ＋１６１０）−（ｔ＋１０１０）＝６００ミリ秒後に受信するため、タイマー１２７０は、２回目のUSER_ACTIONコマンドを受信するよりも前に５００ミリ秒経過したというタイムアウト信号を出力する。制御部１２４０は、２回目のUSER_ACTIONコマンドより先に、タイマー１２７０からのタイムアウト信号を受信すると、タイムコード用メモリ１２６０中の値を“０”にクリアし、シングルクリック操作に対応した制御として、デジタル画像記憶部１２３０からの画像７０７の拡大画像データと、操作画面データ生成部１２２０からの戻り専用操作ボタンデータとを、テレビ１０００に転送する。

テレビ１０００は、デジタルフォトアルバムから画像７２０の拡大画像データと戻り専用操作ボタンデータを受信すると、表示部１１１０に図３９に示すように、操作画面として拡大画像と戻り専用操作ボタンを表示する。
なお、タイムアウト信号受信後に受信する２回目のUSER_ACTIONコマンドの処理は、前述した１回目のUSER_ACTIONコマンドの処理と同様である。

また、デジタルフォトアルバム１２００の制御部１２４０が、以下のような実時間のように短時間のうちに、前述した２つのUSER_ACTIONコマンドを連続して受信した場合について説明する。
１回目のUSER_ACTIONコマンド ｔ＋１０１０ミリ秒
２回目のUSER_ACTIONコマンド ｔ＋１０６０ミリ秒

この場合には、デジタルフォトアルバム１２００の制御部１２４０は、１回目のUSER_ACTIONコマンドを受信してから（ｔ＋１０６０）−（ｔ＋１０１０）＝５０ミリ秒後に２回目のUSER_ACTIONコマンドを受信することになる。このように、制御部１２４０は、タイマー１２７０からのタイムアウト信号を受信する前に２回目のUSER_ACTIONコマンドを受信すると、２回目のUSER_ACTIONコマンドを受信した後、タイマー１２７０のリセット処理を行い、タイムコード用メモリ１２６０に保持している１回目のUSER_ACTIONコマンドのタイムコードと、２回目のUSER_ACTIONコマンドのタイムコードとの差分を計算する。この差分値は、実時間のクリック間隔を示しており、前述した例では（ｔ＋１０００）−ｔ＝１０００ミリ秒である。したがって、クリック間隔が１００ミリ秒以上であるので、前述と同様なシングルクリック操作に対応した制御処理を行う。

また、ここで図３７に示した操作画面において、画像７２０のダブルクリック操作を行ったような「決定」キー２６００の押下が短時間のうちに２回連続であった場合について説明する。なお、前述のように本実施形態においては、クリック間隔が１００ミリ秒以上の場合をシングルクリック操作とし、１００ミリ秒以下の場合をダブルクリック操作とするが、他の値であっても何ら問題ない。

以下のような実時間で、「決定」キー２６００の押下があったとする。
１回目の「決定」キー２６００の押下操作 ｔミリ秒
２回目の「決定」キー２６００の押下操作 ｔ＋７０ミリ秒

テレビ１０００の制御部１１３０は、前述した処理と同様にして当該操作に応じた各USER_ACTIONコマンドをデジタルフォトアルバム１２００へ、前述した理由により「決定」キーを押し下げた時間より遅延して順次送信し、その結果、デジタルフォトアルバム１２００の制御部１２４０は、以下のような実時間でUSER_ACTIONコマンドを受信したとする。
１回目のUSER_ACTIONコマンド ｔ＋５００ミリ秒
２回目のUSER_ACTIONコマンド ｔ＋７００ミリ秒

まず、デジタルフォトアルバム１２００の制御部１２４０は、１回目のUSER_ACTIONコマンドを受信すると、当該コマンドのaction_info中のタイムコードをタイムコード用メモリ１２６０に保持してタイマー１２７０を起動する。次に、１回目のUSER_ACTIONコマンドを受信してから（ｔ＋７００）−（ｔ＋５００）＝２００ミリ秒後に、２回目のUSER_ACTIONコマンドを受信する。

このように、制御部１２４０は、タイマー１２７０からのタイムアウト信号を受信する前に２回目のUSER_ACTIONコマンドを受信すると、２回目のUSER_ACTIONコマンドを受信した後、タイマー１２７０のリセット処理を行い、タイムコード用メモリ１２６０に保持している１回目のUSER_ACTIONコマンドのタイムコードと、２回目のUSER_ACTIONコマンドのタイムコードとの差分を計算する。この差分値が、（ｔ＋７０）−ｔ＝７０ミリ秒で１００ミリ秒以下であるから、デジタルフォトアルバム１２００の制御部１２４０は、ダブルクリック操作に対応した制御として、デジタル画像記憶部１２３０からの画像７０７以外のボタン画像データと、操作画面データ生成部１２２０からの操作画面データとを、テレビ１０００に転送する。

テレビ１０００は、ボタン要素であるボタン画像データを含む操作画面データを受信すると、表示部１１１０に図４０に示すように画像７２０を削除した操作画面を表示する。つまり、ボタン要素である画像データに対してダブルクリック操作を行うと、当該ダブルクリック操作のみで当該画像データが削除される。なお、本実施形態においては、ダブルクリック操作に応じた制御を削除としたが、これに限定されるものではない。ダブルクリック操作に応じた制御は、制御システムに応じて適宜設定すればよい。

なお、本実施形態において、クリック間隔が１００ミリ秒以下の場合をダブルクリック操作としたが、他の値であっても何ら問題ない。
また、上述した１回目と２回目のUSER_ACTIONにおけるタイムコードの差分値が１００ミリ秒以上である場合には、デジタルフォトアルバム１２００の制御部１２４０は、前述したシングルクリック操作に対応した制御を行う。

以上説明したように、本実施形態によれば、例えばユーザがカーソルをボタン要素（７０２、３０１等）に移動して、「決定」キー２６００を操作する場合において、シングルクリックのような単発的に押し下げを行った場合と、ダブルクリックのような短時間において連続的に押し下げを行った場合とで、被制御装置１２００に対して異なる制御をすることが可能となる。言い換えれば、１つのボタン要素に対する操作に対して複数の制御を割り当てることができる。

また、被制御装置１２００が、一般的に画像データである機能ボタンを追加するかわりに、極小容量のタイムスタンプ情報を操作情報の属性として準備することで、既存の一つのボタンで、その機能ボタンに対応した制御が可能となるため、被制御装置１２００の操作画面生成部１２２０のハードウェアの簡素化やメモリの削減が可能となり、コストダウンが実現される。

また、バス使用権の調停等によって、制御装置１０００からのデータ送信に遅延が起こる可能性があるために、被制御装置１２００がそのデータをいつ受信するか想定できない１３９４シリアルバスにおいて、ユーザが２回のシングルクリックをした時に、被制御装置１２００が、２つの操作情報を短い時間間隔で受信した場合でも、２つの操作情報中のタイムスタンプ情報を解析することによって、誤ってダブルクリックとして処理を行うことなくシングルクリックに対応した処理を行うことができ、誤動作を防止することができる。また逆に、ユーザがダブルクリック操作をした時に、被制御装置１２００が、２つの操作情報を長い時間間隔で受信した場合でも、操作情報中のタイムスタンプ情報を解析することによって、誤ってシングルクリックと処理することはなく、ダブルクリックに対応した処理を行うことができる。

（第２の実施形態）
次に、第２の実施形態について説明する
図４１は、本発明の第２の実施形態におけるリモート制御システムの構成例を示すブロック図である。この図４１において、図１に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。

図４１において、１０００はリモート制御装置としてのテレビである。１１５０は、１３９４Ｉ／Ｆ部１０８０から供給されるＤＶ（デジタルビデオ）データの映像及び音声をデコードするデコーダである。１１４０はアイソクロナス転送が可能に構成された機器が有する前述のＩＥＥＥ１３９４高速シリアルバス規格で定められたCYCLE_TIMEレジスタ及びBUS_TIMEレジスタである。

図４２は、CYCLE_TIMEレジスタの構成を示す図である。CYCLE_TIMEレジスタは、４バイトで構成され、現在の時間値を指定する。図４２において、cycle_offsetフィールドは、２４.５７６ＭＨｚのローカルクロック毎にインクリメントされ、値が３０７１のときに増加（インクリメント）すると、当該フィールドの値は循環して“０”に戻るとともに、cycle_countフィールドに桁上がりをする。cycle_countフィールドは、cycle_offsetフィールドの桁上がりが発生する度、すなわち１２５μｓ毎にインクリメントされ、値が７９９９のときに増加すると、当該フィールドの値は循環して“０”に戻るとともに、second_countフィールドに桁上がりをする。second_countフィールドは、second_countフィールドの桁上がりが発生する度、すなわち１秒毎にインクリメントされ、値が１２７のときに増加すると、当該フィールドの値は循環して“０”に戻る。

図４３は、BUS_TIMEレジスタの構成を示す図である。BUS_TIMEレジスタは、サイクル・マスタ対応機器が有する前述のＩＥＥＥ１３９４高速シリアルバス規格で定められており、４バイトで構成され秒単位で現在の時刻を測定する。図４３において、second_count_loフィールドは、前述のsecond_countの現在値である。secon_count_hiフィールドは、前述のsecond_countからの桁上がり毎にインクリメントされる。

図４１に戻り、１２００は被制御装置としてのＶＣＲである。１２３０はＶＣＲ本体部であり、制御部１２４０による制御に従って、ＤＶテープの再生、早送り、巻き戻し、録画動作を行う。また、テレビ１０００とＶＣＲ１２００とは、１３９４Ｉ／Ｆ部１０８０、１２１０を介して１３９４シリアルバス１２５０で接続されている。

図４４は、ＶＣＲ１２００をリモート制御するための操作画面を示す図である。
図４４において、ボタン３０３は逆方向再生ボタン、ボタン３０２は停止ボタン、ボタン３０１は再生ボタン、ボタン３０４は一時停止ボタン、ボタン３０５は録画ボタンである。３０７は、描画制御部１１００により付加されたカーソルである。また、３０６は、現在の時刻あるいはテープの走行カウントを示すテキスト要素である。

次に、第２の実施形態におけるリモート制御システムにおいて、図４４に示したボタン３０１を十分長い時間間隔で、２回シングルクリック操作を行った場合について説明する。

テレビ１０００の制御部１１３０は、「決定」キー２６００の押下があると、BUS_TIMEレジスタとCYCLE_TIMEレジスタ１１４０から「決定」キー２６００が押下された時のレジスタ値、例えば３００秒０ミリ秒を表す“0000012C”（１６進数）と“58000000”（１６進数）を取得する。そして、テレビ１０００の制御部１１３０は、action_infoに実時間を示す計８バイトのタイムコードとして取得したレジスタ値を格納し、action_typeに「押し下げ」であることを示す値“01”を格納し、さらにelement_IDに表示データメモリ１２６０より読み出した選択されたボタン要素に対応するボタンＩＤを格納したUSER_ACTIONコマンドをＶＣＲ１２００へ送信する。

前述した第１の実施形態と同様に、１回目のUSER_ACTIONコマンドを受信してから５００ミリ秒以内に２回目のUSER_ACTIONコマンドを受信しなかった場合には、ＶＣＲ１２００の制御部１２４０は、シングルクリック操作に対応した動作をする。第２の実施形態では、シングルクリック操作に対応した制御は、等倍速再生制御であるため、ＶＣＲ本体部１２３０からの等倍速再生ＤＶデータを、テレビ１０００に転送する。但し、事前に、ＶＣＲ１２００のストリーム出力をテレビ１０００に送信するためのアイソクロナス接続（Isochronous connection）を第１の実施形態で述べたコネクション確立手順に従って確立する。すなわち、１３９４シリアルバス１２５０のＩＲＭ（第２の実施形態ではテレビ１０００が担う）からアイソクロナス転送のためのチャネルと帯域を確保した後、ＶＣＲ１２００の１３９４Ｉ／Ｆ部１２１０のアイソクロナス・プラグからテレビ１０００の１３９４Ｉ／Ｆ部１０８０のアイソクロナス・プラグへのpeer-to-peer connectionを確立する。

テレビ１０００のデコーダ１１５０は、等倍速再生ＤＶデータを受信すると、表示部１１１０にＤＶの映像を音声出力部に音声をそれぞれ出力する。
なお、タイムアウト信号受信後に受信する２回目のUSER_ACTIONコマンドの処理は、先述した１回目のUSER_ACTIONコマンドの処理と同様であることは、言うまでもない。

また、USER_ACTIONコマンドを５００ミリ秒より十分小さい間隔で連続受信した場合、ＶＣＲ１２００の制御部１２４０は、まず、１回目のUSER_ACTIONコマンドにおけるBUS_TIMEレジスタの値と２回目のUSER_ACTIONコマンドにおけるBUS_TIMEレジスタの値との差分を計算する。次に、１回目のUSER_ACTIONコマンドの上位７ビットを除いたCYCLE_TIMEの値と２回目のUSER_ACTIONコマンドの上位７ビットを除いたCYCLE_TIMEの値との差分を計算する。ここで、上位７ビットを除くのは、CYCLE_TIMEレジスタの上位７ビットとBUS_TIMEレジスタの下位７ビットとが同じ値を示しているので、重複した計算を避けるためである。第１の実施形態と同様に、この計算結果に基づいてシングルクリック操作に対応した動作をする。第２の実施形態では、シングルクリック操作に対応した制御は、等倍速再生制御であるため、ＶＣＲ本体部１２３０からの等倍速再生ＤＶデータをテレビ１０００に転送する。

また、ここで図４４に示した操作画面において、ダブルクリック操作を行ったような「決定」キー２６００の押下が２回連続で行われた場合、第１の実施形態と同様であることは言うまでもない。

ＶＣＲ１２００の制御部１２４０は、前述したタイムコード（BUS_TIMEレジスタ、CYCLE_TIMEレジスタ）の差分計算手順による計算結果に基づいて、ダブルクリック操作に対応した制御をする。第２の実施形態では、ダブルクリック操作に対応した制御は、２倍速再生制御のため、ＶＣＲ本体部１２３０からの２倍速再生ＤＶデータをテレビ１０００に転送する。

また、以上と同様な手順に従って、ＶＣＲ１２００の制御部１２４０は、ボタン３０２のシングルクリック操作時に逆等倍速再生と、ダブルクリック操作時に２倍速逆再生の制御を行うようにしても構わない。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

第１の実施形態におけるリモート制御システムの構成例を示すブロック図である。 リモート制御装置が有するリモコンを示す図である。 １３９４シリアルバスの階層構造を示す図である。 ノード間でのＦＣＰに基づくフレーム送受信を示す図である。 アシンクロナス転送パケットの構造を示す図である。 コマンド・フレームの構造を示す図である。 レスポンス・フレームの構造を示す図である。 ＶＣＲ subunit command setの一部を示す図である。 ＶＣＲ subunit command setの一部を示す図である。 ＶＣＲ subunit command setの一部を示す図である。 プラグ・コントロール・レジスタを示す図である。 ｏＭＰＲの構成を示す図である。 ｏＰＣＲの構成を示す図である。 ｉＭＰＲの構成を示す図である。 ｉＰＣＲの構成を示す図である。 point-to-point connectionを確立する手順を示すフローチャートである。 overlay point-to-point connectionを確立する手順を示すフローチャートである。 broadcast-out connectionを確立する手順を示すフローチャートである。 overlay broadcast-out connectionを確立する手順を示すフローチャートである。 broadcast-in connectionを確立する手順を示すフローチャートである。 overlay broadcast-in connectionを確立する手順を示すフローチャートである。 ＡＶ／Ｃアイソクロナス転送パケットのデータ構造を示す図である。 Asynchronous connectionコマンドのコマンド・フレームの構造を示す図である。 Asynchronous connection managementコマンドを示す図である。 非同期シリアルバス接続におけるコネクションの確立の手順を示す図である。 Asynchronous plugを使用したデータ転送を説明するための図である。 Asynchronous plugを使用したデータ転送の手順を示す図である。 操作画面の要素の種類と各要素のデータを示す図である。 操作画面の送受信に使用されるコマンドを示す図である。 操作画面の各要素に対するユーザ操作を示す図である。 第１の実施形態のリモート制御システムにおける制御手順の一例を示す図である。 GUI_UPDATEコマンドのコマンド・フレームを示す図である。 サブファンクションの値と被リモート制御装置への指示との対応を示す図である。 PUSH_GUI_DATAコマンドのコマンド・フレームを示す図である。 PUSH_GUI_DATAコマンドのoperand[5]を示す図である。 図３５に示したlevelフィールドを説明するための図である。 第１の実施形態における操作画面を示す図である。 USER_ACTIONコマンドのコマンド・フレームを示す図である。 第１の実施形態における操作画面の他の例を示す図である。 第１の実施形態における操作画面のその他の例を示す図である。 第２の実施形態におけるリモート制御システムの構成例を示すブロック図である。 CYCLE_TIMEレジスタの構成を示す図である。 BUS_TIMEレジスタの構成を示す図である。 第２の実施形態における操作画面例を示す図である。 従来の制御システムの構成を示すブロック図である。 図４５に示した従来の制御システムにおける操作画面を示す図である。 図４５に示した従来の制御システムにおける他の操作画面を示す図である。 図４５に示した従来の制御システムにおけるその他の操作画面を示す図である。 図４５に示した従来の制御システムにおけるその他の操作画面を示す図である。

符号の説明

１０００ 制御装置（テレビ）
１０６０ 画像合成部
１０９０ 表示データメモリ
１１００ 描画制御部
１１１０ 表示部
１１２０ リモコン信号受信部
１１３０ 制御部
１１４０ カウンター
１２００ 被制御装置
１２２０ 操作画面データ生成部
１２４０ 制御部
１２６０ タイムコード用メモリ
１２７０ タイマー

Claims (16)

1. 操作情報を送信するとともに、受信した制御情報に基づいて動作する被制御装置と、受信した操作情報に基づいて当該操作情報に係る画像を表示部に表示してユーザに操作画面を提供するとともに、ユーザの操作に応じた上記制御情報を送信する制御装置とがネットワークを介して接続された制御システムであって、
   上記制御情報は、上記ユーザの操作に係る時間情報を含み、
   上記被制御装置は、複数の上記制御情報を受信した場合、上記制御情報の時間情報に応じて受信した制御情報に基づく動作を行うことを特徴とする制御システム。
2. 上記時間情報は、上記制御情報に対応する操作をユーザが行った時間を示すタイムコードであることを特徴とする請求項１記載の制御システム。
3. 上記被制御装置は、受信した連続する２つの上記制御情報の時間情報から当該制御情報に対応するユーザ操作が行われた時間差を算出する時間差算出手段を有し、
   上記時間差算出手段により算出した時間差及び受信した制御情報に基づいて動作を行うことを特徴とする請求項１又は２記載の制御システム。
4. 上記被制御装置は、時間を計測する第１の時間計測手段をさらに有し、
   上記第１の時間計測手段により計測した２つの連続する上記制御情報の受信時刻の差に応じて、受信した上記制御情報に基づく動作を行うことを特徴とする請求項１〜３の何れか１項に記載の制御システム。
5. 上記被制御装置は、上記制御情報を受信すると上記第１の時間計測手段による時間計測を開始し、
   上記制御情報を受信してから所定時間が経過した場合には当該制御情報に基づく動作を行い、上記所定時間が経過する前に新たな制御情報を受信した場合には受信した制御情報の時間情報から当該制御情報に対応するユーザ操作が行われた時間差を算出し、算出した時間差及び受信した制御情報に基づく動作を行うことを特徴とする請求項１〜４の何れか１項に記載の制御システム。
6. 上記所定時間が経過する前に新たな制御情報を受信した場合には、算出した時間差が所定時間以上の場合には当該制御情報に基づく第１の動作を行い、上記時間差が所定時間以内の場合には上記第１の動作とは異なる第２の動作を行うことを特徴とする請求項５記載の制御システム。
7. 上記制御装置は、時間を計測する第２の時間計測手段を有し、
   上記ユーザが操作画面に対する操作を行ったとき、上記第２の時間計測手段から供給される時間情報を含む当該操作に応じた制御情報を生成して送信することを特徴とする請求項１〜６の何れか１項に記載の制御システム。
8. 上記ネットワークは、ＩＥＥＥ１３９４規格に準拠したネットワークであることを特徴とする請求項１〜７の何れか１項に記載の制御システム。
9. ネットワークに接続され、当該ネットワークに情報を送信する手段と、当該ネットワークより情報を受信する手段と、表示手段と、ユーザ指示手段とを有し、前記ネットワークより複数の操作情報を受信し、当該複数の操作情報を上記表示手段に表示し、上記ユーザ指示手段により指示される操作情報を上記ネットワークを介して送信する制御装置であって、
   カウンターを有し時間を計時する手段を有し、
   ユーザからの指示を受けた時、上記カウンターから供給されるタイムコードを上記ユーザ指示手段により指示される操作情報の属性として付加し、上記ネットワークを介して送信することを特徴とする制御装置。
10. ネットワークに接続され、当該ネットワークに情報を送信する手段と、当該ネットワークより情報を受信する手段と、一つ以上の操作情報とを有し、上記ネットワークに操作情報を送信し、上記ネットワークより上記操作情報を受信し、当該受信した操作情報に基づいてサービスを提供する被制御装置であって、
    タイマーを有する時間計測手段を有し、
    属性としてタイムコードを有する上記操作情報を受信した時、当該タイムコードをメモリに記憶保持して上記タイマーを起動し当該タイマーのタイムアウト時に上記操作情報に基づく動作を行い、
    上記タイマーのタイムアウト以前に新たな上記タイムコードを有する操作情報を受信した時、当該タイムコードと上記メモリに保持している上記タイムコードとの差分を計算し、計算結果と上記操作情報に基づく動作を行うことを特徴とする被制御装置。
11. 請求項９記載の制御装置と請求項１０記載の被制御装置とから構成される制御システム。
12. 上記ネットワークがＩＥＥＥ１３９４規格に準拠したシリアルバスであることを特徴とする請求項９記載の制御装置。
13. ＢＵＳ ＴＩＭＥレジスタ及びＣＹＣＬＥ ＴＩＭＥレジスタの少なくとも一方を上記カウンターとして使用することを特徴とする請求項１２記載の制御装置。
14. 操作情報を送信するとともに、受信した制御情報に基づいて動作する被制御装置と、受信した操作情報に基づいて当該操作情報に係る画像を表示部に表示してユーザに操作画面を提供するとともに、ユーザの操作に応じた上記制御情報を送信する制御装置とがネットワークを介して接続された制御システムの制御方法であって、
    ユーザの操作に応じて、当該ユーザ操作に係る時間情報を含む制御情報を生成して送信する制御情報送信ステップと、
    上記制御情報送信ステップにて送信された制御情報を受信する制御情報受信ステップと、
    上記制御情報受信ステップにて受信した制御情報に基づく動作を行う第１の制御ステップと
    上記制御情報受信ステップにより複数の上記制御情報を受信した場合、上記制御情報の時間情報に応じて受信した制御情報に基づく動作を行う第２の制御ステップとを有することを特徴とする制御方法。
15. 操作情報を送信するとともに、受信した制御情報に基づいて動作する被制御装置と、受信した操作情報に基づいて当該操作情報に係る画像を表示部に表示してユーザに操作画面を提供するとともに、ユーザの操作に応じた上記制御情報を送信する制御装置とがネットワークを介して接続された制御システムの制御方法をコンピュータに実行させるためのプログラムであって、
    ユーザの操作に応じて、当該ユーザ操作に係る時間情報を含む制御情報を生成して送信する制御情報送信ステップと、
    上記制御情報送信ステップにて送信された制御情報を受信する制御情報受信ステップと、
    上記制御情報受信ステップにて受信した制御情報に基づく動作を行う第１の制御ステップと
    上記制御情報受信ステップにより複数の上記制御情報を受信した場合、上記制御情報の時間情報に応じて受信した制御情報に基づく動作を行う第２の制御ステップとを有することを特徴とするプログラム。
16. 請求項１５記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images