JP2005064695A - 制御システム、リモート制御装置、被制御装置、制御方法、記録媒体及びプログラム - Google Patents

Abstract

【課題】 操作パネルに対してフォーカス移動等の操作を行うためのキーを用い、当該キーの操作により特定の操作内容を被制御装置に直接指示できるようにする。
【解決手段】 表示画像情報を含む操作要素から構成される操作情報に基づいて上記操作要素を表示器に表示し、ユーザの操作入力に応じた制御情報をリモート制御装置から制御情報に応じて動作する被制御装置にネットワークを介して送信する制御システムにて、操作要素が選択決定された際に、上記ユーザの操作入力を被制御装置に直接通知する直接通知動作を行うか否かを指定する設定情報を操作要素に有するとともに、直接通知動作が指定された操作要素が選択決定されたときには、上記ユーザの操作入力を制御情報として被制御装置に送信するようにして、フォーカス移動等の操作を行うキーにおける操作入力を被制御装置に直接通知することができるようにする。
【選択図】 図１

Description

本発明は、制御システム、リモート制御装置、被制御装置、制御方法、記録媒体及びプログラムに関し、特に、ユーザに対してサービスを提供する被制御装置を、ネットワークを介して制御する制御システムに用いて好適なものである。

従来、単独で稼動していたか、あるいは機器の種類に応じて独自に機器間を接続することにより動作していた家庭内のオーディオ・ビジュアル機器や家電機器を、一つのネットワークによって接続して動作させる要求が高まっている。このネットワーク化は、動画像データ、オーディオデータ等のリアルタイム性が要求されるデータと、静止画像データ、制御データ等の通信の信頼性が要求されるデータとを混在した状態で転送することができる高速のデジタル通信技術を用いたネットワーク通信により実現可能である。

家庭内における機器のネットワークシステムにて、ユーザインタフェースを提供する機器は、一般的にはテレビジョン受像機（以下、単に「テレビ」とも称す。）であり、ネットワークを介して接続された被制御機器の操作パネルを表示画面上に表示し、テレビのリモコン装置によりユーザ（操作者）の操作を入力することで機器を制御する、いわゆるリモート制御サービスが提供される。

しかしながら、上述したリモート制御サービスでは、操作パネルを表示したり、ユーザ操作入力に従った機器の制御を実行したりするための制御プログラムが被制御機器毎に必要である。しかも、ネットワークを介して接続される機器は多種であり、また時間を追って新しい機能を有する機種も出現する。そのため、接続される可能性がある、すべての機器に対する制御プログラムをテレビ等の一つの機器に備えることは困難である。

このような問題を解決する一つの方法として、テレビに代表される表示器を備えたリモート制御装置が、ネットワークに接続された被制御装置から操作パネルの画像データを受信して操作パネルを表示器に表示するとともに、ユーザの操作入力を被制御装置に送信することで被制御装置の制御を行うネットワークシステムが提案されている（例えば、特許文献１参照。）。

図１３は、上述したネットワークシステムの構成を示すブロック図である。
図１３において、５３０は操作パネルを送信し、ネットワーク５００を介してリモート制御を受ける被制御装置である。５３３は操作パネルの表示データを生成する画像生成部であり、５３１はネットワーク５００に対してデータを送受信するための双方向通信部である。５３２は操作パネルを送信したり、ユーザ操作情報を受信したりして被制御本体部５３４を制御する処理部であり、被制御本体部５３４は処理部５３２の制御を受けて動作することによりユーザにサービスを提供する。

また、５２０は表示機能を有し、ネットワーク５００を介してリモート制御を行うリモート制御装置である。５２４は操作パネルを表示する表示部であり、５２５はリモコン等によるユーザの操作入力を受信する入力部である。５２３は受信した操作パネル等を記憶保持する情報記憶部であり、５２２は受信した操作パネルを情報記憶部５２３に格納したり、この操作パネルを表示部５２４に表示させたりする処理部である。また、処理部５２２は、入力部５２５にて受信したユーザからの操作入力に基づいてユーザ操作情報を出力する。５２１はネットワーク５００に対してデータを送受信するための双方向通信部である。

上記図１３に示したネットワークシステムでは、被制御装置５３０から送られる操作パネルは、ネットワーク５００を介してリモート制御装置５２０にて受信され、表示部５２４に表示される。ユーザは、表示された操作パネルを見てリモコン等を操作する。ユーザの操作に関する情報は、リモート制御装置５２０から被制御装置５３０にネットワーク５００を介して送られ、被制御本体部５３４が、この情報に基づいて制御されることで、ユーザに対するサービスが提供される。

図１４は、被制御装置５３０の表示部５２４に表示される操作パネルを示す図である。５４０は表示部５２４の表示領域、５４２は操作パネル、５４３〜５４７は被制御装置が備える個々のサービスを表す表示上の操作ボタン、５４８は操作パネル上の注目点（フォーカス）あるいは選択候補を示す表示、５４１は被制御装置５３０によって提供されるサービスの結果としての映像である。
ユーザはリモコン等を用いて操作パネルに対する操作を行う。すなわち、リモコンが備える方向キーを押すことにより、操作パネル上のフォーカスを目的とする操作ボタン表示へ移動させ、決定キーを押すことにより所望の動作を選択し実行するための操作とする。

特開平１１−３３１４号公報

ここで、被制御装置５３０から送られる操作パネル５４２に基づくリモート操作は、操作パネル５４２として表示することにより、被制御装置５３０が有するいかなる固有の機能をも操作することが可能となるという特色を有する。一方、画面上に表現される操作要素をさらにリモコンによって操作するという間接制御が必要となり、従来の被制御機器専用リモコンによる機能に直結したリモコン上のボタンをユーザが直接操作する環境と比較して、操作に要する手順が増加する。

例えば、図１４に示す操作パネル５４２により、被制御機器５３０が提供するサービスとしての再生映像を鑑賞中に、直前の再生映像を短時間分だけ繰り返して再生しようとすると、巻き戻し操作ボタン５４３を押して必要な時間分の巻き戻しを行った後、再生操作ボタン５４４を操作することとなるが、リモコンの方向キーによってフォーカス５４８を移動させてから選択する間接制御においては、左方向キー、決定キー、右方向キー、決定キーをタイミングを計りながら順に押すことが必要でなり、必要な機能操作に比較して多くのキーを押さなければならない。したがって、ユーザに対して煩雑な操作となるケースが生じることがある。

このような煩雑な操作性を回避するには、頻繁に使用される操作内容をリモコン上に設けた特定のキーに割り当て、これらの専用キーが操作されたときは操作内容を示す情報を直接被制御装置に通知するシステムが考えられる。このシステムにおいては、ユーザは、フォーカスを動かして決定するキーによって、操作パネル上に表示されたいずれかの操作ボタンを操作することができる一方、専用キーによってフォーカスの位置とは無関係に直接特定の操作を行うことが可能になる。

さらに、このようなシステムにおいては、特定の操作内容を直接指示するボタンとしてフォーカスを動かす操作ための方向キーを使用したいという要求が生じる。このような場合には、リモート制御装置は、操作された方向キーの情報を所定の状況下では被制御装置に通知し、他の状況下ではリモート制御装置内でフォーカスの移動するために使用する、すなわち、方向キーの操作情報を送って処理する相手を切り替え、シームレスな操作環境を提供する必要がある。

本発明は、このような事情に鑑みてなされたものであり、操作パネルに対してフォーカス移動等の操作を行うためのキーを用い、当該キーの操作により特定の操作内容を被制御装置に直接指示できるようにすることを目的とする。また、操作パネルに対してフォーカス移動等の操作を行うためのキー操作による操作入力の結果として得られた制御指示を被制御装置に通知するか、操作入力を被制御装置に直接通知するかを適宜切り替えることができるようにすることを目的とする。

本発明の制御システムは、表示画像情報を含む操作要素から構成される操作情報を送信するとともに、受信した制御情報に応じて動作する被制御装置と、受信した上記操作情報に基づいて上記操作要素を表示器に表示し、当該操作要素に対するユーザの操作入力に応じた上記制御情報を送信するリモート制御装置とがネットワークを介して接続された制御システムであって、上記操作要素は、当該操作要素が選択決定された際に、上記ユーザの操作入力を上記被制御装置に直接通知する直接通知動作を行うか否かを指定する第１の設定情報を有し、上記リモート制御装置は、上記第１の設定情報により直接通知動作が指定された上記操作要素が選択決定されたときには、上記ユーザの操作入力を上記制御情報として上記被制御装置に送信することを特徴とする。
本発明の制御システムの他の態様は、ネットワークと、上記ネットワークに接続され、表示画像情報を含む一つ以上の操作要素から構成される操作情報を送信するとともに、受信した制御情報に応じたサービスを提供する被制御装置と、上記ネットワークに接続され、上記操作情報を受信し、受信した上記操作情報に基づいて上記操作要素を表示器に表示し、ユーザの操作入力に基づいて上記操作要素の一つを選択決定したことを上記制御情報として送信するリモート制御装置とにより構成される制御システムであって、上記操作要素は、当該操作要素が選択決定されたときに上記ユーザの操作入力を制御情報として直接被制御装置に通知する直接通知動作を行うことを指定する情報を有し、上記リモート制御装置は、上記直接通知動作を指定された操作要素が選択決定されたときには、上記ユーザの操作入力を直接、上記制御情報として上記被制御装置に送信することを特徴とする。
本発明のリモート制御装置は、制御情報に応じて動作する被制御装置にネットワークを介して接続され、当該ネットワークを介して受信した表示画像情報を含む操作要素から構成される操作情報に基づいて上記操作要素を表示器に表示し、当該操作要素に対するユーザの操作入力に応じた上記制御情報を送信するリモート制御装置であって、上記操作要素は、当該操作要素が選択決定された際に、上記ユーザの操作入力を上記被制御装置に直接通知する直接通知動作を行うか否かを指定する第１の設定情報を有し、上記第１の設定情報により直接通知動作が指定された上記操作要素が選択決定されたときには、上記制御情報として上記ユーザの操作入力を上記被制御装置に送信することを特徴とする。
本発明のリモート制御装置の他の態様は、ネットワークに接続され、当該ネットワークに接続された被制御装置から表示画像情報を含む操作要素から構成される操作情報を受信し、受信した上記操作情報に基づいて上記操作要素を表示器に表示し、ユーザの操作入力に基づいて前記操作要素の一つを選択決定したことを制御情報として上記被制御装置に送信し、上記被制御装置にて当該制御情報に応じたサービスを提供させるリモート制御装置であって、上記操作要素は、当該操作要素が選択決定されたときに上記ユーザの操作入力を制御情報として直接被制御装置に通知する直接通知動作を行うことを指定する情報を有し、上記直接通知動作を指定された操作要素が選択決定されたときには、上記ユーザの操作入力を直接、上記制御情報としてネットワークを介して上記被制御装置に送信することを特徴とする。
本発明の被制御装置は、ネットワークに接続され、表示画像情報を含む操作要素から構成される操作情報を上記ネットワークに接続されたリモート制御装置に送信し、上記リモート制御装置にて受信した上記操作情報に基づいた操作要素を表示器に表示させ、ユーザの操作入力に基づいて上記操作要素の一つを選択決定したことを制御情報として送信させ、受信した制御情報に応じたサービスを提供する被制御装置であって、上記操作要素は、当該操作要素が選択決定されたときに上記ユーザの操作入力を制御情報として直接被制御装置に通知する直接通知動作を行うことを指定する情報を有し、上記直接通知動作を指定された操作要素が選択決定されたときに、上記リモート制御装置から上記ネットワークを介して直接送信された上記ユーザの操作入力を上記制御情報として受信し、当該制御情報に応じて動作することを特徴とする。
本発明の制御方法は、表示画像情報を含む操作要素から構成されるとともに、制御情報に応じて動作する被制御装置から送信される操作情報を受信する受信工程と、上記受信した上記操作情報に基づいて上記操作要素を表示器に表示する表示工程と、当該操作要素に対するユーザの操作入力に応じた上記制御情報を上記被制御装置に送信する送信工程とを有し、上記操作要素は、当該操作要素が選択決定された際に、上記ユーザの操作入力を上記被制御装置に直接通知する直接通知動作を行うか否かを指定する第１の設定情報を有し、上記第１の設定情報により直接通知動作が指定された上記操作要素が選択決定されたときには、上記送信工程にて、上記ユーザの操作入力を上記制御情報として上記被制御装置に送信することを特徴とする。
本発明のプログラムは、表示画像情報を含む操作要素から構成されるとともに、制御情報に応じて動作する被制御装置から送信される操作情報を受信する受信工程と、上記受信した上記操作情報に基づいて上記操作要素を表示器に表示する表示工程と、当該操作要素に対するユーザの操作入力に応じた上記制御情報を上記被制御装置に送信する送信工程とを有し、上記操作要素は、当該操作要素が選択決定された際に、上記ユーザの操作入力を上記被制御装置に直接通知する直接通知動作を行うか否かを指定する第１の設定情報を有し、上記第１の設定情報により直接通知動作が指定された上記操作要素が選択決定されたときには、上記ユーザの操作入力を上記制御情報として上記被制御装置に送信する上記送信工程をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、上記プログラムを記録したことを特徴とする。
これにより、操作パネルに対してフォーカス移動等の操作を行うためのキーを用いて操作要素の１つを選択決定することでリモート制御装置により被制御装置を制御しサービスの提供を受ける操作方法、及び当該キーの操作を制御情報として被制御装置に直接通知してサービスの提供を受ける操作方法を操作者に提供することができるようになる。また、第１の設定情報を適宜設定することにより、いずれの操作方法により被制御装置を制御するかを切り替えることができるようになる。

本発明によれば、操作パネルに対してフォーカス移動等の操作を行うためのキーを用いて特定の操作内容を被制御装置に直接指示でき、当該キー操作による操作入力の結果として得られた制御情報を被制御装置に通知するか、操作入力を被制御装置に直接通知するかを適宜、確実に切り替えることができる。したがって、必要な操作方法を自在に組み合わせて被制御装置の制御に最適な操作環境、あるいは被制御装置が提供するサービスに適した操作環境をユーザに提供することができる。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の実施形態における制御システムの構成例を示すブロック図である。本実施形態における制御システムは、リモコン１２０によるユーザ操作入力を有するデジタルテレビ１１０と、高速シリアルインタフェースによるネットワーク１を介してデジタルテレビ１１０に接続されたデジタルチューナ１００及びデジタルビデオカメラレコーダ（ＶＣＲ）１３０、１３５とから構成される。デジタルチューナ１００及びＶＣＲ１３０、１３５は、デジタルテレビ１１０に操作のための表示を行い、デジタルテレビ１１０のリモコン入力に基づいてリモート制御される。

デジタルチューナ１００について説明する。１０４は図示しないアンテナで受信された放送電波を入力として所望のチャンネルを選局、復調し、番組プログラム選択して、ビデオ／オーディオ信号を含むＴＳ信号またはデータ放送のためのデータ等をネットワーク１へ送出するなどのサービスをユーザに提供するチューナ本体部である。１０３はリモート制御を受けるためにデジタルテレビ１１０に表示する操作パネル等の表示データ（ＧＵＩデータ）及び操作情報を格納または生成する表示データ発生部である。

１０２はネットワーク１に接続された他の装置との間でネットワーク１を介して通信を行い、表示データ発生部１０３及びチューナ本体部１０４を制御する制御部である。１０１は１３９４高速シリアルバス（ＩＥＥＥ１３９４規格に準拠したシリアルバス）のインタフェースである１３９４Ｉ／Ｆ部であり、ネットワーク１を介して、後述するデジタルテレビ１１０の１３９４Ｉ／Ｆ部１１１、あるいは他の装置の１３９４Ｉ／Ｆ部に接続される。

次に、デジタルテレビ１１０について説明する。１１１は１３９４高速シリアルバスのインタフェースである１３９４Ｉ／Ｆ部である。１１３は１３９４Ｉ／Ｆ部１１１にて受信したストリームデータをビデオストリームと音声ストリームとに分離し、各々のストリームデータ（ビデオデータ及び音声データ）をデコードする機能を有するデコーダである。１１９はデコーダ１１３によりデコードされた音声データにＤ／Ａ変換処理及び増幅処理を施して出力する音声出力部であり、スピーカを含み構成される。

１１４は１３９４Ｉ／Ｆ部１１１にて受信したリモート制御のための表示データ（ＧＵＩデータ）及び操作情報を格納する表示データメモリであり、１１６は赤外線または無線等を使用してリモコン１２０によるユーザの操作入力を行うリモコン制御部である。１１５はリモート制御のための表示データに基づいて、接続された被制御装置をリモート制御するための操作パネル等の表示画像を生成する描画制御部である。１１７はデコーダ１１３から出力されるビデオデータと描画制御部１１５から出力される表示画像データとを合成し、表示デバイス（表示器）１１８に表示させるための画像合成部である。

１１２は１３９４Ｉ／Ｆ部１１１、デコーダ１１３、表示データメモリ１１４、リモコン制御部１１６及び描画制御部１１５を制御する制御部である。制御部１１２は、１３９４Ｉ／Ｆ部１１１にて受信したデジタルチューナ１００からのストリームデータを表示デバイス１１８及び音声出力部１１９に出力したり、表示デバイス１１８に表示されるリモート制御のための表示画像とユーザの操作入力とによりデジタルチューナ１００の制御を行ったりして、デジタルテレビ１１０の動作を統合的に制御する。

次に、ＶＣＲ１３０について説明する。１３４はネットワーク１または図示しない入出力端子を通じて入力されたストリームデータを記録し、また記録データを再生して映像、音声データを含むストリームデータを出力するＶＣＲ本体部である。１３３はリモート制御を受けるためにデジタルテレビ１１０に表示する表示データ（ＧＵＩデータ）及び操作情報を格納または生成する表示データ発生部である。１３２はネットワーク１を介して通信を行い、表示データ発生部１３３及びＶＣＲ本体部１３４を制御する制御部である。１３１は１３９４高速シリアルバスのインタフェースである１３９４Ｉ／Ｆ部であり、ネットワーク１を介して、デジタルテレビ１１０の１３９４Ｉ／Ｆ部１１１、あるいは他の装置の１３９４Ｉ／Ｆ部に接続される。

ＶＣＲ１３５は、ＶＣＲ本体部１３９、表示データ発生部１３８、制御部１３７、及びネットワーク１を介してデジタルテレビ１１０の１３９４Ｉ／Ｆ部１１１、あるいは他の装置の１３９４Ｉ／Ｆ部に接続される１３９４Ｉ／Ｆ部１３６を有し、ＶＣＲ１３０と同様に構成される。

ここで、１３９４インタフェース（ＩＥＥＥ１３９４高速シリアルバス）は、デイジーチェーン方式、ノード分岐方式、及びこれらの組み合わせに対応し、自由度の高い接続を可能としたネットワークバスである。１３９４インタフェースは、１００Ｍｂｐｓ、２００Ｍｂｐｓ、４００Ｍｂｐｓでシリアル転送を行うデータ転送方式であり、上位の転送速度を有する装置（機器）は下位のデータ転送速度をサポートするため、異なる転送速度を有する装置（機器）がネットワークバス内に混在可能である。

また、コマンドなどの制御信号やファイルデータ等の非同期で転送されるデータを転送するための非同期（Asynchronous）転送と、ビデオデータや音声信号（いわゆるストリームデータ）等の時間的な連続性が要求されるデータの転送を一定期間（１２５μｓ）毎に逐次行うアイソクロナス（Isochronous）転送の２つの転送モードを有する。

ＡＶ機器の制御のためのＡＶ／Ｃ（Audio Video Control）コマンドが非同期転送の上に構築され、同時にこれらのコマンドによって制御されるＡＶ機器のモデルがＡＶ／Ｃ ユニット（AV/C unit）またはサブユニット（subunit）として定義されている。また、静止画ファイル転送やプリントデータ転送など確実性と高速性が要求されるデータ転送のために、非同期転送によるプロトコルであるアシンクロナス・シリアルバス・コネクション（Asynchronous Serial Bus Connection）と、この転送のためのコネクションを結ぶ又は解消するための手順及び制御コマンドが定義され、使用されている。

アイソクロナス転送によるストリームデータ転送には、ＤＶフォーマットによる画像／音声データ転送、及びＭＰＥＧ２フォーマットによる画像／音声ストリーム転送がある。これらのストリームデータ転送のためのコネクションを結ぶ又は解消するための手順及び制御コマンドも非同期転送によるＡＶ／Ｃコマンドとして定義されている。

図２は、上記図１に示した制御システムでのリモート制御のための表示データの転送及び表示、並びにリモート制御の実行の手順を説明するための図である。なお、図２は、ネットワーク１（１３９４高速シリアルバス）での通信に注目して示してある。また、図２の説明においては、ネットワーク１に接続された被制御装置の一つであるデジタルチューナ１００とデジタルテレビ１１０の間での手順を説明するが、他の装置がネットワーク１に接続された場合にも同様の通信が行われ、デジタルチューナ１００と並行して制御が行われ得る。

図２において、まず、デジタルテレビの制御部１１２は、ＩＥＥＥ１３９４規格に従ったコネクション確立手順により、デジタルチューナ１００のストリーム出力をデジタルテレビ１１０に送信するためのアイソクロナス・コネクション（Isochronous connection）を確立する。すなわち、ネットワーク１のアイソクロナス・リソース・マネージャ（ＩＲＭ：Isochronous Resource Manager、本実施形態ではデジタルテレビ１１０がその機能を担うものとする。）からアイソクロナス転送のためのチャネルと帯域を確保した後、デジタルチューナ１００の１３９４Ｉ／Ｆ部１０１のアイソクロナス・プラグ（Isochronous Plug）からデジタルテレビ１１０の１３９４Ｉ／Ｆ部１１１のアイソクロナス・プラグへのピアツーピア・コネクション（peer-to-peer connection）を確立する（２０１）。

次に、デジタルテレビの制御部１１２は、デジタルチューナ１００を被制御装置としたセッションを開始するためにＡＶ／Ｃコマンドの“Gui_update(open)”コマンドを発行する（２０２）。

図３(a)は、“Gui_update”コマンドのコマンドフレームを示す図である。operand（オペランド）[3]に格納されるサブファンクション（subfunction）の値（図３(b)参照）により、当該コマンドによる被制御装置への指示が指定される。“open”（値00h）はリモート制御のセッションの開始を指示し、“close”（値01h）はリモート制御のセッションの終了を指示する。

“start”（値03h）はリモート制御のための表示データの転送を指示する。被制御装置は、次に“stop”（値04h）の指示を受けるまでの間に装置の状態や操作の結果により表示データに変更が生じたときには、後述する手順で表示データを制御装置に送信する。“restore”（値02h）はネットワーク１にてバスリセットが発生した際に表示データを転送するためのアシンクロナス・シリアルバス・コネクションを復帰する場合に指定される。“change”（値06h）は表示データ変更の報告範囲の変更を指定する場合に指定される。

図２に戻り、デジタルチューナの制御部１０２は、受信した“Gui_update(open)”コマンドに対する応答（レスポンス）として、アシンクロナス・シリアルバス・コネクションに使用すべきプラグ番号を図３(a)に示したコマンドフレームのoperand[0]に格納してデジタルテレビ１１０に返送する。デジタルテレビ１１０の制御部１１２は、返送されたプラグ番号を用いて、“Connect”コマンド（２０３）及び“Allocate_attach”コマンド（２０４）を発行して、必要なデジタルチューナ１００の内部コネクション及びデジタルチューナ１００とデジタルテレビ１１０との間のコネクションを確立する。

続いて、デジタルテレビ１１０の制御部１１２は、“Gui_update(start)”コマンドを発行して、表示データの転送の開始をデジタルチューナ１００に指示する（２０５）。さらに制御部１１２は、“Push_gui_data”コマンドを発行してデジタルチューナ１００を制御するための表示データの転送をデジタルチューナ１００に指示する（２０６）。

図３(c)は、“Push_gui_data”コマンドのコマンドフレームを示す図である。operand[0]には、“Gui_update(open)”コマンドにより獲得したプラグ番号を指定する。operand[5]に格納されるインジケータ（indicator）には、図３(d)に示すレベル値（level）と実データフラグ（with_data）とを指定する。

レベル値は、後述する表示データの木構造に従い、“Push_gui_data”コマンドによる指示で転送される被制御装置の表示データの転送範囲を指定する。指定する値は、図３(e)に示す２ビットの３値であり、値“00”（itself）では後述の要素ＩＤで指定した要素そのものを指定する。また、値“01”（itself and next level）では要素ＩＤで指定した要素とこの要素に属する要素とを指定し、値“11”（all level）では値“01”（itself and next level）の範囲及びこの範囲に含まれる要素に属する次の要素までを指定する。
実データフラグは、このビットが“１”のとき、要素ＩＤとレベル値とで指定される要素が持つテキスト、イメージ、及びサウンド等の実データを指定する。

operand[6]からの４バイトには、後述する表示データの要素を識別する要素ＩＤを格納し、アシンクロナス・シリアルバス・コネクションを通じて転送を指示する表示データを指定する。なお、ルートとなるパネル要素を指定する場合に限り、要素ＩＤを“FFFFh”で代用することが可能である。

図２に戻り、デジタルチューナ１００の制御部１０２は、受信した“Push_gui_data”コマンドに対する応答をデジタルテレビ１１０に返送する。さらに、デジタルチューナ１００の制御部１０２は、デジタルチューナ１００の表示データ発生部１０３からリモート制御のための表示データをアシンクロナス・シリアルバス・コネクションを通じてデジタルテレビ１１０に転送する（２０７）。転送された表示データは、表示データメモリ１１４に格納された後、制御部１１２により要素毎に読み出される。読み出された表示データは、描画制御部１１５に送られ、画像合成部１１７を通じて表示デバイス１１８に表示され、ユーザに対する操作パネルとして提供される。

ここで、表示データは操作パネルとして表示される要素の集合であり、パネル要素をルートとした木構造のデータ構造を有する。図４は、こうした要素と、各要素に従属する必須データまたは選択データを示す図である。また、図５は、各要素に対して、ユーザが取り得る操作であるユーザアクションを示す図である。

パネル要素は、操作パネルを構成する要素の要素ＩＤの列をリンクとして保持し、パネル要素のタイトルとなる文字列データであるラベルへのリンクと、表示スクリーン上に表示するパネルの位置及び大きさデータとを有する。また、パネル要素は、パネルの背景の色指定、背景に表示するビットマップデータへのリンク、及び表示する文字列に対するフォントの選択指定をオプションとして保持することができる。

また、パネル要素は、ビデオ及び音声のストリームを転送するアイソクロナス転送チャネルデータをオプションとして保持することができ、このオプションが指定された場合には、転送されるストリームからデコードされるオーディオビデオデータをパネル要素全体に表示する。

ボタン要素は、ユーザがリモコン１２０を用いて、押す（押し下げる）、または離す（解放する）操作をすることができる要素であり、押されたときと離されたときに各々キートップに表示する二つのビットマップデータへのリンクを保持する。ビットマップデータに係る画像の大きさはサイズデータで示され、画像の表示位置は位置データで示される。なお、位置データは、この要素が属するパネル要素内での相対位置を画素単位で指定したものである。また、ボタン要素のタイトル（または機能的な説明）になるラベルへのリンクを保持し、表示する文字列に対するフォントの選択肢をオプションとして保持することができる。

テキスト要素は、タイトルや説明を文字列で表示する要素であり、位置及びサイズと、ラベルとなるテキストデータへのリンクとを保持し、さらに背景色の指定とフォントの選択肢とをオプションとして保持することができる。
アイコン要素は、ビットマップ画像を表示するとともに、ユーザが選択することができる要素であり、ビットマップデータへのリンク、ラベル、位置、サイズと、ラベルになるテキストデータへのリンクとを保持し、フォントの選択肢をオプションとして保持することができる。なお、オプションとして保持することができるダイレクト操作、次フォーカス、自動ダイレクトについては、後で詳しく説明する。

アニメーション要素は、複数のビットマップデータを保持して、このデータに係る画像を一定時間間隔で順次切り替えて表示するとともに、ユーザが選択することができる要素である。アニメーション要素は、位置、サイズと、ラベルになるテキストデータへのリンクとを保持し、フォントの選択肢をオプションとして保持することができる。

図６(a)〜図６(n)は、表示データを構成する要素のデータ構造を示す図である。
図６(a)は、パネル要素、ボタン要素等の要素データのデータ構造を示す図である。すべての要素は、表示データ内で識別するための要素ＩＤを保持する。要素タイプは、要素の種別を示すコードであり、図７(a)に示す要素タイプが格納される。要素データは、この要素が保持するデータを必須データ、選択データの順に格納する。

図６(b)は、必須データまたは選択データとして各要素からリンクされるテキストデータ、ビットマップデータ、及びサウンドデータ等の実データのデータ構造を示す図である。すべての実データは、上述した要素と同様に識別するための要素ＩＤを保持する。要素タイプは、実データの種別を示すコードであり、図７(b)に示すデータタイプが格納される。実データは、テキストデータであれば文字列データが、ビットマップデータであればビットマップデータ列が、サウンドデータであればサウンドデータ列が格納される。

図６(c)〜図６(n)は、要素データが保持する必須データまたは選択データとなる要素またはデータのリンクデータ構造をそれぞれ示す図である。
図６(c)は、テキスト実データへのリンクであり、要素ＩＤにはリンク先のテキスト実データの要素ＩＤが格納される。
図６(d)は、ビットマップ実データへのリンクであり、要素ＩＤにはビットマップ実データの要素ＩＤが格納される。
図６(e)は、要素へのリンクであり、要素ＩＤにはパネル要素に属する要素（ボタン要素、テキスト要素等）の要素ＩＤが格納され、要素タイプは、図７(a)に示す要素タイプが格納される。

図６(f)は、背景カラーとして指定するカラーデータのデータ構造であり、ＲＧＢ各８ビットで表現されるカラーデータが格納される。
図６(g)は、要素の表示位置を指定するデータの構造である。各要素の位置は、表示デバイス（表示器）上の２次元座標系において、要素が属する上位の要素の左上隅を原点とする相対位置として表現される。すなわち、要素がルートとなるパネル要素である場合には、表示デバイス上の位置が画素単位で指定され、要素がパネル要素に属するものである場合には、パネル要素上の位置が画素単位で指定される。

図６(h)は、要素を表示するサイズを指定するデータ構造であり、「幅」及び「高さ」には要素の大きさを画素単位で表現した値が格納される。
図６(i)は、要素で表示されるテキストのフォントサイズを指定するデータ構造であり、図７(d)に示すフォントコードが格納される。

図６(j)は、要素の要素データに選択データを格納するときのデータ構造であり、「選択データタイプ」には、図７(c)に示す選択データタイプを格納し、「選択データ」には、背景カラー、フォント等の選択的に付加されるデータ構造が格納される。
図６(k)は、パネル要素の背景またはアイコン要素に表示されるオーディオビデオデータを転送するアイソクロナス転送チャネルを指定するデータ構造であり、アイソクロナス転送チャネルが下位６ビットに格納され、上位２ビットには、いずれも０Ｂが設定される。

図６(l)は、要素に対するダイレクト操作のオン（ＯＮ）／オフ（ＯＦＦ）を指示するデータを格納するデータ構造である。最下位ビット（ＬＳＢ）の１ビットが“１”のときオンに設定され、“０”のときオフに設定される。ダイレクト操作がオン状態のときに、この要素が選択されると、次にダイレクト操作のデータがオフされるまでの間、ユーザ操作入力は、表示された要素に対するフォーカスの移動または選択の操作として扱われずに、パネルデータを供給するデバイスに“Direct_action”コマンドにより直接通知される。

“Direct_action”コマンドのコマンドフレームを図３(g)に示す。operand[0]には、ユーザの操作が図３(h)に示すユーザオペレーション（user operation）の一つとして格納される。図３（h）は、operand[0]に格納するaction_codeと関連付けられる機能を示す図である。operand[1]には、図５に示した「押し下げ」、「開放」のいずれかのユーザアクションが格納される。

図６(m)は、ダイレクト操作から通常の動作に状態を復帰させる際にフォーカスを移す要素（次要素）を指定するデータを格納するデータ構造である。ダイレクト操作から通常動作への復帰は、図６(l)に示したダイレクト操作のオン／オフ情報にオフ（“０”）が設定されたときに発生する。

図６(n)は、ダイレクト操作がオンからオフに指定された直後に、自動的にダイレクト操作指定をオンに戻すことを指定するデータを格納するデータ構造である。ダイレクト操作は、ダイレクト操作のオン／オフ情報がオンに設定されている状態で要素が選択されたときに行われる。ダイレクト操作のオン／オフ情報がオフに設定されたときにダイレクト操作状態から通常動作状態に復帰するが、ダイレクト操作のオン／オフ情報が再びオンに設定されるまでは要素が選択されてもダイレクト操作とはならない。

そこで、自動ダイレクト操作データのＬＳＢに“１”が格納されている場合は、ダイレクト操作から復帰した際に、デバイスからダイレクト操作情報を再びオンに設定しなくとも、要素側で自動的にオンが設定されたとみなすことを指定する。自動ダイレクト操作データのＬＳＢに“０”が設定されている場合は、デバイスからダイレクト操作情報をオンにするまでダイレクト操作が行われない。自動ダイレクト操作データが要素に含まれない場合の動作は、自動ダイレクト操作情報がオフの場合と同様である。

図８は、リモート制御のための表示データにおけるデータ構成の一例を木構造により示した図である。表示データは、アイコン要素、ボタン要素等が要素ＩＤ＝０のパネル要素に属し、テキストデータ、ビットマップデータ等の実データの要素がパネル要素またはアイコン要素、ボタン要素等に属したデータ構成となっている。
また、図９は、上述したデータ構造のうち、パネル要素のデータ構造を示す図である。図９に示したようなデータが、アシンクロナス・シリアルバス・コネクションを通じてデジタルテレビ１１０に転送される。

図１０は、リモート制御のための表示データの表示例（操作パネル）を示す図である。図１０において、３００は表示デバイス１１８の表示領域であり、提供される映像３０１が表示されている。３０２はデジタルチューナ１００の選局操作を行うための操作パネルであり、番組表から番組を選択して視聴開始／予約、及び録画の予約を行うことができる。３０３は時間帯毎の各チャネルで放送される番組の番組表を示すアイコン要素である。３０４は選択した番組の視聴を開始する、又は現在の時刻が選択した番組の開始時刻に到達していない場合には番組視聴の予約を決定するボタン要素である。３０５及び３０６は選択した番組の録画を決定するボタン要素であり、二つのボタン３０５、３０６はネットワーク１に接続された２台のＶＣＲ１３０、１３５に対応している。すなわち、ボタン要素３０６が押された場合には、番組表で選択された番組を録画するようＶＣＲ１３５に対して録画予約指示が行われる。

デジタルテレビ１１０の制御部１１２は、描画制御部１１５を介して上記図１０に示したような表示画像を表示デバイス１１８に表示する一方、リモコン制御部１１６を介してリモコン１２０によるユーザの操作入力を受け付ける。操作パネルの操作要素に対する操作は、操作パネル上の注目点を示すフォーカスを操作対象に移動し、これを選択する動作で行う。ユーザのフォーカスがあることは操作要素のハイライト表示で示し、後述するリモコン１２０による操作入力に応答してフォーカス位置を変更する。この動作を「フォーカスナビゲーション」と呼ぶ。また、例えば操作要素がボタン要素である場合には、リモコン１２０による選択決定の操作入力に応答し、ボタンの表示を解放状態のビットマップ表示から、押し下げ状態のビットマップ表示に切り替える動作を行う。

デジタルテレビ１１０の制御部１１２は、表示された要素毎に許容されている、ボタンの押し下げ等のユーザアクション（操作入力）を検知すると、“User_Action”コマンドを発行して、デジタルチューナ１００の制御部１０２にユーザアクションを通知する（図２の２０８）。デジタルチューナ１００の制御部１０２は、通知された表示要素毎に予め定められたユーザアクションに対応する制御をチューナ本体部１０４に対して行う。

表示データ発生部１０３は、チューナ本体部１０４の動作状態の変化を反映し、表示データに変化がある場合には、変化のあった表示データをデジタルテレビ１１０にアシンクロナス・シリアルバス・コネクションにより転送する（図２の２０９）。また、チューナ本体部１０４に対する制御によっては、アイソクロナス・コネクションを通じて新たなストリームデータの転送が開始される（図２の２１０）。例えば、放送番組の視聴開始によってデジタルテレビ１００の表示画像３０１に受信したストリームデータの表示を行う場合である。上述したように、フォーカスナビゲーションを行い、ユーザの操作入力をユーザアクションとして被制御装置に通知する一連の動作を「ユーザインタラクション」と呼ぶ。

図１１は、ユーザインタラクションに使用されるリモコン１２０を示す図である。リモコン１２０は、表示データ（操作パネル）上でフォーカスの移動を指示する方向キー３２２、３２３、３２４、３２５と、フォーカスのある操作要素に対する選択決定を指示する決定キー３２６とを備える。決定キー３２６による選択決定の指示は、操作要素がボタン要素であるときには、ボタンの押し下げ（および開放）のユーザアクションを発生し、アイコン要素及びアニメーション要素であるときには、選択のユーザアクションを発生する。

また、リモコン１２０は、電源のオンオフキー３２８、音量アップキー３２９、音量ダウンキー３３０、及びメニューキー３３１を備える。これらのキー３２８〜３３１による操作入力は、常にデジタルテレビ１１０に対する操作であり、リモコン制御部１１６を介して制御部１１２に通知され、デジタルテレビ１１０の電源のオンオフ、音量の調節、及びデジタルテレビ１１０に係るメニュー呼び出しの制御に渡される。

リモコン１２０が備える他のキー３３２〜３３６は、リモート制御のための特定の操作内容に予め関連付けられた専用キーである。３３２はメディアやチャンネル選択において過去、下、後退方向への移動を指示するキー、３３３はテープ、ディスク、メモリメディアからの再生開始動作を指示するキーである。３３４はメディアやチャンネル選択における未来、上、前進方向への移動を指示するキー、３３５はテープ、ディスク、メモリメディアからの再生停止動作を指示するキーである。３３６はテープ、ディスク、メモリメディアへの記録動作を指示するキーである。これらのキー３３２〜３３６をユーザが押した場合には、リモコン制御部１１６を通じて通知を受けた制御部１１２は、被制御装置であるデジタルチューナ１００に対して“Direct_Action”コマンドを発行する（図２の２１１）。

“Direct_Action”コマンドを受信したデジタルチューナ１００の制御部１０２は、当該コマンドに含まれるaction_codeによる操作内容が有効であるときには、チューナ本体部１０４に対してaction_codeに応じた制御を行う。“User_Action”コマンドによる制御と同様に、この制御の結果により表示データに変化があった場合には、変化のあった表示データがパネルデータ発生部１０３から制御部１０２を介してデジタルテレビ１１０にアシンクロナス・シリアルバス・コネクションにより転送され、またはアイソクロナス・コネクションを通じてストリームデータが転送される。

一方、“Direct_Action”コマンドのaction_codeによる操作内容が被制御装置であるデジタルチューナ１００にとって有効でない場合、すなわち提供されるサービスの範囲に含まれない場合又は内部状態により一時的に実行できない場合には、“Direct_action”コマンド自体は正常に終了した旨レスポンスが返されるが、被制御装置では何の動作も発生しないことがある。

図１２は、リモコン１２０による操作入力に応じて、操作パネルにおけるフォーカスがアイコン要素３０３に移され番組表から番組を選択し、ＶＣＲ１３５に録画動作を指示する際のリモート制御の流れを示す図である。
図８に示したように、アイコン要素３０３は、位置とサイズの情報のほか、アイコンビットマップ（bitmap）リンク、オーディオビデオ、ダイレクトアクション、次要素、及び自動ダイレクトアクションの各情報が指定されている。

はじめに、フォーカスが視聴／予約ボタン要素３０４にあるとする。リモコン１２０での方向キー３２２の操作は、デジタルテレビ１１０に通知され（４０１）、フォーカスがアイコン要素３０３に移される。次に、リモコン１２０の決定キー３２６による選択決定の操作が行われると、当該操作がデジタルテレビ１１０に通知される（４０２）。ここで、アイコン要素は、オーディオビデオが指定され、選択時にはストリームデータの表示を行うように指定されている。

このため、デジタルテレビ１１０の制御部１１２は、オーディオビデオに指定されたデータに基づいてデジタルチューナ１１０からアイソクロナス・コネクションを確立し（４１１）、ストリームデータ表示の準備を行ってから“User_action”コマンドをデジタルチューナ１００の制御部１０２に対して発行する（４１２）。同時に、デジタルテレビの制御部１１２は、アイコン要素にてダイレクトアクションがオンに指定されているので、ユーザのリモコン操作を直接デバイスに通知するダイレクトアクション動作を開始する。
デジタルチューナ１１０の制御部１０２は、このコマンドを受けて所定のチャネルへストリームデータを送出する。図１２においては、ストリームデータの送出を網部（４１３）で示す。

上記ストリームデータにより、ユーザが選択し、視聴又は録画が可能な番組の予定を示す番組表が表示され、操作パネルの操作要素と同様にユーザの注目点がフォーカスとしてストリームデータ中に表示される。ユーザによるリモコン１２０の方向キー３２２、３２５の操作（４０３、４０４）は、“Direct_action”コマンドによりデジタルチューナ１００の制御部１０２に直接通知され（４１４、４１５）、表示されたストリームデータ上のフォーカスの移動に反映される。ここでは、単にフォーカスの移動だけではなく、フォーカスが表示領域の端部に近づけば表示のスクロールが行われ、あるいはフォーカスされた部分や他の表示部分に動画や静止画による番組の内容などが表示され、ユーザが番組を選択する操作を支援する。

デジタルチューナ制御部１０２は、ユーザによるリモコンの選択決定キー３２６の操作（４０５）により視聴又は録画対象が決定されると、ダイレクト操作状態を終了するために、アイコン要素のダイレクトアクションデータをオフとして表示データをアシンクロナス・シリアルバス・コネクション経由で転送する（４１７）。これを受信したデジタルテレビ１１０の制御部１１２は、アイコン要素のダイレクトアクション動作を終了する。

デジタルテレビ１１０の制御部１１２は、アイコン要素３０３に対するダイレクトアクション動作を終了するとき、アイコン要素３０３に指定されている次要素の内容ＩＤ＝２に従って、フォーカスを視聴／予約ボタン要素３０４に移動する。この後、ユーザによるリモコン１２０の方向キー３２５の操作（４０６、４０７）は、表示要素上のフォーカスの移動として処理され、また選択決定キー３２６の操作（４０８）によってボタン要素の表示変更と“User_action”コマンドによるデジタルチューナ１００へのユーザ操作の通知（４１８）が行われる。本実施形態では、番組表上で選択した番組に対してＶＣＲ１３５への録画動作が予約される。

上述したように、アイコン要素のダイレクト操作状態にあってデジタルチューナ１００の制御部１０２からダイレクトアクションデータをオフとした表示データをアシンクロナス・シリアルバス・コネクション経由で受信した場合、これを受信したデジタルテレビ１１０の制御部１１２は、アイコン要素のダイレクトアクション動作を終了する。しかしながら、アイコン要素が再びユーザの操作により選択された際にダイレクト操作状態となるのは、デジタルチューナ１００の制御部１０２からダイレクトアクションデータをオンとした表示データをアシンクロナス・シリアルバス・コネクション経由で受信した後である。

もし、それまでの間にユーザがアイコン要素にフォーカスを戻して選択決定キー３２６を操作しても、ストリームデータは表示されるがダイレクト操作動作は行われない。このような状況は、ユーザが本来の意図に反して、例えば操作誤りにより番組を選択する操作を行ってしまい、ダイレクト操作状態が終了した直後にその操作誤りに気付いて操作をアイコン要素上の番組表に戻そうとしたときに発生する。ダイレクト操作のオン／オフは、ユーザにとって到底知り得るものではなく、一旦フォーカスを他の操作要素に移し、時間をおいて再度アイコン要素を選択するといった操作は想像できるものではない。そのため、番組表上の操作ができないことは、操作上の混乱を招く。

自動ダイレクトアクションの指定は、上述のような問題を解決するものであり、ダイレクトアクションにオンが指定された要素に対してダイレクトアクションがオフに指定された場合には、次要素が指定されていればフォーカスを指定された要素に移した後、デジタルテレビ１１０の制御部１１２側で自動的にダイレクトアクションの指定がオンに戻されたものとして扱う。すなわち、デジタルチューナ１００側の内部処理の都合やネットワーク１の通信負荷等により、ダイレクトアクションの指定変更に時間を要しても、その間にユーザの操作によるダイレクトアクション動作への移行を妨げることを回避することが可能になる。

本実施形態では、ユーザによる番組表の操作がいつでも可能である状況を前提として説明したが、ユーザに提供されるサービスの内容に応じてダイレクトアクション動作を許さない状況はあり得る。その場合には、自動ダイレクトアクションの指定をオフにして、一旦ダイレクトアクションをオフにした後に自動的にオンにする動作を禁止することが可能である。また、自動ダイレクトアクションの指定そのものをアイコン要素に含めないことも可能であり、この場合には自動ダイレクトアクションがオフに指定された場合と同じ効果を有する。

なお、図１２には図示していないが、本実施形態において視聴／予約が行われた場合には、デジタルチューナ１００の制御部１０２の制御により選択された放送番組の受信が行われ、アイソクロナス・コネクションを通じてデジタルテレビ１１０にて表示される。また、録画動作の予約が行われた場合にも、デジタルチューナ１００の制御部１０２からＶＣＲ１３０又は１３５にネットワーク１を介して制御が行われ、録画が実行される。

以上、詳しく説明したように本実施形態によれば、画像データを含む操作要素の集合によって構成される操作パネルを被制御装置（例えば、デジタルチューナ１００）からネットワーク１を介して制御装置であるデジタルテレビ１１０に提供して表示デバイス１１８にて操作パネルを表示する。そして、表示された操作パネルをリモコン１２０等により操作（選択及び決定等）し、当該操作入力により選択決定された操作要素に応じた制御情報を被制御装置に送信して、被制御装置のリモート制御を行う。さらに、操作パネルに含まれる操作要素に対して、操作要素が選択された際にフォーカス表示を含むストリームデータを表示デバイス１１８に表示し、ユーザによる操作入力に応じた情報を被制御装置に直接送るダイレクトアクション動作モードを指定する情報とともに、通常動作に戻したときにダイレクトアクション動作モードを再び許可する指定を自動的に回復する指定情報を適宜付加することができる。

これにより、被制御装置は、操作要素におけるストリームデータの表示により従来の操作パネルの表示として可能な表現の範囲を超えた表示を行うことが可能となり、またダイレクトアクションによりユーザの操作状態を直接取得してストリームデータの表示内容に反映させることが可能となる。すなわち、通常の操作パネルにおける選択候補の移動、選択決定による操作、及びその反映だけではなく、選択候補の移動を被制御装置が直接検出することで表示のスクロールが行われ、あるいは選択候補の以外の部分や他の表示部分に動画や静止画によって自由な表示が行われ得る。通常動作による表示とストリームデータの表示とを混在させ、両者を自由に切り替えて利用することで、より豊かな表現力が得られるとともに、ユーザに判りやすい表示、使いやすいリモートユーザインタフェースを提供することが可能となる。

また、自動ダイレクトアクション指定により、ダイレクトアクションのオン／オフ指定にさまざまな理由から遅れが生じる可能性があるネットワーク環境にあっても、自由に動作モード指定を行うことが可能となり、混乱のない多様なユーザインタフェースをユーザに提供することが可能となる。

なお、本実施形態では、ストリームデータをアイソクロナス・コネクションにより転送される動画データとして説明したが、アシンクロナス・シリアルバス・コネクションによる静止画データや、動画／静止画を含むアナログ画像情報のデジタルテレビの表示上での合成表示でも同様な効果を得ることができる。さらに、ストリームデータのデータソースは、被制御装置に限るものではなく、本実施形態のオーディオビデオ指定のように表示要素に情報として付加することができ、制御装置で表示が行うに足る指定を行えるものであればよい。
また、ストリームデータの表示をアイコン要素で行う場合を一例として説明したが、ボタン要素のボタン上や、他の表示要素で表示することも可能である。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態における制御システムの構成例を示すブロック図である。 本実施形態における制御システムでのリモート制御の手順の一例を説明するための図である。 Gui_updateコマンドのコマンドフレームを示す図である。 サブファンクション値を示す図である。 Push_gui_dataコマンドのコマンドフレームを示す図である。 Push_gui_dataコマンドにおけるインジケータのデータ構造を示す図である。 レベル値を示す図である。 User_actionコマンドのコマンドフレームを示す図である。 Direct_actionコマンドのコマンドフレームを示す図である。 Direct_actionコマンドにおけるaction_codeと関連付けられる機能を示す図である。 本実施形態における表示データを構成する要素と、各要素に従属する必須データ、選択データを示す図である。 表示データを構成する各要素に対して、ユーザが取り得る操作を示す図である。 要素データのデータ構造を示す図である。 実データのデータ構造を示す図である。 テキスト実データへのリンクデータ構造を示す図である。 ビットマップ実データへのリンクデータ構造を示す図である。 要素へのリンクデータ構造を示す図である。 カラーデータのデータ構造を示す図である。 要素表示位置のデータ構造を示す図である。 要素表示サイズのデータ構造を示す図である。 テキストフォントサイズのデータ構造を示す図である。 選択データ構造を示す図である。 オーディオビデオデータ構造を示す図である。 ダイレクト操作データ構造を示す図である。 次要素データ構造を示す図である。 自動ダイレクト操作データ構造を示す図である。 要素タイプを示す図である。 データタイプを示す図である。 選択データタイプを示す図である。 フォントコードを示す図である。 表示データのデータ構成を示す図である。 表示データのパネル要素のデータ構造を示す図である。 本実施形態における操作パネルの一例を示す図である。 リモコンを示す図である。 本実施形態におけるダイレクトアクション動作の流れを示す図である。 従来の家電機器のネットワークシステムの構成を示す図である。 操作パネルの一例を示す図である。

符号の説明

１ ネットワーク
１００ デジタルチューナ
１０１ １３９４インタフェース
１０２ 制御部
１０３ パネルデータ発生部
１０４ チューナ本体部
１１０ デジタルテレビ
１１１ １３９４インタフェース
１１２ 制御部
１１３ デコーダ
１１４ 表示データメモリ
１１５ 描画制御部
１１６ リモコン制御部
１１７ 画像合成部
１１８ 表示デバイス
１１９ 音声出力部
１２０ リモコン
１３０、１３５ デジタルビデオカメラレコーダ

Claims (17)

1. 表示画像情報を含む操作要素から構成される操作情報を送信するとともに、受信した制御情報に応じて動作する被制御装置と、受信した上記操作情報に基づいて上記操作要素を表示器に表示し、当該操作要素に対するユーザの操作入力に応じた上記制御情報を送信するリモート制御装置とがネットワークを介して接続された制御システムであって、
   上記操作要素は、当該操作要素が選択決定された際に、上記ユーザの操作入力を上記被制御装置に直接通知する直接通知動作を行うか否かを指定する第１の設定情報を有し、
   上記リモート制御装置は、上記第１の設定情報により直接通知動作が指定された上記操作要素が選択決定されたときには、上記ユーザの操作入力を上記制御情報として上記被制御装置に送信することを特徴とする制御システム。
2. 上記操作要素は、当該操作要素が選択決定された際に当該操作要素に表示するストリームデータを指定する第２の設定情報を有し、
   上記リモート制御装置は、上記第２の設定情報によりストリームデータが指定された上記操作要素が選択決定されたときには、当該指定されたストリームデータを操作要素上に表示することを特徴とする請求項１記載の制御システム。
3. 上記ストリームデータは、上記被制御装置から供給されることを特徴とする請求項２記載の制御システム。
4. 上記操作要素は、所定の状態で自動的に上記直接通知動作を行うように指定する第３の設定情報を有し、
   上記リモート制御装置は、上記第３の設定情報により直接通知動作が指定された上記操作要素が上記所定の状態で選択決定されたときには、上記ユーザの操作入力を上記制御情報として上記被制御装置に送信することを特徴とする請求項１〜３の何れか１項に記載の制御システム。
5. 上記所定の状態は、上記第１の設定情報により直接通知動作を行う状態から行わない状態に遷移した後、再び当該操作要素が選択決定されたときであることを特徴とする請求項４記載の制御システム
6. 上記設定情報は、任意に書き換え可能であることを特徴とする請求項１〜５の何れか１項に記載の制御システム。
7. ネットワークと、
   上記ネットワークに接続され、表示画像情報を含む一つ以上の操作要素から構成される操作情報を送信するとともに、受信した制御情報に応じたサービスを提供する被制御装置と、
   上記ネットワークに接続され、上記操作情報を受信し、受信した上記操作情報に基づいて上記操作要素を表示器に表示し、ユーザの操作入力に基づいて上記操作要素の一つを選択決定したことを上記制御情報として送信するリモート制御装置とにより構成される制御システムであって、
   上記操作要素は、当該操作要素が選択決定されたときに上記ユーザの操作入力を制御情報として直接被制御装置に通知する直接通知動作を行うことを指定する情報を有し、
   上記リモート制御装置は、上記直接通知動作を指定された操作要素が選択決定されたときには、上記ユーザの操作入力を直接、上記制御情報として上記被制御装置に送信することを特徴とする制御システム。
8. 上記直接通知動作を指定する情報が、直接通知動作を行わないよう指定する内容に上記被制御装置から上記ネットワークを介して書き換えられたときには、上記リモート制御装置は直接通知動作を終了し、上記ユーザの操作入力により操作要素が選択決定されたことを制御情報として上記被制御装置に送信することを特徴とする請求項７記載の制御システム。
9. 上記操作要素は、上記ユーザの操作入力により選択されたときに表示するストリームデータを指定する情報を有し、
   上記リモート制御装置は、当該操作要素が選択されたときに当該情報により指定されたストリームデータを当該操作要素の一部または全体に表示することを特徴とする請求項７又は８に記載の制御システム。
10. 上記直接通知動作を行うよう指定された情報を有する操作要素は、上記直接通知動作を終了したとき、ユーザの選択候補を移す他の操作要素を指定する情報を有し、
    上記リモート制御装置は、上記直接通知動作を終了したときには当該情報が指定する操作要素にユーザの選択候補を移すことを特徴とする請求項７〜９の何れか１項に記載の制御システム。
11. 上記直接通知動作を行うよう指定された情報を有する操作要素は、上記直接通知動作を終了したとき、上記被制御装置からネットワークを介して上記直接通知動作を行うように当該情報が書きかえられなくとも、自動的に上記直接通知動作を行うように指定されたように動作することを指定する情報を有することを特徴とする請求項７〜１０の何れか１項に記載の制御システム。
12. 制御情報に応じて動作する被制御装置にネットワークを介して接続され、当該ネットワークを介して受信した表示画像情報を含む操作要素から構成される操作情報に基づいて上記操作要素を表示器に表示し、当該操作要素に対するユーザの操作入力に応じた上記制御情報を送信するリモート制御装置であって、
    上記操作要素は、当該操作要素が選択決定された際に、上記ユーザの操作入力を上記被制御装置に直接通知する直接通知動作を行うか否かを指定する第１の設定情報を有し、
    上記第１の設定情報により直接通知動作が指定された上記操作要素が選択決定されたときには、上記制御情報として上記ユーザの操作入力を上記被制御装置に送信することを特徴とするリモート制御装置。
13. ネットワークに接続され、当該ネットワークに接続された被制御装置から表示画像情報を含む操作要素から構成される操作情報を受信し、受信した上記操作情報に基づいて上記操作要素を表示器に表示し、ユーザの操作入力に基づいて前記操作要素の一つを選択決定したことを制御情報として上記被制御装置に送信し、上記被制御装置にて当該制御情報に応じたサービスを提供させるリモート制御装置であって、
    上記操作要素は、当該操作要素が選択決定されたときに上記ユーザの操作入力を制御情報として直接被制御装置に通知する直接通知動作を行うことを指定する情報を有し、
    上記直接通知動作を指定された操作要素が選択決定されたときには、上記ユーザの操作入力を直接、上記制御情報としてネットワークを介して上記被制御装置に送信することを特徴とするリモート制御装置。
14. ネットワークに接続され、表示画像情報を含む操作要素から構成される操作情報を上記ネットワークに接続されたリモート制御装置に送信し、上記リモート制御装置にて受信した上記操作情報に基づいた操作要素を表示器に表示させ、ユーザの操作入力に基づいて上記操作要素の一つを選択決定したことを制御情報として送信させ、受信した制御情報に応じたサービスを提供する被制御装置であって、
    上記操作要素は、当該操作要素が選択決定されたときに上記ユーザの操作入力を制御情報として直接被制御装置に通知する直接通知動作を行うことを指定する情報を有し、
    上記直接通知動作を指定された操作要素が選択決定されたときに、上記リモート制御装置から上記ネットワークを介して直接送信された上記ユーザの操作入力を上記制御情報として受信し、当該制御情報に応じて動作することを特徴とする被制御装置。
15. 表示画像情報を含む操作要素から構成されるとともに、制御情報に応じて動作する被制御装置から送信される操作情報を受信する受信工程と、
    上記受信した上記操作情報に基づいて上記操作要素を表示器に表示する表示工程と、
    当該操作要素に対するユーザの操作入力に応じた上記制御情報を上記被制御装置に送信する送信工程とを有し、
    上記操作要素は、当該操作要素が選択決定された際に、上記ユーザの操作入力を上記被制御装置に直接通知する直接通知動作を行うか否かを指定する第１の設定情報を有し、
    上記第１の設定情報により直接通知動作が指定された上記操作要素が選択決定されたときには、上記送信工程にて、上記ユーザの操作入力を上記制御情報として上記被制御装置に送信することを特徴とする制御方法。
16. 表示画像情報を含む操作要素から構成されるとともに、制御情報に応じて動作する被制御装置から送信される操作情報を受信する受信工程と、
    上記受信した上記操作情報に基づいて上記操作要素を表示器に表示する表示工程と、
    当該操作要素に対するユーザの操作入力に応じた上記制御情報を上記被制御装置に送信する送信工程とを有し、
    上記操作要素は、当該操作要素が選択決定された際に、上記ユーザの操作入力を上記被制御装置に直接通知する直接通知動作を行うか否かを指定する第１の設定情報を有し、
    上記第１の設定情報により直接通知動作が指定された上記操作要素が選択決定されたときには、上記ユーザの操作入力を上記制御情報として上記被制御装置に送信する上記送信工程をコンピュータに実行させるためのプログラム。
17. 請求項１６記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images