JP2001243044A - ユーザインターフェースシステム、シーン記述生成装置及び方法、シーン記述配信方法、サーバ装置、リモート端末装置、伝送媒体並びに記録媒体 - Google Patents
ユーザインターフェースシステム、シーン記述生成装置及び方法、シーン記述配信方法、サーバ装置、リモート端末装置、伝送媒体並びに記録媒体Info
- Publication number
- JP2001243044A JP2001243044A JP2000055055A JP2000055055A JP2001243044A JP 2001243044 A JP2001243044 A JP 2001243044A JP 2000055055 A JP2000055055 A JP 2000055055A JP 2000055055 A JP2000055055 A JP 2000055055A JP 2001243044 A JP2001243044 A JP 2001243044A
- Authority
- JP
- Japan
- Prior art keywords
- scene description
- description information
- server
- remote terminal
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000003993 interaction Effects 0.000 claims description 70
- 230000005540 biological transmission Effects 0.000 claims description 29
- 239000000203 mixture Substances 0.000 claims 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 102100033041 Carbonic anhydrase 13 Human genes 0.000 description 1
- 102100033029 Carbonic anhydrase-related protein 11 Human genes 0.000 description 1
- 101000867860 Homo sapiens Carbonic anhydrase 13 Proteins 0.000 description 1
- 101000867841 Homo sapiens Carbonic anhydrase-related protein 11 Proteins 0.000 description 1
- 101001075218 Homo sapiens Gastrokine-1 Proteins 0.000 description 1
- 101001062854 Rattus norvegicus Fatty acid-binding protein 5 Proteins 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Details Of Television Systems (AREA)
- Digital Computer Display Output (AREA)
Abstract
(57)【要約】
【課題】 リモート端末の操作を容易にする。
【解決手段】 ユーザインタフェースシステムは、入力
されたシーン記述１００を復号するシーン記述復号装置
１０２と機器制御信号１１４を生成する機器制御信号生
成装置１０４とを有するサーバ１０１と、サーバ１０１
から送られたシーン記述１００を復号済シーン１１２に
復号するシーン記述復号装置１０２ｂと復号済シーン１
１２を表示する表示装置１０７とこの表示に応じてユー
ザ入力１０９を受けるユーザ入力装置１０８とを有する
リモート端末１０６と、サーバ１０１からの復号済シー
ン１１２を表示する表示端末１１３と、サーバ１０１か
らの機器制御信号１１４によって制御される被制御機器
１１５とを有する。
されたシーン記述１００を復号するシーン記述復号装置
１０２と機器制御信号１１４を生成する機器制御信号生
成装置１０４とを有するサーバ１０１と、サーバ１０１
から送られたシーン記述１００を復号済シーン１１２に
復号するシーン記述復号装置１０２ｂと復号済シーン１
１２を表示する表示装置１０７とこの表示に応じてユー
ザ入力１０９を受けるユーザ入力装置１０８とを有する
リモート端末１０６と、サーバ１０１からの復号済シー
ン１１２を表示する表示端末１１３と、サーバ１０１か
らの機器制御信号１１４によって制御される被制御機器
１１５とを有する。
Description
【０００１】
【発明の属する技術分野】本発明は、ユーザインタラク
ションを含むシーン記述情報を用いるユーザインターフ
ェースシステム、シーン記述生成装置及び方法、シーン
記述配信方法、サーバ装置、リモート端末装置、伝送媒
体並びに記録媒体に関する。
ションを含むシーン記述情報を用いるユーザインターフ
ェースシステム、シーン記述生成装置及び方法、シーン
記述配信方法、サーバ装置、リモート端末装置、伝送媒
体並びに記録媒体に関する。
【０００２】
【従来の技術】リモート端末によって機器制御を行う際
に、一台のリモート端末によって複数の被制御機器を制
御したりする目的で、サーバからリモート端末へメニュ
ーデータを送信する従来のユーザインターフェースシス
テムを図７に示す。
に、一台のリモート端末によって複数の被制御機器を制
御したりする目的で、サーバからリモート端末へメニュ
ーデータを送信する従来のユーザインターフェースシス
テムを図７に示す。
【０００３】サーバ７０１はメニューデータ記憶装置７
０３に記憶しているメニューデータ７２３を送受信装置
７０５によりリモート端末７０６へ送信する。サーバ７
０１は、例えばTVやホームサーバなどである。リモート
端末７０６は、受信したメニューデータ７２３を表示装
置７０７により表示する。ユーザ入力装置７０８は、ユ
ーザ入力７０９を、例えばどのメニューを選択したかと
いうようなユーザ入力情報７１０へ変換し、送受信装置
７０５ｂを介してサーバ７０１へ送信する。メニューデ
ータ７２３やユーザ入力情報７１０の送受信には一般に
赤外線などが使用される。サーバ７０１中の機器操作信
号生成装置７０４は、ユーザ入力情報７１０をメニュー
に対応した被制御機器７１５のための機器制御信号７１
４に変換し、被制御機器７１５を制御する。
０３に記憶しているメニューデータ７２３を送受信装置
７０５によりリモート端末７０６へ送信する。サーバ７
０１は、例えばTVやホームサーバなどである。リモート
端末７０６は、受信したメニューデータ７２３を表示装
置７０７により表示する。ユーザ入力装置７０８は、ユ
ーザ入力７０９を、例えばどのメニューを選択したかと
いうようなユーザ入力情報７１０へ変換し、送受信装置
７０５ｂを介してサーバ７０１へ送信する。メニューデ
ータ７２３やユーザ入力情報７１０の送受信には一般に
赤外線などが使用される。サーバ７０１中の機器操作信
号生成装置７０４は、ユーザ入力情報７１０をメニュー
に対応した被制御機器７１５のための機器制御信号７１
４に変換し、被制御機器７１５を制御する。
【０００４】このようなユーザインターフェースシステ
ムの例を図８に示す。サーバ８０１は、メニューデータ
８２３をリモート端末８０６へ送信する。図８の例で
は、メニューデータ８２３は、VTRを制御するために停
止と録画メニューから成る。リモート端末８０６は、メ
ニューデータ８２３を表示する。図８の例ではタッチパ
ネルを用いてメニューデータ８２３を表示している。例
えばユーザが録画メニューを選択すると、リモート端末
８０６は録画が選択されたというユーザ入力情報８１０
をサーバ８０１へ送信する。サーバ８０１は被制御機器
８１５で録画するための機器制御信号８１４を生成し、
被制御機器８１５へ送ることにより、図８の例ではVTR
の録画が開始される。
ムの例を図８に示す。サーバ８０１は、メニューデータ
８２３をリモート端末８０６へ送信する。図８の例で
は、メニューデータ８２３は、VTRを制御するために停
止と録画メニューから成る。リモート端末８０６は、メ
ニューデータ８２３を表示する。図８の例ではタッチパ
ネルを用いてメニューデータ８２３を表示している。例
えばユーザが録画メニューを選択すると、リモート端末
８０６は録画が選択されたというユーザ入力情報８１０
をサーバ８０１へ送信する。サーバ８０１は被制御機器
８１５で録画するための機器制御信号８１４を生成し、
被制御機器８１５へ送ることにより、図８の例ではVTR
の録画が開始される。
【０００５】リモート端末８０６用のメニューデータ８
２３は、リモート端末８０６の表示装置に依存したデー
タ形式であるため、異なるリモート端末８０６間では互
換性が無いという問題がある。
２３は、リモート端末８０６の表示装置に依存したデー
タ形式であるため、異なるリモート端末８０６間では互
換性が無いという問題がある。
【０００６】ところで、ディジタルTV放送やDVD、Hyper
Text Markup Language（以下、HTMLという。)等で記述
されたインターネットのホームページ、ISO/IEC14496-1
に規定されたシーン記述方式であるBinary Format for
the Scene（以下、MPEG-4 BIFSという。）、ISO/IEC147
72に規定されたVirtual Reality Modeling Language
（以下、VRMLという。）など、ユーザ入力によるインタ
ラクションを含むことが可能なシーン記述方法で記述さ
れたコンテンツがある。このコンテンツのデータを、以
下、シーン記述と呼ぶ。シーン記述には、そのコンテン
ツ中で使用するオーディオや画像、コンピュータグラフ
ィックなどのデータも含むものとする。
Text Markup Language（以下、HTMLという。)等で記述
されたインターネットのホームページ、ISO/IEC14496-1
に規定されたシーン記述方式であるBinary Format for
the Scene（以下、MPEG-4 BIFSという。）、ISO/IEC147
72に規定されたVirtual Reality Modeling Language
（以下、VRMLという。）など、ユーザ入力によるインタ
ラクションを含むことが可能なシーン記述方法で記述さ
れたコンテンツがある。このコンテンツのデータを、以
下、シーン記述と呼ぶ。シーン記述には、そのコンテン
ツ中で使用するオーディオや画像、コンピュータグラフ
ィックなどのデータも含むものとする。
【０００７】インタラクションを含むシーン記述の例を
図９に示す。図９の例では、「球」「矩形」「三角」を
選択するためのボタンが予め入力シーン記述９００中に
含まれている。サーバ９０１により復号された復号済シ
ーン９１２は、表示端末９１３に表示される。ユーザの
入力を補助する目的で、サーバ９０１はユーザ選択位置
表示９２４を表示端末９１３に表示させることが一般的
である。ユーザは、表示端末９１３に表示される復号済
シーン９１２およびユーザ選択位置表示９２４を見なが
らリモート端末９０６を操作する。リモート端末９０６
とは、キーボードやマウスなどである。ユーザ入力情報
９１０は、リモート端末９０６からサーバ９０１へ送信
される。ユーザ入力とは、例えばユーザ選択位置の移動
量などである。サーバ９０１は、ユーザ入力に基づいて
シーン記述入力９００を復号する。図９の例では、例え
ばユーザが「矩形」ボタンを選択したならば矩形が表示
される。
図９に示す。図９の例では、「球」「矩形」「三角」を
選択するためのボタンが予め入力シーン記述９００中に
含まれている。サーバ９０１により復号された復号済シ
ーン９１２は、表示端末９１３に表示される。ユーザの
入力を補助する目的で、サーバ９０１はユーザ選択位置
表示９２４を表示端末９１３に表示させることが一般的
である。ユーザは、表示端末９１３に表示される復号済
シーン９１２およびユーザ選択位置表示９２４を見なが
らリモート端末９０６を操作する。リモート端末９０６
とは、キーボードやマウスなどである。ユーザ入力情報
９１０は、リモート端末９０６からサーバ９０１へ送信
される。ユーザ入力とは、例えばユーザ選択位置の移動
量などである。サーバ９０１は、ユーザ入力に基づいて
シーン記述入力９００を復号する。図９の例では、例え
ばユーザが「矩形」ボタンを選択したならば矩形が表示
される。
【０００８】図９の例のようなユーザ入力によるインタ
ラクションを含むシーン記述からなるコンテンツを視聴
する際の復号およびユーザインタラクションシステムを
図１０に示す。
ラクションを含むシーン記述からなるコンテンツを視聴
する際の復号およびユーザインタラクションシステムを
図１０に示す。
【０００９】リモート端末Ａ０６はユーザ入力Ａ０９を
受け付け、例えばユーザ選択位置の変化といったユーザ
入力情報Ａ１０を送信装置Ａ０５ｂを介してサーバＡ０
１へ送信する。サーバＡ００のシーン記述復号装置Ａ０
２は、受信したユーザ入力情報Ａ１０に基づいてシーン
記述入力Ａ００を復号する。復号された復号済シーンＡ
１２は、表示端末Ａ１３に表示される。
受け付け、例えばユーザ選択位置の変化といったユーザ
入力情報Ａ１０を送信装置Ａ０５ｂを介してサーバＡ０
１へ送信する。サーバＡ００のシーン記述復号装置Ａ０
２は、受信したユーザ入力情報Ａ１０に基づいてシーン
記述入力Ａ００を復号する。復号された復号済シーンＡ
１２は、表示端末Ａ１３に表示される。
【００１０】図９，図１０に示したように、ユーザ入力
によるインタラクションを含むシーンからなるコンテン
ツを視聴する場合には、ユーザは表示端末を見ながらリ
モート端末を操作しなければならない。キーボードのよ
うなリモート端末を使用する場合には特に、表示端末を
見ながらリモート端末を操作するにはスキルが必要であ
り、多くの場合、表示端末とリモート端末を交互に確認
しながら入力することが必要になってしまう。さらに、
この視線の移動は、ユーザの入力誤りを招きやすい。
によるインタラクションを含むシーンからなるコンテン
ツを視聴する場合には、ユーザは表示端末を見ながらリ
モート端末を操作しなければならない。キーボードのよ
うなリモート端末を使用する場合には特に、表示端末を
見ながらリモート端末を操作するにはスキルが必要であ
り、多くの場合、表示端末とリモート端末を交互に確認
しながら入力することが必要になってしまう。さらに、
この視線の移動は、ユーザの入力誤りを招きやすい。
【００１１】図７，図８に示した被制御機器を制御する
ためのユーザインターフェースと、図９，図１０に示し
たシーン記述自体に含まれるインタラクションのための
ユーザインターフェースは別個に扱われている。
ためのユーザインターフェースと、図９，図１０に示し
たシーン記述自体に含まれるインタラクションのための
ユーザインターフェースは別個に扱われている。
【００１２】
【発明が解決しようとする課題】従来の技術で述べたよ
うに、リモート端末によって機器制御を行う際、サーバ
からリモート端末へメニューデータを送信するユーザイ
ンターフェースシステムでは、リモート端末用のメニュ
ーデータは、リモート端末の表示装置に依存したデータ
形式である。従って、異なるリモート端末間ではメニュ
ーデータの互換性が無いという問題がある。
うに、リモート端末によって機器制御を行う際、サーバ
からリモート端末へメニューデータを送信するユーザイ
ンターフェースシステムでは、リモート端末用のメニュ
ーデータは、リモート端末の表示装置に依存したデータ
形式である。従って、異なるリモート端末間ではメニュ
ーデータの互換性が無いという問題がある。
【００１３】また、メニューデータはサーバもしくはリ
モート端末を製造する際にサーバもしくはリモート端末
中に記憶させるため、被制御機器の変更や追加が困難で
あった。メニューデータを更新するためには、リモート
端末の表示装置に依存したデータ形式であるメニューデ
ータを専用の生成装置で生成する必要があり、専用のデ
ータ形式を扱える記録メディアもしくは伝送媒体を介し
てサーバもしくはリモート端末へ入力する必要があっ
た。
モート端末を製造する際にサーバもしくはリモート端末
中に記憶させるため、被制御機器の変更や追加が困難で
あった。メニューデータを更新するためには、リモート
端末の表示装置に依存したデータ形式であるメニューデ
ータを専用の生成装置で生成する必要があり、専用のデ
ータ形式を扱える記録メディアもしくは伝送媒体を介し
てサーバもしくはリモート端末へ入力する必要があっ
た。
【００１４】また、従来の技術で述べたように、ディジ
タルTV放送やDVD、インターネットのホームページ、MPE
G-4 BIFS、VRMLなど、ユーザ入力によるインタラクショ
ンを含むシーンからなるコンテンツを視聴する場合に
は、ユーザは表示端末の表示装置を見ながらリモート端
末を操作しなければならない。キーボードのようなリモ
ート端末を使用する場合には特に、表示端末を見ながら
リモート端末を操作するにはスキルが必要であり、多く
の場合、表示端末とリモート端末を交互に確認しながら
入力することが必要になってしまう。さらに、この視線
の移動は、ユーザの入力誤りを招きやすいという問題点
があった。ユーザ入力を、特別な訓練を必要とせずに誰
にでも簡単に行えるようにすることが強く望まれている
が、従来技術では実現できなかった。
タルTV放送やDVD、インターネットのホームページ、MPE
G-4 BIFS、VRMLなど、ユーザ入力によるインタラクショ
ンを含むシーンからなるコンテンツを視聴する場合に
は、ユーザは表示端末の表示装置を見ながらリモート端
末を操作しなければならない。キーボードのようなリモ
ート端末を使用する場合には特に、表示端末を見ながら
リモート端末を操作するにはスキルが必要であり、多く
の場合、表示端末とリモート端末を交互に確認しながら
入力することが必要になってしまう。さらに、この視線
の移動は、ユーザの入力誤りを招きやすいという問題点
があった。ユーザ入力を、特別な訓練を必要とせずに誰
にでも簡単に行えるようにすることが強く望まれている
が、従来技術では実現できなかった。
【００１５】被制御機器を制御するためのユーザインタ
ーフェースと、シーン記述自体位に含まれるインタラク
ションのためのユーザインターフェースは別個に扱われ
ているため、各々に別個のリモート端末を用いる必要が
あった。
ーフェースと、シーン記述自体位に含まれるインタラク
ションのためのユーザインターフェースは別個に扱われ
ているため、各々に別個のリモート端末を用いる必要が
あった。
【００１６】そこで本発明は、以上の問題を解決し、ユ
ーザ入力によるインタラクションを含むシーンに対し
て、リモート端末のみを見ながらユーザ入力を可能とす
る上、機器制御のためのユーザインターフェースとシー
ン記述自体に含まれるインタラクションのためのユーザ
インターフェースとを統合して扱うことを可能とするよ
うなユーザインターフェースシステム、シーン記述生成
装置及び方法、シーン記述配信方法、サーバ装置、リモ
ート端末装置、伝送媒体並びに記録媒体を提供すること
を目的とする。
ーザ入力によるインタラクションを含むシーンに対し
て、リモート端末のみを見ながらユーザ入力を可能とす
る上、機器制御のためのユーザインターフェースとシー
ン記述自体に含まれるインタラクションのためのユーザ
インターフェースとを統合して扱うことを可能とするよ
うなユーザインターフェースシステム、シーン記述生成
装置及び方法、シーン記述配信方法、サーバ装置、リモ
ート端末装置、伝送媒体並びに記録媒体を提供すること
を目的とする。
【００１７】
【問題を解決するための手段】上述の課題を解決するた
めに、本発明に係るユーザインタフェースシステムは、
ユーザインストラクションを含むシーン記述情報を用い
るユーザインタフェースシステムにおいて、サーバと、
シーン記述情報を復号する復号手段と、シーンを表示す
る表示手段と、ユーザ入力情報が入力される入力手段と
を有するリモート端末とを有し、上記サーバは上記リモ
ート端末にシーン記述情報を送り、上記リモート端末は
上記サーバから送られたシーン記述情報をその復号手段
で復号してその表示手段に表示し、この表示に応じてそ
の入力手段に入力されたユーザ入力情報を上記サーバに
送るものである。
めに、本発明に係るユーザインタフェースシステムは、
ユーザインストラクションを含むシーン記述情報を用い
るユーザインタフェースシステムにおいて、サーバと、
シーン記述情報を復号する復号手段と、シーンを表示す
る表示手段と、ユーザ入力情報が入力される入力手段と
を有するリモート端末とを有し、上記サーバは上記リモ
ート端末にシーン記述情報を送り、上記リモート端末は
上記サーバから送られたシーン記述情報をその復号手段
で復号してその表示手段に表示し、この表示に応じてそ
の入力手段に入力されたユーザ入力情報を上記サーバに
送るものである。
【００１８】本発明に係るシーン記述生成装置は、ユー
ザインタラクションを含むシーン記述情報を生成するシ
ーン記述生成装置であって、外部の被制御装置を制御す
る制御用のシーン記述情報をコンテンツと同じシーン記
述方法で生成する生成手段を有するものである。
ザインタラクションを含むシーン記述情報を生成するシ
ーン記述生成装置であって、外部の被制御装置を制御す
る制御用のシーン記述情報をコンテンツと同じシーン記
述方法で生成する生成手段を有するものである。
【００１９】本発明に係るシーン記述生成方法は、ユー
ザインタラクションを含むシーン記述情報を生成するシ
ーン記述生成方法であって、外部の被制御装置を制御す
る制御用のシーン記述情報をコンテンツと同じシーン記
述方法で生成する生成工程を有するものである。
ザインタラクションを含むシーン記述情報を生成するシ
ーン記述生成方法であって、外部の被制御装置を制御す
る制御用のシーン記述情報をコンテンツと同じシーン記
述方法で生成する生成工程を有するものである。
【００２０】本発明に係るシーン記述配信方法は、ユー
ザインタラクションを含むシーン記述情報を用い、サー
バとリモート端末とから構成されるシステムに対してシ
ーン記述情報を配信するシーン記述配信方法において、
コンテンツと同じシーン記述方法で生成した機器制御メ
ニューのシーン記述情報を配信し、このシーン記述情報
で上記サーバ又は上記リモート端末に記憶されたシーン
記述情報を更新するものである。
ザインタラクションを含むシーン記述情報を用い、サー
バとリモート端末とから構成されるシステムに対してシ
ーン記述情報を配信するシーン記述配信方法において、
コンテンツと同じシーン記述方法で生成した機器制御メ
ニューのシーン記述情報を配信し、このシーン記述情報
で上記サーバ又は上記リモート端末に記憶されたシーン
記述情報を更新するものである。
【００２１】本発明に係るサーバ装置は、ユーザインタ
ラクションを含むシーン記述情報を用い、リモート端末
と共にユーザインタフェースを構成するサーバ装置にお
いて、上記リモート端末にシーン記述情報を送り、上記
リモート端末において復号されて表示されたこのシーン
記述情報に応じて入力されたユーザ入力情報を受け取る
ものである。
ラクションを含むシーン記述情報を用い、リモート端末
と共にユーザインタフェースを構成するサーバ装置にお
いて、上記リモート端末にシーン記述情報を送り、上記
リモート端末において復号されて表示されたこのシーン
記述情報に応じて入力されたユーザ入力情報を受け取る
ものである。
【００２２】本発明に係るリモート端末装置は、ユーザ
インタラクションを含むシーン記述情報を用い、サーバ
と共にユーザインタフェースを構成するリモート端末装
置において、シーン記述情報を復号する復号手段と、シ
ーンを表示する表示手段と、ユーザ入力情報が入力され
る入力手段とを有し、上記サーバから送られたシーン記
述情報を復号して上記表示手段に表示し、この表示に応
じて上記入力手段に入力されたユーザ入力情報を上記サ
ーバに送るものである。
インタラクションを含むシーン記述情報を用い、サーバ
と共にユーザインタフェースを構成するリモート端末装
置において、シーン記述情報を復号する復号手段と、シ
ーンを表示する表示手段と、ユーザ入力情報が入力され
る入力手段とを有し、上記サーバから送られたシーン記
述情報を復号して上記表示手段に表示し、この表示に応
じて上記入力手段に入力されたユーザ入力情報を上記サ
ーバに送るものである。
【００２３】本発明に係る伝送媒体は、ユーザインタラ
クションを含むシーン記述情報を伝送する伝送媒体にお
いて、コンテンツと同じシーン記述方法で機器制御用の
メニューを記述するシーン記述情報を伝送するものであ
る。
クションを含むシーン記述情報を伝送する伝送媒体にお
いて、コンテンツと同じシーン記述方法で機器制御用の
メニューを記述するシーン記述情報を伝送するものであ
る。
【００２４】本発明に係る記録媒体は、ユーザインタラ
クションを含むシーン記述情報を記録する記録媒体にお
いて、コンテンツと同じシーン記述方法で機器制御用の
メニューを記述するシーン記述情報を記録するものであ
る。
クションを含むシーン記述情報を記録する記録媒体にお
いて、コンテンツと同じシーン記述方法で機器制御用の
メニューを記述するシーン記述情報を記録するものであ
る。
【００２５】すなわち、本発明は、リモート端末がサー
バと同じシーン記述を復号可能なシーン記述復号装置お
よび表示装置を具備し、リモート端末にもシーン記述を
送信して表示し、リモート端末上で入力したユーザ入力
をサーバへ送信することを特徴とするユーザインターフ
ェースシステムである。
バと同じシーン記述を復号可能なシーン記述復号装置お
よび表示装置を具備し、リモート端末にもシーン記述を
送信して表示し、リモート端末上で入力したユーザ入力
をサーバへ送信することを特徴とするユーザインターフ
ェースシステムである。
【００２６】リモート端末がシーン記述入力を復号し表
示することにより、 ユーザ入力によるインタラクショ
ンを含むシーンに対して、リモート端末のみを見ながら
ユーザ入力することが可能となる。
示することにより、 ユーザ入力によるインタラクショ
ンを含むシーンに対して、リモート端末のみを見ながら
ユーザ入力することが可能となる。
【００２７】また、機器制御用のメニューデータにも、
同一のシーン記述復号装置で復号可能なシーン記述を使
用することにより、機器制御のためのユーザインターフ
ェースとシーン記述自体に含まれるインタラクションの
ためのユーザインターフェースとを統合して扱うことが
可能となる。さらに、インタラクションを含むコンテン
ツと機器制御用のメニューを表すシーン記述を同一のシ
ーン記述生成装置により生成可能となり、同一の記録媒
体へ記録、同一の伝送媒体で伝送することが可能とな
り、機器制御用メニューの更新を、インタラクションを
含むコンテンツのシーン記述のための記録媒体もしくは
伝送媒体を用いて行うことが可能となる。
同一のシーン記述復号装置で復号可能なシーン記述を使
用することにより、機器制御のためのユーザインターフ
ェースとシーン記述自体に含まれるインタラクションの
ためのユーザインターフェースとを統合して扱うことが
可能となる。さらに、インタラクションを含むコンテン
ツと機器制御用のメニューを表すシーン記述を同一のシ
ーン記述生成装置により生成可能となり、同一の記録媒
体へ記録、同一の伝送媒体で伝送することが可能とな
り、機器制御用メニューの更新を、インタラクションを
含むコンテンツのシーン記述のための記録媒体もしくは
伝送媒体を用いて行うことが可能となる。
【００２８】
【発明の実施の形態】まず、本発明の第１の実施の形態
としてユーザインタフェースシステムについて、図１、
図２を用いて説明する。
としてユーザインタフェースシステムについて、図１、
図２を用いて説明する。
【００２９】図１に示すユーザインタフェースシステム
は、シーン記述情報であるシーン記述１００を入力され
るサーバ１０１と、サーバ１０１から送られたシーン記
述１００を表示してこの表示に応じてユーザ入力１０９
を受けるリモート端末１０６と、サーバ１０１から送ら
れた復号済シーン１１２を表示する表示端末１１３と、
サーバ１０１から送られた機器制御信号１１４によって
制御される被制御機器１１５とを有している。
は、シーン記述情報であるシーン記述１００を入力され
るサーバ１０１と、サーバ１０１から送られたシーン記
述１００を表示してこの表示に応じてユーザ入力１０９
を受けるリモート端末１０６と、サーバ１０１から送ら
れた復号済シーン１１２を表示する表示端末１１３と、
サーバ１０１から送られた機器制御信号１１４によって
制御される被制御機器１１５とを有している。
【００３０】サーバ１０１は、入力されたシーン記述１
００やユーザ入力情報１１０に基づいて復号済シーン１
１２を復号すると共に機器制御情報１１１を生成するシ
ーン記述復号装置１０２と、入力されたシーン記述１０
０を記憶するシーン記述記憶装置１０３と、ユーザ入力
情報１１０やシーン記述復号装置１０２からの機器制御
情報１１１に基づいて機器制御信号１１４を生成する機
器操作信号生成装置１０４と、入力されたりシーン記述
記憶装置１０３に記憶されたシーン記述１００をリモー
ト端末１０６に送ると共にリモート端末１０６からユー
ザ入力情報１１０や機器制御情報１１１を受けてシーン
記述復号装置１０２や機器操作信号生成装置１０４にユ
ーザ入力情報１１０を機器操作信号生成装置１０４に機
器制御情報１１１を送る送受信装置１０５とを有してい
る。
００やユーザ入力情報１１０に基づいて復号済シーン１
１２を復号すると共に機器制御情報１１１を生成するシ
ーン記述復号装置１０２と、入力されたシーン記述１０
０を記憶するシーン記述記憶装置１０３と、ユーザ入力
情報１１０やシーン記述復号装置１０２からの機器制御
情報１１１に基づいて機器制御信号１１４を生成する機
器操作信号生成装置１０４と、入力されたりシーン記述
記憶装置１０３に記憶されたシーン記述１００をリモー
ト端末１０６に送ると共にリモート端末１０６からユー
ザ入力情報１１０や機器制御情報１１１を受けてシーン
記述復号装置１０２や機器操作信号生成装置１０４にユ
ーザ入力情報１１０を機器操作信号生成装置１０４に機
器制御情報１１１を送る送受信装置１０５とを有してい
る。
【００３１】リモート端末１０６は、復号済シーン１１
２を表示する表示端末１０７と、この表示に応じたユー
ザ入力１０９を受けるユーザ入力装置１０８と、ユーザ
入力装置１０８からのユーザ入力情報１１０に基づいて
シーン記述１００を復号済シーン１１２に復号すると共
に機器制御情報１１１を生成するシーン記述復号装置１
０２ｂと、シーン記述１００を記憶してシーン記述復号
装置１０２ｂに送るシーン記述記憶装置１０３ｂと、サ
ーバ１０１から送られたシーン記述１００を受けてシー
ン記述復号装置１０２ｂやシーン記述記憶装置１０３ｂ
に送ると共にシーン記述復号装置１０２ｂからの機器制
御情報１１１やユーザ入力装置１０８からのユーザ入力
情報１１０を受けてサーバ１０１に送る送受信装置１０
５ｂとを有している。
２を表示する表示端末１０７と、この表示に応じたユー
ザ入力１０９を受けるユーザ入力装置１０８と、ユーザ
入力装置１０８からのユーザ入力情報１１０に基づいて
シーン記述１００を復号済シーン１１２に復号すると共
に機器制御情報１１１を生成するシーン記述復号装置１
０２ｂと、シーン記述１００を記憶してシーン記述復号
装置１０２ｂに送るシーン記述記憶装置１０３ｂと、サ
ーバ１０１から送られたシーン記述１００を受けてシー
ン記述復号装置１０２ｂやシーン記述記憶装置１０３ｂ
に送ると共にシーン記述復号装置１０２ｂからの機器制
御情報１１１やユーザ入力装置１０８からのユーザ入力
情報１１０を受けてサーバ１０１に送る送受信装置１０
５ｂとを有している。
【００３２】第１の実施の形態におけるサーバ１０１
は、ディジタルTV放送の受信端末やDVDプレーヤ、パー
ソナルコンピュータ、ホームサーバなどである。サーバ
１０１中のシーン記述復号装置１０２は、DVDのコンテ
ンツやHTMLのようにインタラクションを含むシーン記述
入力１００を復号済シーン１１２へ復号し、表示端末１
１３へ表示する。表示端末１１３は、TVやパーソナルコ
ンピュータのモニタなどであり、サーバ１０１と一体で
あっても構わない。
は、ディジタルTV放送の受信端末やDVDプレーヤ、パー
ソナルコンピュータ、ホームサーバなどである。サーバ
１０１中のシーン記述復号装置１０２は、DVDのコンテ
ンツやHTMLのようにインタラクションを含むシーン記述
入力１００を復号済シーン１１２へ復号し、表示端末１
１３へ表示する。表示端末１１３は、TVやパーソナルコ
ンピュータのモニタなどであり、サーバ１０１と一体で
あっても構わない。
【００３３】第１の実施の形態におけるサーバ１００
は、シーン記述記憶装置１０３を備えており、機器制御
用のメニューデータは、シーン記述記憶装置１０３に記
憶されている。ここで、機器制御用のメニューデータ
は、インタラクションを含むコンテンツと同様の、シー
ン記述復号装置によって復号可能なシーン記述データで
あることが特徴である。機器制御用のメニューデータ用
のシーン記述は、サーバ１０１から送受信装置１０５を
介してリモート端末へ送信される。本発明のリモート端
末１０６は、インタラクションを含むコンテンツを復号
するのと同様のシーン記述復号装置１０２ｂを備えるこ
とを特徴とする。
は、シーン記述記憶装置１０３を備えており、機器制御
用のメニューデータは、シーン記述記憶装置１０３に記
憶されている。ここで、機器制御用のメニューデータ
は、インタラクションを含むコンテンツと同様の、シー
ン記述復号装置によって復号可能なシーン記述データで
あることが特徴である。機器制御用のメニューデータ用
のシーン記述は、サーバ１０１から送受信装置１０５を
介してリモート端末へ送信される。本発明のリモート端
末１０６は、インタラクションを含むコンテンツを復号
するのと同様のシーン記述復号装置１０２ｂを備えるこ
とを特徴とする。
【００３４】機器制御を行う場合、リモート端末１０６
のシーン記述復号装置１０２ｂは、サーバ１０１から送
信された、もしくはリモート端末１０６中に備えたシー
ン記述記憶装置１０３ｂから読み出した機器制御のため
のメニューデータを表すシーン記述入力を復号し、表示
装置１０７により表示する。ユーザは、シーン記述を復
号することによって得られた機器制御のためのメニュー
画面を見ながら機器制御のための入力を行う。ユーザ入
力装置１０８は、ユーザ入力１０９をユーザ入力情報１
１０としてシーン記述復号装置１０２ｂへ送る。ユーザ
入力情報１１０とは、ユーザの選択位置などの情報であ
る。シーン記述復号装置１０２ｂは、ユーザ入力情報１
１０に基づいてシーン記述入力を復号することにより、
ユーザの選択に応じたメニューの表示を行うことが可能
となる。一方、リモート端末１０６はユーザ入力情報１
１０を送受信装置１０５ｂを介してサーバ１０１へ送信
する。サーバ１０１は、機器操作信号生成装置１０４に
より、ユーザ入力情報１１０を機器制御信号１１４に変
換し、図示していない送信装置により被制御機器１１５
へ送信する。ユーザ入力情報１１０に応じた機器制御情
報１１１の対応関係がシーン記述中に記述されている場
合には、ユーザ入力情報１１０はシーン記述復号装置１
０２もしくは１０２ｂにより機器制御情報１１１へマッ
ピングされてから機器制御信号生成装置１０４へ送られ
る。被制御機器１１５がサーバ１０１自体である場合も
ある。
のシーン記述復号装置１０２ｂは、サーバ１０１から送
信された、もしくはリモート端末１０６中に備えたシー
ン記述記憶装置１０３ｂから読み出した機器制御のため
のメニューデータを表すシーン記述入力を復号し、表示
装置１０７により表示する。ユーザは、シーン記述を復
号することによって得られた機器制御のためのメニュー
画面を見ながら機器制御のための入力を行う。ユーザ入
力装置１０８は、ユーザ入力１０９をユーザ入力情報１
１０としてシーン記述復号装置１０２ｂへ送る。ユーザ
入力情報１１０とは、ユーザの選択位置などの情報であ
る。シーン記述復号装置１０２ｂは、ユーザ入力情報１
１０に基づいてシーン記述入力を復号することにより、
ユーザの選択に応じたメニューの表示を行うことが可能
となる。一方、リモート端末１０６はユーザ入力情報１
１０を送受信装置１０５ｂを介してサーバ１０１へ送信
する。サーバ１０１は、機器操作信号生成装置１０４に
より、ユーザ入力情報１１０を機器制御信号１１４に変
換し、図示していない送信装置により被制御機器１１５
へ送信する。ユーザ入力情報１１０に応じた機器制御情
報１１１の対応関係がシーン記述中に記述されている場
合には、ユーザ入力情報１１０はシーン記述復号装置１
０２もしくは１０２ｂにより機器制御情報１１１へマッ
ピングされてから機器制御信号生成装置１０４へ送られ
る。被制御機器１１５がサーバ１０１自体である場合も
ある。
【００３５】ディジタルTV放送やDVD、インターネット
のホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入力
によるインタラクションを含むシーンからなるコンテン
ツを視聴する場合には、サーバ１０１へ入力されたシー
ン記述１００はシーン記述復号装置１０２で復号され、
表示されると同時に、送受信装置１０５を介してリモー
ト端末１０６へ送信される。本実施の形態のリモート端
末１０６は、インタラクションを含むコンテンツを復号
するのと同様のシーン記述復号装置１０２ｂを備えてい
るため、シーン記述入力１０１をリモート端末中の表示
装置１０７によって表示することが可能となる。従っ
て、ユーザは表示端末１１３を見ること無く、リモート
端末１０６のみを見ながらユーザ入力を行うことが可能
となり、表示端末１１３とリモート端末１０６を交互に
確認しながら入力することが必要になってしまうという
従来技術の問題点を解決することが可能となっている。
のホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入力
によるインタラクションを含むシーンからなるコンテン
ツを視聴する場合には、サーバ１０１へ入力されたシー
ン記述１００はシーン記述復号装置１０２で復号され、
表示されると同時に、送受信装置１０５を介してリモー
ト端末１０６へ送信される。本実施の形態のリモート端
末１０６は、インタラクションを含むコンテンツを復号
するのと同様のシーン記述復号装置１０２ｂを備えてい
るため、シーン記述入力１０１をリモート端末中の表示
装置１０７によって表示することが可能となる。従っ
て、ユーザは表示端末１１３を見ること無く、リモート
端末１０６のみを見ながらユーザ入力を行うことが可能
となり、表示端末１１３とリモート端末１０６を交互に
確認しながら入力することが必要になってしまうという
従来技術の問題点を解決することが可能となっている。
【００３６】また、シーン記述記憶装置１０３、１０３
ｂに記憶する機器制御用のメニューデータを表すシーン
記述１００は、インタラクションを含むコンテンツのシ
ーン記述のための記録媒体もしくは伝送媒体によって入
力され、シーン記述記憶装置１０３、１０３ｂによって
更新することが可能である。これは、機器制御用のメニ
ューデータが、インタラクションを含むコンテンツと同
様のシーン記述復号装置によって復号可能なシーン記述
データである、という本発明の特徴によって可能となっ
ている。
ｂに記憶する機器制御用のメニューデータを表すシーン
記述１００は、インタラクションを含むコンテンツのシ
ーン記述のための記録媒体もしくは伝送媒体によって入
力され、シーン記述記憶装置１０３、１０３ｂによって
更新することが可能である。これは、機器制御用のメニ
ューデータが、インタラクションを含むコンテンツと同
様のシーン記述復号装置によって復号可能なシーン記述
データである、という本発明の特徴によって可能となっ
ている。
【００３７】図２は、第１の実施の形態によりコンテン
ツ自体に含まれるインタラクションと、機器制御のため
のメニュー画面を統一的に扱うことが可能になったユー
ザインタフェースシステムの例を示している。機器制御
のためにリモート端末に表示されるメニューは図８と共
通であり、サーバ２０１へ入力されるシーン記述は、図
９と共通の例を示している。本実施の形態のリモート端
末２０６へは、サーバ２０１からインタラクションを含
んでいるシーン記述入力と、機器制御のメニューのため
のシーン記述入力が送信される。リモート端末ではそれ
らのシーン記述を復号し、表示する。従って、リモート
端末にはインタラクションを含むコンテンツ自体の復号
済シーンと機器制御用メニューの双方が表示可能とな
り、ユーザは双方を区別無く、単一のリモート端末で操
作することが可能となっている。
ツ自体に含まれるインタラクションと、機器制御のため
のメニュー画面を統一的に扱うことが可能になったユー
ザインタフェースシステムの例を示している。機器制御
のためにリモート端末に表示されるメニューは図８と共
通であり、サーバ２０１へ入力されるシーン記述は、図
９と共通の例を示している。本実施の形態のリモート端
末２０６へは、サーバ２０１からインタラクションを含
んでいるシーン記述入力と、機器制御のメニューのため
のシーン記述入力が送信される。リモート端末ではそれ
らのシーン記述を復号し、表示する。従って、リモート
端末にはインタラクションを含むコンテンツ自体の復号
済シーンと機器制御用メニューの双方が表示可能とな
り、ユーザは双方を区別無く、単一のリモート端末で操
作することが可能となっている。
【００３８】図２では、インタラクションを含むコンテ
ンツ自体の復号済シーンと機器制御用メニューの双方を
同時にリモート端末において表示しているが、どちらか
一方を選択して表示させても良い。
ンツ自体の復号済シーンと機器制御用メニューの双方を
同時にリモート端末において表示しているが、どちらか
一方を選択して表示させても良い。
【００３９】図８の例と同様に、ユーザがリモート端末
２０６上で例えば録画メニューを選択すると、録画を選
択した旨のユーザ入力情報２１０がサーバ２０１へ送信
され、サーバはユーザ入力情報２１０を機器制御信号２
１４に変換し、被制御機器２１５（図２の例ではVTR)へ
送信することで録画が開始される。
２０６上で例えば録画メニューを選択すると、録画を選
択した旨のユーザ入力情報２１０がサーバ２０１へ送信
され、サーバはユーザ入力情報２１０を機器制御信号２
１４に変換し、被制御機器２１５（図２の例ではVTR)へ
送信することで録画が開始される。
【００４０】一方で図９と同様に、ユーザがリモート端
末２０６上で、例えばシーン記述入力に予め含まれてい
た「矩形」選択ボタンを選択したならば、その旨のユー
ザ入力情報２１０がサーバ２０１へ送信され、サーバ２
０１はユーザ入力情報に基づいてシーン記述入力２００
を復号することにより、矩形物体を表示する復号済シー
ン２１２が表示端末２１３において表示される。
末２０６上で、例えばシーン記述入力に予め含まれてい
た「矩形」選択ボタンを選択したならば、その旨のユー
ザ入力情報２１０がサーバ２０１へ送信され、サーバ２
０１はユーザ入力情報に基づいてシーン記述入力２００
を復号することにより、矩形物体を表示する復号済シー
ン２１２が表示端末２１３において表示される。
【００４１】ユーザは表示端末２１３を見ること無く、
リモート端末２０６のみを見ながらユーザ入力を行うこ
とが可能となり、かつ、シーン記述入力に含まれている
インタラクションと機器制御のためのメニューとを区別
無く、共通のリモート端末で操作することが可能とな
る。
リモート端末２０６のみを見ながらユーザ入力を行うこ
とが可能となり、かつ、シーン記述入力に含まれている
インタラクションと機器制御のためのメニューとを区別
無く、共通のリモート端末で操作することが可能とな
る。
【００４２】本発明の第２の実施の形態としてユーザイ
ンタフェースシステムについて、図３を用いて説明す
る。
ンタフェースシステムについて、図３を用いて説明す
る。
【００４３】このユーザインタフェースシステムは、シ
ーン記述情報であるシーン記述３００を入力されるサー
バ３０１と、サーバ３０１から送られたシーン記述３０
０を表示してこの表示に応じてユーザ入力３０９を受け
るリモート端末１０６と、サーバ３０１から送られた復
号済シーン３１２を表示する表示端末３１３と、リモー
ト端末３０６から送られた機器制御信号３１４によって
制御される被制御機器３１５とを有している。
ーン記述情報であるシーン記述３００を入力されるサー
バ３０１と、サーバ３０１から送られたシーン記述３０
０を表示してこの表示に応じてユーザ入力３０９を受け
るリモート端末１０６と、サーバ３０１から送られた復
号済シーン３１２を表示する表示端末３１３と、リモー
ト端末３０６から送られた機器制御信号３１４によって
制御される被制御機器３１５とを有している。
【００４４】サーバ３０１は、入力されたシーン記述３
００やユーザ入力情報３１０に基づいて復号済シーン３
１２を復号するシーン記述復号装置３０２と、入力され
たシーン記述３００を記憶するシーン記述記憶装置３０
３と、入力されたりシーン記述記憶装置３０３に記憶さ
れたシーン記述３００をリモート端末３０６に送ると共
にリモート端末３０６からユーザ入力情報３１０を受け
てシーン記述復号装置３０２に送る送受信装置３０５と
を有している。
００やユーザ入力情報３１０に基づいて復号済シーン３
１２を復号するシーン記述復号装置３０２と、入力され
たシーン記述３００を記憶するシーン記述記憶装置３０
３と、入力されたりシーン記述記憶装置３０３に記憶さ
れたシーン記述３００をリモート端末３０６に送ると共
にリモート端末３０６からユーザ入力情報３１０を受け
てシーン記述復号装置３０２に送る送受信装置３０５と
を有している。
【００４５】リモート端末３０６は、復号済シーン３１
２を表示する表示端末３０７と、この表示に応じたユー
ザ入力３０９を受けるユーザ入力装置３０８と、ユーザ
入力装置３０８からのユーザ入力情報３１０に基づいて
シーン記述３００を復号済シーン３１２に復号すると共
に機器制御情報３１１を生成するシーン記述復号装置３
０２ｂと、ユーザ入力装置３０８からのユーザ入力情報
３１０やシーン記述復号装置３０２ｂからの機器制御情
報３１１に基づいて機器制御信号３１４を生成する機器
操作信号生成装置３１４と、シーン記述３００を記憶し
てシーン記述復号装置３０２ｂに送るシーン記述記憶装
置３０３ｂと、サーバ３０１から送られたシーン記述３
００を受けてシーン記述復号装置３０２ｂやシーン記述
記憶装置３０３ｂに送ると共にユーザ入力装置３０８か
らのユーザ入力情報３１０を受けてサーバ３０１に送る
送受信装置３０５ｂとを有している。
２を表示する表示端末３０７と、この表示に応じたユー
ザ入力３０９を受けるユーザ入力装置３０８と、ユーザ
入力装置３０８からのユーザ入力情報３１０に基づいて
シーン記述３００を復号済シーン３１２に復号すると共
に機器制御情報３１１を生成するシーン記述復号装置３
０２ｂと、ユーザ入力装置３０８からのユーザ入力情報
３１０やシーン記述復号装置３０２ｂからの機器制御情
報３１１に基づいて機器制御信号３１４を生成する機器
操作信号生成装置３１４と、シーン記述３００を記憶し
てシーン記述復号装置３０２ｂに送るシーン記述記憶装
置３０３ｂと、サーバ３０１から送られたシーン記述３
００を受けてシーン記述復号装置３０２ｂやシーン記述
記憶装置３０３ｂに送ると共にユーザ入力装置３０８か
らのユーザ入力情報３１０を受けてサーバ３０１に送る
送受信装置３０５ｂとを有している。
【００４６】図１に示した第１の実施の形態に対応する
ユーザインタフェースシステムの構成との違いは、機器
操作信号生成装置３０４がサーバ３０１ではなく、リモ
ート端末３０６に備わっている点である。第１の実施の
形態と同様にリモート端末３０６上に表示された機器制
御のためのメニューを表す復号済シーンを見てユーザが
操作した結果は、リモート端末３０６中の機器操作信号
生成装置３０４により機器制御信号３１４へ変換され、
サーバ３０１を介さずに、リモート端末中の図示されて
いない送信装置により被制御機器３１５へ送られる。第
１の実施の形態と異なり、サーバ３０１から被制御機器
３１５へ機器制御信号３１５を送る必要が無いため、サ
ーバ３０１と被制御機器の接続が不用になるという効果
がある。また、インタラクションを含むシーン記述から
成るコンテンツを復号する必要が無い場合には、ユーザ
入力情報３１０をリモート端末３０６からサーバへ送信
する必要が無いため、サーバ３０１の送受信装置３０５
は受信機能を持たなくとも良い。つまり、機器制御メニ
ューのためのシーン記述を送信する送信装置で良い。か
つ、リモート端末３０６の送受信装置３０５ｂは送信機
能を持たない受信装置で良い。
ユーザインタフェースシステムの構成との違いは、機器
操作信号生成装置３０４がサーバ３０１ではなく、リモ
ート端末３０６に備わっている点である。第１の実施の
形態と同様にリモート端末３０６上に表示された機器制
御のためのメニューを表す復号済シーンを見てユーザが
操作した結果は、リモート端末３０６中の機器操作信号
生成装置３０４により機器制御信号３１４へ変換され、
サーバ３０１を介さずに、リモート端末中の図示されて
いない送信装置により被制御機器３１５へ送られる。第
１の実施の形態と異なり、サーバ３０１から被制御機器
３１５へ機器制御信号３１５を送る必要が無いため、サ
ーバ３０１と被制御機器の接続が不用になるという効果
がある。また、インタラクションを含むシーン記述から
成るコンテンツを復号する必要が無い場合には、ユーザ
入力情報３１０をリモート端末３０６からサーバへ送信
する必要が無いため、サーバ３０１の送受信装置３０５
は受信機能を持たなくとも良い。つまり、機器制御メニ
ューのためのシーン記述を送信する送信装置で良い。か
つ、リモート端末３０６の送受信装置３０５ｂは送信機
能を持たない受信装置で良い。
【００４７】ユーザ入力情報３１０に応じた機器制御情
報の対応関係がシーン記述中に記述されている場合に
は、ユーザ入力情報３１０はシーン記述復号装置３０２
ｂにより機器制御情報３１１へマッピングされてから機
器制御信号生成装置３０４へ送られる。被制御機器３１
３がサーバ３０１やリモート端末３０６自体である場合
も、本実施の形態は有効である。
報の対応関係がシーン記述中に記述されている場合に
は、ユーザ入力情報３１０はシーン記述復号装置３０２
ｂにより機器制御情報３１１へマッピングされてから機
器制御信号生成装置３０４へ送られる。被制御機器３１
３がサーバ３０１やリモート端末３０６自体である場合
も、本実施の形態は有効である。
【００４８】本発明の第３の実施の形態としてユーザイ
ンタフェースシステムについて、図４を用いて説明す
る。
ンタフェースシステムについて、図４を用いて説明す
る。
【００４９】このユーザインタフェースシステムは、シ
ーン記述情報であるシーン記述４００を入力されるサー
バ４０１と、ユーザ入力４０９を受けるリモート端末４
０６と、サーバ４０１から送られた復号済シーン４１２
を表示する表示端末４１３と、サーバ４０１から送られ
た機器制御信号４１４によって制御される被制御機器４
１５とを有している。
ーン記述情報であるシーン記述４００を入力されるサー
バ４０１と、ユーザ入力４０９を受けるリモート端末４
０６と、サーバ４０１から送られた復号済シーン４１２
を表示する表示端末４１３と、サーバ４０１から送られ
た機器制御信号４１４によって制御される被制御機器４
１５とを有している。
【００５０】サーバ４０１は、入力されたシーン記述４
００やユーザ入力情報４１０に基づいて復号済シーン４
１２を復号すると共に機器制御情報４１１を生成するシ
ーン記述復号装置４０２と、ユーザ入力情報４１０やシ
ーン記述復号装置４０２からの機器制御情報４１１に基
づいて機器制御信号を生成する機器操作信号生成装置４
０４と、リモート端末４０６から送られたユーザ入力情
報４１０をシーン記述復号装置４０２や機器操作信号生
成装置４０４に送る受信装置４０５とを有している。
００やユーザ入力情報４１０に基づいて復号済シーン４
１２を復号すると共に機器制御情報４１１を生成するシ
ーン記述復号装置４０２と、ユーザ入力情報４１０やシ
ーン記述復号装置４０２からの機器制御情報４１１に基
づいて機器制御信号を生成する機器操作信号生成装置４
０４と、リモート端末４０６から送られたユーザ入力情
報４１０をシーン記述復号装置４０２や機器操作信号生
成装置４０４に送る受信装置４０５とを有している。
【００５１】リモート端末４０６は、ユーザ入力４０９
を受けるユーザ入力装置４０８と、ユーザ入力装置４０
８からのユーザ入力情報４１０をサーバ４０１に送る送
信装置４０５ｂとを有している。
を受けるユーザ入力装置４０８と、ユーザ入力装置４０
８からのユーザ入力情報４１０をサーバ４０１に送る送
信装置４０５ｂとを有している。
【００５２】図１に示した第１の実施の形態に対応する
ユーザインタフェースシステムの構成との違いは、リモ
ート端末４０６においてシーン記述の復号、表示を行わ
ない点である。シーン記述復号装置４０２は、ディジタ
ルTV放送やDVD、インターネットのホームページ、MPEG-
4 BIFS、VRMLなどのシーン記述だけでなく、機器制御の
ためのメニューも復号し、復号済シーン４１２として表
示端末４１３へ表示する。従って、ユーザは表示端末４
１３を見ながら、シーン記述入力に含まれているインタ
ラクションと機器制御のためのメニューとを区別無く、
唯一のリモート端末で操作することが可能である。
ユーザインタフェースシステムの構成との違いは、リモ
ート端末４０６においてシーン記述の復号、表示を行わ
ない点である。シーン記述復号装置４０２は、ディジタ
ルTV放送やDVD、インターネットのホームページ、MPEG-
4 BIFS、VRMLなどのシーン記述だけでなく、機器制御の
ためのメニューも復号し、復号済シーン４１２として表
示端末４１３へ表示する。従って、ユーザは表示端末４
１３を見ながら、シーン記述入力に含まれているインタ
ラクションと機器制御のためのメニューとを区別無く、
唯一のリモート端末で操作することが可能である。
【００５３】なお、表示端末４１２とリモート端末４０
６は、タッチパネルなどユーザ入力装置を備えた表示端
末を使用することによって一体とすることができる。
６は、タッチパネルなどユーザ入力装置を備えた表示端
末を使用することによって一体とすることができる。
【００５４】次に、第４の実施の形態に対応するシーン
記述生成装置の構成を、図５を用いて説明する。
記述生成装置の構成を、図５を用いて説明する。
【００５５】シーン記述生成装置５１８は、入力される
機器制御用メニュー５１６やシナリオ５１７に基づいて
シーン記述５００に符号化するシーン記述符号化装置５
１９と、シーン記述符号化装置５１９からのシーン記述
５００を記憶するシーン記述記憶装置５２０とを有して
いる。
機器制御用メニュー５１６やシナリオ５１７に基づいて
シーン記述５００に符号化するシーン記述符号化装置５
１９と、シーン記述符号化装置５１９からのシーン記述
５００を記憶するシーン記述記憶装置５２０とを有して
いる。
【００５６】サーバ５０１は、シーン記述生成装置５１
８のシーン記述符号化装置５１９やシーン記述記憶装置
５２０から出力されたシーン記述５００を記録媒体５２
１や伝送媒体５２２を介して受け取る。サーバ５０１
は、リモート端末５０６との間で、ユーザ入力情報５１
０を送受する。
８のシーン記述符号化装置５１９やシーン記述記憶装置
５２０から出力されたシーン記述５００を記録媒体５２
１や伝送媒体５２２を介して受け取る。サーバ５０１
は、リモート端末５０６との間で、ユーザ入力情報５１
０を送受する。
【００５７】第４の実施の形態は、ディジタルTV放送や
DVD、インターネットのホームページ、MPEG-4 BIFS、VR
MLなどのコンテンツのシーン記述を生成する装置、およ
び機器制御のためのメニューを表すシーン記述を生成す
る装置に関する。
DVD、インターネットのホームページ、MPEG-4 BIFS、VR
MLなどのコンテンツのシーン記述を生成する装置、およ
び機器制御のためのメニューを表すシーン記述を生成す
る装置に関する。
【００５８】シーン記述生成装置５１８は、第１の実施
の形態、第２の実施の形態及び第３の実施の形態におけ
るサーバの入力となるシーン記述を生成する。サーバ５
０１およびリモート端末５０６は、第１の実施の形態、
第２の実施の形態及び第３の実施の形態のサーバとリモ
ート端末である。シーン記述生成装置５１８は、シーン
記述符号化装置５１９を備える。本実施の形態のシーン
記述符号化装置５１９は、ユーザインタラクションを含
むコンテンツのためのシナリオ５１７を入力とし、DV
D、HTML、MPEG-4 BIFS、VRMLなどのシーン記述を出力す
る。また、機器制御用メニュー５１６を入力とし、機器
制御のためのメニューを表すシーン記述を生成する。
の形態、第２の実施の形態及び第３の実施の形態におけ
るサーバの入力となるシーン記述を生成する。サーバ５
０１およびリモート端末５０６は、第１の実施の形態、
第２の実施の形態及び第３の実施の形態のサーバとリモ
ート端末である。シーン記述生成装置５１８は、シーン
記述符号化装置５１９を備える。本実施の形態のシーン
記述符号化装置５１９は、ユーザインタラクションを含
むコンテンツのためのシナリオ５１７を入力とし、DV
D、HTML、MPEG-4 BIFS、VRMLなどのシーン記述を出力す
る。また、機器制御用メニュー５１６を入力とし、機器
制御のためのメニューを表すシーン記述を生成する。
【００５９】本実施の形態のサーバ５０１およびリモー
ト端末５０６は、ディジタルTV放送やDVD、インターネ
ットのホームページ、MPEG-4 BIFS、VRMLなどのコンテ
ンツのシーン記述を復号するシーン記述復号装置によ
り、機器制御のためのメニューを表すシーン記述をも復
号することが可能であるため、シーン記述符号化装置５
１９は、双方のシーン記述を混在させたシーン記述を生
成することが可能となる。
ト端末５０６は、ディジタルTV放送やDVD、インターネ
ットのホームページ、MPEG-4 BIFS、VRMLなどのコンテ
ンツのシーン記述を復号するシーン記述復号装置によ
り、機器制御のためのメニューを表すシーン記述をも復
号することが可能であるため、シーン記述符号化装置５
１９は、双方のシーン記述を混在させたシーン記述を生
成することが可能となる。
【００６０】インタラクションを含むコンテンツのシー
ン記述と機器制御のためのメニューを表すシーン記述を
混在させたシーン記述の復号、表示例を図６に示す。説
明のために、図２と同様の内容を含むシーン記述の例を
示している。図２の例と同様に、シーン記述には「球」
「矩形」「三角」を選択するボタンが含まれており、例
えばユーザが「矩形」を選択すると矩形を含むシーンが
表示される。本実施の形態では、コンテンツのシーン記
述と機器制御のためのメニューを表すシーン記述を混在
させることが可能であり、図６では例として被制御機器
６１５（VTR)により録画を行うためのメニューを、コン
テンツに含まれるインタラクションと同様のインターフ
ェースで提供している。
ン記述と機器制御のためのメニューを表すシーン記述を
混在させたシーン記述の復号、表示例を図６に示す。説
明のために、図２と同様の内容を含むシーン記述の例を
示している。図２の例と同様に、シーン記述には「球」
「矩形」「三角」を選択するボタンが含まれており、例
えばユーザが「矩形」を選択すると矩形を含むシーンが
表示される。本実施の形態では、コンテンツのシーン記
述と機器制御のためのメニューを表すシーン記述を混在
させることが可能であり、図６では例として被制御機器
６１５（VTR)により録画を行うためのメニューを、コン
テンツに含まれるインタラクションと同様のインターフ
ェースで提供している。
【００６１】インタラクションを含むコンテンツのシー
ン記述と機器制御のためのメニューを表すシーン記述を
混在させることが可能となる本実施の形態の特徴によ
り、双方の区別が無いユーザインターフェースを提供す
ることが可能となった。
ン記述と機器制御のためのメニューを表すシーン記述を
混在させることが可能となる本実施の形態の特徴によ
り、双方の区別が無いユーザインターフェースを提供す
ることが可能となった。
【００６２】図５のシーン記述生成装置５１８のシーン
記述符号化装置５１９で生成されたシーン記述もしくは
一度シーン記述記憶装置５２０に蓄積されたシーン記述
５００は、記録媒体５２１もしくは伝送媒体５２２によ
りサーバ５０１へ送られる。本実施の形態では、機器制
御のためのメニューを表すシーン記述が、インタラクシ
ョンを含むコンテンツのシーン記述と同様に扱えるた
め、コンテンツのシーン記述を記録する記録媒体および
コンテンツのシーン記述を伝送する伝送媒体を共用する
ことが可能となった。
記述符号化装置５１９で生成されたシーン記述もしくは
一度シーン記述記憶装置５２０に蓄積されたシーン記述
５００は、記録媒体５２１もしくは伝送媒体５２２によ
りサーバ５０１へ送られる。本実施の形態では、機器制
御のためのメニューを表すシーン記述が、インタラクシ
ョンを含むコンテンツのシーン記述と同様に扱えるた
め、コンテンツのシーン記述を記録する記録媒体および
コンテンツのシーン記述を伝送する伝送媒体を共用する
ことが可能となった。
【００６３】また、記録媒体５２１もしくは伝送媒体５
２２を介して機器制御メニューを表すシーン記述を配信
し、サーバ５０１中のシーン記述記憶装置（図１のシー
ン記述記憶装置１０３、図３のシーン記述記憶装置３０
３，図４のシーン記述記憶装置４０３）もしくはリモー
ト端末５０６中のシーン記述記憶装置（図１のシーン記
述記憶装置１０３ｂ、図３のシーン記述記憶装置３０３
ｂへ記憶させることにより、新しい機器制御用メニュー
を更新することが可能である。本実施の形態によって、
機器制御用メニューのシーン記述を更新するための記録
媒体および伝送媒体は、インタラクションを含むコンテ
ンツのシーン記述のために従来使用されていた記録媒体
および伝送媒体をそのまま使用することができる。
２２を介して機器制御メニューを表すシーン記述を配信
し、サーバ５０１中のシーン記述記憶装置（図１のシー
ン記述記憶装置１０３、図３のシーン記述記憶装置３０
３，図４のシーン記述記憶装置４０３）もしくはリモー
ト端末５０６中のシーン記述記憶装置（図１のシーン記
述記憶装置１０３ｂ、図３のシーン記述記憶装置３０３
ｂへ記憶させることにより、新しい機器制御用メニュー
を更新することが可能である。本実施の形態によって、
機器制御用メニューのシーン記述を更新するための記録
媒体および伝送媒体は、インタラクションを含むコンテ
ンツのシーン記述のために従来使用されていた記録媒体
および伝送媒体をそのまま使用することができる。
【００６４】以上のように、本実施の形態は、静止画像
信号・動画像信号・音声信号・テキストデータおよびグ
ラフィックデータなどから成りユーザからの入力を受け
付けるインタラクションを含むシーンに対するユーザ入
力、および機器制御を提供する。この技術は、例えば光
磁気ディスクや磁気テープなどの記録媒体から再生して
ディスプレイに表示したり、インターネットや放送のコ
ンテンツを受信して表示する際に、リモート端末におい
てユーザ入力を行い、シーンのインタラクションを行っ
たり、機器制御を行う場合などに用いて好適である。
信号・動画像信号・音声信号・テキストデータおよびグ
ラフィックデータなどから成りユーザからの入力を受け
付けるインタラクションを含むシーンに対するユーザ入
力、および機器制御を提供する。この技術は、例えば光
磁気ディスクや磁気テープなどの記録媒体から再生して
ディスプレイに表示したり、インターネットや放送のコ
ンテンツを受信して表示する際に、リモート端末におい
てユーザ入力を行い、シーンのインタラクションを行っ
たり、機器制御を行う場合などに用いて好適である。
【００６５】すなわち、本実施の形態は、ディジタルTV
放送やDVD、HTML、MPEG-4 BIFS、VRMLなど、ユーザ入力
によるインタラクションを含むシーンからなるコンテン
ツを視聴する際に、シーン記述及び機器制御のためのメ
ニュー用シーン記述をリモート端末で復号・表示するこ
とを特徴とするユーザインターフェースシステムであ
り、機器制御のためのユーザインターフェースとシーン
記述自体に含まれるインタラクションのためのユーザイ
ンターフェースとを統合して扱うことが可能となる。
放送やDVD、HTML、MPEG-4 BIFS、VRMLなど、ユーザ入力
によるインタラクションを含むシーンからなるコンテン
ツを視聴する際に、シーン記述及び機器制御のためのメ
ニュー用シーン記述をリモート端末で復号・表示するこ
とを特徴とするユーザインターフェースシステムであ
り、機器制御のためのユーザインターフェースとシーン
記述自体に含まれるインタラクションのためのユーザイ
ンターフェースとを統合して扱うことが可能となる。
【００６６】
【発明の効果】ディジタルTV放送やDVD、インターネッ
トのホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入
力によるインタラクションを含むシーンからなるコンテ
ンツを視聴する場合には、ユーザは表示端末を見ながら
リモート端末を操作しなければならなかった。
トのホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入
力によるインタラクションを含むシーンからなるコンテ
ンツを視聴する場合には、ユーザは表示端末を見ながら
リモート端末を操作しなければならなかった。
【００６７】本発明では、リモート端末がサーバと同じ
シーン記述を復号可能なシーン記述復号装置備え、リモ
ート端末にもシーン記述を送信して表示することによ
り、ユーザ入力によるインタラクションを含むシーンに
対して、リモート端末のみを見ながらユーザ入力するこ
とを可能とした。
シーン記述を復号可能なシーン記述復号装置備え、リモ
ート端末にもシーン記述を送信して表示することによ
り、ユーザ入力によるインタラクションを含むシーンに
対して、リモート端末のみを見ながらユーザ入力するこ
とを可能とした。
【００６８】また、リモート端末によって機器制御を行
う際、サーバからリモート端末へメニューデータを送信
するユーザインターフェースシステムでは、リモート端
末用のメニューデータは、リモート端末の表示装置に依
存したデータ形式であるため、異なるリモート端末間で
はメニューデータの互換性が無いという問題があった。
う際、サーバからリモート端末へメニューデータを送信
するユーザインターフェースシステムでは、リモート端
末用のメニューデータは、リモート端末の表示装置に依
存したデータ形式であるため、異なるリモート端末間で
はメニューデータの互換性が無いという問題があった。
【００６９】本発明では、機器制御用のメニューデータ
にも、同一のシーン記述復号装置で復号可能なシーン記
述を使用することにより、機器制御のためのユーザイン
ターフェースとシーン記述自体に含まれるインタラクシ
ョンのためのユーザインターフェースとを統合して扱う
ことを可能とした。ユーザは単一のリモート端末によっ
て、機器制御のためのユーザインターフェースとシーン
記述自体に含まれるインタラクションの双方を操作する
ことができる。
にも、同一のシーン記述復号装置で復号可能なシーン記
述を使用することにより、機器制御のためのユーザイン
ターフェースとシーン記述自体に含まれるインタラクシ
ョンのためのユーザインターフェースとを統合して扱う
ことを可能とした。ユーザは単一のリモート端末によっ
て、機器制御のためのユーザインターフェースとシーン
記述自体に含まれるインタラクションの双方を操作する
ことができる。
【００７０】さらに、インタラクションを含むコンテン
ツと機器制御用のメニューを表すシーン記述を同一のシ
ーン記述生成装置により生成可能となり、同一の記録媒
体へ記録、同一の伝送媒体で伝送することが可能とな
り、機器制御用メニューの更新を、インタラクションを
含むコンテンツのシーン記述のための記録媒体もしくは
伝送媒体を用いて行うことができるという効果がある。
ツと機器制御用のメニューを表すシーン記述を同一のシ
ーン記述生成装置により生成可能となり、同一の記録媒
体へ記録、同一の伝送媒体で伝送することが可能とな
り、機器制御用メニューの更新を、インタラクションを
含むコンテンツのシーン記述のための記録媒体もしくは
伝送媒体を用いて行うことができるという効果がある。
【図１】第１の実施の形態に対応するユーザインタフェ
ースシステムの構成を表すブロック図である。
ースシステムの構成を表すブロック図である。
【図２】第１の実施の形態に対応するユーザインタフェ
ースシステムの例を表す図である。
ースシステムの例を表す図である。
【図３】第２の実施の形態に対応するユーザインタフェ
ースシステムの構成を表すブロック図である。
ースシステムの構成を表すブロック図である。
【図４】第３の実施の形態に対応するユーザインタフェ
ースシステムの構成を表すブロック図である。
ースシステムの構成を表すブロック図である。
【図５】第４の実施の形態に対応するシーン記述生成装
置の構成とシーン記述の伝送を表すブロック図である。
置の構成とシーン記述の伝送を表すブロック図である。
【図６】第４の実施の形態に対応するシーン記述の例を
表す図である。
表す図である。
【図７】従来の機器制御のためのユーザインターフェー
スシステム構成を表すブロック図である。
スシステム構成を表すブロック図である。
【図８】従来の機器制御のためのユーザインターフェー
スシステム例を表す図である。
スシステム例を表す図である。
【図９】従来のインタラクションを含むシーン記述とユ
ーザインターフェースシステムの例を表す図である。
ーザインターフェースシステムの例を表す図である。
【図１０】従来技術のインタラクションを含むシーン記
述に対するユーザインターフェースシステム構成を表す
ブロック図である。
述に対するユーザインターフェースシステム構成を表す
ブロック図である。
１００ シーン記述入力、１０１ サーバ、１０２ サー
バのシーン記述復号装置、１０２ｂ リモート端末のシ
ーン記述復号装置、１０３ サーバのシーン記述記憶装
置、１０３ｂ リモート端末のシーン記述記憶装置、１
０４ 機器操作信号生成装置、１０５ サーバの送受信装
置、１０５ｂ リモート端末の送受信装置、１０６ リモ
ート端末、１０７ 表示装置、１０８ ユーザ入力装置、
１１３ 表示端末、１１４ 機器制御信号、１１５ 被制
御機器
バのシーン記述復号装置、１０２ｂ リモート端末のシ
ーン記述復号装置、１０３ サーバのシーン記述記憶装
置、１０３ｂ リモート端末のシーン記述記憶装置、１
０４ 機器操作信号生成装置、１０５ サーバの送受信装
置、１０５ｂ リモート端末の送受信装置、１０６ リモ
ート端末、１０７ 表示装置、１０８ ユーザ入力装置、
１１３ 表示端末、１１４ 機器制御信号、１１５ 被制
御機器
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/781 Ｈ０４Ｑ 9/00 ３３１Ａ Ｈ０４Ｑ 9/00 ３０１ Ｈ０４Ｎ 5/781 ５１０Ｄ ３３１ (72)発明者 矢ケ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B069 AA01 BA03 CA02 DD01 GA03 KA02 5C025 CA02 CA09 CB08 DA01 DA04 DA08 5C056 AA01 AA07 BA01 BA08 CA11 CA13 DA08 DA11 EA09 5K048 AA04 BA03 DB04 EB02 EB07 FB10 FB15 HA04 HA06
Claims (26)
- 【請求項１】 ユーザインストラクションを含むシーン
記述情報を用いるユーザインタフェースシステムにおい
て、 サーバと、 シーン記述情報を復号する復号手段と、シーンを表示す
る表示手段と、ユーザ入力情報が入力される入力手段と
を有するリモート端末とを有し、 上記サーバは上記リモート端末にシーン記述情報を送
り、上記リモート端末は上記サーバから送られたシーン
記述情報をその復号手段で復号してその表示手段に表示
し、この表示に応じてその入力手段に入力されたユーザ
入力情報を上記サーバに送ることを特徴とするユーザイ
ンターフェースシステム。 - 【請求項２】 上記サーバはシーン記述情報を記憶する
記憶手段を有し、この記憶手段に記憶したシーン記述情
報を上記リモート端末に送ることを特徴とする請求項１
記載のユーザインタフェースシステム。 - 【請求項３】 上記サーバはこのサーバ又は外部の被制
御装置を制御する機器制御信号を生成する機器操作信号
生成手段を有し、その記憶手段に記憶した機器制御用の
メニューを表すシーン記述情報を上記リモート端末に送
り、上記リモート端末はこのシーン記述情報をその復号
手段で復号してその表示手段に機器制御用のメニューを
表示し、この表示に応じてその入力手段に入力されたユ
ーザ入力情報を上記サーバに送り、上記サーバはこのユ
ーザ入力情報に基づいてその機器操作信号生成手段にて
機器制御信号を生成することを特徴とする請求項２記載
のユーザインタフェースシステム。 - 【請求項４】 上記リモート端末はこのリモート端末又
は外部の被制御装置を制御する機器制御信号を生成する
機器操作信号生成手段を有し、上記サーバはその記憶手
段に記憶した機器制御用のメニューを表すシーン記述情
報を上記リモート端末に送り、上記リモート端末はこの
シーン記述情報をその復号手段で復号してその表示手段
に機器制御用のメニューを表示し、この表示に応じてそ
の入力手段に入力されたユーザ入力情報に基づいてその
機器操作信号生成手段にて機器制御信号を生成すること
を特徴とする請求項２記載のユーザインタフェースシス
テム。 - 【請求項５】 上記サーバはシーン記述情報を復号する
復号手段と、この復号手段で復号したシーン記述情報を
表示する表示手段とを有し、上記復号手段はユーザイン
タラクションを含むコンテンツのシーン記述情報とこの
サーバ又は外部の被制御装置を制御する機器制御用のメ
ニューを表すシーン記述情報とを復号し、上記表示手段
はユーザインタラクションを含むコンテンツとこの上記
制御機器用のメニューを表示し、シーン記述情報に含ま
れているユーザインタラクションと上記機器制御用のメ
ニューとを上記リモート端末で区別なく操作することを
可能とすることを特徴とする請求項１記載のユーザイン
ターフェースシステム。 - 【請求項６】 上記サーバはシーン記述情報を生成する
シーン記述生成手段を有し、このシーン記述生成手段に
て生成されたシーン記述情報を入力とすることを特徴と
する請求項１記載のユーザインターフェースシステム。 - 【請求項７】 上記シーン記述生成手段はコンテンツと
同じシーン記述方法でこのサーバ又は外部の被制御装置
を制御する機器制御用のメニューのシーン記述情報を生
成することを特徴とする請求項６記載のユーザインタフ
ェースシステム。 - 【請求項８】 ユーザインタラクションを含むシーン記
述情報を生成するシーン記述生成装置であって、 外部の被制御装置を制御する制御用のシーン記述情報を
コンテンツと同じシーン記述方法で生成する生成手段を
有することを特徴とするシーン記述生成装置。 - 【請求項９】 上記生成手段は、ユーザインタラクショ
ンを含むコンテンツのシーン記述情報と外部の被制御機
器を制御する制御用のメニューのシーン記述情報とを混
在させたシーン記述情報を生成することを特徴とする請
求項８記載のシーン記述生成装置。 - 【請求項１０】 ユーザインタラクションを含むシーン
記述情報を生成するシーン記述生成方法であって、 外部の被制御装置を制御する制御用のシーン記述情報を
コンテンツと同じシーン記述方法で生成する生成工程を
有することを特徴とするシーン記述生成方法。 - 【請求項１１】 上記生成工程は、ユーザインタラクシ
ョンを含むコンテンツのシーン記述情報と外部の被制御
機器を制御する制御用のメニューのシーン記述情報とを
混在させたシーン記述情報を生成することを特徴とする
請求項１０記載のシーン記述生成方法。 - 【請求項１２】 ユーザインタラクションを含むシーン
記述情報を用い、サーバとリモート端末とから構成され
るシステムに対してシーン記述情報を配信するシーン記
述配信方法において、 コンテンツと同じシーン記述方法で生成した機器制御メ
ニューのシーン記述情報を配信し、このシーン記述情報
で上記サーバ又は上記リモート端末に記憶されたシーン
記述情報を更新することを特徴とするシーン記述配信方
法。 - 【請求項１３】 ユーザインタラクションを含むコンテ
ンツのシーン記述情報と機器制御用のメニューのシーン
記述情報とを混在させたシーン記述情報を配信し、この
シーン記述情報で上記サーバ又は上記リモート端末に記
憶されたシーン記述情報を更新することを特徴とする請
求項１２記載のシーン記述配信方法。 - 【請求項１４】 ユーザインタラクションを含むシーン
記述情報を用い、リモート端末と共にユーザインタフェ
ースを構成するサーバ装置において、 上記リモート端末にシーン記述情報を送り、上記リモー
ト端末において復号されて表示されたこのシーン記述情
報に応じて入力されたユーザ入力情報を受け取ることを
特徴とするサーバ装置。 - 【請求項１５】 シーン記述情報を記憶する記憶手段を
有し、この記憶手段に記憶したシーン記述情報を上記リ
モート端末に送ることを特徴とする請求項１４記載のサ
ーバ装置。 - 【請求項１６】 外部の被制御装置を制御する機器制御
信号を生成する機器操作信号生成手段を有し、上記記憶
手段に機器制御用のメニューを表すシーン記述情報を記
憶し、上記リモート端末にこのシーン記述情報を送り、
上記リモート端末において復号して表示されたこのシー
ン記述情報に応じて入力されたユーザ入力情報を受け取
ることを特徴とする請求項１５記載のサーバ装置。 - 【請求項１７】 上記記憶手段に機器制御用のメニュー
を表すシーン記述情報を記憶し、上記リモート端末にこ
のシーン記述情報を送り、上記リモート端末において
は、復号して表示されたこのシーン記述情報に応じて入
力されたユーザ入力情報に基づいて、外部の被制御装置
を制御する機器制御信号を生成することを特徴とする請
求項１５記載のサーバ装置。 - 【請求項１８】 シーン記述情報を復号する復号手段
と、この復号手段で復号したシーン記述情報を表示する
表示手段とを有し、上記復号手段はユーザインタラクシ
ョンを含むコンテンツのシーン記述情報と外部の被制御
装置を制御する制御用のメニューを表すシーン記述情報
とを復号し、上記表示手段はユーザインタラクションを
含むコンテンツのシーンとこの上記制御用のメニューの
シーンとを表示し、シーン記述情報に含まれているユー
ザインタラクションと上記制御用のメニューとを上記リ
モート端末で区別なく操作することを可能とすることを
特徴とする請求項１４記載のサーバ装置。 - 【請求項１９】 シーン記述情報を生成するシーン記述
生成手段を有し、このシーン記述生成手段にて生成され
たシーン記述情報を入力とすることを特徴とする請求項
１４記載のサーバ装置。 - 【請求項２０】 上記シーン記述生成手段はコンテンツ
と同じシーン記述方法で外部の被制御装置を制御する機
器制御用のメニューのシーン記述情報を生成することを
特徴とする請求項１９記載のサーバ装置。 - 【請求項２１】 ユーザインタラクションを含むシーン
記述情報を用い、サーバと共にユーザインタフェースを
構成するリモート端末装置において、 シーン記述情報を復号する復号手段と、 シーンを表示する表示手段と、 ユーザ入力情報が入力される入力手段とを有し、 上記サーバから送られたシーン記述情報を復号して上記
表示手段に表示し、この表示に応じて上記入力手段に入
力されたユーザ入力情報を上記サーバに送ることを特徴
とするリモート端末装置。 - 【請求項２２】 上記サーバが送った機器制御用のメニ
ューを表すシーンを受け取り、受け取ったこのシーン記
述情報を上記復号手段にて復号して上記表示手段に表示
し、この表示に応じて上記入力手段に入力されたユーザ
入力情報を上記サーバに送り、上記サーバはこのユーザ
入力情報に基づいて外部の被制御装置を制御する機器制
御信号を生成することを特徴とする請求項２１記載のリ
モート端末装置。 - 【請求項２３】 ユーザインタラクションを含むシーン
記述情報を伝送する伝送媒体において、 コンテンツと同じシーン記述方法で機器制御用のメニュ
ーを記述するシーン記述情報を伝送することを特徴とす
る伝送媒体。 - 【請求項２４】 上記シーン記述情報は、ユーザインタ
ラクションを含むコンテンツのシーン記述情報と機器制
御用のメニューのシーン記述情報が混在したものである
ことを特徴とする請求項２３記載の伝送媒体。 - 【請求項２５】 ユーザインタラクションを含むシーン
記述情報を記録する記録媒体において、コンテンツと同
じシーン記述方法で機器制御用のメニューを記述するシ
ーン記述情報を記録することを特徴とする記録媒体。 - 【請求項２６】 上記シーン記述情報は、ユーザインタ
ラクションを含むコンテンツのシーン記述情報と機器制
御用のメニューのシーン記述情報が混在したものである
ことを特徴とする請求項２５記載の記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000055055A JP4411730B2 (ja) | 2000-02-29 | 2000-02-29 | ユーザインターフェースシステム、サーバ装置、及び、リモート端末装置 |
| US09/795,842 US20010056471A1 (en) | 2000-02-29 | 2001-02-28 | User interface system, scene description generating device and method, scene description distributing method, server device, remote terminal device, recording medium, and sending medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000055055A JP4411730B2 (ja) | 2000-02-29 | 2000-02-29 | ユーザインターフェースシステム、サーバ装置、及び、リモート端末装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001243044A true JP2001243044A (ja) | 2001-09-07 |
| JP4411730B2 JP4411730B2 (ja) | 2010-02-10 |
Family
ID=18576240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000055055A Expired - Fee Related JP4411730B2 (ja) | 2000-02-29 | 2000-02-29 | ユーザインターフェースシステム、サーバ装置、及び、リモート端末装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20010056471A1 (ja) |
| JP (1) | JP4411730B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008507165A (ja) * | 2004-06-30 | 2008-03-06 | ノキア コーポレイション | ダイナミックショートカット |
| US7366986B2 (en) | 2001-12-27 | 2008-04-29 | Samsung Electronics Co., Ltd. | Apparatus for receiving MPEG data, system for transmitting/receiving MPEG data and method thereof |
| JP2010524056A (ja) * | 2007-03-30 | 2010-07-15 | サムスン エレクトロニクス カンパニー リミテッド | 遠隔制御装置およびその制御方法 |
| CN112863644A (zh) * | 2021-02-24 | 2021-05-28 | 浙江连信科技有限公司 | 基于vr技术的正念训练方法、装置、设备和存储介质 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7216288B2 (en) * | 2001-06-27 | 2007-05-08 | International Business Machines Corporation | Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system |
| CN1777953A (zh) * | 2003-04-24 | 2006-05-24 | 皇家飞利浦电子股份有限公司 | 用于利用菜单信息补充视频/音频信号的菜单发生器设备和菜单产生方法 |
| WO2008007905A1 (en) * | 2006-07-12 | 2008-01-17 | Lg Electronics Inc. | Method and apparatus for encoding/decoding signal |
| WO2008048067A1 (en) * | 2006-10-19 | 2008-04-24 | Lg Electronics Inc. | Encoding method and apparatus and decoding method and apparatus |
| KR20080089119A (ko) * | 2007-03-30 | 2008-10-06 | 삼성전자주식회사 | Ｍｐｅｇ 기반의 ｕｉ 장치 및 이를 이용한 기능 제어 방법 |
| WO2009093867A2 (en) | 2008-01-23 | 2009-07-30 | Lg Electronics Inc. | A method and an apparatus for processing audio signal |
| WO2009093866A2 (en) * | 2008-01-23 | 2009-07-30 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| WO2012028198A1 (en) * | 2010-09-03 | 2012-03-08 | Nokia Siemens Networks Oy | Media server and method for streaming media |
| CN102279705B (zh) * | 2011-08-03 | 2015-04-22 | 惠州Tcl移动通信有限公司 | 幻灯片无线切换的方法及其终端 |
| KR102069538B1 (ko) * | 2012-07-12 | 2020-03-23 | 삼성전자주식회사 | 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법 |
| CN103942021B (zh) * | 2014-03-24 | 2018-08-14 | 华为技术有限公司 | 内容呈现方法，内容呈现方式的推送方法和智能终端 |
| CN113253891B (zh) * | 2021-05-13 | 2022-10-25 | 展讯通信（上海）有限公司 | 终端的控制方法及装置、存储介质、终端 |
| CN113282488B (zh) * | 2021-05-13 | 2022-11-25 | 展讯通信（上海）有限公司 | 终端的测试方法及装置、存储介质、终端 |
| CN113596086B (zh) * | 2021-06-25 | 2023-12-05 | 山东齐鲁数通科技有限公司 | 基于场景配置控制gis大屏可视化应用的方法及系统 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5706290A (en) * | 1994-12-15 | 1998-01-06 | Shaw; Venson | Method and apparatus including system architecture for multimedia communication |
| FR2718553B1 (fr) * | 1994-04-12 | 1996-06-14 | Metalogic | Système et procédé de dialogue interactif entre un utilisateur et un serveur télématique. |
| JPH07327277A (ja) * | 1994-05-31 | 1995-12-12 | Sony Corp | 電子機器装置および接続用コネクタ |
| US5727155A (en) * | 1994-09-09 | 1998-03-10 | Intel Corporation | Method and apparatus for dynamically controlling a remote system's access to shared applications on a host system |
| US5801689A (en) * | 1996-01-22 | 1998-09-01 | Extended Systems, Inc. | Hypertext based remote graphic user interface control system |
| US6952799B2 (en) * | 1996-06-17 | 2005-10-04 | British Telecommunications | User interface for network browser including pre-processor for links embedded in hypermedia documents |
| US8769598B2 (en) * | 1997-03-24 | 2014-07-01 | Logitech Europe S.A. | Program guide on a remote control |
| US6002450A (en) * | 1997-03-24 | 1999-12-14 | Evolve Products, Inc. | Two-way remote control with advertising display |
| US6130726A (en) * | 1997-03-24 | 2000-10-10 | Evolve Products, Inc. | Program guide on a remote control display |
| JPH10301874A (ja) * | 1997-04-22 | 1998-11-13 | Internatl Business Mach Corp <Ibm> | 遠隔操作方法、ネットワークを介して端末から遠隔操作されるサーバ及びｈｔｍｌファイルを格納する記憶媒体 |
| WO1998059478A1 (en) * | 1997-06-25 | 1998-12-30 | Samsung Electronics Co., Ltd. | Programming tool for home networks |
| US6104334A (en) * | 1997-12-31 | 2000-08-15 | Eremote, Inc. | Portable internet-enabled controller and information browser for consumer devices |
| US6097441A (en) * | 1997-12-31 | 2000-08-01 | Eremote, Inc. | System for dual-display interaction with integrated television and internet content |
| US6127941A (en) * | 1998-02-03 | 2000-10-03 | Sony Corporation | Remote control device with a graphical user interface |
| US6208341B1 (en) * | 1998-08-05 | 2001-03-27 | U. S. Philips Corporation | GUI of remote control facilitates user-friendly editing of macros |
| US6463343B1 (en) * | 1999-08-10 | 2002-10-08 | International Business Machines Corporation | System and method for controlling remote devices from a client computer using digital images |
-
2000
- 2000-02-29 JP JP2000055055A patent/JP4411730B2/ja not_active Expired - Fee Related
-
2001
- 2001-02-28 US US09/795,842 patent/US20010056471A1/en not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7366986B2 (en) | 2001-12-27 | 2008-04-29 | Samsung Electronics Co., Ltd. | Apparatus for receiving MPEG data, system for transmitting/receiving MPEG data and method thereof |
| JP2008507165A (ja) * | 2004-06-30 | 2008-03-06 | ノキア コーポレイション | ダイナミックショートカット |
| JP2010524056A (ja) * | 2007-03-30 | 2010-07-15 | サムスン エレクトロニクス カンパニー リミテッド | 遠隔制御装置およびその制御方法 |
| CN112863644A (zh) * | 2021-02-24 | 2021-05-28 | 浙江连信科技有限公司 | 基于vr技术的正念训练方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20010056471A1 (en) | 2001-12-27 |
| JP4411730B2 (ja) | 2010-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4346688B2 (ja) | オーディオビジュアルシステム、ヘッドエンドおよび受信ユニット | |
| JP2001243044A (ja) | ユーザインターフェースシステム、シーン記述生成装置及び方法、シーン記述配信方法、サーバ装置、リモート端末装置、伝送媒体並びに記録媒体 | |
| EP0670652B1 (en) | Improved graphical user interface for interactive television and video on demand | |
| US7671782B2 (en) | State-sensitive navigation aid | |
| AU716790B2 (en) | Video-on-demand system | |
| CA2456100A1 (en) | Enhanced custom content television | |
| US7681128B2 (en) | Multimedia player and method of displaying on-screen menu | |
| US7870592B2 (en) | Method for interactive video content programming | |
| US20020156909A1 (en) | System and method for server side control of a flash presentation | |
| US20040012717A1 (en) | Broadcast browser including multi-media tool overlay and method of providing a converged multi-media display including user-enhanced data | |
| WO2008142472A1 (en) | System and method to consume web content using television set | |
| CN101151673A (zh) | 用于提供多视频画面的方法和设备 | |
| JP2002525925A (ja) | 複数相手に向けた一方向データ・ストリームに対する二方向接続性のシミュレーション | |
| JP2003530726A (ja) | コンバージェンスエネーブルｄｖｄおよびウエブシステム | |
| JP2014510425A (ja) | 表示されたコンテンツに関連する追加コンテンツを提供する方法とシステム | |
| KR102212270B1 (ko) | 통합된 컨텐츠 소스들을 이용하여 미디어 컨텐츠를 제시하기 위한 방법들, 시스템들 및 매체들 | |
| CN115119030A (zh) | 一种字幕的处理方法及装置 | |
| JP2003505945A (ja) | 放送プログラムと共にマルチメディア情報を表示する方法及び装置 | |
| JP2001245174A (ja) | ユーザインタフェースシステム、復号端末装置、リモート端末装置、中継端末装置及び復号方法 | |
| US20120223938A1 (en) | Method and system for providing user control of two-dimensional image depth within three-dimensional display space | |
| KR101189071B1 (ko) | 멀티미디어 단말 및 ｕｓｂ셋탑, 이를 이용한 객체기반 콘텐츠 제공방법 | |
| JP2010258910A (ja) | 表示装置、プログラム、および記録媒体 | |
| Srivastava | Broadcasting in the new millennium: A prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090519 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090714 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091027 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091109 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |