JP2001243496A - シーン記述生成装置及び方法、シーン記述変換装置及び方法、シーン記述記憶装置及び方法、シーン記述復号装置及び方法、ユーザインタフェースシステム、記録媒体並びに伝送媒体 - Google Patents

シーン記述生成装置及び方法、シーン記述変換装置及び方法、シーン記述記憶装置及び方法、シーン記述復号装置及び方法、ユーザインタフェースシステム、記録媒体並びに伝送媒体

Info

Publication number
JP2001243496A
JP2001243496A JP2000055047A JP2000055047A JP2001243496A JP 2001243496 A JP2001243496 A JP 2001243496A JP 2000055047 A JP2000055047 A JP 2000055047A JP 2000055047 A JP2000055047 A JP 2000055047A JP 2001243496 A JP2001243496 A JP 2001243496A
Authority
JP
Japan
Prior art keywords
scene description
description information
scene
information
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000055047A
Other languages
English (en)
Other versions
JP4389323B2 (ja
Inventor
Shinji Negishi
愼治 根岸
Hideki Koyanagi
秀樹 小柳
Yoichi Yagasaki
陽一 矢ケ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000055047A priority Critical patent/JP4389323B2/ja
Priority to EP01104400A priority patent/EP1187000A3/en
Priority to US09/793,152 priority patent/US20020059571A1/en
Publication of JP2001243496A publication Critical patent/JP2001243496A/ja
Priority to US11/419,080 priority patent/US20060198438A1/en
Application granted granted Critical
Publication of JP4389323B2 publication Critical patent/JP4389323B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8453—Structuring of content, e.g. decomposing content into time segments by locking or enabling a set of features, e.g. optional functionalities in an executable program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

(57)【要約】 【課題】 復号能力の異なる端末で復号できるようにす
る。 【解決手段】 サーバ１０１は、入力されるシーン記述
１００を分割する分割単位を示す識別子に基づいてシー
ン記述１００を階層化情報１０６に応じて階層構造を有
するように変換するシーン記述変換装置１０２と、階層
構造を有するシーン記述１００を伝送媒体／記録媒体１
０８を介して復号端末１０５に配信するシーン記述配信
装置１０４と、シーン記述１００を記憶するシーン記述
記憶装置１０３とを有している。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、シーン記述情報を
用いるシーン記述生成装置及び方法、シーン記述変換装
置及び方法、シーン記述記憶装置及び方法、シーン記述
復号装置及び方法、ユーザインタフェースシステム、記
録媒体並びに伝送媒体に関する。
【０００２】
【従来の技術】ディジタルTV放送やDVD（digital video
/versatile disc）、HyperText Markup Language（以
下、HTMLという。)等で記述されたインターネットのホ
ームページ、ISO/IEC14496-1に規定されたシーン記述方
式であるBinary Format for theScene（以下、MPEG-4 B
IFSという。）、ISO/IEC14772に規定されたVirtual Rea
lity Modeling Language（以下、VRMLという。）など、
ユーザ入力によるインタラクションを含むことが可能な
シーン記述方法で記述されたコンテンツがある。このコ
ンテンツのデータを、以下、シーン記述と呼ぶ。シーン
記述には、そのコンテンツ中で使用するオーディオや画
像、コンピュータグラフィックなどのデータも含むもの
とする。
【０００３】シーン記述の例を、VRMLおよびMPEG-4 BIF
Sを例にとって、図１１、図１２、図１３に示す。図１
１は、シーン記述の内容を示す。VRMLでは、シーン記述
は図１１に示すようなテキストデータであり、MPEG-4 B
IFSのシーン記述は、このテキストデータをバイナリに
符号化したものである。VRMLおよびMPEG-4 BIFSのシー
ン記述は、ノードと呼ばれる基本的な記述単位により表
現され、図１１ではノードは下線で示されている。ノー
ドは、表示される物体や物体同士の結合関係等を記述す
る単位であり、ノードの特性や属性を示すためにフィー
ルドと呼ばれるデータを含んでいる。例えば図１１中の
Transformノード３０２は、三次元の座標変換を指定可
能なノードで、そのtranslationフィールド３０３に座
標原点の平行移動量を指定できる。フィールドには他の
ノードを指定可能なフィールドも存在し、シーン記述の
構成は図１２のようなツリー構造を成す。図１２中の楕
円はノードを表し、ノード間の破線はイベントの伝播経
路を表し、ノード間の実線は、ノードの親子関係を表
す。親ノードに対して、その親ノードのフィールドを表
すノードを子ノードと呼ぶこととする。例えば図１１中
のTransformノード３０２は、Transformノードにより座
標変換される子ノード群を示すChildrenフィールド３０
４があり、TouchSensorノード３０５およびShapeノード
３０６が子ノードとしてグルーピングされている。この
ようにChildrenフィールドに子ノードをグルーピングす
るノードを、グルーピングノードと呼ぶ。グルーピング
ノードとは、ISO/IEC14772-1の4.6.5章に定義されてい
るノードで、ノードのリストから成るフィールドを持つ
ノードを指す。ISO/IEC14772-1の4.6.5章に定義されて
いるように、フィールド名がChildrenではない特別な例
外もあるが、以下、Childrenフィールドは、このような
例外も含むものとして説明する。
【０００４】表示する物体をシーン中に配置するには、
物体を表すノードを、属性を表すノードと共にグループ
化し、配置位置を示すノードによりさらにグループ化す
る。図１１中のShapeノード３０６が表している物体
は、その親ノードであるTransformノード３０２によっ
て指定された平行移動を適用されて、シーン中に配置さ
れる。図１１のシーン記述は、球体を表すSphereノード
３０７、立方体を表すBoxノード３１２、円錐を表すCon
eノード３１７および円柱を表すCylinderノード３２２
を含んでおり、シーン記述を復号・表示した結果は図１
３に示すようになる。
【０００５】シーン記述は、ユーザインタラクションを
含むことも出来る。図１１中のROUTEは、イベントの伝
播を表している。ROUTE３２３は、２という識別子を割
り当てられたTouchSensorノード３０５のtouchTimeフィ
ールドが変化した場合に、その値がイベントとして５と
いう識別子を割り当てられたTimeSensorノード３１８の
startTimeフィールドへ伝播する、ということを示して
いる。VRMLではDEFというキーワードに続く任意の文字
列により識別子を表し、MPEG-4 BIFSでは、nodeIDと呼
ばれる数値が識別子として用いられる。TouchSensorノ
ード３０５は、その親ノードであるTransformノード３
０２のChildrenフィールド３０４にグルーピングされて
いるShapeノード３０６をユーザが選択した場合に、選
択した時刻をtouchTimeイベントとして出力する。この
ようにグルーピングノードによって付随したShapeノー
ドと共にグルーピングされて働くセンサーを、以下、Se
nsorノードと呼ぶ。VRMLにおけるSensorノードとは、IS
O/IEC14772-1の4.6.7.3章に定義されているPointing-de
vice sensorsであり、付随したShapeノードとは、Senso
rノードの親ノードにグルーピングされているShapeノー
ドを指す。一方、TimeSensorノード３１８は、startTim
eから1秒間の間、経過時間をfraction_changedイベント
として出力する。
【０００６】ROUTE３２４により、TimeSensorノード３
１８から出力された経過時間を表すfraction_changedイ
ベントは、６という識別子を割り当てられたColorInter
polatorノード３１９のset_fractionフィールドへ伝播
される。ColorInterpolatorノード３１９は、RGB色空間
の値を線形補間する機能を持つ。ColorInterpolatorノ
ード３１９のkeyとkeyValueフィールドは、入力となるs
et_fractionフィールドの値が0の場合にはvalue_change
dとしてRGBの値[000]をイベント出力し、入力となるset
_fractionフィールドの値が1の場合にはvalue_changed
としてRGBの値[111]をイベント出力することを表してい
る。入力となるset_fractionフィールドの値が0と1の間
の場合には、value_changedとしてRGBの値[000]と[111]
の間を線形補完した値をイベント出力する。つまり、入
力となるset_fractionフィールドの値が0.2の場合にはv
alue_changedとしてRGBの値[0.2 0.2 0.2]をイベント出
力する。
【０００７】ROUTE３２５により、線形補間結果の値val
ue_changedは、４という識別子を割り当てられたMateri
alノード３１４のdiffuseColorフィールドへ伝播され
る。diffuseColorは、Materialノード３１４が属してい
るShapeノード３１１が表す物体表面の拡散色を表して
いる。上記のROUTE３２３、ROUTE３２４およびROUTE３
２５によるイベント伝播により、ユーザが表示されてい
る球体を選択した直後から1秒の間、表示されている立
方体のRGB値が、[000]から[111]まで変化するというユ
ーザインタラクションが実現される。このユーザインタ
ラクションは、ROUTE３２３，ROUTE３２４，ROUTE３２
５と、図１２中の太線枠で示したイベントの伝播に関連
するノードにより表されており、このようにユーザイン
タラクションに必要なシーン記述中のデータを、以下、
イベント伝播に必要なデータ、と呼ぶこととする。な
お、太線枠で示した以外は、イベントに関連しないノー
ドである。
【０００８】次に、MPEG-4 BIFSデータの構造を、図１
４、図１５、図１６を用いて説明する。MPEG-4 BIFSで
は、シーン記述を分割して符号化することが可能であ
る。図１４は、4つに分割したシーン記述の例を示して
いる。MPEG-4 BIFSではシーン記述データはバイナリに
符号化されているが、図１４では説明のためにVRMLと同
様のテキストにより表記してある。分割した単位は、Ac
cess Unit（以下、AUという。）と呼ばれる。図１４の
Ａに示すのAU1-1は、球体を表すShapeノード９０１と、
AU3を取り込むためのinlineノード９０３からなるシー
ン記述を含むScene Replace commandである。Scene Rep
lace Commandとは、新しいシーン記述の開始を表すコマ
ンドである。
【０００９】図１４中のＢに示すAU1-2は、立方体を表
すShapeノード９０４を含むNode Insertion commandで
ある。Node Insertion commandとは、既に存在するシー
ン記述中の指定ノードのChildrenフィールドへ、新しい
ノードを挿入するコマンドである。ノードの指定は、ノ
ードの識別子であるnodeIDにより行われる。図１４のAU
1-1におけるGroupノード９００は、nodeID=1を割り当て
られていることを示している。従って、AU1-2のnode in
sertion commandは、AU1-1中のGroupノード９００のChi
ldren fieldへノードを挿入するコマンドである。
【００１０】図１４中のＣに示すAU2は、円錐を表すSha
peノード９０６を含むNode Insertion commandである。
【００１１】図１４中のＤに示すAU3は、円柱を表すSha
peノード９０８を含むScene Replace commandである。A
U3を単独で復号することも可能である。一方でAU1-1中
のinlineノード９０３から参照され、AU1-1のシーン記
述の一部となることも出来る。
【００１２】MPEG-4 BIFSのビットストリーム構造を図
１５に示す。AUは、それぞれ復号してコマンドを有効に
すべき時刻であるDecoding Time Stamp（以下、DTSとい
う。）が指定されている。図１５の例では、図１５のＡ
に示すようにAU1-1とAU1-2がBIFSデータ１に含まれてお
り、図１５のＢに示すようにAU2はBIFSデータ2に、図１
５のＣに示すようにAU3はBIFSデータ3にそれぞれ含まれ
ている。このように、MPEG-4 BIFSのAUデータは、複数
の階層のビットストリームに分割して符号化することが
可能である。
【００１３】図１６に、図１５に示したBIFSデータを復
号して表示した結果を示す。まず、BIFSデータ１のみを
復号する場合、図１６のＡに示すように、時刻DTS1-1に
おいて、AU1-1が復号され、結果としてShapeノード９０
１が示す球体が表示される。inlineノード９０３はBIFS
データ3を読み込むよう指定しているが、BIFSデータ3が
復号に使用出来ない場合は、無視される。次に、時刻DT
S1-2において、AU1-2のNode Insertion commandが復号
され、結果としてShapeノード９０４が表す立方体が挿
入される。このように、基本階層のビットストリームの
みを復号表示することが可能である。
【００１４】BIFSデータ1およびBIFSデータ２を双方と
も復号する場合には、図１６のＢに示すように、時刻DT
S2においてAU2のnode insertion commandが復号され、
結果としてShapeノード９０６が表す円錐が挿入され
る。
【００１５】BIFSデータ1およびBIFSデータ3を双方とも
復号する場合には、図１６のＣに示すように、時刻DTS3
において、AU1-1中のinlineノード９０３によってAU3が
読み込まれるため、Shapeノード９０８が表す円柱が表
示される。全てのBIFSデータを復号に使用する場合は、
図１６のＤに示すように、時刻DTS1-1において球体が表
示され、時刻DTS3において円柱が追加され、時刻DTS2に
おいて円錐が追加され、時刻DTS1-2において立方体が追
加される。
【００１６】ディジタルTV放送やDVD、HTML等で記述さ
れたインターネットのホームページ、MPEG-4 BIFS、VRM
Lなど、ユーザ入力によるインタラクションを含むこと
が可能なシーン記述方法で記述されたコンテンツのシー
ン記述を視聴する際のシステム例を図１７に示す。
【００１７】サーバＡ０１は、入力されたシーン記述Ａ
００もしくはシーン記述記憶装置Ａ１７から読み出した
シーン記述を、シーン記述配信装置Ａ１８により、外部
の複数の復号端末Ａ０５へ伝送媒体・記録媒体Ａ０８を
介して配信する。サーバＡ０１とは、インターネットサ
ーバやホームサーバ、PC等である。復号端末Ａ０５は、
シーン記述Ａ００を受信して表示する。この際に、復号
端末Ａ０５が入力のシーン記述Ａ００に対して充分な復
号能力および表示能力を備えているとは限らず、また配
信に充分な伝送媒体の伝送容量や記録媒体の記録容量お
よび記録速度が確保されているとは限らないという問題
がある。
【００１８】ユーザ入力によるインタラクションを含む
ことが可能なシーン記述方法で記述されたコンテンツの
シーン記述を視聴する際の、復号端末がユーザインタラ
クションを受け付ける機能を持ったリモート端末である
例を図１８に示す。
【００１９】サーバＢ０１がシーン記述復号装置Ｂ０９
を備える場合には、シーン記述Ｂ００入力を復号し、復
号済シーンＢ１６を表示端末Ｂ１７に表示させる。一方
で、サーバＢ０１はシーン記述Ｂ００をシーン記述配信
装置Ｂ０４を介してリモート端末Ｂ０５へ送信する。シ
ーン記述Ｂ００は、一旦シーン記述記憶装置Ｂ０３に記
憶されることもある。リモート端末Ｂ０５は、復号端末
であるだけでなく、ユーザ入力Ｂ１２を受け付け、サー
バＢ０１へ送信する機能を持つ。リモート端末Ｂ０５
は、シーン記述Ｂ００をシーン記述受信装置Ｂ０４ｂに
より受信し、シーン記述復号装置Ｂ０９ｂにより復号
し、表示装置Ｂ１０により表示する。シーン記述Ｂ００
は、一旦シーン記述記憶装置Ｂ０３ｂに記憶されること
もある。リモート端末Ｂ０５はユーザ入力装置Ｂ１１に
よりユーザ入力Ｂ１２を受け付け、ユーザの選択位置な
どを表すユーザ入力情報Ｂ１３としてシーン記述復号装
置Ｂ０９ｂへ送る。シーン記述復号装置Ｂ０９ｂは、ユ
ーザ入力情報Ｂ１３に基づいてシーン記述Ｂ００を復号
することにより、ユーザ入力Ｂ１２を反映した復号結果
が表示装置Ｂ１０に表示される。一方で、リモート端末
Ｂ０５はユーザ入力情報Ｂ１３を送信装置Ｂ１４ｂを介
してサーバＢ０１へ送信する。サーバＢ０１がシーン記
述復号装置Ｂ０９を備える場合には、サーバのシーン記
述復号装置Ｂ０９においても、ユーザ入力情報Ｂ１３に
基づいてシーン記述Ｂ００を復号することにより、ユー
ザ入力Ｂ１２を反映した復号済シーンＢ１６が表示端末
Ｂ１７に表示される。サーバＢ０１自体はシーン記述復
号装置Ｂ０９を持たず、シーン記述Ｂ００およびユーザ
入力情報Ｂ１３を外部の復号端末へ配信することもあ
る。
【００２０】図１８のようなユーザインタフェースシス
テムを、被制御機器の制御を行うためのリモートコント
ロールシステムとして使用することを考える。シーン記
述Ｂ００は、機器制御のためのメニューを記述する。ユ
ーザ入力情報Ｂ１３は、機器制御信号生成装置Ｂ１５に
より機器制御信号Ｂ１８に変換され、被制御機器Ｂ１９
へ送られる。被制御機器Ｂ１９がサーバＢ０１自体であ
っても良い。図示していないが、シーン記述Ｂ００中に
ユーザ入力から機器制御情報への対応づけが含まれてい
る場合には、ユーザ入力情報Ｂ１３は一度シーン記述復
号装置Ｂ０９により機器制御情報に変換されてから、機
器操作信号生成装置Ｂ１５へ送られることもある。ま
た、機器操作信号生成装置Ｂ１５がリモート端末Ｂ０５
に備わっており、リモート端末Ｂ０５から被制御機器Ｂ
１９へ機器制御信号Ｂ１８が送られる場合もある。
【００２１】
【発明が解決しようとする課題】ディジタルTV放送やDV
D、HTML等で記述されたインターネットのホームペー
ジ、MPEG-4 BIFS、VRMLなど、ユーザ入力によるインタ
ラクションを含むことが可能なシーン記述方法で記述さ
れたコンテンツのシーン記述を、サーバが復号端末へ配
信する際、復号端末の復号および表示能力が劣っている
場合に、シーン記述を正しく復号することが出来ない。
また、シーン記述を伝送するための伝送媒体の伝送容量
が低い場合や、記録するための記録媒体の記録容量や記
録速度が低いと、シーン記述を正しく配信することが出
来ないという問題もある。
【００２２】従って、復号および表示性能の異なる復号
端末へシーン記述を配信する際には、最も性能の劣る復
号端末および伝送媒体・記録媒体に合せたシーン記述を
使用することになる。復号端末の性能に合せて適応的に
シーン記述を選択して使用したいという要求があるが、
従来技術では、復号端末の性能を予想してシーン記述を
符号化しておくしかなかった。従って、復号端末の性能
が動的に変更する場合や、シーン記述の配信に使用する
伝送媒体の伝送容量もしくは記録媒体の記録容量や記録
速度が動的に変化する場合には対応できなかった。
【００２３】また、復号端末がユーザインタラクション
を受け付ける機能を持ったリモート端末であり、リモー
ト端末を機器制御のためのリモートコントローラとして
使用するような際には、リモート端末へ表示させる機器
制御のためのメニューを記述したシーン記述は、リモー
ト端末の復号・表示能力に依存して作成しなければ成ら
ない。従って、復号・表示能力が拡張されたリモート端
末が使用可能に成った場合にも、復号・表示能力が劣る
リモート端末との後方互換性を確保するためには、能力
の劣るリモート端末に合せた機器制御のためのメニュー
を記述したシーン記述を使用しなければ成らないという
問題がある。
【００２４】本発明は、上述の実情に鑑みて提案される
ものであって、復号端末の能力が劣っている場合や、伝
送媒体の伝送容量が低い場合や、記録媒体の記録容量や
記録速度が低い場合や、復号端末の性能が動的に変更す
る場合や、伝送媒体の伝送容量もしくは記録媒体の記録
容量や記録速度が動的に変化する場合や、復号・表示能
力が劣るリモート端末の後方互換性を確保する必要があ
る場合に対して、適用することができるようなシーン記
述生成装置及び方法、シーン記述変換装置及び方法、シ
ーン記述記憶装置及び方法、シーン記述復号装置及び方
法、ユーザインタフェースシステム、記録媒体並びに伝
送媒体を提供することを目的とする。
【００２５】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係るシーン記述生成装置は、シーン記述
情報を生成するシーン記述生成装置において、シーン記
述のシナリオをシーン記述情報に符号化する符号化手段
を有し、上記符号化手段は、シーン記述情報を分割する
分割単位を示す識別子を含んで符号化するものである。
【００２６】本発明に係るシーン記述生成方法は、シー
ン記述情報を生成するシーン記述生成方法において、シ
ナリオをシーン記述情報に符号化する符号化工程を有
し、上記符号化工程は、シーン記述情報を分割する分割
単位を示す識別子を含んで符号化するものである。
【００２７】本発明に係るシーン記述変換装置は、シー
ン記述情報を変換するシーン記述変換装置において、入
力されたシーン記述情報を階層構造を有するシーン記述
情報に変換する変換手段を有するものである。
【００２８】本発明に係るシーン記述変換方法は、シー
ン記述情報を変換するシーン記述変換方法において、入
力されたシーン記述情報を階層構造を有するシーン記述
情報に変換する変換工程を有するものである。
【００２９】本発明に係るシーン記述記憶装置は、シー
ン記述情報を記憶するシーン記述記憶装置において、階
層構造を有するシーン記述情報を記憶する記憶手段と、
上記記憶手段に記憶されたシーン記述情報について、基
本的な階層のシーン記述情報を保存し、削除すべきデー
タ量に達するまでの階層のシーン記述情報のみを削除す
る削除手段とを有するものである。
【００３０】本発明に係るシーン記述記憶方法は、シー
ン記述情報を記憶するシーン記述記憶方法において、階
層構造を有するシーン記述情報を記憶する記憶工程と、
上記記憶工程に記憶されたシーン記述情報について、基
本的な階層のシーン記述情報を保存し、削除すべきデー
タ量に達するまでの階層のシーン記述情報のみを削除す
る削除工程とを有するものである。
【００３１】本発明に係るシーン記述復号装置は、シー
ン記述情報を復号するシーン記述復号装置において、階
層構造を有するシーン記述情報が入力され、復号可能な
階層までのシーン記述情報を復号する復号手段を有する
ものである。
【００３２】本発明に係るシーン記述復号方法は、シー
ン記述情報を復号するシーン記述復号方法において、階
層構造を有するシーン記述情報が入力され、復号可能な
階層までのシーン記述情報を復号する復号工程を有する
ものである。
【００３３】本発明に係るユーザインタフェースシステ
ムは、ユーザインストラクションを含むシーン記述情報
を用いるユーザインタフェースシステムにおいて、シー
ン記述情報をシーン記述情報に変換する変換手段と、シ
ーン記述情報を復号する復号手段とを有するサーバと、
シーン記述情報を復号する復号手段と、シーンを表示す
る表示手段と、ユーザ入力情報が入力される入力手段と
を有するリモート端末とを有し、上記サーバは入力され
たシーン記述情報をその変換手段で階層構造を有するシ
ーン記述情報に変換して上記リモート端末に送り、上記
リモート端末は上記サーバから送られ上記シーン記述情
報をその復号手段にて復号可能な階層まで復号してその
表示手段に表示し、この表示に応じてその入力手段に入
力されたユーザ入力情報を上記サーバに送り、上記サー
バはこのユーザ入力情報に基づいてその復号手段にてシ
ーン記述情報を復号するものである。
【００３４】本発明に係る記録媒体は、ユーザインタラ
クションを含むシーン記述情報が記録された記録媒体に
おいて、上記シーン記述情報はシーン記述情報を分割す
る分割単位を示す識別子を含んで符号化されたものであ
る。
【００３５】本発明に係る伝送媒体は、ユーザインタラ
クションを含むシーン記述情報が伝送される伝送媒体に
おいて、上記シーン記述情報をシーン記述情報を分割す
る分割単位を示す識別子を含んで符号化されたものであ
る。
【００３６】このように、本発明においては、シーン記
述情報を階層化した複数のシーン記述データへ変換する
ことを特徴とする。シーン記述情報を配信する際、復号
能力および表示能力に合せて、適当な階層までのシーン
記述データを配信することにより、シーン記述情報を正
しく復号・表示することが可能となる。
【００３７】また、配信に使用する伝送媒体の伝送容量
に合せて、適当な階層までのシーン記述データを配信す
ることにより、シーン記述を正しく伝送することを可能
とする。
【００３８】シーン記述情報の階層化を行うことによ
り、復号端末の性能が動的に変化したり、シーン記述情
報の配信に使用する伝送媒体の伝送容量が動的に変化す
る場合にも、適応的にシーン記述情報を変換することが
可能となる。
【００３９】一方で、復号能力や伝送容量が未知である
場合にも、シーン記述情報を複数の階層に分割したシー
ン記述情報へ変換しておくことにより、配信時に伝送可
能な階層のシーン記述情報までを配信し、復号・表示可
能な階層のシーン記述情報までを復号・表示することに
より、復号・表示能力に適した配信を実現することが可
能となる。
【００４０】復号・表示能力が拡張されたリモート端末
が使用可能になった際に、復号・表示能力が劣るリモー
ト端末に合せた階層と、復号・表示能力が拡張されたリ
モート端末に合せた階層の複数のシーン記述データへ変
換することが可能であるため、復号・表示能力が劣るリ
モート端末との後方互換性を確保することが可能とな
る。
【００４１】さらに、シーン記述の階層化を行うことを
前提に、階層化のためのヒントとなる情報を出力するこ
とにより、階層化処理を容易にし、かつ、階層化の優先
順位を指定することを可能とする。
【００４２】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。
【００４３】まず、本発明の第１の実施の形態として、
シーン記述配信 視聴システムについて図１を用いて説
明する。
【００４４】このシーン記述配信 視聴システムは、入
力されたシーン記述情報であるシーン記述１００を変換
して配信するサーバ１０１と、伝送媒体／記録媒体１０
８を介してサーバ１０１からシーン記述１００の配信を
受けると共に伝送媒体／記録媒体１０８を介してサーバ
１０１に復号端末情報１０７を送る復号端末１０５とを
有している。
【００４５】サーバ１０１は、入力されたりシーン記述
記憶装置１０３から送られたシーン記述１００を階層化
情報１０６に基づいて変換するシーン記述変換装置１０
２と、入力されたシーン記述１００を記憶するシーン記
述記憶装置１０３と、シーン記述変換装置１０２やシー
ン記述記憶装置１０３からのシーン記述１００を伝送媒
体／記録媒体１０８を介して復号端末１０５に配信する
と共に伝送媒体／記録媒体１０８を介して復号端末１０
５から送られた復号端末情報１０７を受けてシーン記述
変換装置１０２に階層化情報１０６を送るシーン記述配
信装置１０４とを有している。
【００４６】このシーン記述配信 視聴システムは、シ
ーン記述を配信するサーバ１０１が、シーン記述変換装
置１０２を備えることを特徴とする。サーバ１０１は、
シーン記述１００を配信する際に、復号端末１０５の復
号・表示能力を示す復号端末情報１０７を得る。
【００４７】復号端末情報１０７とは、復号端末がシー
ン記述１００を表示する際の画枠や、ノード数の上限、
ポリゴン数の上限、含まれるオーディオやビデオなどの
メディアデータの上限など、復号端末１０５の復号・表
示能力を示す情報である。復号端末情報１０７の他に、
シーン記述１００の配信に使用する伝送媒体／記録媒体
１０８の伝送容量／記録速度や記録容量を表す情報を加
えた階層化情報１０６をシーン記述変換装置１０２へ入
力する。
【００４８】シーン記述変換装置１０２は、上記階層化
情報１０６に基づいて、シーン記述１００入力を、階層
構造を成すシーン記述１００データへ変換する。シーン
記述１００入力および変換済みの階層化されたシーン記
述１００は、シーン記述記憶装置１０３に記憶されるこ
ともある。
【００４９】階層化情報１０６に基づいてシーン記述１
００を変換することにより、シーン記述配信装置１０４
は、配信に使用する伝送媒体／記録媒体１０８に適した
シーン記述１００データを配信することが可能となる。
さらに、シーン記述配信装置１０４は復号端末１０５の
性能に合せたシーン記述１００を配信することが可能と
なる。
【００５０】シーン記述変換装置１０２におけるにおけ
る処理手順を図２に示す。
【００５１】ステップＳ２００においては、シーン記述
１００を、分割候補単位に分割する。図２においては、
分割候補の番号をnで表す。また、シーン記述変換装置
１０２は、入力のシーン記述１００を、複数の階層から
成るシーン記述１００データへ変換するため、出力とな
るシーン記述１００データの階層をmで表す。階層の番
号mは0から開始し、番号が小さいほど基本的な階層を表
すものとする。
【００５２】ステップＳ２０１においては、階層化情報
１０６に基づいて、分割候補nを現在の階層として出力
可能であるか判断する。例えば、階層化情報１０６によ
って現在の階層に許されるデータのバイト数が制限され
る場合には、分割候補nを加えても現在の階層の出力シ
ーン記述が上記制限されるバイト数以下であるかを調べ
る。分割候補nを現在の階層に出力不可と判断された場
合にはステップＳ２０２へ進む。出力可能ならばステッ
プＳ２０２を行わずにステップＳ２０３へ進む。
【００５３】ステップＳ２０２においては、階層の番号
mを1進める。つまり、現在の階層mへの出力を終了し、
以降は新しい階層のシーン記述１００データへ出力する
こととする。そして、ステップＳ２０３へ進む。
【００５４】ステップＳ２０３においては、現在の階層
mへ、分割候補nを出力する。そして、２０４へ進む。
【００５５】ステップＳ２０４においては、全ての分割
候補を処理したならば、変換処理を終了する。まだ分割
候補が残っているならば、ステップＳ２０５へ進む。
【００５６】ステップＳ２０５においては、分割候補の
番号nを1進める。つまり、次の分割候補を処理対象とす
る。そして、ステップＳ２０１から処理を繰り返す。
【００５７】MPEG-4 BIFSを例に取り、図２に示したシ
ーン記述変換処理手順を、図３を用いて説明する。説明
のために、シーン記述変換装置１０２へ入力するシーン
記述１００は図１１と同様の場合を例にする。
【００５８】まず、図２の手順に示したステップＳ２０
０により、シーン記述１００を分割候補単位へ分割す
る。従来技術として知られているNode Insertion comma
ndを用いるために、グルーピングノードのChildrenフィ
ールドを分割単位とする。ただし、ユーザインタラクシ
ョンのためのイベント伝播に必要なデータは分割しない
とすると、図３に示す3つの分割候補Ｄ０，Ｄ１，Ｄ２
となる。
【００５９】入力シーン記述中の最上位ノードであるGr
oupノード３００を含む分割単位を、n=0の分割候補Ｄ０
とする。Transformノード３１５以下のノードをn=1の分
割候補Ｄ１とする。n=1の分割候補Ｄ１中のShapeノード
３１６は、グルーピングノードであるTransformノード
３１５のChildrenフィールドであるため、別個の分割候
補とすることも可能である。
【００６０】ただし、この例ではTransformノード３１
５がShapeノード３１６以外のChildrenフィールドを持
たないことから、Shapeノード３１６を別の分割候補に
はしていない。Transformノード３２０以下のノードをn
=2の分割候補Ｄ２とする。同様に、Shapeノード３２１
以下を別の分割候補としても良い。
【００６１】n=0の分割候補Ｄ０は、階層m=0へ必ず出力
される。n=1の分割候補Ｄ１は、図２のステップＳ２０
１により、階層化情報１０６に基づいて、m=0の階層へ
出力可能であるか判断する。
【００６２】図４は、階層化情報１０６により、出力す
るシーン記述１００データの階層に許されるデータ量が
指定される場合の判断例を示す。図４中のＡの例では、
階層m=0にn=1の分割候補Ｄ１も出力したとすると、階層
m=0に許されているデータ量を上回ってしまうことか
ら、n=1の分割候補Ｄ１を階層m=0へ出力不可と判断す
る。
【００６３】従って、図２のステップＳ２０２の手順に
より、図４中のＢに示す階層m=0の出力はn=0の分割候補
Ｄ０のみを含むと決定され、以降は階層m=1に出力する
こととする。ステップＳ２０３の手順により、階層m=1
へn=1の分割候補Ｄ１を出力する。
【００６４】次のn=2の分割候補Ｄ２についても同様の
手順を行うと、図４中のＡに示すように、階層m=1にn=2
の分割候補Ｄ２を出力しても、階層m=0と階層m=1の合計
に許されるデータ量を超過しないため、図４中のＣに示
すように、n=2の分割候補Ｄ２は、n=1の分割候補Ｄ１と
同じ階層m=1へ出力することが決定される。
【００６５】上記の手順により、シーン記述変換装置１
０２は、入力のシーン記述１００を、図４中のＢに示す
階層m=0の変換済みシーン記述データ出力と図４中のＣ
に示す階層m=1の変換済みシーン記述データ出力との２
階層から成るシーン記述１００データ出力へと変換す
る。
【００６６】図５中のＡに示したシーン記述１００の変
換例は、図４のＡと同様のシーン記述１００入力に対し
て、異なる階層化情報１０６に基づいて変換を行った結
果、３階層から成るシーン記述１００データ出力へと変
換された例を示している。
【００６７】すなわち、図５中のＡに示したシーン記述
１００は、図４の場合と同様にして、図５中のＢに示す
階層m=0の変換済みシーン記述データ出力、図５中のＣ
に示す階層m=1の変換済みシーン記述データ出力、図５
中のＤに示す階層m=2の変換済みデータ出力に変換され
る。
【００６８】この変換結果例において、シーン記述１０
０の配信に使用する伝送媒体／記録媒体１０８の伝送容
量／記録容量や記録速度が低く、階層m=0に許されるデ
ータ量までしか伝送できない伝送媒体／記録媒体１０８
に対しては、シーン記述配信装置１０４は、図５中のＢ
に示す階層m=0のシーン記述１００データのみを配信す
る。
【００６９】階層m=0のシーン記述１００のみであって
も、ユーザインタラクションのためのイベント伝播に必
要なデータは分割されていないために、復号端末１０５
において、変換前と同様のユーザインタラクションが実
現できる。
【００７０】また、伝送容量が、m=0およびm=1の階層を
合計したデータ量に対して充分である伝送媒体／記録媒
体１０８に対しては、シーン記述配信装置１０４は、図
５中のＢに示したm=0およ図５中のＣに示したびm=1双方
の階層のシーン記述１００データを配信する。
【００７１】階層m=1のシーン記述１００データは、Nod
e Insertion commandにより階層m=0のシーン記述１００
に挿入されるため、復号端末１０５においては変換前と
同様のシーン記述１００を復号し、表示することが可能
である。
【００７２】シーン記述変換装置１０２は時間変化する
階層化情報１０６に基づいてシーン記述１００を変換す
ることにより、伝送媒体／記録媒体１０８の伝送容量／
記録容量／記録媒体が動的に変化する場合にも適応する
ことが可能となった。なお、伝送媒体／記録媒体１０８
に変換したシーン記述１００データを記録する場合にも
同様の効果がある。
【００７３】また、図５の変換結果例において、シーン
記述１００を受信して復号・表示する復号端末１０５の
復号・表示能力が低く、階層m=0に許されるデータ量ま
でしか復号・表示できない復号端末１０６に対しては、
シーン記述配信装置１０４は、図５中のＢに示した階層
m=0のシーン記述１００データのみを配信する。
【００７４】階層m=0のシーン記述１００のみであって
も、ユーザインタラクションのためのイベント伝播に必
要なデータは分割されていないために、復号端末１０５
において、変換前と同様のユーザインタラクションが実
現できる。
【００７５】また、復号・表示能力が、m=0およびm=1の
階層を合計したデータ量に対して充分である復号端末１
０５に対しては、シーン記述配信装置１０４は、図５中
のＢに示したm=0および図５中のＣに示したm=1双方の階
層のシーン記述データを配信する。
【００７６】階層m=1のシーン記述１００データは、Nod
e Insertion commandにより階層m=0のシーン記述１００
に挿入されるため、復号端末１０５においては変換前と
同様のシーン記述１００を復号し、表示することが可能
である。
【００７７】シーン記述変換装置１０２は時間変化する
復号端末情報１０７に基づいてシーン記述１００を変換
することにより、復号端末１０５の復号および表示能力
が動的に変化したり、あらたな性能を持つ復号端末１０
５が配信対象に加えられた場合にも適応することが可能
となった。
【００７８】MPEG-4 BIFSにおいては、シーン記述１０
０を階層化するために、図１４を用いて説明したように
ノードを挿入するコマンドを使用しても良いし、Inline
ノードを使用しても良い。また、ISO/IEC14772-1の4.9
章に記載のEXTERNPROTOを使用しても良い。
【００７９】EXTERNPROTOとは、外部のシーン記述デー
タ中でPROTOと呼ばれるノード定義方法により定義した
ノードを参照する方法であり、MPEG-4 BIFSにおいてもV
RMLと同様にEXTERNPROTOを使用することが出来る。
【００８０】ところで、ISO/IEC14772-1の4.6.2章に記
載のDEF/USEは、ノードにDEFにより名前を付け、シーン
記述１００中の他の場所からUSEによりDEFしたノードを
参照することを可能としている。
【００８１】MPEG-4 BIFSにおいてもノードにnodeIDと
呼ばれる数値の識別子をDEFと同様に付け、シーン記述
１００中の他の場所からnodeIDを指定することによりUS
Eと同様に使用するというVRMLと同様の参照が可能であ
る。
【００８２】従って、シーン記述１００を階層化する際
に、ISO/IEC14772-1の4.6.2章に記載のDEF/USEを使用し
ている部分を異なる分割候補に分割しなければ、USEか
らDEFしたノードへの参照関係を壊すこと無く、シーン
記述変換を行うことが可能である。
【００８３】図４および図５では、階層化情報１０６と
して、各階層に許されるデータ量を用いた例を示した
が、階層化情報はシーン記述１００中の分割候補をある
階層のシーン記述１００データに含めて良いか判断でき
る情報であれば良く、例えば階層中に含まれるノード数
の上限や、階層中に含まれるコンピュータグラフィック
スにおけるポリゴンデータの数などでも良く、階層中に
含まれるオーディオやビデオなどのメディアデータの制
限でも良く、また複数の階層化情報１０６を組み合わせ
ても良い。
【００８４】シーン記述変換装置１０２により入力のシ
ーン記述１００を複数の階層構造を成すシーン記述１０
０データに変換したことにより、シーン記述１００をシ
ーン記述記憶装置１０３において記憶しておく際に、シ
ーン記述記憶装置１０３の記憶容量を節約する目的で、
シーン記述１００の階層構造を利用することが可能であ
る。
【００８５】従来技術では、シーン記述１００データを
シーン記述記憶装置１０３から削除する際には、シーン
記述１００データ全てを削除する以外に方法が無く、そ
のシーン記述１００が記述していたコンテンツの情報は
完全に失われてしまう。
【００８６】しかし、シーン記述変換装置１０２により
シーン記述１００を複数の階層から成るシーン記述１０
０データに変換しておき、データを削除する際には、削
除すべきデータ量に達するまでの階層のシーン記述１０
０データのみを削除することにより、そのシーン記述１
００が記述していたコンテンツの情報の一部を保存して
おくことが可能となる。
【００８７】本実施の形態は、シーン記述方法の種類に
依存しない。分割可能なあらゆるシーン記述方法におい
て有効である。
【００８８】次に、本実施の第２の実施の形態として、
シーン記述配信・視聴システムについて、図６を用いて
説明する。
【００８９】このシーン記述配信 視聴システムは、入
力されたシーン記述情報であるシーン記述４００を変換
して配信するサーバ４０１と、伝送媒体／記録媒体４０
８を介してサーバ４０１からシーン記述４００の配信を
受ける復号端末４０５とを有している。
【００９０】サーバ４０１は、入力されたりシーン記述
記憶装置４０３から送られたシーン記述４００を入力さ
れた階層化情報４０６に基づいて変換するシーン記述変
換装置４０２と、入力されたシーン記述４００を記憶す
るシーン記述記憶装置４０３と、シーン記述変換装置４
０２やシーン記述記憶装置４０３からのシーン記述４０
０を伝送媒体／記録媒体４０８を介して復号端末４０５
に配信するシーン記述配信装置４０４とを有している。
【００９１】図１に示した第１の実施の形態のシーン記
述配信・視聴システムとの違いは、シーン記述変換装置
がシーン記述を階層化する際に、復号端末や伝送媒体／
記録媒体の情報に基づかない点である。
【００９２】第２の実施の形態におけるシーン記述変換
装置４０２は、復号端末４０５や伝送媒体／記録媒体４
０８の情報無しで、入力となるシーン記述４００を、予
め定めた階層化情報４０６に基づいて階層構造を成すシ
ーン記述４００データへ変換する。
【００９３】階層化情報４０６は、例えば各階層のシー
ン記述４００データに許されるデータ量やノード数の上
限など、第１の実施の形態において階層化情報に基づい
て定めていた値と同様であるが、予め定めた値を用い
る。
【００９４】シーン記述配信装置４０４は、配信時に、
伝送媒体４０８／記録媒体４０８の伝送容量／記録容量
や記録速度に適した階層までのシーン記述４００データ
を配信する。
【００９５】第１の実施の形態と同様に復号端末情報が
得られる場合には、復号端末４０５の復号および表示性
能に適した階層までのシーン記述４００データを配信す
る。復号端末情報が得られない場合には、伝送および記
録可能な全ての階層のシーン記述４００データを伝送も
しくは記録する。
【００９６】復号端末４０５は、受信した複数の階層か
ら成るシーン記述４００データの内、復号・および表示
可能な階層までのシーン記述４００データを復号し、表
示する。
【００９７】復号端末４０５性能および伝送媒体／記録
媒体４０８の伝送容量／記録容量や記録速度が未知であ
る場合にも、シーン記述変換装置４０２によってシーン
記述４００を複数の階層に分割したシーン記述４００へ
変換しておくことにより、配信時に伝送可能な階層のシ
ーン記述４００データまでを配信し、復号端末４０５に
おいて復号・および表示可能な階層のシーン記述４００
データまでを復号・表示することにより、復号端末４０
５および伝送媒体／記録媒体４０８に適した配信を実現
することが可能となった。
【００９８】次に、本発明の第３の実施の形態として、
ユーザインタラクションを受け付ける機能を有すユーザ
インタフェースシステムシステムについて、図７を用い
て説明する。
【００９９】このユーザインタフェースシステムは、入
力されたシーン記述情報であるシーン記述５００を変換
するサーバ５０１と、サーバ５０１から送られたシーン
記述５００を表示してこの表示に応じたユーザ入力５１
２を受けるリモート端末５０５と、サーバ５０１から送
られた復号済シーン５１２を表示する表示端末５１７
と、サーバ５０１から送られた機器制御信号５１８によ
り制御を受ける被制御機器５１８を有している。
【０１００】サーバ５０１は、入力されたシーン記述５
００を階層化情報５０６に応じて変換するシーン記述変
換装置５０２と、シーン記述変換装置５０２からのシー
ン記述５００を記憶するシーン記述記憶装置５０３と、
シーン記述変換装置５０２からのシーン記述５００をユ
ーザ入力情報５１３に基づいて復号するシーン記述復号
装置５０９と、ユーザ入力情報５１３に基づいて機器制
御信号５１８を生成する機器操作信号生成装置５１５と
を有している。
【０１０１】また、サーバ５０１は、シーン記述変換装
置５０２やシーン記述記憶装置５０３からのシーン記述
５００を伝送媒体／記録媒体５０８を介してリモート端
末５０５に配信すると共にリモート端末５０５から伝送
媒体／記録媒体５０８を介して送られた復号端末情報５
０７を受けてシーン記述変換装置５０２に送るシーン記
述配信装置５０４と、リモート端末５０５から伝送媒体
／記録媒体５０８を介して送られたユーザ入力情報５１
３を受けてシーン記述復号装置５０９や機器操作信号生
成装置５１５に送る受信装置５１４とを有している。
【０１０２】第３の実施の形態は、図１８により説明し
たように、ユーザ入力５１２によるインタラクションを
含むことが可能なシーン記述方法で記述されたシーン記
述５００を視聴する際の、復号端末がユーザインタラク
ションを受け付ける機能を持ったリモート端末５０５で
ある場合に、シーン記述変換装置５０２をサーバ５０１
が備えることを特徴とする。
【０１０３】図１８および図７のようなユーザインタフ
ェースシステムは、被制御機器５１９の制御を行うため
のリモートコントロールシステムとして使用することも
考えられる。
【０１０４】シーン記述５００は、機器制御のためのメ
ニューを記述する。ユーザ入力情報５１３は、機器制御
信号生成装置５１５により機器制御信号５１８に変換さ
れ、被制御機器５１９へ送られる。
【０１０５】図１８に示したリモート端末Ｂ０５とサー
バＢ０１においては、リモート端末Ｂ０５へ表示させる
機器制御のためのメニューを記述したシーン記述Ｂ００
は、リモート端末Ｂ０５の復号・表示能力に依存して作
成しなければ成らない。
【０１０６】従って、復号・表示能力が拡張されたリモ
ート端末Ｂ０５が使用可能に成った場合にも、復号・表
示能力が劣るリモート端末Ｂ０５との後方互換性を確保
するためには、能力の劣るリモート端末Ｂ０５に合せた
機器制御のためのメニューを記述したシーン記述Ｂ００
を使用しなければ成らないという問題があった。
【０１０７】また、同時に複数のリモート端末Ｂ０５へ
シーン記述Ｂ００を配信する際には、最も性能の劣るリ
モート端末Ｂ０５に合せたシーン記述Ｂ００しか使用で
きないという問題点もあった。
【０１０８】図７に示したサーバ５０１が備えるシーン
記述変換装置５０２は、第１の実施の形態のシーン記述
変換装置１０２および第２の実施の形態のシーン記述変
換装置４０２と同様の動作を行う。
【０１０９】従って、シーン記述５００配信に使用する
伝送媒体／記憶媒体５０８の伝送容量／記録容量や記録
速度、およびリモート端末５０５の復号・表示性能に基
づいて最適な階層までのシーン記述５００をリモート端
末５０５へ配信することが可能となる。
【０１１０】サーバ５０１がシーン記述変換装置５０２
を備えることにより、シーン記述５００生成の段階では
リモート端末５０５の性能が未知でも良く、また、性能
の異なるリモート端末５０５を混在させたり、追加した
りしても、後方互換性を失うこと無く、それぞれのリモ
ート端末５０５に最適なシーン記述５００を配信するこ
とが可能である。
【０１１１】次に第４の実施の形態として、シーン記述
を生成するシーン記述生成装置について、図８を用いて
説明する。
【０１１２】このシーン記述生成装置６２０は、入力さ
れたシナリオ６２１を符号化してシーン記述情報である
シーン記述６００とするシーン記述符号化装置６２２
と、シーン記述符号化装置６２２からのシーン記述６２
０を記憶するシーン記述記憶装置６０３とを有してい
る。
【０１１３】シーン記述生成装置６２０のシーン記述符
号化装置６２２やシーン記述記憶装置６０３から出力さ
れたシーン記述６００は、伝送媒体／記録媒体６０８を
介してサーバ６０１に送られる。
【０１１４】シーン記述生成装置６２０は、シーン記述
符号化装置６２２を備え、どのようなシーンを記述する
かを示すシナリオ６２１を入力とし、シーン記述６００
を生成する。シーン記述６００は、テキストデータの場
合も、バイナリデータの場合もある。
【０１１５】シーン記述符号化装置６２２は後述する階
層情報６２３も出力する。シーン記述６００および階層
情報６２３は、シーン記述記憶装置６０３に記憶される
こともある。生成されたシーン記述６００および階層情
報６２３は、伝送媒体／記録媒体６０８を介して、サー
バ６０１へ入力される。
【０１１６】サーバ６０１は、図１に示した第１の実施
の形態のサーバ１０１、図６に示した第２の実施の形態
のサーバ４０１、図７に示した第３の実施の形態のサー
バ５０１に対応している。
【０１１７】シーン記述符号化装置６２２は、シーン記
述６００を受信するサーバ６０１においてシーン記述６
００を階層構造から成るシーン記述６００データへ変換
する際に、図２のステップＳ２００に示した手順におい
て分割すべき分割単位を予め定め、判別可能としておく
ことが特徴である。
【０１１８】図９は、VRMLを例に取り、シーン記述符号
化装置６２２が出力するシーン記述６００を説明するも
のである。説明のために、シーン記述６００の内容は図
３と共通としている。
【０１１９】第４の実施の形態のシーン記述符号化装置
６２２は、シーン記述変換装置においてシーン記述を階
層構造から成るシーン記述データへ変換する際に図２の
ステップＳ２００の手順で分割すべき分割単位に、シー
ン記述６００を生成する段階で予め識別子を付けてお
く。
【０１２０】図９の例では、DEFキーワードでノードに
付けることが可能な識別子を使用している。同時に、シ
ーン記述符号化装置６２２は、図１０に示すように分割
候補を示す識別子と、階層化する際の優先順位を示す階
層情報６２３を出力する。
【０１２１】図９に示すシーン記述６００と図１０に示
す階層情報６２３を入力とする第１の実施の形態から第
３の実施の形態までのシーン記述変換装置は、図２のス
テップＳ２００の手順でシーン記述を分割候補単位へ分
割する際に、階層情報６２３に示された識別子の割り当
てられた部分を分割候補とする。
【０１２２】図９に示した例においては、7という識別
子を付けられたTransformノード３１５と、8という識別
子を付けられているTransformノード３２０と、1という
識別子を付けられているGroupノード３００から上記Tra
nsformノード３１５および３２０を除いた部分と、の３
つの分割単位に分割される。
【０１２３】以降は、図２に示した手順と同様の手順に
より、シーン記述変換を行う。ただし、階層化を行う際
に、分割候補の優先順位が階層情報に含まれているた
め、図１０に示した階層情報６２３の例では、最初の階
層に、1という識別子を付けられていた分割候補Ｄ０を
用い、次に7という識別子を付けられていた分割候補Ｄ
１を用い、3番目に8という識別子を値を付けられていた
分割候補Ｄ２が使用される。
【０１２４】シーン記述生成装置６２０が、予め分割単
位を示す識別子をシーン記述６００中に符号化している
ため、シーン記述変換を行う際の分割処理が容易になる
上、分割単位の優先順位を、シーン記述６００を生成す
る段階で指定することが可能となる。
【０１２５】従って、より重要な部分を予め優先順位の
高い分割単位として階層情報６２３に指定しておくこと
により、より基本的な階層に重要な内容を保存すること
が可能となる。
【０１２６】なお、予めシーン記述変換装置との間で分
割候補を示すことを定めた識別子を用い、かつ、予めシ
ーン記述変換装置との間で優先順位の表し方を定めた識
別子を用いることにより、階層情報６２３を不要とする
ことが可能である。
【０１２７】例えば図１０の例においては、予め１，
７，８の識別子が分割候補を示し、優先順位は識別子の
昇順である旨、シーン記述変換装置が既知であるなら
ば、シーン記述生成装置は階層情報６２３を出力しなく
とも、同様の効果が得られる。
【０１２８】第４の実施の形態のシーン記述生成装置６
２０は、図１に示した第１の実施の形態のサーバ１０
１、図６に示した第２の実施の形態のサーバ４０１、ま
たは図７に示した第３の実施の形態のサーバ５０１と一
体であっても構わない。
【０１２９】以上のように、本実施の形態は、ディジタ
ルTV放送やDVD、HTML、MPEG-4、BIFS、VRMLなど、ユー
ザ入力によるイントロダクションを含むシーンからなる
コンテンツを視聴する際に、シーン記述を階層構造に変
換することにより、伝送容量の異なる伝送媒体／記録媒
体で伝送／記録し、復号・表示能力の異なる端末で復号
表示可能とする。また、階層化のヒントとなる識別子
をシーン記述中に符号化し、階層化の優先順位も出力し
ておくことにより、変換を容易にすることを可能にする
ものである。
【０１３０】なお、本実施の形態は、シーン記述方法の
種類に依存しない。分割単位を区別可能な識別子をシー
ン記述中に埋め込むことが可能なあらゆるシーン記述方
法において有効である。例えばMPEG-4 BIFSにおいて
は、ISO/IEC14496-1に定められたnodeIDを、上記識別子
として使用することにより、同様の効果が得られる。
【０１３１】また、本実施の形態は、ハードウェアによ
っても、ソフトウェアによっても実現可能である。
【０１３２】
【発明の効果】上述のように、ユーザ入力によるインタ
ラクションを含むことが可能なシーン記述方法で記述さ
れたコンテンツのシーン記述を、サーバが復号端末へ配
信する際、本発明のサーバは、シーン記述を階層化する
シーン記述変換装置を備え、シーン記述変換装置により
階層化した複数のシーン記述データをサーバが復号端末
へ配信する際に、伝送媒体／記録媒体や復号端末の性能
に見合った階層のシーン記述データまでを配信すること
により、復号端末においてシーン記述を正しく復号・表
示することを可能とした。
【０１３３】また、本発明のシーン記述変換装置によ
り、シーン記述を伝送媒体／記録媒体や復号端末の動的
に変化する性能に合せて実時間でシーン記述の階層化を
行うことにより、復号端末の性能が動的に変化したり、
シーン記述の配信に使用する伝送媒体／記録媒体の伝送
容量、記録容量や記録速度が動的に変化する場合にも、
適応的にシーン記述を変換することが可能となった。
【０１３４】復号端末性能および伝送媒体／記録媒体の
伝送容量／記録容量や記録媒体が未知である場合にも、
本発明のシーン記述変換装置によってシーン記述を複数
の階層に分割したシーン記述へ変換しておくことによ
り、配信時に伝送可能な階層のシーン記述データまでを
配信し、復号端末において復号・および表示可能な階層
のシーン記述データまでを復号・表示することにより、
復号端末および伝送媒体／記録媒体に適した配信を実現
することが可能となった。
【０１３５】復号・表示能力が拡張されたリモート端末
が使用可能になった際に、本発明のシーン記述変換装置
により、復号・表示能力が劣るリモート端末に合せた階
層と、復号・表示能力が拡張されたリモート端末に合せ
た階層の複数のシーン記述データへ変換することが可能
であるため、復号・表示能力が劣るリモート端末との後
方互換性を確保できるという効果がある。
【０１３６】一方、シーン記述変換装置により入力のシ
ーン記述を複数の階層構造を成すシーン記述データに変
換したことにより、シーン記述をシーン記述記憶装置に
おいて記憶しておく際に、シーン記述記憶装置の記憶容
量を節約する目的で、削除すべきデータ量に達するまで
の階層のシーン記述データのみを削除し、基本的な階層
を保存しておくことにより、そのシーン記述が記述して
いたコンテンツの情報の一部を保存しておくことが可能
となる。
【０１３７】さらに、シーン記述変換装置によりシーン
記述の階層化を行うことを前提に、階層化のためのヒン
トとなる階層情報をシーン記述生成装置が出力すること
により、階層化処理を容易にし、かつ、階層化の優先順
位を指定することを可能とした。
【図面の簡単な説明】
【図１】第１の実施の形態のシーン記述配信 視聴シス
テムを表すブロック図である。
【図２】シーン記述変換装置における処理を表すフロー
チャートである。
【図３】MPEG-4 BIFSにおけるシーン記述の分割候補を
表す図である。
【図４】MPEG-4 BIFSにおけるシーン記述の変換結果を
表す図である。
【図５】MPEG-4 BIFSにおけるシーン記述の異なる変換
候補を表す図である。
【図６】第２の実施の形態のシーン記述配信 視聴シス
テムを表すブロック図である。
【図７】第３の実施の形態のユーザインタラクションを
受け付ける機能を持ったリモート端末とサーバの構成を
表すブロック図である。
【図８】第４の実施の形態のシーン記述生成装置の構成
を表すブロック図である。
【図９】第４の実施の形態のシーン記述生成装置の出力
シーン記述例を表す図である。
【図１０】第４の実施の形態のシーン記述生成装置の階
層情報例を表す図である。
【図１１】VRML、MPEG-4 BIFSのシーン記述の内容を表
す図である。
【図１２】VRML、MPEG-4 BIFSのシーン記述の構造を表
す図である。
【図１３】VRML、MPEG-4 BIFSのシーン記述の復号 表示
結果を表す図である。
【図１４】MPEG-4 BIFSのシーン記述の内容を表す図で
ある。
【図１５】MPEG-4 BIFSのビットストリーム構造を表す
図である。
【図１６】MPEG-4 BIFSのシーン記述の復号 表示結果を
表す図である。
【図１７】シーン記述を視聴する際のシステム例を表す
図である。
【図１８】ユーザインタラクションを受け付ける機能を
持ったリモート端末とサーバの構成を表す図である。
【符号の説明】
１０１ サーバ、１０２ シーン記述変換装置、１０３
シーン記述記憶装置、１０４ シーン記述配信装置、１
０５ 復号端末、１０６ 階層化情報、１０８ 伝送媒体
／記録媒体
フロントページの続き (72)発明者 矢ケ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B050 CA08 EA10 FA02 5B069 AA02 BA03 DD01 DD16 FA01 KA02 LA03 LA08 5B089 GA11 GB03 GB04 HA10 JA22 JA33 JB02 JB04 JB07 JB23 KA08 KA09 KA11 KB06 KB09 KC39 KC51 KH02 KH29 5C059 KK34 MA00 MA31 MB14 RC24 RC26 RC34 SS02 SS13 SS20 UA02 UA06

Claims (36)

    【特許請求の範囲】
  1. 【請求項１】 シーン記述情報を生成するシーン記述生
    成装置において、 シーン記述のシナリオをシーン記述情報に符号化する符
    号化手段を有し、 上記符号化手段は、シーン記述情報を分割する分割単位
    を示す識別子を含んで符号化することを特徴とするシー
    ン記述生成装置。
  2. 【請求項２】 上記符号化手段は、上記識別子を出力す
    ることを特徴とする請求項１記載のシーン記述生成装
    置。
  3. 【請求項３】 上記符号化手段は、上記シーン記述情報
    を分割する分割単位の優先順位を出力することを特徴と
    する請求項１記載のシーン記述生成装置。
  4. 【請求項４】 上記シーン記述情報はISO/IEC14772-1規
    格に規定されたものであって、上記識別子はこの規格に
    規定されたDEFであることを特徴とする請求項１記載の
    シーン記述生成装置。
  5. 【請求項５】 上記シーン記述情報はISO/IEC14496-1規
    格に規定されたものであって、上記識別子はこの規格に
    規定されたnodeIDであることを特徴とする請求項１記載
    のシーン記述生成装置。
  6. 【請求項６】 シーン記述情報を生成するシーン記述生
    成方法において、 シナリオをシーン記述情報に符号化する符号化工程を有
    し、 上記符号化工程は、シーン記述情報を分割する分割単位
    を示す識別子を含んで符号化することを特徴とするシー
    ン記述生成方法。
  7. 【請求項７】 上記符号化工程は、上記識別子を出力す
    ることを特徴とする請求項６記載のシーン記述生成方
    法。
  8. 【請求項８】 上記符号化工程は、上記シーン記述情報
    を分割する分割単位の優先順位を出力することを特徴と
    する請求項６記載のシーン記述生成方法。
  9. 【請求項９】 シーン記述情報を変換するシーン記述変
    換装置において、 入力されたシーン記述情報を階層構造を有するシーン記
    述情報に変換する変換手段を有することを特徴とするシ
    ーン記述変換装置。
  10. 【請求項１０】 上記変換手段は、ユーザインタラクシ
    ョンを表すイベント伝播に必要なデータを一つの階層に
    出力することを特徴とする請求項９記載のシーン記述変
    換装置。
  11. 【請求項１１】 上記変換手段は、シーン記述情報中の
    参照関係を成すデータを一つの階層に出力することを特
    徴とする請求項９記載のシーン記述変換装置。
  12. 【請求項１２】 上記変換手段は、上記シーン記述情報
    を配信する伝送媒体の伝送容量に基づいてシーン記述情
    報を階層構造を有するシーン記述情報に変換することを
    特徴とする請求項９記載のシーン記述変換装置。
  13. 【請求項１３】 上記変換手段は、上記シーン記述情報
    を配信する記録媒体の記録容量に基づいてシーン記述情
    報を階層構造を有するシーン記述情報に変換することを
    特徴とする請求項９記載のシーン記述変換装置。
  14. 【請求項１４】 上記変換手段は、上記シーン記述情報
    を配信する記録媒体の記録容量に基づいてシーン記述情
    報を階層構造を有するシーン記述情報に変換することを
    特徴とする請求項９記載のシーン記述変換装置。
  15. 【請求項１５】 上記変換手段は、上記シーン記述情報
    の配信を受けて復号する復号端末の復号能力に基づいて
    シーン記述情報を階層構造を有するシーン記述情報に変
    換することを特徴とする請求項９記載のシーン記述変換
    装置。
  16. 【請求項１６】 上記変換手段は、上記シーン記述情報
    の配信を受けて復号して表示する表示端末の表示能力に
    基づいてシーン記述情報を階層構造を有するシーン記述
    情報に変換することを特徴とする請求項９記載のシーン
    記述変換装置。
  17. 【請求項１７】 上記シーン記述情報はISO/IEC14772-1
    規格又はISO/IEC14496-1規格に規定されたものであっ
    て、上記変換手段は上記規格に規定されたGroupingノー
    ドのChildrenフィールドのノードを分割の単位としてシ
    ーン記述情報を階層構造を有するシーン記述情報に変換
    することを特徴とする請求項９記載のシーン記述変換装
    置。
  18. 【請求項１８】 上記シーン記述情報はシーン記述を分
    割する分割単位を示す識別子を含んで符号化されたもの
    であって、上記変換手段はこの識別子に基づいてシーン
    記述情報を階層構造を有するシーン記述情報に変換する
    ことを特徴とする請求項９記載のシーン記述変換装置。
  19. 【請求項１９】 上記シーン記述情報はシーン記述情報
    を分割する分割単位を示す識別子を含んで符号化された
    ものであって、上記変換手段はこのシーン記述情報とは
    別に入力された上記識別子に基づいて上記シーン記述情
    報を階層構造を有するシーン記述情報に変換することを
    特徴とする請求項９記載のシーン記述変換装置。
  20. 【請求項２０】 上記シーン記述情報はシーン記述情報
    を分割する分割単位を示す識別子を含んで符号化された
    ものであって、上記変換手段はこのシーン記述情報とは
    別に入力された上記シーン記述情報を分割する分割単位
    の優先順位に基づいて上記シーン記述情報を階層構造を
    有するシーン記述情報に変換することを特徴とする請求
    項９記載のシーン記述変換装置。
  21. 【請求項２１】 上記シーン記述情報はISO/IEC14772-1
    規格又はISO/IEC14496-1規格に規定されたものであっ
    て、上記変換手段は上記規格に規定されたInlineノード
    により上記シーン記述情報を階層構造を有するシーン記
    述情報に変換することを特徴とする請求項９記載のシー
    ン記述変換装置。
  22. 【請求項２２】 上記シーン記述情報はISO/IEC14772-1
    規格又はISO/IEC14496-1規格に規定されたものであっ
    て、上記変換手段は上記規格に規定されたEXTERNPROTO
    により上記シーン記述情報を階層構造を有するシーン記
    述情報に変換すること特徴とする請求項９記載のシーン
    記述変換装置。
  23. 【請求項２３】 上記シーン記述情報はISO/IEC14772-1
    規格に規定されたものであって、上記変換手段は上記規
    格に規定されたAccess Unitにより上記シーン記述情報
    を階層構造を有するシーン記述情報に変換することを特
    徴とする請求項９記載のシーン記述変換装置。
  24. 【請求項２４】 シーン記述情報を変換するシーン記述
    変換方法において、入力されたシーン記述情報を階層構
    造を有するシーン記述情報に変換する変換工程を有する
    ことを特徴とするシーン記述変換方法。
  25. 【請求項２５】 上記変換工程は、ユーザインタラクシ
    ョンを表すイベント伝播に必要なデータをシーン記述情
    報の一つの階層に出力することを特徴とする請求項２４
    記載のシーン記述変換方法。
  26. 【請求項２６】 上記変換工程は、シーン記述情報中の
    参照関係を成すデータを一つの階層に出力することを特
    徴とする請求項２４記載のシーン記述変換方法。
  27. 【請求項２７】 シーン記述情報を記憶するシーン記述
    記憶装置において、 階層構造を有するシーン記述情報を記憶する記憶手段
    と、 上記記憶手段に記憶されたシーン記述情報について、基
    本的な階層のシーン記述情報を保存し、削除すべきデー
    タ量に達するまでの階層のシーン記述情報のみを削除す
    る削除手段とを有することを特徴とするシーン記述記憶
    装置。
  28. 【請求項２８】 シーン記述情報を記憶するシーン記述
    記憶方法において、 階層構造を有するシーン記述情報を記憶する記憶工程
    と、 上記記憶工程に記憶されたシーン記述情報について、基
    本的な階層のシーン記述情報を保存し、削除すべきデー
    タ量に達するまでの階層のシーン記述情報のみを削除す
    る削除工程とを有することを特徴とするシーン記述記憶
    方法。
  29. 【請求項２９】 シーン記述情報を復号するシーン記述
    復号装置において、 階層構造を有するシーン記述情報が入力され、復号可能
    な階層までのシーン記述情報を復号する復号手段を有す
    ることを特徴とするシーン記述復号装置。
  30. 【請求項３０】 シーンを表示する表示手段を有し、上
    記復号手段は上記表示可能な階層を復号可能な階層とす
    ることを特徴とする請求項２９記載のシーン記述復号装
    置。
  31. 【請求項３１】 シーン記述情報を復号するシーン記述
    復号方法において、 階層構造を有するシーン記述情報が入力され、復号可能
    な階層までのシーン記述情報を復号する復号工程を有す
    ることを特徴とするシーン記述復号方法。
  32. 【請求項３２】 ユーザインストラクションを含むシー
    ン記述情報を用いるユーザインタフェースシステムにお
    いて、 シーン記述情報をシーン記述情報に変換する変換手段
    と、シーン記述情報を復号する復号手段とを有するサー
    バと、 シーン記述情報を復号する復号手段と、シーンを表示す
    る表示手段と、ユーザ入力情報が入力される入力手段と
    を有するリモート端末とを有し、 上記サーバは入力されたシーン記述情報をその変換手段
    で階層構造を有するシーン記述情報に変換して上記リモ
    ート端末に送り、上記リモート端末は上記サーバから送
    られ上記シーン記述情報をその復号手段にて復号可能な
    階層まで復号してその表示手段に表示し、この表示に応
    じてその入力手段に入力されたユーザ入力情報を上記サ
    ーバに送り、上記サーバはこのユーザ入力情報に基づい
    てその復号手段にてシーン記述情報を復号することを特
    徴とするユーザインタフェースシステム。
  33. 【請求項３３】 ユーザインタラクションを含むシーン
    記述情報が記録された記録媒体において、 上記シーン記述情報はシーン記述情報を分割する分割単
    位を示す識別子を含んで符号化されたことを特徴とする
    記録媒体。
  34. 【請求項３４】 上記シーン記述情報は、階層構造を有
    することを特徴とする請求項３３記載の記録媒体。
  35. 【請求項３５】 ユーザインタラクションを含むシーン
    記述情報が伝送される伝送媒体において、 上記シーン記述情報をシーン記述情報を分割する分割単
    位を示す識別子を含んで符号化されたことを特徴とする
    伝送媒体。
  36. 【請求項３６】 上記シーン記述情報は、階層構造を有
    することを特徴とする請求項３５記載の伝送媒体。
JP2000055047A 2000-02-29 2000-02-29 シーン記述変換装置及び方法 Expired - Fee Related JP4389323B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000055047A JP4389323B2 (ja) 2000-02-29 2000-02-29 シーン記述変換装置及び方法
EP01104400A EP1187000A3 (en) 2000-02-29 2001-02-23 Apparatus and method for handling scene descriptions
US09/793,152 US20020059571A1 (en) 2000-02-29 2001-02-26 Scene description generating apparatus and method, scene description converting apparatus and method, scene description storing apparatus and method, scene description decoding apparatus and method, user interface system, recording medium, and transmission medium
US11/419,080 US20060198438A1 (en) 2000-02-29 2006-05-18 Scene description generating apparatus and method, scene description converting apparatus and method, scene description storing apparatus and method, scene description decoding apparatus and method, user interface system, recording medium, and transmission medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000055047A JP4389323B2 (ja) 2000-02-29 2000-02-29 シーン記述変換装置及び方法

Publications (2)

Publication Number Publication Date
JP2001243496A true JP2001243496A (ja) 2001-09-07
JP4389323B2 JP4389323B2 (ja) 2009-12-24

Family

ID=18576233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000055047A Expired - Fee Related JP4389323B2 (ja) 2000-02-29 2000-02-29 シーン記述変換装置及び方法

Country Status (3)

Country Link
US (2) US20020059571A1 (ja)
EP (1) EP1187000A3 (ja)
JP (1) JP4389323B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323364A (ja) * 2001-10-02 2005-11-17 Sony Corp 再生装置および方法、コンテンツデータ、並びに記録媒体
JP2008135036A (ja) * 2006-11-28 2008-06-12 Samsung Electronics Co Ltd レンダリング装置及び方法
JP2009266215A (ja) * 2008-03-31 2009-11-12 Mega Chips Corp 画像処理装置、画像処理方法およびプログラム
JP2010531512A (ja) * 2007-06-26 2010-09-24 サムスン エレクトロニクス カンパニー リミテッド レーザコンテンツを使用して場面を構成するための方法及び装置
US8214458B2 (en) 2003-03-11 2012-07-03 Panasonic Corporation Transmitter apparatus and transmitting method
KR101748194B1 (ko) * 2010-07-23 2017-06-20 에스케이텔레콤 주식회사 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법
KR101815980B1 (ko) * 2010-07-21 2018-01-09 한국전자통신연구원 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법
WO2018173286A1 (ja) * 2017-03-24 2018-09-27 楽天株式会社 情報処理システム
WO2023214718A1 (ko) * 2022-05-04 2023-11-09 삼성전자 주식회사 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2840494A1 (fr) * 2002-05-28 2003-12-05 Koninkl Philips Electronics Nv Systeme de controle a distance d'une scene multimedia
US7808900B2 (en) * 2004-04-12 2010-10-05 Samsung Electronics Co., Ltd. Method, apparatus, and medium for providing multimedia service considering terminal capability
KR101158435B1 (ko) * 2006-03-03 2012-06-22 엘지전자 주식회사 이동통신 단말기와 우선순위 정보 데이터를 이용한 방송시스템 및 이를 이용한 방송 방법
US20090192785A1 (en) * 2008-01-29 2009-07-30 Anna Carpenter Cavender System and method for optimizing natural language descriptions of objects in a virtual environment
KR101560183B1 (ko) 2008-04-17 2015-10-15 삼성전자주식회사 사용자 인터페이스를 제공/수신하는 방법 및 장치
KR20090110202A (ko) 2008-04-17 2009-10-21 삼성전자주식회사 개인화된 사용자 인터페이스를 디스플레이하는 방법 및 장치
KR101545137B1 (ko) 2008-04-17 2015-08-19 삼성전자주식회사 사용자 인터페이스를 생성하는 방법 및 장치
KR20100088049A (ko) * 2009-01-29 2010-08-06 삼성전자주식회사 사용자 인터페이스 구성 객체들로 이루어진 콘텐츠의 사전 예측 불가능한 경로를 통하여 수신되는 정보들의 처리 방법 및 이를 위한 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
JP3393143B2 (ja) * 1997-02-26 2003-04-07 三菱電機株式会社 ビデオデータ配信方法、ビデオデータ配信システム、並びに、そのビデオデータ配信方法
US6295380B1 (en) * 1997-02-27 2001-09-25 Matsushita Electric Industrial Co., Ltd. Object data processing apparatus, object data recording apparatus, data storage media, data structure for transmission
JPH1185524A (ja) * 1997-09-05 1999-03-30 Toshiba Corp 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体
US6389031B1 (en) * 1997-11-05 2002-05-14 Polytechnic University Methods and apparatus for fairly scheduling queued packets using a ram-based search engine
JP3516432B2 (ja) * 1997-11-18 2004-04-05 株式会社東芝 ノード装置及びパケット転送方法
JP3593883B2 (ja) * 1998-05-15 2004-11-24 株式会社日立製作所 映像ストリーム送受信システム
US6711379B1 (en) * 1998-05-28 2004-03-23 Kabushiki Kaisha Toshiba Digital broadcasting system and terminal therefor
US6185602B1 (en) * 1998-06-29 2001-02-06 Sony Corporation Multi-user interaction of multimedia communication
JP2000023116A (ja) * 1998-07-01 2000-01-21 Hitachi Ltd オブジェクト識別子処理方法および該方法を実現する記録媒体
JP2002521882A (ja) * 1998-07-17 2002-07-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 符号化データを分離多重する装置
US6697869B1 (en) * 1998-08-24 2004-02-24 Koninklijke Philips Electronics N.V. Emulation of streaming over the internet in a broadcast application
US6754214B1 (en) * 1999-07-19 2004-06-22 Dunti, Llc Communication network having packetized security codes and a system for detecting security breach locations within the network
US6693645B2 (en) * 1999-12-01 2004-02-17 Ivast, Inc. Optimized BIFS encoder
US6744729B2 (en) * 2001-08-17 2004-06-01 Interactive Sapience Corp. Intelligent fabric
JP4352653B2 (ja) * 2002-04-12 2009-10-28 三菱電機株式会社 映像コンテンツ管理運用システム
US7274740B2 (en) * 2003-06-25 2007-09-25 Sharp Laboratories Of America, Inc. Wireless video transmission system
US7784076B2 (en) * 2004-10-30 2010-08-24 Sharp Laboratories Of America, Inc. Sender-side bandwidth estimation for video transmission with receiver packet buffer

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323364A (ja) * 2001-10-02 2005-11-17 Sony Corp 再生装置および方法、コンテンツデータ、並びに記録媒体
JP4600756B2 (ja) * 2001-10-02 2010-12-15 ソニー株式会社 再生装置および方法
US8214458B2 (en) 2003-03-11 2012-07-03 Panasonic Corporation Transmitter apparatus and transmitting method
JP2008135036A (ja) * 2006-11-28 2008-06-12 Samsung Electronics Co Ltd レンダリング装置及び方法
US8581934B2 (en) 2006-11-28 2013-11-12 Samsung Electronics Co., Ltd. Rendering apparatus and method
JP2010531512A (ja) * 2007-06-26 2010-09-24 サムスン エレクトロニクス カンパニー リミテッド レーザコンテンツを使用して場面を構成するための方法及び装置
JP2009266215A (ja) * 2008-03-31 2009-11-12 Mega Chips Corp 画像処理装置、画像処理方法およびプログラム
KR101815980B1 (ko) * 2010-07-21 2018-01-09 한국전자통신연구원 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법
KR101748194B1 (ko) * 2010-07-23 2017-06-20 에스케이텔레콤 주식회사 통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법
WO2018173286A1 (ja) * 2017-03-24 2018-09-27 楽天株式会社 情報処理システム
JP6427298B1 (ja) * 2017-03-24 2018-11-21 楽天株式会社 情報処理システム
WO2023214718A1 (ko) * 2022-05-04 2023-11-09 삼성전자 주식회사 무선 통신 시스템에서 ar 스플릿 렌더링을 제공하기 위한 방법 및 장치

Also Published As

Publication number Publication date
US20020059571A1 (en) 2002-05-16
EP1187000A3 (en) 2004-08-25
US20060198438A1 (en) 2006-09-07
JP4389323B2 (ja) 2009-12-24
EP1187000A2 (en) 2002-03-13

Similar Documents

Publication Publication Date Title
US20060198438A1 (en) Scene description generating apparatus and method, scene description converting apparatus and method, scene description storing apparatus and method, scene description decoding apparatus and method, user interface system, recording medium, and transmission medium
JP4159248B2 (ja) 階層的データ構造管理システム及び階層的データ構造管理方法
JP3874714B2 (ja) キャッシング技法を用いたｍｐｅｇ−４システム端末の制御方法
KR100513056B1 (ko) 영상 컨텐츠의 적응 변환 장치 및 그 방법
JP2008136204A (ja) ＦｌｅｘＭｕｘストリームをストリーム形成、受信及び処理する装置及び方法
US7509582B2 (en) User interface system, scene description generating device and method, scene description converting device and method, recording medium, and sending medium
JP7480773B2 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
CN114450966A (zh) 用于异构沉浸式媒体的表示和流式传输的数据模型
JP4040577B2 (ja) スキーマ、構文解析法、およびスキーマに基づいてビットストリームを発生させる方法
JP2003153254A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
US8151310B2 (en) Video delivery of oilfield data
KR20010040503A (ko) 상호 작용식 통신에서 클라이언트-서버 상호 작용에 관한방법 및 시스템
US7366986B2 (en) Apparatus for receiving MPEG data, system for transmitting/receiving MPEG data and method thereof
CN100448292C (zh) 用于在mpeg-4标准中交互管理的方法及装置
WO2022075342A1 (ja) 情報処理装置および方法
KR100622645B1 (ko) 임베디드 시스템 상의 ｍｐｅｇ-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법
US20220239994A1 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
JP2002112149A (ja) データ処理方法及び装置、データ伝送システム、伝送媒体
WO2023176928A1 (ja) 情報処理装置および方法
KR100494845B1 (ko) 확장성 생성 언어 기반의 메타데이터 부호화 장치 및 그방법
US20230396808A1 (en) Method and apparatus for decoding point cloud media, and method and apparatus for encoding point cloud media
Abramson et al. Context-sensitive multimedia
KR20030005178A (ko) 여러 데이터로부터의 비디오 장면 구성을 위한 방법 및 장치
KR20140079936A (ko) 증강 현실 서비스 송수신 방법 및 장치
JP2004272631A (ja) ローカルサーバのデータ処理方法、及びローカルサーバ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees