JP2011518526A - リッチメディアサービスのための端末のユーザインターフェース装置及び方法 - Google Patents

リッチメディアサービスのための端末のユーザインターフェース装置及び方法 Download PDF

Info

Publication number
JP2011518526A
JP2011518526A JP2011506191A JP2011506191A JP2011518526A JP 2011518526 A JP2011518526 A JP 2011518526A JP 2011506191 A JP2011506191 A JP 2011506191A JP 2011506191 A JP2011506191 A JP 2011506191A JP 2011518526 A JP2011518526 A JP 2011518526A
Authority
JP
Japan
Prior art keywords
user interface
scene
information
terminal
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011506191A
Other languages
English (en)
Other versions
JP5512657B2 (ja
Inventor
ファン,ソ−ヨン
ソン,ジェ−ヨン
イ,クック−ヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020080083007A external-priority patent/KR20090111253A/ko
Priority claimed from KR1020080099765A external-priority patent/KR101516020B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011518526A publication Critical patent/JP2011518526A/ja
Application granted granted Critical
Publication of JP5512657B2 publication Critical patent/JP5512657B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

端末でリッチメディアサービスのためのユーザインターフェース方法及び装置を提供する。復号化部は、受信したストリームのヘッダをチェックするために受信したストリームを復号化する。レンダラは、前記復号化部によりチェックされたヘッダで適応情報に従って前記受信したストリームの場面構成要素を用いて場面を適応的に構成し、ディスプレーは、前記適応的に構成された場面をディスプレーする。
【選択図】図2

Description

本発明は、リッチメディアサービスをサポートする端末のコンテンツ構成技術に係り、より詳細には、端末の特定の条件及び性能を考慮して場面(scene)を構成する、リッチメディアサービスのための端末のユーザインターフェース装置及び方法に関する。
通信市場は、既存の技術の再結合又は統合により新たなサービスの生産を求められている。これに関連して、近年、通信及びブロードキャスト技術の発達に伴い、TVのようなブロードキャスト端末だけでなく携帯電話やPDA(Personal Digital Assistant)通信装置(以下、“端末”と称する。)を介してリッチメディア(Rich Media)サービスを提供するように発展している。
軽量アプリケーション場面表現(Lightweight Application Scene Representation、以下、“LASeR”と称する。)は、リッチメディアサービスを提供するための国際標準規格として採用されている。LASeRは、場面記述、ビデオ、オーディオ、イメージ、フォント、及びメタデータのような様々な要素を用いて様々なマルチメディアの自由な表現及びユーザとの相互作用が可能なサービスを提供できる。また、LASeR技術は、簡易統合フォーマット(Simple Aggregation Format、以下、“SAF”と称する。)を用いて様々なメディアのエレメンタリストリーム(Elementary Stream、以下、“ES”と称する。)の多重化及び同期化を行い、その複雑度を最小化できる。
通信技術の最近の動向に従って、DVB−CBMS(Digital Video Broadcasting − Convergence of Broadcasting and Mobile Service)やIPTV(Internet Protocol Television)のように網(network)の統合で様々なタイプの端末が1つの網を介して接続されるネットワークモデルが可能である。単一統合サービスプロバイダーが有線IPTVの有線・無線統合により形成された網を運営するサービスモデルである場合、各端末のタイプに関係なく同一のサービスを提供できる。
このようなビジネスモデルにおいて、特に、ブロードキャストサービスモデルである場合に、単一のブロードキャストストリームは、様々なディスプレーサイズ、性能、及び特徴を有する端末に同時に送信される。したがって、異なる特性を有する複数の端末に同一のリッチメディアサービスが提供される。結果的に、ブロードキャストコンテンツを受信する場合に、スクリーンサイズが大きい端末(例えば、TV)からスクリーンサイズが小さい端末(例えば、携帯電話)まで1つの同一のLASeRコンテンツが提供される。
しかしながら、TVのようなスクリーンサイズに最適化した場面を受信した端末は、ブロードキャストサービスコンテンツのための使用可能なリソースを確保することが難しいだけでなく、実際の端末のスクリーンサイズに比べて過度に複雑な場面を構成しなければならないという問題点があった。
そこで、本発明は上記従来の問題点に鑑みてなされたものであって、本発明の目的は、マルチメディアサービスのための場面を構成するための装置及び方法を提供することにある。
本発明のまた他の目的は、マルチメディアサービスコンテンツを用いて場面を適応的に構成する装置及び方法を提供することにある。
本発明のさらにまた他の目的は、単一のマルチメディアサービスコンテンツをフィルタリングすることにより場面を適応的に構成する装置及び方法を提供することにある。
本発明のさらなる他の目的は、リッチメディア(例えば、LASeR)コンテンツを用いて場面を適応的に構成する装置及び方法を提供することにある。
本発明のさらにその他の目的は、受信端末の特定の条件及び性能を考慮してLASeR場面を構成する装置及び方法を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、リッチメディアサービスのための端末のユーザインターフェース方法が提供される。上記ユーザインターフェース方法は、受信されたストリームのヘッダをチェックするステップと、適応情報が前記ヘッダに含まれている場合に、前記受信されたストリームの場面構成要素を用いて適応的な場面を構成するステップと、前記構成された適応的な場面をディスプレーするステップとを含む。
本発明の他の態様によれば、リッチメディアサービスのための端末のユーザインターフェース装置が提供される。上記ユーザインターフェース装置は、受信したストリームを復号化することにより、前記受信したストリームのヘッダをチェックする復号化部と、前記復号化部によりチェックされたヘッダ内の適応情報に従って、前記受信したストリームの場面構成要素を用いて場面を適応的に構成するレンダラと、前記適応的に構成された場面をディスプレーするディスプレー部とを含む。
本発明は、ディスプレーサイズ、CPU処理能力、メモリ、バッテリー状態、入出力装置などのような端末の性能と関連した特定の条件又は属性及び特定のイベントを考慮して、使用可能なリソースが不足した端末でのLASeRサービスをサポートする負担を減少させ、使用可能なリソースが十分な端末ではより豊富なLASeRサービスを提供できる。
LASeRデータストリームを受信する端末の動作を示す図である。 本発明の実施形態によるLASeRデータストリームを受信する端末の動作を示す図である。 本発明の実施形態によるLASeRサービスでデータストリームを多重化することによりサービスする場合に、LASeRデータストリームを受信する端末の動作を示す図である。 本発明の実施形態によるLASeRデータストリームを受信する端末の動作を示す図である。 本発明の実施形態によるLASeRコンテンツをサービスする動作を示す図である。 本発明の実施形態による送信器の構成を示すブロック図である。 本発明の実施形態による受信器の構成を示すブロック図である。
本発明の他の目的、利点、及び顕著な特徴は、添付の図面及び本発明の実施形態からなされた以下の詳細な説明から、この分野の当業者に明確になるはずである。
添付の図面を参照した下記の説明は、本発明の実施形態の包括的な理解を助けるために提供する。したがって、この理解を助けるための様々な特定の詳細を含む。しかしながら、これら詳細な説明は、単に例示的なものとみなされる。さらに、本発明の範囲及び趣旨を逸脱することなく、ここに説明する実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかであろう。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明は、省略する。
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかであろう。
以降の説明において、リッチメディアエンジン(Rich Media Engine、以下、“RME”と称する。)のタイプであるLASeRエンジンに基づく端末を一例を挙げて説明する。一方、LASeRエンジンに基づく端末の一例を他のRMEエンジンに基づく端末に同様に適用できる。しかしながら、端末に適用されるRMEエンジン又はシステムが変わる場合には、そのエンジン、システム、及びデータを構成する構成要素の名称は、他のRMEエンジン又はシステムで固有に使用される異なる名称を使用することもある。
本発明の実施形態は、LASeRサービスで各端末の特定の条件又は端末の性能に適合したLASeRコンテンツを送受信する方法及び装置を提供する。ここで使用する用語“端末”は、電話(携帯電話、無線電話、有線電話を含む)、PDA、ラップトップ、ノート型パソコンなどを含む携帯型の通信装置及び有線・無線通信装置を含む。
特に、本発明の一実施形態は、LASeRサービスを受信する端末の場面表現及び構成技術を提供し、適応型サービスの提供と関連して端末の特性と関連した特定の条件又は属性、特定のイベントの発生、及び端末の性能に従ってLASeRコンテンツを提供する方法及び装置をさらに提供する。
図1は、LASeRコンテンツを受信する端末の動作を示す図である。
図1を参照すると、端末は、ステップ100で、LASeRサービスコンテンツを受信し、ステップ110で、該受信したLASeRコンテンツを復号化する。端末は、ステップ120で、LASeRコンテンツからLASeR命令語をチェックし、該LASeR命令語を実行する。その後に、端末は、ステップ130で、LASeRコンテンツに基づくすべてのイベントを処理し、ステップ140で、この場面構成命令語を実行することにより場面をディスプレーする。
ここで、データストリームは、LASeRサービスを提供するのに必要な基本的な要素に加えて複雑な場面構成要素を含んでもよく、高性能の端末(通信装置)に適合した場面構成要素又は基本場面に付加されるデータを含んでもよい。また、ここで説明したLASeRデータストリームは、各端末の特性に関する構成要素を含むデータストリームを含む。このような特性は、このデータストリームを受信する端末の特徴及び性能を含む。
図2は、本発明の実施形態によるLASeRコンテンツを受信する端末の動作を示す図である。より具体的に、図2は、LASeRデータストリームが、使用可能なリソースが豊富な端末のための場面構成データを含むか又は端末の性能に適応可能な場面構成データを含む場合、すなわち、LASeRデータストリームが‘適応場面構成要素(以下、“Adaptive_scene_component”と称する。)’を示す情報を含む場合に、場面を構成する端末の動作を示す。
図2を参照すると、端末は、ステップ200で、LASeRストリームを受信し、ステップ210で、該受信したLASeRストリームを復号化する。ステップ220で、端末は、該復号化したLASeRストリームがヘッダを含んでいるか否かを確認する。この際、LASeRストリームがヘッダを含んでいる場合に、端末は、ステップ230で、ヘッダ情報をチェックする。ステップ250で、該検査したヘッダ情報で“Adaptive_scene_component”を示す情報、すなわち、“AdaptiveSceneIndicator”フィールドの値がFALSEである場合に、端末は、ステップ280で、該受信したデータストリームをその画面にディスプレーする。しかしながら、該検査した“AdaptiveSceneIndicator'フィールドの値がTRUEである場合に、端末は、ステップ260で、端末の性能をチェックする。
ステップ260で、その性能が“Adaptive_scene_component”をサービスするのに十分でない場合に、端末は、ステップ265で、該受信したLASeRストリームを廃棄するようにデータ廃棄(Data_Discard)に関する設定情報をオン(ON)に設定する。すなわち、復号化されるLASeRストリームを復号化なしに廃棄することにより、端末は、対応するデータストリームを画面上にディスプレーしないようにする。廃棄されるLASeRストリームがすでに復号化された場合でも、端末は、データをメモリから即座に削除することにより廃棄工程を実行できる。
しかしながら、ステップ260で、その性能が“Adaptive_scene_component”をサービスするのに十分である場合に、端末は、ステップ290で、LASeRストリームを廃棄しないようにデータ廃棄に関する設定情報をオフ(OFF)に設定する。その後に、ステップ280で、端末は、このデータストリームを画面上にディスプレーすることによりLASeRサービスを提供する。ステップ280の実際のディスプレー工程は、ここで詳細に説明しないけれども、廃棄されずサービスされるコンテンツのサービスを提供するための技術的なステップをさらに含んでもよい。
また、ステップ220で復号化されたLASeRストリームがヘッダを有していない場合に、端末は、ステップ270で、LASeRストリームのデータ廃棄に関する設定情報をチェックする。該データ廃棄に関する設定情報がONに設定される場合に、端末は、ステップ275で、端末のLASeRストリームをこれ以上処理せず、すなわち、これをメモリ内に構成するか又はレンダリングすることなく廃棄する。しかしながら、データ廃棄に関する設定情報がOFFに設定される場合に、端末は、ステップ280で、LASeRストリームを画面上にディスプレーする。
上述した実施形態において、端末が、ストリームを受信し(ステップ200)、該受信したストリームを復号化し(ステップ210)、“AdaptiveSceneIndicator”フィールドの値を参照して(ステップ250)、該受信したストリームを画面上にディスプレーする(ステップ280)ステップと、“AdaptiveSceneIndicator”フィールドの値を参照することにより(ステップ250)“AdaptiveSceneIndicator”フィールドを有するデータを受信するまで、対応するストリームを処理しない一連の工程を除き、他のすべての工程は、端末のタイプ又は設計に従ってその順序が変更されてもよく又は省略されてもよい。
また、“AdaptiveSceneIndicator”又は本発明で新たに定義した他のフィールド及び属性を用いて本発明と同一のサービスを提供できる場合に、本発明の範囲及び趣旨を逸脱することなく、ここに説明する実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。
LASeRヘッダ内の該受信したLASeRストリームが“Adaptive_scene_component”であることを示す情報についてより詳細に説明する。
下記の説明において、例を挙げてLASeRが与えられ、“Adaptive_scene_component”を示すのに使用される新たなフィールド及び属性は、ヘッダタイプのデータだけでなく、命令、要素、フィールド、ユニット、及びペイロードなどを含むデータのフィールド及び属性としても使用できる。
“AdaptiveSceneIndicator”フィールドは、例えば、ブール代数で表現してもよく、1、2、3、及び4のような整数で表現してもよく、あるいは、‘基本(basic)’及び‘増強(enhanced)’のような象徴的なレベルの様々な方法で表現してもよい。しかしながら、“AdaptiveSceneIndicator”フィールドがブール代数でない値で表現される場合に、その属性の特定値は、“Adaptive_scene_component”を識別するように表現できなければならない。
例えば、“AdaptiveSceneIndicator”フィールドの属性値が整数値として表現される場合、0は、対応するデータが適応型サービスのためのデータであることを示す。すなわち、該受信したLASeRヘッダ内のフィールドの属性値が0である場合に、「AdaptiveSceneIndicator=False」という意味を有するので、該受信したデータは、画面上にディスプレーしなければならない。
ここで説明するフィールド又は属性を含む適応型データは、string、Boolean、decimal、precisionDecimal、float、double、duration、dateTime、time、date、gYearMonth、gYear、gMonthDay、gDay、gMonth、hexBinary、base64Binary、anyURI、QName、NOTATION、normalizedString、token、language、NMTOKEN、NMTOKENS、Name、NCName、ID、IDREF、IDREFS、ENTITY、ENTITIES、integer、nonPositiveInteger、negativeInteger、long、int、short、byte、nonNegativeInteger、unsignedLong、unsignedInt、unsignedShort、unsignedByte、positiveInteger、yearMonthDuration、及びenumerationのような整数型、文字列型、小数型、固定小数型、不定小数型、リスト型などを含むリッチメディアコンテンツで使用可能な様々なデータタイプで表現してもよい。また、端末及びサービス内部・外部の情報を参照できる。これは、本発明のすべての実施形態に同様に適用可能である。
以下の表1は、端末の性能に適応可能なLASeRデータストリームの適応基準、すなわち、“AdaptationType”を示す。
“AdaptationType”として、データを処理するために端末に要求される解像度、画面サイズ、サービス場面での使用の頻度、データ処理性能のために消耗される端末リソースに関する占有率、メモリサイズ、電力消耗量、データ送信と関連して要求されるリソース情報、及びサービスの提供のために要求される入出力性能に関連した端末の性能及び構成などを含む特定の条件又は端末の状態や状況の変化に関連した様々な要素が使用できる。
例えば、端末の演算量と関連した情報及び端末のメモリ関連情報、例えば、グラフィックポイントの個数、フォントデータのサイズ又は個数、テキストの個数、ビデオ処理のために要求されるメモリ量、ビデオ・オーディオデータ処理のための端末処理能力などの様々な要素をさらに付加できる。
ここで、グラフィックポイントの個数は、グラフィック要素を生成するために必要なメモリ量などを示すための情報を表現する。該情報は、グラフィック要素を構成するドット、ライン、メッシュ、ポリゴン(polygon)などに関する情報を含んでもよい。各グラフィック要素の特性に関する必要な情報は、“AdaptationType”として使用できる。
フォントデータのサイズ又は個数は、対応するフォントを用いてデータを生成するためのメモリ量などに関する情報を示すための情報である。該情報は、フォントファイルのサイズ及びフォントファイルをローディングするための情報を含む、フォントファイルを用いてデータを生成するために必要なメモリ量をさらに含んでもよい。この情報は、“AdaptationType”として使用してもよい。
テキストの個数は、テキストデータを生成するために必要なメモリ量などを示すための情報を表現する。該情報は、テキストデータのサイズに関する情報を示してもよく、テキストデータを生成するために必要なメモリ量をさらに含んでもよい。また、該情報は、“AdaptionType”として使用してもよい。
ビデオ処理のために要求されるメモリ量又はビデオ処理のための端末の処理能力は、イメージ又はビデオのような映像データを生成するために必要とされるメモリ量を示すための情報を表現する。イメージ又はビデオのような映像データを生成するためにさらなるメモリ量が必要とされる場合に、さらなる属性は、対応する情報を示すための属性をさらに定義してもよく、各情報を含む値で表現してもよい。
例えば、イメージ乃至ビデオデータファイルを処理するにあたり、入力ビデオバッファ、復号化のためのパラメータ、及び出力ビデオバッファのためのメモリが要求される場合に、イメージファイルのサイズより大きい入力ビデオバッファのサイズ、及びカラーフォーマットに関する1ピクセルデータが表現される際に必要なバイトの個数に適合した出力ビデオバッファなどのためのメモリ及びイメージ又はビデオデータの復号化のためのパラメータのためのメモリが必要とされる。したがって、この適応基準は、入力ビデオバッファのサイズをチェックするために使用されるイメージファイルのサイズ、出力ビデオバッファのサイズをチェックするために使用されるイメージの横長さ及び縦長さ、カラーフォーマット情報、コーデック情報、及びイメージ又はビデオデータを復号化するためのパラメータのためのメモリ情報を含む。また、この情報は、“AdaptationType”として使用できる。
また、端末の適応基準として、コンテンツを構成する様々な要素、イメージ、フォント、ビデオ及びオーディオのようなメディアに関連した情報、入出力性能や装置、相互作用関連情報などを含む受信端末の性能及びサービス状況と関連する様々な要素が使用できる。また、メディア関連情報及びテキスト、グラフィック、及び相互作用関連情報は、各データのサイズ、再生時間、秒当たり処理されなければならないデータ量を示すフレーム率、カラーテーブル、及びアップデート比率などを含むデータ自体に関する情報を適応基準として使用してもよい。さらに、この適応基準は、外部で定義された情報に基づいて使用してもよい。
Figure 2011518526
上記の表1は、本発明の実施形態による適応基準を示し、すなわち、各“AdaptationType”は、基準値を保有できる。
例えば、ディスプレーサイズが適応基準となると仮定すると、特定の場面データ又は場面セグメントが“DisplaySize”がLARGEとして分類される端末のための場面情報を含んでいる場合に、適応基準の値は、“AdaptationTypeValue”=LARGEとして表現できる値である。
“AdaptationTypeValue”属性の値は、各適応基準に従って様々な方法で表現できる。すなわち、“AdaptationTypeVale”の記述方法が各“AdaptationType”に従って異なる場合に、各“AdaptationType”に関する各“AdaptationTypeValue”を定義して説明してもよい。
下記の表2Aは、“adaptive_scene_component”を示す情報がスキーマのシンタックスを用いて説明される一例を示す。本発明の実施形態では、この属性及び要素を説明するためにスキーマを、例を挙げて使用する。
ここで使用する“スキーマ”は、データの構成をあらかじめ定義した一種のモデリング文書を示す。本発明の実施形態で使用したスキーマは、XMLスキーマ文法に従い、スキーマの要素を使用して定義できる。特に、属性及び要素の構成を定義する方法には、様々な方法があり得る。したがって、スキーマを使用する方法でなくても同一の意味を含んでいる場合には、本発明の範囲内に属していることをわかる。
また、本発明の実施形態において例を挙げて定義した要素及び属性の値は、属性値が1つの表現方法に限定されるように説明してもよく、又は既存のタイプを拡張することにより定義してもよい。
Figure 2011518526
表2Bは、“AdaptationType”及び“AdaptationTypeValue”を1つのフィールドにともに表現する一例を示す。
“AdaptationType”及び“AdaptationTypeValue”を1つのフィールドにともに表現する場合に、例えば、<LASeRHeader.............AdaptationType_Value=“DisplaySize_LARGE”/>として表現できる。
Figure 2011518526
また、“Adaptive_scene_component”を示す情報は、“AdaptiveSceneIndicator”、“AdaptationType”、及び“AdaptationTypeValue”を使用して表3A及び表3Bに示すように表現できる。
Figure 2011518526
表3Aは、ディスプレーサイズ(上述した表1を参照すると、‘0x01’は、AdaptationTypeの基準でディスプレーサイズ(ビューポートサイズ)を示す。)がLARGEとして分類される端末のためのデータを示す。
この際、ディスプレーサイズが‘LARGE’として分類されない端末は、表3AのLASeRヘッダをそのヘッダとして有するデータを受信する場合に、受信したデータの復号化又はレンダリングを行うことなくフィルタリングできる。
例えば、表3Aにおいて、ディスプレーサイズがSMALL及びLARGEのようなシンボリック値として設定されても、“AdaptationTypeValue”は、インチ(表9を参照)で物理的に与えられるサイズを含むディスプレーサイズ、相対的表記方法、及び画面の解像度を表現する任意の値として設定できる。
Figure 2011518526
表3Bは、上述した表3Aと同一の意味を有し、同一の動作を実行する情報を異なる方法で示す。“AdaptationType”フィールドの属性値として使用できる値、例えば、DisplaySize、CPU_status、Memory_status、及びBattery_Sizeを“AdaptationType”に代える新たな属性フィールドとして定義し、“AdaptationTypeValue”の値を対応する属性フィールドの値として定義する。
本発明の一実施形態に従って、“AdaptiveSceneIndicator”、“AdaptationType”、及び“AdaptationTypeValue”は、それぞれ独立的に又は複合的に使用できる。
“AdaptiveSceneIndicator”の場合に、対応するフィールドを使用しなくても、本発明で説明する“Adaptive_scene_component”を示す情報を示すフィールドが使用される場合に、これは、“AdaptiveSceneIndicator”=Trueであることを意味する。
1つの場面データ又は場面セグメントが1つの適応基準をかならず有するのではないため、様々な適応基準を使用できる。例えば、端末の場面サイズ及び端末のメモリサイズのような様々な要素が対応する場面の適応基準として使用される場合に、フィルタリングされるデータは、様々な適応基準を保有できる。また、これらの適応基準を示す他の情報に基づいてデータを表示する方法も本発明の例と同一の意味を示すと考えられる。
新規属性が意味する適応基準を提示し参照できる新規要素及び属性を定義し、これを参照する方法を提示することもできる。例えば、LASeRヘッダの内部又は特定の位置に基づいて適応基準を説明する適応基準リストを提供し、これを参照できる方法が提示される。該適応基準リストの参照は、新規属性の定義及びフィルタリングのための方法として使用できる。
表4は、適応基準のリストを提供するLASeRヘッダの一例を示す。上述したように、リスト内の少なくとも1つ以上の適応基準を参照できる。これらの属性及びフィールドの表現において変形又は修正があるとしても、これらが適応型データ表現のためのフィルタリングを実行するために使用される場合に、これは、本発明の範囲内に属することは自明なものと言える。
Figure 2011518526
本発明の他の実施形態は、LASeR命令語の単位で適応基準が異なる場合、すなわち、命令語の単位で“Adaptive_scene_component”情報に基づいてフィルタリングを実行する方法を提供する。
下記の表5を参照すると、NewScene及びInsertのようなLASeR命令語は、場面構成のために使用される。下記の表5は、4個の場面命令語を含むコンテンツを示す。
Figure 2011518526
下記の表6A及び表6Bは、命令語単位でフィルタリングするために“adaptive_scene_component”情報をLASeR命令語の新たな属性として定義し、これを表現する方法を示す。
Figure 2011518526
表6Aを参照すると、“Dictionary”をID属性値として有する要素に新たな場面構成要素“polyline”を挿入するための“Insert”命令語の場面は、ディスプレーサイズが“MEDIUM”として分類される端末のためのデータを示す。
また、“Shape4”をID属性値として有する要素に新たな属性“points”を挿入するための“Insert”命令語の場面は、ディスプレーサイズが“LARGE”として分類される端末のためのデータを示す。
表6Aに示すようなデータを受信した端末は、適応基準及びこれに対する値と関連した端末自身の特性及び条件に従って、特定の命令語を実行するか、次の場面を受信するまでのデータを復号化するか、場面を構成するか、又はレンダリングすることなく対応するデータを廃棄するフィルタリング工程を実行できる。
下記の表6Bは、LASeR命令語に新たなフィールドを付加し、命令語単位で適応情報に従ってフィルタリング又はスイッチングを実行するための方法の一例を示す。命令語単位のフィルタリング又はスイッチングのための新たなフィールドは、1つ又はそれ以上の命令語のグループとして使用してもよい。
Figure 2011518526
上述した例におけるように、端末の性能に適応可能なLASeRデータストリームの適応基準及びこれらに関連した値を示すためのフィールド及び属性は、適応関連データを提供するデータの単位、すなわち、フィルタリングの対象及び範囲に従ってその位置及び表現を変更できる。
例えば、適応情報がファイル単位で提供される場合に、ファイルヘッダに位置できる。適応情報が場面命令語単位で提供される場合に、LASeR命令語の属性で表現でき、新たなグループノード又はパレンタルノード及びこれらのヘッダとして機能できるフィールドを付加することにより表現することもでき、又は、場面構成要素内の新たな要素又は場面構成要素のための属性を表現することもできる。
したがって、LASeRデータストリームの適応基準及びこれらに関連した値を示すためのフィールド及び属性を受信した端末は、自身が処理できないデータを受信した場合に、端末は、対応するフィールド及び属性に関連したデータを復号化せず廃棄するか、又はもしあればすでに復号化されたデータをレンダリングせずメモリから削除するなどの廃棄工程を含むフィルタリングを実行する。
次いで、本発明の他の実施形態として、フィルタリングの基準として定義された場面表現のためのデータの集合でフィルタリング又はスイッチング方法について説明する。場面表現のためのデータの集合は、場面セグメント又はアクセスユニット(Access_Unit、以下、“AU”と称する。)で表現してもよい。以下の説明において、場面表現のためのデータの集合又はこれらのヘッダが適応情報を有すると仮定して説明する。
まず、所定の時間の間の場面を表現するためのデータの集合が複数のストリームに分割された後に送信される場合、すなわち、同一の時間の間の場面を表現するためのデータの集合が複数のストリームに分割された後に送信される場合に、端末は、自身の性能及び状況に合うストリームだけを選択し、これらを場面を構成するデータとして使用する方法について説明する。
端末は、データを受信し、該受信したデータ内のヘッダ情報をチェックし、該ヘッダ情報から適応情報を確認し、これに従う端末の状態をチェックし、自身の性能及び状況に適合したデータの集合を含むストリームだけをフィルタリングすることによりサービスを提供できる。上述したように、サービスを提供する工程で実行されなければならない復号化工程又は場面構成工程なしにデータの廃棄のようなフィルタリング動作を実行できる。
所定の時間の間の場面を表現するためのデータの集合が順次的なデータで構成され、1つのストリームで伝達される場合に、他の方法は、ヘッダ情報をチェックすることにより適応情報を確認し、これに従う端末の状態をチェックし、自身の性能及び状況に適合したデータの集合だけをフィルタリングすることによりサービスを提供できる。このデータ集合が順次的なデータで構成される場合に、所定の時間の間の場面を示すための情報の場面構成時間情報は、同一の値を保有でき、この情報は、フィルタリング及びスイッチングのために使用することもできる。上述した方法に加えて、本発明で説明した適応関連情報を用いてフィルタリングのための基準として場面を表現するためのデータの集合を定義することによりフィルタリングを実行することもできる。
Figure 2011518526
表7の“SceneUnit”は、1つのアクセスユニットに含まれるNewScene及びRefreshのような命令語を含有でき、“SceneUnit”は、本発明で定義した適応情報を属性として保有できる。他の使用法として、適応のための新たな命令語(例えば、Add,Delete...)は、他の命令語と同一のレベルでSceneUnitに定義できる。この新たな命令語は、1つの命令語であり、同一の適応基準を有する場面を含む。例えば、次のように使用できる。
Figure 2011518526
表8において、‘adaptationConstraint’属性は、‘AdaptationType’及び‘AdaptationTypeValue'情報を含むか又は情報を参照する。‘AdaptationType’及び‘AdaptationTypeValue’は、リストタイプで様々な適応基準を提供できる。この際、端末は、データを受信し、対応する命令語グループの‘AdaptiveSceneIndicator’、‘AdaptationType’、及び‘AdaptationTypeValue'情報をチェックし、これに従う端末の状態をチェックし、自身の性能及び状況に適合したデータだけをフィルタリングすることにより、サービスを提供できる。
上述したように、サービスを提供する工程で実行しなければならない復号化工程又は場面構成工程を行わず、データの廃棄のようなフィルタリング及びスイッチング動作を実行できる。
上述した方法に加えて、本発明で定義した適応情報を用いて単位時間内に表現されなければならないデータを示す最小単位であるAUに基づくフィルタリングを実行することもできる。
図3は、本発明の実施形態による複数の論理的なストリームを1つの物理的なストリームに多重化することによりサービスされるLASeRストリームを受信する端末の動作を示す図である。
図3を参照すると、端末は、ステップ300で、LASeRストリームを受信し、ステップ310で、該受信したストリーム内の各AUのヘッダをチェックする。ステップ320で、端末は、場面の構成に使用されるデータを復号化し、ステップ330で、該データを場面構成時間でディスプレーする。
図4は、本発明の実施形態による複数の論理的なストリームを1つの物理的なストリームに多重化することによりサービスされるLASeRストリームを受信する端末の動作を示す図である。ここで、LASeRデータストリームは、各受信端末の特性と関連した構成要素を含むデータストリームを含有できる。複数の論理的なストリームを1つの物理的なストリームに多重化することによりサービスされるLASeRストリームの場合に、ヘッダ情報を含むAU及び実際の場面を構成するデータを含むAUは、個別に構成される。
図4を参照すると、ステップ400で、端末は、LASeRストリームを受信し、ステップ410で、受信したLASeRストリーム内のAUヘッダをチェックする。ステップ425で、端末は、受信したAUがヘッダ情報を含むか否かを確認する。該受信したAUがヘッダ情報を含む場合に、端末は、ステップ430で、AUの設定情報をチェックする。この設定情報は、LASeRストリームのヘッダ情報を含む。
端末は、ステップ445で、“AdaptiveSceneIndicator”フィールドの値を確認する。“AdaptiveSceneIndicator”フィールドの値がFALSEである場合には、端末は、ステップ440で、LASeRストリームを廃棄しないようにデータ廃棄に関する設定情報をOFFに設定し、その後で、端末が受信したヘッダ情報の実際のデータ、すなわち、実際の場面の構成に使用されるデータ、を含むAUを復号化する。
“AdaptiveSceneIndicator”フィールドの値がTRUEである場合に、端末は、ステップ450で端末の性能をチェックする。端末の性能が“adaptive_scene_component”をサービスするのに十分でない場合に、端末は、ステップ460で、実際の場面を構成するために使用されるデータを含む受信したAUを追加で処理せず、すなわち、データを復号化し、メモリで場面を構成するか又はレンダリングすることなく、端末が後で受信したヘッダ情報の実際のデータを廃棄するようにデータ廃棄に関する設定情報をオンに設定する。しかしながら、端末の性能が“adaptive_scene_component”をサービスするのに十分である場合に、端末は、ステップ440で、LASeRストリームを廃棄しない。
しかしながら、ステップ425で、この受信したAUがヘッダ情報を含んでいない場合に、端末は、ヘッダ情報を含む新たなAUが後で受信されるまで、ステップ465で、図4で説明したヘッダ情報を含むAUに関する実際の場面を構成するのに使用されるデータを含むAUを廃棄するか否かを確認する。
ステップ465で、端末がこの受信したAUを廃棄しないことを決定する場合に、端末は、設定情報をチェックする。該設定情報に基づいて、端末は、ステップ480で、該受信したデータを復号化し、ステップ490で復号化したデータを画面にディスプレーする。しかしながら、端末は、ステップ465で、この受信したデータを廃棄することを決定する場合に、ステップ470で、データを復号化し、メモリに構成するか又はレンダリングすることなく受信したLASeRストリームを廃棄する。
上述した実施形態において、端末のストリームを受信し(ステップ400)、AUのヘッダをチェックし(ステップ410)、設定情報をチェックし(ステップ430)、“AdaptiveSceneIndicator”フィールドの値に基づいて(ステップ445)端末が後で受信するヘッダ情報を含むAUに関する実際の場面を構成するのに使用されるデータを含むAUを復号化し(ステップ480)、該復号化したデータを画面にディスプレーするか(ステップ490)、又は復号化工程及びその後のすべての工程を行わずデータを廃棄する工程を除いて、任意の追加の工程は、この特定の端末のタイプ及び設計に従ってその順序が変わることもあり、又は省略されることもある。
また、“AdaptiveSceneIndicator”フィールド及び本発明で新たに定義するフィールド及び属性を用いて本発明と同一のサービスを提供できる場合に、ここで説明した実施形態の様々な変更及び変形が本発明の範囲及び趣旨を逸脱することなく可能であるということは、当該技術分野における通常の知識を有する者には明らかである。
第2の実施形態で説明したように、LASeRデータが複数の論理的なストリームを1つの物理的なストリームに多重化することにより提供される場合に、LASeRヘッダは、ヘッダタイプのデータを送信するために提供されるSAFのAUに送信できる。この際、“AdaptiveSceneIndicator”フィールド、本発明で新たに定義したフィールド及び属性を表9に示すように表現でき、saf:sceneHeaderに付加することもできる。
Figure 2011518526
以下の表10は、本発明の他の1つの実施形態として、SAFのパケットヘッダ内のpresenceOfDTSフィールドは、現在0にあらかじめ設定されていて使用されないので、presenceOfDTSフィールドの1ビットをここで説明するAdaptiveSceneFlagに対して割り当てる方法を示す。本実施形態において、表10の“AdaptiveSceneFlag”=Trueを有するSAFパケットを受信した端末は、AUをチェックする前にパケットヘッダをチェックすることにより、データストリームが各端末の特性に関連した構成要素を含む適応型データサービスのためのデータを含むことを認識できる。
Figure 2011518526
本発明のもう1つの実施形態として、“SAF_AdaptiveScene_Unit”は、端末の特性に適応可能なLASeRデータストリーム内の適応基準及びこれらの値を示すためのSAFの新たなAUタイプとして定義される。“SAF_AdaptiveScene_Unit”は、後で受信されるSAF_AUの適応基準及びこれらの値を提示できる。
下記の表11は、“SAF_AdaptiveScene_Unit”を新たなSAFタイプで明示する。“Stop_AdaptiveScene_Unit”は、前に受信した“SAF_AdaptiveScene_Unit”の適応基準及びこれらの値と関連したデータを含むSAF_AUがこれ以上受信されないことを示す。
Figure 2011518526
“SAF_AdaptiveScene_Unit”は、上述した適応情報を各フィールドとして含有できる。この際、“AdaptiveSceneIndicatorFlag”を付加でき、これは、対応するフィールドで表現でき、且つ後で受信されるSAF_AUデータストリームが“Adaptive_scene_component”であることを示す。
“AdaptiveSceneIndicatorFlag”は、“SAF_AdaptiveScene_Unit”の存在自体が、対応するフィールドの値が“SAF_AdaptiveScene_Unit”=Trueであることを示す場合に使用しないことがある。“AdaptationType”フィールドは、データストリームの適応基準を示す。“AdaptationType”の属性値は、属性値のタイプに従って様々な方法で表現でき、これに従って割り当てられたビットの個数は、表現の方式に従って変わり得る。
また、“AdaptationType”を表現する様々な方法の中で参照することにより“AdaptationType”を表現する方法が使用される場合、“url”タイプのための新たなフィールド及び“urlLengh”などが新たに付加できる。
“AdaptationTypeValue”は、データストリームの適応基準値を示すフィールドである。データストリームに適用可能な適応基準が2つ以上である場合、“numOfAdaptationType”フィールドなどが付加できる。“AdaptationType”のためのデータノードの長さ情報を提供するフィールドは、情報表現方法に従って付加できる。
本発明のもう1つの実施形態として、端末の特性に適応可能なデータストリームを含有できる“SAF_AU”、“AdaptiveSceneAU”、“AdaptiveSceneCacheUnit”、“AdaptiveSceneFFU”、及び“AdaptiveSceneFU”は、新たなSAF_AUタイプで定義する。
“AdaptiveSceneAU”は、端末の特性に適応可能なデータストリームを含有できるAUのタイプを示し、“AdaptiveSceneCacheUnit”は、端末の特性に適応可能なキャッシュデータを含有できるAUのタイプを示す。端末の特性に適応可能なデータストリームのサイズがAUのサイズより大きい場合、データを分割した後に提供できる。この際、この分割されたデータの1番目のAUは、“AdaptiveSceneFFU”に含有でき、残りのデータセグメントは、“AdaptiveSceneFU”に含有できる。
下記の表12は、“SAF_AdaptiveScene_Unit”を新たなSAFタイプで明示する。
Figure 2011518526
“AdaptiveSceneAU”だけではなく“AdaptiveSceneCacheUnit”、“AdaptiveSceneFFU”、“AdaptiveSceneFU”でも自身が含んでいるデータの適応基準及びこれらの値を示す方法は、上述した方法と同様である。
また、新たなSAFのユニットタイプを定義しなくても、ヘッダユニットタイプ(0x01,0x02,0x07)及びSAFのAUユニットタイプ(0x04,0x06)を含む既存のSAFの各ユニットにAdaptiveSceneIndicator、AdaptiveType、AdaptiveValueのような適応基準を示すフィールドを付加できる。さらに、適応基準の各フィールドを定義するにあたり割り当てられるデータのサイズに関する情報は、情報のデータタイプに従って異なって割り当てるか又は表現してもよい。
図5は、本発明の実施形態によるLASeRコンテンツをサービスする一例を示す図である。
図5を参照すると、AU500は、ヘッダを含む。AU500及び530は、本発明の実施形態に従って、ヘッダタイプだけでなく、“SAF_AdaptiveScene_Unit”も含むデータストリームの適応基準及びこれらの値を示すためのフィールド及びAUであることができる。ヘッダ510で“AdaptiveSceneIndicator”が“TRUE”に設定される場合、端末は、自身の現在の状態をチェックする。ここで、端末は、使用可能なリソースをチェックするか、又はCPU処理能力、メモリ状態、及びバッテリー状態のような条件及びイベント状況を考慮する。端末の現在の状態が適応場面構成を処理するのに十分である場合に、端末は、後で受信するデータ520を復号化しディスプレーする。
本発明の実施形態に従って、一連の(a_range_of)データ520は、端末がデータを受信するまで又は適応基準に対するフィールド及び次の適応データの値を有するヘッダを受信するまで使用できる。このデータと関連した適応基準及びこれらの値がこれ以上有効でないことをシグナリングする“stop_AdaptiveScene_Unit”を受信した場合、データ520が完全に受信されたことを示すこともできる。
この後、ヘッダ530を含むAUを受信した端末は、ヘッダ540をチェックすることにより“AdaptiveSceneIndicator”がTRUEであるか否かを確認する。端末は、適応場面構成を処理するのに十分でない場合に、後で受信する場面構成の実際のデータを含んでいるAU550のすべてを復号化せず廃棄する。
本発明の実施形態に従って、すでに復号化工程がなされたデータであっても、端末は、本発明で説明する適応基準及びこれらの値に対応するフィルタリングメカニズムに従ってメモリからのデータの削除を含むデータ廃棄を実行する。
本発明の実施形態で提供される方法に従ってLASeRコンテンツをサービスしている間、端末の性能が変化する場合にも、特定の条件又は端末の性能を考慮して場面をより柔軟に構成できる。本発明の実施形態で定義した要素や属性が同一の意味を有する場合、この要素及び属性又は属性値の異なる名称又はタイプを使用できる。また、本発明の実施形態で説明したフィールド又は属性は、独立的に又は複合的に使用してもよい。
図6は、本発明の実施形態による送信器の構成を示すブロック図である。
図6を参照すると、生成部600は、本発明の実施形態で上述した特定の条件又は端末の特性及び性能を示すか又は識別できる場面構成要素及び属性を含む場面構成要素を生成できる。場面構成要素の作成にあたり、生成部600は、イベントの使用又はイベントの発生に対応する動作の詳細な場面コンテンツを生成することもできる。生成部600は、該生成したLASeRコンテンツを符号化部610に伝達する。符号化部610は、LASeRコンテンツを符号化し、該符号化したLASeRコンテンツを多重化部(MUX)620に伝達する。多重化部620は、該符号化したLASeRコンテンツを複数の論理的なストリームとともに1つの物理的なストリームに多重化する。送信部630は、該多重化されたストリームを受信器に送信する。
この符号化されたLASeRコンテンツは、多重化工程を行わず送信できる。これは、本発明の上述した実施形態の中のいずれか1つのように省略できる。
図7は、本発明の実施形態による受信器の構成を示すブロック図である。
図7を参照すると、逆多重化部(DE−MUX)700は、受信されたストリームを論理ストリームに区分するか又は逆多重化する。ここで、多重化を実行しないストリームの場合、逆多重化工程は省略できる。
復号化部710は、該逆多重化されたストリームを復号化し、該復号化したストリームをレンダラ720に伝達する。特に、本発明に従って、復号化部710は、該受信したストリームを復号化することにより該ストリームのヘッダをチェックする。
レンダラ720は、この復号化されたデータを受信し、本発明の実施形態による特定の条件又は端末の特徴及び性能を示すか又は識別できる場面構成要素及び属性を含む場面構成要素に基づいて対応する場面をレンダリングする。すなわち、レンダラ720は、復号化部710によりチェックされたヘッダの適応情報に従ってこの受信したストリームの場面構成要素を用いて場面を適応的に構成するか否かを決定する。ディスプレー730は、端末の画面で各場面をディスプレーする。
本発明で新たに定義した要素及び属性の位置に基づいて情報を定義する方法は、変わり得る。各データ定義フォーマットに従って、この新たに定義した要素及び属性情報は、ヘッダ情報で構成してもよい。該ヘッダ情報は、初期場面構成のための情報、場面更新、場面更新データグループ、場面セグメント、及びアクセスユニットのためのシグナリング情報を含む。シグナリングのための場面構成のための実際の場面情報とは個別のアクセスユニット又はヘッダ情報で構成してもよい。シグナリングのためのデータフォーマットで形成される場合に、この新たに定義した要素及び属性情報をこの情報を示すためのフィールドで構成することもできる。
本発明で新たに定義した属性値として使用される情報は、LASeRコンテンツの内部・外部の他のデータ、ファイル、アプリケーション、サービスなどを参照して使用してもよい。この際、属性をLASeRコンテンツに定義することにより属性値だけを参照し、他のデータ、ファイル、プログラム、サービスなどとして定義された属性も参照機能を有する要素及び属性を用いて参照できる。参照機能を有する要素及び属性を用いて属性及び属性値を参照する場合にも、本発明で説明する属性の機能と同一の目的のために使用される場合に、これは、本発明の範囲内に属するということは自明である。
本発明の実施形態は、コンピュータ読み取り可能な記録媒体上でコンピュータ読み取り可能なコードとして実現できる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み出しできるデータを記憶できる任意のデータ記憶装置である。コンピュータ読み取り可能な記録媒体の例としては、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光学データ記憶装置、及び搬送波(有線又は無線送信経路上のインターネットを介したデータ送信のような)が含まれるが、これらに限定されるものではない。また、このコンピュータ読み取り可能な記録媒体は、コンピュータ読み取り可能なコードが配布される方式で記憶されて実行されるように、ネットワーク結合型コンピュータシステムを介して配布できる。更に、本発明を達成するための関数プログラム、コード及びコードセグメントは、本発明が属する技術分野で熟練したプログラマーにより本発明の範囲内で容易に解析できるであろう。
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
500、530 AU(アクセスユニット)
510、540 ヘッダ
520、550 一連のデータ
600 生成部
610 符号化部
620 MUX
630 送信部
700 逆多重化部(DE−MUX)
710 復号化部
720 レンダラ
730 ディスプレー

Claims (16)

  1. リッチメディアサービスのための端末のユーザインターフェース方法であって、
    受信されたストリームのヘッダをチェックするステップと、
    前記ヘッダ内の適応情報に従って、前記受信されたストリームの場面構成要素を用いて場面を適応的に構成するステップと、
    前記適応的に構成された場面をディスプレーするステップと
    を有することを特徴とするユーザインターフェース方法。
  2. リッチメディアサービスのための端末のユーザインターフェース装置であって、
    受信したストリームを復号化することにより、前記受信したストリームのヘッダをチェックする復号化部と、
    前記復号化部によりチェックされたヘッダ内の適応情報に従って、前記受信したストリームの場面構成要素を用いて場面を適応的に構成するレンダラと、
    前記適応的に構成された場面をディスプレーするディスプレー部と
    を有することを特徴とするユーザインターフェース装置。
  3. 前記適応情報は、前記受信したストリームをフィルタリングするために適応的場面構成要素を示す情報及び前記受信したストリームをスイッチングするために適応的場面構成要素を示す情報の中のいずれか1つを含むことを特徴とする請求項1に記載のユーザインターフェース方法又は請求項2に記載のユーザインターフェース装置。
  4. 前記適応情報は、場面を適応的に構成するための指示子、前記場面を適応的に構成するための適応基準を定義する適応的タイプ、及び適応タイプ値の中の少なくとも1つをさらに含むことを特徴とする請求項1に記載のユーザインターフェース方法又は請求項2に記載のユーザインターフェース装置。
  5. 前記適応情報は、前記ストリームに適用される適応基準の個数を示す情報をさらに含むことを特徴とする請求項1、3、4の何れかに記載のユーザインターフェース方法又は請求項2乃至4の何れかに記載のユーザインターフェース装置。
  6. 前記適応情報は、前記ストリームに従って適用される適応基準の範囲情報をさらに含むことを特徴とする請求項1、3乃至5の何れかに記載のユーザインターフェース方法又は請求項2乃至5の何れかに記載のユーザインターフェース装置。
  7. 前記適応情報は、命令語単位で設定されることを特徴とする請求項1、3乃至6の何れかに記載のユーザインターフェース方法又は請求項2乃至6の何れかに記載のユーザインターフェース装置。
  8. 前記適応情報は、場面ユニット単位で設定され、前記場面ユニットは、少なくとも1つのストリームであり、所定の時間内に場面を構成するために使用されることを特徴とする請求項1、3乃至7の何れかに記載のユーザインターフェース方法又は請求項2乃至7の何れかに記載のユーザインターフェース装置。
  9. 前記適応情報は、アクセスユニット単位で設定され、前記アクセスユニットは、最小ストリーム単位であり、単位時間内で場面を構成するために使用されることを特徴とする請求項1、3乃至8の何れかに記載のユーザインターフェース方法又は請求項2乃至8の何れかに記載のユーザインターフェース装置。
  10. 前記適応情報は、オーディオストリーム及びビデオストリームを統合した簡易統合フォーマット(SAF)のアクセスユニット(AU)単位で設定されることを特徴とする請求項1、3乃至9の何れかに記載のユーザインターフェース方法又は請求項2乃至9の何れかに記載のユーザインターフェース装置。
  11. 前記適応情報は、フラグメント単位で設定され、前記フラグメント単位は、アクセスユニットのフラグメントであり、単位時間内で場面を構成するために使用されることを特徴とする請求項1、3乃至10の何れかに記載のユーザインターフェース方法又は請求項2乃至10の何れかに記載のユーザインターフェース装置。
  12. 前記適応情報は、前記リッチメディアサービスのためのコンテンツをディスプレーするための端末の特性を示す性能情報を含むことを特徴とする請求項1、3乃至11の何れかに記載のユーザインターフェース方法又は請求項2乃至11の何れかに記載のユーザインターフェース装置。
  13. 前記適応情報は、ディスプレーサイズ、演算量、電力消耗量、メモリ情報、及び前記ストリームを処理するために要求される装置の入出力性能の中の少なくとも1つをさらに含むことを特徴とする請求項1、3乃至12の何れかに記載のユーザインターフェース方法又は請求項2乃至12の何れかに記載のユーザインターフェース装置。
  14. 前記適応情報は、前記場面を適応的に構成するためにそれぞれ使用されるグラフィック要素のための情報、フォント要素のための情報、テキスト要素のための情報、及びイメージ又はビデオデータのための情報の中の少なくとも1つをさらに含むことを特徴とする請求項1、3乃至13の何れかに記載のユーザインターフェース方法又は請求項2乃至13の何れかに記載のユーザインターフェース装置。
  15. 前記適応情報をチェックするステップと、
    前記端末が前記リッチメディアサービスのためのコンテンツをディスプレーする前記端末の特性を示す性能情報をサポートできない場合に、前記受信したストリームを廃棄するステップとをさらに有することを特徴とする請求項1に記載のユーザインターフェース方法。
  16. 前記レンダラは、前記適応情報をチェックし、前記端末が前記リッチメディアサービスのためのコンテンツをディスプレーする前記端末の特性を示す性能情報をサポートできない場合に、前記受信したストリームを廃棄することを特徴とする請求項2に記載のユーザインターフェース装置。
JP2011506191A 2008-04-21 2009-04-21 リッチメディアサービスのための端末のユーザインターフェース装置及び方法 Active JP5512657B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR20080036891 2008-04-21
KR10-2008-0036891 2008-04-21
KR20080040315 2008-04-30
KR10-2008-0040315 2008-04-30
KR10-2008-0083007 2008-08-25
KR1020080083007A KR20090111253A (ko) 2008-04-21 2008-08-25 리치미디어 콘텐츠의 장면 구성을 위한 장치 및 방법
KR1020080099765A KR101516020B1 (ko) 2008-04-21 2008-10-10 리치미디어 콘텐츠의 장면 구성장치 및 방법
KR10-2008-0099765 2008-10-10
PCT/KR2009/002078 WO2009131359A2 (en) 2008-04-21 2009-04-21 Apparatus and method for composing scenes using rich media contents

Publications (2)

Publication Number Publication Date
JP2011518526A true JP2011518526A (ja) 2011-06-23
JP5512657B2 JP5512657B2 (ja) 2014-06-04

Family

ID=41078150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011506191A Active JP5512657B2 (ja) 2008-04-21 2009-04-21 リッチメディアサービスのための端末のユーザインターフェース装置及び方法

Country Status (5)

Country Link
US (1) US8707151B2 (ja)
EP (1) EP2114076B1 (ja)
JP (1) JP5512657B2 (ja)
CN (1) CN102017651B (ja)
WO (1) WO2009131359A2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102017651B (zh) * 2008-04-21 2014-01-29 三星电子株式会社 使用富媒体内容组成场景的装置和方法
CN101968887A (zh) * 2010-09-08 2011-02-09 东莞电子科技大学电子信息工程研究院 一种富媒体场景的局部渲染方法
CN102279752B (zh) * 2011-08-31 2014-03-12 北京华电万通科技有限公司 一种基于Web3D的超大场景实时渲染装置和方法
US9444700B2 (en) 2011-11-02 2016-09-13 Imagine Communications Corp. Network analysis device and method
KR101903443B1 (ko) * 2012-02-02 2018-10-02 삼성전자주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송수신 장치 및 방법
US20130278834A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Display power reduction using extended nal unit header information
JP2015520406A (ja) * 2012-04-20 2015-07-16 サムスン エレクトロニクス カンパニー リミテッド Sei情報を用いたディスプレイ電力低減
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
KR102069538B1 (ko) * 2012-07-12 2020-03-23 삼성전자주식회사 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법
KR101959820B1 (ko) * 2012-10-12 2019-03-20 삼성전자주식회사 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치
KR101956111B1 (ko) * 2018-09-21 2019-03-11 삼성전자주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송수신 장치 및 방법
CN111327865B (zh) * 2019-11-05 2021-12-28 杭州海康威视系统技术有限公司 视频传输方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064802A (ja) * 2000-08-21 2002-02-28 Sony Corp データ伝送システム、データ伝送装置及び方法、シーン記述処理装置及び方法
JP2004013823A (ja) * 2002-06-11 2004-01-15 Hitachi Ltd コンテンツ配信システム及びプログラム
US20050226196A1 (en) * 2004-04-12 2005-10-13 Industry Academic Cooperation Foundation Kyunghee University Method, apparatus, and medium for providing multimedia service considering terminal capability
JP2008507888A (ja) * 2004-07-22 2008-03-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Saf同期化階層パケット構造とこれを用いるサーバシステム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734589A (en) * 1995-01-31 1998-03-31 Bell Atlantic Network Services, Inc. Digital entertainment terminal with channel mapping
WO1997035393A1 (fr) * 1996-03-15 1997-09-25 Hitachi, Ltd. Dispositif de separation de donnees
US6317131B2 (en) * 1997-07-15 2001-11-13 At&T Corp. Interaction modalities for multimedia delivery and presentation using nodes
US6751623B1 (en) * 1998-01-26 2004-06-15 At&T Corp. Flexible interchange of coded multimedia facilitating access and streaming
JP2000032393A (ja) * 1998-07-09 2000-01-28 Sony Corp 画像情報処理装置および方法、並びに提供媒体
FR2795272B1 (fr) * 1999-06-18 2001-07-20 Thomson Multimedia Sa Procede de commutation de flux mpeg
JP3956549B2 (ja) * 1999-09-30 2007-08-08 ソニー株式会社 記録装置および方法、再生装置および方法並びに記録媒体
US6848004B1 (en) * 1999-11-23 2005-01-25 International Business Machines Corporation System and method for adaptive delivery of rich media content to a user in a network based on real time bandwidth measurement & prediction according to available user bandwidth
US7134073B1 (en) * 2000-06-15 2006-11-07 International Business Machines Corporation Apparatus and method for enabling composite style sheet application to multi-part electronic documents
EP1346294A2 (en) * 2000-12-18 2003-09-24 Kargo, Inc. A system and method for delivering content to mobile devices
US20040110490A1 (en) * 2001-12-20 2004-06-10 Steele Jay D. Method and apparatus for providing content to media devices
ATE363809T1 (de) * 2002-03-27 2007-06-15 British Telecomm Datenstruktur für ein datenübertragungssystem
US8244895B2 (en) * 2002-07-15 2012-08-14 Hewlett-Packard Development Company, L.P. Method and apparatus for applying receiving attributes using constraints
SE0302778D0 (sv) * 2003-10-17 2003-10-17 Ericsson Telefon Ab L M Container format for multimedia presentations
NO318868B1 (no) * 2003-10-24 2005-05-18 Tandberg Telecom As Videokonferanse med forbedrede multimediakapabiliteter
US20050207657A1 (en) * 2004-02-02 2005-09-22 Clark Adam L System and method for encoding and decoding video
US8199781B2 (en) * 2004-12-14 2012-06-12 Samsung Electronics Co., Ltd Device and method for demultiplexing received transport stream in digital broadcasting receiver
KR100685124B1 (ko) 2005-02-15 2007-02-22 에스케이 텔레콤주식회사 위성 dmb 시스템에서의 계층적 전송 시스템 및 그 방법
WO2007000649A1 (en) 2005-06-27 2007-01-04 Nokia Corporation Transport mechanisms for dynamic rich media scenes
EP1932315A4 (en) 2005-09-01 2012-05-09 Nokia Corp METHOD FOR INTEGRATING SVG CONTENT INTO ISO MULTIMEDIA FILE FORMAT FOR PROGRESSIVE DOWNLOAD AND CONTINUOUS TRANSMISSION OF RICH MULTIMEDIA CONTENT
FR2898707B1 (fr) 2006-03-17 2009-05-15 Streamezzo Sa Procede, dispositif et systeme de gestion d'informations structurees au sein d'une scene graphique
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
AU2007309759B2 (en) * 2006-10-25 2011-04-07 Telefonaktiebolaget L M Ericsson (Publ) Rich media stream management
CN102017651B (zh) * 2008-04-21 2014-01-29 三星电子株式会社 使用富媒体内容组成场景的装置和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064802A (ja) * 2000-08-21 2002-02-28 Sony Corp データ伝送システム、データ伝送装置及び方法、シーン記述処理装置及び方法
JP2004013823A (ja) * 2002-06-11 2004-01-15 Hitachi Ltd コンテンツ配信システム及びプログラム
US20050226196A1 (en) * 2004-04-12 2005-10-13 Industry Academic Cooperation Foundation Kyunghee University Method, apparatus, and medium for providing multimedia service considering terminal capability
JP2008507888A (ja) * 2004-07-22 2008-03-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート Saf同期化階層パケット構造とこれを用いるサーバシステム

Also Published As

Publication number Publication date
CN102017651B (zh) 2014-01-29
WO2009131359A3 (en) 2010-01-14
CN102017651A (zh) 2011-04-13
EP2114076B1 (en) 2013-09-11
US8707151B2 (en) 2014-04-22
JP5512657B2 (ja) 2014-06-04
US20090265603A1 (en) 2009-10-22
WO2009131359A2 (en) 2009-10-29
EP2114076A2 (en) 2009-11-04
EP2114076A3 (en) 2011-06-08

Similar Documents

Publication Publication Date Title
JP5512657B2 (ja) リッチメディアサービスのための端末のユーザインターフェース装置及び方法
RU2378765C1 (ru) Устройство и способ для приема многочисленных потоков в системе мобильной трансляции
CN110996160B (zh) 视频处理方法、装置、电子设备及计算机可读取存储介质
JP5122644B2 (ja) レーザコンテンツを使用して場面を構成するための方法及び装置
US10573274B2 (en) Method and apparatus for transmission and reception of media data
AU2007287316A1 (en) Method and device for assembling forward error correction frames in multimedia streaming
US11490169B2 (en) Events in timed metadata tracks
CN116346794A (zh) 接收媒体数据的方法、装置和非易失性计算机可读存储介质
JP5414792B2 (ja) リッチメディアサービスを提供する方法及び装置
JP5489183B2 (ja) リッチメディアサービスを提供する方法及び装置
CN101513070B (zh) 用于显示轻量级应用场景表示内容的方法和设备
US20080248782A1 (en) Providing Devices With Command Functionality in Content Streams
JP6646661B2 (ja) メディア・データの送受信の方法及び装置
CN109618186A (zh) 一种采用fpga实现的h264/avc视频辅助增强信息封装电路
CN114009030B (zh) 视频解码的方法、装置及可读介质
CN112188256B (zh) 信息处理方法、信息提供方法、装置、电子设备及存储介质
KR101516020B1 (ko) 리치미디어 콘텐츠의 장면 구성장치 및 방법
CN105812922A (zh) 多媒体文件数据的处理方法及系统、播放器和客户端
CN115462063B (zh) 接收媒体数据的方法、设备及存储介质
US11882170B2 (en) Extended W3C media extensions for processing dash and CMAF inband events
CN113364728B (zh) 媒体内容接收方法、装置、存储介质和计算机设备
US20230336602A1 (en) Addressable resource index events for cmaf and dash multimedia streaming
KR20090111253A (ko) 리치미디어 콘텐츠의 장면 구성을 위한 장치 및 방법
JP2024537153A (ja) Dashイベント更新のハンドリングを支援するためのdashクライアント処理モデルの処理モデル

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130115

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140326

R150 Certificate of patent or registration of utility model

Ref document number: 5512657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250