JP2006509420A - 映像コンテンツの適応変換装置及びその方法 - Google Patents

映像コンテンツの適応変換装置及びその方法 Download PDF

Info

Publication number
JP2006509420A
JP2006509420A JP2004556966A JP2004556966A JP2006509420A JP 2006509420 A JP2006509420 A JP 2006509420A JP 2004556966 A JP2004556966 A JP 2004556966A JP 2004556966 A JP2004556966 A JP 2004556966A JP 2006509420 A JP2006509420 A JP 2006509420A
Authority
JP
Japan
Prior art keywords
video
video content
user terminal
information
adaptive conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004556966A
Other languages
English (en)
Other versions
JP4160563B2 (ja
Inventor
リン−チュル キム
ジェ−ホ ナム
ジン−ウー ホン
ジン−ウォン キム
ヘ−クワン キム
ナム−イク チョ
ヒュン−ジョン キム
マン−べ キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2006509420A publication Critical patent/JP2006509420A/ja
Application granted granted Critical
Publication of JP4160563B2 publication Critical patent/JP4160563B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25833Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents

Abstract

本発明は、映像コンテンツ適応変換装置及びその方法、そしてそのシステムに関する。前記装置及び方法は、デジタルコンテンツをユーザの映像再生趣向に応じて適応変換して、ユーザにとってデジタルコンテンツを最適に経験できるようにする。前記映像コンテンツ適応変換装置は、映像使用環境管理部及び映像適応変換部を含む。

Description

本発明は、映像コンテンツの適応変換装置及びその方法に関し、さらに詳細には、ユーザ端末特性及びユーザ映像再生趣向特性を含む使用環境情報に適合するように、映像コンテンツを適応変換させる装置及びその方法に関する。
ここで、映像コンテンツとは、2次元/2次元映像コンテンツ及びアニメーション映像コンテンツなどを含むものである。本発明では、特に、映像コンテンツに対してさらに詳細に説明する。
MPEG(Moving Picture Experts Group)は、MPEG−21の新しい標準作業項目であるデジタルアイテム適応変換(DIGITAL ITEM ADAPTATION;以下、「DIA」と記す)を提示した。デジタルアイテム(DIGITAL ITEM;「DI」と記す)は、標準化された表現、識別及びメタデータを有する構造化されたデジタルオブジェクトを意味し、DIAは、DIがリソース適応変換エンジンまたは記述子適応変換エンジンで処理されて適応変換されたDIを生成するプロセスのことを意味する。
ここで、リソースとは、ビデオまたはオーディオ、イメージまたはテキスト項目のように個別的に識別可能な項目のことを意味し、物理的なオブジェクトのことを意味することもできる。記述子は、DI内の項目またはコンポーネントに関連した情報を意味する。
また、本明細書で使用された用語であるユーザは、DIの生産者、権利者、分配者及び消費者などを全て含むものである。メディアリソースは、直接的にデジタル表現が可能なコンテンツのことを意味する。本明細書でのコンテンツという用語は、DI、メディアリソース及びリソースと同じ意味として用いられる。
従来の技術によれば、1つの映像コンテンツをそれぞれ異なる使用環境に適合するように適応変換処理可能な単一ソース複数使用(Single−Source Multi−use)環境を提供できないという問題がある。ここで、使用環境は、ユーザ特性、ユーザ周辺環境及びユーザ端末能力に対する情報を利用して説明され得る。
「単一ソース」とは、マルチメディアソースから生成された1つのコンテンツを意味し、「複数使用」とは、多様な使用環境のユーザ端末が「単一ソース」を各々の使用環境に適合するように消費することを意味する。
単一ソース複数使用環境の長所は、多様な使用環境に適合するように、1つのコンテンツを再加工することで、互いに異なる使用環境に適応変換された多様な形態のコンテンツを提供できるという点にある。また、単一ソースを多様な使用環境に適応変換する時、ネットワーク帯域幅を效率良く使用するか、減少させ得るという長所がある。
したがって、コンテンツ提供者の立場では、多様な使用環境に映像コンテンツを適合させるために、複数のコンテンツを製作するか、伝送する過程で発生する不必要な費用を低減できる。また、コンテンツ消費者の立場では、自身が位置した環境の空間的制約を克服すると共に、ユーザ自身の選好度を最大限に満足させ得る最適の映像コンテンツを消費できるようになる。
最近、映像コンテンツは、ゲーム、医療診断、CAD/CAM、教育及び娯楽などの多様な応用分野において、PC、PDA及び携帯電話器など多様なユーザ端末を介してその消費量が急増しつつある。
製作者は、自由に創作意図を発揮して映像コンテンツを製作する。映像コンテンツは、映像通信側面において、比較的少ないデータ伝送量を有するという長所がある反面、エンドユーザ端末で映像コンテンツをレンダリングする際、多くの計算量が要求されるという短所がある。
従来のインターネットのようなマルチメディアコンテンツ消費環境では、サーバから伝送される形式のまま、ユーザ端末で消費される構造であるため、多様なユーザ端末の特性、処理性能、ユーザ映像再生趣向及び選好度などを考慮して、3次元映像/アニメーション映像コンテンツを製作して伝送するのに問題が発生する。
発明の開示
本発明は、上記のような問題点を解決するためになされたものであって、その目的とするところは、予め記述されたユーザ端末特性及びユーザ映像再生趣向特性を含む使用環境情報を利用して、映像コンテンツを適応変換する装置及びその方法を提供することにある。
上記の目的を達成するため、本発明は、単一ソース複数使用のための映像コンテンツ適応変換装置において、映像コンテンツを消費するユーザ端末から映像使用環境情報を収集して記述し、かつ管理する映像使用環境情報の管理手段及び前記映像使用環境情報に適合する映像コンテンツが前記ユーザ端末に出力されるように、前記映像コンテンツを適応変換させる映像適応変換手段を含み、前記映像使用環境情報は、前記映像コンテンツに対するユーザ端末特性情報及びユーザ映像再生趣向特性情報を含む。
また、本発明は、単一ソース複数使用のための映像コンテンツ適応変換方法において、映像コンテンツを消費するユーザ端末から映像使用環境情報を収集して記述し、かつ管理する第1ステップと、前記映像使用環境情報に適合する映像コンテンツが前記ユーザ端末に出力されるように、前記映像コンテンツを適応変換させる第2ステップとを含み、前記映像使用環境情報は、前記映像コンテンツに対するユーザ端末特性情報及びユーザ映像再生趣向特性情報を含む。
以下の内容は、単に本発明の原理を例示するものである。したがって、当業者は、たとえ本明細書に明確に説明されたり図示されていないとしても、本発明の原理を具現化し、本発明の概念と範囲に含まれた多様な装置を発明できるものである。また、本明細書に挙げられた全ての条件付用語及び実施例は、原則的に、本発明の概念理解のための目的だけで明確に意図され、このように特別に挙げられた実施例及び状態に限定されたものではないと理解すべきである。
また、本発明の原理、観点及び実施例だけでなく、特定実施例を挙げる全ての詳細な説明は、このような事項の構造的及び機能的均等物を含むように意図されるものと理解すべきである。また、このような均等物は、現在公知された均等物だけでなく、将来に開発される均等物、すなわち構造と関係なく同じ機能を行うように発明された全ての素子を含むものと理解すべきである。
したがって、例えば、本明細書のブロック図は、本発明の原理を具体化する例示的な回路の概念的観点を示すものと理解すべきである。これと同様に、全てのフローチャート、状態変換図、疑似コードなどは、コンピュータで読み取り可能な媒体に実質的に示すことができ、コンピュータまたはプロセッサが明確に図示されたか否かに関わらず、コンピュータまたはプロセッサにより行われる多様なプロセスを示すものと理解すべきである。
プロセッサまたはこれと類似の概念で表示された機能ブロックを含む図面に示された多様な素子の機能は、専用ハードウェアだけでなく適切なソフトウェアと関連して、ソフトウェアを実行する能力を有したハードウェアの使用に提供され得る。プロセッサにより提供されている時、前記機能は、単一専用プロセッサ、単一共有プロセッサまたは複数の個別的プロセッサにより提供され得るし、これらのうち、一部は共有できる。
また、プロセッサ、制御またはこれと類似の概念で提示される用語の明確な使用は、ソフトウェアを実行する能力を有したハードウェアを排他的に引用して解析されてはならず、無制限でデジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを格納するためのROM、RAM及び不揮発性メモリを暗示的に含むものと理解すべきである。周知慣用の他のハードウェアも含まれることができる。
本明細書の特許請求の範囲において、詳細な説明に記載された機能を行うための手段として表現された構成要素は、例えば前記機能を行う回路素子の組み合わせまたはファームウエア/マイクロコードなどを含む全ての形式のソフトウェアを含む機能を行う全ての方法を含むものと意図され、前記機能を行うように、前記ソフトウェアを行うための適切な回路と結合される。このような請求範囲により定義される本発明は、多様に挙げられた手段により提供される機能が結合され、請求項が要求する方式と結合されるため、前記機能を提供できるいかなる手段も本明細書から把握されるものと均等のものと理解すべきである。
上述した目的、特徴及び長所は、添付された図面と関連した次の詳細な説明を通じてさらに明確になるであろう。まず、各図面の構成要素に参照符号を付するにおいて、同じ構成要素に限ってはたとえ他の図面上に示されていても可能な限り同一符号を付していることに留意すべきである。また、本発明を説明するにおいて、関連公知技術に対する具体的な説明が本発明の要旨を不必要にぼかすと判断される場合、その詳細な説明を省略する。以下、添付された図面を参照し、本発明に係る好ましい実施例を詳細に説明する。
図1は、本発明の一実施例に係る映像適応変換装置を概略的に示すブロック図である。図面に示されているように、本発明に係る映像適応変換装置100は、映像適応変換手段103及び映像使用環境情報の管理手段107を含む。
映像適応変換手段103及び映像使用環境情報の管理手段107各々は、相互独立的に映像処理システムに搭載されることができる。映像処理システムは、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ワークステーション、メーンフレームまたは他の形態のコンピュータを含む。個人携帯情報端末器(PDA)、移動通信のモバイルステーションのような他の形態のデータ処理または信号処理システムも映像処理システムに含まれる。
映像処理システムは、ネットワーク経路を構成する全てのノード、すなわちマルチメディアソースノードシステム、マルチメディア中継ノードシステム及びエンドユーザ端末(END USER TERMINAL)のうち、任意のノードシステムであり得る。
エンドユーザ端末は、WINDOW MEDIA PLAYER、REAL PLAYERなどのようなプレーヤーが搭載されている。
例えば、映像適応変換装置100がマルチメディアソースノードシステムに搭載され動作する場合、映像コンテンツを消費する使用環境を予め記述した情報を利用して、使用環境に適合するように映像コンテンツを適応変換させるためには、使用環境に対する情報をエンドユーザ端末から受信し、受信された使用環境に基づいて適応変換されたコンテンツをエンドユーザ端末に伝送する。
本発明の好ましい実施例の各構成要素の機能と動作を説明するため、本発明に係る映像適応変換装置100が映像データを処理するプロセス、例えば映像エンコーディングプロセスに対して、ISO(International Standardization Organization)/IEC(International Electrotechnical Commission)の技術委員会のISO/IEC標準文書は、役に立つ範囲で本明細書の一部として含まれることができる。
映像データ収集手段101は、マルチメディアソースから生成された映像データを収集する。映像データ収集手段101は、マルチメディアソースノードシステムに含まれることもでき、マルチメディアソースノードシステムから有/無線ネットワークを介して伝送された映像データを受信する、マルチメディア中継ノードシステムに含まれることができる。または、前記映像データ収集手段101は、エンドユーザ端末に含まれることもできる。
映像適応変換手段103は、映像データ収集手段101から映像データを受信し、映像使用環境情報の管理手段107で獲得した使用環境情報を利用して、使用環境に適合するように映像データを適応変換させる。前記使用環境情報は、ユーザ端末特性及びユーザ映像再生趣向特性を含む。
図面に示された映像適応変換手段103の機能が必ずある一つのノードシステムだけに含まれなければならないものではなく、ネットワーク経路を構成するノードシステムに分散できる。
映像使用環境情報の管理手段107は、ユーザ端末から情報を収集して、使用環境情報を予め記述し管理する。
映像データ出力手段105は、映像適応変換手段103により適応変換された映像データを出力する。出力された映像データは、エンドユーザ端末の映像プレーヤーに伝送されることもでき、有/無線ネットワークを介してマルチメディア中継ノードシステムまたはエンドユーザ端末に伝送されることもできる。
図2は、図1の映像適応変換装置に具現化可能な一実施例を概略的に示すブロック図である。図示されているように、映像データ収集手段101は、映像コンテンツ/メタデータ収集部110、映像メタデータ格納部130及び映像コンテンツ格納部120を含むことができる。
映像コンテンツ/メタデータ収集部110は、映像コンテンツ及び映像メタデータを収集する。前記映像メタデータ格納部130は、収集された映像メタデータを格納する。前記映像コンテンツ格納部120は、収集された映像コンテンツを格納する。
前記映像コンテンツ/メタデータ収集部110は、地上波、衛星及びケーブルTV信号及びインターネットなどのネットワーク及びVCR、CD、DVDなどの記録媒体などを介して獲得される多様な映像コンテンツ及び関連メタデータを、各々映像コンテンツ格納部120及び映像メタデータ格納部130に伝達し格納するようにする。
前記映像コンテンツは、3次元映像停止画と3次元アニメーション動画を含むことができるため、映像コンテンツは様々な互いに異なる符号化方式で格納され得るし、ストリーミング形態で伝送される多様なメディアフォーマットを含むことができる。
また、前記映像メタデータは、映像コンテンツの符号化方式の種類、ファイルの大きさ、ビットレート、秒当たりのフレーム数、解像度などの映像メディア情報と該当コンテンツの題目、製作者、製作場所、製作日時、ジャンル及び等級などの製作、分類情報などがXML(eXtensible Markup Language)スキーマ(schema)により定義されて記述される。
映像使用環境情報の管理手段107は、ユーザ映像再生趣向特性情報の収集部150、ユーザ端末特性情報の収集部140、ユーザ映像再生趣向特性情報の管理部160及びユーザ端末特性情報の管理部170を含むことができる。
ユーザ映像再生趣向特性情報の収集部150は、映像コンテンツをユーザ固有の映像再生趣向及び選好度に応じて多視点(multiview)2次元映像コンテンツに適応変換させるために、ユーザ映像再生趣向及び選好情報を収集、整理して、ユーザ映像再生趣向特性情報の管理部160に伝送する。前記ユーザ映像再生趣向は、ユーザ端末の性能により起因することができる。
ユーザ映像再生趣向特性情報の管理部160は、伝送されたユーザ映像再生趣向特性情報をXML形式の機械読み取り可能な言語で記録、格納、管理し、このような情報を映像コンテンツ適応変換処理部180に伝送する。
また、ユーザ端末特性情報の収集部140は、ユーザ端末が映像コンテンツ再生の際必要とするユーザ端末特性情報を収集し整理して、ユーザ端末特性情報の管理部170に伝送する。
ユーザ端末特性情報の管理部170は、ユーザ映像再生趣向特性情報の管理部160と同様に、前記ユーザ端末特性情報をXML形式の機械読み取り可能な言語で記録、格納、管理し、このような情報を映像コンテンツ適応変換処理部180に伝送する。
映像適応変換手段103は、映像コンテンツを適応変換する映像コンテンツ適応変換処理部180及び映像コンテンツ適応変換の際に映像メタデータ格納部130から伝達されたメタデータを映像コンテンツ適応変換処理部180に提供する、映像メタデータ適応変換処理部190を含むことができる。
映像コンテンツ適応変換処理部180は、前記ユーザ映像再生趣向特性情報の管理部160から伝達されたユーザ映像再生趣向特性情報をパース(Parsing)した後、ユーザの多視点選好度及び映像品質に対する選好度を反映して、映像コンテンツを適応変換させる。
また、映像コンテンツ適応変換処理部180は、XML形式の前記ユーザ端末特性情報をユーザ端末特性情報の管理部170から受け取って関連情報をパース(Parsing)した後、ユーザ端末の特性に適合するように、映像コンテンツを適応変換させる。
映像メタデータ適応変換処理部190は、映像コンテンツ適応変換過程で必要なメタデータを提供し、映像コンテンツ適応変換処理結果に応じて、対応する映像メタデータ情報の内容を適応変換させる。
映像データ出力手段105は、映像コンテンツ適応変換処理部180と映像メタデータ適応変換処理部190とから伝達された映像コンテンツとメタデータとをユーザに出力するための映像コンテンツ/メタデータ出力部200を含むことができる。
図3は、図1の映像適応変換装置で行われる映像適応変換プロセスを説明するためのフローチャートである。図示しているように、本発明に係るプロセスは、映像使用環境情報の管理手段107がユーザ端末から映像使用環境情報を収集して、ユーザ端末特性情報及びユーザ映像再生趣向特性情報を予め記述することから始まる(S301)。
次に、映像データ収集手段101が映像データを収集すれば(S303)、映像適応変換手段103は、ステップS301で記述した使用環境情報を利用して、ステップS303で収集した映像データを使用環境、すなわちユーザ端末特性及びユーザ映像再生趣向特性に適合するように、映像コンテンツを適応変換させる(S305)。
映像データ出力手段105は、ステップS305で適応変換された映像データを出力する(S307)
図4は、図3の適応変換プロセス(S305)を説明するためのフローチャートである。図4に示されているように、映像適応変換手段103は、映像データ収集手段101が収集した映像コンテンツ及び映像メタデータを確認して(S401)、映像コンテンツをユーザ端末特性及びユーザ映像再生趣向特性に適合するように適応変換させ(S403)、ステップS403の映像コンテンツ適応変換処理結果に応じて、対応する映像メタデータ情報の内容を適応変換させる(S405)。
以下では、本発明によって映像使用環境情報の管理手段107で管理される記述情報構造について説明する。
本発明に係るユーザ端末特性情報の構成要素を整理すれば、下記の表1、表2の通りである。
ユーザ端末特性情報の管理部170が記録/格納する、上述した映像コンテンツ復号化及び符号化処理に関連した情報を記述したスキーマの構文の一例としてXML形式で作成された構文は、下記の通りである。
まず、表1の場合には、次の通り表現されることができる。
<elementname="GraphicsFormat"
type="mpeg7:ControlledTermUseType"/>
また、表2の場合には、次の通り表現されることができる。
<elementname="GraphicParameters"minOccurs="0">
<sequence>
<elementname="vertexProcessingRate"
type="integer"minOccurs="0"/>
<elementname="fillRate"
type="integer"minOccurs="0"/>
<elementname="memoryBandwidth"
type="integer"minOccurs="0"/>
</sequence>
</element>
上述したvertexProcessingRate記述子、fillRate記述子及びmemoryBandwidth記述子は、ユーザ端末の映像コンテンツ再生能力を示す。
一方、本発明に係るユーザ映像再生趣向特性情報の構成要素を整理すれば、下記の表3の通りである。
ユーザ端末特性情報の管理部170が記録/格納する、上述したユーザ映像再生趣向特性情報を記述したスキーマの構文の一例として、XML形式で作成された構文は、下記の通りである。
<elementname="GraphicsPresentationPreference"
type="DIA:GraphicsPresentationPreferenceType"
minOccurs="0"/>

<complexType
name="GraphicsPresentationPreferenceType">
<sequence>
<elementname="3DtoMultivew2D"minOccurs="0">
<complexType>
<sequencemaxOccurs="unbounded">
<elementname="CameraSourceLocation"type="3Dcoord"/>
<elementname="CameraDestLocation"type="3Dcoord"/>
<elementname="CameraFocallength"type="float"/>
<elementname="CamerapProjection"minOccurs="0"/>
<simpleType>
<restrictionbase="string">
<enumerationvalue="Perspective">
<enumerationvalue="Orthographic">
</restriction>
</simpleType>
</element>
<elementname="CameraFieldOfView">
<simpleType>
<restrictionbase="float">
<minInclusivevalue="0.0">
<maxInclusievalue="360.0">
</restriction>
</simpleType>
</element>
<elementname="CamerAspectRatio"
type="mpeg7:nonNegativeFloat"/>
<elementname="CameraNearPlane"
type="mpeg7:nonNegativeFloat">
<elementname="CameraFarPlane"
type="mpeg7:nonNegativeFloat">
</sequence>
</complexType>
</element>
<elementname="GeometryQuality"
type="mpeg7:zeroToOneType"/>
<elementname="MaterialQuality"
type="mpeg7:zeroToOneType"/>
<elementname="AnimationQuality"
type="mpeg7:zeroToOneType"/>
</sequence>
</complexType>
<simpleTypename="3Dcoord">
<restrictionbase="mpeg7:floatVector"/>
<minLengthvalue="3"/>
<maxLengthvalue="3"/>
</restriction>
</simpleType>
上述したユーザ映像再生趣向特性情報のうち、GeometryQuality記述子は、3次元映像コンテンツの映像オブジェクトの幾何学的特性を表現するものであって、ユーザの幾何学的選好度を強調する。
図5は、本発明の一実施例によってGeometryQuality記述子を変化させた3次元映像コンテンツの例示図である。図示しているように、GeometryQuality記述子を0から1との間の値に設定することによって、3次元映像コンテンツの幾何学的特性を表現できる。
例えば、GeometryQuality記述子の値が1と設定された場合、オリジナル映像コンテンツの有する幾何学的特性がそのまま伝送される。また、GeometryQuality記述子の値が0.4と設定された場合、幾何形状が100個の三角網(triangle meshes)からなる映像オブジェクトに対して、三角網の数を40個に低減することによって、より低い品質の幾何学的特性が反映される。
MaterialQuality記述子は、3次元映像コンテンツの映像オブジェクトの質感特性を表現するものであって、ユーザの質感選好度を強調する。MaterialQuality記述子を0から1との間の値に設定することによって、3次元映像コンテンツの質感特性を表現できる。
例えば、MaterialQuality記述子の値が1と設定された場合、オリジナル映像コンテンツの有する質感特性がそのまま伝送される。
また、MaterialQuality記述子の値が0.04と設定された場合、100×100ピクセルからなる映像オブジェクトに対して、その質感を20×20ピクセルに低減することによって、さらに低い品質の質感特性が反映される。
AnimationQuality記述子は、アニメーション映像オブジェクトで秒当たり見せる映像の数に対するユーザの選好情報である。AnimationQuality記述子を0から1との間の値と設定することによって、アニメーション特性を表現できる。
例えば、AnimationQuality記述子の値が1と設定された場合、オリジナル映像コンテンツの有するアニメーション特性がそのまま伝送される。また、AnimationQuality記述子の値が0.4と設定された場合、秒当たりの30位置点を有するアニメーション映像オブジェクトに対して、アニメーション解像度を秒当たりの12位置点に低減することによって、低い品質のアニメーション特性が反映される。
上述したように、本発明は、ユーザ端末の特性情報及びユーザ映像再生趣向特性情報を利用して、映像コンテンツをそれぞれ異なる使用環境と多様なユーザの趣向とに適合するように、適応、変換処理が可能なサービス環境を提供できる効果がある。
また、本発明に係る単一ソース複数使用環境は、多様なユーザ端末の性能及び提供機能範囲、互いに異なる使用環境及び多様なユーザ特性などに適合するように、単一の映像コンテンツを再加工して、互いに異なる環境とユーザ要求とに適応変換された多様な形態の映像コンテンツで速かに提供できるため、複数の映像コンテンツ製作及び伝送などで発生する不必要な費用を低減でき、ユーザは自身が位置した場所及び環境の空間的制約性を克服でき、ユーザ自身の趣向を最大限満足させ得る最適の映像コンテンツのサービスを可能にする効果がある。
なお、本発明は、上記の実施の形態に限定されるものではなく、本発明に係る技術的思想から逸脱しない範囲内で様々な変更が可能であり、それらも本発明の技術的範囲に属する。
本発明の一実施例に係る映像適応変換装置を概略的に示すブロック図である。 図1の映像適応変換装置に具現可能な一実施例を概略的に示すブロック図である。 図1の映像適応変換装置で行われる映像適応変換プロセスを説明するためのフローチャートである。 図3の適応変換プロセス(S305)を説明するためのフローチャートである。 本発明の一実施例によってGeometryQuality記述子を変化させた3次元映像コンテンツの例示図である。

Claims (16)

  1. 単一ソース複数使用のための映像コンテンツ適応変換装置において、
    映像コンテンツを消費するユーザ端末から映像使用環境情報を収集して記述し、かつ管理する、映像使用環境情報の管理手段と、
    前記映像使用環境情報に適合する映像コンテンツが前記ユーザ端末に出力されるように、前記映像コンテンツを適応変換させる映像適応変換手段と
    を含み、
    前記映像使用環境情報は、
    前記映像コンテンツに対するユーザ端末特性情報及びユーザ映像再生趣向特性情報を含むことを特徴とする映像コンテンツ適応変換装置。
  2. 前記ユーザ端末特性情報は、
    前記ユーザ端末の符号化/復号化性能と関連した情報を含み、
    前記映像適応変換手段は、
    前記符号化/復号化性能と関連した情報に基づいて映像コンテンツを変化させて、ユーザ端末に伝送されるように映像コンテンツを適応変換させることを特徴とする請求項1に記載の映像コンテンツ適応変換装置。
  3. 前記符号化/復号化性能情報は、前記ユーザ端末の秒当たり処理される最大交点数(maximum vertices)情報を含むことを特徴とする請求項2に記載の映像コンテンツ適応変換装置。
  4. 前記符号化/復号化性能情報は、前記ユーザ端末のスクリーンバッファに描画される秒当たりの最大ピクセル数情報を含むことを特徴とする請求項2に記載の映像コンテンツ適応変換装置。
  5. 前記符号化/復号化性能情報は、前記ユーザ端末の映像処理プロセッサと映像メモリとの間の最大伝送率情報を含むことを特徴とする請求項2に記載の映像コンテンツ適応変換装置。
  6. 前記ユーザ映像再生趣向特性情報は、
    映像コンテンツの映像オブジェクト(graphic objects)の幾何学的特性に対する選好度を含み、
    前記映像適応変換手段は、
    前記幾何学的特性に対する選好度に基づいて映像コンテンツの映像オブジェクトの幾何学的特性を変化させて、ユーザ端末に伝送されるように映像コンテンツを適応変換させることを特徴とする請求項1に記載の映像コンテンツ適応変換装置。
  7. 前記映像再生趣向特性情報は、
    映像コンテンツの映像オブジェクトの質感特性に対する選好度を含み、
    前記映像適応変換手段は、
    前記質感特性に対する選好度に基づいて映像コンテンツの映像オブジェクトの質感特性を変化させて、ユーザ端末に伝送されるように映像コンテンツを適応変換させることを特徴とする請求項1に記載の映像コンテンツ適応変換装置。
  8. 前記ユーザ映像再生趣向特性情報は、
    アニメーション映像オブジェクトが秒当たり見せる映像の数に対するユーザ選好度を含み、
    前記映像適応変換手段は、
    前記選好度に基づいて、アニメーション映像オブジェクトの特性を変化させて、前記ユーザ端末に伝送されるように映像コンテンツを適応変換させることを特徴とする請求項1に記載の映像コンテンツ適応変換装置。
  9. 単一ソース複数使用のための映像コンテンツ適応変換方法において、
    映像コンテンツを消費するユーザ端末から映像使用環境情報を収集して記述し、かつ管理する第1ステップと、
    前記映像使用環境情報に適合する映像コンテンツが前記ユーザ端末に出力されるように、前記映像コンテンツを適応変換させる第2ステップと
    を含み、
    前記映像使用環境情報は、
    前記映像コンテンツに対するユーザ端末特性情報及びユーザ映像再生趣向特性情報を含むことを特徴とする映像コンテンツ適応変換方法。
  10. 前記ユーザ端末特性情報は、
    前記ユーザ端末の符号化/復号化性能と関連した情報を含み、
    前記第2ステップは、
    前記符号化/復号化性能と関連した情報に基づいて映像コンテンツを変化させて、ユーザ端末に伝送されるように映像コンテンツを適応変換させることを特徴とする請求項9に記載の映像コンテンツ適応変換方法。
  11. 前記符号化/復号化性能情報は、前記ユーザ端末の秒当たり処理される最大交点数(maximum vertices)情報を含むことを特徴とする請求項10に記載の映像コンテンツ適応変換方法。
  12. 前記符号化/復号化性能情報は、前記ユーザ端末のスクリーンバッファに描画される秒当たりの最大ピクセル数情報を含むことを特徴とする請求項10に記載の映像コンテンツ適応変換方法。
  13. 前記符号化/復号化性能情報は、前記ユーザ端末の映像処理プロセッサと映像メモリとの間の最大伝送率情報を含むことを特徴とする請求項10に記載の映像コンテンツ適応変換方法。
  14. 前記ユーザ映像再生趣向特性情報は、
    映像コンテンツの映像オブジェクトの幾何学的特性に対する選好度を含み、
    前記第2ステップは、
    前記幾何学的特性に対する選好度に基づいて映像コンテンツの映像オブジェクトの幾何学的特性を変化させて、ユーザ端末に伝送されるように映像コンテンツを適応変換させることを特徴とする請求項9に記載の映像コンテンツ適応変換方法。
  15. 前記ユーザ映像再生趣向特性情報は、
    映像コンテンツの映像オブジェクトの質感特性に対する選好度を含み、
    前記第2ステップは、
    前記質感特性に対する選好度に基づいて映像コンテンツの映像オブジェクトの質感特性を変化させて、ユーザ端末に伝送されるように映像コンテンツを適応変換させることを特徴とする請求項9に記載の映像コンテンツ適応変換方法。
  16. 前記ユーザ映像再生趣向特性情報は、
    アニメーション映像オブジェクトが秒当たり見せる映像の数に対するユーザ選好度を含み、
    前記第2ステップは、
    前記選好度に基づいてアニメーション映像オブジェクトの特性を変化させて、前記ユーザ端末に伝送されるように映像コンテンツを適応変換させることを特徴とする請求項9に記載の映像コンテンツ適応変換方法。
JP2004556966A 2002-12-03 2003-12-03 映像コンテンツの適応変換装置及びその方法 Expired - Fee Related JP4160563B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020076421 2002-12-03
PCT/KR2003/002636 WO2004051396A2 (en) 2002-12-03 2003-12-03 Apparatus and method for adapting graphics contents and system therefor

Publications (2)

Publication Number Publication Date
JP2006509420A true JP2006509420A (ja) 2006-03-16
JP4160563B2 JP4160563B2 (ja) 2008-10-01

Family

ID=36165415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004556966A Expired - Fee Related JP4160563B2 (ja) 2002-12-03 2003-12-03 映像コンテンツの適応変換装置及びその方法

Country Status (7)

Country Link
US (1) US20060117259A1 (ja)
EP (1) EP1567989A4 (ja)
JP (1) JP4160563B2 (ja)
KR (1) KR100513056B1 (ja)
CN (1) CN100378658C (ja)
AU (1) AU2003302559A1 (ja)
WO (1) WO2004051396A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173443A (ja) * 2014-02-21 2015-10-01 日本放送協会 受信機

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920978B1 (ko) * 2003-02-21 2009-10-09 엘지전자 주식회사 단말기 정보 관리 및 제공 장치와 방법
KR100628655B1 (ko) * 2004-10-20 2006-09-26 한국전자통신연구원 상이한 디지털 저작권 관리 도메인간의 콘텐츠 교환을 위한방법 및 시스템
KR100682974B1 (ko) 2004-11-02 2007-02-15 한국전자통신연구원 데이터 방송 서비스 통합 장치 및 그를 이용한 데이터 방송 서비스 방법
KR100677545B1 (ko) * 2004-12-29 2007-02-02 삼성전자주식회사 복수개의 데이터 처리 장치를 이용한 데이터 처리 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
CN101138244B (zh) * 2005-01-07 2010-05-19 韩国电子通信研究院 利用使用环境描述的分类方案提供自适应广播服务的装置和方法
US7904877B2 (en) 2005-03-09 2011-03-08 Microsoft Corporation Systems and methods for an extensive content build pipeline
KR100727055B1 (ko) * 2005-07-01 2007-06-12 엔에이치엔(주) 스크립트 언어를 이용한 게임 제작 시스템 및 게임 제작방법
KR100740922B1 (ko) * 2005-10-04 2007-07-19 광주과학기술원 Mpeg-21 기반의 다시점 3차원 영상을 위한 비디오 적응변환 시스템
KR100750907B1 (ko) * 2006-09-05 2007-08-22 주식회사 에스원 이동통신 단말 장치에 영상을 전송하고 디스플레이하기위한 영상 처리 장치 및 방법
KR101079592B1 (ko) * 2006-11-03 2011-11-04 삼성전자주식회사 디스플레이장치 및 그 정보갱신방법
US8117541B2 (en) 2007-03-06 2012-02-14 Wildtangent, Inc. Rendering of two-dimensional markup messages
WO2008107731A1 (en) * 2007-03-06 2008-09-12 Thomson Licensing Digital cinema anti-camcording method and apparatus based on image frame post-sampling
WO2008137432A2 (en) * 2007-05-01 2008-11-13 Dyyno Sharing of information and formatting information for transmission over a communication network
KR101449025B1 (ko) * 2008-03-19 2014-10-08 엘지전자 주식회사 다중-소스 스트리밍을 위한 오브젝트에 대한 정보 관리 및처리 방법 그리고 그 장치
US20110188832A1 (en) * 2008-09-22 2011-08-04 Electronics And Telecommunications Research Institute Method and device for realising sensory effects
US9131279B2 (en) * 2009-08-06 2015-09-08 Qualcomm Incorporated Preparing video data in accordance with a wireless display protocol
KR101211061B1 (ko) 2010-12-31 2012-12-11 전자부품연구원 스케일러블 멀티미디어 서비스 제공 장치 및 방법
KR101847643B1 (ko) 2011-11-28 2018-05-25 전자부품연구원 스케일러블 어플리케이션 서비스를 위한 파싱 장치 및 방법
KR101258461B1 (ko) * 2012-05-29 2013-04-26 주식회사 위엠비 이기종 디바이스 환경을 위한 메타 파일 생성 장치와 이를 이용한 적응형 콘텐츠 제공 장치 및 그 방법
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
CN107037785B (zh) * 2017-05-15 2020-11-27 广州市力鼎汽车零部件有限公司 外挂式u形梁冲孔生产线cam系统及构建方法
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6232974B1 (en) * 1997-07-30 2001-05-15 Microsoft Corporation Decision-theoretic regulation for allocating computational resources among components of multimedia content to improve fidelity
KR100299759B1 (ko) * 1998-06-29 2001-10-27 구자홍 영상표시기기의 화면 상태 자동 조정 장치와 방법
GB9909606D0 (en) * 1999-04-26 1999-06-23 Telemedia Systems Ltd Networked delivery of profiled media files to clients
US20010029523A1 (en) * 2000-01-21 2001-10-11 Mcternan Brennan J. System and method for accounting for variations in client capabilities in the distribution of a media presentation
US20010029527A1 (en) * 2000-03-15 2001-10-11 Nadav Goshen Method and system for providing a customized browser network
EP1187010A3 (en) * 2000-07-12 2004-06-30 IvyTeam AG Method and system for implementing process-based web applications
US7237190B2 (en) * 2001-03-07 2007-06-26 International Business Machines Corporation System and method for generating multiple customizable interfaces for XML documents
FR2823578B1 (fr) * 2001-04-17 2003-05-23 Schneider Automation Procede pour visualiser graphiquement une application d'automatisme et terminal informatique pouvant mettre en oeuvre le procede
US20030001864A1 (en) * 2001-06-29 2003-01-02 Bitflash Graphics, Inc. Method and system for manipulation of garphics information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173443A (ja) * 2014-02-21 2015-10-01 日本放送協会 受信機

Also Published As

Publication number Publication date
AU2003302559A1 (en) 2004-06-23
KR100513056B1 (ko) 2005-09-05
AU2003302559A8 (en) 2004-06-23
KR20040048853A (ko) 2004-06-10
WO2004051396A3 (en) 2005-01-27
CN1777919A (zh) 2006-05-24
WO2004051396A2 (en) 2004-06-17
EP1567989A4 (en) 2010-01-20
US20060117259A1 (en) 2006-06-01
CN100378658C (zh) 2008-04-02
JP4160563B2 (ja) 2008-10-01
EP1567989A2 (en) 2005-08-31

Similar Documents

Publication Publication Date Title
JP4160563B2 (ja) 映像コンテンツの適応変換装置及びその方法
KR100934006B1 (ko) 2차원 및 3차원 양안식 비디오신호의 적응변환 장치 및 그방법
CN102132562B (zh) 用于轨道和轨道子集归组的方法和设备
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US10171541B2 (en) Methods, devices, and computer programs for improving coding of media presentation description data
JP4529933B2 (ja) 多重化装置及び方法、並びに合成装置および方法
KR101575138B1 (ko) 무선 3d 스트리밍 서버
CN1764974B (zh) 存储多媒体数据的存储介质和再现多媒体数据的方法和设备
JP5122644B2 (ja) レーザコンテンツを使用して場面を構成するための方法及び装置
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
CN114503599A (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
CN107005729A (zh) 用于多媒体和文件传输的传输接口
CN103814562A (zh) 用信号表示片段的特性以用于媒体数据的网络流式传输
JP2005513831A (ja) 多数の異種装置に配信するためのマルチメディアデータの変換
JP6708271B2 (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
CN102348117A (zh) 低带宽传输数字高清信号的系统、方法及网络多媒体电视
JP6481205B2 (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム
WO2024037137A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、介质和产品
JP2003153254A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
JP2003534741A (ja) Mpeg−4リモートアクセス端末を有する通信システム
WO2023130896A1 (zh) 媒体数据的数据处理方法、装置、计算机设备及存储介质
Vetro et al. Digital item adaptation–tools for universal multimedia access
WO2022222641A1 (zh) 点云编解码方法、装置、计算机可读介质以及电子设备
Timmerer et al. MPEG-21 Digital Item Adaptation.
Tashiro et al. NTT's technologies for next-generation video services

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071005

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071015

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080620

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080717

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees