JP2012511837A - 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法 - Google Patents

感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法 Download PDF

Info

Publication number
JP2012511837A
JP2012511837A JP2011518637A JP2011518637A JP2012511837A JP 2012511837 A JP2012511837 A JP 2012511837A JP 2011518637 A JP2011518637 A JP 2011518637A JP 2011518637 A JP2011518637 A JP 2011518637A JP 2012511837 A JP2012511837 A JP 2012511837A
Authority
JP
Japan
Prior art keywords
sensory
playback device
metadata
information
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011518637A
Other languages
English (en)
Other versions
JP5781435B2 (ja
JP2012511837A5 (ja
Inventor
チョ、メン、スブ
キム、ジン、ソ
コー、ボン、キ
リー、ジ、ヒュン
チュ、チャン、ウー
キム、ホ、ウォン
パク、イル、キュ
チェ、ヨーン‐ソク
パク、ジ、ヤン
リム、ソン、ジェ
ホワン、ボン、ウー
パク、ジュン、チュル
キム、カプ、ケー
キム、サン‐キュン
ジョー、ヨン‐ソー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2012511837A publication Critical patent/JP2012511837A/ja
Publication of JP2012511837A5 publication Critical patent/JP2012511837A5/ja
Application granted granted Critical
Publication of JP5781435B2 publication Critical patent/JP5781435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

マルチメディアアプリケーションシステムは、感覚再生装置のためのメタデータを利用する。そのシステムは、動画コンテンツの内容に応じて感覚再生装置を用いて感覚効果を表すために生成された感覚効果情報(SEI)、感覚再生装置のユーザ選好情報(UPI)、及び感覚再生装置の再生能力を示す再生能力情報(DCI)に基づいて感覚再生装置を制御するための再生命令情報(SDC)を生成する感覚再生装置エンジン部と、生成された再生命令情報(SDC)に基づいて感覚効果の再生を行う感覚再生装置を制御する感覚再生装置制御部と、を含む。

Description

本発明はユーザに動画コンテンツを提供するための技術に関し、詳細には、動画コンテンツの製作から最終消費に至るまで感覚再生工程の間に製作者の意図に応じた消費者中心の高品質マルチメディアサービスを提供するためのマルチメディアアプリケーションシステム及びその方法を提供することに関する。
一般に、動画コンテンツは、動画コンテンツを再生するためのコンピューティング装置又は光ディスク再生器を通じてユーザに提供される。このような場合、ビデオコンテンツはCD(Compact Disc)、DVD(Digital Versatile Disc)、又はブルーレイディスク(Blue-Ray disc)のような光ディスクに格納され、再生されるイメージ信号は光ディスク再生器と接続されるコンピューティング装置又はテレビを通じてユーザにディスプレイするようになる。
ただし、このような動画コンテンツ再生技術は、さらに発展して動画の再生中にさらに臨場感ある映像をユーザに提供するために、動画コンテンツの内容に応じて霧、風、温度、臭い、明かり、稲妻、椅子の動きなどの感覚効果を制御する周辺感覚再生装置及び周辺感覚再生装置を制御する信号処理システムに対する多くの研究が進められており、このような技術を提供する多様なシステムが発売されている。
前述したように動作する従来技術による周辺感覚再生装置においては、動画コンテンツの内容に応じて多様な効果を提供しているが、これまでは限られた空間の限られた場所でのみ実現されている。
また、従来の感覚効果は、動画コンテンツを考慮して動画コンテンツに符合する感覚再生装置を通じて再生されているが、動画コンテンツと感覚再生装置の対応関係は異なり得る。従って、ユーザの場所に備えられる家電製品と照明装置を用いて動画コンテンツに設定される感覚効果を再生するために、動画コンテンツと関連し、動画コンテンツに応じた感覚効果を再生できる感覚再生装置が求められる。
さらに、従来の感覚効果は、ユーザがより生き生きした動画コンテンツを楽しむ上でツールとしての役割をするだけであり、製作者の意図に応じた動画の色再現や、照明の制御方式については表すことができず、これと共に、動画コンテンツを再生させるユーザも視聴する動画においてユーザが希望する感覚効果を制御したいが、これに対する特別な方案がなかった。
本発明は上記事情に鑑みてなされたものであって、その目的は、動画コンテンツに応じたディスプレイ装置の色感と周辺照明のような感覚効果を効果的に制御するための感覚再生装置のメタデータを用いるマルチメディアアプリケーションシステム及びその方法を提供することにある。
本発明は、動画製作者の意図と動画コンテンツに応じてディスプレイ装置の色感及び感覚再生装置を最適化する新たなメタデータ形式を用いて製作者の意図に応じた消費者中心の高品質マルチメディアサービスを提供するためのマルチメディアアプリケーションシステム及びその方法を提供する。
また、本発明は、動画コンテンツを構成する内容に応じてディスプレイ機器の色感及び周辺照明など周辺感覚再生装置を制御するマルチメディアアプリケーションシステムに対するメタデータを構成する過程において、感覚再生装置を効果的に制御するためのSEI(Sensory Effect Information)メタデータを活用する方法を含んでおり、メタデータに基づくコンテンツ活用の方法的なツールを含むことによって、動画コンテンツの製作から最終消費に至るまで感覚再生工程の間に製作者の意図に応じた消費者中心の高品質マルチメディアサービスを提供する。
本発明によれば、動画コンテンツの視聴において動画コンテンツを構成する内容に応じてディスプレイ機器の色感及び周辺照明など周辺感覚再生装置を制御するマルチメディアアプリケーションシステムに対するメタデータを構成する過程で、感覚再生装置を効果的に制御するために必要な多様な情報をメタデータとして含み、メタデータに基づくコンテンツ活用の方法的なツールを含むことによって、動画コンテンツの製作から最終消費に至るまで感覚再生工程の間に製作者の意図に応じた動画の色再現に対する感覚機能を追加することで、ユーザが原動画の色感を感じることができる消費者中心の高品質マルチメディアサービスを提供できるという効果を奏する。
本発明の目的及び特徴は、以下の添付の図面を参照する発明を実施するための形態の記述から明らかになる。
本発明の好適な実施形態によるマルチメディアアプリケーションシステムの構造を示すブロック図である。 本発明の好適な実施形態によるSEIメタデータ生成部を示すブロック図である。 本発明の好適な実施形態によるSEIメタデータの要素を示すブロック図である。 本発明の好適な実施形態によるSEIメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態によるSEIメタデータのスキーマにおいて基本タイプ体系で最上位の基本タイプとして提供されるSEI Base Typeメタデータの要素を示すブロック図である。 本発明の好適な実施形態によるSEI Base Typeメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態によるGroup Of Effectsメタデータの要素を示すブロック図である。 本発明の好適な実施形態によるGroup Of Effectsメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態による1つの感覚効果情報を表現するための風効果を再生する装置の情報を叙述するメタデータの要素を示すブロック図である。 本発明の好適な実施形態によるFan Typeメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態による原本(参照)カラーパラメータメタデータの要素を示すブロック図である。 本発明の好適な実施形態による原本カラーメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態によるトーン再生カーブの要素を示すブロック図である。 本発明の好適な実施形態によるトーン再生カーブをスキーマ形態で示す構造図である。 本発明の好適な実施形態による映像変換マトリクスの要素を示すブロック図である。 本発明の好適な実施形態による映像変換マトリクスをスキーマ形態で示す構造図である。 本発明の好適な実施形態による照明光源メタデータの要素を示すブロック図である。 本発明の好適な実施形態による照明光源をスキーマ形態で示す構造図である。 本発明の好適な実施形態による入力装置色域メタデータの要素を示す構造図である。 本発明の好適な実施形態による入力装置色域メタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態によるUPIメタデータ生成部を示すブロック図である。 本発明の好適な実施形態によるUPIメタデータの要素を示すブロック図である。 本発明の好適な実施形態によるUPIメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態による感覚効果選好情報メタデータの要素を示す構造図である。 本発明の好適な実施形態による感覚効果選好情報メタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態によるDCIメタデータ生成部を示すブロック図である。 本発明の好適な実施形態によるDCIメタデータの要素を示すブロック図である。 本発明の好適な実施形態によるDCIメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態による装置能力メタデータの要素を示すブロック図である。 本発明の好適な実施形態による装置能力メタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態によるSDCメタデータ生成部を示すブロック図である。 本発明の好適な実施形態によるSDCメタデータの要素を示すブロック図である。 本発明の好適な実施形態によるSDCメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態による1つの感覚再生装置の制御命令情報の例であって、風効果を再生する装置の制御命令情報を叙述するメタデータ(Set Fan Type)の要素を示すブロック図である。 本発明の好適な実施形態によるSet Fan Typeメタデータをスキーマ形態で示す構造図である。 本発明の好適な実施形態による広告動画コンテンツの視聴においてメタデータを活用して感覚効果を再生するマルチメディアアプリケーションサービスを示す図である。
以下、添付する図面を参照して本発明の実施形態を詳細に説明する。
図1は、本発明の一実施形態によるマルチメディアアプリケーションシステムを示すブロック図である。
図1において、マルチメディアアプリケーションシステムは、動画コンテンツの感覚効果情報(SEI:Sensory Effect Information)メタデータを生成するSEIメタデータ生成部100、ユーザ選好情報(User Preference Information、以下UPIという)メタデータを生成するUPIメタデータ生成部200、感覚再生装置の再生能力情報(Device Capability Information、以下DCIという)メタデータを生成するDCIメタデータ生成部104、感覚再生装置制御命令(Sensory Device control Commend、以下SDCという)メタデータを生成するためのSDCメタデータ生成部106、感覚再生装置エンジン部108、感覚再生装置制御部110、通信チャネル部112を含む。
まず、マルチメディアアプリケーションシステムを駆動する方法について簡略に記述する。メタデータは、SEIメタデータ生成部100とUPIメタデータ生成部102によって繰り返し生成され、通信チャネル部112を通じて感覚再生装置エンジン部108に伝達される。感覚再生装置制御部110は、それにより制御される感覚再生装置(例えば、ディスプレイ装置114、照明装置116、発光素子(LED)装置118、そして温度調節装置120の1つの装置)又は、動画コンテンツによって制御される感覚再生装置(例えば、風調節装置又は香り調節装置)を通じて高品質のマルチメディアサービスを提供する。
ここで、感覚再生装置エンジン部108は、それぞれのメタデータ生成部から受信したSEI、UPI、DCIメタデータに基づいて感覚再生装置の制御のためのSDC情報を生成する。
例えば、感覚再生装置エンジン部108は、感覚効果情報(SEI)にユーザ選好情報(UPI)を反映し、再生能力情報(DCI)に基づいて使用可能な感覚再生装置に関する情報を判断して、再生命令情報(SDC)を生成する。この場合、感覚効果情報(SEI)、ユーザ選好情報(UPI)、及び再生能力情報(DCI)に基づいて感覚再生装置制御部110によって制御される感覚再生装置と、このような感覚再生装置の制御範囲とが生成された再生命令情報(SDC)に設定される。
SEIメタデータ生成部100は、動画コンテンツ製作者により指定される感覚再生装置の効果を叙述するSEIメタデータを生成し、UPIメタデータ生成部102は、最終ユーザにより好む感覚効果再生に関連するユーザ選好情報を叙述するUPIメタデータを生成し、DCIメタデータ生成部104は、感覚再生装置制御部110に接続される感覚再生装置の再生能力情報を叙述するDCIメタデータを生成する。
即ち、感覚再生装置制御部110は、DCIメタデータ生成部104を通じて感覚再生装置制御部110に連動した感覚再生装置を制御できる制御範囲が設定された再生能力情報を生成するものである。
感覚再生装置エンジン部108は、SEI、UPI、DCIメタデータを受信し、受信されたメタデータに基づいて生成された感覚再生装置を制御するための情報(即ち、SDC情報)をSDCメタデータ生成部106に送信する。感覚再生装置制御部106は、SDC情報を叙述するSDCメタデータを生成する。
この場合、メタデータ生成部100、102、105と感覚再生装置エンジン部108との間のデータ送受信と感覚再生装置エンジン部108と感覚再生装置制御部110との間のデータ送受信は、通信チャネル部112を介して行われる。ここで、感覚再生装置エンジン部108と感覚再生装置制御部110を繋ぐ通信チャネル部112は特定の通信プロトコルを用いてデータ通信をするための光ケーブル又はLANケーブル(UTP:非シールドより対線)のような有線ネットワークになり得る。又は、CDMA、WCDMA、FDMAのようなモバイル通信とブルートゥース、ワイブロ(WiBro)、又は無線ランシステムのような無線通信のうちの1つがデータ送受信を行うこともできるが、これは1つの実施形態に過ぎず、データ送受信に使用され得る通信方式であれば、いずれの通信方式も適用可能であるのはもちろんである。
本発明は、メタデータを標準化された形式及び構造に従って叙述する段階においてMPEG−7叙述構造標準(Multimedia Description Scheme:MDS)とMPEG−21のデジタルアイテム適応(Digital Item Adaptation:DIA)叙述構造標準を用いることを基本的な特徴とする。
図2は、本発明の好適な実施形態によるSEIメタデータ生成部を示す。
図2を参照すれば、SEIメタデータ生成部100は、簡単な感覚再生装置の効果を叙述するSEIメタデータ200を生成する。
図3は、本発明の好適な実施形態によるSEIメタデータの要素を示すブロック図である。図3のように、SEIメタデータ200は、拡張可能な再生装置の属性情報を叙述するメタデータ-##other300、2つ以上の感覚効果情報を叙述するメタデータ-Group Of Effects302、1つの感覚効果情報を叙述するメタデータ-Single Effect304、感覚効果と関連したパラメータを叙述するメタデータ-Parameters306を含む。動画コンテンツの製作者は、感覚再生装置のために様々な感覚効果情報を作成する。
図4は、本発明の好適な実施形態によるSEIメタデータをスキーマ形態で示す図である。図3に示されたSEIメタデータ200及びSEIメタデータ200の要素をスキーマ形態で示している。
表1は、SEIメタデータ200の叙述構造をXML(eXtenstible Markup Language)スキーマ形態で示すものである。
Figure 2012511837
図5は、本発明の好適な実施形態によるSEIメタデータ200のスキーマにおいて基本タイプ体系で最上位の基本タイプとして提供されるSEI Base Typeメタデータの要素を示すブロック図であって、図5のように、SEI Base Typeメタデータ500は、ある識別可能な属性情報を叙述するメタデータ(id)502を含む。
また、図5におけるSEI Base Typeメタデータ500は、Single Effectメタデータ304の基本タイプ(Single Effect Base Type)とParametersメタデータ306の基本タイプ(Parameters Base Type)、SDCメタデータの基本タイプ(SDC Base Type)に基本タイプとして用いられる。
図6は、本発明の好適な実施形態によるSEI Base Typeメタデータをスキーマ形態で示す構造図であって、図5に示すSEI Base Typeメタデータ500及びSEI Base Typeメタデータ500の要素をスキーマ形態で示している。
表2は、SEI Base Typeメタデータ500の叙述構造を拡張性生成言語XMLスキーマ形態で示すものである。
Figure 2012511837
図7は、本発明の好適な実施形態によるGroup Of Effectsメタデータの要素を示すブロック図である。図7を参照すれば、Group Of Effectsメタデータ302は、拡張可能な感覚再生装置に関する属性情報を叙述するメタデータ-##other700と、1つの感覚効果情報を叙述するメタデータ-Single Effect702の少なくとも2つを含む。
図8は、本発明の好適な実施形態によるGroup Of Effectsメタデータをスキーマ形態で示す構造図であって、図7に示すGroup Of Effectsメタデータ302及びGroup Of Effectsメタデータ302の要素をスキーマ形態で示している。
表3は、Group Of Effectsメタデータ302の叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
表4は、Single Effectメタデータ304の基本タイプとして提供される叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
表5は、Parametersメタデータ306の基本タイプとして提供される叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
図9は、本発明の好適な実施形態による1つの感覚効果情報を表現するために風効果を再生する感覚再生装置の情報を叙述するメタデータFan Type900の要素を示すブロック図である。
図9を参照すれば、装置の再生方法を示す属性情報を叙述するメタデータ-method902と位置情報を示す属性情報を叙述するメタデータ-side904、再生強度を示す属性情報を叙述するメタデータ-speed906、一定に再生される持続時間を示す属性情報を叙述するメタデータ-duration908、変化しながら再生される持続時間を示す属性情報を叙述するメタデータ-vTime910、変化する持続時間の時間の変化量を示す属性情報を叙述するメタデータ-vDelta912、変化するパターンを示す属性情報を叙述するメタデータ-vSide914、変化する再生強度の最低強度を示す属性情報を叙述するメタデータ-vLower916、変化する再生強度の最高強度を示す属性情報を叙述するメタデータ-vUpper918、再生装置の活性化を示す属性情報を叙述するメタデータ-activate920を含む。
図10は、本発明の好適な実施形態によるFan Typeメタデータ900をスキーマ形態で示す構造図であって、Fan Typeメタデータ900及びFan Typeメタデータ900の要素をスキーマ形態で示している。
表6は、Fan Typeメタデータ900の基本タイプとして提供される叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
一方、本発明では1つの感覚効果情報を表現するための1つの実施例であるFan Typeメタデータ900のように、温度、照明、振動効果のような感覚再生効果情報を表現するために、Single Effectメタデータ304の叙述構造を拡張したメタデータを生成する方法で多様な感覚効果情報を表現できる。
図11は、本発明の好適な実施形態による原本(参照)カラーパラメータメタデータの要素を示すブロック図である。
図11を参照すれば、動画コンテンツの原本カラー復元情報を叙述するメタデータ(Reference Color Parameter)1100は、成功的なカラー復元のための原本カラーディスプレイ装置の特性を示すカーブを叙述するTone Reproduction Curves1102、原本映像のカラー空間から標準カラー空間へ映像変換を行うマトリクスを叙述するConversion Matrix1104、原本映像作業空間での照明光源の種類を叙述するIlluminant1106、原本カラーディスプレイの色域を叙述するInput Device Color Gamut1108、周辺の輝度を叙述するLuminance Of Surround1110メタデータを含む。
一方、本発明では色空間の変換のための方法としてゲインオフセットガンマ(GOG:Gain Offset Gamma)モデルを用いることを基本とするが、多項変換(Polynomial)やPLCCのような他の変換モデルを用いてもよい。
図12は、本発明の好適な実施形態による原本カラーメタデータをスキーマ形態で示す構造図であって、Reference Color Parameterメタデータ1100及びReference Color Parameterメタデータ1100の要素をスキーマ形態で示している。
表7は、Reference Color Parameterメタデータ1100の叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
図13は、本発明の好適な実施形態によるトーン再生カーブの要素を示すブロック図である。
図13を参照すれば、原本カラーディスプレイ装置の特性を示すカーブを叙述するメタデータ(Tone Reproduction Curves)1102の要素を示すものであって、Tone Reproduction Curvesメタデータ1102は、原本カラーディスプレイ装置の各チャネル毎のガンマ値を表示するために必要なDAC(Digital to Analog Conversion)値とRGB値を叙述するRecord1300メタデータとDAC値を叙述するDAC_Value1302メタデータと各チャネルのRGB値を叙述するRGB_Value1304メタデータを含む。
図14は、本発明の好適な実施形態によるトーン再生カーブをスキーマ形態で示す構造図であって、Tone Reproduction Curvesメタデータ1102及びTone Reproduction Curvesメタデータ1102の要素をスキーマ形態で示している。
表8は、Tone Reproduction Curvesメタデータ1102をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
図15は、本発明の好適な実施形態による映像変換マトリクスの要素を示すブロック図である。
図15を参照すれば、原本映像のカラー空間から標準カラー空間へ映像変換を行うマトリクスを叙述するメタデータ-Conversion Matrix1104の要素を示すものであって、Conversion Matrixメタデータ1104は、RGB色空間をXYZ色空間に変換するためのマトリクスを叙述するRGB_XYZ1500、GOG変換のために必要な各チャネルのRGBスカラー(Scalar)最大値を叙述するRGBScalar_Max1502、原本カラーディスプレイ装置のオフセット(offset)値を叙述するOffset_Value1504、GOG変換のために必要なパラメータである原本カラーディスプレイ装置のゲイン、オフセット、ガンマ値を叙述するGain_Offset_Gamma1506、XYZ色空間をRGB色空間に逆変換するためのマトリクスを叙述するInverse matrix1508メタデータを含む。
図16は、本発明の好適な実施形態による映像変換マトリクスをスキーマ形態で示す構造図であって、Conversion Matrixメタデータ1104及びConversion Matrixメタデータ1104の要素をスキーマ形態で示している。
表9は、Conversion Matrixメタデータ1104をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
図17は、本発明の好適な実施形態による照明光源メタデータの要素を示すブロック図である。
図17を参照すれば、原本映像作業空間での照明光源の種類を叙述するメタデータ-Illuminant1106の要素を示すものであって、Illuminantメタデータ1106は、CIE標準照明のタイプを叙述するDaylight1700、標準照明のタイプに応じた白色基準点色度(white point chromaticity)値を叙述するXY_Value1702メタデータを含む。
図18は、本発明の好適な実施形態による照明光源をスキーマ形態で示す構造図であって、Illuminantメタデータ1106及びIlluminantメタデータ1106の要素をスキーマ形態で示す図である。
表10は、Illuminantメタデータ1106をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
図19は、本発明の好適な実施形態による入力装置色域メタデータの要素を示す構造図である。
図19を参照すれば、原本カラーディスプレイの色域を叙述するメタデータ-Input Device Color Gamut1108の要素を示すものであって、Input Device Color Gamutメタデータ1108は、入力機器の種類を叙述するIDCG_Type1900、入力機器の最大DAC値でのx、y値を叙述するIDCG_Value1902メタデータを含む。
図20は、本発明の好適な実施形態による入力装置色域メタデータをスキーマ形態で示す構造図であって、Input Device Color Gamutメタデータ1108及びInput Device Color Gamutメタデータ1108の要素をスキーマ形態で示している。
表11は、Input Device Color Gamutメタデータ1108をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
図21は、本発明の好適な実施形態によるUPIメタデータ生成部を示すブロック図である。
図21を参照すれば、UPIメタデータ生成部102は、消費者の選好情報に関するメタデータ情報を含むUPIメタデータ(User Preference Information metadata)2100を生成する。
図22は、本発明の好適な実施形態によるUPIメタデータの要素を示すブロック図である。
図22を参照すれば、UPIメタデータ2100は、最終ユーザの個人情報を叙述するメタデータ-Personal Info2200と感覚効果選好情報を叙述するメタデータ-Preference Description2202を含む。
図23は、本発明の好適な実施形態によるUPIメタデータをスキーマ形態で示す構造図であって、UPIメタデータ2100及びUPIメタデータ2100の要素をスキーマ形態で示す図である。
表12は、UPIメタデータ2100の叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
図24は、本発明の好適な実施形態による感覚効果選好情報メタデータの要素を示す構造図である。
図24を参照すれば、感覚効果選好情報を叙述するメタデータ-Preference Description2202の要素を示すものであって、Preference Descriptionメタデータ2202は、ユーザの動画コンテンツの原本カラー復元の選好情報を叙述するメタデータ-Select Reference Color2400と照明調節選好情報を叙述するメタデータ-Select Dimming2402、周辺照明調節選好情報を叙述するメタデータ-Select LED2404、温度調節選好情報を叙述するメタデータ-Select Temperature2406、その他の再生可能な効果などの選好情報を叙述するメタデータ-Select wind2408を含むことを特徴とする。
図25は、本発明の好適な実施形態による感覚効果選好情報メタデータをスキーマ形態で示す構造図であって、Preference Descriptionメタデータ2202及びPreference Descriptionメタデータ2204の要素をスキーマ形態で示す図である。
表13は、Preference Descriptionメタデータ2204の叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
図26は、本発明の好適な実施形態によるDCIメタデータ生成部を示すブロック図である。
図26を参照すれば、DCIメタデータ生成部104は、感覚再生装置の再生能力情報に関するメタデータ情報を含むDCIメタデータ(Device Capability Information metadata)2600を生成する。
図27は、本発明の好適な実施形態によるDCIメタデータの要素を示すブロック図であって、DCIメタデータ104は、装置の再生可能な能力を叙述するメタデータ-Device Capability2700を含む。
図28は、本発明の好適な実施形態によるDCIメタデータをスキーマ形態で示す構造図であって、DCIメタデータ104及びDCIメタデータ104の要素であるDevice Capability2700をスキーマ形態で示す図である。
表14は、DCIメタデータ104の叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
図29は、本発明の好適な実施形態による装置能力メタデータの要素を示すブロック図である。
図29を参照すれば、装置の再生能力を叙述するメタデータ-Device Capability2700の要素を示す。図29のように、Device Capabilityメタデータ2700は、装置の固有識別番号属性情報を叙述するメタデータ-Device ID2900と、装置の種類を示す属性情報を叙述するメタデータ-Type Of Device2902と、感覚再生装置の個数情報を叙述するメタデータ-Number2904と、最小再生能力情報を叙述するメタデータ-Min Level2906と、最大再生能力情報を叙述するメタデータ-Max Level2908と、装置の位置情報を叙述するメタデータ-Location2910を含む。
図30は、本発明の好適な実施形態による装置能力メタデータをスキーマ形態で示す構造図であって、Device Capabilityメタデータ2700をスキーマ形態で示す図である。
表15は、Device Capabilityメタデータ2700の叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
図31は、本発明の好適な実施形態によるSDCメタデータ生成部を示すブロック図である。
図31を参照すれば、SDCメタデータ生成部106は、感覚再生装置制御命令情報に関するメタデータ情報を含むSDCメタデータ(Sensory Device Command metadata)3100を生成するようになる。
図32は、本発明の好適な実施形態によるSDCメタデータの要素を示すブロック図であって、図32のように、SDCメタデータ3100は、感覚再生装置制御命令情報を叙述するメタデータ(SensoryDeviceCommand)3200を含む。
図33は、本発明の好適な実施形態によるSDCメタデータをスキーマ形態で示す構造図であって、図32に示すSDCメタデータ3100及びSDCメタデータ3100の要素をスキーマ形態で示している。
表16は、SDCメタデータ3100の叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
表17は、SDCメタデータ3100の基本タイプとして提供される叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
図34は、本発明の好適な実施形態による1つの感覚再生装置の制御命令情報の例であって、風効果を再生する装置の制御命令情報を叙述するメタデータ-Set Fan Type2400の要素を示すブロック図である。
図34を参照すれば、再生強度を示す属性情報を叙述するメタデータ(speed)3402と一定に再生される持続時間を示す属性情報を叙述するメタデータ(duration)3404、再生装置の活性化を示す属性情報を叙述するメタデータ(activate)3406を含む。
図35は、本発明の好適な実施形態によるSet Fan Typeメタデータ3400をスキーマ形態で示す構造図であって、Set Fan Typeメタデータ3400及びSet Fan Typeメタデータ3400の要素をスキーマ形態で示している。
表18は、Set Fan Typeメタデータ3400の基本タイプとして提供される叙述構造をXMLスキーマ形態で示すものである。
Figure 2012511837
一方、本発明では1つの感覚再生装置の制御命令情報を表現するための1つの実施例であるSet Fan Typeメタデータ3400のように、SDCメタデータ3100の叙述構造を拡張したメタデータを生成する方法で温度、照明、振動効果のような多様な感覚再生装置制御命令情報を表現できる。
即ち、感覚再生装置制御命令情報を叙述するメタデータ(SensoryDeviceCommand)3200には感覚効果を再生する装置に対する固有識別情報と、再生装置の感覚効果情報と、感覚効果と関連したパラメータ情報に関するメタデータを含むことができる。
例えば、感覚効果を再生する装置に対する固有識別情報として各再生装置タイプ情報に対するメタデータが拡張され得、各再生装置タイプ情報メタデータの各要素又は再生装置の感覚効果情報及び感覚効果と関連したパラメータ情報として動画コンテンツの原本カラー復元設定情報と、照明再生設定情報と、振動設定情報と、温度再生設定情報と、各再生装置の再生方向設定情報などのようなメタデータが含まれ得る。
図36は、本発明の好適な実施形態による広告動画コンテンツの視聴においてメタデータを活用して感覚効果を再生するマルチメディアアプリケーションサービスを示す図であって、動画コンテンツの視聴において感覚効果を再生するマルチメディアアプリケーションシステムと装置に対するメタデータを活用して広告する方法を示す図である。
図36を参照すれば、広告製作者が製作した広告動画コンテンツ3600と製作者が意図する感覚効果を生成してユーザに提供するためのものであって、製作者は完成した広告の効果を最大化するために、原色表現、メーン照明、周辺照明及び温度に該当するSEIメタデータ200を生成する。
表19は、広告製作者が生成したSEIメタデータ200をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
Figure 2012511837
Figure 2012511837
表19は広告製作者が意図する原本カラーの復元のためのパラメータを含み、メーン照明効果と周辺照明効果(LED)、温度効果、風効果などを叙述しているSEIメタデータ200のXMLインスタンスである。
完成した広告動画コンテンツ3600とこれに該当するSEIメタデータ200を伝送するために、MAF(Multimedia Application Format)形態の広告メディアを生成する。一方、本発明では動画コンテンツとメタデータを1つのメディア形態で表現するためにMAF形態を用いるが、これに限定されるものではない。生成されたMAF形態の広告メディアをインターネットやケーブルなどの通信チャネル部112を介して感覚再生装置エンジン部108に伝達し、消費者に広告動画コンテンツ300に対する感覚効果があることを知らせるようになる。
これにより、広告消費者は伝送された広告メディアの感覚効果を適用するか否かを選択する。選択する方法の一実施形態としては、消費者のディスプレイに再生及び再生効果程度を選択できるグラフィックユーザインターフェース(GUI)を利用できる。仮りに消費者が広告メディア再生効果の適用如何を選択したならば、UPIメタデータ2100が生成されて感覚再生装置エンジン部108に送られる。
表20は、消費者が広告メディア効果を適用したとき、消費者から生成されたUPIメタデータ2100をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
表20は、広告消費者の感覚効果選好情報を叙述しているUPIメタデータ2100のXMLインスタンスであって、原本色再現、メーン照明、周辺照明、温度、風調節効果をいずれも用い、メーン照明と温度、風調節の再生効果程度を叙述している。
感覚再生装置エンジン部108は、広告メディアの感覚効果を再生するためのSEIメタデータ200と、感覚再生装置制御部110に接続された周辺装置(メーン照明、周辺照明(LED)、エアコン)のDCIメタデータ2600と、消費者の感覚効果再生選好情報であるUPIメタデータ2100の入力を受け、次いで広告が再生され始める。
表21は、感覚再生装置制御部110から生成された感覚再生装置のDCIメタデータ2600をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
表21は、各感覚再生装置の感覚効果再生能力の範囲を叙述しているDCIメタデータ2600のXMLインスタンスであって、メーン照明と周辺照明、温度、風調節装置の再生能力範囲を叙述している。
広告が再生される間に製作者が提供した原色表現、メーン照明、周辺照明、温度及び風SEIメタデータが感覚再生装置エンジン部108により解釈され、これにより、DCIメタデータ2600を解釈して製作者が表そうとする感覚効果のうち、現在使用可能な感覚再生装置を判断する。
その後、ユーザのUPIメタデータ2100に基づいてユーザの選好情報を最終的に解釈して生成されたSDCメタデータ3100を感覚再生装置制御部110に伝達する。
表22は、感覚再生装置エンジン部108から生成されたSDCメタデータ3100をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
表22は、感覚再生装置制御部110に伝達されるSDCメタデータ3100のXMLインスタンスであって、消費者のUPIメタデータ2100に対応して調整された感覚効果再生情報に応じて原本カラー復元情報及びメーン照明、周辺照明、温度、風調節の再生効果程度を叙述している。
感覚再生装置制御部110は、SDCメタデータ3100に基づいて接続されたそれぞれの感覚再生装置に制御信号を送って消費者に製作者が意図した感覚効果を再生する。これにより、広告画面で太陽光が強い涼しい海の画面が再生中であれば、広告製作者が意図した通り編集した原色感がそのまま表示され、メーン照明を強く照らし、涼しい海の背景に合せて周辺のLED(周辺照明)が青く光り、背中からは涼しいエアコンの風が出るようになる。消費者はこのような広告メディアを視聴しながら、広告商品を購買したい衝動を感じ、商品を購買するようになる。
仮りに消費者が広告メディア効果を適用しなかったならば、広告製作者の意図された画面の原色ではないデジタルテレビの色感情報が反映されたビール広告が再生され、消費者は広告を見ながら、特に反応を見せないこともあり得る。
表23は、消費者が広告メディア効果を適用しなかったとき、消費者から生成されたUPIメタデータ2100をXMLインスタンス形式で表現した例を示すものである。
Figure 2012511837
表23は、消費者の感覚効果選好情報を叙述しているUPIメタデータ2100のXMLインスタンスであって、原本色再現、メーン照明、周辺照明、温度、風調節効果をいずれも使用しないことを叙述している。
以上説明した通り、本発明は動画コンテンツの視聴において動画コンテンツを構成する内容に応じてディスプレイ機器の色感及び周辺照明など周辺感覚再生装置を効果的に制御するためのものであって、動画の内容に応じてディスプレイ色感と周辺感覚再生装置の調節を最適化するための新たなメタデータ形式を伴い、既存製作者の意図に応じた消費者中心の高品質マルチメディアサービスを提供する。
なお、本発明の詳細な説明では具体的な実施形態について説明したが、後述する特許請求の範囲から逸脱しない範囲内で様々な変形が可能であるのはもちろんである。
感覚再生装置エンジン部108は、SEI、UPI、DCIメタデータを受信し、受信されたメタデータに基づいて生成された感覚再生装置を制御するための情報(即ち、SDC情報)をSDCメタデータ生成部106に送信する。SDCメタデータ生成部106は、SDC情報を叙述するSDCメタデータを生成する。
図25は、本発明の好適な実施形態による感覚効果選好情報メタデータをスキーマ形態で示す構造図であって、Preference Descriptionメタデータ2202及びPreference Descriptionメタデータ2202の要素をスキーマ形態で示す図である。
表13は、Preference Descriptionメタデータ2202の叙述構造をXMLスキーマ形態で示すものである。
図34は、本発明の好適な実施形態による1つの感覚再生装置の制御命令情報の例であって、風効果を再生する装置の制御命令情報を叙述するメタデータ-Set Fan Type3400の要素を示すブロック図である。

Claims (20)

  1. 動画コンテンツの内容に応じて感覚再生装置を用いて感覚効果を表すために生成された感覚効果情報(SEI)、感覚再生装置のユーザ選好情報(UPI)、及び前記感覚再生装置の再生能力を示す再生能力情報(DCI)に基づいて前記感覚再生装置を制御するための再生命令情報(SDC)を生成する感覚再生装置エンジン部と、
    前記生成されたSDCに基づいて感覚効果の再生を行うように前記感覚再生装置を制御する感覚再生装置制御部と、
    を含む感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  2. 前記感覚再生装置エンジン部は、
    前記SEIに前記UPIが反映された後に、前記DCIに基づいて前記SDCを生成することを特徴とする請求項1に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  3. 前記感覚再生装置エンジン部は、前記SEI、前記UPI、及び前記DCIに基づいて、前記感覚再生装置と前記感覚再生装置の制御範囲を設定することによって前記SDCを生成し、
    前記SEIは、前記感覚再生装置に関する属性情報と、前記感覚再生装置の感覚効果情報と、前記感覚効果と関連したパラメータ情報のうち少なくとも1つを含み、
    前記UPIは、最終ユーザの個人情報と、前記感覚効果に関する感覚効果選好情報を含み、
    前記DCIは、前記感覚再生装置の固有識別番号を示す属性情報と、前記装置の種類を示す属性情報と、前記感覚再生装置の個数情報と、最小再生能力情報と、最大再生能力情報と、前記装置の位置情報のうち少なくとも1つを含み、
    前記SDCは、感覚効果を再生する前記感覚再生装置に対する固有識別情報と、前記感覚再生装置の感覚効果情報と、前記感覚効果と関連したパラメータ情報のうち少なくとも1つを含むことを特徴とする請求項2に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  4. 前記感覚再生装置制御部は、
    前記感覚再生装置の再生能力範囲を含む前記DCIを生成することを特徴とする請求項1に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  5. 前記感覚再生装置制御部は、
    前記感覚再生装置エンジン部から受信した前記SDCに示される前記感覚再生装置に感覚効果再生命令を伝達することを特徴とする請求項1に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  6. 前記感覚再生装置エンジン部と前記感覚再生装置制御部との間のデータ送受信を行う通信チャネル部をさらに含むことを特徴とする請求項1に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  7. 前記感覚再生装置エンジン部と前記感覚再生装置制御部との間のデータ送受信は有無線通信を通じて行われることを特徴とする請求項6に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  8. 前記感覚再生装置は、
    ディスプレイ装置、照明装置、発光素子(LED)装置、温度調節装置、風調節装置、香り調節装置のうち少なくとも1つを含むことを特徴とする請求項1に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  9. 前記SEI、UPI、DCI、及びSDCは、メタデータ又はスキーマ形態で形成されることを特徴とする請求項1に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  10. 前記SEI、UPI、 DCI、及びSDCの情報は、拡張性生成言語(XML)インスタンス又はXMLスキーマ形態で叙述されることを特徴とする請求項1に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーションシステム。
  11. 感覚再生装置エンジン部で動画コンテンツの内容に応じて感覚効果を表す感覚再生装置のために用いられる感覚効果情報(SEI)の入力を受ける過程と、
    前記感覚再生装置のユーザ選好情報(UPI)の入力を受ける過程と、
    前記感覚再生装置の再生能力を示す再生能力情報(DCI)の入力を受ける過程と、
    前記入力を受けたSEI、UPI、及びDCIに基づいて前記感覚再生装置を制御するための再生命令情報(SDC)を生成する過程と、
    前記SDCを、感覚効果の再生を行う感覚再生装置と連動した感覚再生装置制御部に伝達する過程と、
    を含む感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  12. 前記SDCを生成する過程は、
    前記SEIに前記UPIを反映させる過程と、
    前記UPIが反映された前記SEIと前記DCIに基づいて使用可能な感覚再生装置に関する情報を判断することによって前記SDCを生成する過程と
    を含むことを特徴とする請求項11に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  13. 前記SEI、UPI、及びDCIに基づいて、前記感覚再生装置と前記感覚再生装置の制御範囲を設定することによって前記SDCを生成し、
    前記SEIは、前記感覚再生装置に関する属性情報と、感覚再生装置の感覚効果情報と、感覚効果と関連したパラメータ情報のうち少なくとも1つを含み、
    前記UPIは、最終ユーザの個人情報と、前記感覚効果に関するユーザ選好情報を含み、
    前記DCIは、前記感覚再生装置の固有識別番号属性情報と、装置の種類を示す属性情報と、感覚再生装置の個数情報と、最小再生能力情報と、最大再生能力情報と、装置の位置情報のうち少なくとも1つを含み、
    前記SDCは、感覚効果を再生する装置に対する固有識別情報と、再生装置の感覚効果情報と、感覚効果と関連したパラメータ情報のうち少なくとも1つを含むことを特徴とする請求項12に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  14. 前記DCIは、
    前記感覚再生装置の再生能力範囲を含むことを特徴とする請求項11に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  15. 前記SDCを伝達する過程は、
    前記感覚再生装置制御部で、前記感覚再生装置エンジン部から受け付けた前記SDCに示される前記感覚再生装置に感覚効果再生命令を伝達する過程を含むことを特徴とする請求項11に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  16. 前記感覚再生装置エンジン部と前記感覚再生装置制御部との間のデータ送受信は、通信チャネル部を通じて行われることを特徴とする請求項11に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  17. 前記感覚再生装置エンジン部と前記感覚再生装置制御部との間のデータ送受信は、有無線通信を通じて行われることを特徴とする請求項16に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  18. 前記感覚再生装置は、
    ディスプレイ装置、照明装置、発光素子(LED)装置、温度調節装置、風調節装置、香り調節装置のうち少なくとも1つを含むことを特徴とする請求項11に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  19. 前記情報は、メタデータ又はスキーマ形態で形成されることを特徴とする請求項11に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
  20. 前記情報は、拡張性生成言語(XML)インスタンス又はXMLスキーマ形態で叙述されることを特徴とする請求項11に記載の感覚再生装置に係るメタデータを用いたマルチメディアアプリケーション方法。
JP2011518637A 2008-07-14 2009-06-19 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法 Active JP5781435B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20080068054 2008-07-14
KR10-2008-0068054 2008-07-14
KR10-2008-0126032 2008-12-11
KR1020080126032A KR101078641B1 (ko) 2008-07-14 2008-12-11 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
PCT/KR2009/003010 WO2010008139A2 (en) 2008-07-14 2009-06-19 Multimedia application system and method using metadata for sensory device

Publications (3)

Publication Number Publication Date
JP2012511837A true JP2012511837A (ja) 2012-05-24
JP2012511837A5 JP2012511837A5 (ja) 2012-08-02
JP5781435B2 JP5781435B2 (ja) 2015-09-24

Family

ID=42086327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011518637A Active JP5781435B2 (ja) 2008-07-14 2009-06-19 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法

Country Status (6)

Country Link
US (1) US20110123168A1 (ja)
EP (1) EP2301245A4 (ja)
JP (1) JP5781435B2 (ja)
KR (1) KR101078641B1 (ja)
CN (1) CN102598554B (ja)
WO (1) WO2010008139A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021005757A1 (ja) * 2019-07-10 2021-01-14 日本電信電話株式会社 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
JP7292532B1 (ja) * 2022-04-27 2023-06-16 三菱電機株式会社 制御装置、制御システム、制御方法、及び制御プログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US20110276659A1 (en) * 2010-04-05 2011-11-10 Electronics And Telecommunications Research Institute System and method for providing multimedia service in a communication system
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
RU2444056C1 (ru) 2010-11-01 2012-02-27 Закрытое акционерное общество "Лаборатория Касперского" Система и способ ускорения решения проблем за счет накопления статистической информации
US9049494B2 (en) * 2011-01-31 2015-06-02 Cbs Interactive, Inc. Media playback control
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101305735B1 (ko) * 2012-06-15 2013-09-06 성균관대학교산학협력단 촉각 효과의 제공 방법 및 장치
KR102071576B1 (ko) 2012-12-21 2020-03-02 삼성전자주식회사 콘텐트 재생 방법 및 이를 위한 단말
US10122982B2 (en) * 2013-05-21 2018-11-06 Sony Corporation Post production replication of optical processing for digital cinema cameras using metadata
CN103596044A (zh) * 2013-11-22 2014-02-19 深圳创维数字技术股份有限公司 一种视频文件的处理及播放方法、装置及系统
US20170214962A1 (en) * 2014-06-24 2017-07-27 Sony Corporation Information processing apparatus, information processing method, and program
US10739737B2 (en) * 2015-09-25 2020-08-11 Intel Corporation Environment customization
KR102573933B1 (ko) * 2016-10-04 2023-09-05 한국전자통신연구원 기계 학습 기반의 실감 미디어 저작 방법 및 장치
US10942569B2 (en) 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
GB2588043A (en) * 2018-06-22 2021-04-14 Virtual Album Tech Llc Multi-modal virtual experiences of distributed content
US11317137B2 (en) * 2020-06-18 2022-04-26 Disney Enterprises, Inc. Supplementing entertainment content with ambient lighting

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
JP2007171972A (ja) * 2002-04-26 2007-07-05 Electronics & Communications Research Inst バックライト調節及び映像信号の適応変換による消費電力減少装置及びその方法
WO2007123008A1 (ja) * 2006-04-21 2007-11-01 Sharp Kabushiki Kaisha データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249315B1 (en) * 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
US20040015983A1 (en) * 2002-04-22 2004-01-22 Thomas Lemmons Method and apparatus for a data receiver and controller for the facilitation of an enhanced television viewing environment
KR100612831B1 (ko) * 2002-04-25 2006-08-18 삼성전자주식회사 영상의 내용기술 메타데이터를 이용한 색온도 변환 방법및 시스템
KR100612835B1 (ko) * 2002-12-12 2006-08-18 삼성전자주식회사 영상의 색 특성에 관한 사용자 선호성 데이터 생성 방법및 장치와 이를 이용한 영상 색선호특성 변환 방법 및 장치
US20040222954A1 (en) * 2003-04-07 2004-11-11 Lueder Ernst H. Methods and apparatus for a display
US20040257352A1 (en) * 2003-06-18 2004-12-23 Nuelight Corporation Method and apparatus for controlling
US7859494B2 (en) * 2004-01-02 2010-12-28 Samsung Electronics Co., Ltd. Display device and driving method thereof
JP4179262B2 (ja) * 2004-10-06 2008-11-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
KR100707638B1 (ko) * 2005-04-28 2007-04-13 삼성에스디아이 주식회사 발광 표시장치 및 그의 구동 방법
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
JP2009521170A (ja) * 2005-12-22 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 透かしによるスクリプト同期化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007171972A (ja) * 2002-04-26 2007-07-05 Electronics & Communications Research Inst バックライト調節及び映像信号の適応変換による消費電力減少装置及びその方法
JP2003324402A (ja) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム、外部機器連動型コンテンツ再生装置、その方法及びそのプログラム
WO2007123008A1 (ja) * 2006-04-21 2007-11-01 Sharp Kabushiki Kaisha データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021005757A1 (ja) * 2019-07-10 2021-01-14 日本電信電話株式会社 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
JPWO2021005757A1 (ja) * 2019-07-10 2021-01-14
JP7211514B2 (ja) 2019-07-10 2023-01-24 日本電信電話株式会社 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
JP7292532B1 (ja) * 2022-04-27 2023-06-16 三菱電機株式会社 制御装置、制御システム、制御方法、及び制御プログラム
WO2023209837A1 (ja) * 2022-04-27 2023-11-02 三菱電機株式会社 制御装置、制御システム、制御方法、及び制御プログラム

Also Published As

Publication number Publication date
JP5781435B2 (ja) 2015-09-24
CN102598554A (zh) 2012-07-18
WO2010008139A3 (en) 2012-04-12
EP2301245A2 (en) 2011-03-30
WO2010008139A2 (en) 2010-01-21
EP2301245A4 (en) 2013-07-10
CN102598554B (zh) 2015-07-01
KR20100012013A (ko) 2010-02-04
US20110123168A1 (en) 2011-05-26
KR101078641B1 (ko) 2011-11-01

Similar Documents

Publication Publication Date Title
JP5781435B2 (ja) 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法
JP2012524452A (ja) 感覚効果のためのメタデータ提供方法及び装置、感覚効果のためのメタデータが記録されたコンピュータ読み取り可能な記録媒体、感覚再生方法及び装置
JP5092015B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
KR101667416B1 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 성능 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
JP6504165B2 (ja) 情報処理装置及び情報処理方法並びにプログラム
RU2427986C2 (ru) Управление окружающим освещением на основе событий
US20110188832A1 (en) Method and device for realising sensory effects
JP4902000B2 (ja) コンテンツ再生装置、テレビジョン受像機、コンテンツ再生方法、コンテンツ再生プログラム、および記録媒体
JP2012511837A5 (ja)
US20100268745A1 (en) Method and apparatus for representing sensory effects using sensory device capability metadata
JP5442643B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
US20100274817A1 (en) Method and apparatus for representing sensory effects using user&#39;s sensory effect preference metadata
KR20110111251A (ko) 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
JP2009521170A (ja) 透かしによるスクリプト同期化方法
KR20200047467A (ko) 원격지 연출 시스템 및 원격지 연출 방법
JP2004525735A (ja) リアルワールド演出システムおよび言語
KR20100008775A (ko) 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20100008777A (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR100881723B1 (ko) 미디어 실감 재현을 위한 디바이스 연동/제어 정보 생성장치 및 방법
KR100934690B1 (ko) 단일 미디어 다중 디바이스 기반 유비쿼터스 홈 미디어재현 방법 및서비스 방법
WO2010087153A1 (ja) 感覚効果情報のデータ構造、感覚効果情報出力装置、感覚効果情報出力方法、感覚効果情報生成装置、制御装置、システム、プログラムおよび記録媒体
Timmerer et al. Interfacing with virtual worlds
KR20050116916A (ko) 환경 정보를 포함하는 콘텐츠를 생성하고 재생하는 방법과그 재생 장치
WO2018155352A1 (ja) 電子機器の制御方法、電子機器、電子機器の制御システム、及び、プログラム
JP7170236B2 (ja) 再生装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150715

R150 Certificate of patent or registration of utility model

Ref document number: 5781435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250