JP2013527996A - ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 - Google Patents

ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 Download PDF

Info

Publication number
JP2013527996A
JP2013527996A JP2012554016A JP2012554016A JP2013527996A JP 2013527996 A JP2013527996 A JP 2013527996A JP 2012554016 A JP2012554016 A JP 2012554016A JP 2012554016 A JP2012554016 A JP 2012554016A JP 2013527996 A JP2013527996 A JP 2013527996A
Authority
JP
Japan
Prior art keywords
metadata
video
video data
display
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012554016A
Other languages
English (en)
Other versions
JP5577415B2 (ja
Inventor
ダブリュ. メスマー、ニール
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2013527996A publication Critical patent/JP2013527996A/ja
Application granted granted Critical
Publication of JP5577415B2 publication Critical patent/JP5577415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/025Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

キャプチャ、ポストプロダクション、任意の既知のビデオ配信チャンネル、デコーディング、および表示サブシステムを備えるシステムにおいて、ビデオ制作者の創作意図を保護するように、ビデオデータを生成、配信、処理、および表示するためのシステム、装置、および方法を提供する。ビデオデータの後の処理および表示をガイドするために用いることができるメタデータが、ポストプロファクション段において動的に生成されて、ビデオデータに埋め込まれる。

Description

本発明は、ビデオデータの配信および/またはビデオデータの表示制御のためのシステム、装置、および方法に関するものである。いくつかの実施形態により、ビデオデータ・ストリームの中に他のデータを伝送するためのシステム、装置、および方法を提供する。いくつかの実施形態により、ビデオ制作者の創作意図を保護するように、ビデオデータを生成、配信、処理、および表示するためのシステム、装置、および方法を提供する。
図1は、従来のビデオ配信パイプライン100の、ビデオ取り込み(capture)からビデオコンテンツ表示までのいくつかのステージを示すフローチャートである。ブロック102で、一連のビデオフレーム101が取り込まれる。ビデオフレーム101は、(例えば、デジタルカメラにより)デジタル的に取り込むか、あるいは(例えば、コンピュータ・アニメーションを用いて)コンピュータにより生成することができ、これにより、ビデオデータ103のストリームが提供される。あるいは、ビデオフレーム101は、フィルムカメラによりフィルムに撮ることもできる。そのフィルムはデジタル形式に変換されて、ビデオデータ103のストリームが提供される。
ビデオデータ103は、ブロック104でのポストプロダクション編集のために、プロセッサに供給される。ブロック104のポストプロダクション編集は、ビデオ制作者の創作意図に従って、画質を向上させるか、または画像の特定の外観を実現するように、画像の特定領域における色または明度を調整または修正することを含む場合がある。ブロック104では、他の編集(例えば、シーン選択および順序付け、画像トリミング、コンピュータにより生成される特殊視覚効果の付加、など)を実施することもできる。ブロック104のポストプロダクション編集時には、ビデオ画像は、リファレンス・ディスプレイに表示される。
ポストプロダクションに続いて、ブロック106で、ビデオデータ103は、表示サブシステムに配信される。図1Aに示すように、ブロック106の配信は、ビデオ配信媒体105(例えば、衛星、ケーブル、DVDなど)を介してビデオデータ103をブロードキャストまたは伝送するためのエンコーダ・ステージ107Aを含んでいる。ブロック106の表示側に、媒体105を介して伝送されたビデオデータ103を復号化するためのデコーダ・ステージ107Bが配置される。表示サブシステムは、ビデオプロセッサとディスプレイとを含むことができる。ブロック108で、ビデオデータ103は、処理および/または復号化のため、ビデオプロセッサに供給される。ビデオデータ103は、ブロック110で一連の画像を鑑賞者に表示するため、ディスプレイに出力される。
表示される画像の品質を向上させるため、ビデオデータ103は、それぞれのクロミナンス(chrominance)(色)チャネルのRGB値または彩度値を定義するためのより高いビット深度が支援されるように、ビデオ配信パイプライン100において比較的高いビットレートで処理されることができる。例えば、ビデオデータ103のストリームは、各ピクセルのクロミナンスチャネルのそれぞれについて、8、10、または12ビットのデータを含むことができる。
クロミナンスチャネルのそれぞれに高ビット深度を用いたとしても、表示特性(例えば、輝度範囲、色域など)の違いが、ディスプレイにレンダリングされる画像の外観に影響を与えて、表示される画像がビデオ制作者の創作意図と一致しないことがある。特に、特定の表示サブシステムにレンダリングされる画像の知覚される色または明度は、ブロック104のポストプロダクション編集の際にリファレンス・ディスプレイに表示される画像の色または明度とは異なる場合がある。
また、ビデオ配信パイプライン100(図1)のブロック104、108、および110で表されるステージのような、従来のビデオ配信パイプラインの処理または表示のステージにおいて適用される方法は、一般に、ビデオ配信パイプライン100の他のステージで行われた可能性のある処理を考慮することなく、予め設定された方法で実行される。例えば、ビデオデータ103を表示するためのブロック110の方法は、ブロック104のポストプロダクション編集など、ビデオ配信パイプライン100における前の処理ステップがどのように実行されたのかを知らないまま実行されることがある。ブロック110の表示方法は、ブロック104のポストプロダクション編集によって定められるビデオ制作者の創作意図を保護するようにディスプレイに画像をレンダリングするのには適していない場合がある。
ビデオ制作者の創作意図を保護するように、ビデオデータを生成、配信、処理、および表示するためのシステム、装置、および方法が、一般に望まれている。下流でのビデオデータの処理および/または表示をガイドするために用いることができる情報を提供するためのシステム、装置、および方法が、一般に望まれている。
メタデータを含むビデオデータを表示サブシステムに提供するためのシステム、装置、および方法を提供する。ビデオデータは、(例えば、衛星、ケーブル、または高解像度ネットワークを介したテレビ放送、IPまたは無線ネットワークを介したストリーミング・マルチメディア、DVDまたは他の記憶媒体からの再生、など)コンテンツ配信のタイプに適したシステム、装置、および方法を用いて表示サブシステムに伝送または提供することができる。具体的な実施形態では、メタデータは、ビデオ配信パイプラインの1つまたは複数のステージで、生成されてビデオデータに埋め込まれる。メタデータは、ビデオデータの編集に使用されたリファレンス・ディスプレイの特性、リファレンス・ディスプレイが置かれている環境の特性、編集された画像の特性(例えば、輝度および色域)、表示サブシステムのディスプレイが置かれるビューイング環境の特性などに関する情報を提供することができる。
メタデータは、ビデオデータと共に、表示サブシステムなど下流の装置に配信される。メタデータは、その埋め込みメタデータが適用されるべきビデオフレームよりも先に配信されて、これを下流の装置で受信することができる。表示サブシステムにおいて、メタデータを抽出して復号化し、そしてそれを適用することで、表示サブシステムのディスプレイを設定し、さらに/または、そのディスプレイ用にビデオデータを調整するようにビデオデータを処理することができる。
一部の実施形態では、メタデータは、ビデオデータの中の複数の保護ビットに上書きすることによって、ビデオデータに埋め込むことができる。他の実施形態では、メタデータは、クロミナンスチャネルの最下位ビットなど、ビデオデータの中の複数の最下位ビットに上書きすることによって、ビデオデータに埋め込むことができる。本明細書に記載の方法を用いて、他のタイプのデータを、ビデオデータに埋め込むことができる。
予約されたビデオ語(例えば、予約されたピクセル値)および/または予約されたメタデータ語(例えば、フレーム開始ヘッダまたはフレーム終了ヘッダ)の意図しない伝達を回避するように、メタデータを符号化する方法を提供する。保護ビットがメタデータで上書きされる実施形態では、保護ビットに先行する複数のビデオデータ・ビットを予約ビデオ語と比較することで、その保護ビットがガードを含むべきかどうか判断することができ、そうでないと判断されれば、メタデータのビットをその保護ビットに埋め込むことができる。
図面を参照し、以下の詳細な説明を精査することで、上記の例示的な態様および実施形態に加えて、さらなる態様および実施形態が明らかになるであろう。
例示的な実施形態を図面の参照図に示している。本明細書において開示する実施形態および図面は、限定するものではなく、例示とみなされるべきものである。
従来のビデオ配信パイプラインのステージを示すフローチャートである。 図1のビデオ配信パイプラインにおいて実行され得るビデオデータの配信のステージを示すフローチャートである。 具体的な実施形態によりメタデータの伝送に使用され得る保護ビットを含む、映像ダイナミックレンジ(VDR)形式のビデオデータのフレームを示す図である。 具体的な実施形態によりメタデータの伝送に使用され得る最下位ビットをそれぞれのクロミナンスチャネルに含む、非VDR形式のビデオデータのフレームを示す図である。 具体的な実施形態によりメタデータの伝送に使用され得るビットの集まりを含む、非VDR形式のビデオデータのフレームを示す図である。 ビデオ配信パイプラインを通したビデオデータの流れと、一実施形態によりビデオ制作者の創作意図を保護するようにビデオデータを生成、配信、処理、および表示する方法とを示すフローチャートである。 図3のビデオ配信パイプラインで実行され得るビデオデータの配信のステージを示すフローチャートである。 ビデオデータの中にメタデータを符号化する一実施形態による方法を示すフローチャートである。 図4Aの方法を用いてビデオデータの中に符号化されたメタデータを復号化する一実施形態による方法を示すフローチャートである。 他の具体的な実施形態により、ビデオデータの中にメタデータを符号化する方法を示すフローチャートである。 他の具体的な実施形態により、ビデオデータの中にメタデータを符号化する方法を示すフローチャートである。 一実施形態によるメタデータ・パケットを示す図である。 図6Aのメタデータ・パケットをフレーム化するのに用いることができるヘッダを示す図である。 一連のフレーム用に配信され得るメタデータと、受信されたメタデータが適用されるべき時を示すタイムラインとを示す図である。 一実施形態によりメタデータの配信を管理する方法を示すフローチャートである。 本明細書に記載の方法のうち1つ以上を実施するのに使用することができる一実施形態によるシステムを模式的に示す図である。 2つの連続するビデオフレームで伝送される、異なるタイプのメタデータを含む一連のメタデータ・パケットを示す図である。 ビデオデータの中にメタデータを符号化するのに使用することができる一実施形態によるサブシステムを模式的に示す図である。 ビデオデータからメタデータを抽出するのに使用することができる一実施形態によるサブシステムを模式的に示す図である。
以下の説明を通して、より深い理解を当業者に与えるため、具体的詳細について記載する。ただし、開示を不必要に不明瞭にすることがないよう、周知の要素については、詳細に提示または記載していない場合がある。よって、説明および図面は、限定的意味ではなく例示的意味のものとみなされるべきである。
実施形態例により、ビデオ配信パイプラインにおいて有用なシステム、装置、および方法を提供する。ビデオ配信パイプラインを通して、メタデータは、ビデオデータの中に書き込まれて、ビデオデータと共に伝送される。メタデータは、例えば、ビデオデータを処理する下流の装置をガイドし、さらに/またはディスプレイでのビデオ再生をガイドするのに役立つものとすることができる。ディスプレイは、テレビ、コンピュータ・モニタ、ラップトップ、携帯電話、またはハンドヘルド・モバイル機器などで提供されているような、フラットパネル・ディスプレイ(例えば、LCD、LED、OLED、高ダイナミックレンジ、またはプラズマ・ディスプレイ)、またはビデオデータを表示することができる他のディスプレイとすることができる。
メタデータは、ビデオ取り込み(capture)、ポストプロダクション編集、表示前処理を含むビデオ配信パイプラインの様々なステージにおいて、動的に生成されて、ビデオデータ・ストリームに書き込まれるか、または埋め込まれることができる。メタデータは、例えば、ポストプロダクション編集で使用されるリファレンス・ディスプレイの色域および他の特性、画像における光源の位置、変更すべきではない画像の保護されている色、などを含むパラメータを規定することができる。そのようなメタデータは、デコーダおよび/またはディスプレイにより復号化して処理し、そして、ディスプレイでのビデオ再生の制御と向上のためのビデオデータの処理および/または表示管理と設定に用いることができる。メタデータは、ビデオ制作者の創作意図を保護するようにビデオを表示するために、ディスプレイを制御する(さらに/または、そのディスプレイ用にビデオデータを処理する)のに用いることができる。
具体的な実施形態によれば、ビデオデータは、保護ビット、および/またはクロミナンス(chrominance)チャネルのLSBなどの最下位ビット(LSB:LeastSignificant Bit)を含んでいる場合がある。一部の実施形態において、メタデータは、保護ビットおよび/またはLSBに保持される。VDR形式などのビデオ形式では(図2Aを参照)、ビデオデータ・フレーム10は、1つまたは複数の保護ビット11を含んでいる場合がある。これらの保護ビット11の少なくとも一部に、メタデータ225を書き込むことができる。非VDR形式など、他のビデオ形式では(図2Bを参照)、ビデオデータ・フレーム10は、1つまたは複数のLSB12(例えば、クロミナンスチャネルまたは輝度チャネルの各々のLSB 12)を含んでいる場合がある。これらのLSB12の少なくとも一部に、メタデータ225を書き込むことができる。人間の視覚システム(HVS:Human Vision System)は、輝度の変化よりもクロミナンスの変化に鈍感な傾向がある。従って、このHVS特性を考えると、一部の実施形態において、クロミナンスチャネルのうち1つ以上のLSB12に、メタデータ225を書き込むことができる。ビデオデータ・フレーム10内の保護ビット11および/またはLSB 12に、メタデータ225のビットをシリアル化することで、可変長または固定長のメタデータ225のパケットを提供することができる。VDR形式は、同一所有者による“EXTENDEDDYNAMIC RANGE ANDEXTENDED DIMENSIONALITY IMAGE SIGNAL CONVERSIONAND/OR DELIVERY VIALEGACY VIDEO INTERFACES(拡張ダイナミックレンジおよび拡張次元の画像信号の変換および/またはレガシー・ビデオインタフェースを介した配信)”という国際出願PCT/US2010/022700に記載されているビデオ形式であり、この文献は、参照により本明細書に組み込まれる。
LSB(例えば、クロミナンスチャネルのLSB)を有する非VDR形式または他の形式のビデオデータの場合、それらのLSBに、例えば以下の方法のいずれかで、メタデータを書き込むことができる。
すべてのLSBがメタデータを保持する可能性があるように、それぞれのクロミナンスチャネルのLSBにメタデータを書き込むことができる。
すべてのLSBがメタデータを保持する可能性があるわけではないように、それぞれのクロミナンスチャネルのLSBにラウンドロビン方式で、またはLSBを一部スキップする他の何らかの方式で、メタデータを書き込むことができる。
LSBに上書きすることによる影響を受ける傾向が比較的少ない画像領域の中のピクセルのクロミナンスチャネルのLSBに、メタデータを書き込むことができる。例えば、一部の実施形態では、LSBに上書きすることによって生じる表示画像における変化が明るい画像領域では見立ちにくいという一般的な傾向を利用して、明るい画像領域の中のピクセルのクロミナンスチャネルのLSBに、メタデータを書き込むことができる。
一部の実施形態では、LSBにメタデータを書き込む方法は、メタデータを保持するためにそれぞれのクロミナンスチャネル(または、他のタイプのデータ)のLSBに上書きすることで生じ得るビデオコンテンツ表示の画質低下の可能性を考慮して選択することができる。メタデータを書き込む方法は、ビデオデータまたは画像に基づいて、表示される画像のアーティファクトを低減するか、または最小限とするように、選択することができる。
ビデオ配信パイプラインを通して各ビデオフレームで可変量のメタデータを伝送することができるので、メタデータの配信と処理のタイミングを管理する方法および装置を提供することができる。例えば、複数のビデオフレームにまたがるメタデータ・ペイロードが、そのメタデータが適用されるべき特定のビデオフレームの処理に先立って、ビデオデコーダまたはプロセッサに伝送されて、受信されることができる。メタデータ・ペイロードは、そのメタデータがビデオデコーダまたはプロセッサによってディスプレイの管理または設定に適用されるべき時を示すタイムスタンプと共に、伝送されることができる。
メタデータ・ペイロードに、優先レベルを割り当てることができる。相対的に優先度の高いメタデータとして分類されるメタデータを、相対的に優先度の低いメタデータとして分類されるメタデータの配信よりも前に配信することができるような、システム、装置、および/または方法を提供することができる。そのようなシステム、装置、および/または方法を用いて、ビデオ配信パイプラインで1つ以上のビデオフレーム用に生成されたメタデータをすべて伝送するのに十分なバンド幅がない場合のメタデータの配信を管理することができる。具体的な実施形態では、ビデオ配信パイプラインを通した特定のメタデータの伝送が、相対的に優先度の高いメタデータとして分類される他のメタデータの伝送を可能にするため、一時的に中断されることがある。
追加のメタデータを伝送するために、他の伝送機構を提供することができる。例えば、一部のビデオ形式では、ビデオデータは、輝度データとは別に表されるクロミナンスデータを含んでいる。一部の実施形態では、特定のビデオフレームまたはビデオフレームの特定の領域のクロミナンスデータをメタデータで上書きすることにより、ビデオ配信パイプラインを通してメタデータをバーストで提供する。輝度レベルがゼロまたは閾値未満であるピクセルについては、表示される画像の外観に実質的に影響を与えることなく、クロミナンスデータを、メタデータ225のビットで上書きすることができる。メタデータは、フィールド、値、ビットなどを含み得るビデオデータのクロミナンス部分またはクロミナンスチャネルに書き込むことができる。図2Cは、メタデータ225で上書きすることができる、データフレーム10の一連のビット13を構成するクロミナンス部分を示している。クロミナンス部分へのメタデータの符号化は、“SYSTEMS,APPARATUSAND METHODS FORVIDEO DELIVERY ANDCONTROLLING VIDEO DISPLAYBY OVERWRITING VIDEODATA(ビデオデータへの上書きによるビデオ配信およびビデオ表示制御のためのシステム、装置、および方法)”という名称の同一所有者による同時係属中の出願に記載されており、この文献は、参照により本明細書に組み込まれる。
図3は、具体的な実施形態による、ビデオ配信パイプライン200を通したビデオデータの流れを示すフローチャートである。ビデオ配信パイプライン200には、図1のビデオ配信パイプライン100に示すものと同様のステージが組み込まれており、よって、図3のビデオ配信パイプライン200では参照符号が「1」ではなく「2」で始まることを除いて、同様のステージを識別するために類似の参照符号を用いている。ビデオ配信パイプライン200の1つ以上のステージにおいて、下流のステージで用いるためのメタデータ225を生成して、ビデオデータ203のストリームに埋め込むことができる。メタデータ225は、ビデオデータを処理する下流の装置をガイドするため、さらに/またはブロック210での表示サブシステムにおけるビデオ再生をガイドするため、ビデオ配信パイプライン200を通してビデオデータ203と共に伝送される。メタデータ225が埋め込まれたビデオデータ203は、(例えば、衛星、ケーブル、または高解像度ネットワークを介したテレビ放送、IPまたは無線ネットワークを介したストリーミング・マルチメディア、DVDまたは他の記憶媒体からの再生、など)ビデオコンテンツ配信のタイプに適したシステム、装置、および方法を用いて、ブロック206において表示サブシステムに配信することができる。
図3の実施形態では、ブロック202で、カメラ・メタデータ225Aが生成されて、ビデオデータ203に埋め込まれる。カメラ・メタデータ225Aは、カメラ設定およびビデオフレーム取り込み環境に基づいて生成することができる。カメラ・メタデータ225Aは、例えば、ビデオフレーム取り込み時のカメラ設定のスナップショットを提供するカメラ・パラメータを含むことができる。このようなカメラ・パラメータとして、絞り(Fストップ)、レンズ、シャッター速度、感度(ISOの評価)などを含むことができる。これらのカメラ・パラメータは、ブロック204でのポストプロダクション編集の際の色調整(例えば、色タイミング)またはブロック210での表示設定など、ビデオ配信パイプライン200における後のステップをガイドするために用いることができる。
ブロック204において、ポストプロダクション・メタデータ225Bが生成されて、ビデオデータ203に埋め込まれる。ポストプロダクション・メタデータ225Bは、リファレンス・ディスプレイおよび環境のメタデータ225Bと、ソースビデオコンテンツ特性評価(source video content characterization)のメタデータ225Bとを含むことができる。ポストプロダクション・メタデータ225Bは、ブロック210での表示設定など、ビデオ配信パイプライン200における後のステップをガイドするために用いることができる。
リファレンス・ディスプレイおよび環境のメタデータ225Bは、ブロック204のポストプロダクション編集で用いられるリファレンス・ディスプレイ設定およびスタジオまたはビューイング環境を記述することができる。例えば、リファレンス・ディスプレイおよび環境のメタデータ225Bは、ブロック204のポストプロダクション編集においてビデオデータ203の表示に使用されるリファレンス・ディスプレイに関して、以下のようなパラメータを含むことができる。
・ 細かい解像度でのリファレンス・ディスプレイの色調および色域の境界を記述する3次元色域マッピング;
・ リファレンス・ディスプレイの色調および色域の境界を規定するパラメータの縮小セット(これは、3次元色域マッピングを推測するために用いることができる);
・ それぞれのクロミナンスチャネルについてのリファレンス・ディスプレイの色調応答を記述するシステム色調応答パラメータ;
・ および/または類するもの。
リファレンス・ディスプレイおよび環境のメタデータ225Bは、さらに、ブロック204のポストプロダクション編集においてリファレンス・ディスプレイでビデオコンテンツの色タイミング調整または編集が行われたスタジオ環境を記述するパラメータを含むこともできる。このようなパラメータとして、周辺輝度および周辺色温度を含むことができる。
ソースビデオコンテンツ特性評価メタデータ225Bは、ポストプロダクション編集されたビデオコンテンツを記述することができ、以下のものを識別または提供し得る情報を含んでいる。
・ 画像における光源の、または画像における反射または発光オブジェクトの、位置マップ;
・ ビデオソース・コンテンツの色域;
・ 意図的にリファレンス・ディスプレイの色域外に色タイミング調整された画像の領域;
・ ビデオプロセッサによる表示前処理の際、または表示設定の際に変更すべきではない保護された色;
・ 輝度または色域に関して画像を特徴付ける画像ヒストグラム(例えば、このような情報は、下流の装置によって、色調および色域マッピングを向上させるために平均輝度を求めるのに用いることができる);
・ 前のビデオフレームからの統計またはヒステリシスがもはや有効ではないことを下流の装置に警告するための、シーン変更またはリセットのフラグ;
・ 下流の装置によって、光源位置マップと組み合わせて、色調および色域マッピングを導くのに用いることができる、動いているオブジェクトを識別するようにビデオコンテンツを特徴付けるモーション・マップ;
・ 色タイミング調整されたコンテンツのソースの表示(例えば、カメラから直接、またはポストプロダクション編集);
・ デコーダ/テレビまたは他のディスプレイなどの下流の装置を制御するために用いることができる、ディレクタの創作意図の設定。例えば、そのような設定として、ディスプレイを特定のモード(例えば、ビビッド、シネマ、スタンダード、プロフェッショナル、など)で動作させるように制御することを可能にする表示モード制御、適切な色域または色調マッピングなどを決定するために用いることができるコンテンツ・タイプ(例えば、アニメーション、ドラマ、スポーツ、ゲーム、など)、色調マッピング(例えば、ディスプレイでの色調拡張をガイドするために用いることができるカスタマイズされた色調マッピング・パラメータまたは曲線)、色域マッピング(例えば、ディスプレイでの色域拡張をガイドするために用いることができるカスタマイズされた色域マッピング・パラメータ)、を含むことができる;
・ および/または類するもの。
ビデオデータ203は、ブロック206で表示サブシステムに配信される。図3Aに示すように、ブロック206の配信は、衛星、ケーブル、または高解像度ネットワーク、IPまたは無線ネットワーク、DVDもしくは他の記憶媒体など、ビデオ配信媒体205を介してビデオデータ203を配信、ブロードキャスト、または伝送するためのエンコーダ・ステージ207Aを含むことができる。ブロック206の表示側に、媒体205を介して配信されたビデオデータ203を復号化するためのデコーダ・ステージ207Bを設けることができる。デコーダ・ステージ207Bは、例えば、セットトップ・ボックスによって、または表示サブシステム内のデコーダによって、実現することができる。ブロック206および/または208では、ビューイング環境メタデータ225Cおよび/または他のメタデータ225をビデオデータ203に埋め込むことができる。ビューイング環境メタデータ225Cは、例えば、以下のものを含むことができる。
・ リファレンス・モニタの色調マッピングもしくは色域曲線、またはリファレンス環境の周辺輝度を提供する、高度ビデオ符号化(AVC:AdvancedVideo Coding)VDRエンコーダ・データ。この情報の少なくとも一部は、デコーダ・ステージ207Bで(またはビデオプロセッサにより)、表示サブシステムの(例えば、ディスプレイの拡張ディスプレイ識別データ(EDID:ExtendedDisplay Identification Data)を読み取ることによる)表示特性および環境の情報によって決定することができる。実施形態によっては、この情報の少なくとも一部が、ビデオデータのポストプロダクション処理の際のスタジオで決定されることがある。
・ 表示サブシステムのディスプレイが置かれる環境を記述するパラメータ。このようなパラメータとして、例えば、周辺の輝度および/または色調もしくは色温度を含むことができる。
ビューイング環境メタデータ225Cは、ブロック208でのビデオデータ処理および/またはブロック210での表示設定をガイドするために用いることができる。
表示サブシステムは、ブロック208で受信ビデオデータ203を処理するためのビデオプロセッサを備えている。表示サブシステムのビデオプロセッサは、ビデオデータ203から抽出したメタデータ225(例えば、メタデータ225A)および/または表示サブシステムのディスプレイに関する既知の表示特性に基づいて、ビデオデータ203に対する信号処理を実行することができる。表示特性評価パラメータ226および/またはメタデータ225に従って、そのディスプレイ用にビデオデータ203を処理および調整することができる。
ブロック206および/または208、あるいはビデオ配信パイプライン200の他のステージにおいて、ビデオデータ203に埋め込むことができる他のメタデータ225として、例えば、以下のような(頒布権などを管理するための)ハウスキーピング・メタデータ225Dが含まれる。
・ ビデオコンテンツがどこで生成、配信、変更されたのかなどを示す透かしデータ;
・ 検索または索引付けを目的としたビデオコンテンツの記述などを提供するフィンガープリント・データ;
・ ビデオコンテンツの所有者、および/またはそのアクセス権を持つ者を示す保護データ;
・ および/または類するもの。
ビューイング環境メタデータ225Cは、表示サブシステムのディスプレイに関する表示特性評価パラメータ226に少なくとも部分的に基づいて、生成することができる。一部の実施形態では、ビューイング環境メタデータ225C、ソースビデオコンテンツ特性評価メタデータ225B、および/またはハウスキーピング・メタデータ225Dは、エンコーダ・ステージ207A、デコーダ・ステージ207Bでのビデオデータ203の分析によって、さらに/またはブロック208でビデオプロセッサによって、生成または提供することができる。
ブロック210では、表示サブシステムのディスプレイにおいて表示設定を行うことができる。表示設定のための適切なパラメータは、表示特性評価パラメータ226、および/またはカメラ・メタデータ225A、ポストプロダクション・メタデータ225B(リファレンス・ディスプレイおよび環境のメタデータ225B、ソースビデオコンテンツ特性評価メタデータ225Bを含む)、ビューイング環境メタデータ225Cなどのメタデータ225に基づいて、決定することができる。ディスプレイは、それらのパラメータによって設定される。ビデオデータ203は、ディスプレイに出力される。
ビデオ配信パイプライン200を通して配信されるビデオフレームのために、ブロック202、204、206、または208でメタデータ225を生成して、パイプラインを通して配信されるビデオフレームの利用可能な保護ビットおよび/またはLSBに、メタデータ225をシリアルに書き込むことができる。必要なメタデータ・バンド幅は、特定のメタデータ・タイプのメタデータ伝送の頻度とサイズによって、ビデオフレーム間で異なることがある。特定の実施形態によれば、一部のタイプのメタデータ225は、およそ10秒ごとに下流に伝送される場合があり(例えば、これにはリファレンス・ディスプレイおよび環境のメタデータ225Bを含むことができる)、別のタイプのメタデータ225は、フレームシーケンスごとに1回、またはシーン変更ごとに1回、下流に伝送される場合があり(例えば、これにはビューイング環境メタデータ225Cを含むことができる)、さらに別のタイプのメタデータ225は、フレームごとに1回、または数個のフレームごとに1回、下流に伝送される場合がある(例えば、これにはソースビデオコンテンツ特性評価メタデータ225Bの一部のパラメータを含むことができる)。
一部のビデオフレームについては、ブロック202、204、206、または208で生成されるメタデータ225をすべて1つのビデオフレーム内の保護ビットまたはLSBに順次埋め込むことが可能な場合がある。他のビデオフレームについては、ブロック202、204、206、または208で生成されるメタデータ225が、その伝送に1つよりも多くのビデオフレームを必要とする場合があり、また、ビデオ配信パイプライン200により提供されるメタデータ・バンド幅を超える場合がある。これによって、メタデータは配信不能になることがある。メタデータ225が適時に配信および適用されるようにするため、以下でさらに詳細に説明するように、ビデオ配信パイプライン200を通したメタデータ225の符号化および配信を管理するためのシステム、装置、および/または方法を提供する。
ブロック208でのビデオデータ203の処理およびブロック210での表示設定に用いられるメタデータ225は、(ビデオプロセッサおよびディスプレイを含む)表示サブシステムにおいてメタデータ225がその適用に先立って受信されるように、ビデオデータ・ストリームの中に伝送される。一部の実施形態では、メタデータ225は、メタデータ225が適用されるべきフレームよりも少なくとも1ビデオフレーム前に、表示サブシステムによって受信されるように、送られる。一部の実施形態では、メタデータ225は1ビデオフレーム前に送られて、ブロック208および/または210でのメタデータ225の適用は、受信ビデオストリームに新しいビデオフレームを検出することでトリガすることができる。
具体的な実施形態において、ビデオ配信パイプライン200のシステムおよび/または装置は、メタデータ構造を定義するメタデータ・プロトコルに準拠している。図6Aは、具体的な実施形態によるメタデータ構造すなわちメタデータ225のパケット250を示しており、これは、例えば、図3のビデオ配信パイプライン200のブロック202、204、206、または208のいずれかにおいて生成されて、パイプラインの下流に伝送され得るものである。パケット250は、ヘッダによってフレーム化されている。図6Aに示す実施形態では、パケット250は、以下のフィールドを含んでいる。
・ フレーム開始ビットセットによってヘッダを規定するフレーム開始(SOF:StartOf Frame)ヘッダ252;
・ ペイロードの中のメタデータのタイプ(例えば、色域パラメータ、シーン変更フラグ、画像ヒストグラム、など)と、後に続くメタデータの形式またはパターンとを規定するパケットタイプ254;
・ フレーミング構造の設定可能な部分を規定するCFGビット256(例えば、CFGビット256は、パケットについてのタイムスタンプが有効であるかどうかと、タイムスタンプの適用の仕方について規定することができる);
・ 長さが可変の場合があるメタデータ・ペイロード258;
・ フレーム終了ビットセットによってヘッダを規定するフレーム終了(EOF:EndOf Frame)ヘッダ260;
・ メタデータ・ペイロード258のデータがいつ適用されるべきか(例えば、メタデータ・パケット250を受信した後のビデオフレームまたはシーンの特定の数、または他の何らかの以後の遅延)を示すタイムスタンプ262(オプション);
・ メタデータ・パケット250の検証を可能にする、例えば、巡回冗長検査(CRC:CyclicRedundancy Check)値264などのチェックサム。
図6Bは、図6Aに示すようなメタデータ・パケット250の開始(すなわちSOFヘッダ252)または終了(すなわちEOFヘッダ260)を規定するために使用することができるヘッダ270を示している。図示の実施形態では、所定のパターン272の複数のビットで、ヘッダ270は始まる。ペイロード終了(EOP:EndOf Payload)フラグまたはビット266と、SOF/EOFフラグまたはビット268(例えば、0/1)で、ヘッダ270は終わる。SOF/EOFフラグ268は、ヘッダ270が、SOFヘッダ252であるか、EOFヘッダ260であるかを定めている。EOPフラグ266は、EOFフラグ268が設定されている場合のみ有効とすることができる。EOPフラグ266を設定することは、メタデータ・パケット250がメタデータ・ペイロードの最後の部分を含んでいることを示している。EOPフラグ266によって、メタデータ・ペイロードを、ビデオフレームにまたがって分割することができる幾つかのメタデータ・パケット250に分割することが可能となる。EOPフラグ266によって、優先度の高いメタデータ・パケットの伝送のために、優先度の低いメタデータ・パケットに割り込むことが可能となる。
EOPフラグ266によって、図10に示すように、異なるタイプのメタデータを保持するパケットを、複数のビデオフレームによって伝送することが可能となる。パケットに保持されているメタデータのタイプは、ヘッダの中のパケットタイプ254によって示すことができる(図6A参照)。図示の例では、タイプAのメタデータを保持する第1のパケット280が、ビデオフレーム1のビデオデータに埋め込まれる。タイプAのメタデータをビデオデータ・ストリームに埋め込んでいる間に、メタデータ・タイプAよりも高い優先度を有するタイプBのメタデータを受信する。タイプBのメタデータを優先させて、タイプAのメタデータの伝送を中断するため、第1のパケット280を終了させるようにEOFフラグを設定する(ただし、伝送されるべきタイプAのメタデータが残っているので、EOPフラグは設定されない)。そして、タイプBのメタデータを保持する第2のパケット282を、ビデオフレーム1のビデオデータに埋め込むことができる。図示の例では、ビデオフレーム1は、タイプBのメタデータをすべて伝送するのに十分な保護ビットまたはLSBを有していない。そこで、ビデオフレーム1の終わりにあたって、第2のパケット282の終わりを示すためのEOFフラグが設定される(ただし、伝送されるべきタイプBのメタデータが残っているので、EOPフラグは設定されない)。残りのタイプBのメタデータを保持する第3のパケット284は、ビデオフレーム2のビデオデータに埋め込むことができる。第3のパケット284は、パケットの終わりと、タイプBのメタデータのメタデータ・ペイロードの終わりを示すように、EOFフラグとEOPフラグで終了させることができる。その後、タイプAのメタデータの伝送を再開することができる。図示の例では、(タイプBのメタデータを埋め込む際に保存された)残りのタイプAのメタデータが全て取り出されて、ビデオフレーム2のビデオデータに埋め込まれるメタデータの第4のパケット286の中に保持される。第4のパケット286は、パケットの終わりと、タイプAのメタデータのメタデータ・ペイロードの終わりを示すように、EOFフラグとEOPフラグで終了させることができる。
具体的な実施形態によれば、メタデータ・ビットは、予約もしくは保護された語またはビット列(そのビット長は任意とすることができる)が誤って伝達されることがないような方法で、ビデオデータのビット(例えば、保護ビットおよび/またはLSB)上にシリアル化される。予約語(reserved word)には、メタデータによって伝達されることがある予約メタデータ語と、ビデオデータ・ストリームによって伝達されることがある予約ビデオ語の、2つのタイプがあり得る。メタデータ・ペイロードが、パケットのフレーム終了ヘッダすなわちEOFヘッダ260(図6A)などの予約メタデータ語と一致することがないように、メタデータを符号化することができる。ビデオデータの保護ビットがメタデータで上書きされる実施形態では、ビデオデータにより予約ビデオ語が伝達されることを防ぐという保護ビットの機能が、シリアル化されたメタデータによって無効にされることは避けなければならない。例えば、VDRまたはHDMI形式など一部のビデオ形式では、保護ビットを用いることで、特定の予約ビデオ語(例えば、予約ピクセル値)が伝送されないようにしている。予約ピクセル値として、例えば、0、255、および他の予約値を含むことができる。
図4Aは、予約ビデオ語の伝達を回避するように、ビデオデータの中にメタデータ・ビットを符号化する方法300を示している。方法300は、保護ビットを用いるVDR形式または他のビデオ形式のビデオデータの中に、メタデータをシリアル化するために適用することができる。方法300は、ビデオデータ・ストリームの中に伝送されるべきメタデータをブロック302で受信することで開始する。メタデータは、例えば、図3に示すビデオ配信パイプライン200のブロック202、204、206、または208のいずれかにおいて、メタデータ・ジェネレータまたはエンコーダから受信されることがある。一部の実施形態では、メタデータが、そのメタデータが適用されるべきフレームより少なくとも1ビデオフレーム前に、ビデオデータ・ストリームの中に伝送されるようにするため、ブロック302で受信されるメタデータは、後来のビデオフレームに(例えば、ビデオデータ処理および/または表示設定のために)適用されるべきメタデータである。メタデータは、メタデータ・パケット(例えば、図6Aに示すようなメタデータ・パケット250)として符号化することができる。ブロック304で、メタデータ・パケットの第1のビットを取得し、また、ビデオデータ・ストリームの中で、利用可能な次の保護ビット(つまり、メタデータで上書きされていない保護ビット)を見つける。ブロック306で、(実施形態によっては、先に伝送されたメタデータを含んでいる)ビデオデータ・ストリームについて、1つまたは複数の予約ビデオ語の意図しない伝達を防ぐためのガードとしての保護ビットが必要であり得るかどうか判断するための検討が行われる。保護ビットがガードとして使用されるべき状況である場合は、ブロック310で保護ビットにガードが挿入される。他の実施形態では、ガードは、ビデオデータを符号化する際に保護ビットに書き込まれる場合があり、よって、既にガードが保護ビットに入っていることがあり、この場合、ブロック310では保護ビットをスキップすることができ、スキップした保護ビットにメタデータ・ビットは挿入されない。
ガードを挿入するためのブロック306でのガード条件として、例えば、ビデオデータ・ストリームにおいて保護ビットに先行するビットが予約ビデオ語とほぼ一致しているか(例えば、あと1ビットで一致するか)どうかについての検討を含むことができる。この判断は、ビデオデータ・ストリームの中の先行するビットを、予約ビデオ語のリストにある各語と比較することによって、行うことができる。
ブロック310で保護ビットにガードを挿入(または保護ビットをスキップ)したら、ブロック312で、ビデオデータ・ストリームにおいて次の保護ビットを見つけて、次のこの保護ビットに対して、保護ビットをガードとして使用すべきかどうか(または、保護ビットにメタデータを書き込んでもよいかどうか)判断するためのブロック306の検証を適用する。
特定の保護ビットがガードとして使用される必要がないと、ブロック306で判断される場合は、ブロック308において、その保護ビットにメタデータのビットを書き込むことができる。ビデオデータ・ストリームに埋め込まれるべきメタデータ・パケットの残りのビットがある間は(ブロック314を参照)、メタデータ・パケットから次々とビットを取得し、また、ビデオデータ・ストリームにおいて次々と保護ビットを見つける(ブロック316を参照)。それぞれの取得したメタデータ・ビットおよび見つけた保護ビットについて、ブロック306の検証を適用することで、その保護ビットをガードとして処理して(ブロック310)次の保護ビットにスキップする(ブロック312)べきかどうか判断し、そうではないと判断されたら、その保護ビットにメタデータを書き込む(ブロック308)ことができる。
具体的な実施形態では、保護ビットの直前のピクセルデータ305のビットについて、ビデオデータにより予約ビデオ語が伝達される可能性があるかどうか判断するための検討を行うことにより、ブロック306でのガード条件が評価される。例えば、予約ビデオ語として(例えば、2進形でそれぞれ、00000000、11111111と表される)0および255などの特定のピクセル値を含むビデオ形式の場合、保護ビットに先行するピクセルデータ305の7つのビットについて、ブロック306で検討することができる。先行する7ビットがすべて、連続するゼロまたは連続する1である場合には、(その一連のビデオデータ・ビットにおける8番目のビットとなる)保護ビットは、ガードとして機能しなければならない。保護ビットには、ブロック310で、予約ビデオ語の伝達を防ぐように適切に選択された0または1のガードを設定することができる。予約ビデオ語として、様々に異なる長さの他の語またはビット列を含むことができる。ブロック306でのガード条件により、ピクセルデータ305について、これらの予約ビデオ語のいずれかの伝達の可能性を検出するための評価を行うことができる。
予約メタデータ語の意図しない伝達を回避するように、メタデータ225を符号化することができる。予約メタデータ語として、例えば、メタデータ・パケットの開始を規定するパケットのフレーム開始ヘッダ、またはメタデータ・パケットの終了を規定するパケットのフレーム終了ヘッダを含むことができる。予約メタデータ語の意図しない伝達を回避するために用いられる符号化方式として、例えば以下のものを含むことができる。
・ 6b/8b符号化(一続きの連続する同じビットが、最長で6ビット長に制限される);
・ 8b/10b符号化(一続きの連続する同じビットが、最長で5ビット長に制限される);
・ 連続する同じビットの固定パターンで、SOFヘッダ252またはEOFヘッダ260などの予約メタデータ語を表すように定義し、ビデオデータにメタデータ・ペイロードを埋め込む際には、それらの固定パターンを符号化することは避ける。例えば、それらの固定パターンが6ビット長パターン000000と111111である場合に、メタデータ・ペイロードに5ビット長パターン00000または11111が現れるときには、いずれも、その次のビットとして1または0の保護ビットがビデオデータ・ストリームの中に埋め込まれる(例えば、000001または111110)。ビデオデータ・ストリームからメタデータを抽出する際には、この保護ビットは有効とはみなされず、無視される。
図4Bは、図4Aの方法300を用いて符号化されたメタデータ・ビットを、ビデオ信号から取り出す方法330を示している。この方法330は、ビデオデータ332のストリームを受信し、SOFヘッダ252(図6Bを参照)またはメタデータ・パケットの開始を規定する他の予約メタデータ語を検出するため、ブロック333でビデオデータ332を監視することで、開始する。ブロック333におけるメタデータ・パケットの開始の検出は、SOFヘッダ252を形成する一連のメタデータ・ビットが検出されるまで、ビデオデータ・ストリームの中の保護ビットを受信して、復号化すること(さらには、予約ビデオ語の伝達を防ぐためのガードとして使用されている保護ビットをスキップすること)を含むことができる。ブロック333でメタデータ・パケットの開始が検出されたら、方法300はブロック334に進んで、ビデオデータ・ストリームにおいて次の保護ビットを見つける。ブロック336で、先行するビデオデータ335(すなわち、保護ビットの直前に受信したビデオデータ・ビット)について、保護ビットが、ビデオデータ・ストリームの中に予約ビデオ語を伝達することを防ぐためのガードとして機能しているものであるかどうか判断するため検討が行われる。保護ビットが、ガードとして使用されていない(つまり、保護ビットにメタデータが書き込まれている)とブロック336で判断される場合は、ブロック338で、保護ビットからメタデータが取り出される。
保護ビットがガードとして使用されているとブロック336で判断される場合には、ブロック334で、ビデオデータ332のストリームにおいて次の保護ビットを見つけて、次のこの保護ビットに対して、保護ビットがガードとして使用されているかどうか判断するためのブロック336の検証を適用する(そうでないと判断されたら、保護ビットに入っているメタデータを、ブロック338で取り出すことができる)。
具体的な実施形態では、保護ビットの直前のビデオデータ335のビットを、予約ビデオ語を示すビットの固定パターンと比較することにより、ブロック336での評価を行うことができる。ブロック336では、もし保護ビットにガードが挿入されていなかった場合、ビデオデータによって予約ビデオ語が伝達された可能性があるかどうか判断される。予約ビデオ語が伝達された可能性がある場合には、保護ビットはガードとして使用されていると仮定することができ、方法300は、ブロック334に進んで、ビデオデータ・ストリームにおいて次の保護ビットを見つける。一方、予約ビデオ語が伝達されたことはあり得ない場合には、保護ビットにはメタデータが入っていると仮定することができ、これを、ブロック338で保護ビットから取り出すことができる。
他の実施形態では、ビデオフレームの保護ビット11(例えば、図2Aを参照)ではなく、ビデオフレームのクロミナンスチャネルのLSB12(例えば、図2Bを参照)に、メタデータが書き込まれる。予約メタデータ語(例えば、フレーム開始ヘッダまたはフレーム終了ヘッダ)の意図しない伝達を回避するように、メタデータ225をLSB12の中に符号化することができる。メタデータ225は、上記の方法(例えば、6b/8b符号化、8b/10b符号化、連続する同じビットの固定パターンとして予約語を定義する、など)のいずれかを用いて、予約メタデータ語の意図しない伝達を回避するように、符号化することができる。
LSB 12などクロミナンスデータのビットに上書きした結果として、ビデオコンテンツ表示の画質に影響を与えることがある。画質に与える悪影響を抑えるために、メタデータをLSBの中に符号化する特別な方法を用いることができる。図5Aは、ビデオフレームのクロミナンスチャネルのLSB12(例えば、図2Bを参照)の中にメタデータを符号化するために用いることができる方法400を示している。方法400は、クロミナンスチャネルのLSB12の中にメタデータを符号化するいくつかの異なる方法を評価する。メタデータを符号化する選択された方法が、ビデオコンテンツ表示の画質に影響することがある。
方法400は、次の(後来の)M個のビデオフレームのためのメタデータ225をブロック402で受信することで開始する。ブロック402で受信するメタデータ225が、後来のビデオフレームで(例えば、ビデオ処理および/または表示設定のために)適用されるべきメタデータであることによって、そのメタデータは、適用されるべきフレームより少なくとも1ビデオフレーム前に、ビデオデータ・ストリームの中に伝送されることができる。方法400は、続いて、表示の際のアーティファクトを最小限とするような特定の方法でメタデータ225を埋め込むことができるかどうか検討する。例えば、LSBに上書きすることによって生じる表示画像における変化が、明るい画像領域では目立ちにくい傾向があることを考えると、画像の明るい領域を表すピクセル(例えば、輝度がある閾値を超えているピクセル)のクロミナンスチャネルのLSBにメタデータ225を書き込むことができる。一部の実施形態では、クロミナンス値がある閾値を超えているピクセルのクロミナンスデータのLSBに、メタデータが書き込まれる。ビデオフレームによって表示されることになる明るい画像領域が、方法400のブロック406で識別される。明るい画像領域を表すピクセルによってメタデータ225を伝送するのに十分なバンド幅が提供されるかどうかについての判断が、ブロック408で行われる。十分なバンド幅がある場合は、ブロック410で、それらの明るい画像領域の中のピクセルのクロミナンスチャネルのLSBに、メタデータ225を書き込むことができる。そうでない場合は、方法400は、続いて、メタデータ225を書き込む別の方法を評価することができる。ブロック410で明るい画像領域のピクセルにメタデータ225を書き込む前に、後に続くメタデータ225が符号化されているビデオフレームにおける領域(複数の場合もある)をビデオレシーバまたはプロセッサに示すための第1のメタデータ・パケットを、ビデオデータ・ストリームの中に(例えば、それぞれのクロミナンスチャネルのLSBに書き込む)デフォルトの方法で伝送することができる。
方法400は、ラウンドロビン方式で(または、表示される画像におけるアーティファクトを最小限にするためにLSBをスキップする他の何らかの方法で)メタデータ225を書き込むことによって、メタデータ225の伝送のための十分なバンド幅が提供されることになるかどうか、ブロック412で評価することができる。十分なバンド幅が利用可能になる場合は、ブロック414で、ビデオフレームのクロミナンスチャネルのLSBに、(例えば、第1のピクセルは赤チャネルのみに埋め込みメタデータ・ビットを含み、第2のピクセルは緑チャネルのみに埋め込みメタデータ・ビットを含み、第3のピクセルは青チャネルのみに埋め込みメタデータ・ビットを含む、など)ラウンドロビン方式で、メタデータ225を書き込む。ラウンドロビン方式でメタデータ225を書き込む前に、後に続くメタデータ225がラウンドロビン方式で書き込まれていることをビデオレシーバまたはプロセッサに示すための第1のメタデータ・パケットを、ビデオデータ・ストリームの中に(例えば、それぞれのクロミナンスチャネルのLSBに書き込む)デフォルトの方法で伝送することができる。第1のメタデータ・パケットは、(ラウンドロビン方式で書き込まれた)メタデータ225が、ビデオフレームの中のどこに埋め込まれているのかを示すことができる。第1のメタデータ・パケットによって、ビデオ配信パイプラインの送信側と受信側の間でメタデータ配信を同期させる方法を提供することができる。
ラウンドロビン方式でメタデータを書き込むことにより提供されるバンド幅が十分でない場合は、ブロック416で、メタデータを埋め込むデフォルトの方法を適用することができる(例えば、ビデオフレームのクロミナンスチャネルの各LSBに、メタデータ225を書き込むことができる)。ブロック416でメタデータ225を書き込んだ後に、ビデオデータ・ストリームに未だ埋め込まれていないメタデータ225が残っている場合(ブロック422を参照)は、ブロック424で、残りのメタデータ225の配信に優先順位を付けて、配信を管理することができる。メタデータ225は、伝送のため、複数のパケットに分割することができる。図8および10を参照して本明細書で説明するように、EOPフラグを用いることで、メタデータ・パケットの伝送を中断させて、優先度がより高いメタデータ・パケットの伝送を優先させることができる。
図5Bは、メタデータをバーストで提供するように、ビデオフレームのクロミナンスデータに上書きすることによりメタデータを符号化するために用いることができる方法425を示している。例えば、(ピクセルの輝度値がゼロまたはある閾値未満である)黒のフレームまたは黒の画像領域の中のピクセルのクロミナンス部分を、メタデータの伝送に用いることができ、そのようなピクセルのクロミナンスデータは、実質的に画質に影響を与えることなく上書きすることができる。例えば以下のような種類のフレームでは、多数のピクセルが、ゼロまたは極めて小さい値の輝度値を有している。
・ 例えば、映画の異なるシーンの間での移行、またはコマーシャルと予定の番組の間での移行に用いられることがあるような、黒フレーム;
・ ビデオ画像の側方および/または上方および下方にマットまたは黒バーを伴ってビデオ画像が表示される、レターボックス形式、ピラーボックス形式、およびウィンドウボックス形式など、特定のビデオ形式のフレーム。そのような形式は、一般に、ディスプレイ上でビデオの元の縦横比を維持するために用いられる。
方法425は、次のM個のビデオフレームのためのメタデータ225をブロック426で受信することで開始する。ブロック428で、方法425は、現在のビデオフレームにおいて、メタデータをバーストで伝送するために使用することができる黒フレーム(または黒画像領域)を識別する。識別された黒フレーム(または黒画像領域)の中のピクセルのクロミナンスチャネルの範囲内に、ブロック430で、メタデータ225の複数のビットが書き込まれる。例えば、図2Cに示すように、一連のメタデータ・ビット13を、クロミナンスデータに上書きするようにして、クロミナンスチャネルに挿入することができる。クロミナンスチャネルにメタデータ225を書き込む前に、後に続くメタデータ225がピクセルのクロミナンスチャネルに書き込まれていることをビデオデータ・レシーバまたはプロセッサに伝える情報を提供するため、第1のメタデータ・パケットを、ビデオデータ・ストリームの中に(例えば、LSBに書き込む)デフォルトの方法で伝送することができる。
ブロック432で、残っている(すなわち、黒フレームのピクセルのクロミナンスチャネルに書き込まれていない)メタデータ225がある場合は、そのようなメタデータ225を、現在の非黒ビデオフレームの中の利用可能なLSBに書き込むことができる。すべての利用可能なLSBに埋め込んだ後に、ビデオデータ・ストリームに未だ埋め込まれていないメタデータ225が残っている場合(ブロック434を参照)は、残りのメタデータ225の配信に優先順位を付けて、配信を管理することができる(ブロック436)。メタデータに優先順位を付ける具体的な方法については、図8に関して、以下でさらに詳細に説明する。
一部のビデオ形式では、ビデオ画像が、そのビデオ画像の側方および/または上方および下方にマットまたは黒バーを伴って表示されることがある。ビデオデータがこのような形式で提供される場合には、黒マットまたはバーを表すピクセルのクロミナンスチャネルの範囲内にメタデータ225を埋め込むことができる。
他の実施形態では、方法300、400、および/または425の手順の変形または組み合わせである方法を、メタデータの配信を管理するために適用することができる。例えば、具体的な方法では、黒ビデオフレームおよび/または領域の中のクロミナンスデータに上書きすることによりメタデータをバーストで提供する手順と、非黒ビデオフレームのクロミナンスチャネルの保護ビットまたはLSBにメタデータを書き込む手順とを組み合わせることができる。
ビデオデータ・ストリームの中にメタデータ225を符号化するために適用されるそれぞれの方法には、ビデオデータによって予約ビデオ語が意図せずに伝達されることがないようにするための手順を組み込むことができる。例えば、図4Aおよび4Bを参照して上記で説明したのと類似の方法を実行することができ、これにより、先行して伝送されるビデオデータについて、検討を行い、予約ビデオ語のリストと比較して、必要であれば、予約ビデオ語の伝達を防ぐためのガードを保護ビットに設定する。
図8は、一実施形態によりメタデータの配信を管理する方法500を示すフローチャートである。この方法500によると、ビデオ配信パイプラインを通したメタデータの伝送を一時的に中断させて、相対的に優先度の高いメタデータとして分類される他のメタデータの伝送を可能にすることができる。ビデオ配信パイプライン200に沿った複数のステージで、メタデータが生成されて、ビデオデータ・ストリームに埋め込まれる場合があることを考えると、メタデータ配信の中断が必要となることがある。一部のビデオフレーム(例えば、ビデオ配信パイプラインの複数のステージで生成されたメタデータを含むビデオフレーム)では、メタデータ225が下流の装置で適用されるべき時点よりも前にメタデータ225を下流の装置に配信するためには、利用できるメタデータ・バンド幅が十分でないことがある。
ビデオデータ・ストリームに埋め込まれるべき新しいメタデータがあるが、ビデオデータ・ストリームの現在のビデオフレームには、新しいメタデータと既存のメタデータを伝送するためのメタデータ・バンド幅がない場合に、方法500を実行することができる。例えば、ビデオ配信パイプラインの前のステージで、現在のビデオフレームに既存のメタデータ225が既に埋め込まれており、新しいメタデータの配信には十分でないバンド幅が残されている場合がある。図8では、まずブロック502で、ビデオデータ・ストリームに埋め込まれている既存のメタデータ構造を見つけて、これを取り出す。既存のメタデータ構造の優先度(PRIORITYEXISTIMG)と、伝送されるべき新しいメタデータ構造の優先度(PRIORITYTRANSMIT)を、ブロック504で決定する。一部の実施形態では、特定のメタデータ・タイプに特定の優先レベルを割り当てることができる。従って、ブロック504での優先度の決定は、フレームヘッダで規定されているメタデータ・タイプに基づく場合がある。ブロック504で決定された優先度は、ブロック508において比較される。伝送されるべき新しいメタデータ構造の優先度が、ビデオデータ・ストリームに埋め込まれている既存のメタデータ構造の優先度よりも低い場合、方法500は、ブロック502に進んで、ビデオデータ・ストリームに埋め込まれている次のメタデータ構造を取り出す。ビデオデータ・ストリームにおいて、伝送されるべき新しいメタデータ構造よりも優先度の低い既存のメタデータ構造を見つけるまで(または、ビデオデータ・ストリームの中のメタデータ・バンド幅が利用可能になるまで)、ブロック502〜508の手順を繰り返すことができる。
ブロック508において、伝送されるべき新しいメタデータ構造の優先度が、ビデオデータ・ストリームに埋め込まれている既存のメタデータ構造の優先度よりも高い場合、方法500は、ブロック510で、ビデオデータ・ストリームから既存のメタデータ515を抽出して、その既存のメタデータ515を後の伝送のために保存することにより、既存のメタデータ構造の伝送を中断させる。これまでメタデータ515が入っていたビデオデータの保護ビットまたはLSBは、ブロック512で、伝送されるべき新しいメタデータ構造で上書きされる。
これまでメタデータ515が入っていたビデオデータの保護ビットまたはLSBを新しいメタデータで上書き(ブロック512を参照)した後に、伝送する必要のある新しいメタデータが残っており(ブロック514を参照)、かつ、そのような伝送のために利用可能なメタデータ・バンド幅が限られている場合、方法500は、続いて、ビデオデータ・ストリームに埋め込まれている次の既存のメタデータ構造を取り出して(ブロック502)、その優先度を、新しいメタデータの優先度と比較することができる(ブロック504)。残りの伝送されるべき新しいメタデータの優先度のほうが高い場合には、ブロック510および512で、上述のように既存のメタデータ構造の伝送を中断させて、新しいメタデータの伝送を優先させることができる。
伝送すべき新しいメタデータが、もうそれ以上ない場合(ブロック514)には、既存のメタデータ515の伝送を再開することができる。これは、ブロック516で、ビデオデータ・ストリームの中の保護ビットまたはLSBにメタデータ515を再書き込みすることによって、達成することができる。
状況によっては、メタデータは、そのメタデータがビデオフレームの処理または表示の際に適用されるべきそのビデオフレームの範囲内に、同時期で埋め込まれて、配信される。他の状況では、特定のビデオフレームに適用されるべきメタデータは、1フレーム以上前のビデオフレームのビデオデータと共に伝送されることができる。メタデータは、そのメタデータが適用されるべき特定のビデオフレームよりも前に、ビデオデコーダ、プロセッサ、または他の下流の装置に伝送されて、これにより受信されることができる。メタデータ・ペイロードを伝送するメタデータ・パケット(複数の場合もある)は、メタデータの処理および適用を円滑にするため、メタデータがいつ適用されるべきかを示すタイムスタンプを含んでいることがある。一部の実施形態では、タイムスタンプは、メタデータを受信した後の特定の数のビデオフレームの時点でメタデータが適用されるべきであることを示すフレーム遅延によって規定することができる。他の実施形態では、タイムスタンプは、時間遅延、フレームシーケンス番号、ビデオの開始からの相対時間などによって規定することができる。
一部の実施形態では、メタデータは、シーン遷移の間またはシーン内に挿入された黒フレームのピクセルデータの中に保持することができる。表示側(図3のブロック210)では、黒フレームの中のメタデータが抽出および/または適用されている間のシーンの表示の中断を避けるため、ディスプレイにより、黒フレームの前のビデオフレームの再生を繰り返すことができる。黒フレームのピクセルデータにメタデータを書き込む前に、後に続くメタデータ225が黒フレームに書き込まれていることを下流の装置に示すための第1のメタデータ・パケットを、ビデオデータ・ストリームの中に(例えば、保護ビットに書き込む、または、それぞれのクロミナンスチャネルのLSBに書き込む)デフォルトの方法で伝送することができる。一部の実施形態では、メタデータを含む黒フレームは、ディスプレイによって再生されることがある。他の実施形態では、メタデータを含む黒フレームは、ディスプレイによって再生されないことがある(つまり、黒フレームの表示がスキップされる)。黒フレームからメタデータを抽出および/または適用している間、ディスプレイによって、黒フレームの前のビデオフレームの再生が繰り返されることがある。
図7は、メタデータが処理および適用される時点に先立って、ビデオ配信パイプラインを通して伝送され、下流の装置(例えば、ビデオプロセッサ、デコーダ、および/またはディスプレイ)により受信されるメタデータ225を示している。メタデータ225は、6つのメタデータ・ペイロードを含み、その各々がビデオフレーム(すなわち、ビデオフレーム#3〜#9のいずれか)と関連付けられている。図7に示すように、ビデオフレーム#3に関連付けられたメタデータ・ペイロードが、下流の装置に伝送されている間に、下流の装置は、ビデオフレーム#1および#2を処理している。ビデオフレーム#3に関連付けられたメタデータ・ペイロードのタイムスタンプは、このメタデータ・ペイロードが、メタデータ・ペイロードを受信してから3フレーム後に適用されるべきであることを示すことができる。
あるシーンのためのすべてのメタデータの配信を、そのようなメタデータが、下流の装置によるメタデータの適用(例えば、そのシーン用のビデオデータ処理および/または表示設定のために、メタデータを適用することができる)に先立って、下流の装置で使用可能となるようにすることが、タイムスタンプを用いることによって容易となり得る。メタデータは、シーン遷移の間のビデオデータに埋め込むことができる(例えば、メタデータは、シーンの合間に挿入される黒フレームと共に配信されることがある)。メタデータは、(例えば、図5Bを参照して本明細書で記載した方法を用いて)輝度値がゼロとなるフレームまたはフレームの領域の中のクロミナンスデータに埋め込むことができる。ブロック206(図3)において非圧縮ビデオデータが配信される実施形態では、エンコーダ・ステージ207Aのエンコーダと、ブロック208のビデオプロセッサ/デコーダとの間で(図3A)、ビデオデータの中のメタデータの配信を管理するために、タイムスタンプを用いることができる。
図9は、本明細書に記載の方法の1つ以上を実行するように構成することができる、一実施形態によるシステム600を示している。システム600の構成要素は、ソフトウェア、ハードウェア、および/またはそれらの組み合わせとして実現することができる。システム600は、ビデオキャプチャ・サブシステム602と、ポストプロダクション・サブシステム603と、表示サブシステム604とを含んでいる。ビデオデータ203のストリームは、ビデオキャプチャ・サブシステム602によって生成され、処理と編集のため、ポストプロダクション・サブシステム603に送られる。ビデオデータ203を編集する過程で、ビデオは、ポストプロダクション・サブシステム603のリファレンス・ディスプレイ111に表示させて見ることができる。編集されたビデオデータ203は、さらなる処理と表示のため、(エンコーダ207Aとデコーダ207Bにより、配信媒体205を介して)表示サブシステム604に送られる。サブシステム602、603、604の各々(およびエンコーダ207A)は、ビデオデータ203の中にメタデータ225を符号化するように構成することができる。下流のサブシステムは、上流の装置からビデオデータ203を受信して、その中に埋め込まれているメタデータ225を復号化するように構成することができる。メタデータ225は、下流のサブシステム(例えば、サブシステム603および604)によって、ビデオデータ203の処理および/または表示をガイドするために用いることができる。メタデータ225は、表示サブシステム604によって、表示サブシステム604のディスプレイ618におけるビデオ再生を制御および/またはガイドするために、表示特性評価パラメータ620と共に用いることができる。
図9に示すように、サブシステム602、603、604は、それぞれプロセッサ606、608、616を備えることができ、さらに、それぞれのプロセッサがアクセス可能なプログラムメモリ607、609、617を備えることができる。各プロセッサとして、中央処理装置(CPU)、1つまたは複数のマイクロプロセッサ、1つまたは複数のフィールドプログラマブル・ゲートアレイ(FPGA)、またはそれらの任意の組合せ、または本明細書に記載のように機能することが可能なハードウェアおよび/またはソフトウェアを備える他の適当な処理装置(複数の場合もある)、を含むことができる。それぞれのサブシステムにおいて、プロセッサは、プログラムメモリに格納されているソフトウェアによって提供される命令を実行する。ソフトウェアは、本明細書に記載のメタデータの生成、符号化、復号化、および処理の手順を実行するための、例えば以下のようなルーチンを含むことができる。
・ メタデータ225を生成するか、またはメタデータ225のためのパラメータを受信するルーチン(例えば、そのようなパラメータは、ポストプロダクション・ステージで、カラータイマまたはカラーグレーダにより設定することができる。メタデータ225は、図3を参照して本明細書で記載したような幾つかのパラメータを規定することができる);
・ 上流の装置から受信したビデオデータ203から、メタデータ225を復号化するルーチン;
・ ビデオデータの処理および/または表示をガイドするために、メタデータ225を処理および適用するルーチン;
・ ビデオデータが下流の装置に伝達される前に、そのビデオデータ203の中にメタデータ225を符号化するルーチン;
・ より低い優先度のメタデータ225の配信を中断して、より高い優先度のメタデータ225をビデオデータ・ストリームの中に配信することを可能にするルーチン;
・ 画像および/またはビデオデータ203に基づいて、メタデータ225を符号化する方法を選択するルーチン(例えば、メタデータ225を符号化する方法は、画質への悪影響を最小限とするように選択することができる);
・ 輝度値がゼロまたは閾値未満であるビデオフレーム、ビデオフレームの領域、またはピクセルのクロミナンス部分への、メタデータ225のバーストでの符号化を管理するルーチン;
・ および/または類するもの。
システム600は、サブシステム602、603、604がアクセス可能なリポジトリ610を備えることができる。リポジトリ610は、(例えば、メタデータのエンコーダとデコーダに対し、メタデータの生成および/または読み取りの方法についての情報を与える)メタデータ定義612のライブラリと、予約ビデオ語614(例えば、保護されたピクセル値)のリストとを含むことができる。メタデータ定義612のライブラリは、サブシステム602、603、604によって、メタデータを生成、符号化、および/または処理する際にアクセスすることができる。メタデータ225の符号化または復号化の際には、予約ビデオ語614を、上記のように、保護ビットに先行するビデオデータ・ビットと比較することで、保護ビットは、予約ビデオ語の伝達を防ぐためのガードとして処理されるものであるかどうかを特定することができる。
図9に示す実施形態では共有リポジトリ610を提示しているが、他の実施形態では、サブシステム602、603、604の各々に、そのサブシステムがアクセス可能な記憶媒体に格納されたローカル・リポジトリ610が組み込まれていてもよい。
図11Aは、一例の実施形態により、ビデオデータのストリームの中にメタデータを符号化するために用いることができるサブシステム280を示している。サブシステム280は、例えば図4Aに示す方法300、または本明細書に記載の他の方法を用いて、後の(upcoming)シーンまたは別の一連のフレームに関するメタデータ225を符号化するために使用することができる。サブシステム280は、ビデオデータのソースから入力ビデオデータ203を受信することができる。一部の実施形態では、サブシステム280は、バッファまたは他の記憶媒体から入力ビデオデータ203を取り出すことができる。他の実施形態では、サブシステム280は、ビデオ信号入力からストリーミング・ビデオデータ203を受信することができる。ビデオデータ203は、衛星、ケーブル、または高解像度ネットワークを介したテレビ放送、IPまたは無線ネットワークを介したストリーミング・マルチメディア、またはDVDもしくは他の記憶媒体の読み取りなど、ビデオコンテンツ配信のタイプに適した形式で提供されることができる。
入力ビデオデータ203は、上流の装置によりビデオデータに追加された埋め込みメタデータを含んでいることがある。一部の実施形態では、入力ビデオデータ203は、保護ビットを含むことができる。入力ビデオデータ203は、輝度およびクロミナンスの情報を含むことができる。具体的な実施形態では、ビデオデータ203は、デコーダ282によって復号化される。デコーダ282は、ビデオ信号の中の輝度成分とクロミナンス成分を分離することができる。
後のシーンまたはフレームシーケンスのビデオデータ203は、ソフトウェアおよび/またはハードウェアによって実現される1つまたは複数のデータバッファ283に押し込まれることができる。ビデオデータ203を受信しながら、ビデオデータ203の1つ以上のフレーム(または、ビデオデータ203の他の部分)を、バッファ283に次々と押し込むことができる。一部の実施形態では、保護ビットリーダ284は、予約メタデータ語(例えば、メタデータ・ペイロードの終わり、など)が検出されるまで、バッファ283に入ったビデオデータ203の保護ビットを(ガードを含む保護ビットはスキップして)監視することにより、ビデオデータ・ストリームの中のどこでメタデータの挿入を開始すべきか判断する。新しいメタデータ225は、そのような予約メタデータ語の後のビデオデータの中に書き込むことができる。他の実施形態では、保護ビットリーダ284は、ビデオストリームへのメタデータの符号化をサブシステム280が開始することができるビデオデータ・ストリーム203での位置を示す信号を受信するか、またはメタデータ・パケットから読み取ることができる。
メタデータの符号化を開始するために、保護ビットリーダ284は、バッファ283に記憶されているビデオデータ203にアクセスして、それぞれの保護ビットについて順に検討する。検討する保護ビットの各々について、保護ビットリーダ284は、その保護ビットに先行するビデオビットを、予約語記憶285からアクセスされる複数の予約ビデオ語(例えば、予約ピクセル値)の各々と比較することができる。そのような比較に基づいて、保護ビットリーダ284は、その保護ビットが予約ビデオ語の伝達を防ぐためのガードとして機能しているものであるかどうか、または、その保護ビットがメタデータを入れることができるものであるかどうか識別することができる。
保護ビットはメタデータを入れることができるものであると、保護ビットリーダ284が判断した場合、保護ビットリーダ284は、(例えば、図4Aのブロック308に関して説明したように)メタデータ225(または、他のデータ)を保護ビットに書き込んでもよいことを伝える信号287を、データライタ286に送ることができる。保護ビットリーダ284は、特定のシーンまたは一連のフレームためのメタデータ225がすべてビデオデータ203の中に書き込まれるまで、バッファ283のビデオデータ203へのアクセスと読み取りを続けることができる。
データライタ286により信号287が受信されると、データライタ286は、後のシーンに関するメタデータ225の次のビットを取得する。メタデータ225のこのビットを、データライタ286は、メタデータの伝送に適していると保護ビットリーダ284により判断された保護ビットに書き込む。データライタ286は、メタデータが入っている記憶装置またはバッファから、メタデータ225を取り出すことができる。バッファ283の中のビデオデータ203の利用可能な保護ビットのすべてにデータライタ286によってメタデータ225が書き込まれたら、サブシステム280は、メタデータ225が挿入されたビデオデータ203を出力する(例えば、ビデオデータ203はバッファ283から押し出される場合があり、そしてビデオデータ203の新しい受信フレームがバッファ283に押し込まれて、バッファ283の中のビデオデータ203のこの新しいフレームにメタデータ225を書き込むことができる)。出力ビデオデータ203は、処理および/またはビデオ再生のため、表示サブシステムなどの下流の装置に伝送されることができる。
保護ビットが(ガードを含むものであるとして)メタデータの伝送に適していないと、保護ビットリーダ284により特定された場合、保護ビットリーダ284は、データライタ286に信号288を伝達して、これにより、データライタ286に、(例えば、図4Aのブロック310を参照して説明したように)ガードを保護ビットに挿入させることができる。他の実施形態では、信号288により、または信号287の表明がないことによって、データライタ286に、保護ビットをスキップさせることができる。このように、データライタ286は、この保護ビットにはメタデータ225の書き込みを行わない。
図11Bは、一例の実施形態により、ビデオデータのストリームからメタデータを復号化するために用いることができるサブシステム290を示している。サブシステム290は、例えば図4Bの方法330など、本明細書に記載の方法のいずれかを用いて、後のシーンのためのメタデータ225を抽出するために使用することができる。サブシステム290は、いくつかの点でサブシステム280に類似している。例えば、(サブシステム280が入力ビデオデータ203を受信して、復号化するのと同様にして)サブシステム290は、入力ビデオデータ203を受信し、デコーダ292で入力ビデオデータ203を復号化することができる。入力ビデオデータ203は、バッファ293に入れることができる。保護ビットリーダ294は、バッファ293に記憶されているビデオデータ203にアクセスして、それぞれの保護ビットについて順に検討する。検討する保護ビットの各々について、保護ビットリーダ294は、その保護ビットに先行するビデオビットを、予約語記憶295からアクセスされる複数の予約ビデオ語(例えば、予約ピクセル値)の各々と比較することができる。そのような比較に基づいて、保護ビットリーダ294は、その保護ビットが予約ビデオ語の伝達を防ぐためのガードとして機能しているものであるかどうか、または、その保護ビットがメタデータを含み得るものであるかどうか識別することができる。
保護ビットはメタデータを含み得るものであると保護ビットリーダ294により判断された場合、保護ビットリーダ294は、メタデータリーダ296に信号297を送り、これにより、メタデータリーダ296に、(例えば、図4Bのブロック338で実行されるように)保護ビットを読み取らせることができる。保護ビットから読み取られたメタデータ225は、後に取り出して適用するために、メタデータ記憶296に保存することができる。
保護ビットはガードが入ったものであると保護ビットリーダ294により判断される場合、保護ビットリーダ294は、一部の実施形態では、メタデータリーダ296に信号298を送り、これにより、メタデータリーダ296に、保護ビットの読み取りをスキップさせることができる。他の実施形態では、メタデータリーダ296は、信号297を受信した場合にのみ保護ビットからメタデータを読み取り、一方、信号297の表明がないことによって、保護ビットはメタデータリーダ296によりスキップされる。
一部の実施形態では、保護ビットリーダ284、294は、ビデオデータで符号化または復号化を開始すべき場所を見つけるための、受信ビデオストリームにおける保護ビットの監視を行う必要がない場合がある。ビデオデータにメタデータを書き込むときに、ビデオデータにおいて既存のメタデータを探すべき場所(例えば、特定のビデオフレームの中、またはビデオフレームの中の特定のピクセルで始まること、または特定の画像領域の中、など)を下流の装置に対して示すメタデータ・パケットを、メタデータライタにより生成して、ビデオデータ・ストリームの中に挿入することができる。このメタデータ・パケットは、サブシステム280によって、ビデオデータへの追加メタデータの書き込みをガイドするために用いることができ、また、サブシステム290によって、ビデオデータからのメタデータの抽出をガイドするために用いることができる。このメタデータ・パケットは、ビデオ配信パイプラインを通したメタデータの配信を同期させるために役立つことがある。このメタデータ・パケットは、さらに、メタデータが抽出されたピクセルの表示に用いられるべきピクセル値を、下流の装置に示すこともできる。これによって、色相が不変の画像領域の中にメタデータを符号化することが可能となる。
他の実施形態では、ビデオデータへのメタデータの書き込みを他の何らかの方法により行うように、サブシステム280およびサブシステム290を適応させるか、または再構成することができる。例えば、ビデオデータのクロミナンス部分のLSBをビデオデータの伝送に用いる実施形態では、サブシステム280の保護ビットリーダ284とデータライタ286の代わりに、最下位ビットライタを設けることができる。同様に、サブシステム290の保護ビットリーダ294とメタデータリーダ296の代わりに、最下位ビットリーダを設けることができる。最下位ビットライタは、バッファ283のビデオデータ203にアクセスして、ビデオデータのクロミナンス部分のLSBにメタデータを書き込むことができる。最下位ビットリーダは、バッファ293のビデオデータ203にアクセスして、ビデオデータのクロミナンス部分のLSBからメタデータを読み取ることができる。最下位ビットライタは、(例えば、6b/8b符号化、または8b/10b符号化などを用いること、あるいは、連続する同じビットの固定パターンとして予約語を定義すること、などにより)予約メタデータ語の意図しない伝達を回避するような方法で、メタデータを符号化することができる。
保護ビットリーダ284、294(および、最下位ビットリーダまたはライタ)は、データプロセッサ、CPU、マイクロプロセッサ、FPGA、またはそれらの任意の組み合わせにより実現することができ、あるいは、ビデオデータを読み取って輝度レベルを決定し、それらの輝度レベルを閾値と比較することが可能な他の適当な処理装置により実現することができる。データライタ286およびメタデータリーダ296は、データプロセッサ、CPU、マイクロプロセッサ、FPGA、またはそれらの任意の組み合わせにより実現することができ、あるいは、ビデオデータ・ソースからのビデオデータ203にアクセスし、ビデオデータ203のビットの書き込みまたは読み取りを行うことが可能な他の適当な処理装置により実現することができる。
上記で構成要素(例えば、プロセッサ、デコーダ、エンコーダ、装置、ディスプレイ、など)に言及している場合には、特に指定のない限り、その構成要素への言及は(“手段”と呼ぶことも含めて)、その構成要素の均等物として、記載の構成要素の機能を実行する(すなわち、機能的に等価である)あらゆる構成要素を含むものと解釈されるべきであり、本発明の図示した例示的実施形態での機能を実行する構成要素であって、開示の構造と構造的に等価ではないものを含んでいる。
具体的な実施形態は、プログラム・プロダクトの形態で提供することができる。プログラム・プロダクトは、データプロセッサによって実行されることで本発明の方法をデータプロセッサに実行させる命令を含むコンピュータ可読信号のセットを保持した媒体を含むものとすることができる。本発明に係るプログラム・プロダクトは、多種多様な形態のいずれかとすることができる。プログラム・プロダクトは、例えば、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、CD‐ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAM含む電子データ記憶媒体、などの物理媒体を含むことができる。プログラム・プロダクトのコンピュータ可読信号は、任意選択的に、圧縮または暗号化されたものとすることができる。
いくつかの例示的な態様および実施形態について上記説明を行ったが、当業者であれば、これらについての、いくらかの変更、置換、追加、および部分的組み合わせに気付くであろう。例えば、
・ 一部の実施形態では、保護ビットまたはLSBではないビットにメタデータを埋め込むことにより、メタデータをビデオデータ・ストリームの中に保持することができる。例えば、メタデータは、一部の実施形態において、最上位ビット(MSB:MostSignificant Bit)に埋め込むことができる。これは、既存のビデオデータを右に1ビットだけシフトさせて、MSBにメタデータを入れることにより、実現することができる。
・ 本明細書に記載の実施形態の例では、ビデオ配信パイプラインにおいて有用なシステム、装置、および方法を提供している。このようなシステム、装置、および方法は、他のタイプのデータの配信に有用なものとすることもできる。
・ 実施形態の例では、メタデータが、ビデオ配信パイプラインを通して、ビデオデータの中に書き込まれて、ビデオデータと共に伝送される。他の実施形態では、他の種類のデータが、ビデオ配信パイプラインを通して、ビデオデータの中に書き込まれて、ビデオデータと共に伝送されることができる。
・ 本明細書に記載の実施形態によりビデオデータに書き込まれるメタデータは、ビデオ・アーカイバ、レコーダなど、他の装置の設定、制御、および/または動作をガイドするのに有用なものとすることができる。
従って、以下の添付の請求項および今後導入される請求項は、それらの真の精神および範囲から逸脱しない、あらゆる変更、置換、追加、および部分的組み合わせを含むと解釈されるものである。
よって、本発明は、適宜、本明細書に記載の、現存する、さらに/または後に開発される任意の要素(本発明の様々な部分または特徴、およびそれらの均等物)を備え、それらにより構成され、それらにより基本的に構成されることができる。また、本明細書において例示的に開示された本発明は、本明細書において具体的に開示されているかどうかにかかわらず、いずれかの要素を省いて実施することができる。言うまでもなく、上記の教示に照らして、本発明の多くの変更および変形が可能である。従って、当然のことながら、本発明は、添付の請求項の範囲内で、本明細書に具体的に記載しているのとは別の方法で実施することができる。
よって、本発明は、本明細書に記載の形態のいずれかで実施することができ、それには、限定するものではないが、本発明のいくつかの部分の構造、特徴、および機能を記載した以下の例示列挙実施形態(EEE:EnumeratedExample Embodiment)が含まれる。
EEE1.表示サブシステムにビデオデータを提供する方法であって、
(a) ビデオデータを提供するため、一連のビデオフレームを取り込むこと、
(b) ビデオデータによって提供される画像を、リファレンス・ディスプレイ上で編集すること、
(c) リファレンス・ディスプレイの設定パラメータと、編集された画像の特性と、を特定するメタデータを生成すること、
(d) ビデオデータにメタデータを埋め込むこと、
(e) メタデータが埋め込まれたビデオデータを表示サブシステムに配信すること、
(f) 表示サブシステムにおいてメタデータを抽出すること、
(g) メタデータに少なくとも部分的に基づいて、表示サブシステムを設定すること、またはビデオデータを表示サブシステム用に処理すること、を含む方法。
EEE2 ビデオデータにメタデータを埋め込むことは、ビデオデータの中の複数の保護ビットに上書きすることを含む、請求項1に記載の方法。
EEE3 ビデオデータにメタデータを埋め込むことは、
(a) 配信されるべきメタデータ・パケットからメタデータのビットを取得すること、
(b) ビデオデータの中で、第1の保護ビットを見つけること、
(c) 第1の保護ビットに先行する複数のビデオビットを、予約ビデオ語を示す第1の語と比較すること、
(d) 第1の保護ビットに先行する複数のビデオビットが第1の語と異なる場合は、第1の保護ビットにメタデータのビットを書き込むこと、を含む、請求項2に記載の方法。
EEE4 ビデオデータにメタデータを埋め込むことは、第1の保護ビットに先行する複数のビデオビットが第1の語と一致する場合に、第1の保護ビットにガードを設定することを含む、請求項3に記載の方法。
EEE5 第1の保護ビットにガードが設定されている場合に、ビデオデータにメタデータを埋め込むことは、
(a) 第1の保護ビットの後に続くビデオデータの中で、第2の保護ビットを見つけること、
(b) 第2の保護ビットに先行する複数のビデオビットを、第1の語と比較すること、
(c) 第2の保護ビットに先行する複数のビデオビットが第1の語と異なる場合は、第2の保護ビットにメタデータのビットを書き込むこと、を含む、請求項4に記載の方法。
EEE6 メタデータを抽出することは、
(a) ビデオデータの中で、第1の保護ビットを見つけること、
(b) 第1の保護ビットに先行する複数のビデオビットを、第1の語と比較することにより、第1の保護ビットにガードが入っているかどうか判断すること、
(c) 第1の保護ビットにガードは入っていないと判断される場合に、第1の保護ビットを取り出すこと、を含む、請求項5に記載の方法。
EEE7 第1の保護ビットにガードが入っていると判断される場合に、メタデータを抽出することは、
(a) ビデオデータの中で、第2の保護ビットを見つけること、
(b) 第2の保護ビットに先行する複数のビデオビットを、第1の語と比較することにより、第2の保護ビットにガードが入っているかどうか判断すること、
(c) 第2の保護ビットにガードは入っていないと判断される場合に、第2の保護ビットを取り出すこと、を含む、請求項6に記載の方法。
EEE8 ビデオデータにメタデータを埋め込むことは、ビデオデータのクロミナンスチャネルの複数の最下位ビット(LSB)に上書きすることを含む、請求項1に記載の方法。
EEE9 ビデオデータにメタデータを埋め込むことは、
(a) 配信されるべきメタデータ・パケットからメタデータのビットを取得すること、
(b) ビデオデータの中で、クロミナンスチャネルの第1のLSBを見つけること、
(d) 第1のLSBにメタデータのビットを書き込むこと、を含む、請求項8に記載の方法。
EEE10 ビデオデータにメタデータを埋め込むことは、輝度値が閾値未満であるピクセルのビデオデータの複数のクロミナンスビットに上書きすることを含む、請求項1に記載の方法。
EEEl1 ビデオデータにメタデータを埋め込むことは、
(a) ビデオデータの中で、1つまたは複数の黒フレームを識別すること、
(b) 1つまたは複数の黒フレームの中のピクセルの複数のクロミナンスビットを、メタデータで上書きすること、を含む、請求項1に記載の方法。
EEE12 ビデオデータにメタデータを埋め込むことは、
(a) ビデオデータの中で、1つまたは複数の黒画像領域を識別すること、
(b) 1つまたは複数の黒画像領域の中のピクセルの複数のクロミナンスビットを、メタデータで上書きすること、を含む、請求項1に記載の方法。
EEE13 ビデオデータにメタデータを埋め込むことは、
(a) 2つのビデオデータ・フレームの間に、ビデオデータの黒フレームを挿入すること、
(b) その黒フレームのピクセルデータにメタデータを埋め込むこと、を含む、請求項1に記載の方法。
EEE14 表示サブシステムにおいて、黒フレームのピクセルデータの中のメタデータが抽出される間に、表示サブシステムにより、ビデオデータの黒フレームの前のビデオフレームの再生を繰り返すことを含む、請求項13に記載の方法。
EEE15 メタデータが埋め込まれたビデオデータを表示サブシステムに配信することは、
(a) ビデオデータで伝送されるべき新しいメタデータを受信すること、
(b) 新しいメタデータの優先レベルを特定すること、
(c) 埋め込まれているメタデータの優先レベルを特定すること、
(d) 新しいメタデータの優先レベルを、埋め込まれているメタデータの優先レベルと比較すること、
(e) 埋め込まれているメタデータの優先レベルが、新しいメタデータの優先レベルよりも低い場合は、埋め込まれているメタデータの配信を中断させて、新しいメタデータをビデオデータに書き込むこと、を含む、請求項1に記載の方法。
EEE16 埋め込まれているメタデータの配信を中断することは、
(a) 埋め込まれているメタデータをビデオデータから抽出すること、
(b) 抽出したメタデータを保存すること、を含む、請求項15に記載の方法。
EEE17 新しいメタデータのすべてがビデオデータに書き込まれた後に、上記抽出したメタデータをビデオストリームに再書き込みすることにより、抽出したメタデータの伝送を再開することを含む、請求項16に記載の方法。
EEE18 ビデオデータを配信することは、埋め込みメタデータを有するビデオデータを、その埋め込みメタデータが適用されるべきビデオフレームに先立って配信することを含む、請求項1に記載の方法。
EEE19 メタデータは、その埋め込みメタデータが適用されるべき時を特定するタイムスタンプを含んでいる、請求項18に記載の方法。
EEE20 ビデオデータを配信することは、DVD、ブルーレイ、衛星、ケーブル、またはインターネットのいずれかの伝送媒体による配信を含む、請求項1ないし19のいずれか1つに記載の方法。
EEE21 メタデータは、以下の形式のいずれかで符号化される、請求項1ないし20のいずれか1つに記載の方法。
(a) 6b/8b符号化、
(b) 8b/10b符号化。
EEE22 メタデータにおいてフレーム開始ヘッダは、連続する同じビットの第1の固定パターンで表され、メタデータにおいてフレーム終了ヘッダは、連続する同じビットの第2の固定パターンで表されるように、メタデータは符号化される、請求項1ないし21のいずれか1つに記載の方法。
EEE23 (a) ビデオデータを生成するための、ビデオキャプチャ・サブシステムと、
(b) リファレンス・ディスプレイを有し、さらに、ビデオキャプチャ・サブシステムにより生成されるビデオデータを受信して編集し、そのビデオデータをリファレンス・ディスプレイに表示するように構成されたプロセッサを有する、ポストプロダクション・サブシステムと、
(c) ディスプレイを有し、さらに、ポストプロダクション・サブシステムにより編集されたビデオデータを受信して、そのビデオデータをディスプレイに表示するように構成されたビデオプロセッサを有する、表示サブシステムと、を備えるシステムであって、
ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、表示サブシステムのうちの少なくとも1つは、後のビデオデータの処理または表示をガイドするため、ビデオデータの中にメタデータを符号化するように構成されている。
EEE24 ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、および表示サブシステムは、ビデオデータの複数の保護ビットにメタデータを埋め込むことにより、ビデオデータの中にメタデータを符号化するように構成されている、請求項23に記載のシステム。
EEE25 ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、および表示サブシステムは、ビデオデータの複数の最下位ビットにメタデータを埋め込むことにより、ビデオデータの中にメタデータを符号化するように構成されている、請求項23に記載のシステム。
EEE26 ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、および表示サブシステムは、ビデオデータのクロミナンスデータをメタデータで上書きすることにより、ビデオデータの中にメタデータを符号化するように構成されている、請求項23に記載のシステム。
EEE27 1つまたは複数のリポジトリを備え、各リポジトリには予約ビデオ語のリストが保存されており、ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、および表示サブシステムの各々は、ビデオデータの中で利用可能な次の保護ビットを見つけて、リポジトリの1つから予約ビデオ語のリストを取得し、そして、利用可能な次の保護ビットにガードを挿入すべきかどうか判断するため、予約ビデオ語をビデオデータと比較するように構成されている、請求項24に記載のシステム。
EEE28 ポストプロダクション・サブシステムのプロセッサは、
リファレンス・ディスプレイの設定パラメータと、
ビデオデータにより提供される画像の輝度と色域の特性、のうち少なくとも1つを特定するメタデータをビデオデータの中に符号化するように構成されている、請求項23ないし27のいずれか1つに記載のシステム。
EEE29 表示サブシステムのビデオプロセッサは、ビデオデータの中のメタデータを復号化して、表示サブシステムのディスプレイの設定のため、または表示サブシステムのディスプレイの特性向けにビデオデータを調整する処理のために、復号化したメタデータを適用するように構成されている、請求項28に記載のシステム。
EEE30 表示サブシステムのビデオプロセッサは、表示サブシステムのディスプレイの特性向けにビデオデータを調整する処理のために、表示サブシステムのディスプレイの拡張ディスプレイ識別データを読み取るように構成されている、請求項28に記載のシステム。
EEE31 ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、および表示サブシステムは、
ビデオデータに少なくとも部分的に基づいて、メタデータを符号化する方法を選択し、
選択された方法を適用することで、後のビデオデータの処理または表示をガイドするためのメタデータをビデオデータの中に符号化するように構成されている、請求項23ないし30のいずれか1つに記載のシステム。
EEE32 ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、および表示サブシステムは、相対的に優先度の高いメタデータの配信を優先させて、相対的に優先度の低いメタデータの配信を中断させることが可能となるように、ビデオデータでのメタデータの配信を管理するように構成されている、請求項23ないし31のいずれか1つに記載のシステム。
EEE33 表示サブシステムは、DVD、ブルーレイ、衛星、ケーブル、またはインターネットのうち少なくとも1つの伝送媒体を介して、ビデオデータを受信するように構成されている、請求項23ないし32のいずれか1つに記載のシステム。
EEE34 ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、および表示サブシステムは、以下の形式のいずれかでメタデータを符号化するように構成されている、請求項23ないし33のいずれか1つに記載のシステム。
(a) 6b/8b符号化、
(b) 8b/10b符号化。
EEE35 ビデオキャプチャ・サブシステム、ポストプロダクション・サブシステム、および表示サブシステムは、メタデータにおいてフレーム開始ヘッダが、連続する同じビットの第1の固定パターンで表され、メタデータにおいてフレーム終了ヘッダが、連続する同じビットの第2の固定パターンで表されるように、メタデータを符号化するように構成されている、請求項23ないし34のいずれか1つに記載のシステム。
EEE36 ビデオデータの中にメタデータを符号化する方法であって、
(a) ビデオデータの中に保持されるべきメタデータのビットを取得すること、
(b) ビデオデータの中で、第1の保護ビットを見つけること、
(c) 第1の保護ビットに隣接する複数のビデオビットを、予約ビデオ語を示す第1の語と比較すること、
(d) それら複数のビデオビットが第1の語と異なる場合は、第1の保護ビットにメタデータのビットを書き込むこと、を含む方法。
EEE37 ビデオデータの中にメタデータを符号化することは、第1の保護ビットに隣接する複数のビデオビットが第1の語と一致する場合に、第1の保護ビットにガードを設定することを含む、請求項36に記載の方法。
EEE38 第1の保護ビットにガードが設定されている場合に、ビデオデータの中にメタデータを符号化することは、
(a) 第1の保護ビットの後に続くビデオデータの中で、第2の保護ビットを見つけること、
(b) 第2の保護ビットに隣接する複数のビデオビットを、第1の語と比較すること、
(e) 第2の保護ビットに隣接する複数のビデオビットが第1の語と異なる場合は、第2の保護ビットにメタデータのビットを書き込むこと、を含む、請求項37に記載の方法。
EEE39 メタデータを符号化することは、以下の形式のいずれかでメタデータを符号化することを含む、請求項36ないし38のいずれか1つに記載の方法。
(a) 6b/8b符号化、
(b) 8b/10b符号化。
EEE40 メタデータにおいてフレーム開始ヘッダは、連続する同じビットの第1の固定パターンで表され、メタデータにおいてフレーム終了ヘッダは、連続する同じビットの第2の固定パターンで表されるように、メタデータは符号化される、請求項36ないし39のいずれか1つに記載の方法。
EEE41 ビデオデータからメタデータを抽出する方法であって、
(a) ビデオデータの中で、第1の保護ビットを見つけること、
(b) 第1の保護ビットに隣接する複数のビデオビットを、1つまたは複数の予約ビデオ語と比較することにより、第1の保護ビットにガードが入っているかどうか判断すること、
(c) 第1の保護ビットにガードは入っていないと判断される場合に、第1の保護ビットを取り出すこと、を含む方法。
EEE42 第1の保護ビットにガードが入っていると判断される場合に、メタデータを抽出することは、
(a) 第1の保護ビットの後に続くビデオデータの中で、第2の保護ビットを見つけること、
(b) 第2の保護ビットに隣接する複数のビデオビットを、1つまたは複数の予約ビデオ語と比較することにより、第2の保護ビットにガードが入っているかどうか判断すること、
(c) 第2の保護ビットにガードは入っていないと判断される場合に、第2の保護ビットを取り出すこと、を含む、請求項41に記載の方法。
EEE43 本明細書に記載の新規かつ発明的な動作、手順、動作および/または手順の組み合わせ、または動作および/または手順の部分的組み合わせの、いずれかを含む方法。
EEE44 本明細書に記載の新規かつ発明的な特徴、特徴の組み合わせ、または特徴の部分的組み合わせの、いずれかを含む装置。

Claims (17)

  1. 表示サブシステムにビデオデータを提供する方法であって、
    (a)一連のビデオフレームを取り込んで、ビデオデータを提供すること、
    (b)前記ビデオデータによって提供される画像を、リファレンス・ディスプレイ上で編集すること、
    (c)前記リファレンス・ディスプレイの設定パラメータと、編集された画像の特性とを特定するメタデータを生成すること、
    (d)前記ビデオデータに前記メタデータを埋め込むこと、
    (e)埋め込まれたメタデータを含む前記ビデオデータを前記表示サブシステムに配信すること、
    (f)前記表示サブシステムにおいて前記メタデータを抽出すること、
    (g)前記メタデータに少なくとも部分的に基づいて、前記表示サブシステムを設定するか、または前記ビデオデータを前記表示サブシステム用に処理すること
    を含む方法。
  2. 前記ビデオデータに前記メタデータを埋め込むことは、前記ビデオデータの中の複数の保護ビットに上書きすることを含む、請求項1に記載の方法。
  3. 前記ビデオデータに前記メタデータを埋め込むことは、
    (a)配信されるべきメタデータ・パケットからメタデータのビットを取得すること、
    (b)前記ビデオデータの中で、第1の保護ビットを見つけること、
    (c)前記第1の保護ビットに先行する複数のビデオビットを、予約ビデオ語を示す第1の語と比較すること、
    (d)前記第1の保護ビットに先行する複数のビデオビットが前記第1の語と異なる場合は、前記第1の保護ビットに前記メタデータのビットを書き込むこと
    を含む、請求項2に記載の方法。
  4. 前記ビデオデータに前記メタデータを埋め込むことは、前記第1の保護ビットに先行する複数のビデオビットが前記第1の語と一致する場合に、前記第1の保護ビットにガードを設定することを含む、請求項3に記載の方法。
  5. 前記第1の保護ビットにガードが設定されている場合に、前記ビデオデータに前記メタデータを埋め込むことは、
    (a)前記第1の保護ビットの後に続くビデオデータの中で、第2の保護ビットを見つけること、
    (b)前記第2の保護ビットに先行する複数のビデオビットを、前記第1の語と比較すること、
    (c)前記第2の保護ビットに先行する前記複数のビデオビットが前記第1の語と異なる場合は、前記第2の保護ビットに前記メタデータのビットを書き込むこと
    を含む、請求項4に記載の方法。
  6. 前記メタデータを抽出することは、
    (a)前記ビデオデータの中で、前記第1の保護ビットを見つけること、
    (b)前記第1の保護ビットに先行する前記複数のビデオビットを、前記第1の語と比較することにより、前記第1の保護ビットがガードを含んでいるか否かを判断すること、
    (c)前記第1の保護ビットがガードを含んでいないと判断された場合に、前記第1の保護ビットを抽出すること
    を含む、請求項5に記載の方法。
  7. 前記第1の保護ビットがガードを含んでいると判断された場合に、前記メタデータを抽出することは、
    (a)前記ビデオデータの中で、前記第2の保護ビットを見つけること、
    (b)前記第2の保護ビットに先行する前記複数のビデオビットを、前記第1の語と比較することにより、前記第2の保護ビットがガードを含んでいるか否かを判断すること、
    (c)前記第2の保護ビットがガードを含んでいないと判断された場合に、前記第2の保護ビットを抽出すること
    を含む、請求項6に記載の方法。
  8. 前記ビデオデータに前記メタデータを埋め込むことは、前記ビデオデータのクロミナンスチャネルの複数の最下位ビット(LSB)に上書きすることを含む、請求項1に記載の方法。
  9. 前記ビデオデータに前記メタデータを埋め込むことは、
    (a)配信されるべきメタデータ・パケットからメタデータのビットを取得すること、
    (b)前記ビデオデータの中で、クロミナンスチャネルの第1のLSBを見つけること、
    (d)前記第1のLSBに前記メタデータのビットを書き込むこと
    を含む、請求項8に記載の方法。
  10. システムであって、
    (a)ビデオデータを生成するビデオキャプチャ・サブシステムと、
    (b)リファレンス・ディスプレイと、前記ビデオキャプチャ・サブシステムにより生成される前記ビデオデータを受信して編集し、該ビデオデータを前記リファレンス・ディスプレイに表示するように構成されたプロセッサとを有するポストプロダクション・サブシステムと、
    (c)ディスプレイと、前記ポストプロダクション・サブシステムにより編集された前記ビデオデータを受信して、該ビデオデータを前記ディスプレイに表示するように構成されたビデオプロセッサとを有する表示サブシステムと
    を備え、
    前記ビデオキャプチャ・サブシステム、前記ポストプロダクション・サブシステム、および前記表示サブシステムのうちの少なくとも1つは、前記ビデオデータの後の処理または表示をガイドするため、前記ビデオデータの中にメタデータを符号化するように構成されている、システム。
  11. 前記ビデオキャプチャ・サブシステム、前記ポストプロダクション・サブシステム、および前記表示サブシステムは、前記ビデオデータの複数の保護ビットにメタデータを埋め込むことにより、前記ビデオデータの中にメタデータを符号化するように構成されている、請求項10に記載のシステム。
  12. 前記ビデオキャプチャ・サブシステム、前記ポストプロダクション・サブシステム、および前記表示サブシステムは、前記ビデオデータの複数の最下位ビットにメタデータを埋め込むことにより、前記ビデオデータの中にメタデータを符号化するように構成されている、請求項10に記載のシステム。
  13. 前記ビデオキャプチャ・サブシステム、前記ポストプロダクション・サブシステム、および前記表示サブシステムは、前記ビデオデータのクロミナンスデータをメタデータで上書きすることにより、前記ビデオデータの中にメタデータを符号化するように構成されている、請求項10に記載のシステム。
  14. 1つまたは複数のリポジトリを備え、各リポジトリは、予約ビデオ語のリストを格納しており、
    前記ビデオキャプチャ・サブシステム、前記ポストプロダクション・サブシステム、および前記表示サブシステムの各々は、前記ビデオデータの中で利用可能な次の保護ビットを見つけて、前記リポジトリの1つから前記予約ビデオ語のリストを取得し、前記予約ビデオ語を前記ビデオデータと比較して、前記利用可能な次の保護ビットにガードを挿入するか否かを判断するように構成されている、請求項11に記載のシステム。
  15. 前記ポストプロダクション・サブシステムの前記プロセッサは、
    前記リファレンス・ディスプレイの設定パラメータと、
    前記ビデオデータにより提供される画像の輝度および色域の特性と
    のうち少なくとも1つを特定するメタデータを前記ビデオデータの中に符号化するように構成されている、請求項11乃至14のいずれか1項に記載のシステム。
  16. ビデオデータからメタデータを抽出する方法であって、
    (a)前記ビデオデータの中で、第1の保護ビットを見つけること、
    (b)前記第1の保護ビットに隣接する複数のビデオビットを、1つまたは複数の予約ビデオ語と比較することにより、前記第1の保護ビットがガードを含んでいるか否かを判断すること、
    (c)前記第1の保護ビットがガードを含んでいないと判断された場合に、前記第1の保護ビットを抽出すること
    を含む方法。
  17. 前記第1の保護ビットがガードを含んでいないと判断された場合に、前記メタデータを抽出することは、
    (a)前記第1の保護ビットの後に続くビデオデータの中で、第2の保護ビットを見つけること、
    (b)前記第2の保護ビットに隣接する複数のビデオビットを、前記1つまたは複数の予約ビデオ語と比較することにより、前記第2の保護ビットがガードを含んでいるか否かを判断すること、
    (c)前記第2の保護ビットがガードを含んでいないと判断された場合に、前記第2の保護ビットを抽出すること
    を含む、請求項16に記載の方法。
JP2012554016A 2010-02-22 2011-02-17 ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 Active JP5577415B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30690010P 2010-02-22 2010-02-22
US61/306,900 2010-02-22
PCT/US2011/025185 WO2011103258A2 (en) 2010-02-22 2011-02-17 Video display control using embedded metadata

Publications (2)

Publication Number Publication Date
JP2013527996A true JP2013527996A (ja) 2013-07-04
JP5577415B2 JP5577415B2 (ja) 2014-08-20

Family

ID=43881249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012554016A Active JP5577415B2 (ja) 2010-02-22 2011-02-17 ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示

Country Status (6)

Country Link
US (2) US8891934B2 (ja)
EP (1) EP2539895B1 (ja)
JP (1) JP5577415B2 (ja)
KR (1) KR101428504B1 (ja)
CN (1) CN102893602B (ja)
WO (1) WO2011103258A2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032518A (ja) * 2010-07-29 2012-02-16 Canon Inc 画像処理装置、画像処理システム及び画像処理装置の制御方法
JP2015170904A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像処理システム
JP2015185866A (ja) * 2014-03-20 2015-10-22 富士ゼロックス株式会社 パケット生成装置及びプログラム
WO2016157839A1 (ja) * 2015-03-27 2016-10-06 パナソニックIpマネジメント株式会社 信号処理装置、録画再生装置、信号処理方法、およびプログラム
JP2017098948A (ja) * 2015-11-04 2017-06-01 ユビタス インコーポレイテッドUbitus Inc. ビデオストリームで実行される対話型アプリケーション
JP2018011337A (ja) * 2017-09-11 2018-01-18 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像処理システム
JP2018042253A (ja) * 2013-07-30 2018-03-15 ドルビー ラボラトリーズ ライセンシング コーポレイション シーン不変化されたメタデータを生成するためのシステムおよび方法
JP2018133704A (ja) * 2017-02-15 2018-08-23 株式会社日立国際電気 映像信号伝送装置

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011103075A1 (en) 2010-02-22 2011-08-25 Dolby Laboratories Licensing Corporation Video delivery and control by overwriting video data
JP5551308B2 (ja) * 2010-05-26 2014-07-16 クゥアルコム・インコーポレイテッド カメラパラメータ支援型のビデオフレームレート・アップコンバージョン
US20120008693A1 (en) * 2010-07-08 2012-01-12 Echostar Technologies L.L.C. Substituting Embedded Text for Video Text Images
WO2012012446A2 (en) 2010-07-22 2012-01-26 Dolby Laboratories Licensing Corporation System, apparatus and methods for mapping between video ranges of image data and display
JP5607831B2 (ja) * 2010-09-13 2014-10-15 ドルビー ラボラトリーズ ライセンシング コーポレイション 色域外の色座標を使用したデータ伝送
US20120092327A1 (en) * 2010-10-14 2012-04-19 Sony Corporation Overlaying graphical assets onto viewing plane of 3d glasses per metadata accompanying 3d image
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
WO2012131415A1 (en) * 2011-03-31 2012-10-04 Sony Ericsson Mobile Communications Ab System and method for rendering messaging content while contemporaneously rendering multimedia content
EP2518719B1 (en) * 2011-04-08 2016-05-18 Dolby Laboratories Licensing Corporation Image range expansion control methods and apparatus
KR20200074229A (ko) * 2011-05-27 2020-06-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
WO2013061337A2 (en) * 2011-08-29 2013-05-02 Tata Consultancy Services Limited Method and system for embedding metadata in multiplexed analog videos broadcasted through digital broadcasting medium
US9565476B2 (en) * 2011-12-02 2017-02-07 Netzyn, Inc. Video providing textual content system and method
JP6344592B2 (ja) * 2012-03-09 2018-06-20 パナソニックIpマネジメント株式会社 画像処理装置
US9218638B2 (en) * 2012-03-27 2015-12-22 Infosys Limited Method, system, and computer-readable medium for embedding and extracting a watermark in a video
US8984157B2 (en) * 2012-07-18 2015-03-17 International Business Machines Corporation Network analysis in a file transfer system
US9491494B2 (en) * 2012-09-20 2016-11-08 Google Technology Holdings LLC Distribution and use of video statistics for cloud-based video encoding
US9456055B2 (en) * 2012-11-16 2016-09-27 Sony Network Entertainment International Llc Apparatus and method for communicating media content
US20140169760A1 (en) * 2012-12-14 2014-06-19 Rembrandt 3D Corp Media Player with Recorder Optimization
US20140193083A1 (en) * 2013-01-09 2014-07-10 Nokia Corporation Method and apparatus for determining the relationship of an image to a set of images
WO2014124354A1 (en) 2013-02-08 2014-08-14 Robert Bosch Gmbh Adding user-selected mark-ups to a video stream
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
KR101724312B1 (ko) 2013-02-21 2017-04-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들
EP2773127A1 (en) * 2013-02-28 2014-09-03 Televic Rail NV System for visualizing data
US10866952B2 (en) 2013-03-04 2020-12-15 Fisher-Rosemount Systems, Inc. Source-independent queries in distributed industrial system
US9558220B2 (en) 2013-03-04 2017-01-31 Fisher-Rosemount Systems, Inc. Big data in process control systems
US10649424B2 (en) 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
US10909137B2 (en) * 2014-10-06 2021-02-02 Fisher-Rosemount Systems, Inc. Streaming data for analytics in process control systems
US10551799B2 (en) 2013-03-15 2020-02-04 Fisher-Rosemount Systems, Inc. Method and apparatus for determining the position of a mobile control device in a process plant
EP2989798B1 (en) * 2013-04-23 2018-10-03 Dolby Laboratories Licensing Corporation Transmitting display management metadata over hdmi
US20140337905A1 (en) * 2013-05-09 2014-11-13 Telefonaktiebolaget L M Ericsson (Publ) System and method for delivering extended media content
US9197926B2 (en) 2013-06-05 2015-11-24 International Business Machines Corporation Location based determination of related content
AU2014282416B2 (en) 2013-06-20 2017-11-23 Sony Corporation Reproduction device, reproduction method, and recording medium
CN105379258A (zh) * 2013-07-14 2016-03-02 Lg电子株式会社 在数字广播系统中发送和接收用于表达高质量色彩的超高清晰度广播信号的方法和设备
US20150019359A1 (en) * 2013-07-15 2015-01-15 Remi Swierczek System and method for discovery moment monetization of media
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US9906765B2 (en) 2013-10-02 2018-02-27 Dolby Laboratories Licensing Corporation Transmitting display management metadata over HDMI
CN104581839B (zh) * 2013-10-24 2018-10-16 展讯通信(上海)有限公司 一种信息传输的方法和通信设备
EP3090564A1 (en) * 2014-01-03 2016-11-09 Thomson Licensing Method and apparatus for video optimization using metadata
US20160330400A1 (en) * 2014-01-03 2016-11-10 Thomson Licensing Method, apparatus, and computer program product for optimising the upscaling to ultrahigh definition resolution when rendering video content
US10225624B2 (en) 2014-01-03 2019-03-05 Interdigital Ce Patent Holdings Method and apparatus for the generation of metadata for video optimization
WO2015130796A1 (en) * 2014-02-25 2015-09-03 Apple Inc. Adaptive video processing
US10027904B2 (en) * 2014-03-12 2018-07-17 Robert Bosch Gmbh System and method for transmitting camera-based parameters without a dedicated back channel
GB2525666B (en) 2014-05-02 2020-12-23 Advanced Risc Mach Ltd Graphics processing systems
WO2015190246A1 (ja) * 2014-06-13 2015-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10757472B2 (en) 2014-07-07 2020-08-25 Interdigital Madison Patent Holdings, Sas Enhancing video content according to metadata
CN107113470B (zh) * 2014-11-10 2021-07-13 皇家飞利浦有限公司 用于编码的方法、视频处理器、用于解码的方法、视频解码器
KR102484385B1 (ko) * 2014-12-10 2023-01-03 삼성전자주식회사 이미지 부호화 및 복호화 장치 및 그 작동 방법
US10820002B2 (en) * 2014-12-10 2020-10-27 Samsung Electronics Co., Ltd. Image encoding apparatus and image decoding apparatus and method of operating the same
USD776713S1 (en) * 2014-12-17 2017-01-17 Rgi Informatics, Llc Display device with a timeline graphical user interface
GB201502205D0 (en) * 2015-02-10 2015-03-25 Canon Kabushiki Kaisha And Telecom Paris Tech Image data encapsulation
US20160277244A1 (en) * 2015-03-18 2016-09-22 ThePlatform, LLC. Methods And Systems For Content Presentation Optimization
US9584696B2 (en) * 2015-03-24 2017-02-28 Semiconductor Components Industries, Llc Imaging systems with embedded data transmission capabilities
EP3086562B1 (en) * 2015-04-23 2017-05-24 Axis AB Method and device for processing a video stream in a video camera
FR3035989B1 (fr) * 2015-05-05 2018-09-07 Viaccess Procede de reglage du niveau de definition des images d'un programme multimedia
US10368105B2 (en) 2015-06-09 2019-07-30 Microsoft Technology Licensing, Llc Metadata describing nominal lighting conditions of a reference viewing environment for video playback
GB201511450D0 (en) * 2015-06-30 2015-08-12 British Broadcasting Corp Audio-video content control
US9955191B2 (en) 2015-07-01 2018-04-24 At&T Intellectual Property I, L.P. Method and apparatus for managing bandwidth in providing communication services
US10257575B2 (en) * 2015-08-05 2019-04-09 Nagrastar, Llc Hybrid electronic program guide
WO2017051808A1 (ja) * 2015-09-25 2017-03-30 日立マクセル株式会社 放送受信装置
CN113660524A (zh) * 2015-09-25 2021-11-16 麦克赛尔株式会社 显示装置和显示控制方法
RU2728766C2 (ru) * 2015-11-09 2020-07-31 Томсон Лайсенсинг Способ и устройство для адаптации видеоконтента, декодированного из элементарных потоков, под характеристики устройства отображения
US10573324B2 (en) 2016-02-24 2020-02-25 Dolby International Ab Method and system for bit reservoir control in case of varying metadata
US10181083B2 (en) * 2016-03-21 2019-01-15 Viisights Solutions Ltd. Scene change detection and logging
US10200571B2 (en) 2016-05-05 2019-02-05 Nvidia Corporation Displaying an adjusted image according to ambient light conditions
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
US10847073B2 (en) * 2016-10-17 2020-11-24 Huawei Technologies Co., Ltd. Image display optimization method and apparatus
EP3340629A1 (en) 2016-12-21 2018-06-27 Thomson Licensing Method and apparatus for embedding key information in an image
JP6697755B2 (ja) * 2017-09-13 2020-05-27 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
KR102449454B1 (ko) 2017-12-11 2022-10-04 삼성디스플레이 주식회사 계조 확장이 가능한 표시 장치
AU2018271424A1 (en) * 2017-12-13 2019-06-27 Playable Pty Ltd System and Method for Algorithmic Editing of Video Content
US10944950B2 (en) * 2017-12-21 2021-03-09 Texas Instruments Incorporated Transmitting functional safety statistics via transmitted video
JP7011170B2 (ja) * 2018-06-05 2022-01-26 日本電信電話株式会社 提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラム
WO2020261617A1 (ja) * 2019-06-27 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理用集積回路、および画像処理方法
WO2020264409A1 (en) * 2019-06-28 2020-12-30 Dolby Laboratories Licensing Corporation Video content type metadata for high dynamic range
CN110536167A (zh) * 2019-09-20 2019-12-03 京东方科技集团股份有限公司 视频信号发送方法、视频信号接收方法、装置和显示设备
EP3820144B1 (en) * 2019-11-07 2021-12-29 Axis AB Method for displaying a video stream of a scene
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
JP2023509805A (ja) * 2020-01-06 2023-03-09 ソースピクチャー インコーポレイテッド コンテンツディスプレイに再生デバイスを適応させるシステム及び方法
EP4106318A4 (en) * 2020-03-30 2023-11-22 Sony Group Corporation SIGNAL PROCESSING DEVICE AND SIGNAL PROCESSING METHOD
US11165848B1 (en) * 2020-08-21 2021-11-02 Nvidia Corporation Evaluating qualitative streaming experience using session performance metadata
CN114666309A (zh) * 2022-03-23 2022-06-24 中磊电子(苏州)有限公司 流媒体的处理方法、传送装置和接收装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003229828A (ja) * 2002-02-01 2003-08-15 Matsushita Electric Ind Co Ltd 同期パターン挿入方法および同期パターン除去方法
JP2004312278A (ja) * 2003-04-04 2004-11-04 Sony Corp メタデータ表示システム,メタデータ合成装置,映像信号記録再生装置,撮像装置,メタデータ表示方法
JP2004312281A (ja) * 2003-04-04 2004-11-04 Sony Corp 映像編集装置,映像編集装置の処理方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188987B1 (en) * 1998-11-17 2001-02-13 Dolby Laboratories Licensing Corporation Providing auxiliary information with frame-based encoded audio information
GB0119569D0 (en) * 2001-08-13 2001-10-03 Radioscape Ltd Data hiding in digital audio broadcasting (DAB)
US7558326B1 (en) 2001-09-12 2009-07-07 Silicon Image, Inc. Method and apparatus for sending auxiliary data on a TMDS-like link
WO2003058946A2 (en) 2001-12-24 2003-07-17 Silicon Image, Inc. Method and system for video and auxiliary data transmission over a serial link
US20050248561A1 (en) * 2002-04-25 2005-11-10 Norio Ito Multimedia information generation method and multimedia information reproduction device
US7369677B2 (en) * 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US20050086702A1 (en) 2003-10-17 2005-04-21 Cormack Christopher J. Translation of text encoded in video signals
US20050220322A1 (en) * 2004-01-13 2005-10-06 Interdigital Technology Corporation Watermarks/signatures for wireless communications
US20070121939A1 (en) * 2004-01-13 2007-05-31 Interdigital Technology Corporation Watermarks for wireless communications
US7308135B2 (en) * 2004-01-14 2007-12-11 Eastman Kodak Company Constructing extended color gamut digital images from limited color gamut digital images
EP1578140A3 (en) * 2004-03-19 2005-09-28 Thomson Licensing S.A. System and method for color management
CN101901480B (zh) * 2004-04-15 2013-03-06 杜比实验室特许公司 用于处理图像数据的设备和方法
US8149338B2 (en) * 2004-09-29 2012-04-03 Thomson Licensing Method and apparatus for color decision metadata generation
US20060072780A1 (en) * 2004-09-30 2006-04-06 Zarrabizadeh Mohammad H Watermarking scheme for analog video
KR101328547B1 (ko) * 2004-11-01 2013-11-13 테크니컬러, 인크. 향상된 컬러 공간 콘텐츠를 마스터하고 분배하는 방법 및 시스템
US20060092038A1 (en) 2004-11-03 2006-05-04 Unger Robert A Chameleon button universal remote control with tactile feel
US7675509B2 (en) 2005-01-13 2010-03-09 Sony Corporation Methods and apparatus for optical wireless communication
KR100774180B1 (ko) 2005-08-26 2007-11-07 엘지전자 주식회사 디지털 멀티미디어 인터페이스를 가지는 디지털 멀티미디어데이터 송수신장치
US7987160B2 (en) * 2006-01-30 2011-07-26 Microsoft Corporation Status tool to expose metadata read and write queues
US20070257923A1 (en) 2006-03-15 2007-11-08 Colin Whitby-Strevens Methods and apparatus for harmonization of interface profiles
US8363161B2 (en) * 2006-05-26 2013-01-29 Broadcom Corporation Systems, methods, and apparatus for synchronization of audio and video signals
EP1903775B1 (en) * 2006-09-21 2010-06-16 Thomson Licensing Method for conversion of a colour space using separate chromatic and luminance look-up tables
IL179351A0 (en) * 2006-11-16 2008-01-20 Nds Ltd System for embedding data
US8386259B2 (en) 2006-12-28 2013-02-26 Intel Corporation Voice interface to NFC applications
US8565337B2 (en) 2007-02-07 2013-10-22 Valens Semiconductor Ltd. Devices for transmitting digital video and data over the same wires
US20080195977A1 (en) * 2007-02-12 2008-08-14 Carroll Robert C Color management system
JP5619600B2 (ja) * 2007-04-03 2014-11-05 トムソン ライセンシングThomson Licensing 異なる色域を有するディスプレイを色補正する方法およびシステム
US20090147985A1 (en) 2007-12-07 2009-06-11 Xuemin Chen METHOD AND SYSTEM FOR secure WATERMARK EMBEDDING AND EXTRACTION DATA FLOW ARCHITECTURE
US8024632B1 (en) * 2008-01-11 2011-09-20 Victor Konrad Method and mechanism for implementation-independent, on-line, end-to-end detection of faults in self-checking queues in digital hardware systems
KR101476878B1 (ko) 2008-01-31 2014-12-26 톰슨 라이센싱 고화질 멀티미디어 인터페이스를 통한 룩 데이터 정의 및 전송을 위한 방법 및 시스템
US8593476B2 (en) * 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
JP2010049224A (ja) 2008-07-25 2010-03-04 Seiko Epson Corp カラーフィルター用インク、カラーフィルター用インクセット、カラーフィルター、画像表示装置、および、電子機器
US20110154426A1 (en) * 2008-08-22 2011-06-23 Ingo Tobias Doser Method and system for content delivery
JP5157774B2 (ja) * 2008-09-17 2013-03-06 株式会社リコー 画像形成装置、画像形成方法およびプログラム
KR101522555B1 (ko) * 2009-02-20 2015-05-26 삼성전자주식회사 워터마크 삽입 기능이 포함된 영상 재생 방법 및 그 장치
WO2010103012A1 (fr) 2009-03-09 2010-09-16 3Dtv Solutions Systeme et procede configures pour la captation d'une pluralite d'images a destination d'une restitution multiscopique a deformation controlee
WO2010104624A2 (en) 2009-03-10 2010-09-16 Dolby Laboratories Licensing Corporation Extended dynamic range and extended dimensionality image signal conversion
US8760461B2 (en) * 2009-05-13 2014-06-24 Stmicroelectronics, Inc. Device, system, and method for wide gamut color space support
WO2011103075A1 (en) 2010-02-22 2011-08-25 Dolby Laboratories Licensing Corporation Video delivery and control by overwriting video data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003229828A (ja) * 2002-02-01 2003-08-15 Matsushita Electric Ind Co Ltd 同期パターン挿入方法および同期パターン除去方法
JP2004312278A (ja) * 2003-04-04 2004-11-04 Sony Corp メタデータ表示システム,メタデータ合成装置,映像信号記録再生装置,撮像装置,メタデータ表示方法
JP2004312281A (ja) * 2003-04-04 2004-11-04 Sony Corp 映像編集装置,映像編集装置の処理方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032518A (ja) * 2010-07-29 2012-02-16 Canon Inc 画像処理装置、画像処理システム及び画像処理装置の制御方法
JP2018042253A (ja) * 2013-07-30 2018-03-15 ドルビー ラボラトリーズ ライセンシング コーポレイション シーン不変化されたメタデータを生成するためのシステムおよび方法
JP2015170904A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像処理システム
JP2015185866A (ja) * 2014-03-20 2015-10-22 富士ゼロックス株式会社 パケット生成装置及びプログラム
WO2016157839A1 (ja) * 2015-03-27 2016-10-06 パナソニックIpマネジメント株式会社 信号処理装置、録画再生装置、信号処理方法、およびプログラム
JPWO2016157838A1 (ja) * 2015-03-27 2018-01-18 パナソニックIpマネジメント株式会社 信号処理装置、表示装置、信号処理方法、およびプログラム
JPWO2016157839A1 (ja) * 2015-03-27 2018-03-01 パナソニックIpマネジメント株式会社 信号処理装置、録画再生装置、信号処理方法、およびプログラム
WO2016157838A1 (ja) * 2015-03-27 2016-10-06 パナソニックIpマネジメント株式会社 信号処理装置、表示装置、信号処理方法、およびプログラム
US10057104B2 (en) 2015-03-27 2018-08-21 Panasonic Intellectual Property Management Co., Ltd. Signal processing device, display device, signal processing method, and program
US10097886B2 (en) 2015-03-27 2018-10-09 Panasonic Intellectual Property Management Co., Ltd. Signal processing device, record/replay device, signal processing method, and program
JP2017098948A (ja) * 2015-11-04 2017-06-01 ユビタス インコーポレイテッドUbitus Inc. ビデオストリームで実行される対話型アプリケーション
JP2018133704A (ja) * 2017-02-15 2018-08-23 株式会社日立国際電気 映像信号伝送装置
JP2018011337A (ja) * 2017-09-11 2018-01-18 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像処理システム

Also Published As

Publication number Publication date
US20150071615A1 (en) 2015-03-12
KR101428504B1 (ko) 2014-08-11
KR20120106901A (ko) 2012-09-26
JP5577415B2 (ja) 2014-08-20
EP2539895B1 (en) 2014-04-09
US20120321273A1 (en) 2012-12-20
WO2011103258A2 (en) 2011-08-25
US8891934B2 (en) 2014-11-18
WO2011103258A3 (en) 2011-11-03
EP2539895A2 (en) 2013-01-02
CN102893602B (zh) 2016-08-10
CN102893602A (zh) 2013-01-23

Similar Documents

Publication Publication Date Title
JP5577415B2 (ja) ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示
JP5588022B2 (ja) 表示サブシステムにビデオデータを提供する方法、およびシステム
US11856200B2 (en) Data output apparatus, data output method, and data generation method
US11140354B2 (en) Method for generating control information based on characteristic data included in metadata
US10553255B2 (en) System and methods for generating scene stabilized metadata
US20090123086A1 (en) View environment control system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140707

R150 Certificate of patent or registration of utility model

Ref document number: 5577415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250