JP2018042253A - シーン不変化されたメタデータを生成するためのシステムおよび方法 - Google Patents

Abstract

【課題】映像データストリームに対してシーン不変的なメタデータを生成および適用するための、方法およびシステムを提供する。【解決手段】映像データストリームをシーンに分割または区分けし、映像データのある１つのシーンについてメタデータの第１のセットが生成される。メタデータの第１のセットは、映像コンテンツの所望の関数としての、任意の公知のメタデータ（例えば輝度など）である。メタデータの第１のセットは、フレーム単位で生成される。一例において、そのシーンについてのメタデータの第１のセットとは異なる、シーン不変的なメタデータを生成する。シーン不変的なメタデータは、シーン中における所望の特徴部を監視することによって生成され、その所望の特徴部を許容可能な範囲の値に保つために用いられる。これにより、映像データのレンダリングに際して、目立ちかつ場合によっては邪魔になる視覚的アーチファクトを回避する。【選択図】図４

Description

本願は、２０１３年７月３０日付け出願の米国仮特許出願第６１／８５９，９５６号に基づき優先権主張を行う。その開示全体を、本願において参考のため援用する。

本発明は、映像コンテンツの制作およびレンダリングに関し、特に、ターゲットディスプレイ上における映像データのレンダリングを改善するために、関連付けられたメタデータを生成するためのシステムおよび方法に関する。

映像ファイル中のメタデータは典型的にはフレームごと、またはキーフレームについて生成される。しかし多くの場合、再生映像は、映像コンテンツの視聴者にとって邪魔なアーチファクトを有する可能性がある。これらのアーチファクトは、シーン間（例えばある共通の特徴部を有するシーンなど）において目立ち得る。例えば、カメラは、空間的および時間的に移動中（例えば、ある瞬間には暗く照らされた部屋にいたが、戸外の太陽に照らされた空間に移動するなど）の、ある一人の俳優の映像を撮影しているかもしれない。

周囲条件のそのような変化は、視聴者にとって目立つアーチファクトを生成し得る（俳優の顔の色調が変化するなど）。これは、例えば輝度や色域レンダリングなどの性能に関して制限を有するようなターゲットディスプレイ上で映像コンテンツが表示される場合において、特にそうである。コンテンツの制作者（ｃｒｅａｔｅｒ）（ディレクターまたはポストプロダクションの専門家など）は、シーンベースのメタデータを作成することにより、そのようなアーチファクトを緩和でき得る。

所望の映像データストリームに対して、シーン不変的なメタデータを生成および適用するための、方法およびシステムを本願において開示する。提供されるシステムおよび／または方法では、映像データストリームをシーンに分割または区分けし、映像データのある１つのシーンについてメタデータの第１のセットが生成され得る。メタデータの第１のセットは、映像コンテンツの所望の関数としての、任意の公知のメタデータ（例えば輝度、色域など）であり得る。メタデータの第１のセットは、フレーム単位で生成され得る。一実施形態において、そのシーンについてのメタデータの第１のセットとは異なる、シーン不変的なメタデータを生成してもよい。シーン不変的なメタデータは、シーン中における所望の特徴部を監視することによって生成され、その所望の特徴部を許容可能な範囲の値に保つために用いられ得る。これにより、映像データのレンダリングに際して、目立ちかつ場合によっては邪魔になる視覚的アーチファクトを回避することを助け得る。

一実施形態において、映像データストリームにおいてシーン不変的なメタデータを用いる方法であり、前記方法は、映像データストリームをシーンの集合に分割し、前記シーンの集合内の第１のシーンに関連付けられた第１のメタデータを生成し、シーン不変的なメタデータを生成し、前記シーン不変的なメタデータを前記第１のシーンに関連付ける。

別の実施形態において、シーン不変的なメタデータを映像データに用いるシステムであり、前記システムは、プロセッサと、前記プロセッサに対応付けられたメモリとを有し、前記メモリはプロセッサ読み取り可能な命令を含んでおり、前記プロセッサが前記プロセッサ読み取り可能な命令を読みだすことにより、以下の命令を前記プロセッサに実行させ
る。すなわち、シーンの集合を含む映像データストリームを受け取ることと、前記シーンの集合について、前記シーンの集合に関連する第１のメタデータを生成することと、シーン不変的なメタデータのセットを生成することと、少なくとも１つのシーンについて、シーン不変的なメタデータを前記少なくとも１つのシーンに関連付けることである。

さらに別の実施形態において、ビデオプロセッサは、プロセッサと、前記プロセッサに対応付けられたメモリとを有し、前記メモリはさらにプロセッサ読み取り可能な命令を含んでおり、前記プロセッサが前記プロセッサ読み取り可能な命令を読みだすことにより、以下の命令を前記プロセッサに実行させる。すなわち、シーンの集合を含む入力映像データストリームを受け取ることと、少なくとも１つのシーンに関連付けられたメタデータの第１のセットを受け取ることと、あるシーンカットは前記入力映像データストリームの実質的に次のフレームであるという標示（ｉｎｄｉｃａｔｉｏｎ）を受け取ることと、シーン不変的なメタデータを受け取ることと、前記シーン不変的なメタデータを、前記入力映像データストリームの実質的に次のフレームに関連付けることである。

本システムのその他の特徴および利点が、以下に詳細な説明において、本願に添付する図面とともに読まれることにより示される。

図１は、本発明の原理により構成された映像パイプラインシステムの、環境およびアーキテクチャの一実施形態を示す。 図２Ａは、本願の目的に適し得る、映像パイプラインフローチャートの２つの実施形態を示す。 図２Ｂは、本願の目的に適し得る、映像パイプラインフローチャートの２つの実施形態を示す。 図３は、ある一例のターゲットディスプレイのディスプレイ管理において起こり得る映像処理の、高次フロー図の一実施形態である。 図４は、１つの映像ファイルに対する、シーン不変的なメタデータの生成および関連付けのための映像処理の、一実施形態である。 図５は、映像パイプラインにおける、シーンチェンジの予告通知を含むフローチャートの、一実施形態である。 図６は、シーンに区分けされた映像ファイルの一例および、シーンチェンジの標示を含むあるシーン内の１フレームを示す。

実施形態例を、図面の中でそれぞれ言及したものに示す。本願において開示する実施形態および図面は、例示的なものであり、限定的ではないと見なされることを意図している。

本願において、「構成要素」、「システム」、「インターフェース」などの語は、コンピュータに関連するもの（ハードウェア、ソフトウェア（例えば実行中の）および／またはファームウェアであっても）を指すことが意図される。例えば、ある構成要素は、プロセッサ上で走っているプロセス、プロセッサ、オブジェクト、実行可能コード（ｅｘｅｃｕｔａｂｌｅ）、プログラムおよび／またはコンピュータであり得る。例示として、サーバー上で走っているアプリケーションもまたそのサーバーも、構成要素たり得る。１つのプロセス中には１つ以上の構成要素が存在し得る。また、１つの構成要素は、１つのコンピュータ上に局在してもよく、および／または２つ以上のコンピュータ間に分散されていてもよい。また１つの構成要素が、通信に関連するもの（ハードウェア、ソフトウェア（例えば実行中の）および／またはファームウェアであっても）に言及することも意図され、これは通信を支配するのに十分な有線または無線のハードウェアを構成し得る。

以下の説明において、当業者に完全な理解を提供するために、具体的な詳細を説明する。しかし、開示が不用意に不明瞭になることを避けるため、周知の事項は図示または説明していない場合がある。従って、説明および図面は、例示的な意味でとらえられるべきであり、限定的にとらえられるべきではない。

序説
時間的安定性を得るため（例えば、ちらつき、脈動、フェーディングなどがないように）、また、ターゲットディスプレイ上での再生映像における邪魔になる可能性のある視覚的アーチファクトを緩和するために、映像データに関連付けられるメタデータは、概して時間的に安定であることが望ましいといえる。これはいくつかの実施形態においては、一シーンの持続期間にわたってメタデータの安定性を図ることにより、実現される。そのようなメタデータは、各シーンカットにおいて変化することが許されてもよい。そのような場合、コンテンツに適応したメタデータの変化は、視聴者にとって目立たないものであり得る。

単なる一例として、表示直前に、映像／画像データメタデータをフレーム単位で推測することが可能である。ただしこれは、ある１つのシーンの見た目において（場合によっては１つのシーンの最中に）、不快で目立つ変化を起こし得る。

本願のいくつかの実施形態として、映像データに関連するおよび／または関連付けられたメタデータを、生成またはその他作成するシステムおよび方法を、本明細書において記載する。本明細書においてより詳しく説明されるように、本願の多くの実施形態において、この関連付けられたメタデータはシーン単位で生成され得る。そのようなメタデータは、映像データストリームのフロントエンド、または映像データストリームのその他任意の適切な部分に作成され得る。映画館やホーム視聴環境やテレビ会議であるかによらず、またどこで映像データが視聴および／または享受されるかによらず、映像データは、映像データのユーザー／消費者／視聴者に送信および／または送られ得る。

多くのメタデータ生成および／またはメタデータ使用技術が、同一出願人に係る以下の特許および／または特許出願に記載されている。

（１）Ｍｅｓｓｍｅｒの２０１３年３月２８日公開の、「ＴＯＮＥ ＡＮＤ ＧＡＭＵＴ ＭＡＰＰＩＮＧ ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ」の名称を有する米国特許出願第２０１３００７６７６３号、

（２）Ｍｅｓｓｍｅｒらの２０１３年６月２７日公開の、「ＤＡＴＡ ＴＲＡＮＳＭＩＳＳＩＯＮ ＵＳＩＮＧ ＯＵＴ−ＯＦ−ＧＡＭＵＴ ＣＯＬＯＲ ＣＯＯＲＤＩＮＡＴＥＳ」の名称を有する米国特許出願第２０１３０１６２６６６号、

（３）Ｌｏｎｇｈｕｒｓｔらの２０１３年６月６日公開の、「ＭＥＴＡＤＡＴＡ ＦＯＲ ＵＳＥ ＩＮ ＣＯＬＯＲ ＧＲＡＤＩＮＧ」の名称を有する米国特許出願第２０１３０１４１６４７号、および

（４）Ｍｅｓｓｍｅｒらの２０１２年１２月１３日公開の、「ＶＩＤＥＯ ＤＥＬＩＶＥＲＹ ＡＮＤ ＣＯＮＴＲＯＬ ＢＹ ＯＶＥＲＷＲＩＴＩＮＧ ＶＩＤＥＯ ＤＡＴＡ」の名称を有する米国特許出願第２０１２０３１５０１１号。
上記すべてについて、その開示全体を本願において参考のため援用する。

図１、２Ａおよび２Ｂは、本願のシステムおよび／または方法を適用し得る、いくつか
の環境システム（それぞれ１００、２００、２０６）を全体的に示す。これらのシステムは、エンドツーエンドの映像生成／送信／視聴映像パイプラインの可能性を表しており、例えば、映像が撮影され、シーン単位のメタデータが抽出されて映像ストリームに入れられて配信され、ターゲットディスプレイに送られて視聴される。

図１において、システム１００（またはその一部）は、本明細書に記載される方法の１つ以上を実行するように構成され得る。システム１００の構成要素は、ソフトウェア、ファームウェア、ハードウェアおよび／またはその組み合わせとして実現され得る。システム１００は、映像キャプチャサブシステム１０２、ポストプロダクションサブシステム１０３、および表示サブシステム１０４を含む。映像データのストリーム１２３（より具体的には、映像ストリームパイプライン中の異なる点を１２３−１、１２３−２、１２３−３としている）は、映像キャプチャサブシステム１０２によって生成され、ポストプロダクションサブシステム１０３に供給されて処理および編集を受ける。映像データ１２３の編集の過程において、映像イメージは、ポストプロダクションサブシステム１０３のリファレンスディスプレイ１１１上で表示および視聴され得る。編集された映像データ１２３は、表示サブシステム１０４（配信媒体１２５を介し、エンコーダ１２７Ａおよびデコーダ１２７Ｂを通る）に供給されて、さらなる処理を受け表示される。サブシステム１０２、１０３および１０４（そしてエンコーダ１２７Ａ）の各々は、映像データ１２３中のメタデータ２２５を符号化するように構成され得る。下流のサブシステムは、上流機器から映像データ１２３を受け取り、その中に埋め込まれたメタデータ２２５を復号化するように構成され得る。メタデータ２２５は、下流のサブシステム（例えばサブシステム１０３および１０４）によって、映像データ１２３の処理および／または表示をガイドするために用いられ得る。メタデータ２２５は、ディスプレイ特性パラメータ１２０とともに、表示サブシステム１０４のディスプレイ１１８上での映像再生を、表示サブシステム１０４が制御および／またはガイドするために用いられ得る。

図１に示すように、サブシステム１０２、１０３および１０４はそれぞれ、プロセッサ１０６、１０８および１１６ならびに、各プロセッサがアクセス可能なプログラムメモリ１０７、１０９および１１７を有していてもよい。各プロセッサ（他所にも記載）は、中央処理装置（ＣＰＵ）、１つ以上のマイクロプロセッサや１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいはその任意の組み合わせや、またはその他の本明細書記載のように機能することが可能な、ハードウェアおよび／またはソフトウェアを包含する適切な処理装置（単数または複数）を有し得る。各サブシステムにおいて、プロセッサは、プログラムメモリに格納されたソフトウェアによって与えられる命令を実行する。ソフトウェアは、本明細書に記載のメタデータ生成、符号化、復号化、および処理ステップを実行するためのルーチンを含み得る。例えば、以下を行うルーチンである。
（１）メタデータ２２５を生成する、またはメタデータ２２５のパラメータを受け取ること、
（２）映像データ１２３中のメタデータ２２５を、そのような映像データが下流機器に伝えられる前に、符号化すること、
（３）上流機器から受け取った映像データ１２３から、メタデータ２２５を復号化すること、
（４）映像データの処理および／または表示をガイドするために、メタデータ２２５を処理および適用すること、
（５）画像および／または映像データ１２３に基づいて、メタデータ２２５を符号化する方法を選択すること、
（６）および／またはその他。

システム１００は、サブシステム１０２、１０３および１０４がアクセス可能なリポジトリ１１０を有していてもよい。リポジトリ１１０は、メタデータ定義１１２のライブラ
リ（これらは例えば、メタデータのエンコーダおよびデコーダに、どのようにしてメタデータを生成および／または読み出しするかを知らせる）および、予約語１１４のリスト（例えば保護されている画素値、あるいは予約されたメタデータワード）を含み得る。メタデータ定義１１２のライブラリは、メタデータの生成、符号化および／または処理の際に、サブシステム１０２、１０３および１０４によってアクセスされ得る。メタデータ２２５を符号化または復号化するに際して、符号化／復号化されたメタデータビットに対して予約語１１４を比較することにより、メタデータストリームに挿入しようとしている（または挿入された）ガードビットのシーケンスを識別することができ、これにより、予約語の伝達を防ぎ得る。図１に例示した実施形態では共有されたリポジトリ１１０を示しているが、他の実施形態において、サブシステム１０２、１０３および１０４のそれぞれが、そのサブシステムによりアクセスされることが可能な記憶媒体に格納された、ローカルリポジトリ１１０を備えてもよい。

図２Ａは、特定の実施形態における映像供給パイプライン２００を通るデータの流れを示す、フローチャートである。映像供給パイプライン２００は、図１の映像供給パイプライン１００に示したものと同様な段を含んでいる。映像供給パイプライン２００の１つ以上の段において、メタデータ２２５を生成し、下流の段で使用されるために映像データ１２３のストリームに埋め込んでもよい。メタデータ２２５は映像データ１２３とともに、映像供給パイプライン２００を介して送信され、下流機器による映像データの処理をガイドし、および／またはブロック２１０の表示サブシステムにおける映像再生をガイドするために用いられ得る。ブロック２０６において映像データ１２３（埋め込まれたメタデータ２２５を含む）は、当該タイプの映像コンテンツ供給に適したシステム、装置および方法（例えば衛星、ケーブルまたはハイデフィニションネットワークを介したテレビ放送や、ＩＰまたは無線ネットワークを介したマルチメディアのストリーミング、ＤＶＤその他の記憶媒体からの再生など）を用いて、表示サブシステムに供給され得る。

図２Ａの実施形態において、ブロック２０２でカメラメタデータ２２５Ａを生成し、映像データ１２３−１に埋め込み得る。カメラメタデータ２２５Ａは、カメラ設定おび映像フレームの撮影環境に基づいて生成され得る。カメラメタデータ２２５Ａは例えば、映像フレームの撮影中におけるカメラ設定のスナップショットを与えるような、カメラパラメータを含んでいてもよい。そのようなカメラパラメータは、絞り（ｆ値）、レンズ、シャッタースピード、感度（ＩＳＯ規格値）などを含み得る。これらのカメラパラメータを用いて、映像供給パイプライン２００における後のステップ、例えばブロック２０４のポストプロダクション編集でのカラー調整（例えばカラータイミング）やブロック２１０の表示構成など、をガイドすることができる。

ブロック２０４において、ポストプロダクションメタデータ２２５Ｂを生成し、映像データ１２３−２に埋め込む。ポストプロダクションメタデータ２２５Ｂは、リファレンスディスプレイおよび環境メタデータ２２５Ｂ₁と、ソース映像コンテンツ特性定義メタデ
ータ２２５Ｂ₂とを含み得る。ポストプロダクションメタデータ２２５Ｂは、ブロック２
１０の表示構成などの、映像供給パイプライン２００における後のステップをガイドするために用いられ得る。

リファレンスディスプレイおよび環境メタデータ２２５Ｂ₁は、ブロック２０４のポス
トプロダクション編集で用いられる、リファレンスディスプレイ構成およびスタジオまたは視聴環境を記述していてもよい。例えば、ブロック２０４のポストプロダクション編集において映像データ１２３を表示するために用いられるリファレンスディスプレイに関して、リファレンスディスプレイおよび環境メタデータ２２５Ｂ₁は、以下のパラメータを
含み得る。
（１）微細な解像度における、リファレンスディスプレイのトーンおよび色域範囲を記
述する、３Ｄ色域マッピング、
（２）リファレンスディスプレイのトーンおよび色域範囲を定義する、（３Ｄ色域マッピングを推測するために用い得る）縮小したパラメータセット、
（３）各クロミナンスチャンネルについて、リファレンスディスプレイのトーンレスポンスを記述する、システムのトーンレスポンスパラメータ、
（４）画面サイズ、
（５）および／またはその他

リファレンスディスプレイおよび環境メタデータ２２５Ｂ₁はまた、ブロック２０４の
ポストプロダクション編集において、リファレンスディスプレイ上で映像コンテンツがカラータイミングを取られたまたは編集されたスタジオ環境を記述する、パラメータを含んでいてもよい。そのようなパラメータは、周囲輝度および周囲色温度を含み得る。

ソース映像コンテンツ特性定義メタデータ２２５Ｂ₂は、以下を識別または提供し得る
情報を含む、ポストプロダクション編集された映像コンテンツを記述していてもよい。
（１）トーンマッピング（例えば、ディスプレイにおけるトーン拡張をガイドするために用いられ得る、カスタマイズされたトーンマッピングパラメータまたは曲線）および色域マッピング（例えば、ディスプレイにおける色域拡張をガイドするために用いられ得る、カスタマイズされた色域マッピングパラメータなど）、
（２）シーンにおいて重要と考えられる最低黒レベルのレベル（例えば車の下の影など）、
（３）あるシーンの最も重要な部分に対応するレベル（例えば俳優の顔など）、
（４）シーンにおいて重要と考えられる最高白レベルのレベル（例えば電球の中心など）、
（５）シーンにおける最大色度の色（例えばネオンライトなど）、
（６）画像内の光源、または画像内の反射体または発光体の位置マップ、
（７）映像ソースコンテンツの色域、
（８）画像中の、わざとリファレンスディスプレイの色域の外にカラータイミングされている領域、
（９）ビデオプロセッサによる表示前の処理中や表示構成中に変更されるべきでない、保護されているカラー、
（１０）画像を輝度または色域的に特徴付ける画像ヒストグラム（例えばこのような情報は、下流機器がトーンおよび色域マッピングを整えるために平均輝度を決定するために用いられ得る）、
（１１）以前の映像フレームからの統計またはヒステリシスが既に有効ではないことを下流機器に警告する、シーンチェンジまたはリセットフラグ、
（１２）動いている物体を識別し映像コンテンツを特徴付ける、モーションマップ（下流機器は、これを光源位置マップとともに用いてトーンおよび色域マッピングをガイドし得る）、
（１３）カラータイミングされているコンテンツのソースの標示（例えばカメラから直接、あるいはポストプロダクション編集）、
（１４）デコーダ／テレビその他のディスプレイなどの下流機器を制御するために用い得る、ディレクターの制作意図設定であって、例えばそのような設定は、ディスプレイが特定のモードで動作する能力を提供する、表示モード制御（例えば、鮮やか、シネマ、スタンダード、プロフェッショナルなど）・適切な色域またはトーンマッピングなどを決定するために用いられ得る、コンテンツタイプ（例えばアニメーション、ドラマ、スポーツ、ゲームなど）を含む、
（１５）および／またはその他。

ブロック２０６において、映像データ１２３−２は表示サブシステムに供給される。図
２Ｂに示されるように供給パイプライン２０６は、衛星、ケーブルまたはハイデフィニションネットワーク、ＩＰまたは無線ネットワーク、あるいはＤＶＤその他の記憶媒体などの映像配信媒体１２５を介して、映像データ１２３の配信、放送または送信を行わせるための、エンコーダ段１２７Ａを有し得る。媒体１２５を介して配信された映像データ１２３を復号化するためのデコーダ段１２７Ｂが、ブロック２０６のディスプレイ側に設けられ得る。デコーダ段１２７Ｂは、例えばセットトップボックスや、表示サブシステム内のデコーダによって実現されてもよい。ブロック２０６および／または２０８において、視聴環境メタデータ２２５Ｃおよび／またはその他のメタデータ２２５を、映像データ１２３に埋め込み得る。視聴環境メタデータ２２５Ｃは例えば、以下のものを含み得る。

レファレンスモニタのトーンマッピングまたは色域曲線、あるいは基準環境の周囲輝度を与える、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）ＶＤＲエンコーダデータ。この情報の少なくとも一部分は、ビデオプロセッサによって、表示特性（例えばディスプレイのＥｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ（ＥＤＩＤ）を読みだすことにより）および表示サブシステムの環境を知ることにより決定されてもよい。いくつかの実施形態において、この情報の少なくとも一部は、映像データのポストプロダクション処理中においてスタジオにて決定されてもよい。

表示サブシステムのディスプレイが存在している環境を記述するパラメータ。このようなパラメータは例えば、周囲輝度および／またはトーンあるいは色温度を含み得る。

視聴環境メタデータ２２５Ｃは、ブロック２０８における映像データの処理および／またはブロック２１０における表示構成をガイドするために用いられ得る。

表示サブシステムは、ブロック２０８において入力映像データ１２３−３を処理するためのビデオプロセッサを備える。表示サブシステムのビデオプロセッサは、映像データ１２３から抽出したメタデータ２２５（例えばメタデータ２２５Ａ）および／または表示サブシステムのディスプレイに関する既知の表示特性に基づいて、映像データ１２３−３に対し信号処理を行い得る。映像データ１２３は、ディスプレイ特性定義パラメータ２２６および／またはメタデータ２２５に従って、ディスプレイに対し処理および調節され得る。

ブロック２０６および／または２０８、あるいは映像供給パイプライン２００中のその他の段において映像データ１２３に埋め込まれ得るその他のメタデータ２２５は、例えば以下のような管理メタデータ２２５Ｄ（配信権利などを管理するための）である。

（１）映像コンテンツがどこで生成されたか、配信されたか、改変されたかなどを示す透かしデータ、
（２）検索またはインデックス化のための映像コンテンツの記述を提供する、フィンガープリント化データ、
（３）誰が映像コンテンツを所有するかおよび／または誰がそれに対するアクセスを有するかを示す、保護データ、
（４）および／またはその他。

視聴環境メタデータ２２５Ｃは少なくとも部分的に、表示サブシステムのディスプレイに関連付けられたディスプレイ特性定義パラメータ２０６に基づいて生成され得る。いくつかの実施形態において、視聴環境メタデータ２２５Ｃ、ソース映像コンテンツ特性定義メタデータ２２５Ｂ₂および／または管理メタデータ２２５Ｄは、エンコーダ段１２７Ａ
、デコーダ段１２７Ｂおよび／またはブロック２０８のビデオプロセッサにおける、映像データ１０３の分析によって作成または提供されてもよい。

ブロック２１０において、表示サブシステムのディスプレイ上で表示構成を行い得る。表示構成のための適切なパラメータは、ディスプレイ特性定義パラメータ２２６および／またはメタデータ２２５、例えばカメラメタデータ２２５Ａ、ポストプロダクションメタデータ２２５Ｂ（リファレンスディスプレイおよび環境メタデータ２２５Ｂ₁およびソー
ス映像コンテンツ特性定義メタデータ２２５Ｂ₂を含む）および視聴環境メタデータ２２
５Ｃなどに基づいて、決定し得る。これらのパラメータに従ってディスプレイが構成される。映像データ１２３を、ディスプレイに出力する。

ブロック２０８の映像データ１２３の処理およびブロック２１０の表示構成に用いられるメタデータ２２５は、その適用の前にメタデータ２２５が表示サブシステム（ビデオプロセッサおよびディスプレイを含む）によって受け取られるように、映像データストリームにおいて供給される。いくつかの実施形態において、メタデータ２２５は、メタデータ２２５が適用されるフレームの少なくとも１つ前の映像フレームにおいて表示サブシステムに受け取られるように、供給される。特定のいくつかの実施形態において、メタデータ２２５は１映像フレーム前に供給され、ブロック２０８および／または２１０におけるメタデータ２２５の適用は、入力映像ストリームにおいて新しい映像フレームが検出されることによってトリガされてもよい。

シーン単位の「不変的な」メタデータ
前述したように、映像ファイル中のメタデータは、シーン単位で取得することが望ましい場合があり得る。本明細書に記載されるように、本願のいくつかの実施形態においては、シーン単位でメタデータを取得（例えば輝度、色域その他に基づき）してもよい。特に一実施形態においては、同一および／または同様なシーンにわたって適用され得るような、「不変的な」メタデータのセットを提供してもよい。

一実施形態において、各シーンはグローバルシーンメタデータに関連付けられ得る。グローバルシーンメタデータとは、１シーン内のフレーム依存的な特性（例えば各フレーム内の最小、最大、および中間の輝度値など）に応じて生成され得る。同様な特性を有するシーンは、同じメタデータを共有することをまた強制され得るため、表示中においてそれらは同じルック・アンド・フィールを保つ。別の実施形態において、受信側はまた「予告通知メタデータ」を受け取る。これは例えばすなわち、未来のシーン用のメタデータであり、ＤＭ処理に関連するパラメータを受信側は前もって準備することができるようになる。

「不変的な」シーンメタデータの概念の理解のために、以下の説明を単なる解説として述べるが、これは本願の範囲を限定するものではない。数個のシーンにわたる間、色および明るさを安定に保つことが望まれる場合がある。一例として、ある「シーン」において二人の俳優がいるが、映像フレームのシーケンスの中で、カメラはまず一方の俳優に、それから他方の俳優へと言うようにカットを向けていくとする。例えば、１つのセットにおける二人の俳優の間の長い会話などの場合である。これは演劇的には１つの「シーン」を構成するものであるが、２つの異なるカメラカットが、視聴者にとって目立ちかつ邪魔であるような色および／または輝度のシフトを引き起こし得る。いくつかの実施形態においては、例えば、シーン全体の安定した見た目を得るために、各カットにつき異なるメタデータを有することも可能であり得る。

別の一例として、ある「シーン」において一人の俳優がいるがその俳優は動き回っており、カメラがその俳優を追うことを考える。やはりこれは演劇的には１つのシーンであり得るが、視聴者にとって目立つおよび／または邪魔な輝度および／または色のシフトが起こり得る。さらに別の一例として、ディレクターは、数フレームの期間のうちにあるシー
ンがその輝度を減少（おそらくはゼロまで）し、その一方で別のシーンが低い（例えばゼロの）輝度から開始して最大輝度に至るような、「ディゾルブ」（または「クロスフェード」）手法を利用し得る。そのようなディゾルブまたはクロスフェードは、画面上の俳優に対するフラッシュバックを表現したり、または他の目的で用いられることがある。

これらの状況は、ディレクターが撮影された映像のポストプロダクション処理を行っているような場合に、当てはまり得る。そのようなディレクターは、例えば５０００ニトに達するような輝度を有するプロフェッショナルグレードのモニタ上で、映像をカラーグレーディングまたは輝度マッピングしているかもしれない。しかし、動画は、よりずっと低い輝度を有する家庭用ビデオ機器または他の何らかのターゲットディスプレイ）で視聴されるかもしれない。このことを事前に分かっていれば、ディレクターまたはその他のコンテンツの制作者は、視聴者によるコンテンツ体験を改善する機会が得られることになる。

これら数個の例（およびここで述べていない他の例）に基づけば、視聴者の視点からは（映像コンテンツ制作者／ディレクターの視点ではないとしても）、メタデータをシーン単位で適用すること、および／または、ある１つのシーンおよび／またはフレームの１シーケンスに対していつ「不変的な」メタデータを適用するか（これらは、現シーン／フレームに対して別の違った、おそらくはフレームベースの、メタデータを用いていたかもしれない）を決定するプロセスを実施することが、望ましいと考えてよい。

ホームビデオ的な状況において、家庭のディスプレイに対し、映像データの「最善な」（あるいは「より良い」）マッピングを提供しようとするディスプレイ管理（Ｄｉｓｐｌａｙ Ｍａｎａｇｅｍｅｎｔ（ＤＭ））プロセッサが存在している場合が、しばしばある。ＤＭは、利用可能な表示映像データから、ターゲットディスプレイに対して良好な輝度マッチングを提供するために、往々にしてダイナミックレンジマッピングを提供する。ダイナミックレンジマッピングは、マッピングを可能にするために、輝度統計に基づいたメタデータ、例えば、最大輝度、算術平均輝度および／または最小輝度を用い得る。

同一出願人に係るいくつかの特許出願に、ディスプレイ管理（ＤＭ）システムおよび手法が開示されており、本願のシステムおよび方法において有用であり得る。すなわち、

（１）Ｇｉｓｈらの２０１１年８月１１日公開の、「ＣＯＭＰＡＴＩＢＬＥ ＣＯＭＰＲＥＳＳＩＯＮ ＯＦ ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ， ＶＩＳＵＡＬ ＤＹＮＡＭＩＣ ＲＡＮＧＥ， ＡＮＤ ＷＩＤＥ ＣＯＬＯＲ ＧＡＭＵＴ ＶＩＤＥＯ」の名称を有する米国特許出願第２０１１０１９４６１８号、

（２）Ｌｏｎｇｈｕｒｓｔの２０１２年９月１３日公開の、「ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＯＦ ＣＯＬＯＲ ＧＡＭＵＴ ＦＯＲ ＤＩＳＰＬＡＹ ＯＮ ＴＡＲＧＥＴ ＤＩＳＰＬＡＹ」の名称を有する米国特許出願第２０１２０２２９４９５号、

（３）Ｍｅｓｓｍｅｒの２０１２年１２月２０日公開の、「ＶＩＤＥＯ ＤＩＳＰＬＡＹ ＣＯＮＴＲＯＬ ＵＳＩＮＧ ＥＭＢＥＤＤＥＤ ＭＥＴＡＤＡＴＡ」の名称を有する米国特許出願第２０１２０３２１２７３号、および

（４）Ｓｅｅｔｚｅｎらの２０１３年２月１４日公開の、「ＤＩＳＰＬＡＹ ＭＡＮＡＧＥＭＥＮＴ ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ」の名称を有する米国特許出願第２０１３００３８７９０号である。

上記すべてについて、その開示全体を本願において参考のため援用する

不変的なシーンメタデータの一実施形態

図３に、本願の高次ブロックフロー図の一実施形態を示す。映像パイプライン３００は、符号化されたビットストリーム３０１を受け取る。符号化されたビットストリーム３０１はさらに、映像／画像データを、何らかの使用可能なフォーマットの形のメタデータ（例えばフレーム単位、シーン単位、および輝度統計に基づくメタデータ、カラーマッピングメタデータその他を含む）とともに、含み得る。

この符号化ビットストリーム３０１は、デコーダ３０２によって受け取られ得る。デコーダ３０２は、パーサー３０４をさらに含んでいてもよい。デコーダ３０２は、暗号化、圧縮またはその他当該分野において公知の任意の方法で符号化されている、入力ビットストリームを復号化する。復号化された後、入力ビットストリームはパーサー３０４によってパースされ得る。パーサー３０４は、映像／画像データからメタデータを吐き出し得る。

抽出された映像／画像データは、その関連付けられたメタデータとともに、中間ビットストリーム３０３として送り出される。ビットストリーム３０３はまた、本明細書においてさらに説明されるように、下流のプロセッサ（単数または複数）に対してどのメタデータを適用するかなどを知らせる、１つ以上のフラグ（またはその他の何らかの標示、信号など）３０５を含んでいてもよい。

中間ビットストリーム３０３および／または任意のフラグ３０５は、ディスプレイ管理（ＤＭ）モジュール３０６によって受け取られ得る。ＤＭモジュール３０６は、最後の画像／映像データがターゲットディスプレイ３０８に送られる前に、任意の所望の画像／映像マッピングを適用してもよい。ターゲットディスプレイ３０８は、画像および／または映像データを視聴者に表示し得る、任意の適切な機器であり得る。単なる例として、そのようなターゲットディスプレイ３０８は、ＨＤテレビジョン、ムービープロジェクター、デスクトップモニタ、ラップトップ、タブレット、スマート機器などであってもよい。

前述のように、本願のいくつかの実施形態は、シーン単位のメタデータ（例えば可能性として「不変的な」シーンメタデータのセットである）を計算および／または導出することを包含し得る。不変的なシーンメタデータを用い得るタイミングにおいて（その他の利用可能なメタデータ（シーンベースであるかフレームベースであるかを問わず）に代わるものとして）、パイプラインはそのような不変的なシーンメタデータを適切に用いることができ、このことにより、視聴者にとって目立つおよび／または邪魔なアーチファクトの可能性を緩和する。

単なる一例として、暗い洞窟の中のシーンを考える。画像は、洞窟の暗いディテールをすべて示しているかもしれない。しかし、もしカメラがパンして洞窟の開口部（明るい）を向いたならば、適応的なマッピングにより画像をこれに応じて調節すればよい。例えば、新しいより明るい画素に対応するためには、洞窟の壁の暗いディテールを下げればよい。シーン不変的なメタデータの生成および使用により、シーン全体についてマッピングを最適化し得る（例えばシーンの途中において、目立つ変化が無いようにする）。

図４は、不変的なシーンメタデータ処理の高次フローチャート４００の一実施形態である。４０２において、映像データはシーンの集合に分割され得る。このように映像をシーンの集合へ分割および／または区分けすることは、いくつかの方法で達成することができる。まず、区分けは人間のユーザー、例えばディレクター、動画編集者、ポストプロダクションの誰か、などによって行われてもよい。例えば、一実施形態において、編集リスト（Ｅｄｉｔ Ｄｅｃｉｓｉｏｎ Ｌｉｓｔ（ＥＤＬ））からシーンカットが既に分かって
いるかもしれない。ＥＤＬは、いくつかの異なるショットから映画を制作するために用いられ得る。ある一実施形態において、ＥＤＬを抽出して、それを用いてシーンの範囲を規定してもよい。このようにすれば、追加的な労力は少なくて済むか、全く必要ない。さらに、ユーザーは自動的に決定された（または抽出された）シーンカットを上書きすることもできる。

あるいは、シーン区分けの識別は、映像データをフレーム単位で分析することによりそのような決定を行い得るビデオプロセッサによって、自動的に行ってもよい。例えば、もし輝度データ、カラーデータまたはその他の画像データ尺度について、測定可能なほどの大きな変動がフレーム間に存在した場合は、ビデオプロセッサはこの差異が２つのシーンの境界を示しているものと決定してよい。このような自動決定は、先読みまたはマルチパス処理によって高められることができる。すなわち、数個のフレームを分析し、画像データ尺度に関して初期的な差異が見いだされれば、もしその尺度がその後多くのフレームにおいて実質的にこの初期的な差異に従っているならば、シーンチェンジが起こった可能性が高いとしてもよい。

本願の目的において、映像データ中におけるシーンは、任意の公知の方法で識別することができる。４０４においてメタデータを、シーン単位で算出、測定またはその他抽出し得る。単なる一例として、もしあるシーンを構成するフレームが５０枚あるならば、シーン全体について輝度データを測定および抽出すればよい。最小輝度、算術平均および／または平均輝度および最大輝度などのシーンメタデータを計算し得る。その他の画像／映像尺度もまた同様に測定および／または抽出することによって、他のシーンベースのメタデータを形成することができる。

以下は、映像ストリーム中においてシーン不変的なメタデータを生成することの、一実施形態である。
（１）ＭＩＮ、ＭＩＤ、およびＭＡＸ輝度を、１シーン内の各フレームについて算出する。そしてその結果をそのシーン全体についてまとめる。
ａ．ＭＩＮについては、１シーン内の全フレームの全最小値のうち最小値を取る。
ｂ．ＭＩＤについては、１シーン内の全フレームの全中間値のうち中間（平均）値を取る。
ｃ．ＭＡＸについては、１シーン内の全フレームの全最大値のうち最大値を取る。

同様な統計を、例えば色域データなどの他の映像／画像尺度についても導出し得ることが、理解される。別の実施形態において、他のシーン依存のメタデータ、例えばシーン内の画像データに対してどの程度のシャープニングまたはスムージングを適用するかなど、を生成することも可能である。

４０６において、あるシーンについての「不変的な」メタデータのセットを算出し得る。不変的なメタデータは、そのメタデータの用途によっては、先に算出されたシーンベース（またはフレームベース）のメタデータと異なっていてもよい。シーン不変的なメタデータは例えば、目立つおよび／または邪魔な映像データの変化を生んでしまう可能性のあるような（例えば以前に算出されたシーンベースのメタデータを用いてそのシーンを視聴のためにレンダリングしたとしても）、何らかの監視された特徴部、側面、および／または尺度に従って、１つのシーンについて算出および／または生成され得る。例えば、１人の俳優が異なる背景にわたって空間的および時間的に移動すると（例えば１カット中において暗く閉ざされた部屋から明るい戸外の太陽に照らされた設定に移る場合）、俳優の顔その他の肌色トーンのカラーあるいは色合いに関して、目立つおよび／または邪魔な変化が生まれ得る。いくつかの実施形態において、監視された特徴部、側面、および／または尺度に従いもし２つのシーンが知覚的に同様であると考えられるならば、第２のシーンに
対するメタデータを、第１のシーン（例えば第２のシーンとは異なる）について算出されたメタデータで置き換えてもよい。第２のシーンは、第１のシーンの後でも前でもよい。

他の特徴部、側面および／または尺度もまた可能である。例えば肌色トーン、光る特徴部／物体、暗い特徴部／物体、カラー特徴部／物体などである。そのような変化は、不変的なシーンメタデータを用いることによって緩和することができる。シーン不変的なメタデータは、１シーンにわたって監視されている特徴部、側面および／または尺度が、許容可能な値の範囲に戻されおよび／または保たれるよう、算出および／または生成され得る。４０８におけるプロセスは、この不変的なシーンメタデータを、以前にそのシーンと関連付けられていたかあるいは関連付けられていなかったかもしれない任意の他のメタデータに対し、関連付けおよび／または代用し得る。この不変的なシーンメタデータの関連付けおよび／または代用は、例えばそのような特徴部、側面および／または尺度を許容可能な範囲の外に出ることを許してしまうようなメタデータが他に存在するときに、これらの特徴部、側面および／または尺度を許容可能な範囲まで戻すために、用いられ得る。特徴部、側面および／または尺度の許容可能な値の範囲は、手動で（例えばディレクターおよび／または動画編集者によって）決定されるか、あるいは画像処理／レンダリングおよび／または動画編集に関する何らかのルールおよび／または自助学習に従って、決定され得る。

図４に述べる処理は、映像／画像パイプラインの多くの異なるポイントで起こり得ることが、理解される。例えば、映像をシーンに区分けすることは、人間によってポストプロダクションにおいてなされるか、パイプライン中の別のどこかでプロセッサによってなされ得る。またその後のシーンベースのメタデータの算出および／または抽出は、ポストプロダクションまたはパイプライン中の別のどこかでなされ得る。同様に、「不変的な」シーンメタデータの関連付けは、ポストプロダクション中か、あるいは、さらに下流、例えばＤＭその他のビデオプロセッサによって、最後の映像／画像データをターゲットディスプレイへレンダリング用に送る前に、なされ得る。

その他の実施形態
いくつかの実施形態においては、最大性能を達成するため、マッピング動作は画像コンテンツ依存であってもよい。そのような画像依存的マッピングは、ソースコンテンツから生成されるメタデータによって、制御され得る。時間的安定性を得るため（例えば、ちらつき、脈動、フェーディングなどがないように）、メタデータは概して時間的に安定であることが望ましいといえる。一実施形態においてこれは、一シーンの持続期間にわたってメタデータの安定性を図ることにより支配され得る。メタデータは、各シーンカットにおいて変化させてもよい。そのような場合、コンテンツに適応したメタデータの急激な変化は、視聴者にとって目立たないかもしれない。

一実施形態において、シーン不変的なメタデータを生成するステップは、以下を含み得る。
（１）映像データ中におけるシーンカットの位置を取得する。一実施形態において、これは編集リスト（ＥＤＬ）から導出され得る。または、これは人間によって手動入力されるか、あるいはプロセッサにより自動的に検出されてもよい。
（２）シーン中のフレームについて、メタデータを算出および／または生成する。すなわち、
ａ．随意に画像をダウンサンプリング（これは、処理を高速化する傾向にあり、もし数個の外れ画素値があったとしてもその効果を最小にする）
ｂ．画像を所望の色空間（例えばＩＰＴ−ＰＱ）に変換
ｃ．画像の最小値を算出（例えばＩチャンネル）
ｄ．画像の最大値を算出（例えばＩチャンネル）
ｅ．画像の算術平均値を算出（例えばＩチャンネル）。
（３）フレームごとの結果をシーンごとの結果にまとめる、すなわち
ａ．フレームの最小値のそれぞれの、最小値を算出
ｂ．フレームの最大値のそれぞれの、最大値を算出
ｃ．フレームの算術平均のそれぞれの、算術平均を算出。
（４）メタデータを、シーン、あるいはシーン内の各フレームに関連付ける。

上述の実施形態には変形例が可能であり、それらが本願の範囲と見なされることが、理解される。例えば、ステップ（２）においてシーンの各フレームを分析する代わりに、単一の代表的なフレームを選択してメタデータを算出および／または生成し、これをシーン全体に対して関連付けてもよい。

さらに、クロスフェードの両側におけるシーンに対するメタデータを示した後、中間のフレームを補間することにより、クロスフェードに対応してもよい。そのような補間は、両側において線形またはコサインその他の同様な関数を介した漸近線であってもよい。

ステップ（４）の後、メタデータは、正しい映像フレームと適切に同期させながら、符号化されたビットストリームに挿入され得る。メタデータは、規則的に繰り返されることにより、ストリームにランダムに入れられてもよい。

さらに別の実施形態において、予め算出された値をメタデータに含めることにより、復号化された映像を所望の色空間（例えばＩＰＴ−ＰＱ）に変換することを助けることが可能である。これは、変換はしばしば固定小数点プロセッサを有する機器上でなされ、そのような機器は除算や指数などのある種の演算が不得意であり得るため、望ましいことがある。予め算出された値を用いそれらをメタデータストリーム中に埋め込むことが、有利であり得る。

シーン不変化されたメタデータの復号化／「予告通知」メタデータ

映像デコーダにおいて、ある新しいシーンの第１番目のフレームと同じフレームにおいて、新しいシーンメタデータが到着してもよい。または、メタデータは、そのシーンの第１番目のフレームよりも前に到着することにより、映像の処理への適用に間に合うように、メタデータを復号化および解釈する時間を稼いでもよい。ビットストリーム送信におけるシーン不変化されたメタデータのロバスト性を改善するために、この「予告通知メタデータ」や他の手法が望ましい場合があり得る。以下のような改良が可能であるが、これらは個別の改良としてもよく、またはいくつかの改良が組み合わせられてもよい。
（１）同一シーン内において、毎フレームにつきメタデータを繰り返す
（２）メタデータ本体中、実質的に次のフレームにおいて起こるシーンカットのインジケータ／フラグを追加する
（３）メタデータ本体中、現フレームにおいて起こるシーンカットのインジケータ／フラグを追加する
（４）次のフレームのメタデータが、現フレームのメタデータと実質的に同一である（または実質的に異なる）ことを示すインジケータ／フラグを追加する、および／または
（５）エラーチェック（例えばＣＲＣ３２など）のためのデータ完全性フィールドを、メタデータ本体に追加する。

図５は、そのような５００の予告通知メタデータフローチャートの一実施形態を示す。５０２において、システム／パイプラインは、メタデータをシーンごとに算出および／または生成し得る。このメタデータ（不変的なシーンメタデータまたはその他）は、５０４において映像データビットストリーム中のシーンと関連付けられ得る。そしてシステム／
パイプラインは５０６において、新しいシーンの実際の第１番目のフレームよりも所望の数の（例えば１つ以上の）フレームだけ前に、差し迫っているシーンチェンジの標示を前もって追加してもよい。この標示および／またはフラグは、ビットストリームの一部を構成していて、ＤＭ（またはパイプライン内の他の適切なプロセッサ）がこれを通知されてもよい。５０８においてシステムは、シーンチェンジよりも前もってパラメータおよび／またはマッピングをインストールする時間を、ＤＭ（または他の適切なプロセッサ）に与えてもよい。この追加的な時間によりシステムは、映像コンテンツの視聴者にとって邪魔であり得る目立つアーチファクトを回避する機会を得る。

これは、シーンカットの位置に前もってはアクセスし得ない、従来のメタデータ不変化方法に対しての改良となり得る。例えば、シーンカットが前もってわかっていないと、リアルタイムで映像データを分析することか、メタデータを時間とともにスムーズに変化させることにより、メタデータを推測することになる。これはちらつき、脈動、フェーディングなどの画像アーチファクトを発生させ得る。別の実施形態において、メタデータをソースにおいて（例えば映像圧縮の前に）算出することにより、能力のより低いコンシューマー機器において、必要とされる演算すなわちコストを減らすことが可能である。

図６は、複数のシーン（シーン１からシーンＮ）に区分けされ、さらにこれらが複数のフレーム（例えばフレーム６０２ａ）を含むような、映像データ６００の一例を示す。シーン１のフレーム６０２ｍは、そのフレームに関連付けられた予告通知フラグを有する。このことにより、次に続くシーン２をよりよくレンダリングするように、パラメータおよび／またはマッピングを設定する時間をＤＭが持つことができる。

本発明の１つ以上の実施形態の詳細な説明を、添付の図面とともに読まれることにより本発明の原理を例示するよう、提示した。本発明をそのような実施形態に関連して説明したが、本発明はいかなる実施形態にも限定されないことが、理解される。本発明の範囲は請求項によってのみ限定され、本発明は多数の代替物、改変、および均等物を包含している。本発明の完全な理解を提供するために、多数の具体的な詳細を本説明において述べた。これらの詳細は例示目的で提供したのであり、本発明は請求項に基づいて、これら具体的な詳細のうちのいくつかまたは全てが無しでも、実施し得る。明瞭さのため、本発明に関連する技術分野において公知である技術的題材は詳細に説明しないことによって、本発明が不用意に不明瞭になることを避けた。

Claims (15)

1. 複数のシーンを有する映像ストリームを処理するための映像エンコーダにおいて、シーン不変的なメタデータを用いる方法であって、
   前記映像ストリーム中のシーンの集合内の第１のシーンに関連付けられたメタデータの第１のセットを生成する工程と、
   前記映像ストリーム中の前記シーンの集合内の第２のシーンに関連付けられたメタデータの第２のセットを生成する工程と、
   シーン不変的なメタデータを生成する工程と、
   前記シーン不変的なメタデータを、前記シーンの集合内の第２のシーンに関連付ける工程と、
   を包含する、方法。
2. シーンはシーンカットを用いて決定され、シーンカットは、プロセッサによる自動、手動、または編集リスト（ｅｄｉｔ ｄｅｃｉｓｉｏｎ ｌｉｓｔ）に基づく、を含む１つ以上のシーンチェンジ検出法によって検出される、請求項１に記載の方法。
3. 前記シーンの集合内の第１のシーンに関連付けられたメタデータの第１のセットを生成する工程は、
   前記シーン中の各フレームについてＭＩＮ、ＭＩＤ、およびＭＡＸ輝度を算出すること、および
   前記シーンの全フレーム間でのＭＩＮ、ＭＩＤ、およびＭＡＸ輝度を算出すること
   を包含する、請求項１に記載の方法。
4. 前記シーン不変的なメタデータを生成する工程は、
   １つのシーン内の特徴部を監視して、前記シーンについての前記シーン不変的なメタデータを決定すること
   をさらに包含する、請求項１に記載の方法。
5. 前記第２のシーンは前記第１のシーンより後である、請求項１に記載の方法。
6. 前記第２のシーンは前記第１のシーンより前である、請求項１に記載の方法。
7. 前記シーン不変的なメタデータを前記第２のシーンに関連付ける工程は、
   前記第２のシーン内の全てのフレームについて、前記メタデータを繰り返すこと
   をさらに包含する、請求項１に記載の方法。
8. 前記シーン不変的なメタデータを前記第２のシーンに関連付ける工程は、
   シーンカットの標示を、前記第１のシーン内の実質的に次のフレームに追加すること
   をさらに包含する、請求項１に記載の方法。
9. 前記シーン不変的なメタデータを前記第２のシーンに関連付ける工程は、シーンカットの標示を現フレームに追加すること
   をさらに包含する、請求項１に記載の方法。
10. 複数のシーンを有する映像ストリームを処理するための映像デコーダにおいて、シーン不変的なメタデータを用いる方法であって、
    シーンの集合を含む、入力映像データストリームを受け取ることと、
    現シーン内の、シーン不変的なメタデータの集合を受け取ることと、
    前記入力映像データストリーム中の第１のシーンについて、差し迫っているシーンチェンジの予告的な標示を受け取ることと、
    前記シーン不変的なメタデータの集合を、前記第１のシーン内の映像フレームに関連付けること
    を包含する、方法。
11. 前記入力映像データストリーム中の第２のシーンについて、差し迫っているシーンチェンジの標示を受け取ることと、
    前記シーン不変的なメタデータの集合を、前記第２のシーン内の映像フレームに関連付けること
    をさらに包含する、請求項１０に記載の方法。
12. 前記シーン不変的なメタデータの集合は、１つのシーンについてのＭＩＮ、ＭＩＤ、およびＭＡＸ輝度を含む、
    請求項１０に記載の方法。
13. 前記シーン不変的なメタデータの集合は、１つのシーン内の監視される特徴部を、許容可能な値の範囲内に保つことに基づいている、請求項１０に記載の方法。
14. 前記監視される特徴部は、肌色トーン、光る特徴部、暗い特徴部およびカラー特徴部からなる群より選択される１つである、請求項１３に記載の方法。
15. 前記第１のシーンについての差し迫っているシーンチェンジに対し前もって、前記第１のシーン内のフレームを表示するための、ディスプレイ管理パラメータを用意すること
    をさらに包含する、請求項１０に記載の方法。

Images