JP2015517233A - 改善された画像処理およびコンテンツ送達のための画像メタデータ生成 - Google Patents

Abstract

画像のセットからのメタデータの生成のためのメディア・プロセッサのいくつかの実施形態が与えられる。メディア・プロセッサは、画像データのセットを受領し、該画像データからメタデータを計算する。メタデータは、画像データに基づく統計データを含んでいてもよく、それからメディア・プロセッサはメタデータのマルチスケール・バージョンを生成および記憶することができる、メタデータは、画像データから直接導出される統計的属性およびデータの画像見え相関量から導出される統計的属性を含んでいてもよい。メディア・プロセッサは、メタデータのサブサンプリングされたセットを生成してもよく、サブサンプリングされたセットがピラミッド構造のような効率的なデータ構造中に記憶されてもよい。ピラミッド構造は、空間的画像情報から、時間的画像情報からまたは空間時間的画像情報から生成されてもよい。

Description

関連出願への相互参照
本願は2012年2月29日に出願された米国仮特許出願第61/605,027号の優先権の利益を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。

発明の技術分野
本発明は、画像コンテンツ送達システムに、より詳細には、画像コンテンツ送達システム内でメタデータを生成、検証および／または使用するための新たなシステムおよび方法に関する。

異なる機能に影響するまたはパフォーマンスを改善するために画像および／またはビデオ・データのストリーム内でメタデータを使うことが知られている。たとえば、本願と所有者が同じ特許文献１〜７はここにその全体において組み込まれる。

処理に影響するためのメディア・コンテンツ中の画像統計の――幅広い多様な形およびフォーマット（たとえばヒストグラム、モーメント不変量など）における――収集は、本願と所有者が同じ特許文献８〜１１に記載されており、ここに参照によってその全体において組み込まれる。

米国特許出願公開第20110035382号、発明の名称"ASSOCIATING INFORMATION WITH MEDIA CONTENT"、Bauer、2011年2月10日公開 米国特許出願公開第20110164113号、発明の名称"CONVERSION OF INTERLEAVED DATA SETS, INCLUDING CHROMA CORRECTION AND/OR CORRECTION OF CHECKERBOARD INTERLEAVED FORMATTED 3D IMAGES"、Pahalawatta et al.、2011年7月7日公開 米国特許出願公開第20110216162号、Filippini et al.、2011年9月8日公開、発明の名称"MULTI-VIEW VIDEO FORMAT CONTROL" 米国特許出願公開第20110219097号、Crockett、2011年9月8日公開、発明の名称"TECHNIQUES FOR CLIENT DEVICE DEPENDENT FILTERING OF METADATA" 米国特許出願公開第20110222835号、Dougherty et al.、2011年9月15日公開、発明の名称"APPLICATION TRACKS IN AUDIO/VIDEO CONTAINERS" 米国特許出願公開第20120030316号、Dougherty et al.、2012年2月2日公開、発明の名称"UNIFIED MEDIA CONTENT DIRECTORY SERVICES" 米国特許出願公開第20120038782号、Messmer et al.、2012年2月16日公開、発明の名称"VDR METADATA TIMESTAMP TO ENHANCE DATA COHERENCY AND POTENTIAL OF METADATA" 米国特許出願公開第20110216937号（'937刊行物）、Radhakrishnan et al.、2011年9月8日公開、発明の名称"MEDIA FINGERPRINTS THAT RELIABLY CORRESPOND TO MEDIA CONTENT WITH PROJECTION OF MOMENT INVARIANTS" 米国特許出願公開第20090086816号、Leontaris et al.、2009年4月2日公開、発明の名称"VIDEO COMPRESSION AND TRANSMISSION TECHNIQUES" 米国特許出願公開第20110164677号、Lu et al.、2011年7月7日公開、発明の名称"COMPLEXITY ALLOCATION FOR VIDEO AND IMAGE CODING APPLICATIONS" 米国特許出願公開第20120027079号、Ye et al.、2012年2月2日公開、発明の名称"ADAPTIVE INTERPOLATION FILTERS FOR MULTI-LAYERED VIDEO DELIVERY" 米国特許出願公開第20120026405号、Atkins et al.、2012年2月2日公開、発明の名称"SYSTEM AND METHOD OF CREATING OR APPROVING MULTIPLE VIDEO STREAMS" 米国特許出願公開第20110194758、WARD、2011年8月11日公開、発明の名称"REPRESENTING AND RECONSTRUCTING HIGH DYNAMIC RANGE IMAGES" 米国特許出願公開第20110194618号、Gish et al.、2011年8月11日公開、発明の名称"COMPATIBLE COMPRESSION OF HIGH DYNAMIC RANGE, VISUAL DYNAMIC RANGE, AND WIDE COLOR GAMUT VIDEO" 米国特許出願公開第20100208143号、Banterle et al.、2010年8月19日公開、発明の名称"APPARATUS AND METHODS FOR BOOSTING DYNAMIC RANGE IN DIGITAL IMAGES" 米国特許出願公開第20110305391号、Kunkel et al.、2011年12月15日公開、発明の名称"IMAGE PROCESSING AND DISPLAYING METHODS FOR DEVICES THAT IMPLEMENT COLOR APPEARANCE MODELS" 米国特許出願公開第20100231603号、Kang、2010年9月16日公開、発明の名称"ARTIFACT MITIGATION METHOD AND APPARATUS FOR IMAGES GENERATED USING THREE DIMENSIONAL COLOR SYNTHESIS"

P.J. BURT and E.H. ADELSON、The Laplacian Pyramid as a Compact Image Code、IEEE Transactions on Communications, Vol. COM-3I, No.4, April 1983 E.H. Adelson, C.H. Anderson, J.R. Bergen, P.J. Burt, J.M. Ogden、Pyramid methods in image processing、RCA Engineer、29(6), Nov/Dec 1984

ディスプレイ・システムおよびその製造および使用の方法のいくつかの実施形態が本稿で開示される。

いくつかの実施形態では、一組の画像および／またはビデオからのメタデータの生成のためのメディア・プロセッサが与えられる。メディア・プロセッサは、一組の画像データを受領し、該画像データからメタデータを計算する。メタデータは、画像データに基づく統計的データを含んでいてもよく、該統計的データから、メディア・プロセッサは、該メタデータのマルチスケール・バージョンを生成および記憶してもよい。前記メタデータは、前記画像データまたは統計的属性から直接導出される統計的属性を含んでいてもよく、あるいはいくつかの実施形態では、画像データの画像見え相関量から導出されてもよい。メディア・プロセッサは、メタデータのサブサンプリングされた集合を生成してもよく、該サブサンプリングされた集合は、ピラミッド構造またはマルチスケール構造といった効率的なデータ構造において記憶されてもよい。ピラミッド構造は、空間的画像情報から、時間的画像情報からまたは空間時間的画像情報から生成されてもよい。

ある実施形態では、メディア・プロセッサはさらに、DMプロセッサ、DRMプロセッサ、圧縮プロセッサ、TMプロセッサ、CAMプロセッサまたは色域マッピング・プロセッサといった種々のプロセッサおよび／または処理を含んでいてもよい。

本システムの他の特徴および利点は、本願において提出される図面との関連で読まれるとき、下記の詳細な説明において呈示される。

例示的な実施形態が図面の参照される図において示されている。本願で開示される実施形態および図面は制約するものではなく例解するものであることが意図されている。
本願の原理に基づいて構成されるデジタル・データ、画像および／またはビデオ・パイプライン・システムのある実施形態を示す図である。 本願の原理に基づいて構成されるメディア・プロセッサのある実施形態を示す図である。 メタデータの生成およびそのようなメタデータの効率的なデータ構造における記憶のためのフローチャートのある可能な実施形態を描く図である。 源画像および／または源ビデオ・データから導出されるメタデータの集合を描く図である。 時間的特性をもつメタデータが導出されうるもとになる、時間における関係をもつデータの可能な集合のある範囲を描く図である。 Ａ〜Ｄは、例示的なビデオ・クリップの画像解析を表わす図である。 ＡおよびＢは、図６のＡに示したものと同様のビデオ・クリップから導出されるメタデータの集合を表わす図である。 メタデータが記憶され、アクセスされうる効率的なピラミッド・データ構造のある実施形態を描く図である。 ガウシアン差分に基づいて統計を計算するもう一つの実施形態を描く図である。 別のメタデータ構造からのメタデータとの比較において使用されうる、あるピラミッド・メタデータ構造の使用のある実施形態を描く図である。 改善されたDM再生のために使用されうるビデオ画像メタデータの使用を描く図である。 フィルムの編集および／または復元において使用されうるビデオ画像メタデータの使用を描く図である。

本稿での用法では、「コンポーネント」、「システム」、「インターフェース」などの用語は、ハードウェア、ソフトウェア（たとえば実行中の）および／またはファームウェアのいずれかの、コンピュータ関係のエンティティを指すことが意図されている。たとえば、コンポーネントは、プロセッサ上で走っているプロセス、プロセッサ、オブジェクト、実行可能形式、プログラムおよび／またはコンピュータであることができる。例として、サーバー上で走っているアプリケーションおよびそのサーバーの両方がコンポーネントであることができる。一つまたは複数のコンポーネントがプロセス内に存在することができ、コンポーネントは、一つのコンピュータ上に局在化されることも、および／または二つ以上のコンピュータの間に分散されることもできる。コンポーネントはまた、ハードウェア、ソフトウェア（たとえば実行中の）および／またはファームウェアのいずれかの、コンピュータ関係のエンティティを指すことが意図されていることもあり、さらに通信に影響する十分な優先または無線ハードウェアを有していてもよい。

以下の記述を通じて、より十全な理解を当業者に提供するために個別的な詳細が記述されるが、本開示を無用に埋没させるのを避けるために、よく知られた要素は詳細に図示または説明はしていないことがある。よって、本記述および図面は、制約する意味ではなく例解する意味において見なされるものである。

本稿での用法では、用語「ダイナミックレンジ」（DR: dynamic range）は人間の心理視覚系（HVS）が画像中のある範囲の、たとえば最も暗い暗部から最も明るい明部までの強度（たとえばルミナンス、ルーマ）を知覚する能力に関することがある。この意味では、DRは「シーン基準の」（scene-referred）強度に関係する。DRはまた、表示装置が特定の幅の強度範囲を十分にまたは近似的に表現する能力にも関することがある。この意味では、DRは「ディスプレイ基準の」（display-referred）強度に関係する。本稿の記述における任意の点において特定の意味が特に有意であることが明示的に指定されるのでない限り、上記用語はどちらの意味でも、たとえば交換可能に使用されうると推定されるべきである。

本稿での用法では、用語「高ダイナミックレンジ」（HDR: high dynamic range）は人間の視覚系（HVS: human visual system）の14〜15桁ほどにまたがるDR幅に関係する。たとえば、本質的に正常な（たとえば統計的、バイオメトリックまたは眼科的な意味のうちの一つまたは複数の意味で）、よく順応した人間は約15桁にまたがる強度範囲をもつ。順応した人間は、ほんの一握りの光子ほどの弱い光源を知覚しうる。しかしながら、これらの同じ人間が、砂漠、海または雪における白昼の太陽のほとんど痛々しいほどの明るい強度を感知することがある（あるいは、傷害を防ぐため短時間とはいえ、太陽を見ることさえある）。ただし、この幅は「順応した」人間に利用可能である。たとえばそのような人間のHVSは、リセットし調整するためのある時間期間をもつ。

対照的に、人間が強度範囲の広範な幅を同時に知覚しうるDRは、HDRに対してある程度打ち切られていることがある。本稿での用法では、「視覚的ダイナミックレンジ」または「可変ダイナミックレンジ」（VDR）は、個々にまたは交換可能に、HVSによって同時に知覚可能なDRに関係する。本稿での用法では、VDRは5〜6桁にまたがるDRに関しうる。よって、真のシーン基準のHDRに比べるといくぶん狭いかもしれないが、それでもVDRは幅広いDR幅を表す。本稿での用法では、用語「同時ダイナミックレンジ」はVDRに関係しうる。

序
本願と同じ所有者の'937出願に記載されるように、源画像データから画像統計が収集され、源画像データと相関するメディア「フィンガープリント」を生成するために使用されることができる。しかしながら、「フィンガープリント」の使用は典型的には、源データを変更するビデオ素材の操作を必要とする。これは、処理に影響するために源画像データからメタデータを生成するための画像統計の一つの既知の使用である。本願は、多様な応用に影響するための源データの統計的解析からメタデータを生成するための新たな方法、使用――そしてシステム――（源データを変更しないもの）を記述する。さらに、本願は、統計に基づくメタデータの効率的な記憶および使用を用いる。これは機能および使用の堅牢なセットを許容する。

図１は、本願の原理に基づいて構成された、デジタル・データ、画像および／またはビデオのパイプライン・システム１００を描いている。本発明は、潜在的には、他の画像処理アルゴリズムの効率を改善することを支援するソフトウェア・プロダクトにおいても適合する。パイプライン１００は、入力として、既存の画像、ビデオ、メタデータ（または画像、ビデオおよび／またはメタデータの混合）または他のデジタル・データ（たとえば源データ）を取り、源データに関連付けられたメタデータのセットを計算しうる入力メディア・プロセッサ１０２を有していてもよい。これについて本稿でさらに論じる。

そのようなデータおよびメタデータは、該源データおよび／または（何らかの仕方で組み合わされたまたは別個に送られる）該源データとメタデータのいずれかを入力として取り得るメディア・プロセッサ１０４にストリーミングされる、（有線または無線の仕方で）通信されるおよび／または他の仕方で送られるのでもよい。データおよびメタデータの他の源が、通信経路１０６を介してメディア・プロセッサ１０４――これはローカルまたはクラウド上のデータベースをも有していてもよい――に利用可能にされてもよく、あるいはインターネットのようなネットワークを通じて利用可能にされてもよい。下記でより詳細に述べるように、この通信経路１０６は、メディア・プロセッサ１０４と、データおよび／またはメタデータを画像をレンダリングするのに好適なディスプレイ１１０などに送りうるコーデック・プロセッサ（またはチェーン内の他の好適なプロセッサ）１０８とによるおよび／またはこれらの間の情報のストリームであってもよい。パイプラインの上りや下りで互いから、あるいは１０６のような他のデータ経路からデータおよびメタデータのストリームを送り、受け取る無数のメディア・プロセッサ（図示せず）があってもよいことは理解されるはずである。

本願の目的のための任意の好適なパイプラインが、好適なメディア・プロセッサと前記コーデックまたはビデオ・プロセッサとの間の中間処理および／または通信のための複数の他のプロセッサ（図示せず）を有していてもよいことは理解されるであろう。また、破線１１２がたとえば、ビデオ・パイプラインの制作ハウス、放送および／または頒布側とビデオ・パイプラインの消費者側との間の架空の分割を示しうることも理解されるであろう。いくつかの実施形態では、これは、ある消費者を別の消費者に接続してもよい。単に若干の例として、ビデオ会議、ソーシャル・ネットワーキング画像設定転送（たとえば「クールな」画像プリセットの他者との自動共有）が、本願の応用のための他の環境でありうる。

図２は、本願の目的のために十分でありうるメディア・プロセッサ１０４のある可能な実施形態を示している。メディア・プロセッサ１０４は、別のプロセッサからまたは通信経路１０６から、先に論じたようにデータおよび／またはメタデータを入力してもよい。いずれにせよ、源画像および／またはビデオ・データまたは源データとメタデータの組み合わせがメディア・プロセッサ１０４によって受領される。そのようなデータの諸セットは、メタデータ・プロセッサ２０２に――図のように直接、あるいは別のシステム・アーキテクチャを介して間接的に――入力されてもよい。既存のメタデータを受領することに加えて、メディア・プロセッサは、画像、ビデオおよびデータ・ストリームに関係した多数の統計を計算してもよい。この新たに計算されたメタデータは、上記の源の一つからの既存のメタデータを検証するために使われても、および／または他のアプリケーション、他のメディア・プロセッサ１０４または通信経路１０６に渡されてもよい。

これから論じるように、データ／メタデータの用途に依存して、任意的に、他のシステム・アーキテクチャ・ブロックがあってもよい。これら他のアーキテクチャ・ブロックは、データ／メタデータの一つまたは複数の可能な処理に影響しうる。ある実施形態では、あるプロセッサ・ブロック――たとえば、メタデータ・プロセッサ２０２――は、統計を計算し、計算した統計を、他のブロックおよび／または他のメディア・プロセッサ全体によって所望されうるのに応じて、他の処理ブロックと共有してもよい。このようにして、統計は、複数回ではなく一度だけ――たとえばDRMおよびTMモジュールのために――計算されてもよい。さらに、メディア・プロセッサ２０２は少なくとも一つの他のプロセッサを有していてもよい。

一つの可能なブロックは、DM（Display Management［ディスプレイ管理］）プロセッサ２０４であってもよい。DMプロセッサは、源データおよび／またはメタデータを取ってもよく、これが下流のメディア・プロセッサまたは表示装置における画像および／またはビデオ・データのレンダリングに影響しうる。たとえば、DMプロセッサ２０４は、トーン・マッピング（TM: tone mapping）；色の見え（CAM: Color Appearance）および／または画像の見え（Image Appearance）；および／または色域マッピング（gamut mapping）に影響するモジュールおよび／または方法を有していてもよい。そのようなトーン・マッピングおよびDM処理の諸方法は、本願と同じ所有者の特許文献１２〜１７に見られる。これらはみなここに参照によってその全体において組み込まれる。

もう一つの可能なブロックは、圧縮プロセッサ２０８でありうる。そのような圧縮プロセッサ２０８は、圧縮アルゴリズムが最適化された仕方でストリーミングまたは頒布のために帯域幅を小さくしうるような仕方で、メタデータ・プロセッサ２０２からのメタデータと組み合わせて源データを受けてもよい。そのようなメタデータは、たとえば、入力環境またはカメラの機能の記述であってもよい。さらにもう一つのプロセッサは、デジタル権利管理（DRM: Digital Rights Management）プロセッサ２１０でありうる。これはたとえば、メタデータ・プロセッサ２０２によって送信および／または計算された源データに基づくメタデータを使用して、閲覧者またはサードパーティー、たとえばコンテンツ・プロバイダーによって（経路１０６を介して）要求されうる源画像および／またはビデオ・データを一意的に特定する相関メタデータおよび／または画像統計を計算する。そのような一意的な特定は、要求元の閲覧者がそのデータへの（あるいはその画像および／またはビデオを見る）権利をもつかどうかを、著作権、ライセンシング、地域などに基づいて決定するために使用されてもよい。さらにもう一つの可能なブロックは、他のプロセッサ・ブロックの処理に影響するのを助けるための追加的および／または任意のプロセッサ２１２であってもよい。追加的なプロセッサのある可能な使用は、ソーシャル・ネットワーク（たとえばフェイスブック、ツイッターなど）とのインターフェースをもつためであってもよい。メタデータは、メディアを効率的に特定するおよび／または「友人」または他の関心のある個人と「共有する」ために使われてもよい。ひとたび好適なメタデータが生成、記憶または他の仕方で管理されたら、メディア・プロセッサは源および／またはメタデータを、先述したようなビデオ・パイプライン中に出力してもよい。これらのプロセッサ・ブロック――たとえば中でも圧縮プロセッサ、DMプロセッサ、DRMプロセッサ――が別個に実装されてもよく、あるいは単一のプロセッサ上で（専用の物理的回路をもってまたは共通の回路を使う異なるファームウェアによって）実装されてもよいことは理解しておくべきである。

メタデータの使用および生成
関連性のあるメタデータの使用は、エンドユーザーに対して幅広い範囲の機能を可能にしうる。たとえば、ビデオ・ストリーム中でメタデータが得られることは、フィルムまたはビデオの画像忠実度を最適化するのを助けるのに非常に有用であることがある。あるいはまた、正しいメタデータは、デジタル権利管理（DRM）の生成および／または施行のために有用であることがある。しかしながら、このメタデータ・ストリームが打ち切られることが起こり、よってコンテンツ・プロバイダーは特定の顧客のためにビデオ・ストリームを調整したりまたは問題となる特定のコンテンツを同定したりするすべをもたないことがある。ある実施形態では、次のような多様な理由のための消費者エンドポイントにおいてビデオ・ストリームを解析することが可能である。多様な理由とはたとえば、（１）改善された画像忠実度のためにディスプレイ管理（DM）アルゴリズムに従って該ビデオ・ストリームを調整する；（２）効果的な「メタデータ回復」のために、そのデータを利用可能なオンライン・データベースと比較する；（３）効果的なDRM管理のために、コンテンツから導出されたメタデータをオンライン・データベースと比較する（これは、たとえばコンテンツ・プロバイダー／スタジオによって提供されることができる）；または（４）受領された既存のメタデータが実質的に整合的であり、源データとよく相関することを検証するといったものである。あくまでも一例として、誤ったまたは正しくないメタデータが時にビデオ・ストリームに載って提出されることがある。誤ったまたは正しくないメタデータは、全く適合しないまたは正しいとはとても思えないものである――たとえばキャノンのカメラがニコンのレンズとの組み合わせで使われたことを述べたりするメタデータでありうる。これは可能ではあるが、きわめてありそうもない。

のちにさらに論じるように、そのようなマーカーは、コンテンツから直接的に導出される「統計的属性」――またはそのようなコンテンツの導出物（たとえば、ルミナンス、クロマ、カラフルネス、色相などといった「画像見え相関量（image appearance correlates）」）――であってもよく、組み合わされたときに高い確実性をもってコンテンツを特定しうるまたはその挙動を記述しうる。これらのマーカーの例は、（１）統計的モーメント（たとえば、平均、分散、歪度、尖度など）、最小および最大値；（３）たとえばヒストグラム、画像ピラミッド、エッジおよび勾配またはフーリエ解析または他のマルチスケール・アプローチによって得られるコンテンツについての空間的情報；および（４）フレームレート、分解能およびビット深さを含みうるが、これに限られない。統計は、任意の源データまたはその導出物（たとえば、エッジ、色空間変換、CAM、タイムライン、立体視奥行き（z値）またはこの源データのマルチスケール・バージョンまたはその導出物）に対して用いられてもよいことは理解しておくべきである。よって、たとえば、源画像導出物「クロマ」に対してマルチスケール・ピラミッドをもつことが可能である。

ひとたびコンテンツが認識または記述されたら、いくつかの用途が同定されることができる：改善されたディスプレイ管理、向上した分解能またはビット深さ、DRM関係の問題が明らかな例であるが、マーカーは、コンテンツの型、時刻および季節的習癖に基づく消費者の視聴習癖の統計的解析のために使われてもよい。

図３は、そのような効率的なメタデータの生成のための一般化されたフローチャートのある実施形態を描いている。メタデータの特定の使用に依存して、このフローチャート３００に対する相違および／または洗練があることは理解しておくべきである。画像（および／または源データ）３０２で始まり、さまざまな属性がデータ中で同定されてもよい。ブロック３０４は、単に、画像統計が導出されうるもとになる属性の型の若干を与えている。これらの属性のうち、見え相関量（たとえば輝度（brightness）、クロマおよび色相）、エッジ、勾配、フーリエ空間周波数解析（たとえば空間周波数または他の尺度）がある。

源データに基づくデータに加えて、メタデータの生成においては他のデータが使用されてもよい。たとえば、ターゲット・ディスプレイ（単数または複数）に関する情報が使用されてもよい。そのようなターゲット・ディスプレイ値は：どのディスプレイが使用されたかおよびその仕様、その最大および／または最小ルミナンス、コントラスト、ガンマ値およびその色域を含んでいてもよい。ディスプレイの環境の記述子など、他のターゲット・ディスプレイ仕様および値が使用されてもよい。さらに、源環境のメタデータ記述子を使うことが可能でありうる。たとえば、そのようなメタデータはフィルム・セットまたはグレーディング・ルーム環境についての情報またはグレーディング・ディスプレイの仕様（これはDMモジュールにとって関心がある可能性がありうる）を含みうる。

ディスプレイ管理メタデータ
図４は、源画像および／またはビデオ・データ４０２から導出可能なメタデータ・パイプライン４００を描いている。源データ４０２は、輝度、クロマおよび色相といったいくつかのメトリックのデータ（４０４）を抽出するために――画像データならフレームとして、ビデオ・データならフレームごとに――解析されてもよい。このデータから、さまざまなフォーマットの個々のヒストグラム４０６――たとえばグローバル・ヒストグラムまたは行／列ヒストグラム――を生成することが可能である。あるいはまた、入力画像またはビデオは空間的にサブサンプリングされ（たとえば、マルチスケール・アプローチ）、その後各スケール層についてステップ４０４および４０６が行なわれてもよい。所望に応じてヒストグラム・メタデータの他のフォーマットが導出されてもよいことは理解しておくべきである。

空間的関係に基づくメタデータに加えて、時間的関係または空間および時間的関係の組み合わせに基づく他の形のメタデータが生成されてもよい。図５は、メタデータが導出されうるもとになるデータの可能なセットの範囲を描いている――（左から右に）その導出において考えられる時間的データの量が増すようになっている。右端では、個々のフレームがメタデータのために調べられてもよい。もちろん、単一フレームは単一の時点において取られるので、時間的データは実質的に0である。ある実施形態では、各フレームは、ある積分時間（たとえば各フレームについて1/60秒）にわたって光子を捕捉して作成されたものである。写真では、この情報はEXIFファイルに存在することがある。現在のところ、これはフィルムでは典型的には利用可能ではないが、そのような情報は将来的には利用になることがありうる。積分時間は、捕捉された本物のシーンが明るかったかまたはむしろ暗かったかを語ることができてもよい。

次に、ピクチャー・グループ（GOP: Group of Pictures）が解析されてもよく（おそらくは5〜10フレームの画像データ）、次いでより多くの（だがおそらくはかなりの量の共通の輝度、クロマおよび色相を共有する）フレームを有するシーン、次いでフィルム内のチャプター、次いでフィルム全体が解析されてもよい。これは、マルチスケール・アプローチによって影響されてもよい。

いくつかのフィルムにわたって、計算されたメタデータにおいて監督のスタイルが見極められることがある。同様のテーマの映画に関与する幾人かの監督にわたって、メタデータは、ジャンル・スタイルのパターンを見極めることができることがある（たとえば、吸血鬼映画は低輝度、高コントラスト、高クロマなどである傾向がある）。適切なメトリックが考慮に入れられるならば時間的メタデータが望ましいことがありうることは理解しておくべきである。

本稿に記述される実施形態のいくつかを例解するために、図６のＡは、宇宙空間における銀河へのフライトのシミュレーションのビデオ・クリップの表現である。この特定のクリップは数百（たとえば500超）のビデオ・フレームを含んでいてもよい。図６のＢ、Ｃ、Ｄはそれぞれ明度（lightness）、クロマおよび色相データの（時間を追ったおよびフレームごとの）解析を表わす。より具体的には、図６のＢ、Ｃ、Ｄのそれぞれは、x軸を横断して動くフレームごとに読まれてもよい。任意の所与のx座標において（すなわち、所与のフレームにおいて）、メトリックの最大、最小および平均が示されている。目で左から右に追っていくと、見る者は、進展するビデオに関して、そのビデオがどのように変化しているかの感覚を得ることができる。さらに、入力ビデオ・フレームは（たとえばマルチスケール・アプローチにおいて）解析前にサブサンプリングされてもよい。また、タイムラインが（たとえばマルチスケール・アプローチにおいて）サブサンプリングされてもよい。これは、組み合わされた空間および時間的マルチスケール・アプローチにつながりうる。

画像から計算された統計に依存して、画像操作は同定能力に影響しない（たとえば、コンテンツを参照コンテンツと比較するためにベイズ統計を使うことが可能である）。それはたとえばカラー・グレーディングによって引き起こされる。図７のＡおよびＢは、同じビデオ・クリップのVDR（すなわち、視覚的ダイナミックレンジまたは他の何らかの高められたおよび／または増大させられたダイナミックレンジ）とSDR（すなわち標準ダイナミックレンジ）のグレードの間の統計的類似性を示している。図７のＡおよびＢは、図６のＡに同様に描かれうるようなシミュレートされたフライトの二つの異なるグレードによって導出されたメタデータの二つのセットを示している。図７のＡは、4000cd/m²のmax能力（0.01cd/m²min）をもつモニタ上でのグレーディングから導出され、図７のＢは、120cd/m²のmax能力（0.005cd/m²min）をもつCRTモードでのモニタ上でのグレーディングによって導出される。各フレーム（たとえばフレーム１００）において、そのフレームの最大および最小ルミナンスが、そのフレーム内の平均ルミナンスと一緒に表わされている。ダイナミックレンジ、よってグレードが異なるものの、同じビデオの二つの異なるグレーディングの間には統計的な相関があることが理解されるはずである。

効率的なメタデータ構造
源データ、ターゲット・ディスプレイまたは両者の何らかの組み合わせに関するこの属性のセットから、メタデータが生成されうる。このメタデータは、何らかの可能な画像統計に依拠していてもよい。たとえば、明度、クロマおよび／または色相のヒストグラム・プロットがメタデータを導出するために使われてもよい。３０８では、このメタデータが（可能性としては源データと一緒に）、効率的な記憶またはデータ構造中に記憶されるよう、サンプリングおよび／またはサブサンプリングされてもよい。あくまでも一例として、メタデータおよび／またはデータは、非特許文献１または２に記載されるようなピラミッド構造に記憶されてもよい。

図８は、画像のx軸およびy軸上での多層空間サブサンプリングに基づくそのようなピラミッド構造８００を描いている。見て取れるように、もとの画像はプロセス中の基本層――層G₀――であってもよい。処理ステップを上に進むと、新しい各層（たとえば層G₁、……、層G_n）が、下にある諸層を復元しうるもとになるエンコード・レベルを表わす。そのような空間的画像ピラミッドを使うと、種々の空間周波数のための画像統計を計算することが可能である。

あるさらなるオプションは、「ガウシアン差分」（DoG: Difference of Gaussians）画像（空間周波数帯域通過）に基づいて統計を計算することである。図９は、DoGエンコードを使って構築される一つのそのようなピラミッドを表わしている。上の諸画像はDoGピラミッドを使った画像のステップごとの再構成を表わしている。

先述した統計的および空間的解析は、多次元画像ピラミッドの形で組み合わされてもよい。空間的情報を使うピラミッド（たとえば図８）のほか、空間周波数分布、見え相関量（明度、クロマおよび色相、たとえば図４）のような他の画像パラメータの（および該他の画像パラメータからの）ヒストグラム・ピラミッドならびに行および列ヒストグラム（やはり図４）を構築することが可能である。このアプローチは、時間スケール上で拡張されてもよい。その場合、ピラミッドは、フィルム全体、チャプター、シーン、ブロックおよび単独フレームについての統計を記述する諸レベルを含むことができる（たとえば図５）。時間を追って最小、平均および最大見え相関量を示す例示的なシーンが図６に描かれている。

図１０は、DRMアプリケーションのコンテキストにおいて、メタデータの効率的なピラミッド構造の使用を描いている。レガシー源フィルムのセットがその関連性のある統計的特徴について以前に解析され、図１０のピラミッド１に記憶されているとする。閲覧者／ユーザーがビデオ・データのストリーム（たとえば、試験画像データのセット）を見ている場合、そのような統計は、オンザフライで計算され、それ自身の関連付けられた構造――たとえばピラミッド２――に記憶されていてもよい。ピラミッド２が構築されるおよび／またはピラミッド２に値が入れられる際、そのピラミッド（またはピラミッド２は時間とともに構築されるおよび／または値を入れられるので、その一部）を以前に記憶されたピラミッドのデータベースに対して比較することが可能であろう。図１０に描かれるように――そして、ビデオ・ストリームは実質的にピラミッド１および２の両方を生成するのと（下記でさらに論じるように可能性のある異なるバージョンまたは劣化したビデオ・コンテンツの許容差の範囲内で）同じであるとすると――、ピラミッド２がピラミッド１についての層１においてそこそこ良好なマッチである場合、マッチの信頼度は初期に評価されうる（たとえばマッチの10%蓋然性）。ピラミッド２についてさらなる諸層が計算され、ピラミッド１に対してマッチングされるにつれ、マッチについての信頼度レベルが、たった数層後に実質的に上昇しうることが見て取れる。マッチがある閾値内の信頼度をもつ場合、システムは、ユーザーがそのようなストリームを見る権利をもつかどうかを（ライセンス、ユーザーの国または地域の現地の法などに従って）判断してもよい。多くの場合において、ピラミッド・ステップのすべてが計算され比較され終わる前に信頼度閾値に到達しうるので、可能性としては、この実施形態についての計算およびコストを軽減しうる。図１０はこの可能性を示している。たとえば、99.99%の閾値に、このピラミッドの層４において到達しうる。

この型の効率的なメタデータ記憶の他の使用が可能であることがある。たとえば、ビデオ・コンテンツのマッチがなされる場合、メタデータは、DM再生調整のために使用されてもよい。先述したように、そのような再生調整は、閲覧者のディスプレイの仕様およびパラメータを考慮に入れてもよい。図１１は、DM処理の一つの実施形態を描いている。図１１の左側１１０２では、源ビデオ・ファイルについてのメタデータがルミナンス、色域および／またはダイナミック・コントラストについて計算される。図１１の右側１１０４は、ターゲット・ディスプレイ（たとえばTV、コンピュータ・モニタ、映画スクリーンなど）のパフォーマンス範囲および／または限界を、同様の仕様、たとえばダイナミックレンジ、色域、ルミナンスなどについて、描いている。ある実施形態では、（１１０６によって描かれる）三本の実線は、ターゲット・ディスプレイのパフォーマンス・レンジの実質的に全部にマッピングされる源データの低ないし高中（high-mid）レンジ（またはグローバル統計平均）のマッピングを与えている。これは、たとえばレンダリングされているシーンが非常に明るい画像を利用していない場合に望ましいことがありうる。しかしながら、ビデオ・ストリームの異なるパーツまたは部分の間は、非常に明るいシーンがあることがある（三本の破線１１０８で示されるように）。この場合、源データの高ないし中レンジがターゲット・ディスプレイのパフォーマンス・レンジの実質的に全部にマッピングされてもよい。源画像データをターゲット・ディスプレイのパフォーマンス・レンジにレンダリングするこれらのモードが――画像および／またはシーン解析に依存して――動的であってもよいことは理解されるであろう。

これらの統計をもつことで、システムおよび／またはパイプラインはビデオ・コンテンツの再生を、異なるマッピング属性をもつ新しいターゲット画像パイプライン中にまたは図１１に描かれるようにターゲット・ディスプレイ上に最もよくマッピングし直されるよう調整することができる。ここで、たとえば業務用スタジオ・モニタ１１０２上でカラー・グレーディングされているため拡張されたダイナミックレンジを提供する入力素材は、標準的な（たとえば消費者用）表示装置１１０４にマッピングされることに関して、幅広い範囲の可能性を提供する。メタデータ・プロセッサ２０２によって計算される統計によって提供されるメタデータは、ここでは、１１０６（源のより暗い画像領域に強調がある）または１１０８（小さなハイライト領域が強調される）のようないずれかのマッピング方針を使う決定において使用されてもよい。むろん、これはダイナミックレンジ圧縮に限定されなくてもよい。そのような方針は、色域マッピング方針にも適用されうる。

フィルム編集および復元
この型の効率的なメタデータ記憶および／またはモデル化のもう一つの可能な使用は、フィルム編集および／または復元の分野においてでありうる。図１２は、編集および／または復元のある実施形態を描いている。単に解説上の理由のため、フィルムの最終カット１２０６は最初、三つのリール１、２および３（すなわち、それぞれ１２０４ａ、１２０４ｂおよび１２０４ｃ）から編集されたとする。さらに、リール１の一部分は最終カット１２０６における冒頭シーケンスを生成するために使われ、リール２の一部分は該最終カットにおける中間シーケンスを生成するために使われ、リール３の一部分は該最終カットの終わりを生成するために使われたとする。さらに、何年かが経過して、「マスター」最終カットが失われるか経時劣化しうるが、何らかのバージョンが（可能性としてはVHS上で）利用可能であると想定してもよい。さらに、リール１、２および３が存在していてもよく、もとの最終カットを反映しうる何らかの源素材からの高品質最終カットを（再）生成することが望まれていると想定されてもよい。

この場合、源素材から（たとえばリール１、２および３から）――最終カットのリリース前にまたはその後の任意の時点に――統計が計算されてもよい。さらに、統計の同じ諸セットが利用可能な「最終カット」について計算されてもよい。これらの統計は、最終カットに使われた源素材のフレームを同定するのを助けるであろう。最終カット（またはその変形）を再生成することが望まれるとき、それらの統計は、最終カットの何らかのバージョンを源素材と比較するために使われてもよい。

ある実施形態では、例示的な作業フローが図１２のように与えられてもよい。ボックス１２０２は、編集決定リスト（EDL: Edit Decision List）１２０６を使って源リール（１２０４ａないしｃ）から最終カット１２０８に行く典型的な編集プロセスを記述していてもよい。通例、複数の最終カットが――たとえば異なる市場または地理的領域のために――生成されうる。この編集プロセスが遠い過去（たとえば数十年前）のものであった場合、EDLは通例、もはや利用可能ではない。しかしながら、フィルム・リールは通例アーカイブされている。ここで、頒布後の最終カット（１２１０）およびアーカイブからのフィルム・リール（１２０４ａないしｃ）が、本願に記述される方法を使って――たとえば（可能性としては図１０に示されるような）例解したピラミッド式アプローチを使って――統計的に解析されてもよい。一つのゴールは、再構成されたEDL １２１４を得るために、現在の最終カット１２１０およびアーカイブ１２０４ａないしｃからのフィルム・リール上でのマッチするフレームを同定することでありうる。たとえ既存の最終カットが劣化していたとしても（たとえば、アナログ・ビデオ・テープでのみ存在しているとしても）、これはいまだ可能であることがある。再構成されたEDLを使って、アーカイブからのリールは今や、たとえば高精細度および／またはより高いダイナミックレンジ・バージョンにおいて、再カットされてもよい（１２１６ａないしｃ）。

障害または誤り耐性のある処理
さらに、映画全体がストリーミング（または顧客による閲覧）の前に計算上アクセス可能であれば、統計は非常に堅牢であるべきである。しかしながら、たとえビデオがユーザーまたはユーザーの集合にブロードキャストされるとしても、分類子（classifier）の信頼度は短い時間期間の間に高まり、現在のフレームまたはシーンの堅牢な動的を許容するべきである。

統計的アプローチを使うことのさらなる恩恵は、たとえ映画またはシーンが（たとえば異なる国または市場のために）異なる仕方でカットされているときでも、フレームが同定できるということである。これは、ピラミッド構造が代替的なカットを同定するために役に立つところである。これはたとえば、ピラミッドの各次元の種々のレベルを比較して、どこで互いに乖離するかを同定することによって実行できる。これは、諸変形に「ホームインする（home in）」ことを許容する。

本願のある実施形態では、システムは、SDRストリームのみが利用可能である場合にも堅牢であり、完全なVDRストリームを再構成するために必要とされることになる欠けている画像部分を決定するべきである。そのために必要とされるデータの量（VDR−SDR＝転送されるべき情報）は、フルVDRストリームを送信するよりも少ない可能性が高く、よってモバイル・インターネット接続を介して転送されることができる。もう一つの実施形態では、フル・ビデオの計算および記憶コスト（そして可能性としては実際のドルまたは他の何らかの通貨単位でのコスト）のほんの一部で、閲覧者がすでに所有しているDVDのオンザフライVDRバージョンを生成することが可能である。ビデオ中の全フレームの位置は潜在的に知られているので、このアプローチは、異なる国における異なるカットまたは映画リリースに対して堅牢であるはずである。このすべての情報に基づいて、誤り統計に基づく分類子を計算できる。個々のフレームを同定することのほかに、この情報は、たとえばオンライン・データベースと比較されることもできる。このデータベースはたとえば、消費者の閲覧選好を同定する（たとえば、どのメディア、言語バージョン、カット、VDR/SDR、グレーディングかを識別する）ために使用されることができる。

本発明の一つまたは複数の実施形態の詳細な記述を与えてきた。これは、付属の図面と一緒に読まれ、本発明の原理を例解する。本発明はそのような実施形態との関連で記述されているが、本発明はいかなる実施形態にも限定されないことは理解されるものとする。本発明の範囲は、請求項によってのみ限定され、本発明は数多くの代替、修正および等価物を包含する。本発明の十全な理解を提供するために、数多くの個別的詳細が本稿に記載されてきた。これらの詳細は、例のために提供されているのであって、本発明は、これらの個別的詳細の一部または全部なしで請求項に従って実施されてもよい。明確のため、本発明が無用に埋没させられることのないよう、本発明に関係する技術分野において知られている技術的素材は詳細には記述していない。

Claims (16)

1. 画像のセットからのメタデータの生成のためのメディア・プロセッサであって、当該システムは：
   データの第一のセットのための入力であって、前記データの第一のセットはさらに画像データ、メタデータおよび画像データ／メタデータからなる群のうちの一つを含む、入力と；
   前記データの第一のセットを受領できるメタデータ・プロセッサであって、前記メタデータ・プロセッサは前記画像データのセットから、前記データの第一のセットに基づく統計データを含むメタデータのセットを計算することができる、メタデータ・プロセッサとを有しており、
   前記メタデータ・プロセッサはさらに、前記メタデータのセットのマルチスケール・バージョンを生成および記憶することができる、
   メディア・プロセッサ。
2. 前記メタデータのセットがさらに、前記データの第一のセットから直接導出される統計的属性および前記データの第一のセットの画像見え相関量から導出される統計的属性からなる集合のうちの少なくとも一つを含む、請求項１記載のメディア・プロセッサ。
3. 前記統計的属性がさらに、平均、分散、歪度、尖度、統計的モーメント、ヒストグラム、画像ピラミッド、エッジ、勾配、フレームレート、分解能およびビット深さからなる群のうちの少なくとも一つを含む、請求項２記載のメディア・プロセッサ。
4. 前記マルチスケール・バージョンが、前記メタデータのセットのサブサンプリングされたセットを含み、前記メタデータのセットの前記サブサンプリングされたセットは効率的なデータ構造中に記憶される、請求項１記載のメディア・プロセッサ。
5. 前記効率的なデータ構造は、ピラミッド構造およびマルチスケール構造からなる群のうちの一つを含む、請求項４記載のメディア・プロセッサ。
6. 前記ピラミッド構造が、空間的画像情報から導出されたデータのピラミッド、時間的画像情報から導出されたデータのピラミッドおよび空間時間的画像情報から導出されたピラミッドからなる群のうちの一つを含む、請求項５記載のメディア・プロセッサ。
7. DMプロセッサ、DRMプロセッサ、圧縮プロセッサ、TMプロセッサ、CAMプロセッサ、色域マッピング・プロセッサからなる群の一つをさらに有する、請求項６記載のメディア・プロセッサ。
8. 画像データのレガシー・セットの集積された統計の第一のセットから導出された第一のピラミッド構造に対して試験画像データのセットをDRM処理することを実行する方法であって、当該方法は：
   時間を追って前記試験画像データから統計の第一のセットを計算する段階と；
   時間を追って前記試験画像データからの統計の前記第一のセットから試験ピラミッド構造を導出する段階と；
   前記試験ピラミッド構造の一部を前記第一のピラミッド構造に対して比較する段階と；
   前記比較する段階からマッチ条件について試験する段階と；
   前記試験する段階が所与の閾値範囲内のマッチを判別するときにマッチ条件を返す段階とを含む、
   方法。
9. DRM処理することを実行する前記方法が、前記試験画像データが属する源フィルムがどれであるかを決定する方法を含む、請求項８記載の方法。
10. ターゲット・ディスプレイ上でレンダリングされるべき画像データのセットをDM処理することを実行する方法であって、前記ターゲット・ディスプレイは一組のディスプレイ仕様を有しており、当該方法は：
    時間を追って前記画像データから統計の第一のセットを計算する段階と；
    統計の前記第一のセットの前記一部を前記ディスプレイ仕様に対して比較する段階と；
    統計の前記第一のセットの前記一部についての前記ディスプレイ仕様に対するマッチ条件について試験する段階と；
    前記ディスプレイ仕様を有する前記ディスプレイ上で前記画像データの前記一部をレンダリングする段階とを含む、
    方法。
11. 統計の前記第一のセットを計算する前記段階が、時間を追った前記画像データの群の一つを計算することを含み、前記群はダイナミックレンジおよび色域を含む、請求項１０記載の方法。
12. 前記一組のディスプレイ仕様は、前記ディスプレイのダイナミックレンジおよび前記ディスプレイの色域からなる群のうちの一つを含む、請求項１１記載の方法。
13. 前記試験する段階がさらに、あるシーンでのビデオのダイナミックレンジと前記ディスプレイの前記ダイナミックレンジとの、および、あるシーンでのビデオの色域と前記ディスプレイの前記色域との、からなる群のうちの一方のマッチについて試験することを含む、請求項１２記載の方法。
14. 前記ビデオのダイナミックレンジにある前記シーンが前記ディスプレイ上でレンダリングされる、請求項１３記載の方法。
15. フィルムのマスターカットを復元する方法であって、前記フィルムは一組の源リールに由来し、劣化したバージョンであり、当該方法は：
    前記源リールから統計のセットを計算する段階と；
    前記劣化したバージョンから統計のセットを計算する段階と；
    前記劣化したバージョンからのフレームをなす前記源リールからのフレームを同定する段階と；
    同定された前記源リールからのフレームから前記フィルムのマスターカットを生成する段階とを含む、
    方法。
16. 前記フィルムのマスターカットを生成する前記段階がさらに、前記マスターカットについてのEDLを生成することを含む、請求項１５記載の方法。