JP2008519497A - 拡張された色空間コンテンツのマスタリングおよび配信を行う方法およびシステム - Google Patents

Abstract

ＣＲＴの色空間を超える表示機能を有する複数の異なる表示装置（対象色空間）のために拡張された色空間コンテンツのマスタリングおよび配信を行うための方法およびシステムが提供される。コンテンツ・クリエータは、各対象色空間のために、ベース、または基準色空間、さらに拡張された色空間データを設定する。拡張された色空間データは、メタデータとして記憶され、ベース／基準色空間とは別個の拡張された色チャンネルを介して伝送される。ベース／基準データおよびメタデータの双方は、伝送前に符号化され、消費者の側で専用の復号器または、復号器が組み込まれた表示装置を用いて復号化される。本発明の他の態様においては、例えば、輝度、ルミナンス、コントラスト、さらに、他の表示設定項目など、対象色空間に関する補助データが拡張された色チャンネルを介して伝送され、対象色空間の各設定項目（即ち、各表示設定項目）を制御するために復号化される。色調節メタデータは、所望の実施態様に依存して、補助データの中に含まれる場合もあれば、補助データとは別個に保存される場合もある。

Description

本出願は、２００４年１１月１日付で出願された米国仮特許出願第６０／６２３,８８２号の優先権を主張する。

１．発明の分野
本発明は、コンテンツの作成および配信に関する。より具体的には、本発明は、ＣＲＴに基づかない新たに出現した表示技術と共に使用されるコンテンツの作成および配信を改良する（ｅｎｈａｎｃｉｎｇ）方法およびシステムに関する。

２．従来技術の説明
今日の、現状の技術では、家庭用ビデオ表示装置上で、芸術的な（即ち、色（ｃｏｌｏｒ：カラー）に関する）意図を再現することが、不可能ではないにしても、困難である。一般的に、このような再現が可能である場所は、フィルムやディジタル・シネマの劇場の中のみである。この色に関する「コンテンツ・クリエータの芸術的な意図」は、本明細書において、コンテンツの「色空間（ｃｏｌｏｒ ｓｐａｃｅ：カラー・スペース）」と言及される。

消費者用の色空間は、常に、従来のＣＲＴ（Ｃａｔｏｄｅ Ｒａｙ Ｔｕｂｅ）表示装置の対象となってきた。色空間を異なる表示装置に拡張する思想は、研究や出版物の対象となっている。幾つかの企業は、自社の表示装置における色域やダイナミック・レンジを改良する方法を提案しているが、今日に至るまで、後方互換性（ｂａｃｋｗａｒｄｓ ｃｏｍｐａｔｉｂｉｌｉｔｙ）を提供するエンドツーエンドのシステムは知られていない。

新たな表示技術に対する開発が続けられ、消費者市場に投入されつつある。このような新たな表示技術は、従来のＣＲＴに基づく表示装置を用いた場合よりも、より優れた画質再現性を提供する。しかしながら、今日のビデオ・コンテンツのマスタリング処理、配信システム、符号化システム、および信号伝達は、ＣＲＴのみに基づいている。

高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）、拡張色域（ＥＣＧ：Ｅｎｈａｎｃｅｄ Ｃｏｌｏｒ Ｇａｍｕｔ：エンハンスド・カラー・ガモット）およびその他の特徴を使用した新たな表示技術が消費者市場に投入されており、これらの表示技術の潜在能力を最大限にするための新たなコンテンツのプロダクション・チェインを構築する必要が生じている。これらのタイプの新たな表示技術の例として、限定するものではないが、液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）、プラズマ・ディプレイ・パネル（ＰＤＰ：Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、高ダイナミック・レンジ（ＨＤＲ）および拡張色域（ＥＣＧ）の表示装置が挙げられる。

図１は、今日のポスト・プロダクション処理における色空間の関係１００を示している。この例においては、３つの別個の色調整（１０６、１０８、１１０）が実施される（即ち、１つはフィルム１０６用、１つはディジタル・シネマ１０８用、１つはビデオ１１０用）。熟練したカラリストによってディジタル・コース・コンテンツ（ｄｉｇｉｔａｌ ｃｏｕｒｓｅ ｃｏｎｔｅｎｔ）の色が調節される（１０４）。フィルム・マスタ１０６（本明細書において色空間Ｘと言及する）には、フィルム・プロジェクション用のコンテンツを作成するために、シーン毎の調節が必要となる。ディジタル・シネマ・マスタ１０８（本明細書において色空間Ｙと言及する）には、ディジタル・シネマのためにシーン毎の調節が必要となり、ビデオ・マスタ１１０（色空間Ｚと言及する）には、家庭用のビデオ環境のためにシーン毎の調節が必要となる。

各バリエーションの特性の間には大きな差異が存在するため、これらの色調整（ｃｏｌｏｒ ａｄｊｕｓｔｍｅｎｔ：カラー・アジャストメント）は、大変クリエイティブな処理であり、簡単に自動化することはできなかった。今日まで、これらバージョンの１つを別のものに変換することが可能な、広く利用可能な数学的な変換は存在していない。従って、新たな表示のタイプや技術の追加に伴い、図示したものから大きな分岐が生じているため、これらの新たな表示機能に対応する追加のバリアント・マスタ（ｖａｒｉａｎｔ ｍａｓｔｅｒ）を作成することが必要となっている。

（発明の概要）
従って、本原理の一つの態様によれば、新たな解像度表示画面の潜在的可能性を利用した拡張された色空間のマスタリングおよび配信を行うためのシステムが提供される。

本原理の別の態様によれば、コンテンツ・クリエータの当初のクリエイティブな意図を視聴者に伝えるように設計されたシステムおよび方法が提供される。さらに、本原理の別の態様によれば、新たな表示のタイプの潜在能力を十分に利用してコンテンツを作成し、バリエーションが増えた効率的な作成のための需要に対応するシステムが定義される。

本原理に従ったこれらの態様およびその他の態様においては、対象表示装置の対象色空間のために拡張された演色（ｅｎｈａｎｃｅｄ ｃｏｌｏｒ ｒｅｎｄｉｔｉｏｎ）が得られるようにコンテンツを修正する方法は、コンテンツを少なくとも部分的に、少なくとも１つのコンテンツ・クリエータの意図に従ってマスタリングするステップを含んでいる。マスタリングするステップは、基準色空間に関し、各対象色空間のためにコンテンツの中で演色を調節するステップを含んでいる。対象表示装置上で拡張された演色を用いてコンテンツを表示することを可能にするために、対象色空間に対して特に行われる演色の調節についての情報に従ってマスタリングされたコンテンツを符号化する。

本発明の一態様によれば、調節するステップは、各対象色空間に対して特に調節された情報をメタデータとして記憶するステップを含んでいる。

符号化するステップは、ベース・バンド基準コンテンツを識別するステップと、ベース・バンド基準コンテンツを圧縮するステップと、圧縮されていないベース・バンド基準コンテンツおよび圧縮されたベース・バンド基準コンテンツとの間の色差を判定するステップと、によって拡張された色チャンネルを作成するステップを含んでいる。

コンテンツが符号化されると、この符号化されたコンテンツは、拡張された色伝送チャンネルを介して伝送される。調節された演色を示す色情報を有する符号化されたコンテンツが受信されると、復号化された演色情報に従って対象表示装置の色表示特性が調節される。結果として得られたコンテンツは、視聴者の対象表示装置上で表示される。

復号化されたコンテンツには、ベース・バンド基準データと、対象色空間に特有の、対象表示装置の表示機能に従ってトゥルー・カラーを再現するように適合された色調節データとを含めることができる。

本原理の別の態様によれば、コンテンツをマスタリングするステップは、各対象色空間に関する補助データを識別し、当該補助データを記憶するステップを含んでいる。本原理の別の態様によれば、伝送前にメタデータが補助データと組み合わされる。メタデータおよび補助データの一方は、対象表示装置の各設定項目に対して行われる各調節に関するダイナミック表示情報データを含んでいる。例として、このような表示装置の各設定項目は、輝度、コントラスト、およびルミナンスを含んでいる。

本原理のさらに別の態様によれば、対象表示装置の非標準システムの対象色空間のために拡張された演色が得られるようにコンテンツを修正する方法は、標準システムのコンテンツに対してなされる必要のある非標準システムの対象色空間に対して特に行われる各調節を識別して、非標準システムの対象色空間に再現するステップを含んでいる。各調節は、少なくとも部分的に、少なくとも１つのコンテンツ・クリエータの意図に従って行われる。各対象色空間のための識別された各調節についてのデータは、メモリに記憶され、対象色空間に対応する対象表示装置上の拡張された演色を用いてコンテンツを表示することを可能にするために、記憶された対象色空間のための各調節についてのデータに従ってベース／基準データが記憶された調節についてのデータと共に符号化される。

符号化するステップは、ベース・バンド基準コンテンツを圧縮するステップと、ベース・バンド基準コンテンツを圧縮するステップと、圧縮されていないベース・バンド／基準コンテンツおよび圧縮されたベース・バンド／基準コンテンツとの間の色差を判定するステップとによって拡張された色チャンネルを作成するステップを含んでいる。

対象表示装置の対象色空間のために拡張された演色が得られるようにコンテンツを修正するシステムは、少なくとも部分的に、少なくとも１つのクリエータの意図に従って、基準色空間に関して各対象色空間のためにコンテンツ内で演色を調節する手段と、対象装置上で拡張された演色を用いてコンテンツの表示を可能にするために、調節された演色を示す色情報を有するコンテンツを符号化する手段とを含んでいる。

符号化されたビデオは、拡張された色チャンネルを介して伝送される。拡張された色チャンネルは、圧縮されたベース・バンド／基準コンテンツと、圧縮されていないベース・バンド／基準コンテンツおよび圧縮されたベース・バンド／基準コンテンツとの間の色差に関する色差情報とを含んでいる。

本発明のその他の目的および特徴は、添付図面と併せて以下の詳細な説明を考慮することによって明らかになる。しかしながら、各図面は、例示的な目的のためだけのものであり、本発明の範囲を定義するものではない。発明の範囲については、請求の範囲を参照すべきである。さらに、図面は、必ずしも実際の寸法に合わせて描かれたものではなく、特別に示されていない限り、本明細書中で説明する構造よび処理を単に概念的に例示するように意図されている。

各図面において、同様の構成要素については、同様の参照符号を用いて表している。

本願において説明するビデオなどの拡張された色空間コンテンツのマスタリングおよび配信を行うためのシステムおよび方法は、従来のＣＲＴに基づくカラー・テレビジョン・システムなどの従来の表示装置よりも優れたピクチャの再現性を提供する新たな表示技術が利用可能になったことを理由として実現されるものである。画像の再生品質が向上し、コンテンツ・クリエータの当初の意図から犠牲にしなくてはならないものが少なくなる。しかしながら、新たな表示技術の数の増加に伴い、このような新たな表示技術の各々は、異なる表示特性を有するため、各表示技術の個々の特性に対応するように、コンテンツのバリエーションの数を増加させる必要がある。

上記の「コンセプト（ｃｏｎｃｅｐｔ）」は、視聴者に対し、色に関し、または、テクスチャ、強度、ノイズなど想定される他の画像特性に関し、コンテンツ・クリエータの芸術的な意図を表示装置上で観察できるようにする能力を提供するものとして説明される。本発明のシステムおよび方法は、本明細書に渡って、「ディレクターズ・ビジョン（Ｄｉｒｅｃｔｅｒｓ Ｖｉｓｉｏｎ）」として参照され、本明細書において、この用語は、本発明のシステムよび方法と同じ意味で使用されている。

ピクチャ（映画）の再生品質が向上し、コンテンツ・クリエータの当初の意図から犠牲にしなくてはならないものが少なくなる。しかしながら新たな表示技術の数の増加に伴い、このような新たな表示技術の各々は、異なる表示特性を有するため、各表示技術の個々の特性に対応するように、コンテンツのバリエーションの数を増加させる必要がある。本発明は、これらの増加したバリエーションを効率的に作成するための需要に対応し、各表示タイプの潜在能力を十分に活用したコンテンツの作成および配信を行うシステムを定義する。

以下の説明は、「標準のビデオ・システム（ｓｔａｎｄａｒｄ ｖｉｄｅｏ ｓｙｓｔｅｍ）」について言及したものである。この「標準のビデオ・システム」は、本明細書において、標準の解像度または高解像度（例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ、ＣＣＩＲ−６０１、ＩＴＵ−Ｒ ｂｔ．７０９など）を有する、色空間が従来のＣＲＴ蛍光体技術に基づく既存のビデオ・システム、または、ビデオ・シグナリング・フォーマットを意味するように定義される。以下の記載より明らかになるであろうが、本原理の技術は、他のタイプのコンテンツ配信システムにも適用することができる。

以下の説明は、理論的なメディア・ソース（例えば、「プレイヤー」）にも言及している。メディア・ソースは、パーソナル・コンピュータおよびゲーム・コンソールを含み、ＤＶＤ、ＨＤブルーレイ・ディスク（ＨＤ Ｂｌｕ‐Ｒａｙ Ｄｉｓｃ）、衛星を利用した装置、または他の装置など、表示装置にコンテンツを提供可能などのような装置をも含むように解釈される。

本発明のディレクターズ・ビジョン・システムは、例えば、ＨＤＲ表示などのような表示が可能な表示装置のためにより良好な画像を提供する。このコンテンツを配信するためのシステムの１つとして以下のものが想定される。
ディレクターズ・ビジョンのオーサリングがなされたＨＤ光学ディスク→ディレクターズ・ビジョンが可能なプレイヤー→ＨＤＲテレビジョン
他の配信経路も想定され、実際の復号器を幾つかの場所に存在させることもできる。いずれの場合においても、コンテンツは、既知の色空間、または基準の色空間を用いて作成されなければならない。

本原理の技術は、ハードウエア、ソフトウエア、ファームウエア、特定用途プロセッサ、またはこれらを組み合わせた様々な形態で実施可能である。本発明は、ハードウエアとソフトウエアとを組み合わせることによって実施されることが好ましい。さらに、ソフトウエアは、プログラム記憶装置に具体的な形態に実装されたアプリケーション・プログラムとして実行されることが好ましい。アプリケーション・プログラムは、好適なアーキテクチャーを有するマシンに対してアップロードされ、このマシンによって実行可能なものであってもよい。好ましくは、マシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースを備えるコンピュータ・プラットフォーム上で実施される。このコンピュータ・プラットフォームは、オペレーション・システムとマイクロ命令コードを更に備えるものであってもよい。本明細書において記載された様々な処理および機能は、マイクロ命令コードの一部であってもよいし、アプリケーション・プログラムの一部であってもよいし、これらを組み合わせたものであってもよいし、また、オペレーティング・システム（ＯＳ）に介して実行されるものであってもよい。さらに、コンピュータ・プラットフォームには、追加のデータ記憶装置や、印刷機等、様々な周辺機器を接続するようにしてもよい。

添付図面に描かれた構成要素としてのシステム・コンポーネントや方法の各ステップの幾つかは、好ましくは、ソフトウエアの形態で実施されるため、システム・コンポーネント（または処理ステップ）間の実際の結合は、本発明のプログラムの仕方によって異なる場合があるであろう。本明細書の開示内容に基づいて、関連する技術分野の当業者であれば、本発明の構成で実施すること、また、同様の構成で実施することが可能であろう。

本発明の説明は、１）コンテンツ作成、２）コンテンツ・パッケージング、３）コンテンツ符号化、および４）コンテンツ表示の４つの領域に分けられる。

図２は、本発明の一態様に係る拡張された色空間コンテンツのマスタリングおよび配信を行う方法およびシステムのためのハイレベル・ブロック図を示している。図示するように、まずコンテンツのマスタリングが行われ（２０２）、次に、パッケージングが行われる（２０４）。パッケージングされたコンテンツは、チャンネル（２０６）を介して伝送され、復号器（２０８）によって受信され、消費者の表示装置上での表示のために復号化される。

Ｉ．コンテンツ作成／マスタリング
図３は、図２のコンテンツ作成／マスタリングのステップ２０２の間に実行される主要なステップの幾つかを示すブロック図である。カラリストは、高解像度のディジタル・ソース・コンテンツ（ＤＳＣ：Ｄｉｇｉｔａｌ Ｓｏｕｒｃｅ Ｃｏｎｔｅｎｔ）から始め、較正された表示装置（例えば、Ｐ７Ｖ２ディジタル・シネマ色空間に較正されているディジタル・プロジェクタ）上で示されているように、コンテンツ・クリエータの意図に沿うように、ステップ３０４において色表示を調節する。表示装置の各タイプは、大幅に異なる特性を有するため、各々のために異なるマスタを作成することが本質的にクリエイティブな処理である。視覚機能を拡張することが可能な新たな表示技術が市場に投入され、これらの技術を十分に活用するために、追加のコンテンツ・バリエーションが作成されなければならない。本明細書中で説明するディレクターズ・ビジョン・システムは、これらの異なるマスタの各々を破壊的でない方法で作成するためのメカニズムを定義する。これは、ステップ３０２でフィルム要素をディジタル・スキャンしたものなどのディジタル・ソース・コンテンツ（ＤＳＣ）から開始することによって行われる。その後、ステップ３０４の間に個々のマスタのために色調整を実行し、ステップ３０６において、ディジタル・スキャンのためのメタデータとして色調整についてのデータ（即ち、色判定リスト（Ｃｏｌｏｒ Ｄｅｃｉｓｉｏｎ Ｌｉｓｔ））を記憶する。あるバリアント・マスタ（ｖａｒｉａｎｔ ｍａｓｔｅｒ）が別のものと同様である場合、例えば、ディジタル・シネマ・マスタがフィルム・マスタと同様である場合、この同様であるマスタをバリアント・コンテンツを派生させるための基礎として使用可能である。メタデータは、適切な既知のタイプのメモリ・デバイス３０８（例えば、ＲＯＭ、ＲＡＭ、光学メディア、磁気メディアなど）に記憶される。

例として、コンテンツのマスタリングには、以下の１）〜４）が含まれる。１）ステップ３０２で、フィルムのオリジナルを編集した要素がディジタル的にスキャンされて、
ディジタル・ソース・コンテンツ（ＤＳＣ）として利用される。図３のステップ３０４および３０６で（対象色空間の各タイプのため、即ち、表示装置の各タイプのため）一連の調整が行われてフィルム・マスタが作成され、メタデータ（即ち、色判定リスト）として記憶される。３）フィルム・マスタの色判定リストは、次に、ディジタル・シネマ・マスタ（再び、オリジナルのディジタル・ソース・データに色判定リストのメタデータを加えたものから構成される）を派生させるための基礎として使用される。４）ビデオ・マスタを後になって作成する際には（ビデオ・マスタは、他の２つのものとは大幅に異なる）、既存の色判定リスト（メタデータ）の１つを基準として使用する場合もあれば、ビデオ・マスタが最初から作成される場合もある。

他の想定される実施の形態に従えば、メタデータには、表示装置の対象色空間内のコンテンツの表示を制御するための他の情報を含めることができる。例として、メタデータは、画像のコントラストおよび／または輝度を制御することができ、さらに、テクスチャ、ノイズ、および／または強度などの他のパラメータを制御することもできる。従って、コンテンツを作成する間、コンテンツ・クリエータは、従うべき表示装置のための各設定項目を定義する。なお、表示装置がこのような情報を利用する機能を有すると仮定する。これらの設定項目は、例えば、「対象」の表示装置が所在する場所の環境的な照明の条件に基づく場合もあり、さらに、時間の経過に伴うこれらの条件の変化（例えば、日中に見る場合と、夜間に見る場合の違い）により自動的に調節される場合がある。

メタデータを使用可能な別の領域は、ダイナミック・レンジの向上である。出力装置のダイナミック・レンジを完全に使用しない場合が多い。さらに、より広いダイナミック・レンジを有する新たな表示装置が出現してきている。後述するように、本原理のディレクターズ・ビジョンの特定の実施態様に依存して、メタデータの代わり、または、メタデータに追加して、補助データがダイナミック・レンジ情報を保持することができる。

II．コンテンツ・パッケージング
コンテンツ・パッケージングは、パッケージ化されたメディア上で配布され（または、限られた帯域幅のチャンネルを介して配信され）、標準のビデオ・システムおよび拡張されたビデオ・システムの双方で再生できるようにコンテンツを符号化することを含んでいる。さらに、コンテンツ・パッケージングは、拡張された色チャンネルの作成を含んでいる。図４および図５は、本原理の実施の形態に係るコンテンツ・パッケージング２０４表すブロック図である。

コンテンツを符号化する（即ち、パッケージングする）ための想定可能な２つの方法を説明する。当業者であれば、ストレージ・メディアまたはその他の可変の要因に依存して、ある方法が他のものよりも実用的であることが理解できるであろうが、そのような方法は、本発明の精神から逸脱することなく使用することができる。

以下の２つの方法ＡおよびＢが提案される。

Ａ．オリジナルの圧縮されていない、または、損失無しに圧縮されているディジタル・ソース・コンテンツ（ＤＳＣ）に対し、各タイプのビデオ・システム上で最良に表されるようにオリジナル・コンテンツをどのように扱うかを記載した追加のメタデータを含む特別のディレクターズ・ビジョン符号化フォーマット。このフォーマットの潜在的な欠点は、メディア上のデータ・サイズが非常に大きく、各システムのために複雑な色処理が必要となることである。この符号化技術は、コンテンツの作成段階では最も有用であることが判るであろう。

Ｂ．標準的なビデオ・システム上に正しく表示可能なベース・バンド・コンテンツと共に補助ストリームとして送信される拡張された色表現メタデータ（Ｅｘｔｅｎｄｅｄ ｃｏｌｏｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｅｔａｄａｔａ）。メタデータは、拡張された対象表示装置を「セットアップ（設定）」するためにどのようにベース・バンド・コンテンツを取り扱うかを記載するであろう。

図４〜図５を参照すると、いずれのアプローチにおいても、色空間データを適切に符号化するためには、まず、コンテンツを符号化するために使用される原色を設定する（４０２）ことが必要である。この情報は、ＣＩＥ色空間座標を用いて最も簡単に表さすことができる。コンテンツのオリジナルのマスタリングが行われた場合、適切に較正された表示装置を使用しなければならない。原色の値および最大輝度の値は、既知、または測定されていなければならない（４０２）。さらに、基準表示が少ないミリＣＩＥ内でリニア色トラッキングを有すること、さらに、基準「ゼロ」ルミナンス値が既知でなければならないことが重要である（４０４）。この情報により、オリジナルの色の正確かつ移植可能な再現が可能となる。この情報が得られると、コンテンツ（ベース・バンド）データ４１０および補助データおよび／またはメタデータ４１２がチャンネルを介した伝送のために符号化される。当業者であれば、基準表示が移植可能なスタンダード（ｐｏｒｔａｂｌｅ ｓｔａｎｄａｒｄ）の基本的な動作要素（ｆｕｎｄａｍｅｎｔａｌ ｗｏｒｋｉｎｇ ｅｌｅｍｅｎｔ）であることが理解できるであろう。

本発明に従ってデータを符号化するために、基準色空間および各「対象」色空間との間の関係を判定することが必要である（ステップ４０６）。一般に、「対象」色空間は、基準色空間よりも小さい。「対象」色空間は、予期される表示媒体（フィルム、ＣＲＴ，または他の表示装置など）に基づく。今日では、「対象」表示装置はＣＲＴであろうが、これは現在の業界の標準である。対象装置の色域の範囲外の色は、「補助」データ・ストリームとして符号化されるであろう。

当業者であれば理解できるであろうが、基準色空間を対象色空間に変換する際に実施可能な多くの異なるアルゴリズムが存在する。そのうちの幾つかについては、独占的な権利を有する者もいるが、他のものは、皆が利用可能である。例えば、「対象」から外れる基準空間からの色は、単に「対象」色空間の境界に最も近い色に設定されることがある。

図４は、符号化された出力がベース・バンド・データ４１０、各表示装置のタイプに関連する記憶されたメタデータ４１２、および／または補助データ４１４を含むことを示している。本原理の他に想定される態様では、伝送チャンネルを介してコンテンツを伝送するのに必要なサイズおよび／または帯域幅を最小限にするために、メタデータ４１２を補助データ４１４の一部に含めることができる。

本原理の方法の１つの利点は、補助データ（および／またはメタデータのサイズ）が基準色空間および「対象」の表示装置または色空間との差異によって決定されることである。この差異が零である場合もあるがオリジナルのディジタル・ソース・コンテンツを表すのに必要なだけ大きい場合がある。しかしながら、この原理は、３つの原色を超える基準表示装置に適用することができるが原色の数はどのような数でもよい。

方法Ａ
１つの想定可能な実施の形態によれば、上記に定義した色情報を記憶するための第１の方法は、オリジナルのデータ・ソース・コンテンツ全体（恐らく、損失は無い圧縮であるが、損失が大きい圧縮の場合もある）と共に、サポートされる表示装置の各タイプのために追加のメタデータを記憶することによって開始される。例えば、標準のビデオ・システム（ＮＴＳＣ）および、ある拡張されたビデオ・システム（例えば、高ダイナミック・レンジ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）表示装置）を取り扱う場合には、オリジナルのディジタル・ソース・コンテンツは、標準のビデオ・システムのカラー・メタデータおよび拡張されたビデオ・システムのメタデータと共に記憶されるであろう（即ち、ＤＳＣ＋ＮＴＳＣメタデータ＋ＨＤＲメタデータ）。このように、パッケージに対して追加メタデータを単に追加することによってサポートされる表示装置のタイプの幅が広がる（一般的に、メタデータは、ディジタル・ソース・コンテンツ自体よりもはるかにコンパクトであると想定される）。しかしながら、このアプローチの１つの大きな欠点は、ディレクターズ・ビジョンが可能でない既存のビデオ・フォーマットとは一般的に互換性がない点である。

方法Ｂ
上記に定義された第２の方法は、標準的なビデオ・システムと互換性のあるベース・バンド符号化ディジタル・ソース・コンテンツを用いて開始することによって、互換性の問題に対応するものである。このコンテンツ作成のために、オリジナルのディジタル・ソース・コンテンツは、標準的なビデオ・フォーマットのために必要な調節に従って処理されなければならない。次に、結果として得られた修正済のソース・コンテンツは、パッケージ内に（圧縮されて、または、圧縮無しに）記憶されている内容の基礎を形成するであろう。修正無しに直接再生が行われる場合には、コンテンツは、標準のビデオ・システム上で適切に再生されるであろう。拡張されたビデオ・システムをサポートするためには、拡張されたシステムをどのように「セットアップ」するかを記載する追加メタデータが盛り込まれるであろう。このメタデータは、拡張されたビデオ・システムの「対象」装置および標準的なビデオ・システムの装置との間の色空間の差を考慮することによって得られる。これらの差の値により、標準的なビデオ・システムのコンテンツを拡張されたビデオ・システムに適したコンテンツに変換するのに必要な情報が提供される。上記に挙げた例をとると、パッケージは、ＮＴＳＣコンテンツおよびＮＴＳＣを拡張されたビデオ・システムに変換するためのメタデータ（即ち、ＮＴＳＣコンテンツ＋ＮＴＳＣからＨＤＲへのメタデータ）を含んでいる。これにより、既存のコンテンツを標準のビデオ・システムで適切に再生することを可能にしながら（既存のパッケージ・メディア形式との互換性を保ちながら）、特別のディレクターズ・ビジョンが可能なプレイヤーが、追加のメタデータを使用して拡張されたビデオ・システムをもサポートできるようにするメカニズムを提供する。

図５は、本発明の符号化および復号化の部分の態様に従った拡張された色空間の作成を表すブロック図である。マスタリングされたコンテンツ５０２（色空間Ａ）が上述したように作成される。このマスタリングされたコンテンツ５０２は、上述した表示装置の各タイプのためのメタデータを含むマスタの圧縮版が作成される。従って、色空間Ａは、変換および圧縮の両方の処理を施され、コンテンツ圧縮（色空間Ｂ）５０４によって表される。マスター・コンテンツを圧縮することにより、色差５０６が得られる。この色差５０６は、必要であれば、圧縮される（５０８）。色差５０６に色空間Ｂを加えたものが使用され、より正確な新たな色空間Ｃが再作成される。

III．コンテンツ復号化
以下の記載により理解できるであろうが、コンテンツの復号化は、幾つかの形態を取り、最終的には、チャンネル伝送のためにコンテンツをパッケージするのに使用される符号化技術に依存している。

図６ａおよび図６ｂは、受信した伝送データを符号化する側を示しており、復号化された色差および（メタデータを有する）復号化されたマスター・コンテンツが組み合わされて、対象色空間（即ち、消費者の表示装置）の色空間Ｃの色の拡張（ｃｏｌｏｒ ｅｘｐａｎｓｉｏｎ）または色空間Ｃを再作成する。色空間Ｃは、特定のクラスの表示装置（例えば、プラズマ、ＬＣＤ、ＤＬＰなど）を指定、または対象としている。当業者にとっては明らかであろうが、色空間Ｃは、圧縮された色空間Ｂを単純に解凍したものよりも、色空間Ａに近似させたものにより近い。

図６ａは、本発明に係る復号化６００の一実施の形態を示している。図示し、説明するように、復号化されたコンテンツ６０６と、対象色空間のための復号化された色差６０４が再度組み合わされ、これに対応する色空間Ｃが形成される。復号化されたコンテンツ内の、表示装置に対して特に提供されるメタデータは、特定の消費者の表示装置（例えば、対象色空間）のための新たな色空間Ｃをフォーマットするために、復号化の際にも使用される。表示装置のタイプおよびダイナミック・レンジなどに関連する他のデータに依存して、補助データ６０８が復号化の際に使用されることもあり、使用されないこともある。

以下は、本発明に従って提案される例示的な復号化の方法の幾つかを示したものである。

（ａ）全ての色判定を実行する特別なディレクターズ・ビジョンが可能なプレイヤー。このフォーマットにおいては、プレイヤーは、復号化および色判定の全てを実行する。プレイヤーは、標準および拡張されたビデオ出力を提供する機能を有する。

（ｂ）ディレクターズ・ビジョン情報を特別のディレクターズ・ビジョンが可能なディスプレイに渡す特別のプレイヤー。このフォーマットにおいては、プレイヤーは、符号化を実行するが色情報（符号化されたビデオおよび追加の色メタデータ、および／または補助データを含んでいる）を処理のために表示装置に渡す（なお、メタデータは、イーサーネット・ポートを介するなど、表示装置への代替的な経路またはコネクションを介して転送される場合がある）。機能が無い（即ち、標準のビデオ・システムの）表示装置に結合される場合には、この表示装置のために適したベース・バンドのコンテンツ色情報のみ表示装置に配信される。提案された方法の両方において、キーとなる目標は、常に標準のビデオ・システムおよび拡張されたビデオ・システムの新たな特徴の両方が完全にサポートされることを維持することである。

コンテンツのマスタリングが適切に行われ、符号化が行われると、復号化もまた単純なものとなる。色域が符号化されたコンテンツのための基準に一致する色域の「対象」の装置では、復号化の間に補助データが無視される。しかしながら、符号化されたコンテンツのソース基準から色域が異なる「対象」の装置では、補助データ６０８を復号化し、復号化したものをディスプレイによって許容されるフォーマット（例えば、ＲＧＢまたはＹＵＶ）に変換することが必要である。表示装置の固有の色表現に依存して、表示には、まず、復号化を行って、理論的な色モデル内で補助データを適用し、得られたものを表示装置の固有の色表現に変換することが必要となる場合がある。これは例えば、表示装置の固有の色表現がオリジナルのソースの各色値の全てを表現することができない場合に必要となるであろう。例えば、全てのディレクターズ・ビジョンの色符号化およびＹＵＶ色空間における操作を実行し、最終的な値を表示装置への伝送のためにＲＧＢに変換することが望ましい。

IV．コンテンツ表示
コンテンツの表示は、本原理の方法の最後のステップ（２１０）である。図７ａおよび図７ｂは、本原理の態様に係る２つの異なる表示装置の２つの例示的な相互のコネクションを示している。コンテンツ表示の場合、再び、表示装置および復号器が基準空間のものに対して利用可能な色機能についての情報（例えば、基準空間および表示空間との間の原色の差異）を共有することができることが必要である。この情報から表示装置のための色情報を解釈するための適切なアルゴリズムが選択される。これは、復号器および表示装置との間でデータを交換するのと同様に単純であり、適切な色の値が補間される。しかしながら、より良好な結果を確実に生み出すためには、より洗練された処理が必要となる場合がある（人間のサイコビジュアル・システム（ｐｓｙｃｈｏ−ｖｉｄｕａｌ ｓｙｓｔｅｍ）および表示色空間におけるノンリニアのバリエーションが複雑であるため、単純に色値をリニアに補完しただけでは必ずしも常に十分なエンド・ユーザ体験を得ることができない）。

図７ａは、ディレクターズ・ビジョン復号器７０２が、通常は、ＤＶＩコネクション７０６によって拡張されたカラー表示装置７０４に結合されたシステム７００ａを示している。さらに、表示装置７０４は、ＤＶＩコネクション７０６を介して復号器７０６と通信し、あるいは、別個の適切な通信コネクション７０８を用いることができる。

基準色空間および「対象」表示装置が異なる数の原色を有する場合がある。例えば、基準色空間には、３つの原色が存在し、白レベルと黒レベルが定義されている一方、「対象」装置は、７つの原色、さらに、白レベルと黒レベルが存在する場合がある。このような場合には、適切なトランスコーディング処理が実施されなければならない。さらに、表示装置は、サポートされる色空間の範囲外にある色を取り扱うために、（エラーが最小限の）合理的なアルゴリズムを有する必要がある。

出力装置は、入力ビデオに対して必要な計算を実行することができるが、これは演算が多大となる場合がある。演算負荷の大部分がコンテンツ作成およびパッケージングの段階の間に扱われ、データ・ポイントとしてディレクターズ・ビジョンが可能なプレイヤーまたは表示装置に送信される代替的なアプローチを使用することもできるであろう。このように、メタデータは、ピクチャの全てのためのものでもよいし、ピクチャの部分のみのためのものでもよく、アーティストの意図を正確に取り込み、これは、単に画像プロセッサをビデオ・パイプラインの側で使用したのでは実現できないものである。図７ｂは、本原理の復号化の部分を表示装置が取り扱う場合の発明の実施の形態を示している。コネクション７００ｂは、ディレクターズ・ビジョン受信機７１２を含んでいる。ディレクターズ・ビジョン受信機７１２は、ディレクターズ・ビジョン復号器を備えていないが、例えば、ＩＥＥＥ１３９４や、他の適切なディジタル通信媒体など、ディジタル・リンク７１６を介してディレクターズ・ビジョンが可能な表示装置７１４に結合されている。

好ましい実施の形態に適用される本発明の基本的な新規な各特徴について図示し、説明し、指摘したが、本発明の精神を逸脱することなく、当業者であれば、説明した方法および図示した装置の形式および詳細、さらに、その動作に対し、様々な省略、置換、変更を行うことが可能であることを理解できよう。例えば、概ね同一の機能を概ね同一の方法で実行する要素および／または方法の組み合わせは全て、本発明の範囲内となることが、はっきりと意図されている。さらに、本発明の開示された態様または実施形態に関して図示し、さらに、または、説明した構造および／または要素、および／または方法は、他の開示され、記載され、または示唆された形態または態様に盛り込むことが可能であることは、設計選択の一般的な問題として理解できるであろう。従って本発明は、請求の範囲によって示されているようにのみ、制限されるものである。

図１は、今日のポスト・プロダクション処理における色空間の関係を示すブロック図である。 図２は、本原理の実施の形態に従った消費者の家庭に対して拡張された色空間コンテンツのマスタリングおよび配信を行う方法を示すエンドツーエンドブロック図である。 図３は、本原理の実施の形態に従ったコンテンツのマスタリングのブロック図である。 図４は、本原理の実施の形態に係るコンテンツのパッケージング／符号化を表すブロック図である 図５は、本原理の実施の形態に係るコンテンツのパッケージングの態様の部分としての拡張された色チャンネルの作成を表すブロック図である。 図６ａは、本原理の実施の形態に係る色空間ビデオのマスタリングおよび改良（拡張）を行うためのシステムおよび方法において実施される復号化のブロック図である。 図６ｂは、本原理の別の実施の形態に係る色空間ビデオのマスタリングおよび改良を行うためのシステムおよび方法において実施される復号化のブロック図である。 図７ａは、本原理のシステムおよび方法を実施するための、消費者のコネクションのタイプを例示するブロック図である。 図７ｂは、本原理のシステムおよび方法を実施するための、消費者のコネクションのタイプを例示するブロック図である。

Claims (24)

1. 対象表示装置の対象色空間のために拡張された演色が得られるようにコンテンツを修正する方法であって、
   前記コンテンツを少なくとも部分的に、少なくとも１つのコンテンツ・クリエータの意図に従ってマスタリングするステップを含み、
   前記マスタリングするステップは、基準色空間に関し、各対象色空間のためにコンテンツの中で前記演色を調節するステップを含み、
   さらに、前記方法は、
   前記対象表示装置上で前記拡張された演色を用いて前記コンテンツを表示することを可能にするために、前記対象色空間に対して特に行われる演色の調節についての情報に従って前記マスタリングされたコンテンツを符号化するステップを含む、前記方法。
2. 前記調節するステップがさらに、各対象色空間に対して特に行われる調節についての情報をメタデータとして記憶するステップを含む、請求項１に記載の方法。
3. 前記符号化するステップがさらに、
   ベース・バンド基準コンテンツを識別するステップと、
   前記ベース・バンド基準コンテンツを圧縮するステップと、
   圧縮されていないベース・バンド基準コンテンツおよび圧縮されたベース・バンド基準コンテンツとの間の色差を判定するステップと、
   によって拡張された色チャンネルを作成するステップを含む、請求項１に記載の方法。
4. 拡張された色伝送チャンネルを介して前記符号化されたコンテンツを伝送するステップと、
   前記調節された演色を示す色情報を有する前記コンテンツを復号化するステップと、
   前記復号化された演色情報に従って対象表示装置の色表示特性を調節するステップと、
   前記対象表示装置上の前記対象色空間内に前記復号化されたコンテンツを表示するステップと、をさらに含む、請求項１に記載の方法。
5. 前記マスタリングするステップがさらに、各対象色空間に関する補助データを識別し、当該補助データを記憶するステップを含む、請求項２に記載の方法。
6. 前記判定された色差を圧縮するステップをさらに含む、請求項３に記載の方法。
7. 伝送前に前記メタデータが前記補助データと組み合わされる、請求項５に記載の方法。
8. 前記復号化されたコンテンツが、ベース・バンド基準データと、対象色空間に特有の、前記対象表示装置の表示機能に従ってトゥルー・カラーを再現するように適合された色調節データとを含む、請求項４に記載の方法。
9. 前記メタデータおよび前記補助データの一方が対象表示装置の各設定項目に対して行われる各調節に関するダイナミック表示情報データを含む、請求項５に記載の方法。
10. 前記ダイナミック表示情報が輝度、コントラスト、およびルミナンスからなる群から選択された少なくとも１つを含む、請求項９に記載の方法。
11. 対象表示装置の非標準システムの対象色空間のために拡張された演色が得られるように標準システムのコンテンツを修正する方法であって、
    前記非標準システムの対象色空間に再現するために、前記非標準システムの対象色空間に対して特に行われる必要のある前記標準システムのコンテンツの各調節を識別するステップを含み、
    前記各調節は、少なくとも部分的に、少なくとも１つのコンテンツ・クリエータの意図に従って行われ、
    さらに、前記方法は、
    各対象色空間のための前記識別された各調節についてのデータをメモリに記憶するステップと、
    前記対象色空間に対応する前記対象表示装置上で拡張された演色を用いて前記コンテンツを表示することを可能にするために、前記記憶された対象色空間のための各調節についてのデータに従って前記コンテンツを符号化するステップと、
    を含む、前記方法。
12. 前記符号化するステップが、
    前記ベース・バンド基準コンテンツを圧縮するステップと、
    圧縮されていないベース・バンド／基準コンテンツおよび圧縮されたベース・バンド／基準コンテンツとの間の色差を判定するステップと、
    によって拡張された色チャンネルを作成するステップを含む、請求項１１に記載の方法。
13. 前記拡張された演色を示す色情報を有する前記符号化されたコンテンツを復号化するステップと、
    前記復号化されたコンテンツに従って対象表示装置の色表示特性を調節するステップと、
    前記対象表示装置上で拡張された演色を用いて前記復号化されたコンテンツを表示するステップと、
    をさらに含む、請求項１１に記載の方法。
14. 前記色表示特性を調節するステップがさらに、前記対象表示装置のダイナミック表示の各制御項目を調節するステップを含む、請求項１３に記載の方法。
15. 前記ダイナミック表示の各制御項目が、輝度、コントラスト、およびルミナンスからなる群から選択された少なくとも１つを含む、請求項１４に記載の方法。
16. 前記対象色空間に関する補助データを識別するステップをさらに含む、請求項１１に記載の方法。
17. 前記調節についてのデータが前記補助データの中に含まれる、請求項１６に記載の方法。
18. 対象表示装置の対象色空間のために拡張された演色が得られるようにコンテンツを修正するシステムであって、
    少なくとも部分的に、少なくとも１つのクリエータの意図に従って、基準色空間に関して各対象色空間のためにコンテンツ内で前記演色を調節する手段と、
    前記対象装置上で拡張された演色を用いて前記コンテンツの表示を可能にするために、前記調節された演色を示す色情報を有するコンテンツを符号化する手段と、
    を含む、前記システム。
19. 前記調節する手段がさらに、
    基準色空間に関して各対象色空間のために前記コンテンツの前記演色を調節する手段と、
    各対象色空間に特有の調節についてのデータを記憶するメモリと、
    を含む、請求項１８に記載のシステム。
20. 前記調節された演色を示す色情報を有する符号化されたコンテンツの伝送を可能にするための拡張された色チャンネルをさらに含む、請求項１８に記載のシステム。
21. 前記拡張された色チャンネルが、
    圧縮されたベース・バンド／基準コンテンツと、
    圧縮されていないベース・バンド／基準コンテンツおよび前記圧縮されたベース・バンド／基準コンテンツとの間の色差に関する色差情報と、
    を含む、請求項２０に記載のシステム。
22. 前記調節された演色を示す色情報を有するコンテンツを復号化する復号化手段と、
    前記対象表示装置上で前記調節された演色を用いて前記復号化されたコンテンツを表示する手段と、を含む、請求項１８に記載のシステム。
23. 前記調節された演色に従って前記対象表示装置の表示特性を調節するための対象表示の調節についてのデータを含む、請求項１８に記載のシステム。
24. 前記対象表示の調節についてのデータが、輝度、コントラスト、およびルミナンスからなる群から選択された少なくとも１つを含む、請求項２３に記載のシステム。

Images