JP2017204864A - ディスプレイ装置及び方法 - Google Patents

Abstract

【課題】異なる２つ以上のビデオコンテンツのバージョンを含むビデオデータを処理する方法と装置を提供する。
【解決手段】
ビデオデータを受け取るように構成された入力と、ビデオデータを見る周辺条件を検出するように構成されたセンサと、プロセッサであって、入力により受け取られたビデオデータに含まれるベースレイヤと複数のエンハンスメントレイヤを復号し、シーンごとに、エンハンスメントレイヤの補間により修正されたベースレイヤを含むビデオデータストリームを生成するように構成されたプロセッサとを有する、ディスプレイ装置である。
【選択図】図１

Description

本発明は、ビデオデータに関し、具体的にはビデオデータを配信する方法及び装置に関する。本発明の実施形態は、ビデオデータを配信する方法；ビデオデータフォーマット；ビデオデータを配信する装置；ビデオデータを受信する装置；及びビデオデータを処理する装置を提供する。

［関連出願への相互参照］
この出願は、２０１０年６月１５日に出願された米国仮特許出願第６１／３５５，１３１号の優先権を主張するものである。この文献はここにその全体を参照援用する。
［背景技術］
ディスプレイには、テレビジョンと、コンピュータモニタと、ホームシネマディスプレイと、デジタルシネマディスプレイと、タブレットコンピュータ、セルラー電話、デジタルカメラ、コピー機、産業用制御装置などの専用ディスプレイと、医療用画像化、仮想現実、乗り物シミュレーションなどの特殊ディスプレイが含まれる。カラーディスプレイを用いて、画像データにより指定されたカラー画像を表示できる。

ディスプレイには、いろいろなディスプレイ基盤技術を組み込むことができる。例えば、ディスプレイは次のものであってもよい：陰極線管（ＣＲＴ）ディスプレイ；バックライト型液晶ディスプレイ（ＬＣＤ）；プラズマディスプレイ；有機ＬＥＤディスプレイ（ＯＬＥＤディスプレイ）；レーザプロジェクタ；デジタルミラーデバイス（ＤＭＤ）ディスプレイ；及びエレクトロルミネセントディスプレイ。これらの一般的な技術のどれであっても、幅広い構成及び組成の発光及び／又はフィルタリング素子を用いられる。次のエリアでは、ディスプレイによって機能が大きく異なることがある：表示可能な色の範囲（色域）；最大輝度；コントラスト比；解像度；カラー深度；ダイナミックレンジ；ホワイトレベル、ホワイトポイント、ブラックポイント、グレイステップ数など。

そのため、再生されるディスプレイが異なると、同じビデオコンテンツでも見え方が異なることがある。ディスプレイによっては、修正せずにディスプレイ上に表示したビデオコンテンツは、ある面で（in one or more ways）クリエータの創作意図とは異なってしまっていることがある。

現在のディスプレイには、ビデオコンテンツが創作された時に技術水準であったディスプレイを凌駕するものもある。例えば、ディスプレイによっては、ビデオ作品（video production）が創作された時に利用可能であったレガシーディスプレイより、明るいハイライト、大きなコントラスト比、及び／又は広い色域を有する画像を提供できるものもある。ビデオコンテンツに化体された創作意図から大きく逸脱することなく、改善されたこれらの機能を利用することが望ましい。

高性能ディスプレイを利用するよう創作されたビデオコンテンツを、低機能のレガシーディスプレイで表示したい場合もある。ビデオコンテンツに化体された創作意図をできるだけ保つようビデオを再生するよう構成された方法及び装置を提供することが望ましい。

色と明るさの知覚は周辺状態により影響される。映画館の条件下で表示されるビデオは、周辺光が明るい場所で見た場合、まったく異なって知覚されることがある。さらに、周辺光の（色温度などの）特性はビデオコンテンツの見え方（viewer's perception）に影響を与える。ビデオコンテンツに化体された創作意図をできるだけ保つように、ビデオコンテンツを見る環境を考慮して、ビデオコンテンツの再生を調整（adapt）することが望ましい。

（静止画像及び／又はビデオ画像を含む）画像を見る者に、その画像を見るディスプレイの機能を十分に引き出した視聴体験（viewing experiences）を提供する必要がある。信号中に符号化されたビデオその他の画像コンテンツが再生時に望んだように見えるよう、ビデオ信号の調整に適用できる装置及び方法が必要である。

本発明は、異なる２つ以上のビデオコンテンツのバージョンを含むビデオデータを処理する方法と装置を提供する。異なるバージョンは、異なるディスプレイにおける表示、及び／又は異なる周辺条件下での視聴に対して最適化される。

本発明の一態様は、同じビデオコンテンツの複数のバージョンを一緒にパッケージングするステップを含む、ビデオデータを配信する方法を提供する。本発明の他の一態様は、ディスプレイのために最適化されたビデオコンテンツを配信する方法であって、異なる複数のビデオコンテンツのバージョンから最適化されたビデオコンテンツを生成するステップを有する方法を提供する。最適化されたビデオコンテンツは、例えば、異なる２つのビデオコンテンツのバージョン間の補間又は外挿により生成され得る。本発明の他の一態様は、ビデオコンテンツの異なる複数のバージョンから、目標ディスプレイに表示するのに最適化されたビデオコンテンツを生成するように構成されたデータ処理ステージを提供する。

本発明の他の一態様は、メディアサーバであって、同じビデオコンテンツの複数のバージョンを含むデータ記憶部を有し、目標ディスプレイにおける表示のために最適化された前記ビデオコンテンツのバージョンの一バージョンの選択と、前記ビデオコンテンツの異なる複数のバージョンから前記最適化されたビデオコンテンツの生成の一方又は両方により、目標ディスプレイにおける表示のために最適化されたビデオコンテンツを生成するように構成された、メディアサーバを提供する。

他の一態様は、目標ディスプレイにおける表示のために最適化されたビデオコンテンツを配信する方法を提供する。該方法は、ビデオコンテンツの異なる少なくとも第１と第２のバージョンを有するビデオデータを提供するステップと、ビデオコンテンツの第１と第２のバージョンの間を補間又は外挿して、ビデオコンテンツの第３のバージョンを生成するステップとを有する。

他の一態様は、目標ディスプレイにおける表示のために最適化されたビデオコンテンツを配信する方法を提供する。該方法は、前記ビデオコンテンツの異なる複数のバージョンを含むビデオデータを１つのデータエンティティ中に設けるステップであって、前記異なるバージョンは異なる色域、異なるフレームレート、異なるビット深度、及び異なる空間的解像度のうち１つ以上を有するバージョンを含むステップを有する。該方法は、目標ディスプレイの機能を決定し、目標ディスプレイにおいて表示するため異なるバージョンのうちの一バージョンを選択して復号する。

他の一態様は、データ処理ステージを有するビデオ処理装置を提供する。そのデータ処理ステージは、ビデオコンテンツの異なる複数のバージョンを符号化したビデオデータを読み取るように構成されている。異なるバージョンは、異なる色域、異なるフレームレート、及び異なるビット深度のうち１つ又は複数を有するバージョンを含む。該装置は、前記バージョンのうちの一バージョンが目標ディスプレイにおける表示に最適化されているか決定し、前記バージョンのうちの一バージョンが目標ディスプレイにおける表示に最適化されているとの決定に応じて、前記バージョンのうちの一バージョンを前記目標ディスプレイにおける表示のために供給するように構成される。

他の一態様は、ビデオ処理装置を提供する。該装置は、ビデオ信号からベースレイヤと１つ又は複数のエンハンスメントレイヤを取り出し、それぞれが異なるビデオコンテンツのバージョンを符号化した複数の入力信号を生成するように構成されたデコーダと、前記複数の入力信号を受け取り、前記入力信号に対応する前記異なるバージョンの補間である出力信号を出力するように接続された補間部と、を有する。他の一態様は、異なる複数のビデオコンテンツのバージョンであって、異なる色域を有し、異なるフレームレートを有し、異なるビット深度を有し、または異なる周辺光のレベル下での視聴のために最適化された異なるバージョンを符号化したコンピュータ読み取り可能ビデオデータを有する持続的媒体を提供する。

他の一態様は、カラーグレーディングステーションを提供する。該カラーグレーディングステーションは、 ビデオコンテンツを含むデータ記憶部と、複数のディスプレイと、コントローラとを有する。前記コントローラは、前記ビデオコンテンツを前記複数のディスプレイの各ディスプレイに表示し、前記複数のディスプレイの各ディスプレイに表示するため前記ビデオコンテンツの最適化を含む対応するユーザ入力を受け取り、それぞれが前記複数のディスプレイの一ディスプレイに関連した最適化を含む前記ビデオコンテンツの複数のバージョンを記憶し、前記異なる複数のビデオコンテンツのバージョンを符号化したコンピュータ読み取り可能ビデオデータに前記複数のバージョンを結合するコントローラと、を有する。

本発明のさらに別の態様と、本発明の具体的な実施形態の特徴は、以下に説明し、及び／又は図面に示す。

添付した図面は、本発明の限定的でない実施形態を示す。
ビデオデータ配信システムを示すブロック図である。 異なる複数の表示デバイスを含むユーザロケーションを示すブロック図である。 ビデオ製作システムを示す図である。 補間を行い最適なビデオ信号を提供するデータ処理ステージを示す図である。 補間により最適なビデオ信号を提供する方法を示すフローチャートである。 補間方法の一例を示す図である。 実施形態によるビデオ配信システムを示す図である。 他の実施形態によるビデオ配信システムを示す図である。

以下の説明では、本発明をよく理解してもらうために、具体的な詳細を記載する。しかし、本発明はこれらの具体的な事項がなくても実施することができる。他の例では、本発明を不必要に分かりにくくしないよう、周知の要素は図示せず、または詳細に説明しない。したがって、明細書と図面は例示であって限定ではないと考えるべきである。

この発明の一態様は、ビデオデータの配信に関する。フォーマットはベースレイヤと複数のエンハンスメントレイヤとを提供する。各エンハンスメントレイヤは、例えば、次のもの（１つ又は複数）を提供する：
−広い色域；
−相違する周辺条件への最適化（例えば、照度１００ルクス以下の周辺光で見るようにベースレイヤが最適化されている場合、照度１０００ルクス又はその他の照度の周辺光で見るように最適化されたバージョンを一エンハンスメントレイヤが提供する）；
−高いフレームレート；
−大きいダイナミックレンジ；
−大きいビット深度；
−３次元情報（１つ以上の追加的視点など）；
−大きい空間解像度。
実施形態によっては、ベースレイヤは、Ｒｅｃ．７０９準拠ビデオ信号などの低機能のビデオ信号に対応する。実施形態によっては、エンハンスメントレイヤは、人間の視覚系により知覚可能なすべての色を含む色域の色を指定するのに十分な色の範囲を含むフォーマットのビデオ信号など、高機能のビデオ信号に対応する。

異なる複数のエンハンスメントレイヤを設けて、多様な看者の必要性を満たしても良い。図１は、ビデオデータ１０がビデオソース１２から複数のユーザロケーション１５へ伝送網１４により搬送される一実施形態を示す。この実施形態では、ビデオデータ１０は、ベースレイヤ２０と、第１及び第２のエンハンスメントレイヤ２２Ａ及び２２Ｂとを含むフォーマットである。

伝送網１４は、例えば、インターネットと、ケーブルテレビジョンシステムと、無線放送システムと、ＤＶＤなどの配布されるメディアと、ビデオデータを含むその他のデータ記憶デバイスと、その他の、ビデオデータ１０をユーザロケーション１５に配信できる任意のデータ通信システムとを含み得る。

ユーザロケーション１５にはいろいろなディスプレイ１６がある。図示した実施形態では、ユーザロケーション１５Ａはディスプレイ１６Ａを有し、ユーザロケーション１５Ｂはディスプレイ１６Ｂ−１と１６Ｂ−２を有し、ユーザロケーション１５Ｃはディスプレイ１６Ｃを有する。

ベースレイヤ２０は、最小公倍数のディスプレイと互換性がある。例えば、ベースレイヤは、（Ｒｅｃ．７０９としても知られた）ＩＴＵ−ＲリコメンデーションＢＴ．７０９その他の広く受け入れられたフォーマットにより指定されたフォーマットであり、またはそのフォーマットに容易に変換できる。

この実施形態では、第１のエンハンスメントレイヤ２２Ａは、ベースレイヤの色域外の色を再生できるディスプレイに表示するのに適した拡張色域を有し、薄暗い周辺状態下での表示に最適化されたビデオデータのバージョンを提供する。第２のエンハンスメントレイヤ２２Ｂは、エンハンスメントレイヤ２２Ａと似ているが、明るい周辺状態下での表示に最適化されている。

ビデオデータ１０は、表示される前に、データ処理ステージ１８を通る。図示された実施形態に示したように、データ処理ステージ１８は、（ディスプレイ１６Ａの場合のように）ディスプレイ１６中にあってもよいし、（ユーザロケーション１５Ｂの場合のように）ユーザロケーション１５の上流デバイス１９中にあってもよいし、（ユーザロケーション１５Ｃの場合のように）ユーザロケーションの外の上流デバイス２１中にあってもよい。上流デバイス２１は、例えば、伝送網１４中にあってもよいし、ビデオソース１２にあってもよい。

非限定的例として、上流デバイス１９は、トランスコーダ、ケーブルモデム、セットトップボックスその他を含む。上流デバイス２１は、トランスコーダ、ビデオ配信システムヘッドエンド、ビデオサーバその他を含む。

データ処理ステージ１８は、ビデオデータ１０から、具体的なディスプレイ１６上に表示するのに最適化されたビデオストリーム２３を生成するのに必要なデータを取り出す（extract）。実施形態によっては、データ処理ステージ１８は、ディスプレイ１６が見られている周辺状態に対して選択されたビデオストリーム２３を取り出す。実施形態によっては、ディスプレイ１６に付随する光センサ２６が、周辺光（強さ及び／又は色）を検出し、その周辺光に関する周辺光情報２７を、データ処理ステージ１８に送る。データ処理ステージ１８は、周辺光情報２７を用いて、ディスプレイ１６に適切なビデオストリーム２３を配信するように、自機を設定する。

他の実施形態では、データ処理ステージ１８は、前に記憶されたアカウント情報又はユーザ嗜好情報（図示せず）にアクセスし、ディスプレイ１６に適切なビデオストリーム２３を配信するように、自機を設定する。前に記憶された情報は、例えば、暗いシアターにおいて、あるディスプレイを用いることを示す。他の実施形態では、データ処理ステージ１８は、ディスプレイの場所における周囲状態に関するユーザ入力を受け取り、そのユーザ入力を用いて、ディスプレイ１６に適切なビデオストリーム２３を配信するように自機を設定する。ユーザ入力は、例えば、コンピュータ、ディスプレイ、リモートコントローラ、ポータブルデジタルデバイス、スマートホンなどで受け取られ、任意の好適なデータ通信経路により、データ処理ステージ１８に送られる。

データ処理ステージ１８は、例えば、好適なソフトウェア及び／又はファームウェアを実行するプログラム式プロセッサ、好適な構成されたフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの構成可能ハードウェア、ハードウェア論理回路（例えば、集積回路に設けられているもの）、またはこれらの好適な組合せである。データ処理ステージ１８は、コンピュータ、トランスコーダなどのビデオ処理デバイス、セットトップボックス、デジタルビデオレコーダなどに収容され、またはテレビジョンなどのディスプレイ、ホームシアターディスプレイ、デジタルカメラプロジェクタ、コンピュータビデオシステムなどに収容され、またはケーブルテレビジョンヘッドエンドなどのデータ伝送網のコンポーネント、ネットワークアクセスポイントなどに収容されてもよい。実施形態は、ここに説明するデータ処理ステージ１８を収容した装置を提供する。

実施形態によっては、データ処理ステージ１８は、必要に応じて、ビデオデータ１０を復号し、意図された表示先ディスプレイ１６（intended destination display）に対して適切な１つ又は複数のベースレイヤ２０、及び／又は１つ又は複数のエンハンスメントレイヤ２２を選択する。他の実施形態では、データ処理ステージ１８は、ベースレイヤ２０及びエンハンスメントレイヤ２２に基づき、しかしこれらとは異なるビデオデータを生成する。データ処理ステージ１８は、新しいデータをビデオストリーム２３として配信し、又は新しいデータを表示先ディスプレイ１６に後で表示するためにファイルとして記憶する。

ビデオデータ１０は、図１に示したようにストリーミングされるか、又はファイル構造になっていてもよい。図２に示すように、ユーザはビデオデータ１０を含むファイル３１を、様々な視聴デバイスでアクセスできるデータ記憶部３０に保持できる。例えば、ユーザは、スマートホン３２Ａ、タブレットコンピュータ３２Ｂ、通常のテレビジョン３２Ｃ、ハイエンドホームシアタシステム３２Ｄを有し、これらはすべてビデオコンテンツを表示できる。これらのデバイスはそれぞれビデオ表示用の機能が異なる。

データ処理ステージ１８は、デバイス３２のひとつに対して適切なベースレイヤ２０及び／又はエンハンスメントレイヤ２２を選択することにより、選択されたデバイス３２で再生するビデオデータ１０のビデオコンテンツを準備し、そのデバイスでの再生のためのビデオファイル２４又はストリーム２３を生成する。ファイル２４及び／又はストリーム２３の生成は、データ処理ステージ１８により、次の時点で行われる：
−事前に（例えば、ユーザがビデオデータ１０をダウンロード又は取得した時に、データ処理ステージ１８は、ユーザのデバイスで表示するのに最適なファイル２４を自動的に生成及び記憶できる）。
−あるデバイスで再生するため、ビデオデータがダウンロードされた時に。
−あるデバイスがビデオデータ１０を含むメディアコレクションに同期された時に。
−あるデバイスにビデオデータがストリーミングされている時に。

図３に示したように、異なるディスプレイにおいて、及び／又は異なる視聴条件下で、ビデオコンテンツを表示するのに最適化されたバージョンを含むビデオデータ１０を提供することにより、ユーザに対するビデオコンテンツの見え方の創作的な制御の維持が容易になる。ビデオのプロデューサは、あるシーンにおいて使われる色のパレット、シーンのコントラスト、シーンの最大輝度などの要因によりユーザに伝えることを意図された創作意図を有することがある。これらの要因及び似た要因は、そのシーンがどのように見る者に知覚されるかに影響を与える。創作意図はコンテンツやプロデューサに依存し、分析的に判断するのは非常に困難である。

例えば、次の質問に答えるようにコンピュータをプログラムすることは難しいか、不可能である：「あるビデオコンテンツのあるプロデューサは、そのビデオコンテンツを、指定された周囲の視聴条件下において、指定された機能を有するあるディスプレイで見ることを意図した場合、いかにしてそのコンテンツを異ならせたか？」図３に示すように、ビデオデータ１０はビデオコンテンツの複数のバージョンを含む。プロデューサＰは、その複数のバージョンのそれぞれを、別々に最適化して承認してもよい。

図示した実施形態では、プロデューサＰは、複数の参照ディスプレイ２６にアクセスできる。参照ディスプレイ２６Ａは、暗い環境において見る標準参照ディスプレイである。プロデューサは、ディスプレイ２６Ａにおいてベースレイヤ２０のビデオコンテンツを見て、カラーグレーディングステーション２８を用いて、プロデューサの創作意図に応じて、ディスプレイ２６Ａにおけるビデオコンテンツの見え方を最適化する。カラーグレーディングステーション２８は、高画質ビデオデータ２９を入力とする。ビデオデータ２９は、例えば、高いダイナミックレンジ、広い色域、及び大きいビット深度を有する。

図示された実施形態では、プロデューサも、色域が広くダイナミックレンジが広いディスプレイ２６Ｂにアクセスできる。プロデューサは、暗い周囲条件下でディスプレイ２６Ｂにおいてエンハンスメントレイヤ２２Ａのビデオコンテンツを見て、カラーグレーディングステーション２８を用いて、プロデューサの創作意図に応じて、ディスプレイ２６Ｂにおけるエンハンスメントレイヤ２２Ａのビデオコンテンツの見え方を最適化する。

また、プロデューサは、明るい周囲条件下でディスプレイ２６Ｂにおいてエンハンスメントレイヤ２２Ｂのビデオコンテンツを見て、カラーグレーディングステーション２８を用いて、プロデューサの創作意図に応じて、ディスプレイ２６Ｂにおけるエンハンスメントレイヤ２２Ｂのビデオコンテンツの見え方を最適化する。カラーグレーディングステーション２８は、プロデューサが、異なる周辺条件下で異なるディスプレイにおいて表示するためにビデオコンテンツの複数のバージョンを効率的に生成するのを支援する自動ツールまたは半自動ツールを有する。

プロデューサがベースレイヤとエンハンスメントレイヤのビデオコンテンツのバージョンを承認すると、エンコーダ２５は承認されたビデオコンテンツのバージョンをビデオデータ１０に書き込む。

このように、ビデオデータ１０は、プロデューサＰの創作意図に応じて、異なるディスプレイ及び／又は異なる視聴条件においての利用に最適化された、同じビデオコンテンツの異なる複数のバージョンを含む。これにより、ユーザは、プロデューサの創作意図にほぼ一致した見え方で、ビデオコンテンツを楽しむことができる。

ビデオデータ１０のベースレイヤ又はエンハンスメントレイヤが、表示するディスプレイ（destination display）に好適な方法ですでに最適化されている場合、そのレイヤに基づくビデオ信号を、表示するディスプレイに送る。実施形態によっては、データ処理ステージ１８は、表示するディスプレイの機能と周辺条件が、ベースレイヤ２０及びエンハンスメントレイヤ２２の一方が最適化された機能と周辺条件に（厳密に又はあす閾値範囲内で）一致しているか判断するように構成されている。一致していれば、レイヤのうち一致しているものから得られるビデオ信号を、修正無しに出力する。

ビデオデータ１０は、どんな視聴条件においてもあらゆるディスプレイに対して最適化された複数のエンハンスメントレイヤ２２を含む必要はない。上記の通り、データ処理ステージ１８は、ベースレイヤとエンハンスメントレイヤに基づき、しかしそれとは異なる、あるディスプレイのためのビデオデータを生成できる。実施形態によっては、これはベースレイヤとエンハンスメントレイヤの間の補間及び／又は外挿、及び／又は２つのエンハンスメントレイヤの間の補間及び／又は外挿を含む。補間又は外挿は、２つのレイヤに関連する機能に対する、目標ディスプレイの機能に基づく。

データ処理ステージ１８は、目標ディスプレイの機能、及び／又はその目標ディスプレイにおける周辺照明状態に関する情報を、何らかの方法で受け取る。例えば：
−データ処理ステージ１８は、ある目標ディスプレイの機能に対してハードワイヤードであってもハードコーディッドであってもよい。これは、例えば、データ処理ステージ１８がディスプレイに組み込まれているか、及び／又はあるディスプレイ専用である実施形態に最も適している。
−データ処理ステージ１８は、ある目標ディスプレイの機能を記述する情報を含むメモリやレジスタセットなどを含む、又はそれにアクセスするように接続されている。これは、例えば、データ処理ステージ１８が、１つ又は複数のディスプレイに対して専用であるセットトップボックスその他の装置に組み込まれている実施形態において最も適切である。
−データ処理ステージ１８は、通信経路により目標ディスプレイと通信でき、その通信経路がビデオ信号も目標ディスプレイに搬送する。
−データ処理ステージ１８は、インターネットその他のデータ通信経路により、相互にデータ通信しており、目標ディスプレイの機能に関する情報を含む情報を交換できる。
−目標ディスプレイは、サーバにドックされ、さもなければ定期的に接続される一デバイス中にあっても、その一デバイスに付随しており、データアップロードを受け取れる。デバイスは、サーバへの接続している間に、サーバ又はデータ処理ステージ１８に目標ディスプレイの機能に関する情報を転送できる。

データ処理ステージ１８は、２つ以上のベースレイヤ２０とエンハンスメントレイヤ２２に対応するビデオストリームから、補間及び／又は外挿により、ビデオストリーム２３又はファイル２４を求める。ビデオデータ１０のビデオコンテンツのバージョンがすべて、創作意図を保つように（例えば、好適なカラータイミングにより）個別に最適化されている場合、補間又は外挿される値は、その創作意図を保つものであることが期待される。

図４Ａは、ビデオデータ１０からの２つ以上のビデオコンテンツのバージョンに基づき最適化されたビデオデータを生成するように構成されたデータ処理ステージ１８の一例のコンポーネントを示すブロック図である。図４Ｂは、入力された２つ以上のビデオコンテンツのバージョンに基づき最適化されたビデオデータを生成する方法７０を示すフローチャートである。データ処理ステージ１８は、ビデオデータ１０から、ベースレイヤ２０及び／又はエンハンスメントレイヤ２２を取り出すデコーダ４５を有する。図示した実施形態では、ビデオデータ１０は、ベースレイヤ２０と２つのエンハンスメントレイヤ２２Ａ、２２Ｂを含む。実施形態によっては、デコーダ４５は、あるディスプレイに対して最適化されたビデオコンテンツを生成するのに使われるベースレイヤ２０とエンハンスメントレイヤ２２のみを取り出す。デコーダ４５は、補間／外挿ブロック４８に２つの入力信号４７Ａ、４７Ｂを供給する。

各入力信号４７は画素値を含む。画素値は、例えば、色空間における色調座標及び／又は色座標の値を有する。実施形態によっては、色空間は知覚的に線形な色空間である。

補間／外挿ブロック４８は、入力信号４７の対応画素値間の補間又は外挿をする（ステップ７３）ことにより、出力値４９を生成するように構成されている。補間／外挿ブロック４８は、出力５０として、修正ビデオ信号で出力値４９を供給する（ステップ７４）。補間／外挿ブロック４８の制御入力５２は、補間／外挿ブロック４８の動作を制御する制御値を受け取る。単純な一実施形態では、補間／外挿ブロック４８において、制御値に、第１と第２のビデオ信号４７Ａと４７Ｂの対応する値の間の差分をかける。ブロック４８により行われる補間／外挿は、制御入力５２で受け取る値に基づく。制御入力５２に与えられる値は、表示するディスプレイの機能の尺度に基づき、及び／又は表示するディスプレイにおける周辺条件の尺度に基づき決定される。

図４Ｃは、補間／外挿を行う一方法を示す。図４Ｃにおいて、第１のビデオ信号の値はｙ_１であり、第２のビデオ信号の対応する値はｙ_２である。図４Ｃの水平軸は、表示するディスプレイの機能又は周辺条件の尺度を示す。例えば、水平軸は、表示するディスプレイのダイナミックレンジを示し、または何らかのインデックスに応じた表示するディスプレイの最大照度の対数を示す。第１のビデオ信号４７Ａは、機能Ａを有するディスプレイによる表示に最適化されたビデオコンテンツのバージョンを含み、第２のビデオ信号４７Ｂは、機能Ｂを有するディスプレイによる表示に最適化されたビデオコンテンツのバージョンを含む。そのビデオ信号を表示するディスプレイ（destination display）が機能Ｃを有する場合、出力値は、例えば

により決定される。（Ｃ−Ａ）は正または負である。｜Ｃ−Ａ｜は｜Ｂ−Ａ｜より大きくても小さくてもよい。

式（１）によると、ｙ_１＝ｙ_２であれば、Ｖ_ＯＵＴはｙ_１およびｙ_２に等しい。よって、クリエータが、第１と第２のビデオ信号により表されるビデオコンテンツの第１と第２のバージョンにおいて、意図的にｙ_１とｙ_２を等しく設定した場合、式（１）を用いる実施形態では、及びこれと同じ特徴を有するその他の実施形態でも、出力ビデオ信号においてこの値は保たれる。一方、ｙ_１≠ｙ_２である場合、Ｖ_ＯＵＴはｙ_１ともｙ_２とも異なる。

実施形態によっては、データ処理ステージ１８は、知覚曲線に沿って補間／外挿するように構成されている。例えば、データ処理ステージ１８は、照度の対数で補間／外挿をするように構成されてもよい。実施形態によっては、ビデオデータは、補間／外挿する前に、知覚的に一様な色空間（例えば、ＩＰＴやＬｏｇＹｕｖ）で与えられ、またはそれに変換される。

実施形態によっては、ビデオデータ間の補間は、

により行われる。ここで、ＹはＬｏｇＹｘｙやＬｏｇＹｕ’ｖ’などの色空間における照度座標であり、（Ｙ_ＶＤＲなどの）添字ＶＤＲはより高い機能（例えばより高いダイナミックレンジ及び／又はより広い色域）を有するビデオ信号からのデータを識別し、添字ＬＤＲはより低い機能を有するビデオ信号からのデータを識別し、添字ＭＤＲは出力又は目標ビデオ信号を識別し、αとβは補間定数であり、ｘとｙは色座標である（例えば、ＬｏｇＹｘｙ色空間中のｘとｙや、ＬｏｇＹｕ’ｖ’色空間中のｕ’とｖ’）。ここで、αは例えば

により与えられる。ここで、ｍａｘ（Ｙ_ＶＤＲ）は（高機能の）ＶＤＲビデオ信号で指定できるＹの最大値であり、ｍａｘ（Ｙ_ＬＤＲ）は（低機能の）ＬＤＲビデオ信号で指定できるＹの最大値であり、ｍａｘ（Ｙ_{ＴＡＲＧＥＴ}）は目標ディスプレイで再生できるＹの最大値であり、βはβ＝１−αにより与えられる。

例１：
一実施形態では、暗い周辺条件で見るために最適化されたビデオコンテンツの一バージョンと、明るい周辺条件で見るために最適化されたビデオコンテンツの他の一バージョンとをそれぞれ含む２つのエンハンスメントレイヤ間で、補間を行う。補間は固定でもよい。代替的な実施形態では、補間は、表示するディスプレイにおける周辺照明に依存して可変であってもよい。実施形態によっては、補間／外挿エンジン４８の入力５２に、周辺照明情報２７が供給される。かかる実施形態では、周辺照明情報２７は、２つの入力信号４７Ａと４７Ｂに与えられる相対的な重みを制御する。

例２：
他の一実施形態では、表示するディスプレイ１６又はデバイス３２は、ベースレイヤ２０で仮定された閾値より広い色域を有する。かかる実施形態では、広い色域のディスプレイに対して最適化されたベースレイヤ２０とエンハンスメントレイヤ２２との間で補間を行う。補間においてベースレイヤとエンハンスメントレイヤとに与えられる相対的な重みは、ベースレイヤ２０とエンハンスメントレイヤ２２で仮定された閾値と比較して表示するディスプレイの色域がどれだけ広いかの尺度に基づく。

例３：
ある実施形態では、表示するディスプレイのために作成されたビデオ信号は、ビデオデータ１０の３つ以上のビデオコンテンツのバージョンに基づく。例えば、表示するディスプレイは、ベースレイヤと、その表示ディスプレイにおける周辺照明とで仮定された色域より、ある点で広い色域の色を再生できる。データ処理ステージ１８は、最初に、上記の「例１」で説明したように、表示するディスプレイにおける周辺条件に基づき２つのエンハンスメントレイヤ間を補間し、次に、上記の「例２」で説明したように、表示するディスプレイの相対的に機能に基づき、結果の信号とベースレイヤとの間の補間をする。

ビデオデータ１０は、異なるディスプレイ及び／又は視聴条件に対して最適化された２つ以上のビデオコンテンツのバージョンを含むことができる幅広い構成を有する。異なるビデオコンテンツのバージョンは、ビデオデータ１０に個別に表し得るが、エンハンスメントレイヤをベースレイヤとの差分でエンコードする、又はその逆をする方がずっと効率的である。一例では、ビデオデータ１０は、選択的に復号できる複数のレイヤを含むビットストリームを含む。例えば、「Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」または「ＳＶＣ」と呼ばれることもあるＨ．２６４／ＭＰＥＧ−４ＡＶＣビデオ圧縮標準のＡｎｎｅｘＧにより規定された符号化方式と同様なスケーラブルなビデオコーデックを用いて、異なるレイヤを配信できる。

図５Ａと５Ｂは、実施形態によるビデオ配信システムを示す。図５Ａにおいて、表示するディスプレイでの視聴に最適化されたビデオコンテンツのバージョンを含むビデオ信号がデコーダで生成される。デコーダは表示するディスプレイに対してローカルなものであってもよい。図５Ｂにおいて、表示するディスプレイにおける視聴に対して最適化されたビデオコンテンツのバージョンを含むビデオ信号は、最適化されたビデオ信号を受信するデコーダの上流にあるトランスコーダで生成される。各場合において、プロデューサＰによりビデオコンテンツのバージョンに込められた創作意図が、システムにより配信されるビデオコンテンツを視聴するコンシューマに配信される。

本発明のある実施態様は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、データ処理ステージのプロセッサは、アクセスできるプログラムメモリ中のソフトウェア命令を実行することにより、図４Ｂの方法を実施する。また、本発明は、プログラム製品の形体でも提供できる。プログラム製品は、データプロセッサにより実行されると、そのデータプロセッサに本発明の方法を実行させる命令を含む一組のコンピュータ読み取り可能信号を担う任意の媒体を含む。本発明によるプログラム製品は、どんな形体のものでもよい。プログラム製品には、例えば、フロッピーディスケット、ハードディスクドライブなどの磁気的データ記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤを含む光学的データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子的データ記憶媒体などの持続的または物理的メディアを含む。プログラム製品上のコンピュータ読み取り可能信号は、任意的に圧縮され、暗号化されていてもよい。

上でコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）と言った場合、別段の記載が無ければ、そのコンポーネント（「手段」と言った場合も含む）は、そのコンポーネントの等価物として、説明したコンポーネントの機能を実行する（すなわち、機能的に等価な）任意のコンポーネントを含み、本発明の例示した実施形態の機能を実行する開示された構成と構造的に等価でないコンポーネントも含むものと解すべきである。

したがって、本発明は、現在存在する、及び／又は将来開発される、ここに説明した、任意の要素（本発明の様々な部分又は特徴）及びその等価物を含み、またはこれらにより構成され、又はこれらにより基本的に構成されている。さらに、ここに例示的に開示した本発明は、ここには具体的に開示していなくても、任意の要素無しに実施できる。明らかに、上記の教示を考慮して、本発明の修正や変更が可能である。それゆえ、言うまでもなく、添付した請求項の範囲内において、ここで具体的に説明していなければ本発明を実施できる。

したがって、本発明はここに説明したいかなる形体でも実施でき、本発明のある部分の構成、特徴、及び機能を記載した以下の付記（Enumerated Example Embodiments）には限定されない。
（付記１） 目標ディスプレイにおける表示のために最適化されたビデオコンテンツを配信する方法であって、
前記ビデオコンテンツの異なる少なくとも第１と第２のバージョンを含むビデオデータを供給するステップと、
前記ビデオコンテンツの第１と第２のバージョンの間を補間又は外挿して、前記ビデオコンテンツの第３のバージョンを生成するステップと、を有する方法。
（付記２） 前記第１のバージョンは周辺光の第１のレベルに対して最適化され、前記第２のバージョンは周辺光の第２のレベルに対して最適化され、前記補間又は外挿は前記目標ディスプレイにおける周辺光のレベルに基づく、付記１に記載の方法。
（付記３） 光センサが前記目標ディスプレイにおける周辺光のレベルをモニタし、前記方法は、前記光センサにより検出された前記目標ディスプレイにおける周辺光のレベルに基づき、前記ビデオコンテンツの第１と第２のバージョンに相対的な重みを適用するステップを有する、付記２に記載の方法。
（付記４） 前記目標ディスプレイは、前記ビデオコンテンツの第１のバージョンで仮定された第１の色域と、前記ビデオコンテンツの第２のバージョンで仮定された第２の色域との間の表示色域を有し、前記方法は、前記第１と第２の色域の対応する尺度に対する前記表示色域の尺度に基づき、前記ビデオコンテンツの第１と第２のバージョンに相対的な重みを適用するステップを有する、付記１に記載の方法。
（付記５） 各バージョンは画像の画素の画素値を含み、補間は前記第１と第２のバージョンの対応する画素の画素値の間の補間を含む、付記１に記載の方法。
（付記６） 前記画素値は知覚的に線形な色空間における座標の値を含む、付記５に記載の方法。
（付記７） トランスコーダで実行され、前記方法は、前記ビデオコンテンツの第３のバージョンを符号化して、符号化した第３のバージョンを前記トランスコーダから目標ディスプレイに送るステップを有する、付記１に記載の方法。
（付記８） 前記ビデオコンテンツの第３のバージョンが表示されるデバイスの識別情報を受け取るステップと、
前記ビデオコンテンツの第１と第２のバージョンに関連する表示機能に対する前記デバイスの対応する表示機能に少なくとも部分的に基づき、前記補間又は外挿を制御するステップとを有する、付記１に記載の方法。
（付記９） 前記デバイスが前記ビデオコンテンツのダウンロードを受け取るように接続されたことに応じて、前記デバイスの表示機能を決定するステップを有する、付記８に記載の方法。
（付記１０） 目標ディスプレイにおける表示のために最適化されたビデオコンテンツを配信する方法であって、
前記ビデオコンテンツの異なる複数のバージョンを含むビデオデータを１つのデータエンティティ中に設けるステップであって、前記異なるバージョンは異なる色域、異なるフレームレート、異なるビット深度、及び異なる空間的解像度のうち１つ以上を有するバージョンを含むステップと、
目標ディスプレイの機能を決定するステップと、
前記目標ディスプレイに表示する前記異なるバージョンのうちの一バージョンを選択して復号するステップと、を有する方法。
（付記１１） 前記選択された、異なるバージョンのうちの一バージョンを復号するステップは、ベースレイヤとエンハンスメントレイヤを復号し、前記エンハンスメントレイヤに応じて前記ベースレイヤを修正するステップを有する、付記１０に記載の方法。
（付記１２） ビデオ処理装置であって、
データ処理ステージを有し、前記データ処理ステージは：
ビデオコンテンツの異なる複数のバージョンであって、異なる色域、異なるフレームレート、及び異なるビット深度にうち１つ以上を有する複数のバージョンを符号化したビデオデータを読み取り、
前記バージョンのうちの一バージョンが目標ディスプレイにおける表示に最適化されているか決定し、
前記バージョンのうちの一バージョンが目標ディスプレイにおける表示に最適化されているとの決定に応じて、前記バージョンのうちの一バージョンを前記目標ディスプレイにおける表示のために供給するように構成された、ビデオ処理装置。
（付記１３） 前記異なるバージョンのうちの少なくとも二バージョンを結合して、前記異なるバージョンのうちの少なくとも二バージョンの補間である出力信号とする補間部を有する、付記１２に記載のビデオ処理装置。
（付記１４） 前記補間部は、制御入力を有し、前記第１と第２の入力ビデオ信号における対応する値間の差分に、前記制御入力で受け取った値に基づく量をかけるように構成された、付記１３に記載のビデオ処理装置。
（付記１５） 前記制御入力は、前記目標ディスプレイにおける周辺照明状態を示す信号を受け取るように接続された、付記１４に記載のビデオ処理装置。
（付記１６） 前記目標ディスプレイに組み込まれた、付記１２に記載のビデオ処理装置。
（付記１７） トランスコーダに組み込まれた、付記１２に記載のビデオ処理装置。
（付記１８） 前記データ処理ステージは、前記目標ディスプレイにおける周辺照明状態に関する情報を受け取り、前記バージョンのうちの一バージョンが前記周辺照明状態下において前記目標ディスプレイにおける表示のために最適化されているか決定するように構成された、付記１２に記載のビデオ処理装置。
（付記１９） ビデオ処理装置であって、
ビデオ信号からベースレイヤと１つ又は複数のエンハンスメントレイヤを取り出し、それぞれが異なるビデオコンテンツのバージョンを符号化した複数の入力信号を生成するように構成されたデコーダと、
前記複数の入力信号を受け取り、前記入力信号に対応する前記異なるバージョンの補間である出力信号を出力するように接続された補間部と、を有するビデオ処理装置。
（付記２０） 目標ディスプレイにおける周辺照明状態を検出するように配置された光センサから周辺照明信号を受け取り、前記周辺照明信号の値に少なくとも部分的に基づき前記補間部を制御するように接続された、付記１９に記載のビデオ処理装置。
（付記２１） 前記補間部は、前記入力信号に関連する機能に対する前記目標ディスプレイの機能に基づき補間を実行するように構成された、付記１９に記載のビデオ処理装置。
（付記２２） 前記補間部は、制御入力を有し、前記第１と第２の入力ビデオ信号における対応する値間の差分に、前記制御入力で受け取った値に基づく量をかけるように構成された、付記１９に記載のビデオ処理装置。
（付記２３） 前記補間部は、知覚曲線に沿って補間または外挿を行うように構成された、付記１９に記載のビデオ処理装置。
（付記２４） 前記補間部は、照度の対数により補間または外挿を行うように構成された、付記１９に記載のビデオ処理装置。
（付記２５） 異なる複数のビデオコンテンツのバージョンであって、異なる色域を有し、異なるフレームレートを有し、異なるビット深度を有し、または異なる周辺光のレベル下での視聴のために最適化された異なるバージョンを符号化したコンピュータ読み取り可能ビデオデータを有する持続的媒体。
（付記２６） 前記ビデオデータは、ベースレイヤと複数のエンハンスメントレイヤとを有し、前記異なるバージョンは、前記ベースレイヤと、前記エンハンスメントレイヤと組み合わせた前記ベースレイヤとを有する、付記２５に記載の媒体。
（付記２７） 前記ビデオデータは、ベースレイヤと複数のエンハンスメントレイヤとを有し、少なくとも一エンハンスメントレイヤは３次元情報を有する、付記２５に記載の媒体。
（付記２８） カラーグレーディングステーションであって、
ビデオコンテンツを含むデータ記憶部と、
複数のディスプレイと、
コントローラであって、前記コントローラは、
前記ビデオコンテンツを前記複数のディスプレイの各ディスプレイに表示し、
前記複数のディスプレイの各ディスプレイに表示するため前記ビデオコンテンツの最適化を含む対応するユーザ入力を受け取り、
それぞれが前記複数のディスプレイの一ディスプレイに関連した最適化を含む前記ビデオコンテンツの複数のバージョンを記憶し、
前記異なる複数のビデオコンテンツのバージョンを符号化したコンピュータ読み取り可能ビデオデータに前記複数のバージョンを結合するコントローラと、を有するカラーグレーディングステーション。
（付記２９） 前記ビデオコンテンツはベースレイヤと複数のエンハンスメントレイヤとを有する、付記２８に記載のカラーグレーディングステーション。
（付記３０） メディアサーバであって、同じビデオコンテンツの複数のバージョンを含むデータ記憶部を有し、目標ディスプレイにおける表示のために最適化された前記ビデオコンテンツのバージョンの一バージョンの選択と、前記ビデオコンテンツの異なる複数のバージョンから前記最適化されたビデオコンテンツの生成の一方又は両方により、目標ディスプレイにおける表示のために最適化されたビデオコンテンツを生成するように構成された、メディアサーバ。
（付記３１） ここに説明するか又は図面に示した新規で有用な発明的特徴、又は特徴の組合せ、又は特徴の部分的な組合せを有する装置。
（付記３２） ここに説明するか又は図面に示した新規で有用な発明的ステップ及び／又は動作、又はステップ及び／又は動作の組合せ、又はステップ及び／又は動作の部分的な組合せを有する方法。

上記開示を考慮して当業者には明らかなように、本発明の精神と範囲から逸脱することなく、本発明を実施するにあたり多くの変更と修正が可能である。したがって、本発明の範囲は以下の特許請求の範囲により画定される。

Claims (16)

1. ビデオデータを受け取るように構成された入力と、
   前記ビデオデータを見る周辺条件を検出するように構成されたセンサと、
   プロセッサであって、
   前記入力により受け取られたビデオデータに含まれるベースレイヤと複数のエンハンスメントレイヤを復号し、
   シーンごとに、エンハンスメントレイヤの補間により修正されたベースレイヤを含むビデオデータストリームを生成するように構成されたプロセッサとを有する、ディスプレイ装置。
2. エンハンスメントレイヤの補間は、ディスプレイの機能に基づき選択された複数のエンハンスメントレイヤを含む、請求項１に記載のディスプレイ装置。
3. エンハンスメントレイヤの補間は、検出された周辺条件に基づき選択された複数のエンハンスメントレイヤを含む、請求項１に記載のディスプレイ装置。
4. エンハンスメントレイヤの補間は、検出された周辺条件にもっともよくマッチする光と色でｇｒａｄｅされた異なる２つのエンハンスメントレイヤを含む、請求項１に記載のディスプレイ装置。
5. ディスプレイは、エンハンスメントレイヤがｇｒａｄｅされたディスプレイよりも大きい色域能力を有する高ダイナミックレンジ（ＨＤＲ）ディスプレイを含む、請求項４に記載のディスプレイ装置。
6. 前記ディスプレイ装置は、セットトップボックス、デジタルビデオレコーダ、テレビジョン、ホームシアタディスプレイ、又はデジタルシネマプロジェクタのうちの１つを含む、請求項１ないし５いずれか一項に記載のディスプレイ装置。
7. シーンごとは、見る者に伝えるべき具体的な創作意図により、検出された周辺条件の下で前記ディスプレイ装置の具体的な機能により、シーンの色のパレットを最適化するように構成された補間を含む、請求項６に記載のディスプレイ装置。
8. シーンごとは、見る者に伝えるべき具体的な創作意図により、検出された周辺条件の下で前記ディスプレイ装置の具体的な機能により、表示されるシーンのコントラストを最適化するように構成された補間を含む、請求項６に記載のディスプレイ装置。
9. シーンごとは、見る者に伝えるべき具体的な創作意図により、検出された周辺条件の下で前記ディスプレイ装置の具体的な機能により、表示されるシーンの輝度を最適化するように構成された補間を含む、
   請求項６に記載のディスプレイ装置。
10. シーンごとは、見る者に伝えるべき具体的な創作意図により、検出された周辺条件の下で前記ディスプレイ装置の具体的な機能により、表示されるシーンの最大輝度を最適化するように構成された補間を含む、請求項６に記載のディスプレイ装置。
11. シーンごとは、前記ディスプレイ装置の具体的な機能を用いて表示されるとき、シーンの輝度、最大輝度、コントラスト及び色パレットのうち少なくとも１つにより、創作意図を伝えるように構成された補間を含む、請求項６に記載のディスプレイ装置。
12. ベースレイヤとエンハンスメントレイヤとを含むビデオデータを受け取るステップと、
    受け取ったビデオデータから、表示するビデオデータを構成するステップとを含み、
    表示するビデオデータは、ディスプレイ装置が見られる周辺条件と創作意図とを考慮して、前記ディスプレイ装置の機能に基づき、エンハンスメントレイヤの補間により構成される、
    方法。
13. 創作意図はシーンの色パレット、輝度及びコントラストのうち少なくとも１つである、
    請求項１２に記載の方法。
14. 創作意図はシーンごとに適用される、請求項１２に記載の方法。
15. 創作意図は、シーンの色パレット、シーンの輝度、シーンのコントラストを含む、
    請求項１２に記載の方法。
16. 表示するビデオデータは、シーンで使われる色パレット、シーンのコントラスト、及びシーンの輝度のうちいずれかにより、ユーザに伝えるべく意図された創作意図を含む、ビデオコンテンツの見る者への見え方の創作的制御を維持するように構成される、
    請求項１２に記載の方法。

Images