JP2022511416A - ハイダイナミックレンジディスプレイ用のブレンド層の視認性を改善するための方法及びシステム - Google Patents

Abstract

標準ダイナミックレンジ（ＳＤＲ）オーバーレイが、ＨＤＲディスプレイのハイダイナミックレンジ（ＨＤＲ）コンテンツに表示されることがよくある。オーバーレイがＳＤＲであるため、オーバーレイの最大輝度は、ＨＤＲコンテンツの最大輝度よりもはるかに低く、これにより、ＳＤＲ要素が少なくともある程度の透明度を有する場合、ＳＤＲ要素が不明瞭になる可能性がある。本開示は、ある程度の透明度を有するＳＤＲ層がＨＤＲコンテンツに表示される場合に、ＨＤＲコンテンツ及びＳＤＲコンテンツの一方又は両方の輝度を変更することを含む技術を提供する。様々な技術が提供される。一例では、固定調整が、ＳＤＲ層及びＨＤＲ層の一方又は両方のピクセルに適用される。固定調整は、ＨＤＲ層の輝度を減少すること及び／又はＳＤＲ層の輝度を増加することを含む。別の例では、可変調整が適用される。【選択図】図４

Description

（関連出願の相互参照）
本願は、２０１８年１２月１３日に出願された米国特許出願第１６／２１８，７０８号の利益を主張するものであり、その内容は、言及することによって本明細書に組み込まれる。

ハイダイナミックレンジ（ＨＤＲ）ディスプレイは、標準ダイナミックレンジ（ＳＤＲ）ディスプレイと比較して、最大輝度と最小輝度との比率を増加させることによって、より快適な視覚体験を提供する。ＨＤＲディスプレイに関連する改善が常に行われている。

添付の図面と併せて例として与えられる以下の説明から、より詳細な理解を得ることができる。

特定の実施態様による、例示的なデバイスのブロック図である。 一例による、図１のデバイスの態様を示すブロック図である。 一例による、アンダーライングコンテンツ層及びオーバーレイコンテンツ層を示す図である。 Ａ～Ｂは、一例による、ディスプレイ、アンダーライングコンテンツ層、及びオーバーレイコンテンツ層のダイナミックレンジの比較を示す図である。 一例による、画像に調整を適用する方法のフロー図である。

本明細書では、ブレンド層の視認性を改善するための技術について説明する。具体的には、標準ダイナミックレンジ（ＳＤＲ）オーバーレイがＨＤＲディスプレイのハイダイナミックレンジ（ＨＤＲ）コンテンツ上に表示される場合が多い。一例では、ＨＤＲビデオコンテンツは、ガイド及びメニューが追加されるケーブルテレビのセットトップボックスに提供される。オーバーレイがＳＤＲであるため、オーバーレイの最大輝度は、ＨＤＲコンテンツの最大輝度よりもはるかに低い。これにより、ＳＤＲ要素が少なくともいくつかの透明度を有する場合（例えば、アルファ値が１．０よりも大幅に低い場合）、ＳＤＲ要素が不明瞭になる可能性がある。この状況を支援するために、本開示は、ある程度の透明度を有するＳＤＲ層がＨＤＲコンテンツ上に表示される場合に、ＨＤＲコンテンツ及びＳＤＲコンテンツの一方又は両方の輝度を修正することを含む技術を提供する。様々な技術が提供される。一例では、固定調整が、ＳＤＲ層及びＨＤＲ層の一方又は両方のピクセルに適用される。固定調整は、ＨＤＲ層の輝度を減少すること及び／又はＳＤＲ層の輝度を増加することを含む。別の例では、可変調整が適用される。可変調整は、特定のピクセルの特性値と複数のピクセルから得られた統計結果との比較に基づいている。「特性値」という用語は、ピクセルを特徴付ける任意の値を指す。特性値の例は、アルファ値、輝度値、平均カラー値（又は、カラー値の他の関数）、又は、ピクセルを特徴付ける任意の他の値を含む。一例では、ＳＤＲ層の全てのピクセルのアルファ値の平均値が使用される。各ピクセルに対して調整が行われ、ピクセルの調整は、ピクセルのアルファ値と平均値との比較に基づいている。他の多くの技術が本明細書に開示されている。

図１は、本開示の１つ以上の特性を実装可能な例示的なデバイス１００のブロック図である。デバイス１００は、例えば、コンピュータ、ゲーミングデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話、又は、タブレットコンピュータを含む。デバイス１００は、プロセッサ１０２と、メモリ１０４と、ストレージ１０６と、１つ以上の入力デバイス１０８と、１つ以上の出力デバイス１１０と、を含む。また、デバイス１００は、オプションとして、入力ドライバ１１２及び出力ドライバ１１４を含む。デバイス１００は、図１に示されていない追加のコンポーネントを含むことを理解されたい。

様々な代替案では、プロセッサ１０２は、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、同じダイ上に配置されたＣＰＵ及びＧＰＵ、又は、１つ以上のプロセッサコアを含み、各プロセッサコアは、ＣＰＵ又はＧＰＵであり得る。様々な代替案では、メモリ１０４は、プロセッサ１０２と同じダイ上に配置されてもよいし、プロセッサ１０２とは別に配置されてもよい。メモリ１０４は、揮発性メモリ又は不揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ、キャッシュ）を含む。

ストレージ１０６は、固定式ストレージ又はリムーバブルストレージ（例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク、フラッシュドライブ等）を含む。入力デバイス１０８は、限定されないが、キーボード、キーパッド、マウス、タッチスクリーン、タッチパッド、検出器、マイクロホン、加速度計、ジャイロスコープ、バイオメトリックススキャナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信用及び／若しくは受信用の無線ローカルエリアネットワークカード）を含む。出力デバイス１１０は、限定されないが、表示デバイス１１８、スピーカ、プリンタ、触覚フィードバックデバイス、１つ以上の照明、アンテナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信用及び／若しくは受信用の無線ローカルエリアネットワークカード）を含む。

入力ドライバ１１２は、プロセッサ１０２及び入力デバイス１０８と通信し、プロセッサ１０２が入力デバイス１０８からの入力を受信することを可能にする。出力ドライバ１１４は、プロセッサ１０２及び出力デバイス１１０と通信し、プロセッサ１０２が出力デバイス１１０に出力を送信することを可能にする。入力ドライバ１１２及び出力ドライバ１１４は、オプションのコンポーネントであり、入力ドライバ１１２及び出力ドライバ１１４が存在しない場合、デバイス１００が同じように動作することに留意されたい。出力ドライバ１１４は、表示デバイス１１８に結合された高速処理デバイス（ＡＰＤ）１１６を含む。ＡＰＤ１１６は、計算コマンド及びグラフィックスレンダリングコマンドをプロセッサ１０２から受信し、これらの計算コマンド及びグラフィックスレンダリングコマンドを処理し、表示するためにピクセル出力を表示デバイス１１８に提供するように構成されている。

図２は、本開示の１つ以上の特性を実装可能な例示的なシステム２００の簡略化されたブロック図である。システム２００は、画像データをプレ表示デバイス２１５にまとめて提供するレンダリングエンジン２１０と通信するプロセッサ１０２を含む。オプションのプレ表示デバイス２１５は、画像データを読み出し、１つ以上の技術に従って、画像データから得られたピクセルデータを任意に変更し、変更されたピクセルデータを表示デバイス１１８に出力して表示させる。システム２００は、グラフィックスを画面に表示させる様々なデバイスの何れかを表す。

一例では、システム２００は、デスクトップ、ラップトップ、タブレットコンピュータ、スマートフォン、ビデオゲームコンソール又は他のデバイス等のホームコンピューティングデバイスである。プロセッサ１０２は、デバイスのメインプロセッサ（例えば、中央処理装置（ＣＰＵ））である。係るシステムでは、プロセッサ１０２は、コマンド及びデータをレンダリングエンジン２１０に提供する。レンダリングエンジン２１０は、専用の又は統合されたグラフィックスレンダリングハードウェアを表す。レンダリングエンジン２１０は、表示デバイス１１８に表示するためのピクセル出力を生成する。レンダリングエンジン２１０のコマンド及びデータは、２次元オブジェクト又は３次元オブジェクトに基づいてフレームをレンダリングすることをレンダリングエンジン２１０に指示する。コマンド及びデータは、表示デバイス１１８に表示するためのオーバーレイを指定し、レンダリングエンジン２１０は、レンダリングされたフレームと組み合わせて、表示デバイス１１８に表示するための最終出力を生成する。このような状況では、プレ表示デバイス２１５が存在しない。

システム２００がホームコンピューティングデバイスである別の例では、レンダリングエンジン２１０は、表示するためにビデオデータをデコードするビデオデコーダを含む。プロセッサ１０２は、コマンドをビデオデコーダに発行して、ビデオデータをデコードさせる。プレ表示デバイス２１５は、表示デバイス１１８に表示するためのオーバーレイを追加するビデオ後処理エンジンである。

別の例では、システム２００は、インターネットを通じて、プレ表示デバイス２１５を介して表示デバイス１１８に接続されたビデオコンテンツサーバである。このようなシステムでは、プロセッサ１０２及びレンダリングエンジン２１０は、協働して、表示デバイス１１８に表示するためのピクセルデータを提供する。プレ表示デバイス２１５は、ビデオデータを受信し、オーバーレイを追加し、結果として得られる組み合わされた画像フレームを、表示するために表示デバイス１１８に出力するセットトップボックス又は他のメディアプレーヤである。

別の例では、システム２００は、ビデオコンテンツをディスプレイシステムに提供するビデオコンテンツプロバイダシステムに接続されたディスプレイシステムを含む、複合システムである。このような例では、ディスプレイシステムは、オーバーレイを生成し、オーバーレイを、ビデオコンテンツプロバイダシステムから受信したビデオコンテンツと合成する役割を果たす表示デバイス１１８及びプレ表示デバイス２１５を含む。コンテンツプロバイダシステムの例は、ストリーミングデスクトップコンピュータ又はインターネットビデオコンテンツサーバである。ディスプレイシステムの例は、プレ表示デバイス２１５を含むスマートテレビ又は非スマートテレビである。

システム２００のいくつかの例が説明されているが、システム２００は、表示されるアンダーライング画像コンテンツ（underlying image content）を受信又は生成し、そのアンダーライング画像コンテンツを、表示デバイス１１８に表示するためにオーバーレイと組み合わせる任意の他のタイプのコンピューティングデバイスを表してもよいことを理解されたい。

オーバーレイ層のグラフィックを、アンダーライングコンテンツ層と透過的に合成することができる。「アルファ」と通常呼ばれる値は、オーバーレイ層の不透明度を指定する。言い換えると、アルファ値は、オーバーレイ層の色がブレンドされたピクセルの最終カラー値にどの程度影響するかを指定する。慣習的に、アルファ値１．０は、オーバーレイ層が不透明であることを示し、したがって、最終的なカラー値は、アンダーライングコンテンツ層によって変更されないオーバーレイ層によって提供される色になる。アルファ値０．０は、オーバーレイ層が完全に透明であり、最終的なカラー値に影響しないことを示す。アルファ値０．５は、アンダーライングコンテンツ及びオーバーレイ層の両方が最終的なピクセル値にかなりの程度寄与していることを示す。

表示デバイス１１８のような表示デバイスは、固有のダイナミックレンジを有する。ダイナミックレンジは、ディスプレイが生成可能な最高輝度と最低輝度との比率を指定する。従来のディスプレイは、「標準」ダイナミックレンジ（ＳＤＲ）を有すると考えられる。実際のダイナミックレンジはディスプレイ毎に異なるが、一般的なアプリケーションからの出力は、通常、ＳＤＲ範囲にトーンマッピングされる。トーンマッピングは、コンテンツジェネレータ（例えば、レンダリングエンジン２１０）によって出力されたピクセルの輝度を、ディスプレイによって出力された実際の輝度の値にマッピングする技術である。通常、トーンマッピングは、表示の制限にかかわらず、画像の意図した外観に近似するために行われる。

ハイダイナミックレンジ（ＨＤＲ）ディスプレイは、ＳＤＲディスプレイよりもはるかに広い範囲の輝度を表示する機能を備える。さらに、ＨＤＲディスプレイの最大輝度は、ＳＤＲディスプレイの最大輝度よりもはるかに大きい（例えば、ＨＤＲディスプレイでは１０００ニット（nit）であるのに対し、ＳＤＲディスプレイでは３００ニットである）。しかしながら、ＨＤＲディスプレイのダイナミックレンジ全体を使用するには、ＨＤＲディスプレイに表示されるコンテンツを、ＳＤＲコンテンツよりもはるかに大きいダイナミックレンジを有するＨＤＲコンテンツとして指定する必要がある。ＨＤＲディスプレイに表示されるＳＤＲコンテンツは、ディスプレイの全範囲にマッピングされるのではなく、ＨＤＲディスプレイのダイナミックレンジの暗い部分にマッピングされる。このように、ＳＤＲディスプレイと比較してＨＤＲディスプレイの輝度が大きいので、ＳＤＲコンテンツが「マッピングダウン（mapped down）」される。より具体的には、ＨＤＲコンテンツは、通常、ＨＤＲ範囲の上部を含む「ハイライト範囲」を含む。このハイライト範囲は、ＨＤＲコンテンツのハイライト（スペキュラーハイライト（specular highlights）等）に使用され、通常、ＨＤＲディスプレイの最高輝度にマッピングされる。しかしながら、ＳＤＲコンテンツは、このハイライト範囲を含まず、ＳＤＲ範囲の上部が汎用的に使用される。ＳＤＲコンテンツがＨＤＲ範囲全体にマッピングされる場合、ＳＤＲコンテンツの多くがＨＤＲディスプレイのハイライト範囲にあり、明るすぎる。したがって、ＳＤＲコンテンツをＨＤＲディスプレイの全範囲にマッピングするのではなく、ＳＤＲコンテンツをより小さい範囲にマッピングする。一例では、ＳＤＲコンテンツは、ＨＤＲディスプレイに表示される場合であっても、ＳＤＲディスプレイの輝度範囲にマッピングされるので、ＳＤＲコンテンツは、ＳＤＲディスプレイに現れるのとほぼ同じように、ＨＤＲディスプレイに現れる。

ＨＤＲコンテンツ及びＳＤＲコンテンツの組み合わせを含むコンテンツの表示には問題がある。具体的には、上述したように、ＳＤＲコンテンツは、ＳＤＲコンテンツの最大輝度がＨＤＲコンテンツ及びディスプレイの両方の最大輝度よりも低くなるようにトーンマッピングされる。このマッピングにより、アンダーライング画像コンテンツよりも明るさが大幅に低下するために、ＳＤＲオーバーレイが不明瞭になる（歪む又は見えなくなる）状況が発生する可能性がある。ＳＤＲディスプレイのＳＤＲコンテンツにオーバーレイする場合、ＳＤＲコンテンツと同等の輝度になるため、ＳＤＲオーバーレイがはるかに見やすくなることに留意されたい。しかしながら、ＨＤＲディスプレイでは、ＳＤＲオーバーレイは、より明るいＨＤＲコンテンツによって圧倒（overpowered）される。

図３及び図４Ａ～図４Ｂは、ＳＤＲオーバーレイがコンテンツ層上に存在する状況を示している。図３は、１つのオブジェクト３１２が示された、アンダーライングコンテンツ層３０５を有する画面３００を示している。実際にはより多くのオブジェクトがコンテンツ層に存在し得るが、説明を分かり易くするために１つだけ示している。さらに、オーバーレイコンテンツ層３１０が示されている。オーバーレイコンテンツ層３１０は、アンダーライングコンテンツ層オブジェクト３１２と少なくとも部分的に重なるオーバーレイコンテンツ層３１１を含む。

図４Ａは、ＳＤＲディスプレイについて、画面３００が示されるディスプレイと、アンダーライングコンテンツ層３０５と、オーバーレイコンテンツ層３１０と、のダイナミックレンジの比較を示している。ディスプレイがＳＤＲディスプレイであるため、ディスプレイのダイナミックレンジ４０２と、アンダーライングコンテンツのダイナミックレンジ４０４と、オーバーレイのダイナミックレンジ４０６と、はほぼ同じである。アンダーライングコンテンツの明るいオブジェクト３１２は、オーバーレイオブジェクト３１１よりもわずかに低い輝度レベルを有するので、オーバーレイオブジェクト３１１がアルファブレンディングで表示される場合であっても、オーバーレイオブジェクト３１１は、明るいオブジェクト３１２によって不明瞭にならない可能性が高い。

図４Ｂは、ＨＤＲディスプレイについて、画面３００が示されるディスプレイと、アンダーライングコンテンツ層３０５と、オーバーレイコンテンツ層３１０と、のダイナミックレンジの比較を示している。ディスプレイがＨＤＲディスプレイであるため、ディスプレイのダイナミックレンジ４５２は、ＳＤＲディスプレイのダイナミックレンジ４０２よりもはるかに大きい。さらに、ディスプレイに提供されるアンダーライングコンテンツもＨＤＲであり、ディスプレイと同じダイナミックレンジを有する。しかしながら、オーバーレイのダイナミックレンジはＨＤＲではなくＳＤＲであるため、オーバーレイのダイナミックレンジはディスプレイのダイナミックレンジ４５２よりもはるかに小さくなる。さらに、オーバーレイダイナミックレンジ４５６の最大輝度は、ディスプレイダイナミックレンジ４５２の最大輝度よりもはるかに低い。アンダーライングコンテンツのダイナミックレンジ４５４はＨＤＲであるため、アンダーライングコンテンツの明るいオブジェクト３１２の輝度は、オーバーレイオブジェクト３１１の輝度よりもはるかに大きくなる。このため、オーバーレイオブジェクト３１１が実質的に透明である場合（例えば、アルファ値が実質的に１．０未満である場合）、オーバーレイオブジェクト３１１は、アンダーライングコンテンツ層３０５の明るいオブジェクト３１２によって不明瞭になる。ＳＤＲディスプレイの図４００及びＨＤＲディスプレイの図４５０のオーバーレイオブジェクト３１１及び明るいオブジェクトを表す線は、各々のオブジェクトの最大輝度を表すことに留意されたい。ＨＤＲコンテンツのダイナミックレンジ４５４は、ディスプレイのダイナミックレンジ４５２と全く同じである必要がないことを理解されたい。

上記の理由のため、アンダーライングＨＤＲコンテンツ層及びＳＤＲオーバーレイの両方を含む合成画像であって、ＨＤＲディスプレイに表示される合成画像の少なくとも一部の輝度値を調整する技術が提供される。具体的には、図５は、一例による、ＳＤＲオーバーレイを有するＨＤＲコンテンツを含むフレームを調整する方法５００のフロー図である。図１～図３及び図４Ａ～図４Ｂのシステムに関して説明するが、技術的に実行可能な順序で方法５００のステップを行うように構成された任意のシステムが本発明の範囲内にあることを理解されたい。

方法５００は、コンポジタによって、又は、コンポジタとは異なる別のユニットによって実行され、このユニットは、プロセッサ１０２の一部（例えば、プロセッサ１０２上で実行されるハードウェアモジュール又はソフトウェアモジュール）、レンダリングエンジン２１０の一部（例えば、後処理ハードウェア又はソフトウェアモジュール）、プレ表示デバイス２１５の一部（例えば、ハードウェア又はソフトウェアモジュール）、又は、表示デバイス１１８の一部（例えば、同様に、ハードウェア又はソフトウェアモジュール）であってもよい。トーンマッパ（tone mapper）は、最初に、コンテンツを処理して、コンテンツで定義された輝度をディスプレイの輝度にマッピングする。上述したように、ＳＤＲコンテンツがＳＤＲダイナミックレンジにマッピングされ、ＨＤＲコンテンツがより大きいＨＤＲダイナミックレンジにマッピングされる。ＳＤＲオーバーレイがＨＤＲコンテンツ上に表示される場合等で合成が必要な場合、コンポジタは、ＳＤＲオーバーレイのアルファ値に従ってＳＤＲコンテンツ及びＨＤＲコンテンツをブレンドする。コンポジタは、上述したユニットの何れか又は説明していない別のユニットに配置されたソフトウェア又はハードウェアコンポーネントであってもよい。ＨＤＲアンダーライングコンテンツよりも低い最大輝度を有するＳＤＲオーバーレイに関連する難題を克服するために、コンポジタは、ＨＤＲコンテンツ及びＳＤＲコンテンツを合成する際に方法５００を実行する。コンポジタは、オプションとして、入力コンテンツのピクセルの１つ以上の特性値を分析し（入力コンテンツは、アンダーライングコンテンツ及びオーバーレイコンテンツを含む）、（少なくともいくつかの状況では）アンダーライングコンテンツ及びオーバーレイコンテンツの一方又は両方の１つ以上のピクセルの輝度を調整して、ブレンドされた場合、オーバーレイコンテンツは、調整が行われず、アンダーライングコンテンツ及びオーバーレイコンテンツがブレンドされた場合と異なる外観を有する。この変更により、ＳＤＲオーバーレイとＨＤＲアンダーライングコンテンツとのコントラストが改善され、ＳＤＲオーバーレイが視聴者に見やすくなる。「特性値」という用語は、ピクセルを特徴付ける任意の値を指す。特性値の例は、アルファ値、輝度値、平均カラー値（又は、カラー値の他の関数）、又は、ピクセルを特徴付ける任意の他の値を含む。

方法５００はステップ５０２で始まり、コンポジタは、表示デバイス１１８に表示される画像が、ＨＤＲアンダーライングコンテンツ及びＳＤＲオーバーレイを含むことを判別する。ＨＤＲアンダーライングコンテンツ及びＳＤＲオーバーレイを含む状況の例は、ＨＤＲでレンダリングされるレンダリング済み３次元画像（アンダーライングコンテンツ）と、例えば、アプリケーション、オペレーティングシステム、デバイスドライバ、他のハードウェア若しくはソフトウェアモジュールの要求に応じて実行されるプロセッサ１０２、レンダリングエンジン２１０、プレ表示デバイス２１５、セットトップボックスがＨＤＲテレビコンテンツ上に表示されるＳＤＲメニューを提供するケーブルテレビネットワークを介して配信されるＨＤＲテレビコンテンツ、物理メディアからＨＤＲコンテンツを表示し、物理メディアからＨＤＲコンテンツ上にＳＤＲメニュー、テキスト及び／又はグラフィックスを表示するメディアプレーヤ（例：ブルーレイ（登録商標）プレーヤ）の１つ以上によって生成されたＳＤＲオーバーレイと、を含む。これらの例は、説明されているが、限定的なものと見なすべきではない。

ステップ５０４において、コンポジタは、ＨＤＲアンダーライングコンテンツとＳＤＲオーバーレイとの間のオーバーラップエリアを識別する。これらのエリアは、ＳＤＲオーバーレイ及びＨＤＲアンダーライングコンテンツの両方によってカバーされるピクセルを含む。ＳＤＲオーバーレイの何れかの部分が完全に不透明でない場合（例えば、アルファ値が１．０未満の場合）、そのＳＤＲオーバーレイは、アンダーライングＨＤＲコンテンツからの少なくともいくつかの寄与が表示される。

ステップ５０６において、コンポジタは、ＳＤＲオーバーレイ及びＨＤＲアンダーライングコンテンツの一方又は両方に適用する１つ以上の調整を決定する。様々な調整が可能であり、以下にさらに詳細に説明する。ステップ５０８において、コンポジタは、オーバーレイ及びアンダーライングコンテンツの一方又は両方に１つ以上の調整を適用する。方法５００の後に、ＳＤＲオーバーレイ及びＨＤＲアンダーライングコンテンツが合成されて最終画像が形成され、その最終画像がディスプレイ１１８に表示される。

ここで、コンポジタによって適用される調整の例について説明する。一例では、コンポジタは、ＨＤＲアンダーライングコンテンツ及びＳＤＲオーバーレイの１つ以上のピクセルに固定調整を適用する。いくつかの例では、この固定調整は、ＨＤＲアンダーライングコンテンツピクセルの輝度に固定値を加算又は減算すること、ＨＤＲアンダーライングコンテンツピクセルの輝度に固定値（例えば、０～１の間の値のような減少値、又は、１よりも大きい値のような増加値）を乗算すること、固定値をＳＤＲオーバーレイの輝度に加算又は減算すること、ＳＤＲオーバーレイの輝度に固定値（例えば、０～１の間の値のような減少値、又は、１よりも大きい値のような増加値）を乗算すること、ＨＤＲ層の輝度をクリッピングすること、のうち１つ以上を含む。上記の１つ以上の調整は、単独で又は組み合わせて適用され得る。クリッピングは、アンダーライングＨＤＲコンテンツの最大輝度値を設定する調整である。クリッピング調整を適用するために、ピクセルの輝度値が最大値を上回る場合には輝度値を最大値に設定し、ピクセルの輝度値が最大値以下である場合にはクリッピング調整を適用しない。いくつかの例では、他の調整（例えば、乗算及び／又は加算）が最初にピクセルの輝度値に適用され、必要に応じて、結果値が最大値にクリッピングされる。クリッピングは、他の調整無しに単独で使用され得る。一例では、オーバーラップエリア内の全てのピクセル（ＨＤＲコンテンツとＳＤＲコンテンツとのオーバーラップエリア内のピクセル）は、乗算及び加算の一方又は両方によって輝度が低下する。次に、クリッピングの最大値を超える結果値は、最大値に設定されるか、又は、さらなる輝度値の減少（例えば、０～１の間の値で乗算することによって減少する）によってさらに減少し、その後、クリッピング動作が続き、クリッピングの最大値を超えたままの値が最大値に設定される。

いくつかの実施形態では、クリッピングは、より複雑な方法で適用される。より具体的には、クリッピングの最大値を、ピクセルの赤、緑及び青の成分に設定し、個別に適用することができる。いくつかの実施形態では、赤、緑又は青の成分のうち１つ又は２つのみがクリッピングされる。ピクセル値をクリッピングするための他の技術的に実行可能な技術を使用することができる。

いくつかの例では、固定調整は、値を加算又は減算することと、結果値に対してスケール値（scale value）を乗算することと、を含む。いくつかの例では、加算又は減算演算、次の乗算演算は、ＳＤＲコンテンツ及びＨＤＲコンテンツの両方に適用される。

一例では、固定調整は、ＳＤＲオーバーレイのダイナミックレンジとＨＤＲアンダーライングコンテンツのダイナミックレンジとの比較に基づいており、視差が大きくなると、輝度がより強く変更される。別の例では、固定調整は、予め定義された定数値である。別の例では、固定調整は、ユーザによって定義される。固定調整の値を決定する方法は、本明細書に提供される特定の例によって限定されると解釈されるべきではない。

別の例では、コンポジタは、コンテンツ適応型の調整を適用する。コンテンツ適応調整は、本明細書では可変調整とも呼ばれる。一般に、コンテンツ適応調整は、ＨＤＲアンダーライングコンテンツ及びＳＤＲオーバーレイの一方又は両方のピクセルの輝度値に対して１つ以上の変更を行い、輝度が調整される度合いは、ＨＤＲアンダーライングコンテンツ及びＳＤＲオーバーレイの一方又は両方のピクセルの特性値の分析に基づいている。コンテンツ適応調整のいくつかの例を以下に示す。

コンテンツ適応調整の例では、コンポジタは、ＨＤＲアンダーライングコンテンツ及びＳＤＲオーバーレイの１つ以上のピクセルに可変調整を適用する。いくつかの例では、可変調整は、ＨＤＲアンダーライングコンテンツピクセルの輝度に変数値を加算又は減算すること、ＨＤＲアンダーライングコンテンツピクセルの輝度に変数値（例えば、０～１の間の値等の減少値、又は、１よりも大きい値等の増加値）を乗算すること、変数値をＳＤＲオーバーレイの輝度に加算又は減算すること、ＳＤＲオーバーレイの輝度に変数値（例えば、０～１の間の値等の減少値、又は、１よりも大きい値等の増加値）を乗算すること、のうち１つ以上を含む。上記の例の何れにおいても、変数値は、ＨＤＲアンダーライングコンテンツ及びＳＤＲオーバーレイの１つ以上のピクセルの特性値に基づいている。可変調整は、適用される調整が、ＳＤＲオーバーレイ又はＨＤＲアンダーライングコンテンツの一方又は両方のピクセルのいくつかの態様に基づくという点で、コンテンツ適応型である。

上記の調整は、本開示の他の部分において参照される。ＳＤＲオーバーレイピクセルに対する固定された調整は、まとめて「固定ＳＤＲ調整」と呼ばれる。「固定」という用語は、画面の特定の領域（画面全体、画面全体のより小さな部分、又は、オーバーレイとアンダーライングコンテンツとのオーバーラップ領域内等）のピクセル毎に調整が変わらないことを意味する。これらの調整は、上述したＳＤＲオーバーレイに対する固定調整を含む。ＨＤＲアンダーライングコンテンツに対する固定された調整は、まとめて「固定ＨＤＲ調整」と呼ばれる。これらの調整は、上述したＨＤＲアンダーライングコンテンツに対する固定調整を含む。ＳＤＲコンテンツに対する可変調整は、本明細書では、「可変ＳＤＲ調整」と呼ばれる。これらの調整は、上述したＳＤＲオーバーレイに対する可変調整を含む。ＨＤＲアンダーライングコンテンツに対する可変調整は、まとめて「可変ＨＤＲ調整」と呼ばれる。これらの調整は、上述したＨＤＲアンダーライングコンテンツに対する可変調整を含む。「固定調整」という用語は、まとめて固定ＳＤＲ調整及び固定ＨＤＲ調整を指す。「可変調整」という用語は、まとめて可変ＳＤＲ調整及び可変ＨＤＲ調整を指す。本明細書では、「調整」という用語は、他の修飾語無しに使用される場合、固定調整及び可変調整の両方を総称する。本開示では、「弱い調整」という用語は、「強い調整」よりも少ない程度でピクセルのいくつかの特性に影響を与える調整である。

いくつかの実施形態では、調整は、ＳＤＲオーバーレイとアンダーライングＨＤＲコンテンツとの間にオーバーラップがあるピクセルに適用され、係るオーバーラップが存在しないピクセルには適用されない。いくつかの例では、特定のピクセルに対する可変調整は、調整されるピクセルの特性値（又は、複数の特性値）に基づいており、他のピクセルには基づいていない。一例では、透明度が高い（すなわち、アルファが０に近い）ＳＤＲオーバーレイのピクセルは、透明度が低いピクセル（輝度に対する上昇を低くする等のように弱い調整になる）よりも「強い調整」（例えば、輝度に対する上昇が大きい）を受ける。他の例では、ピクセルに適用される調整は、複数のピクセルの分析に基づいており、複数のピクセルは、全て１つの層からのもの（例えば、ＳＤＲ層からのもの、又は、ＨＤＲ層からのもの）であるか、両方の層からのものである。

コンポジタは、次のように固定調整を適用する。最初に、コンポジタは、特定のピクセルが調整を受けるかどうかを決定する。次に、コンポジタは、調整を受ける場合、そのピクセルに固定調整を適用する。一例では、ピクセルに調整を適用するかどうかの決定は、ピクセルの特性値が閾値を上回っているか又は下回っているかを判別することによって行われる。一例では、ＳＤＲオーバーレイピクセルが特定の閾値よりも低いアルファ値を有する場合、コンポジタは、そのＳＤＲオーバーレイピクセルに固定調整を適用し（例えば、固定値の加算又は固定ゲインを掛ける乗算によってそのピクセルの輝度を増加させる）、アンダーライングＨＤＲコンテンツ層のオーバーラップピクセルに固定調整を適用し（例えば、固定値を減算又は０未満の固定値を乗算することによって、そのピクセルの輝度を減少する）、又は、これらの両方の調整をＳＤＲオーバーレイピクセル及びＨＤＲコンテンツ層のピクセルに適用する。

特定のピクセルに対して行われる調整が複数のピクセルの特性値の分析に基づく可変調整の場合、コンポジタは、統計的技術を使用して、特定のピクセルが調整を受けるかどうか、及び、どの程度調整を受けるかを決定する。統計的技術では、ＳＤＲオーバーレイとＨＤＲアンダーライングコンテンツとの間にオーバーラップがあるピクセルの特性値が考慮され、その特性値に基づいて統計結果が生成される。いくつかの実施形態では、コンポジタは、統計結果を閾値と比較する。統計結果が閾値よりも大きい又は小さい場合、コンポジタは、ＳＤＲオーバーレイ及びＨＤＲアンダーライングコンテンツの一方又は両方のピクセルに調整を適用する。さらに、いくつかの実施形態では、ピクセルに対して行われる調整の強度は、そのピクセルの特性値と統計結果との比較に基づいている。

上記の例では、ＳＤＲオーバーレイのピクセルに対して調整が行われるが、ＨＤＲアンダーライングコンテンツのピクセルに対しては調整が行われない。コンポジタは、ＳＤＲオーバーレイのピクセルの全てのアルファ値の平均値を計算し、平均値が閾値を下回っている（透明度が高いことを示す）と判別する。この判別に応じて、コンポジタは、ＳＤＲオーバーレイのピクセルに調整を適用すべきであることを決定する。行われる調整は、ＳＤＲピクセルのアルファ値と計算された平均アルファ値との比較に基づいている。平均値よりもアルファが低いピクセルに関して、輝度の上昇が大きくなるように適用される。平均値よりもアルファが大きいピクセルに関して、輝度の上昇が小さくなるように適用される。

一例では、コンポジタは、ヒストグラム等のより複雑な統計的技術に基づいて、どの調整をどのピクセルに適用するかを決定する。このような技術によれば、コンポジタは、ＳＤＲオーバーレイのピクセル、ＨＤＲアンダーライングコンテンツのオーバーラップしたピクセル、又は、その両方の特性値に基づいて、ヒストグラムを生成する。ヒストグラムは、ピクセルの特性値を、特性値の範囲に対応するヒストグラムビン（histogram bins）にグループ化する。各ビンには、そのビンに割り当てられた範囲内の値の数が記憶される。

コンポジタは、ヒストグラムに基づいて、ＳＤＲオーバーレイ及び／又はＨＤＲアンダーライングコンテンツのピクセルに調整を適用するかどうか、及び、オプションで、どの程度その調整を適用するかを決定する。一例では、閾値特性値が存在し、コンポジタは、ヒストグラムを使用して、特性値が閾値を上回る（又は、下回る）ピクセルの数を決定する。例えば、閾値を上回るヒストグラムビンのカウントがカウント閾値を上回る場合、コンポジタは、ＳＤＲオーバーレイ及び／又はＨＤＲアンダーライングコンテンツの１つ以上のピクセルに調整を適用する。一例では、コンポジタは、ＳＤＲオーバーレイ及び／又はＨＤＲアンダーライングコンテンツの１つ以上のピクセルに可変調整を適用し、適用される調整は、ヒストグラムによって定義される分布に基づいている。ピクセルの大部分が不透明端の近くにあるヒストグラムの場合（例えば、閾値のパーセンテージを上回る値がアルファ値の閾値を上回る場合）、適用される調整は、ピクセルの大部分が透明端の近くにあるヒストグラムの場合よりも弱くなる。

一例では、ヒストグラムは、ＨＤＲアンダーライングコンテンツの輝度値のヒストグラムである。ヒストグラムが、アンダーライングコンテンツが平均して閾値よりも明るいことを示す場合（例えば、閾値を上回るビンのピクセル数がカウント閾値よりも大きい場合）、コンポジタは、調整を適用すべきであると決定する。一例では、ヒストグラムが、アンダーライングＨＤＲコンテンツが明るいことを示す場合、調整が強くなり、ヒストグラムが、アンダーライングＨＤＲコンテンツが暗いことを示す場合、調整が弱くなる。

一例では、コンポジタは、複数の段階でステップ５０６，５０８を行う。具体的には、各段階は、異なる空間ピクセル範囲に関連付けられている。一段階では、コンポジタは、１つの空間ピクセル範囲に基づいて特性値を決定し、その特性値の分析に基づいてピクセルに調整を適用する。次に、別の段階では、コンポジタは、異なる空間ピクセル範囲に基づいて特性値を決定し、その特性値の分析に基づいてピクセルに調整を適用する。異なる空間ピクセル範囲の分析に基づく調整が適用される追加の段階も同様に実行され得る。いくつかの例では、異なる空間ピクセル範囲は、グローバルピクセル、ローカルピクセル、及び、単一ピクセルを含む。グローバルピクセル範囲は、分析用の特性値を生成する際に画像のほぼ全体の範囲からのピクセルが考慮される範囲である。この分析に基づいて、特定のピクセルに調整が行われる。例えば、画像全体に亘るピクセルの平均輝度（luminosity）を取得することができる。ローカルピクセル範囲は、分析用の特性値を生成する際に、調整が行われるピクセルの周囲のピクセルが考慮される範囲である。単一ピクセル範囲は、調整が行われるピクセルから特性値が導出される範囲である。例では、コンポジタは、ある空間ピクセル範囲の特性値に基づいてピクセルに調整を適用し、次に、異なるピクセル範囲の特性値に基づいてピクセルに調整を適用する。

本明細書における開示に基づいて、多くの変形が可能であることを理解されたい。特徴及び要素を特定の組み合わせで上述したが、特徴又は要素の各々は、他の特徴及び要素を伴わずに単独で、又は、他の特徴及び要素を伴うか伴わずに様々な組み合わせで使用することができる。

提供された方法は、汎用コンピュータ、プロセッサ又はプロセッサコアにおいて実施することができる。好適なプロセッサは、例えば、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと協働する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、及び／又は、状態機械を含む。このようなプロセッサは、処理されたハードウェア記述言語（ＨＤＬ）命令の結果と、ネットリストを含む他の中間データ（コンピュータ可読媒体に記憶することができる命令）と、を使用して製造プロセスを構成することによって、製造することができる。このような処理の結果は、本開示の特徴を実装するプロセッサを製造するための半導体製造プロセスで後に使用されるマスクワークとすることができる。

本明細書で提供される方法又はフローチャートは、汎用コンピュータ又はプロセッサによって実行されるために非一時的なコンピュータ可読記憶媒体に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアで実装することができる。非一時的なコンピュータ可読記憶媒体の例は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバブルディスク等の磁気媒体、光磁気媒体、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（ＤＶＤ）等の光学媒体を含む。

Claims (20)

1. ハイダイナミックレンジ（ＨＤＲ）アンダーライングコンテンツ層及び標準ダイナミックレンジ（ＳＤＲ）オーバーレイを含む画像を調整するための方法であって、
   前記画像が前記ＨＤＲアンダーライングコンテンツ層及び前記ＳＤＲオーバーレイの両方を含むことを判別することと、
   前記ＨＤＲアンダーライングコンテンツ層と前記ＳＤＲオーバーレイとの間にオーバーラップが存在するピクセルを識別することと、
   前記ＨＤＲアンダーライングコンテンツ層及び前記ＳＤＲオーバーレイの一方又は両方のピクセルに１つ以上の調整を行うことを決定することと、
   前記１つ以上の調整を前記ピクセルに適用することと、を含む、
   方法。
2. 前記１つ以上の調整は、ピクセル毎に同じである固定調整を含む、
   請求項１の方法。
3. 前記１つ以上の調整は、前記ピクセルの輝度に対する調整を含む、
   請求項１の方法。
4. 前記１つ以上の調整は、前記ピクセルに値を掛ける乗算、前記ピクセルのクリッピング、又は、前記ピクセルへの値の加算若しくは減算のうち何れかを含む、
   請求項１の方法。
5. 前記１つ以上の調整は、異なるピクセルに対する異なる可変調整を含む、
   請求項１の方法。
6. 前記可変調整の値は、前記ピクセルの統計分析に基づいている、
   請求項５の方法。
7. 前記統計分析は、前記ピクセルの平均を計算することを含む、
   請求項６の方法。
8. 前記統計分析は、ヒストグラムを構築することを含む、
   請求項６の方法。
9. 前記１つ以上の調整を行うことを決定することは、前記ピクセルの特性値を、統計分析に基づく統計結果と比較することによって、前記ピクセルに対して前記調整を行うかどうかを決定することを含む、
   請求項６の方法。
10. ハイダイナミックレンジ（ＨＤＲ）アンダーライングコンテンツ層及び標準ダイナミックレンジ（ＳＤＲ）オーバーレイを含む画像を調整するためのデバイスであって、
    コンポジタを備え、
    前記コンポジタは、
    前記画像が前記ＨＤＲアンダーライングコンテンツ層及び前記ＳＤＲオーバーレイの両方を含むことを判別することと、
    前記ＨＤＲアンダーライングコンテンツ層と前記ＳＤＲオーバーレイとの間にオーバーラップが存在するピクセルを識別することと、
    前記ＨＤＲアンダーライングコンテンツ層及び前記ＳＤＲオーバーレイの一方又は両方のピクセルに１つ以上の調整を行うことを決定することと、
    前記１つ以上の調整を前記ピクセルに適用することと、
    調整したピクセルを、表示するために表示デバイスに出力して表示することと、
    を行うように構成されている、
    デバイス。
11. 前記１つ以上の調整は、ピクセル毎に同じである固定調整を含む、
    請求項１０のデバイス。
12. 前記１つ以上の調整は、前記ピクセルの輝度に対する調整を含む、
    請求項１０のデバイス。
13. 前記１つ以上の調整は、前記ピクセルに値を掛ける乗算、前記ピクセルのクリッピング、又は、前記ピクセルへの値の加算若しくは減算のうち何れかを含む、
    請求項１０のデバイス。
14. 前記１つ以上の調整は、異なるピクセルに対する異なる可変調整を含む、
    請求項１０のデバイス。
15. 前記可変調整の値は、前記ピクセルの統計分析に基づいている、
    請求項１４のデバイス。
16. 前記統計分析は、前記ピクセルの平均を計算することを含む、
    請求項１５のデバイス。
17. 前記統計分析は、ヒストグラムを構築することを含む、
    請求項１５のデバイス。
18. 前記１つ以上の調整を行うことを決定することは、前記ピクセルの特性値を、統計分析に基づく統計結果と比較することによって、前記ピクセルに対して前記調整を行うかどうかを決定することを含む、
    請求項１５のデバイス。
19. 命令を記憶するコンピュータ可読記憶媒体であって、
    前記命令は、プロセッサによって実行されると、ハイダイナミックレンジ（ＨＤＲ）アンダーライングコンテンツ及び標準ダイナミックレンジ（ＳＤＲ）オーバーレイを含む画像を調整するための方法を前記プロセッサに実行させ、
    前記方法は、
    前記画像が前記ＨＤＲアンダーライングコンテンツ層及び前記ＳＤＲオーバーレイの両方を含むことを判別することと、
    前記ＨＤＲアンダーライングコンテンツ層と前記ＳＤＲオーバーレイとの間にオーバーラップが存在するピクセルを識別することと、
    前記ＨＤＲアンダーライングコンテンツ層及び前記ＳＤＲオーバーレイの一方又は両方のピクセルに１つ以上の調整を行うことを決定することと、
    前記１つ以上の調整を前記ピクセルに適用することと、を含む、
    コンピュータ可読記憶媒体。
20. 前記１つ以上の調整は、１つ以上の固定調整又は可変調整を含む、
    請求項１９のコンピュータ可読記憶媒体。

Images