JP2009110003A

JP2009110003A - 映像表示システム

Info

Publication number: JP2009110003A
Application number: JP2008276065A
Authority: JP
Inventors: Louis J Kerofsky; ジョセフケロフスキールイス
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-10-30
Filing date: 2008-10-27
Publication date: 2009-05-21
Anticipated expiration: 2028-10-27
Also published as: JP5433028B2; EP2215622B1; CN101809647A; JP2012150478A; WO2009057723A1; EP2215622A4; EP2215622A1; US20090109232A1; CN101809647B; US8345038B2; RU2010105854A; JP5213641B2; RU2463673C2

Abstract

【課題】ディスプレイのパワー節約のためにバックライト変調を補償すること。
【解決手段】本発明の要素は、カラーエンハンスメント、明るさエンハンスメントおよび／またはバックライト変調補償のために画像をエンハンスするシステムおよび方法に関する。一部の要素はバックライト照度レベル選択を含む。
【選択図】図１７

Description

本発明の実施例は、画像エンハンスメントのための方法およびシステムに関し、一部の実施例はカラーエンハンスメント技術に関し、一部の実施例は明るさ保存に関し、一部の実施例は明るさエンハンスメントに関し、一部の実施例はビット深度拡張技術に関する。

代表的なディスプレイデバイスは、固定されたレンジの輝度レベルを使用して画像をディスプレイする。多くのディスプレイでは、輝度レンジは２５６のレベルを有し、これらレベルは０〜２５５までの間で均一に離間している。これらレベルに直接マッチするよう、一般に画素値が割り当てられている。

大型ディスプレイを有する多くの電子デバイスでは、ディスプレイが主要なパワー（電力）消費コンポーネントとなっている。例えばラップトップコンピュータでは、ディスプレイは多分システム内の他のコンポーネントのどれよりも多くのパワーを消費する。バッテリー給電デバイスで見られるような、パワーの利用能力が限られている多くのディスプレイは、パワー消費量を管理するのを助けるために限られた数の照明または明るさレベルを使用することができる。システムを電源、例えばＡ／Ｃ電源にプラグインすると、システムはフルパワーのモードを使用でき、バッテリーのパワーで作動するときには省力モードを使用する。
特開２００４−１１００５０号公報特開２００７−１４３１２２号公報特開２００６−２７６６７７号公報特開２００７−２７２０２３号公報

一部のデバイスでは、ディスプレイは省力モードに自動的に入ることができ、このモードでは、パワーを節約するためにディスプレイの照度を下げる。これらデバイスは照度を手段状に低減する多数の省力モードを有することができる。ディスプレイの照度を低減すると、一般に画質も低下する。最大輝度レベルを低下させると、ディスプレイのダイナミックレンジも低下し、画質のコントラストに影響が出る。従って、通常の省力モードの作動中ではコントラストおよびその他の画質が低下する。

液晶ディスプレイ（ＬＣＤ）またはデジタルマイクロミラーデバイス（ＤＭＤ）のような多くのディスプレイデバイスは、一方向または別方向にバック照明、サイド照明またはフロント照明される光バルブを使用している。ＬＣＤのようなバックライト用の光バルブディスプレイでは、液晶パネルの背面にバックライトが設置される。バックライトはＬＣパネルを通して光を放射し、ＬＣパネルは画像を表示するように光を変調する。カラーディスプレイでは輝度とカラーの双方を変調できる。個々のＬＣピクセルはバックライトからＬＣパネルを透過し、ユーザーの眼またはその他の目的物に達する光の量を変調する。一部のケースでは、目的物を電荷結合デバイス（ＣＣＤ）のような光センサとすることができる。

一部のディスプレイは、画像を表示するのに発光器も使用できる。発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイのようなこれらディスプレイは、別の光源からの光を反射するのではなく、自ら発光する画素を使用している。

本発明の一部の実施例は、低下した光源照明強度を補償するか、または固定された光源照明レベルで画質を改善するために、光バルブ変調されたピクセルの輝度変調レベルを変えるためのシステムおよび方法を含む。

本発明の一部の実施例は、画像を表示するために発光器を使用するディスプレイと共に使用することもできる。これらディスプレイ、例えば発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイは、別の光源からの光を反射するのではなく、自ら光を放出するピクチャーエレメントを使用する。本発明の実施例は、これらデバイスが発生する画像を良くするために使用できる。これら実施例では、特定の画像周波数バンドのダイナミックレンジ、輝度レンジおよびその他の画像サブ分割を増加するために、ピクセルの明るさが調節される。

本発明の一部の実施例では、画像特性に応答してディスプレイの光源を異なるレベルに調節できる。これら光源のレベルが変わるとき、明るさの変化を補償するか、またはその他の方法で画像を良くするように、画像の画素値を調節できる。

本発明の一部の実施例は、光源レベルおよび画像ピクセル値を判断する際の入力として使用される周辺光検出を含む。

本発明の一部の実施例は、Distortionに関連した光源およびバッテリー消費量制御を含む。

本発明の一部の実施例は、画像トーンスケール補正を発生し、これを適用するためのシステムおよび方法を含む。

本発明の一部の実施例は、カラー忠実度が改善された画像トーンスケール補正をするための方法およびシステムを含む。

本発明の一部の実施例は、ディスプレイ光源照明レベルを選択するための方法およびシステムを含む。

本発明の一部の実施例は、パネルトーン曲線およびターゲットトーン曲線を発展させるための方法およびシステムに関し、これら実施例の一部は、異なるバックライトまたは光源照明レベルに各々の曲線が関連する複数のターゲットトーン曲線を開発するために提供される。これら実施例では、バックライト照明レベルを選択することができ、選択されたバックライト照明レベルに関連するターゲットトーン曲線を、ディスプレイすべき画像に適用できる。一部の実施例では、性能目標はトーン曲線パラメータの選択を行わせる。

本発明の一部の実施例は、カラーエンハンスメントのための方法およびシステムを含む。これら実施例の一部は、肌色検出、肌色マップリファインメントおよびカラー処理を含む。

本発明の一部の実施例は、ビット深度拡張のための方法およびシステムも含む。これら実施例の一部は、ビット深度低減に先立ち、画像に空間および時間ハイパスディザーパターンを適用することを含む。

添付図面と共に、以下の詳細な説明を検討すれば、本発明の上記およびその他の目的の特徴および利点についてより容易に理解できよう。

図面を参照することにより、本発明の実施例について最良に理解できよう。図面全体にわたり、同様の部分は同様の番号で示す。添付図面は下記の詳細な説明の一部として援用する。

図面に示し、本明細書に一般的に説明される。本発明の要素は、広範な種々の構成に配置し、設計することができることが容易に理解できよう。従って、本発明の方法およびシステムの実施例の下記のより詳細な説明は、発明の範囲を限定するものではなく、本発明の現時点で好ましい実施例を単に示すにすぎない。

本発明の実施例の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアで具現化できる。本明細書に開示した実施例は、これら形態のうちの１つを述べるにすぎず、当業者であれば、本発明の範囲内でこれら要素をこれら形態のいずれかで実施できることが理解できよう。

光バルブ変調器、例えばＬＣ変調器およびその他の変調器を使用するディスプレイデバイスを、反射型とすることができ、ここで光は（観察者に向いた）前方表面に放射され、変調パネル層を通過した後に観察者に向かって反射される。ディスプレイデバイスは透過型のものもあり、そこでは変調パネル層の背面に向かって光が放射され、変調層を通過して観察者に達するようになっている。一部のディスプレイデバイスは、反射型と透過型とを組み合わせた透過反射型になっている。そこでは、光は変調層を通って背面から前面に通過し、一方、別の光源からの光が変調層の正面から入射した後に反射されるようになっている。これらケースのいずれにおいても、例えば個々のＬＣエレメントのような変調層における要素は、ピクセルの感知される明るさを制御できる。

バックライト、フロントライトおよびサイドライトディスプレイでは、光源を一連の蛍光灯、ＬＥＤアレイまたは他の光源とすることができる。ディスプレイが、通常の約１８インチのサイズよりも大型である場合、光源がデバイスのパワー消費量の大部分を構成する。所定の用途および所定の市場では、パワー消費量を低減することは重要である。しかしながら、パワーを低減することは、光源の光束を低減すること、よってディスプレイの最大の明るさを低減することを意味する。

現在のガンマ補正された光バルブ変調器のグレイレベルの画素値（ＣＶ）と、光源レベルＬ_sourceと、出力光レベルＬ_outに関係する基本的な式は次のとおりである。

ここで、ｇは較正利得（ゲイン）であり、ｄａｒｋは光バルブのダークレベルであり、ａｍｂｉｅｎｔは部屋の条件によって決まるディスプレイに入射する光である。この式から、バックライト光源をｘ％だけ低減すると、光出力もｘ％低下することが分かる。

光バルブの変調値を変更することにより、特にこれら値をブースト（増強）することにより、光源のレベルの低下量を補償できる。実際に、（１−ｘ％）未満の光レベルは正確に再現できるが、光源を追加したり、または光源の強度を増加することなく、（１−ｘ％）を越える光レベルを再現することはできない。

元の光源および低減した光源からの光出力を設定すると、（ｄａｒｋおよびａｍｂｉｅｎｔを０と仮定した場合の）ｘ％の低減に対する画素値を補正するのに使用される基本画素値補正式が得られ、これらの式は次のように示される。Ｌ_reducedは低減したバックライト光源、ＣＶ_boostはブーストした画素値である。

図２Ａはこの調整を示す。図２Ａおよび２Ｂでは、元のディスプレイ値は直線１２に沿った点に対応する。バックライトすなわち光源を省エネモードとし、光源の照明を低減するとき、この光源の照明量の低減に光バルブが対抗できるようにするためには、ディスプレイの画素値をブーストしなければならない。これらブーストされた値は、直線１４に沿った点に一致する。しかしながら、このような調節の結果、画素値１８は、ディスプレイが発生できる値（例えば８ビットディスプレイの場合２５５）よりも大きくなる。従って、これら値は図２Ｂに示されるように、２０でクリップされる。このように調節された画像は色あせた（washed out）ハイライト、不自然な見え方および全体に低い画質に悩まされる。

このような単純な調節モデルを使用すると、低減光源照明モードの間、フルパワー光源で再生されるレベルに等しい輝度レベルで、クリッピングポイント１５よりも低い画素値（この実施例では入力画素値２３０）がディスプレイされることになる。より低いパワーで同じ輝度が再生され、結果として省エネになる。画像の画素値の組をクリッピングポイント１５よりも低い範囲に制限した場合、ユーザーにはっきりわかるように省エネモードを作動できる。不幸なことに、値がクリッピングポイント１５を越えると、輝度が低下し、細部が失われる。本発明の実施例は、輝度レンジのハイエンドで生じるクリッピングアーティファクトを低減しながら、明るさを増加する（または省エネモードにおける明るさの低減をなくす）よう、ＬＣＤまたは光バルブ画素値を変えることができるアルゴリズムを提供するものである。

本発明の一部の実施例は、小パワーでディスプレイされる画像輝度を、かなりの範囲の値にわたり、フルパワーでディスプレイされる輝度に一致させることにより、ディスプレイの光源パワーを低減することに関連する明るさの低下を解消する。これら実施例では、出力輝度を特定のファクターで割った光源またはバックライトのパワーの低下を、逆ファクターにより画像データをブーストすることによって補償するものである。

ダイナミックレンジの制限を無視すると、フルパワーでディスプレイされる画像と低パワーでディスプレイされる画像とを同じにすることができる。その理由は、除算（低減された光源の照明に対するもの）と乗算（ブーストされた画素値に対するもの）とが、実質的にかなりの範囲にわたってキャンセルし合うからである。ダイナミックレンジの限界は、画像データの乗算（画素値増加に対する）がディスプレイの最大量を越えるときはいつも、クリッピングアーティファクトを生じさせ得る。ダイナミックレンジの制限によって生じるクリッピングアーティファクトは、画素値の上端部でブーストをロールオフすることによって解消または低減できる。このロールオフは、最大忠実ポイント（ＭＦＰ）でスタートでき、このポイントより上では、輝度は元の輝度に一致しなくなる。

本発明の一部の実施例では、光源の照明量の低減または画像エンハンスメントに対する事実上の低減を補償するために、次の手段を実行する。
１）照明低減パーセントによって光源（バックライト）の低減レベルを決定する。
２）低減パワー出力とフルパワー出力との一致からのロールオフが生じる最大忠実ポイント（ＭＦＰ）を決定する。
３）補償トーンスケール演算子を決定する。
ａ．ＭＦＰより下では、ディスプレイ輝度の低減を補償するように、トーンスケールをブーストする
ｂ．ＭＦＰより上では、トーンスケールを徐々にロールオフする（一部の実施例では、連続微分値を維持しながらこれを行う）。
４）トーンスケールマッピング演算子を画像に適用する。
５）ディスプレイに送る。

これら実施例の主な利点は、画像の狭いカテゴリーに対してわずかに変化を加えることで、電力節減を達成できることである。（ＭＦＰより上でしか差が発生せず、このような差は、明るさのピークの低減および明るい細部の一部の喪失として生じる。）画像のこれら領域をフルパワーモードから区別できないようにするフルパワーモードと同じ輝度にて、省エネモードでＭＦＰより下の画像の値をディスプレイできる。

本発明の一部の実施例は、パワーの低減およびディスプレイのガンマに依存し、画像データに依存しないトーンスケールマップを使用できる。これら実施例は２つの利点を提供できる。第１に、フレームを別個に処理することに起因するフリッカーアーティファクトが生じないこと、第２にアルゴリズムの実行上の複雑性が低いことである。一部の実施例では、オフラインのトーンスケール設計と、オンラインのトーンスケールマッピングを使用できる。ＭＦＰの仕様により、ハイライトにおけるクリッピングを制御できる。

図３を参照し、本発明の実施例の一部の特徴について説明できる。図３は、いくつかの状況において輝度に対してプロットされた画像の画素値を示すグラフである。鎖線で示された第１の曲線３２は、光源が１００％のパワーで作動したときの元の画素値を示し、一点鎖線の曲線として示された第２の曲線３０は、光源がフルパワーの８０％で作動したときの、元の画素値の輝度を示す。破線で示された第３の曲線３６は、光源がフルパワーの８０％で作動している間、１００％の光源の照明で提供される輝度に一致するように画素値をブーストしたときの輝度を示す。実線で示された第４の曲線３４は、データのハイエンドにおけるクリッピングの効果を減少するためのロールオフ曲線と共に、増加されたデータを示す。

図３に示されるこの実施例では、画素値１８０におけるＭＦＰ３５を使用した。画素値１８０より下では、ブーストされた曲線３４が元の１００％のパワーディスプレイによる輝度出力３２と一致することに留意されたい。１８０より上では、増加した曲線は８０％のディスプレイで可能な最大出力までスムーズに移行する。このスムーズさがクリッピングおよび量子化アーティファクトを低減する。一部の実施例では、ＭＦＰ３５によって示される移行ポイントにおいて、スムーズにマッチするよう、トーンスケール関数を部分ごとに定めることができる。ＭＦＰ３５より下では、ブーストされたトーンスケール関数を使用できる。ＭＦＰ３５より上では、曲線は、ＭＦＰにおいて、ブーストされたトーンスケール曲線の最終点までスムーズに一致し、最大画素値［２５５］における最終点３７に一致する。一部の実施例では、曲線の傾きはＭＦＰ３５におけるブーストされたトーンスケール曲線／ラインの傾きに一致させることができる。このような一致は、ＭＦＰ値における直線関数の微分値と曲線関数の微分値とを等しくすることにより、ＭＦＰ値より下の値での直線の傾きをＭＦＰ値より上の値での曲線の傾きに一致させ、さらにその点における直線関数の値と曲線関数の値を一致させることによって達成される。曲線関数に対する別の制限は、曲線を最大値ポイント［２５５、２５５］３７を通過させるようにすることである。一部の実施例では、曲線の傾きを最大値ポイント３７において０に設定してもよい。一部の実施例では、ＭＦＰ値１８０を、２０％の光源のパワー低減量に対応させることもできる。

本発明の一部の実施例では、最大忠実ポイント（ＭＦＰ）以下での利得ｇと線形関係になるように、トーンスケール曲線を定めることができる。前記ＭＦＰ点以上では、曲線と、その１次微分値とが、ＭＦＰ点で連続になるようにトーンスケールを定めることができる。このような連続性は、トーンスケール関数における以下の形態を意味する。

この利得は次のようにディスプレイのガンマと明るさの低減比（フルパワー（Full Power），低減されたパワー（Reduced Power））によって決定できる。

一部の実施例では、明るさの絶対値の保持とハイライトの細部の保持とをマニュアルでバランスさせることによって、ＭＦＰ値をチューニングできる。

最大ポイントにおいて傾き（Slope）をゼロにするという制限を課すことにより、ＭＦＰを決定できる。このことは次のことを意味する。

一部の実施例では、一実施例に従い、簡単なブーストされたデータ、クリッピングを有するブーストされたデータおよび補正されたデータに対する画素値をそれぞれ計算するのに、次の式を使用できる。

ここで、定数Ａ、ＢおよびＣは、ＭＦＰでスムーズに一致し、曲線がポイント［２５５、２５５］を通過するように選択される。図４にはこれら関数のプロットが示されている。

図４は、元の画素値と調節された画素値の関係を示すプロットである。元のデータライン４０に沿ったポイントとして元の画素値が示されており、このことは、元の値と調節された値が調節されていないオリジナルであるから、それらの関係が１：１であることを示す。本発明の実施例によれば、より高い輝度レベルを示すように、これら値をブーストまたは調節することができる。上記「トーンスケールブースト（Tone Scaleboost）」式による単純なブースト方法の結果、ブーストライン４２に沿った値が得られる。これらの値のディスプレイ結果は、ライン４６としてグラフで示され、かつ「クリップされたトーンスケール」式で数学的に示されるようにクリップが生じるので、調節は曲線４４に沿って最大忠実ポイント４０から最大値ポイント４７まで漸減する。一部の実施例では、この上記関係を「補正されたトーンスケール」式で数学的に記述できる。

このような考え方を使用することにより、１００％のパワーで光源が作動するディスプレイによって示される輝度値を、より低いパワーレベルで光源が作動するディスプレイによって代えることができる。このことは、トーンスケールのブーストにより達成でき、このトーンスケールのブーストは基本的には光源の照度の損失を補償するために、実質的にもっと光バルブを使えるようにする。しかしながら、画素値範囲全体にわたってこれらブーストを単純に適用することは、範囲の上端でクリッピングアーティファクトが生じる結果となる。このようなアーティファクトを防止または減少するために、トーンスケール関数はスムーズにロールオフされる。このロールオフは、ＭＦＰパラメータによって制御できる。ＭＦＰの大きい値は、広い範囲にわたり輝度を一致させるが、画素値の最大のところで視認できる量子化／クリッピングアーティファクトを増加させる。

本発明の実施例は、画素値を調節することにより実施できる。簡単なガンマディスプレイモデルでは、画素値のスケーリングは、異なるスケールファクターによる輝度値のスケーリングを生じさせる。より現実的なディスプレイモデルのもとでこのような関係が成り立つかどうかを判断するために、ガンマオフセット利得（ゲイン）−フレア（ＧＯＧ−Ｆ）モデルを検討する。バックライトパワーをスケーリングすることは、周辺ではなく、ディスプレイの出力にパーセントｐを適用するようなリニアな線形漸減式（Linear reduced equations）に対応する。利得をファクターｐだけ低減することは、利得を変更しないこと及びディスプレイガンマによって決定されるファクターだけデータ、画素値およびオフセットをスケーリングすることと等価である。数学的には、適切に変更することによって乗算係数をパワー関数に挿入できる。このような変形係数は、画素値（ＣＶ）とオフセットの双方を変動させる。

図５を参照し、本発明の一部の実施例について説明する。これらの実施例は、画像処理前にオフラインでトーンスケール調節を設計または計算するか、または画像を処理しながらオンラインで調節を設計し、計算することができる。トーンスケール調節５６は作動のタイミングに係わらず、ディスプレイガンマ５０、効率係数５２および最大忠実ポイント（ＭＦＰ）５４に基づき設計し、計算される。これらの係数はトーンスケール調節モデル５８を生成するために、トーンスケール設計プロセス５６内で処理することができる。トーンスケール調節モデルはアルゴリズム、ルックアップテーブル（ＬＵＴ）または画像データに適用できる他のモデルの形態をとり得る。

調節モデル５８を一旦作成すると、このモデルを画像データに適用できる。図６を参照し、この調節モデルの適用について説明できる。これら実施例では、画像を入力（６２）し、画素値を調節するために画像にトーンスケール調節モデル５８を適用（６４）する。このプロセスの結果、出力画像６６が得られ、この出力画像６６はディスプレイに送られる。トーンスケール調節のアプリケーション６４は、一般にオンラインプロセスであるが、条件が許せば、画像をディスプレイする前に実施される。

本発明の一部の実施例は、例えばＬＥＤディスプレイ、プラズマディスプレイおよび他のタイプのディスプレイのような発光ピクセル変調器を使用して、ディスプレイに表示される画像をエンハンスするためのシステムおよび方法を含む。光源がフルパワーモードまたは他のモードで作動する光バルブピクセル変調器を使用するディスプレイに表示される画像をエンハンスするために、これら同じシステムおよび方法を使用できる。

これら実施例は、前に説明した実施例と同じように作動するが、低減された光源の照度を補償するというよりは、これら実施例は単に光源があたかも減少したかのごとく、あるレンジのピクセルの輝度を単純に高める。このようにすることによって、画像の全体の明るさが改善される。

これら実施例では、かなりの範囲の値にわたって元の画素値がブーストされる。実際の光源の照度が低下しないということを除けば、他の実施例に対しても、上記のようにこの画素値調節を実行できる。従って、画素値の広い範囲にわたり、画像の明るさは著しく増加する。

同じように、図３を参照し、これら実施例の一部について説明できる。これら実施例では、元の画像に対する画素値が、曲線３０に沿った点として示されている。これら値を、より高い輝度レベルを有する値にブーストまたは調節できる。これらブーストされた値は、曲線３４に沿った点として表示でき、曲線３４はゼロ点３３から最大忠実点３５まで延び、次に最大値点３７までテーパオフする。

本発明の一部の実施例は、不鮮明（unsharp）マスキングプロセスを含む。これら実施例の一部では、不鮮明マスキングは空間的に変化する利得を使用でき、この利得は画像の値および変更されたトーンスケール曲線の傾きによって決定される。一部の実施例では、ディスプレイパワーの制限に起因し、画像の明るさを再現できないときでも、利得のアレイを使用することによって画像のコントラストにマッチングすることが可能となる。

本発明の一部の実施例は、次のプロセス手段をとり得る。
１．トーンスケール調節モデルを計算する。
２．ハイパス画像を計算する。
３．利得アレイを計算する。
４．利得によりハイパス画像に重みづけする。
５．ローパス画像と重みづけされたハイパス画像を合計する。
６．その合計をディスプレイに送る。

本発明の別の実施例は、次のプロセス手段をとり得る。
１．トーンスケール調節モデルを計算する。
２．ローパス画像を計算する。
３．画像とローパス画像との間の差として、ハイパス画像を計算する。
４．画像の値および変更されたトーンスケール曲線の傾きを使って利得のアレイを計算する。
５．ハイパス画像を利得で重みづけする。
６．ローパス画像と重みづけされたハイパス画像とを合計する。
７．これをパワーが低減されたディスプレイへ送る。

本発明の一部の実施例を使用することにより、画像の狭いカテゴリー上の小さい変化を伴うだけで、電力節減を達成できる（差はＭＦＰより大きいところで生じるだけであり、明るさのピークの低下と明るい細部の喪失として生じる）。フルパワーと同じ輝度で省エネモードにてＭＦＰより小さい範囲の画像値をディスプレイし、これら画像領域をフルパワーモードの画像領域と区別できないようにできる。本発明の別の実施例は、明るい細部の喪失を低減することにより、このような性能を改善する。

これら実施例は明るい細部を保持するために、空間的に変化する不鮮明マスキングを含むことができる。他の実施例と同じように、オンラインコンポーネントとオフラインコンポーネントの双方を使用できる。一部の実施例では、トーンスケール関数の外に、利得マップを計算することにより、オフラインコンポーネントを拡張できる。利得マップは画像値に基づいて、適用するために不鮮明フィルタ利得を指定できる。トーンスケール関数の傾きを使用することにより、利得マップ値を決定できる。一部の実施例では、特定のポイントＰにおける利得マップ値は、ポイントＰにおけるトーンスケール関数の傾きに対するＭＦＰより下の範囲のトーンスケール関数の傾きの比として計算される。一部の実施例では、ＭＦＰより下の範囲では、トーンスケール関数は線形であるので、利得はＭＦＰより下の範囲では１である。

図７を参照し、本発明の一部の実施例について説明できる。これらの実施例では、画像処理前にトーンスケール調節をオフラインで設計または計算してもよいし、または画像を処理しながらオンラインでトーンスケール調節を設計し、または計算してもよい。トーンスケール調節７６は作動のタイミングに係わらず、ディスプレイのガンマ７０、効率係数７２および最大忠実ポイント（ＭＦＰ）７４の少なくとも１つに基づき設計し、または計算される。これらの係数はトーンスケール調節モデル７８を生成するために、トーンスケール設計プロセス７６内で処理される。トーンスケール調節モデルは、アルゴリズム、ルックアップテーブル（ＬＵＴ）または上記他の実施例を参照して説明したような画像データに適用できる他のモデルの形態をとり得る。これらの実施例では、別の利得マップ７７も計算される（７５）。この利得マップ７７を、例えば周波数レンジのような特定の画像のサブ分割に適用できる。一部の実施例では、画像の周波数分割された部分に利得マップを適用してもよいし、一部の実施例ではハイパス画像のサブ分割に利得マップを適用してもよい。更に、特定の画像周波数レンジまたは他の画像サブ分割に適用してもよい。

図８を参照し、トーンスケール調節モデルの一例について説明できる。これらの実施例では、関数移行ポイント（ＦＴＰ）８４（光源低減補償の実施例で使用されるＭＦＰに類似する）を選択し、ＦＴＰ８４より下の値に対して第１の利得関係８２を提供するように利得関数を選択する。一部の実施例では、この第１利得関係をリニアな関係とすることができるが、他の関係および関数を使って画素値をエンハンスされた画素値に変換してもよい。ＦＴＰ８４より上の範囲では、第２の利得関係８６を使用できる。この第２の利得の関係８６を、ＦＴＰ８４と最大値ポイント８８とを接ぐ関数とすることができる。一部の実施例では、第２の利得関係８６は、ＦＴＰ８４における第１の利得関係８２の値と傾きに一致し、最大値ポイント８８を通る。他の実施例に関してこれまで説明したような別の関係および更に別の関係が、第２の利得関係８６としても働く。

一部の実施例では、図８に示されるようなトーンスケール調節モデルに関連して、利得マップ７７を計算できる。図９を参照し、利得マップの一例７７について説明できる。これらの実施例では、利得マップ関数はトーンスケール調節モデルの傾きの関数としてトーンスケール調節モデル７８と関連する。一部の実施例では、特定の画素値におけるトーンスケール調節モデルの傾きに対するＦＴＰより下の範囲の画素値におけるトーンスケール調節モデルの傾き（Tone Scale Slope）の比により、特定の画素値における利得マップ関数の値を決定する。一部の実施例では、この関係を式１１により数学的に表記できる。

これらの実施例では、利得マップ関数はトーンスケール調節モデルが、リニアなブーストとなるＦＴＰより下の範囲の関数に等しい。ＦＴＰより上の範囲の画素値に対し、利得マップ関数はトーンスケール調節モデルの傾きが漸減するにつれ、急速に増大する。このような利得マップ関数における急俊な増加は、利得マップ関数を適用する画像部分のコントラストをエンハンスする。

ディスプレイパーセント（光源の低下率）８０％、ディスプレイガンマおよび最大忠実ポイント１８０を使って、図８に示されたトーンスケール調節係数および図９に示された利得マップ関数の例を計算した。

本発明の一部の実施例では、トーンスケール調節モデルを適用した後に、不鮮明マスキング演算を行う。これら実施例では、不鮮明マスキング技術によりアーティファクトを低減する。

図１０を参照し、本発明の一部の実施例について説明する。これら実施例では、元の画像１０２を入力し、この画像に対してトーンスケール調節モデル１０３を適用する。この元の画像１０２は、利得マップを生じさせる利得マッピングプロセス１０５への入力としても使用する。次に、ローパスフィルタ１０４を通してトーンスケール調節された画像を処理することにより、ローパス調節された画像が得られる。次に、ハイパス調節された画像を生じるように、トーンスケール調節された画像からローパス調節された画像を減算する（１０６）。次に、利得マップ内の適切な値を、このハイパス調節された画像に対して乗算（１０７）し、利得調節されたハイパス画像を得る。この利得調節されたハイパス画像をローパス調節された画像に加える（１０８）が、ローパス調節された画像は既にトーンスケール調節モデルによって調節されている。このような加算の結果、明るさが増し、高周波コントラストが改善された出力画像１０９が得られる。

これら実施例の一部では、画像の各ピクセルの各コンポーネントに対し、利得マップおよびそのピクセルにおける画像の値から利得の値を決定する。トーンスケール調節モデルを適用する前に、元の画像１０２を使って利得を決定することもできる。ローパス画像に追加する前に、対応する利得値によりハイパス画像の各ピクセルの各コンポーネントをスケーリングしてもよい。利得マップ関数が１であるポイントでは、不鮮明マスキング演算は画像の値を変更しない。利得マップ関数が１を越えるポイントでは、コントラストが増す。

本発明の一部の実施例は、１つの画像を多数の周波数バンドに分解することにより、画素値の明るさを高めるときの上端の画素値におけるコントラストの喪失をアドレスする。一部の実施例では、低パワー設定時の光源輝度の低減を補償するため、または表示される画像の明るさを単に高めるために画像データの明るさを高めるローパスバンドに対してトーンスケール関数を適用する。これと平行して、より低いディスプレイパワーに起因して中間の絶対的な明るさが低下する領域でも、画像のコントラストを保持する。ハイパスバンドに一定の利得を適用する。アルゴリズム例の作動を次のように示すことができる。
１．元の画像の周波数分解を実行する。
２．明るさ保存、すなわちトーンスケールマップをローパス画像に適用する。
３．ハイパス画像に対し、一定の乗数を適用する。
４．ローパス画像とハイパス画像とを合計する。
５．合計の結果をディスプレイに送る。

光源照度低減アプリケーションのために、元の画像のフルパワーディスプレイとプロセス画像の低パワーディスプレイとの測光用の組合せ（match）を作ることにより、オフラインでトーンスケール関数および一定利得を決定できる。明るさエンハンスメントアプリケーションのためにオフラインでトーンスケール関数を決定することもできる。

最も適度なＭＦＰの値に対して、これらの一定のハイパス利得実施例と不鮮明マスキング実施例とは、性能の点でほとんど区別できない。これら一定ハイパス利得の実施例は、不鮮明マスキング実施例と比較して３つの主な利点、すなわちノイズの影響が減少すること、より大きいＭＦＰ／ＦＴＰを使用できること、およびディスプレイシステムで現在使用されている処理手段を使用することを有する。不鮮明マスキング実施例は、トーンスケール曲線の傾きの逆数である利得を使用する。この曲線の傾きが小さいとき、この利得は大きい増幅ノイズを生じさせる。このノイズの増幅は、ＭＦＰ／ＦＴＰのサイズに実際上の限界も課す。第２の利点は、任意のＭＦＰ／ＦＴＰの値に拡張できることである。システム内にアルゴリズムを設置することを検討することから、第３の利点が得られる。一定ハイパス利得実施例と、不鮮明マスキング実施例の双方は、周波数の分解を使用している。一定ハイパス利得実施例は、この演算を最初に実行するが、一部の不鮮明マスキング実施例は、周波数分解を行う前にトーンスケール関数をまず適用する。デコンターリング（de-contouring）のようなシステムの処理は、明るさ保存アルゴリズムの前に周波数分解を実行する。これらの場合、一定ハイパス実施例により周波数分解を使用し、それによって変換手段を除外できるが、一部の不鮮明マスキング実施例は、周波数分解を反転し、トーンスケール関数を適用し、さらに追加的な周波数分解を実行しなければならない。

本発明の一部の実施例はトーンスケール関数を適用する前に空間周波数に基づき画像を分割することにより、上端の画素値におけるコントラストの喪失を防止する。これらの実施例では、画像のローパス（ＬＰ）コンポーネントに対し、ロールオフを有するトーンスケール関数を適用できる。光源照度低減補償アプリケーションでは、このアプリケーションはローパス画像コンポーネントの全部の輝度の組合せ（match）を用意する。これらの実施例では、ハイパス（ＨＰ）コンポーネントを均一にブースト（一定利得）する。周波数分解された信号を必要に応じて再結合し、クリッピングすることができる。ハイパスコンポーネントはトーンスケール関数のロールオフを通過しないので、細部が保存される。ローパストーンスケール関数のスムーズなロールオフは、ブーストされたハイパスコントラストを追加するためのあき高（head room）を保存する。この最終結合で生じ得るクリッピングが、細部を大幅に減少させるとは判断されていない。

図１１を参照し、本発明の一部の実施例について説明できる。これらの実施例は、周波数分割または分解１１１と、ローパストーンスケールマッピング１１２と、一定ハイパス利得またはブースト１１６と、エンハンスされた画像コンポーネントの総和または再結合１１５とを含む。

これら実施例では、入力画像１１０を空間周波数バンド１１１に分解する。２つのバンドを使用する一実施例では、ローパス（ＬＰ）フィルタ１１１を使ってこの分解を実行する。フィルタ１１１を介してＬＰ信号を計算し、元の画像からＬＰ信号を減算（１１３）し、ハイパス（ＨＰ）信号１１８を形成することにより、周波数分割を実行する。一実施例では、この分解のために空間５×５短方形フィルタを使用しているが、別のフィルタも使用できる。

次に、前に説明した実施例と同じように、トーンスケールマッピングを適用することにより、ＬＰ信号を処理できる。一実施例では、この処理をフォトメトリックマッチングＬＵＴによって達成できる。これらの実施例では、ほとんどの細部は既にフィルタリング１１１の際に抽出されているので、前に説明した不鮮明マスキングの実施例と比較して、より大きい値のＭＦＰ／ＦＴＰを使用できる。コントラストを追加するために何らかのあき高を保持しなければならないので、一般にクリッピングを使用すべきではない。

一部の実施例では、上限において、トーンスケール曲線の傾きがゼロとなるように、ＭＦＰ／ＦＴＰを自動的に決定し、設定される。図１２には、このように決定した一連のトーンスケール関数が示されている。これらの実施例では、２５５においてトーンスケール関数が傾き０となるようにＭＦＰ／ＦＴＰの最大値を決定できる。この値は、クリッピングを生じさせない最大のＭＦＰ／ＦＴＰ値である。

図１１を参照して説明した本発明の一部の実施例では、ＨＰ信号１１８を処理することは、ローパス信号を処理するのに使用されるＭＦＰ／ＴＰの選択とは関係なく行われる。パワー／光源照度を低減するとき、または明るさを改善するために画像の画素値を他の方法でブーストするときに、コントラストを維持する一定利得１１６を用いて、ＨＰ信号１１８を処理する。フルおよび低減バックライトパワー（ＢＬ）およびディスプレイガンマによって表されるＨＰ信号の利得１１６の式は、ハイパス利得式（High Pass Gain equation）として以下に示される。利得は一般に小さい（例えば、利得は８０％のパワー低減およびガンマ値２．２に対して１．１である）ので、このＨＰコントラストのブーストは、ノイズに対して影響を受けにくい。

一部の実施例では、トーンスケールマッピング１１２をＬＵＴ処理またはその他の方法によりＬＰ信号に適用し、ＨＰ信号に一定利得１１６を適用して、これら周波数成分を合計（１１５）し、一部のケースではクリッピングすることができる。ＬＰ値に加えられるブーストされたＨＰ値が２５５を越えるときに、クリッピングが必要となる場合がある。このことは一般に、高いコントラストを有する明るさの信号にしか適さない。一部の実施例では、トーンスケールのＬＵＴを構築することにより、ＬＰ信号が上限を越えないように保証する。ＨＰ信号はクリッピングを生じさせることがあるが、クリッピングが生じる場合でも、あるコントラストを維持することによってＨＰ信号の負の値はクリッピングされない。

光源が画像に依存する実施例
本発明の一部の実施例では、表示されている画像、前に表示された画像、表示された画像の後で表示すべき画像またはそれらの組み合わせの特性によって、ディスプレイ光源の照明レベルを調節できる。これらの実施例では、画像特性に従ってディスプレイ光源の照明レベルを変えることができる。一部の実施例では、これらの画像特性は、画像輝度レベル、画像クロミナンスレベル、画像ヒストグラム特性およびその他の画像特性を含む。

画像特性を一旦確認すると、１つ以上の画像の属性をエンハンスするために、光源（バックライト）の照明レベルを変えることができる。一部の実施例では、より暗い画像領域またはより明るい画像領域におけるコントラストをエンハンスするように光源レベルを増減してもよい。画像のダイナミックレンジを高めるように、光源の照明レベルを増減してもよい。一部の実施例では、各画像フレームに対する電力消費量を最適にするように、光源のレベルを調節できる。

光源のレベルを一旦変更すると、どんな理由であれ、画像を更に改善するようにトーンスケール調節を使って画像ピクセルの画素値を調節できる。電力を節約するために光源レベルを低減した場合、失われた明るさを再び取り戻すようにピクセルの値を大きくすることができる。特定の輝度レンジにおけるコントラストをエンハンスするように光源のレベルを変更した場合、別のレンジにおける減少したコントラストを補償するために、または特定のレンジを更にエンハンスするために、ピクセルの値を調節できる。

本発明の一部の実施例では、図１３に示されるように、画像の内容に画像トーンスケール調節を依存させることができる。これらの実施例では、画像の特性を判断するために、画像を分析する（１３０）。画像特性として、輝度チャンネル特性、例えば画像の平均ルミナンス（輝度）である平均ピクチャーレベル（ＡＰＬ）、最大輝度値、最小輝度値、例えば平均ヒストグラム値、最も頻繁なヒストグラムの値、およびその他の値、輝度ヒストグラムデータ、並びにその他の輝度特性を挙げることができる。更に画像特性として、カラー特性、例えば個々のカラーチャンネル（例えばＲＧＢ信号内のＲ、Ｇ＆Ｂ）の特性も挙げることができる。カラーチャンネル固有の画像特性を決定するために、各カラーチャンネルを別個に分析できる。一部の実施例では、各カラーチャンネルに対して別々のヒストグラムを使用してもよい。他の実施例では、画像データの空間分布に関する情報を含むブロブヒストグラムデータを画像特性として使用してもよい。また、画像特性はビデオフレーム間の時間的変化も含むことができる。

画像を一旦分析（１３０）し、特性を決定すると、画像特性の値に基づき、一組のあらかじめ計算されたマップからトーンスケールマップを計算または選択できる（１３２）。バックライト調節を補償するか、または他の方法で画像をエンハンスするために、画像にこのマップを使用（１３４）できる。

図１４を参照して本発明の一部の実施例について説明できる。これら実施例では、画像分析器１４２は、画像１４０を受信し、トーンスケールマップを選択するのに使用できる画像特性を決定する。次に、これら特性をトーンスケールマップセレクタ１４３へ送り、このセレクタは画像特性に基づき適当なマップを決定する。次に、画像１４０に対してマップを使用するために、画像プロセッサ１４５へこのマップ選択を送ることができる。画像プロセッサ１４５はマップ選択および元の画像データを受信し、選択されたトーンスケールマップ１４４を用いて、元の画像を処理し、それによってユーザーに表示するために、ディスプレイ１４６へ送られる。調節された画像を発生する。これら実施例では、画像特性に基づき選択するために、１つ以上のトーンスケールマップ１４４を記憶する。これらトーンスケールマップ１４４をあらかじめ計算し、テーブルまたは他のデータフォーマットとして記憶できる。これらトーンスケールマップ１４４は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成したエンハンスメントマップまたは他のマップを含むことができる。

図１５を参照し、本発明の一部の実施例について説明できる。これら実施例では、画像分析器１５２は、画像１５０を受信し、トーンスケールマップを計算するのに使用できる画像特性を決定する。次に、これら特性はトーンスケールマップ計算器１５３へ送られ、この計算器は画像特性に基づき、適切なマップを計算する。計算されたマップは、画像プロセッサ１５５へ送られ、このマップは画像１５０に対して使用される。画像プロセッサ１５５は、計算されたマップ１５４および元の画像データを受信し、トーンスケールマップ１５４を用いて、元の画像を処理し、それによってユーザーに表示するためにディスプレイ１５６に送られる。調節された画像を発生する。これら実施例では、画像特性に基づき実質的にリアルタイムでトーンスケールマップ１５４を計算する。計算されたトーンスケールマップ１５４は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使用して作成されたエンハンスメントマップまたは別のマップを含むことができる。

図１６を参照し、本発明の別の実施例について説明する。これら実施例では、光源の照明レベルは画像の内容に依存するが、トーンスケールマップも画像の内容に依存できる。しかしながら、必ずしも光源の計算チャンネルとトーンスケールマップチャンネルとの間で通信がなくてもよい。

これら実施例では、光源またはトーンスケールマップマップ計算に必要な画像特性を決定するために画像を分析する（１６０）。この情報は、画像に適した光源の照明レベル１６１を計算するのに使用される（１６１）。画像を表示するときに光源（例えばバックライト）の変動に対して、この光源のデータをディスプレイへ送る（１６２）。画像特性情報に基づき、トーンスケールマップを選択または計算する場合（１６３）、トーンスケールマップチャネルにも画像特性データを送る。次に、ディスプレイ１６５に送られるエンハンスされた画像を生成するために、画像に対し、マップを適用（１６４）する。光源の信号がエンハンスされた画像データの表示に一致するよう、画像に対して計算された光源信号とエンハンスされた画像データとを同期化させる。

図１７に示されたこれら実施例の一部は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成されたエンハンスマップまたは別のマップを含む、格納されたトーンスケールマップを使用する。これら実施例では、トーンスケールマップおよび光源計算に関係する画像特性を決定するために画像分析器１７２に画像１７０を送る。次にこれら特性は、光源レベル計算器１７７へ送られ、適切な光源照明レベルが決定される。トーンスケールマップセレクタ１７３へも一部の特性を送り、適切なトーンスケールマップ１７４を決定するのに使用する。次に、画像プロセッサ１７５に元の画像１７０およびマップ選択データが送られ、プロセッサは選択されたマップ１７４を検索し、マップ１７４を画像１７０に適用し、エンハンスされた画像を作成する。次に、このエンハンスされた画像はディスプレイ１７６へ送られ、ディスプレイ１７６は光源レベル計算器１７７からの光源レベル信号も受信し、エンハンスされた画像が表示されている間、光源１７９を変調するためにこの信号を使用する。

図１８に示されたこれら実施例の一部は、オンザフライ方式でトーンスケールマップを計算できる。これらマップは、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成されたエンハンスマップまたは別のマップを含むことができる。これら実施例では、トーンスケールマップおよび光源計算に関連する画像特性を決定するために画像分析器１８２に画像１８０を送る。次にこれら特性は、適切な光源照度レベルを決定するために、光源計算器１８７へ送られる。一部の特性は、トーンスケールマップ計算器１８３へも送られ、適切なトーンスケールマップ１８４を計算するのに使用される。次に、画像プロセッサ１８５に元の画像１８０および計算されたマップ１８４が送られ、画像プロセッサ１８５は計算されたマップ１８４を画像１８０に適用し、エンハンスされた画像を作成する。次に、このエンハンスされた画像はディスプレイ１８６へ送られ、このディスプレイ１８６は光源計算器１８７からの光源レベル信号も受信し、エンハンスされた画像が表示されている間、光源１８９を変調するためにこの信号を使用する。

図１９を参照し、本発明の一部の実施例について説明できる。これらの実施例では、光源並びにトーンスケールマップの計算および選択に関連する画像特性を決定するために画像を分析（１９０）する。次に、光源照度レベルを計算（１９２）するために、これら特性を使用する。光源照度レベルを使用して、トーンスケール調節マップ１９４を計算または選択する。次に、エンハンスされた画像を作成するために、画像に対してこのマップを適用（１９６）する。次にディスプレイにエンハンスされた画像および光源レベルデータを送る（１９８）。

図２０を参照し、図１９に関連して説明した方法のために使用される装置について説明する。これらの実施例では、画像分析器２０２にて、画像２００を受信し、この分析器で画像特性を決定する。次に、画像分析器２０２は、光源レベルを決定するために、光源計算器２０３へ画像特性データを送る。次に、トーンスケールマップセレクタまたは計算器２０４に光源レベルデータが送られ、セレクタまたは計算器２０４は、光源レベルに基づき、トーンスケールマップを計算または選択する。次に、マップを元の画像に適用するために、元の画像と共に、選択されたマップ２０７または計算されたマップは画像プロセッサ２０５に送ることができる。このプロセスで、画像をディスプレイ中にディスプレイの光源光を変調するのに使用される光源光レベル信号と共にディスプレイ２０６へ送られるエンハンスされた画像を発生する。

本発明の一部の実施例では、光源制御ユニットは画質を維持する光源低減を選択する役割を果たす。光源レベルの選択をガイドするのに、適応ステージにおける画質を保存するための能力の知識を使用する。一部の実施例では、画像が明るいか、または画像が高度に飽和したカラー、例えば画素値２５５を有する青色を含むとき、高い光源レベルが必要であることを認識することが重要である。バックライトレベルを決定するために輝度だけを使用すると、低い輝度だが、大きい画素値、例えば飽和した青色または赤色を有する画像を有するアーティファクトの原因となる。また、一部の実施例では、各カラー平面を検査し、すべてのカラー平面の最大値に基づく判断を行うことができる。一部の実施例では、バックライト設定はクリップされるピクセルの特定の単一パーセンテージに基づいてなされる。図２２に示された別の実施例では、バックライト変調アルゴリズムは２つのパーセンテージ、すなわちクリップされた（Clipped）ピクセル２３６のパーセンテージと歪んだ（Distorted）ピクセル２３５のパーセンテージを使用できる。これら異なる値によるバックライト設定の選択により、トーンスケール計算器がハードなクリップを課すよりもトーンスケール関数をスムーズにロールオフするための余地が可能となる。ある入力画像を仮定し、各カラー平面に対する画素値のヒストグラムを決定する。２つのパーセンテージＰ_Clipped２３６およびＰ_Distorted２３５を仮定し、これらパーセンテージ２２４〜２２６に対応する画素値を決定するために、各カラー平面２２１〜２２３のヒストグラムを検査する。これによって、Ｃ_Clipped（color）２２８およびＣ_Distorted（color）２２７が生じる。異なるカラー平面の間の最大のクリップされた画素値２３４および最大の歪んだ画素値２３３を使用し、バックライト設定２２９を決定できる。この設定により、各カラー平面に対し、せいぜい画素値の指定されたパーセンテージをクリップするか、または歪ませることが保証される。

画素値ＣＶ_Clipped２３４において、２５５でトーンスケール関数がクリップするように、ＢＬパーセンテージを補償し、選択するために使用されるトーンスケール（ＴＳ）関数を検討することによって、バックライト（ＢＬ）パーセンテージを決定する。このトーンスケール関数は値ＣＶ_Distorted（この傾きの値はＢＬの減少量を補償する）より下ではリニアであり、ＣＶ_Clippedより上の画素値に対し、２５５で一定であり、連続した微分値を有する。この微分値を検討すると、より小さい傾きの選択の仕方、従ってＣＶ_Distortedより低い画素値に対し、画像のDistortionを生じさせないバックライトのパワーの選択の仕方が分かる

図２１に示されるＴＳの微分値のプロットでは、値Ｈは未知である。ＴＳがＣＶ_Clippedを２５５にマッピングするには、ＴＳの微分値以下の領域を２５５にしなければならない。このような制限によって我々は下記のようにＨの値を決定できる。

画素値のブーストおよびディスプレイのガンマ並びにDistortionポイントより下の画素値に対する正確な補償のための基準からＢＬパーセンテージを決定する。ＣＶ_Clippedでクリップし、ＣＶ_Distortedより下の無Distortionからスムーズに移行できるようにするＢＬ（バックライト）比は、次の式で示される。

ＢＬの変動の問題を更に解決するために、ＢＬ比に上限を課す。

ＬＣＤとＢＬとの間で同期がないことを補償するために、上記のように誘導される画像依存ＢＬ信号に対して時間的なローパスフィルタリング２３１を適用できる。図２２にはバックライト変調アルゴリズムの一例の図が示されており、他の実施例では異なるパーセンテージおよび値を使用できる。

トーンスケールマッピングは画像のDistortionを最小にしながら、選択されたバックライト設定を補償できる。上記のようにバックライト選択アルゴリズムは対応するトーンスケールマッピング演算の能力に基づいて設計される。選択されたＢＬレベルにより、指定された第１のパーセンタイル（percentile）より下の画素値に対し、Distortionを生じることなくバックライトレベルを補償し、指定された第２のパーセンタイルより上の画素値をクリップするトーンスケール関数を可能にする。これら２つの指定されたパーセンタイルによりトーンスケール関数が可能となるが、この関数はDistortionのない領域とクリッピング領域とをスムーズに移動する。

周辺光を検出する実施例
本発明の一部の実施例は、周辺照明センサを含み、このセンサは画像処理モジュールおよび／または光源制御モジュールに入力を提供する。これらの実施例では、トーンスケール調節、利得マッピングおよび他の変形を含む画像処理を周辺照明特性に関連させることができる。これら実施例は、周辺照明特性に関連する光源またはバックライト調節も含むことができ、一部の実施例では、単一処理ユニット内で光源と画像処理とを組み合わせることができ、別の実施例では、これら機能を別々のユニットで実行できる。

図２３を参照し、本発明の一部の実施例について説明する。これら実施例では、画像処理方法のための入力として周辺照明センサ２７０を使用できる。一部の実施例では、周辺照明センサ２７０からの入力および光源２６８のレベルに基づき、入力画像２６０を処理できる。光源２６８、例えば節電または他の理由から、ＬＣＤディスプレイパネル２６６を照明するためのバックライトのような光源２６８を変調または調節される。これらの実施例では、画像プロセッサ２６２が周辺照明センサ２７０および光源２６８からの入力を受信し、これら入力に基づき、画像プロセッサ２６２は周辺条件および光源２６８の照度レベルに合うように入力画像を変更する。他の実施例のための上記方法のいずれかに従い、または別の方法により、入力画像２６０を変更できる。一実施例では、減少された光源照度および周辺照明変動に関連し、画像ピクセル値を大きくするために、画像に対してトーンスケールマップが適用される。次に、例えばＬＣＤパネルのようなディスプレイパネル２６６に変更された画像２６４は登録される。一部の実施例では、光源照度レベルは周辺光が少ないときに減少され、又、光源照度の低下を補償するのにトーンスケール調節または他のピクセル値操作技術を使用するときに更にこのレベルを減少できる。一部の実施例では、周辺照明が低下したときに光源照度レベルを低下できる。一部の実施例では、周辺照明が上部スレッショルド値および／または下部のスレッショルド値に達したときに、光源照度レベルが増加される。

図２４を参照し、本発明の更に別の実施例について説明する。これら実施例では、画像処理ユニット２８２で入力画像２８０を受信する。この入力画像２８０の処理は、周辺照明センサ２９０からの入力に依存する。この処理は、光源処理ユニット２９４からの出力にも依存する。一部の実施例では、光源処理ユニット２９４は、周辺照明センサ２９０からの入力を受信でき、一部の実施例は、例えばデバイスのパワー消費モード、デバイスのバッテリー状態またはデバイスのその他の状態を表示するパワーモードインジケータのようなデバイスモードインジケータ２９２からの入力も受信できる。光源処理ユニット２９４は、周辺光状態および／またはデバイス状態を使用し、光源照度レベルを決定し、このレベルを使って、例えばＬＣＤディスプレイ２８６のようなディスプレイを照明する光源２８８を制御する。光源処理ユニットは、画像処理ユニット２８２へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理ユニット２８２は、入力画像２８０を処理するための処理パラメータを決定するために、光源処理ユニット２９４からの光源情報を使用できる。画像処理ユニット２８２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット２８２による処理の結果、調節された画像２８４が得られ、この画像はディスプレイが光源２８８で照明される場合、ディスプレイ２８６へ送られる。

図２５を参照し、本発明の別の実施例について説明する。これら実施例では、画像処理ユニット３０２で入力画像３００を受信する。入力画像３００の処理は、周辺照明センサ３１０からの入力に依存する。この処理は、光源処理ユニット３１４からの出力にも依存する。一部の実施例では、光源処理ユニット３１４は、周辺照明センサ３１０からの入力を受信でき、一部の実施例は、例えばデバイスのパワー消費モード、デバイスのバッテリー状態またはデバイスのその他の状態を表示できるパワーモードインジケータのようなデバイスモードインジケータ３１２からの入力も受信できる。光源処理ユニット３１４は、周辺光状態および／またはデバイス状態を使用し、光源照度レベルを決定し、このレベルを使って、例えばＬＣＤディスプレイ３０６のようなディスプレイを照明する光源３０８を制御する。光源処理ユニットは、画像処理ユニット３０２へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理ユニット３０２は、入力画像３００を処理するための処理パラメータを決定するために、光源処理ユニット３１４からの光源情報を使用できる。画像処理ユニット３０２は、入力画像３００を処理するための処理パラメータを決定するために周辺照明センサ３１０からの周辺照明情報も使用できる。画像処理ユニット３０２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット３０２による処理の結果、調節された画像３０４が得られ、ディスプレイを光源３０８で照明する場合、この画像をディスプレイ３０６へ送ることができる。

図２６を参照し、本発明の別の実施例について説明する。これら実施例では、画像処理ユニット３２２で入力画像３２０を受信する。入力画像３２０の処理は周辺照明センサ３３０からの入力に依存し、この処理は光源処理ユニット３３４からの出力にも依存する。一部の実施例では、周辺照明センサ３３０からの入力を光源処理ユニット３３４が受信し、別の実施例では、画像処理ユニット３２２から周辺情報を受信できる。光源処理ユニット３３４は中間光源照明レベルを決定するのに、周辺光状態および／またはデバイス状態を使用できる。この中間光源照度レベルは、光源ポストプロセッサ３３２へ送られ、このポストプロセッサは、中間光源照度レベルを特定のデバイスのニーズに合わせることができる量子化器、タイミングプロセッサ、または他のモジュールの形態をとり得る。一部の実施例では、光源のポストプロセッサ３３２は、光源３２８のタイプおよび／または、例えばビデオアプリケーションのような撮像アプリケーションによって課されたタイミング制限のために、光源制御信号を調整することができる。次に、ポスト処理された信号は、例えばＬＣＤディスプレイ３２６のようなディスプレイを照明する光源３２８を制御するのに使用できる。光源処理ユニットは、このポスト処理された光源照度レベルおよび／または他の情報を画像処理ユニット３２２へ送ることもできる。

画像処理ユニット３２２は、入力画像３２０を処理するための処理パラメータを決定するために、光源処理ユニット３３４からの光源情報を使用できる。画像処理ユニット３２２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット３２２による処理の結果、調節された画像３２４が得られ、ディスプレイ３２６を光源３２８で照明する場合、この画像はディスプレイ３２６へ送られる。

本発明の一部の実施例は、別個の画像分析モジュール３４２、３６２および画像処理モジュール３４３、３６３を含むことができる。これらユニットを単一のコンポーネントまたは単一のチップ上に組み込むことができるが、これらのユニットの相互作用が良くわかるように、別々のモジュールとして図示し、説明する。

図２７を参照し、本発明のこれら実施例の一部について説明する。これらの実施例では、画像分析モジュール３４２で入力画像３４０を受信する。この画像分析モジュールは、画像の特性を決定するために画像を分析し、決定された画像特性は画像処理モジュール３４３および／または光源処理モジュール３５４へ送られる。入力画像３４０の処理は周辺照明センサ３５０からの入力に依存する。一部の実施例では、光源処理モジュール３５４は周辺照明センサ３５０からの入力を受信する。光源処理ユニット３５４は、デバイスの状態またはモードセンサ３５２からの入力も受信できる。光源処理ユニット３５４は、周辺光状態、画像特性および／またはデバイス状態を使用し、光源照度レベルを決定する。この光源照度レベルは、例えばＬＣＤディスプレイ３４６のようなディスプレイを照明する光源３４８へ送られる。光源処理モジュール３５４は、ポスト処理された光源照度レベルおよび／または他の情報を画像処理モジュール３４３へ送ることもできる。

画像処理モジュール３４３は、光源処理モジュール３５４からの光源情報を使用し、入力画像３４０を処理するための処理パラメータを決定できる。画像処理モジュール３４３は、光源処理モジュール３５４を通して周辺照明センサ３５０から送られた周辺照明情報も使用する。この周辺照明情報は入力画像３４０を処理するための処理パラメータを決定するのに使用できる。画像処理モジュール３４３は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または全体に補償する。画像処理モジュール３４３の処理の結果として、調節された画像３４４が得られ、この画像はディスプレイ３４６が光源３４８によって照明できる場合、ディスプレイ３４６へ送られる。

図２８を参照し、本発明の一部の実施例について説明する。これら実施例では、画像分析モジュール３６２により、入力画像３６０を受信する。この画像分析モジュールは、画像特性を決定するために画像を分析でき、決定された画像特性は画像処理モジュール３６３および／または光源処理モジュール３７４へ送られる。入力画像３６０の処理は、周辺照明センサ３７０からの入力に依存し、この処理は、光源処理モジュール３７４からの出力にも依存する。一部の実施例では、画像処理モジュール３６３から周辺情報を受信することができ、この処理モジュールは周辺センサ３７０からの周辺情報を受信できる。この周辺情報は、画像処理モジュール３６３を通って、光源処理モジュール３７４に送られる、および／またはその途中で画像処理モジュールによって処理される。デバイスモジュール３７２から光源処理モジュール３７４へデバイスの状態またはモードを送ることもできる。

光源処理モジュール３７４は、光源照度レベルを決定するために周辺光の状態および／またはデバイスの状態を使用できる。この光源照度レベルはＬＣＤディスプレイ３６６のようなディスプレイを照明する光源３６８を制御するのに使用できる。光源処理ユニット３７４は、画像処理モジュール３６３へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理モジュール３６３は、光源処理モジュール３７４からの光源情報を使用し、入力画像３６０を処理するための処理パラメータを決定できる。画像処理モジュール３６３は、入力画像３６０を処理するための処理パラメータを決定するために周辺照明センサ３７０からの周辺照明情報を使用することもできる。画像処理モジュール３６３は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または全体に補償する。画像処理モジュール３６３の処理の結果として、調節された画像３６４が得られ、この画像はディスプレイ３６６が光源３６８によって照明できる場合、ディスプレイ３６６へ送られる。

Distortion適応パワー管理実施例
本発明の一部の実施例は、モバイルデバイスおよびアプリケーションを含むディスプレイデバイスの必要パワー、ディスプレイ特性、周辺環境およびバッテリー制限を解決する方法およびシステムを含む。一部の実施例では、３種のアルゴリズム、例えばディスプレイパワー管理アルゴリズム、バックライト変調アルゴリズムおよび明るさ保存（ＢＰ）アルゴリズムが使用される。パワー管理は移動するバッテリー給電デバイスで優先度が高いが、これらシステムおよび方法は、エネルギー保存、熱管理および他の目的のためにパワー管理から利益が得られる他のデバイスにも適用できる。これら実施例では、これらアルゴリズムは相互に作用するが、個々の機能として次の機能を挙げることができる。
・パワー管理−これらのアルゴリズムはパワー消費量を最適にするよう、ビデオコンテンツ内の変動を利用する一連のフレームにわたってバックライトのパワーを管理する。
・バックライト変調−これらのアルゴリズムはパワー消費量を最適にするよう、個々のフレームのために使用するバックライトパワーレベルを選択し、画像内の統計値を利用する。
・明るさ保存−これらのアルゴリズムは低下したバックライトパワーを補償し、アーティファクトを防止しながら、画像の明るさを保存するために、各画像を処理する。

図２９を参照し、本発明の一部の実施例について説明するが、図２９は、これら実施例のコンポーネントの相互作用を示す簡略化されたブロック図を含む。一部の実施例では、パワー管理アルゴリズム４０６はビデオ、画像シーケンスまたは他のディスプレイタスクにわたり、固定されたバッテリーリソース４０２を管理すると共に、画質および／または他の特性を保持しながら、特定の平均パワー消費量を保証できる。バックライト変調アルゴリズム４１０は、パワー管理アルゴリズム４０６からの命令を受け、パワー管理アルゴリズム４０６によって定められた制限を受けるパワーレベルを選択し、各画像を効率的に表示する。明るさ保存アルゴリズム４１４は、選択されたバックライトレベル４１５および可能なクリッピング値４１３を使用し、低下したバックライトを補償するように画像を処理する。

ディスプレイのパワー管理
一部の実施例では、ディスプレイのパワー管理アルゴリズム４０６は、ビデオ、画像シーケンスまたは他のディスプレイタスクにわたるパワー使用量の分配を管理できる。一部の実施例では、ディスプレイパワー管理アルゴリズム４０６は、バッテリーの固定されたエネルギーを割り当て、画質を維持しながら、保証された作動寿命を提供する。一部の実施例では、パワー管理アルゴリズムの１つの目標は、バッテリーの寿命に対する保証されたより低い限度を提供し、モバイルデバイスの利用可能性を高めることにある。

一定パワー管理
任意の目標を満たすパワー制御の一形態は、所望する寿命を満たす固定されたパワーを選択することである。図３０には、一定パワー管理に基づくシステムを示すシステムブロック図が示されている。必須ポイントは、パワー管理アルゴリズム４３６が初期バッテリーの充電量４３２および所望する寿命４３４だけに基づき、一定のバックライトパワーを選択することである。各画像４４０において、このバックライトレベル４４４のための補償４４２が実行される。

バックライトレベル４４４、従ってパワー消費量は、画像データ４４０に依存しない。一部の実施例は、パワーモードに基づいて行うべきパワーレベルの選択を可能にする多数の一定パワーモードをサポートできる。一部の実施例では、システムの実現を簡単化するのに、画像に依存したバックライト変調を使用できない。別の実施例では、作動モードまたはユーザーの好みに基づき、いくつかの一定パワーレベルを設定し、選択できる。一部の実施例は、単一の低減されたパワーレベル、例えば最大パワーの７５％でこの原理を使用する。

簡単な適応型パワー管理
図３１を参照し、本発明の一部の実施例について説明する。これらの実施例は、適応型パワー管理アルゴリズム４５６を含み、バックライト変調４６０に起因するパワー低減量４５５が、パワー管理アルゴリズム４５６へフィードバックされ、所望するシステムの寿命を提供しながら、改善された画質を可能にする。

一部の実施例では、下記の式１８に示されるように、時間に対する静的な最大パワーの計算を更新することにより、パワー管理アルゴリズム内に、画像に従属したバックライト変調による省電力を含ませることができる。適応型パワー管理は、バックライト変調アルゴリズム４６０にパワーの上限（ｍＡ）を与えるために、残りの所望する寿命（時間）に対する残りのバッテリーの充電度（ｍＡ／時間）の比を計算することを含むことができる。一般にバックライト変調４６０は、更にパワーを節約するために、この最大値より下の実際のパワーを選択できる。一部の実施例では、バックライト変調に起因する省電力量は、残りのバッテリーの充電量の変化量値または作動中の選択された平均パワー、従って、パワー管理決定の後の影響を通してフィードバックの形態で反映される。

一部の実施例では、バッテリーのステータス情報を入手できないか、またはこの情報が不正確である場合、ディスプレイが使用するエネルギー、すなわち、平均選択パワーに作動時間を乗じたものを計算するか、またはこの値をバッテリーの初期充電量から減算することによって、残存バッテリー充電量を推定できる。

この後者の技術は、バッテリーと相互作用することなく実行できるという利点を有する。

パワーDistortion管理
本発明者は、パワー対Distortionの調整において、多くの画像は同じパワーでも大きく異なるDistortionを呈することを観察した。アンダー露出の写真のように、コントラストの貧弱なぼんやりした画像を、大パワーを使用する結果生じる黒レベルの上昇によって、小さいパワーでも実際に良好にディスプレイすることができる。パワー制御アルゴリズムは、画像のDistortionを直接パワー設定ではなく、バッテリー容量とトレードオフできる。図２９に示された本発明の一部の実施例では、パワー管理技術はバックライト制御アルゴリズム４１０に与えられる最大パワー４０１の外に、最大Distortion値のようなDistortionパラメータ４０３も含むことができる。これら実施例では、パワー管理アルゴリズム４０６は、そのときの画像のパワー／Distortion特性の形態でバックライト変調アルゴリズム４１０からのフィードバックを使用できる。一部の実施例では、そのときのフレームのターゲットパワーおよびパワー−Distortion特性に基づき、最大画像Distortionは修正される。これら実施例では、実際に選択されたパワーに対するフィードバックの外に、パワー管理アルゴリズムはDistortionターゲット４０３を選択し、提供でき、バッテリーの充電度４０２へのフィードバックの外に、対応する画像Distortion４０５に対するフィードバックを受信できる。一部の実施例では、パワー制御アルゴリズム内で別の入力、例えば周辺レベル４０８、ユーザーの好みおよび作動モード（例えばビデオ、グラフィックス）を使用できる。

本発明の一部の実施例は、ディスプレイの品質を維持しながら、ビデオシーケンスにわたってパワーを最適に割り当てるよう試みることができる。一部の実施例では、所定のビデオシーケンスの間、使用される全パワーと画像のDistortionとのトレードオフ点を選択するために、２つの基準を使用できる。最大画像Distortionと平均画像Distortionとを使用できる。一部の実施例では、これらを最小にできる。一部の実施例では、シーケンス内の各画像に対し、同じDistortionを使用することにより、画像シーケンスにわたって最大Distortionを最小化できる。これら実施例ではパワー管理アルゴリズム４０６は、このDistortion４０３を選択し、バックライト変調アルゴリズム４１０が、このDistortionターゲット４０３を満たすバックライトレベルを選択できるようにする。一部の実施例では、各画像に対して選択されたパワーが、パワーDistortion曲線の傾きを等しくするようになっているとき、平均Distortionを最小化できる。この場合、パワー管理アルゴリズム４０６は、適切なバックライトレベルを選択するために、バックライト変調アルゴリズム４１０に依存するパワーDistortion曲線の傾きを選択できる。

パワー管理プロセスにおけるDistortionを検討する際に、省電力を示すために、図３２Ａおよび３２Ｂを使用できる。図３２Ａは、画像シーケンスのうちの連続フレームに対する光源のパワーレベルのプロットであり、この図３２Ａは、フレームと一定Distortionグラフの平均パワー４８２との間で一定のDistortion４８０を維持するのに必要な光源のパワーレベルを示す。図３２Ｂは、画像シーケンスのうちの同じ連続フレームに対する画像Distortionのプロットである。図３２Ｂは、一定パワー設定を維持することから生じた一定パワーDistortion４８４、シーケンスにわたって一定Distortionを維持することから生じた一定Distortionレベル４８８および一定パワーを維持するときの平均一定パワーDistortion４８６を示す。一定パワーレベルは、一定Distortionの結果の平均パワーに等しくなるように選択されている。従って、双方の方法は同じ平均パワーを使用する。Distortionを検討することにより、一定パワー４８４は、画像のDistortionに大きな変動を生じさせることが分かった。双方の方法が同じ平均パワーを使用しているにもかかわらず、一定パワー制御の平均Distortion４８６は、一定DistortionアルゴリズムのDistortion４８８の１０倍より大きくなることにも留意されたい。

実際に、パワーとDistortionとのトレードオフを評価するには、パワーDistortion関数の各ポイントで、元の画像とパワーが低減された画像との間のDistortionを計算しなければならないので、ビデオシーケンスにわたる最大Distortionまたは平均Distortionを最小にしようとする最適化は、あるアプリケーションでは過度に複雑となることが証明される。各Distortion評価は、バックライトの低減および対応する画像の明るさの補償を計算し、元の画像と比較することを必要とする。従って、一部の実施例は、Distortion特性を計算し、または評価するためのより簡単な方法を含むことができる。

一部の実施例では、ある近似を使用できる。第１に、式２０が示すように、画像自身ではなく、画像の画素値のヒストグラムから、平均二乗誤差（ＭＳＥ）のようなポイントごとのDistortion（Distortion）の計量値を計算できることに注目する。この場合、ヒストグラムは３２０×２４０の解像度で、７６８０のサンプルを有する画像とは異なり、２５６の値しか有しない一次元の信号である。この値は、所望すれば、ヒストグラムをサブサンプリングすることによって更に低減できる。

一部の実施例では、実際の補償アルゴリズムを適用するのではなく、補償段階で、クリッピングにより単に画像をスケーリングすることを仮定することにより、近似を行うことができる。一部の実施例では、Distortion計量値内に黒レベルの上昇項を含ませることも有益である。一部の実施例では、このような項を使用することは、ゼロバックライトで完全にブラックのフレームに対して、最小Distortionが生じることを意味する。

一部の実施例では、各画素値に対する所定パワーレベルでのDistortionを計算するために、クリッピングと共にリニアブーストによって生じるDistortionが決定される。次に、このDistortionは画素値の周波数によって重みづけされ、指定されたパワーレベルでの平均画像Distortionを求めるために合計される。これら実施例では、明るさ補償のための簡単なリニアブーストは、画像ディスプレイのための許容できる画質を与えないが、バックライトの変化によって生じる画質のDistortionの推定値を計算するための簡単なソースとして働く。

図３３に示された一部の実施例では、パワー消費量および画像のDistortionの双方を制御するために、パワー管理アルゴリズム５００はバッテリーの充電度５０６および残存寿命５０８だけでなく、画像のDistortion５１０をも追尾する。一部の実施例では、パワー消費量に対する上限５１２およびDistortionターゲット５１１がバックライト変調アルゴリズム５０２に供給される。次に、このバックライト変調アルゴリズム５０２は、パワーの限度およびDistortionターゲットの双方に適合するバックライトレベル５１２を選択する。

バックライト変調アルゴリズム（ＢＭＡ）
バックライト変調アルゴリズム５０２は、各画像に対して使用されるバックライトレベルを選択する役割を果たす。この選択は、表示すべき画像およびパワー管理アルゴリズム５００からの信号に基づいてなされる。パワー管理アルゴリズム５００によって供給される最大パワーに関する限度５１２を考慮することにより、望ましい寿命にわたってバッテリー５０６が管理される。一部の実施例では、バックライト変調アルゴリズム５０２は、そのときの画像の統計値に応じたより低いパワーを選択できる。このことが特定の画像でのパワーを節約する源となり得る。

適当なバックライトレベル４１５を一旦選択すると、バックライト４１６は選択されたレベルに設定され、このレベル４１５は明るさ保存アルゴリズム４１４へ与えられ、必要な補償が決定される。一部の画像およびシーケンスに対し、少量の画像のDistortionを認めることにより、必要なバックライトパワーを大幅に低減できる。従って、一部の実施例は、制御された量の画像Distortionを認めるアルゴリズムを含む。

図３４は、Distortionのいくつかの許容度に対するフレーム数の関数としてのサンプルＤＶＤクリップでの省電力量を示すグラフである。Distortionがゼロのピクセルのパーセンテージは１００％から９７％と９５％へ変化し、ビデオクリップにわたる平均パワーが決定された。この平均パワーはそれぞれ９５％から６０％までの範囲であった。従って、ピクセルのうちの５％におけるDistortionを認めることにより、更に３５％パワーを節約できた。このことは、画像にわずかなDistortionを認めることによりパワーを大幅に節約できることを示している。明るさ保存アルゴリズムがわずかなDistortionを認める一方、主観的品質を保持できれば、大幅な省電力を達成できる。

図３０を参照し、本発明の一部の実施例について説明する。これら実施例は、周辺光センサ４３８からの情報も含むことができ、これら実施例はモバイルアプリケーションのために複雑さを低減できる。これら実施例はパワー管理アルゴリズム４３６が供給する静的なヒストグラムパーセント限度およびダイナミックな最大パワー限度を含む。一部の実施例では、一定パワーターゲットを含むことができるが、別の実施例は、より複雑なアルゴリズムを含む。一部の実施例では、カラーコンポーネントの各々のヒストグラムを計算することにより、画像を分析する。特定のパーセントが生じるヒストグラム内の画素値が各カラー平面に対して計算される。一部の実施例では、画素値のリニアブーストがヒストグラムから選択した画素値のクリッピングを生じさせるように、ターゲットバックライトレベルを選択できる。実際のバックライトレベルは、このターゲットレベルの最小値として選択され、バックライトレベルの限度はパワー管理アルゴリズム４３６によって与えられる。これらの実施例は、保証されたパワー制御を提供し、パワー制御限度に達することができた場合、限られた量の画像のDistortionを許容する。

画像のDistortionに基づく実施例
本発明の一部の実施例は、パワー管理アルゴリズムが供給するDistortion限度および最大パワー限度を含む。図３２Ｂおよび３４は、所定のバックライトパワーレベルでのDistortion量が画像のコンテンツに応じて大きく変化することを示している。各画像のパワーDistortion挙動の性質をバックライト選択プロセスで利用できる。一部の実施例では、各カラーコンポーネントに対するヒストグラムを計算することにより、そのときの画像を分析できる。式２０のうちの第２の式を利用してパワー値の範囲でのDistortionを計算することによって、Distortionを定めるパワーDistortion曲線（例えばＭＳＥ）を算出できる。バックライト変調アルゴリズムは、指定されたDistortion限度以下のDistortionをもつ最小のパワーをターゲットレベルとして選択する。このバックライトレベルは、ターゲットレベルの最小値として選択され、バックライトレベルの限度はパワー管理アルゴリズムによって与えられる。更に、選択されたレベルでの画像Distortionは、Distortionのフィードバックをガイドするために、パワー管理アルゴリズムに与えられる。パワーDistortion曲線のサンプリング周波数および画像ヒストグラムを、複雑さを制御するために低減することができる。

明るさ保存（Brightness Preservation（ＢＰ)）
一部の実施例では、ＢＰアルゴリズムは低下した照度を補償するために、選択されたバックライトレベルに基づき、画像を明るくする。ＢＰアルゴリズムはディスプレイに生じるDistortionを制御し、画質を維持するＢＰアルゴリズムの能力はバックライト変調アルゴリズムがどれだけ多くのパワーを節約できるかを決定する。一部の実施例は、２５５を超える画像クリッピング値をスケーリングすることにより、バックライトの低下を補償する。これらの実施例では、バックライト変調アルゴリズムはパワーを低減するのに慎重でなければならない。そうしないと、不快なクリッピングアーティファクトが生じ、可能な省電力が制限されることになる。一部の実施例は、固定されたパワー低減量にて最も要求されるフレームでの画質を維持するように設計されている。これらの実施例の一部は、単一バックライトレベル（例えば７５％）を補償する。別の実施例は、バックライト変調と共に働くように一般化できる。

明るさ保存（ＢＰ）アルゴリズムの一部の実施例は、バックライトおよび画像データの関数としてディスプレイから出力される輝度の記述を利用できる。このモデルを使用することによって、ＢＰはバックライトの低下を補償するように、画像に対する変更を決定できる。透過反射型ディスプレイの場合、ＢＰモデルはディスプレイの反射特性の記述を含むように変更できる。ディスプレイから出力される輝度は、バックライト、画像データおよび周辺の関数となる。一部の実施例では、ＢＰアルゴリズムは所定の周辺環境におけるバックライトの低減を補償するように、画像に対する変更を決定できる。

周辺の影響
実行が制限されているために、一部の実施例はＢＰパラメータを決定するための複雑度が制限されたアルゴリズムを含むことができる。例えばＬＣＤモジュール上で完全に作動するアルゴリズムを開発すると、アルゴリズムに利用できる処理およびメモリが制限される。この例では、一部のＢＰ実施例のために、異なるバックライトと周辺の組み合わせに対し、別のガンマ曲線を発生することが使用される。一部の実施例では、ガンマ曲線の数および分解能に対する制限が必要である。

パワー／Distortion曲線
本発明の一部の実施例は、ビデオシーケンスフレームを含むが、これだけに限定されない、画像に対するパワー／Distortion特性を把み推定し、計算し、または決定する。図３５は、４つの画像例に対するパワー／Distortion特性を示すグラフである。図３５では、画像Ｃに対する曲線５２０は、光源パワーバンド全体に対して負の傾きを維持し、画像Ａ、ＢおよびＤに対する曲線５２２、５２４および５２６は、これらが最低値に達するまで負の傾きで低下し、次に正の傾きで上昇する。画像Ａ、ＢおよびＤに対し、光源のパワーを増加すると、実際に曲線が正の傾き５２８を有するような曲線の特定範囲において、実際にDistortionが増加する。このことは、ＬＣＤの漏れまたはビューアーが見る表示された画像が画素値と一貫して異なるようにさせるその他のディスプレイの不規則性（これらだけに限定されない）のような表示特性に起因し得る。

本発明の一部の実施例は、特定の画像または画像タイプに対する適切な光源のパワーレベルを決定するために、これらの特性を使用する。画像に対する適切な光源のパワーレベルを決定するのに使用されるDistortionパラメータの計算時に、表示特性（例えばＬＣＤの漏れ）を考慮することができる。

方法の例
図３６を参照し、本発明の一部の実施例について説明する。これら実施例では、パワーバジェット（消費予定量）が確立される（５３０）。このことは、簡単なパワー管理、適応型パワー管理およびこれまで説明した他の方法、またはその他の方法によって実行できる。一般には、パワーバジェットを確立することは、例えばバッテリーの充電量の一部のような固定されたパワーリソースを使用しながら、ビデオファイルの表示のようなディスプレイタスクの完了を可能にするバックライトまたは光源のパワーレベルを推定することを含む。一部の実施例では、パワーバジェットを確立することは、固定された量のパワーでディスプレイタスクを完了できる平均パワーレベルを決定することを含む。

これらの実施例では、初期Distortion基準５３２も確立できる。パワーバジェットを満たす低減された光源のパワーレベルを推定し、そのパワーレベルにおける画像Distortionを測定することにより、この初期Distortion基準を決定できる。このDistortionは補正されていない画像上、上記のような明るさ保存（ＢＰ）技術を使って変更された画像上、または簡略化されたＢＰプロセスで変更された画像上で測定できる。

初期Distortion基準を一旦確立すると、Distortion基準を満たすように、表示された画像のDistortion特性を生じさせる光源のパワーレベルを使って、ディスプレイタスクの第１部分を表示できる（５３４）。一部の実施例では、各フレームがDistortion条件を満たすように、ビデオシーケンスの各フレームに対し、光源パワーレベルを選択できる。一部の実施例では、一定のDistortionまたはDistortion範囲を維持し、Distortionを指定されたレベルよりも低く維持するか、またはDistortion基準を満たすように光源の値を選択できる。

ディスプレイタスクの第１部分を表示するのに使用されたパワーが、パワーバジェット管理パラメータを満たしたかどうかを判断するために、パワー消費量が評価される（５３６）。各画像、ビデオフレーム、または他のディスプレイタスク要素に対して、固定された量を使用することによってパワーを割り当てることができる。一連のディスプレイタスク要素にわたって消費される平均パワーが条件を満たす。各ディスプレイタスク要素に対して消費されるパワーが変化するようにパワーを割り当てることもできる。その他のパワー割り当て方式も使用できる。

ディスプレイタスクの第１部分に対するパワー消費量がパワーバジェット条件を満たしていなかったと、パワー消費量の評価５３６が示しているとき、Distortion基準を変更できる（５３８）。パワー／Distortion曲線を推定し、仮定し、計算し、または他の方法で決定することができる一部の実施例では、パワーバジェット条件を満たすのに必要な多少のDistortionを認めるように、Distortion基準を変更できる。パワー／Distortion曲線は、画像固有であるが、シーケンスのうちの第１フレームに対する、シーケンス内の画像の一例に対する、またはディスプレイタスクを示す合成された画像に対するパワー／Distortion曲線を使用することができる。

一部の実施例では、ディスプレイタスクの第１部分に対して、予定されたパワー量以上のパワーが使用され、パワー／Distortion曲線の傾きが正であるとき、より少ないDistortionしか認めないように、Distortion基準を変更できる。一部の実施例では、ディスプレイタスクの第１部分に対して、予定されたパワー量以上のパワーが使用され、パワー／Distortion曲線の傾きが負であるとき、より多くのDistortionを認めるように、Distortion基準を変更できる。一部の実施例では、ディスプレイタスクの第１部分に対し、予定されたパワー量より少ないパワーが使用され、パワー／Distortion曲線の傾きが負または正であるとき、より少ないDistortionしか認めないように、Distortion基準を変更できる。

図３７を参照し、本発明の一部の実施例について説明する。これら実施例は一般に、パワーが限られたバッテリー給電デバイスを含む。これらの実施例では、バッテリーの充電度を推定または測定する（５４０）。ディスプレイタスクのパワー条件も推定または計算される（５４２）。初期の光源パワーレベルも推定または決定される（５４４）。上記一定パワー管理に関して説明したようなバッテリーの充電度およびディスプレイタスクのパワー条件を使って、または他の方法によって、この初期光源パワーレベルを決定できる。

初期光源パワーレベルに対応するDistortion基準を決定することもできる（５４６）。この基準は、初期光源パワーレベルにおいて、画像の一例に対して生じたDistortionの値とすることができる。一部の実施例では、Distortionの値は補正されていない画像、実際のＢＰアルゴリズムまたは推定されたＢＰアルゴリズムによって変更された画像、または別の画像の例に基づくことができる。

一旦Distortion基準が決定されると（５４６）、ディスプレイタスクの第１部分が評価され、評価基準を満たすよう、ディスプレイタスクの第１部分のDistortionを生じさせる光源パワーレベルが選択される（５４８）。次に、選択された光源パワーレベルを使ってディスプレイタスクの第１部分が表示され（５５０）、この部分の表示中に消費されるパワーが推定または測定される（５５２）。このパワー消費量がパワー条件を満たさないとき、パワー消費量がパワー条件を満たすようにDistortion基準を変更できる（５５４）。

図３８Ａおよび３８Ｂを参照して本発明の一部の実施例について説明する。これらの実施例では、パワーバジェットを確立し（５６０）、Distortion基準も確立する（５６２）。これら双方は一般に、例えばビデオシーケンスのような特別のディスプレイタスクに関して設定される。次に、画像、例えばフレームまたはビデオシーケンスのフレームの組を選択する（５６４）。次に、低減された光出力レベルから生じるDistortionがDistortion基準を満たすように、低減された光源のパワーレベルを選択された画像に対して推定する（５６６）。このDistortion計算は、推定された、または実際の明るさ保存（ＢＰ）方法の選択された画像に対する画像値への適用を含むことができる。

次に、低減された光源レベルを補償するために、ＢＰ方法５６８により、選択された画像を変更できる。次に、ＢＰで変更された画像の実際のDistortionが測定され（５７０）、この実際のDistortionがDistortion基準５７２を満たしているかどうかの判断がされる。実際のDistortionがDistortion基準を満たしていない場合、推定プロセス５７４を調節し、低減された光源パワーレベルを推定し直す（５６６）。実際のDistortionがDistortion基準を満たしていない場合、選択された画像表示される（５７６）。実際のDistortionがDistortion基準を満たしている場合、選択された画像が表示される（５７６）。次に、画像表示中のパワー消費量が測定され（５７８）、これとパワーバジェット制限５８０とが比較される。パワー消費量がパワーバジェットの制限を満たしている場合、ディスプレイタスクが終了（５８２）していなければ（この終了のポイントでプロセスは終了する）、次の画像、例えばビデオフレームの連続する組が選択される（５８４）。次の画像が選択されると（５８４）、プロセスはポイントＢまでリターンし、ここで低減された光源のパワーレベルがその画像に対して推定され（５６６）、プロセスは第１画像に関して続行される。

選択された画像に対するパワー消費量がパワーバジェット制限を満たしていない場合（５８０）、上記他の実施例に対して説明したように、Distortion基準を変更し（５８６）、次の画像を選択する（５８４）。

改良された黒レベルの実施例
本発明の一部の実施例は、ディスプレイの黒レベルの改良のためのシステムおよび方法を含む。一部の実施例は、指定されたバックライトレベルを使用し、明るさを維持すると共に黒レベルを改良する。輝度マッチングトーンスケールを発生する。別の実施例は、構成中に黒レベルの改良を含むバックライト変調アルゴリズムを含む。上記実施例の拡張または変更として一部の実施例を実施できる。

改良された輝度のマッチング（ターゲットにマッチする理想的なディスプレイ）
上で示した輝度マッチング式、式７を使って、バックライトの低下を補償する画素値のリニアスケーリングを決定する。このことはパワーが７５％まで低下した場合に実験で効果的であることが証明されている。画像に依存するバックライト変調を有する一部の実施例では、ダークフレームに対し、例えば１０％より低くバックライトを大幅に低減できる。これらの実施例では、式７で誘導される画素値のリニアスケーリングは、ダーク値を過剰にブーストできるので適さない。これら方法を使用する実施例は、パワーが低減されたディスプレイでもフルパワー出力を再生できるが、出力を最適にするようには働かないことがある。フルパワーのディスプレイは、高くなった黒レベルを有するので、ダークシーンに対するこのような出力を再生することは、より低いバックライトパワーの設定で可能であった、低減された黒レベルの効果を生じない。これらの実施例では、マッチング基準を変更し、式７で与えられる結果に対する置換式を誘導できる。一部の実施例では、理想的ディスプレイの出力をマッチングする。この理想的ディスプレイは、ゼロ黒レベルと、フルパワーのディスプレイと同じ最大出力、ホワイトレベル＝Ｗとを含むことができる。画素値ｃｖに対するこの理想的（ideal）ディスプレイの一例のレスポンスは、最大出力、すなわちＷ、ディスプレイガンマおよび最大画素値により、式２２で表記できる。

一部の実施例では、ＬＣＤの一例は最大出力Ｗおよびガンマを有することができるが、ゼロでない黒レベルＢを有することはできない。このようなＬＣＤの例は、フルパワー出力に対して上で説明したＧＯＤモデルを使ってモデル化できる。この出力は１００％未満のパワーに対する相対的バックライトパワーでスケールする。式２３に示されるように、フルパワーディスプレイの最大出力Ｗおよび黒レベルＢにより、ゲイン（Gain）およびオフセット（Offset）モデルパラメータを決定できる。

相対的パワーにより、フルパワーの結果をスケーリングすることにより、相対的バックライトパワーＰを有する低減されたパワーのディスプレイの出力を決定できる。

これら実施例では、可能であれば、理想的ディスプレイの出力と実際のディスプレイの出力とが等しくなるように、画素値を変更できる。（理想的出力が、実際の（actual）ディスプレイでの所定のパワーで可能である出力未満であるか、またはそれより大である場合）。

これら実施例はゼロでない黒レベルを有する実際のディスプレイで理想的出力にマッチングさせるための画素値の関係のいくつかの性質を示す。

これら結果は、ディスプレイがゼロの黒レベルを有すると仮定する、すなわちコントラスト比が無限である、別の実施例に対する我々の前の開発例と一致する。

バックライト変調アルゴリズム
これらの実施例では、輝度マッチング理論は、所定のパワーでのディスプレイとゼロ黒レベルを有する基準ディスプレイとをマッチングさせることにより、バックライト変調アルゴリズムを決定するために黒レベルの検討事項を含む。これら実施例は、理想的ディスプレイで表示されるときのDistortionと比較し、パワーＰで表示されるときに画像が有するはずのDistortionを決定するために、輝度マッチング理論を使用する。バックライト変調アルゴリズムは、指定された最大Distortionよりも低いDistortionを結果として生じさせるような最小パワーを選択するために、最大パワー限度と最大Distortion限度とを使用する。

パワーDistortion
一部の実施例において、フルパワーで黒レベルおよび最大の明るさで指定されるターゲットディスプレイおよび表示する画像を与えることによって、所定のパワーＰで画像を表示する際のDistortionを計算できる。限られたパワーディスプレイの明るさよりも大きい値をクリップし、更に理想的な基準の黒レベルよりも低い値をクリップすることにより、理想的基準ディスプレイ上でディスプレイの限られたパワーおよびゼロでない黒レベルをエミュレートできる。画像のDistortionは、元の画像の画素値とクリップされた画素値の間のＭＳＥとして定義できるが、一部の実施例では他のDistortionの尺度も使用できる。

クリッピング補正画像は、式２７で導かれたパワーに依存する画素値クリッピング限度により定義され、式２８で与えられる。

ピクセルドメインにおける理想的なディスプレイ上の画像とパワーＰを有するディスプレイ上の画像との間のDistortionは次のようになる。

このことは、画像の画素値のヒストグラムを使用して計算できることが理解できよう。

式２９に示されるようなこのDistortionの尺度の等価式を誘導するのに、トーンスケール関数の定義を使用できる。

この尺度は、大きい画素値でのクリッピング誤差と、小さい画素値でのクリッピング誤差の重みづけされた合計とを含む。式２９を使って、画像に対するパワー／Distortion曲線を描くことができる。図３９は、種々の画像例に対するパワー／Distortion曲線を示すグラフである。図３９は、白色のベタ画像に対するパワー／Distortionプロット５９０、人のグループの暗い低コントラスト画像に対するパワー／Distortionプロット５９４、黒のベタ画像に対するパワー／Distortionプロット５９２、および波に乗っているサーファーの明るい画像に対するパワー／Distortionプロット５９８を示す。

図３９から分かるように、画像が異なれば、パワーとDistortionの関係が全く異なることがある。極端な場合、ブラックのフレーム５９２は、パワーが１０％まで増加するにつれ、Distortionが急激に多くなり、バックライトパワーゼロでDistortionが最小である。逆に、ホワイトのフレーム５９０は、１００％のパワーでゼロまで急激に低下するまで、Distortionが一定割合で低下し、バックライトゼロで最大のDistortionを有する。明るいサーフィンの画像５９８は、パワーが増加するにつれ、Distortionが定常的に減少することを示している。他の画像５９４は、中間パワーレベルにおいて最小Distortionを示す。

本発明の一部の実施例は、次のように作動するバックライト変調アルゴリズムを含むことができる。
１．画像のヒストグラムを計算する。
２．画像に対するパワーDistortion関数を計算する。
３．Distortion限界より下のDistortionを有する最小パワーを計算する。
４．供給されるパワーの上限および下限に基づき、選択されるパワーを（オプションで）制限する。
５．バックライトに対して計算されたパワーを選択する。

図４０および４１を参照して説明した一部の実施例では、ＢＬ変調アルゴリズムによって選択されたバックライトの値６０４をＢＰアルゴリズムに提供し、トーンスケール設計のために使用する。平均パワー６０２とDistortion６０６が示されている。この実験で使用した平均パワー６００での上部境界も示されている。この上部境界よりも平均パワーの使用量はかなり少ないので、バックライト変調アルゴリズムはこの平均限度に等しい固定されたパワーを単に使用するよりも、少ないパワーを使用している。

スムーズなトーンスケール関数の開発
本発明の一部の実施例では、スムーズなトーンスケール関数は２つの設計概念を有する。第１は、トーンスケールに対するパラメータは与えられるものとし、これらパラメータを満たすスムーズなトーンスケール関数を決定することである。第２は、デザインパラメータを選択するためのアルゴリズムを含むことである。

パラメータを仮定するトーンスケールデザイン
式２６によって定められる画素値の関係は、有効レンジ「ｃｖＭｉｎ、ｃｖＭａｘ］にクリップされるときに、傾きの不連続性を有する。本発明の一部の実施例では、式７におけるブライトエンドで行ったロールオフと同じように、ダークエンドでのスムーズなロールオフを定めることができる。これら実施例は、最大忠実ポイント（ＭＦＰ）および最小忠実ポイント（ＬＦＰ）（これらの間でトーンスケールは式２６に一致する）の双方を仮定する。一部の実施例では、トーンスケールを連続となるように構築し、ＭＦＰとＬＦＰの双方で連続的な１次微分値を有することができる。一部の実施例では、トーンスケールは端部のポイント（ＩｍａｇｅＭｉｎＣＶ、ｃｖＭｉｎ）および（ＩｍａｇｅＭａｘＣＶ、ｃｍＭａｘ）を通過する。一部の実施例では、上端部および下端部の双方において、アフィンブースト（affine boost）から変形できる。更に、固定された限度を使用するのではなく、端部のポイントを決定するために画像の画素値の限度を使用することができる。この構築において、固定された限度を使用することが可能であるが、パワーが大きく低減される場合、問題が生じることがある。一部の実施例では、これら条件は次のように誘導される部分的に２次式のトーンスケールをユニークに定める。

ＬＦＰおよびＭＦＰにおけるトーンスケールの連続性および１次微分から次のことが得られる。

端部ポイントは次のように定数ＡおよびＤを決定する。

一部の実施例では、これら関係式はＭＦＰ／ＬＦＰおよびＩｍａｇｅＭａｘＣＶ／ＩｍａｇｅＭｉｎＣＶが利用できると仮定して、トーンスケールのスムーズな拡張を定める。これは、これらパラメータを選択する必要性をオープンのままとする。別の実施例は、これらデザインパラメータを選択するための方法およびシステムを含む。

パラメータの選択（ＭＦＰ／ＬＦＰ）
上記及び関連する出願において説明した本発明の一部の実施例は、２５５に等しいＩｍａｇｅＭａｘＣＶを有するＭＦＰしか提示しておらず、これらの実施例で導入されたＩｍａｇｅＭａｘＣＶの代わりに、ｃｖＭａｘを使用した。これまで説明した実施例は、理想的なディスプレイではなくフルパワーのディスプレイに基づくマッチングに起因して、下端部でリニアトーンスケールを有していた。一部の実施例では、スムーズなトーンスケールが上限、すなわちＩｍａｇｅＭａｘＣＶで傾きゼロを有するようにＭＦＰを選択した。数学的にはＭＦＰを次のように定義した。

この基準に対する解は、ＭＦＰを上部クリッピングポイントおよび最大画素値に関連付ける。

最も控えめなパワー低減、例えばＰ＝８０％の場合、この従来のＭＦＰ選択基準はうまく機能する。パワー低減率が大きい場合、これらの実施例は前に説明した実施例の結果よりも改善できる。

一部の実施例では、大きいパワー低減率に対して適したＭＦＰ選択基準を選択する。式３５内で値ＩｍａｇｅＭａｘＣＶを直接使用すると問題が生じることがある。パワーが小さい画像では、小さい最大画素値を予測する。画像内の最大画素値、すなわちＩｍａｇｅＭａｘＣＶが小さいとわかっている場合、式３５は、ＭＦＰに対して妥当な値を与えるが、ＩｍａｇｅＭａｘＣＶが未知であるか、または大きい場合には妥当でない、例えば負のＭＦＰの値が生じることがある。一部の実施例では、最大画素値が未知であるか、または過度に大きい場合、ＩｍａｇｅＭａｘＣＶに対して別の値を選択し、上記結果に適用される。

一部の実施例では、ＭＦＰが取り得るクリッピングされた値ｘ_highの最小の分数値を定めるパラメータとしてｋを定義できる。次に、式３５によって計算されるＭＦＰが、次のように妥当であるかどうかを判断するために、ｋを使用できる。

計算されたＭＦＰが妥当でなければ、ＭＦＰを最小の妥当な値に定め、ＩｍａｇｅＭａｘＣＶの必要な値を決定できる（式３７）。次に、下記のようにトーンスケールを決定するために、ＭＦＰおよびＩｍａｇｅＭａｘＣＶの値を使用できる。

一部の実施例のＭＦＰ選択のための手段は次のように要約される。
１．ＩｍａｇｅＭａｘＣＶ（または利用できない場合はＣＶＭａｘ）を使って、候補ＭＦＰを計算する。
２．式３６を使って妥当性をテストする。
３．妥当でない場合、クリッピング画素値の分数値ｋに基づき、ＭＦＰを定義する。
４．式３７を使って新しいＩｍａｇｅＭａｘＣＶを計算する。
５．ＭＦＰ、ＩｍａｇｅＭａｘＣＶおよびパワーを使ってスムーズなトーンスケール関数を計算する。
ＩｍａｇｅＭｉｎＣＶおよびｘｌｏｗを使って、ダークエンドでのＬＦＰを選択するために、同様な技術を使用できる。

図４２から４５には、スムーズトーンスケールデザインアルゴリズムおよび自動パラメータ選択に基づくトーンスケールデザインの例が示されている。図４２および４３は、１１％のバックライトパワーレベルを選択した場合の、トーンスケールデザインの一例を示す。ＭＦＰ６１０とＬＦＰ６１２との間のトーンスケールデザインのリニア部分に対応するライン６１６が示されている。トーンスケールデザイン６１４はＭＦＰ６１０より上で及びＬＦＰ６１２より下でライン６１６から離間するようにカーブしているが、ＬＦＰ６１２とＭＦＰ６１０との間でライン６１６に一致している。図４３は図４２のトーンスケールデザインのダーク領域のズームイン画像である。ＬＦＰ６１２は明瞭に見ることができ、トーンスケールデザインのより下の曲線６２０は、リニア延長部６２２から離間するようにカーブしていることが分かる。

図４４および４５は、バックライトレベルを最大パワーの８９％に選択したトーンスケールデザインの一例を示す。図４４は、トーンスケールデザインのリニア部分に一致するライン６３４を示す。このライン６３４は、理想的なディスプレイの応答を示す。トーンスケールデザイン６３６はＭＦＰ６３０よりも上で、及び、ＬＦＰ６３２の下方において、理想的なリニアディスプレイ表示６３４から離間するようにカーブしている（６３６、６３８）。図４５は、トーンスケールデザイン６４２が理想的なディスプレイ延長部６４４から離間するようにカーブしている、ＬＦＰ６４０よりも下のトーンスケールデザイン６３６のダークエンドのズームイン画像である。

本発明の一部の実施例では、理想的なディスプレイ画像と実際のディスプレイ画像との間で誤差計算を変えることによりDistortion計算を修正できる。一部の実施例では、ＭＳＥを歪んだピクセルの合計と置換できる。一部の実施例では、上部領域のクリッピング誤りと下方領域のクリッピング誤差とで異なる重みづけをすることができる。

本発明の一部の実施例は、周辺光センサを含むことができる。周辺光センサを利用できる場合、周辺照明およびスクリーン反射の効果を含むDistortion計量値を修正するのにセンサを使用できる。このセンサを使って、Distortion計量値、従ってバックライト変調アルゴリズムを変更できる。また、ブラックエンドにおける適切な感知し得るクリッピングポイントを示すことによっても、トーンスケールデザインを制御するために周辺情報を使用できる。

カラー保存の実施例
本発明の一部の実施例は、画像の明るさをエンハンスしながら、カラー特性を保存するためのシステムおよび方法を含む。一部の実施例では、明るさ保存は、フルパワーのベタ全域を低減されたパワーディスプレイのより狭いベタ全域にマッピングすることを含む。一部の実施例では、カラー保存のために異なる方法が使用される。一部の実施例は、輝度ブーストの低減に替えて、カラーの色相／飽和度を保存する。

上記一部の非カラー保存実施例は、各カラーチャンネルで輝度マッチを与えるように操作してマッチングする各カラーチャンネルを別個に処理する。これらの非カラー保存実施例では、高度に飽和したカラーまたはハイライトカラーを処理の進行に従い不飽和にしおよび／または色相の変化にすることができる。カラー保存実施例は、これらのカラーのアーティファクトに取り組んでいるが、一部のケースでは、輝度ブーストを若干低減することがある。

一部のカラー保存実施例は、ローパスチャンネルとハイパスチャンネルを再結合するとき、クリッピング動作も利用できる。各カラーチャンネルを別々にクリッピングすると、再びその結果としてカラーが変化することがある。カラー保存クリッピングを使用する実施例では、色相／飽和を維持するためにクリッピング操作を使用できる。場合によっては、このカラー保存クリッピングは、他の非カラー保存実施例の輝度よりも低くクリッピングされた値の輝度を低減し得る。

図４６を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像６５０を読み出し、指定されたピクセルロケーションに対する異なるカラーチャンネルに対応する画素値を決定する（６５２）。一部の実施例では、入力画像は画像ファイル内に記録された別個のカラーチャンネル情報を有するフォーマットとすることができる。一実施例では、赤、緑および青（ＲＧＢ）カラーチャンネルによってこの画像を記録できる。別の実施例ではシアン、マゼンタ、イエローおよびブラック（ＣＭＹＫ）フォーマット、Ｌａｖ、ＹＵＶまたは別のフォーマットで記録できる。入力画像は別個の輝度チャンネルを含むフォーマット、例えばＬａｖまたは別個の輝度チャンネルを有しないフォーマット、例えばＲＧＢとすることができる。画像ファイルがすぐに利用できる別個のカラーチャンネルデータを有しないとき、カラーチャンネルデータを有するフォーマットに画像ファイルを変換できる。

各カラーチャンネルに対する画素値が一旦決定されると（６５２）、次にカラーチャンネル画素値の間の最大画素値が決定される（６５４）。この最大画素値を使って、画素値調節モデルのパラメータを決定できる（６５６）。この画素値調節モデルは多数の方法で発生できる。一部の実施例では、トーンスケール調節曲線、利得関数または他の調節モデルを使用できる。一実施例では、低減されたバックライトパワー設定に応答し、画像の明るさをエンハンスするトーンスケール調節曲線を使用できる。一部の実施例では、画素値調節モデルは他の実施例に関連してこれまでに説明したトーンスケール調節曲線を含むことができる。次に、カラーチャンネル画素値の各々に、画素値調節曲線を使用できる（６５８）。これらの実施例では、画素値調節曲線を適用する結果、各カラーチャンネルに同じ利得の値が適用される。一旦調節を実行すると、画像内の各ピクセル６６０に対してプロセスが続く。

図４７を参照し、本発明の一部の実施例について説明する。これら実施例では、入力画像を読み出し（６７０）、最初のピクセルロケーションを選択する（６７２）。選択されたピクセルロケーションに対して最初のカラーチャンネルのための画素値を決定し（６７４）、選択されたピクセルロケーションに対して第２のカラーチャンネルのための画素値を決定する（６７６）。次に、これら画素値を分析し、画素値選択基準に基づき、これら画素値のうちの１つを選択する（６７８）。一部の実施例では、最大画素値を選択してもよい。次に、１つのモデルを生成する（６８０）画素値調節モデル生成器のための入力として、この選択された画素値を使用できる。次に、各チャンネルに対して実質的に等しい利得を適用しながら、第１および第２のカラーチャンネル画素値の双方にこのモデルを適用できる（６８２）。一部の実施例では、調節モデルから得られた利得値をすべてのカラーチャンネルに適用できる。画像全体を処理するまで、プロセスは次のピクセルに進められる（６８４）。

図４８を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像をシステムに入力し（６９０）、次に、第１の周波数レンジ画像を作成するために画像をフィルタリングする（６９２）。一部の実施例では、この画像はローパス画像または他の周波数レンジの画像とすることができる。第２の周波数レンジの画像を生成することもできる（６９４）。一部の実施例では、入力画像から第１の周波数レンジの画像を差し引くことにより、第２の周波数レンジの画像を生成してもよい。第１の周波数レンジ画像がローパス（ＬＰ）画像である一部の実施例では、第２の周波数レンジ画像をハイパス（ＨＰ）画像とすることができる。次に、ピクセルロケーションに対し、第１の周波数レンジの画像内の第１のカラーチャンネルに対する画素値を決定し（６９６）、このピクセルロケーションにおいて、第１の周波数レンジの画像内の第２のカラーチャンネルに対する画素値を決定することもできる（６９８）。次に、画素値またはそれらの特性を比較することにより、カラーチャンネル画素値のうちの１つを選択する（７００）。一部の実施例では、最大画素値を選択することができる。次に、選択された画素値を入力として使用し、調節モデルを生成するか、またはこれにアクセスできる（７０２）。この結果、利得乗数が得られるが、この乗数を第１のカラーチャンネル画素値および第２のカラーチャンネル画素値に適用（７０４）できる。

図４９を参照し、本発明の一部の実施例について説明する。これらの実施例では、調節すべきピクセルを識別できるピクセルセレクタ７１２に入力画像７１０が入力される。第１のカラーチャンネル画素値リーダー７１４は、第１カラーチャンネルのための選択されたピクセルに対する画素値を読み出す。第２のカラーチャンネル画素値リーダー７１６もまた、選択されたピクセルロケーションにおける第２のカラーチャンネルに対する画素値を読み出す。これら画素値は、分析モジュール７１８で分析され、このモジュールにて、画素値特性に基づき、画素値のうちの１つを選択する。一部の実施例では最大画素値が選択される。次に、利得値または利得モデルを決定できるモデル生成器７２０またはモデルセレクタにこの選択された画素値は入力される。次に、分析モデル７１８により画素値が選択されたかどうかにかかわらず、双方のカラーチャンネル画素値に対して、この利得値または利得モデルを適用できる（７２２）。一部の実施例では、モデルを適用する際に入力画像にアクセスできる（７２８）。次に、画像内の他のピクセルを繰り返すために、ピクセルセレクタ７１２まで制御を戻す（７２６）。

図５０を参照し、本発明の一部の実施例について説明する。これら実施例では、第１の周波数レンジ画像７３２および第２の周波数レンジ画像７３４を得るために、フィルタ７３０に入力画像７１０を入力する。別個のカラーチャンネル画素値７３６にアクセスできるように、第１周波数レンジ画像を変換することができる。一部の実施例では入力画像は、変換することなくカラーチャンネル画素値にアクセスできる。第１の周波数レンジの第１カラーチャンネル（７３８）に対する画素値を決定し、第１周波数レンジの第２カラーチャンネル（７４０）に対する画素値を決定することができる。

画素値の特性を決定できる画素値特性分析器７４２にこれら画素値は入力される。次に、画素値分析に基づき、画素値のうちの１つを画素値セレクタ７４４が選択できる。この選択は、画素値選択に基づき、利得値または利得マップを発生もしくは選択する調節モデルセレクタまたは生成器７４６へ入力される。次に、調節するピクセルにおいて、双方のカラーチャンネルのための第１周波数レンジ画素値に利得値またはマップを適用（７４８）できる。このプロセスは、第１周波数レンジの画像全体の調節が完了（７５０）するまで、繰り返される。第２周波数レンジの画像７３４にも、利得マップを適用できる（７５３）。一部の実施例では、第２周波数レンジの画像内のすべてのピクセルに一定利得係数を適用できる。一部の実施例では、第１周波数レンジの画像を入力画像７１０のハイパスバージョンとすることができ、調節された第１周波数レンジの画像７５０と調節された第２周波数レンジの画像７５３とを加算するか、または他の方法で組み合わせ（７５４）、調節された出力画像７５６を作成できる。

図５１を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像を多数の周波数レンジの画像に分割するために、フィルタ７６０または他のプロセッサに入力画像７１０を送ることができる。一部の実施例では、フィルタ７６０はローパス（ＬＰ）フィルタと、このＬＰフィルタで作成されたＬＰ画像を入力画像から減算し、ハイパス（ＨＰ）画像を作成するためのプロセッサとを含むことができる。フィルタモジュール７６０は２つ以上の周波数固有の画像７６２、７６４を出力でき、各画像は特定の周波数レンジを有する。第１周波数レンジの画像７６２は、第１カラーチャンネル７６６および第２カラーチャンネル７６８のためのカラーチャンネルデータを有することができる。画素値特性評価器７７０および／または画素値セレクタ７７２に、これらカラーチャンネルのための画素値が送られる。このプロセスの結果、カラーチャンネル画素値のうちの１つが選択される。一部の実施例では、特定のピクセルロケーションに対するカラーチャンネルから最大画素値が選択される。この選択された画素値は調節モード生成器７７４に送ることができ、この発生器は画素値調節モデルを発生する。一部の実施例では、この調節モデルは利得マップまたは利得値を含むことができる。次に、分析中のピクセルのためにカラーチャンネル画素値の各々にこの調節モデルが適用される（７７６）。画像内の各ピクセルに対し、このプロセスを繰り返すことにより、その結果、第１周波数レンジの調節された画像７７８が得られる。

画素値をブーストするように、別個の利得関数７６５によってオプションとして第２周波数レンジの画像７６４を調節してもよい。一部の実施例では、調節を適用しなくてもよい。別の実施例では、第２周波数レンジの画像内のすべての画素値に一定の利得係数を適用できる。この第２周波数レンジの画像を、調節された第１周波数レンジの画像７７８と組み合わせ、調節された、組み合わされた画像７８１を形成できる。

一部の実施例では、第１周波数レンジの画像に対する調節モデルの適用および／または第２周波数レンジの画像に対する利得関数の適用により、一部の画像の画素値がディスプレイデバイスのレンジまたは画像フォーマットを超えることがある。これらのケースでは、画素値を必要なレンジにクリッピングしなければならない。一部の実施例では、カラー保存クリッピングプロセス７８２を使用できる。これらの実施例では、カラー値の間の関係を保存するように、指定された範囲からはずれる画素値はクリッピングされる。一部の実施例では、分析中のピクセルに対する最大カラーチャンネル画素値で除された最大の必要なレンジの値より大きくない乗数を求める。この結果、１未満であって、オーバーサイズの画素値を必要なレンジの最大値に低減する利得係数が得られる。この利得、すなわちクリッピング値をカラーチャンネル画素値のすべてに適用し、すべての画素値を最大値または指定された範囲以下の値に低減しながら、ピクセルのカラーを保存することができる。このようなクリッピングプロセスを適用する結果、指定された範囲内にすべての画素値を有すると共に画素値のカラーの関係を維持する調節された出力画像７８４が得られる。

図５２を参照し、本発明の一部の実施例について説明する。これら実施例では、画素値を指定された範囲に制限しながら、カラーの関係を維持するために、カラー保存クリッピングを使用する。一部の実施例では、図５１を参照して説明した組み合わされた調節画像７８１に、組み合わされた調節画像７９２が対応する。別の実施例では、組み合わされた調節画像７９２は、指定された範囲にクリッピングする必要がある画素値を有する他の任意の画像とすることができる。

これら実施例では、特定されたピクセルロケーションに対し、第１カラーチャンネルの画素値を決定し（７９４）、第２カラーチャンネルの画素値を決定する（７９６）。これらのカラーチャンネルの画素値７９４、７９６を、画素値の特性評価器７９８で評価し、選択すべき（selective）画素値の特性を決定すると共に、カラーチャンネルの画素値を選択する。一部の実施例では、選択すべき標数（characteristic）が最大値となり、より大きい画素値が調節生成器８００のための入力として選択される。この選択された画素値は、クリッピング調節を行う８００ための入力として使用される。一部の実施例では、この調節は最大画素値を指定された範囲内の値に低減する。次に、すべてのカラーチャンネル画素値にこのクリッピング調節が適用される。一実施例では、第１カラーチャンネルおよび第２カラーチャンネルの画素値を同じ率だけ低減し（８０２）、よって２つの画素値の比を保持する。画像内のすべてのピクセルにこのプロセスを適用する結果、指定された範囲内に入る画素値を有する出力画像８０４が得られる。

図５３を参照し、本発明の一部の実施例について説明する。これら実施例では、最大カラーコンポーネントに基づき、３つのすべてのカラーコンポーネントに適用される利得を操作することにより、ＲＧＢドメイン内で方法を実施する。これら実施例では、周波数分割８１２により入力画像８１０を処理する。一実施例では、画像にローパス（ＬＰ）フィルタ８１４を使用し、ＬＰ画像８２０を作成し、次に、このＬＰ画像を入力画像８１０から差し引き、ハイパス（ＨＰ）画像８２６を作成する。一部の実施例では、ＬＰフィルタに空間５×５矩形フィルタを使用できる。ＬＰ画像８２０内の各ピクセルにおいて、最大値または３つのカラーチャンネル（Ｒ、Ｇ＆Ｂ）を選択し（８１６）、これをＬＰ利得マップ８１８に入力する。この利得マップは、その特定のピクセルのためのすべてのカラーチャンネル値に適用すべき適切な利得関数を選択する。一部の実施例では、ｍａｘ（ｒ，ｇ，ｂ）によってインデックスが付けられた１−ＤＬＵＴにより、値［ｒ．ｇ．ｂ］を有するピクセルにおける利得が決定される。ｘで割った値ｘにおける、上記フォトメトリックマッチングトーンスケール曲線の値から値ｘにおける利得を得ることができる。

ＨＰ画像８２６に、利得関数８３４を適用することもできる。一部の実施例では、利得関数８３４を一定の利得ファクターとすることができる。この変更されたＨＰ画像と調節されたＬＰ画像とを組み合わせ（８３０）、出力画像８３２を形成する。一部の実施例では、出力画像８３２は適用範囲外にある画素値を含むことがある。これら実施例では、図５１および５２を参照してこれまで説明したようにクリッピングプロセスを適用できる。

上記本発明の一部の実施例では、最大カラーコンポーネントが、あるパラメータ、例えば最大忠実ポイントよりも低くなっているピクセルに対し、利得がバックライトパワーレベルの低減を補償するように、ＬＰ画像のための画素値調節モデルを設計できる。ローパス利得は、処理されたローパス信号が全域内に留まるように、カラー全域の境界にてスムーズに１にロールオフする。

一部の実施例では、ＨＰ信号の処理を、ローパス信号の処理の選択と独立させることができる。低減されたバックライトパワーを補償する実施例では、パワーを低減する際にコントラストを保存する一定の利得を用いてＨＰ信号を処理できる。フルバックライトパワーおよび低減されたバックライトパワー、およびディスプレイガンマによる関するＨＰ信号利得の式は式５で与えられる。これら実施例では、利得は一般に小さく、すなわち利得は８０％のパワー低減およびガンマ２．２に対して１．１であるので、ＨＰのコントラストのブーストはノイズに対して強い。

一部の実施例では、ＬＰ信号とＨＰ信号の処理の結果を合計し、クリッピングする。最大のコンポーネントが２５５にスケーリングされるように３つの成分すべてを等しくスケーリングすることによって、各ピクセルにおけるＲＧＢサンプルのベクトル全体にクリッピングを適用することができる。実施し、ＬＰ値に加算されるブーストされたＨＰ値が２５５を超えるときにクリッピングが発生し、このクリッピングは特にコントラストだけが大きい明るい信号に関連する。一般に、ＬＵＴ構造によりＬＰ信号が上限を超えないように保証される。ＨＰ信号は合計値においてクリッピングを生じさせるが、ＨＰ信号の負の値は決してクリッピングを生じさせないので、クリッピングが生じても、ある程度のコントラストを維持できる。

本発明の実施例は、画像の明るさを最適にするように試みることができるか、または明るさを増加しながら、カラー保存またはマッチングを最適にすることを試みることができる。一般にルミナンス（輝度）またはブライトネス（明るさ）を最大にする際に、カラーシフトのトレードオフがある。カラーシフトを防止するとき、一般に明るさに問題が生じる。本発明の一部の実施例は、下記の式３８に示されるように、各カラーコンポーネントに適用される重み付けされた利得を形成することにより、カラーシフトと明るさとの間のトレードオフをバランスさせることを試みる。

この重み付けされた利得はアルファ０における最大輝度マッチから、アルファ１における最小カラーアーティファクトまで変化する。すべての画素値がＭＦＰパラメータを下回るとき、３つのすべての利得が等しくなることに留意されたい。

ディスプレイ−モデルに基づく、Distortionに関連した実施例
バックライトのスケーリングなる用語は、ＬＣＤバックライトを低減すると共に、同時にＬＣＤへ送られるデータを変更し、バックライトの低減を補償するための技術を意味する。この技術の主点は、バックライトレベルを選択することである。本発明の実施例は、省電力またはダイナミックコントラストを改善するために、バックライト変調を使用してＬＣＤ内のバックライト照明レベルを選択する。この問題を解決するのに使用される方法は、画像に依存した技術と、画像に依存しない技術とに分けることができる。画像に依存した技術は、その後のバックライト補償画像処理によって課されるクリッピング量を制限するという目的を有する。

本発明の一部の実施例は、バックライトレベルを選択するための最適化を使用できる。１つの画像を仮定した場合、最適化ルーチンは、仮想の基準ディスプレイに生じる画像と実際のディスプレイに生じる画像との間のDistortionを最小にするように、バックライトレベルを選択することである。

本発明の実施例の要素を説明するのに次の用語を使用できる。
１．基準ディスプレイモデル：基準ディスプレイモデルは、ＬＣＤのようなディスプレイからの所望する出力を意味する。一部の実施例では、基準ディスプレイモデルはゼロ黒レベルを有する理想的ディスプレイ、またはダイナミックレンジが限られていないディスプレイにのっとるものとする。
２．実際のディスプレイモデル：実際のディスプレイの出力のモデルである。一部の実施例では、異なるバックライトレベルに対して、実際のディスプレイの出力がモデル化され、実際のディスプレイではゼロでない黒レベルを有するものとしてモデル化される。一部の実施例では、バックライト選択アルゴリズムはこのパラメータを通してディスプレイのコントラスト比に依存する。

３．明るさ保存（ＢＰ）：低減されたバックライトレベルを補償するための元画像への処理である。実際のディスプレイ上に現れるであろう画像は、明るくされた画像上の所定のバックライトレベルにおけるディスプレイモデルの出力であり、次のようなケースがある。
・明るさ保存なし：ＬＣＤパネルに、処理されていない画像データを送る。この場合、バックライト選択アルゴリズムはバックライトのみ変えるため、明るさは保存されない。
・リニアブースト明るさ補償。バックライトの低減を補償するために、簡単なアフィン変換を使用して画像を処理する。この簡単な明るさ保存アルゴリズムは、バックライト補償に実際に使用される場合、画質を犠牲にするが、このアルゴリズムはバックライト値を選択するための有効なツールである。
・トーンスケールマッピング：リニアセグメントと非リニアセグメントを含むトーンスケールマップを使用して画像を処理する。クリッピングを制限し、コントラストをエンハンスするためにこれらセグメントが使用される。

４．Distortion計量値。実際のディスプレイに現れるであろう画像を決定するのに、ディスプレイモデルと明るさ保存アルゴリズムとを使用できる。この出力と基準ディスプレイ上の画像との間のDistortionが次に計算される。一部の実施例では、画素値だけに基づいてDistortionを計算できる。このDistortionは誤差計量値の選択に依存し、一部の実施例では、平均二乗誤差を使用できる。
５．最適化基準。異なる制限を受けることにより、Distortionを最小にできる。例えば一部の実施例では、次の基準を使用できる。
・ビデオシーケンスの各フレームでのDistortionを最小にする。
・平均バックライト制限を受けた最大Distortionを最小にする。
・平均バックライト制限を受けた平均Distortionを最小にする。

ディスプレイモデル：
本発明の一部の実施例では、基準ディスプレイモデルと実際のディスプレイモデルの双方に対し、ＧｏＧモデルを使用できる。このモデルは、バックライトレベルに基づいてスケーリングするように変更できる。一部の実施例では、ゼロ黒レベルおよび最大出力Ｗを有する理想ディスプレイとして基準ディスプレイをモデル化できる。実際のディスプレイはフルバックライトで同じ最大出力Ｗを有し、フルバックライトで黒レベルＢを有するものとして実際のディスプレイをモデル化できる。このときコントラスト比はＷ／Ｂである。黒レベルがゼロのとき、このコントラスト比は無限大である。下記の式で最大画素値を示すＣＶ_Maxを使ってこれらモデルを数学的に表示できる。

フルバックライトレベル、すなわちＰ＝１で最大の出力Ｗおよび最小の出力Ｂを有する実際のＬＣＤに対し、相対的バックライトレベルＰでスケーリングするように出力をモデル化する。コントラスト比ＣＲ＝Ｗ／Ｂは、バックライトレベルに無関係である。

明るさの保存
この実施例では、単純なブーストおよびクリッピングに基づくＢＰプロセスを使用し、可能な場合にバックライトの低減を補償するためにブーストを選択する。次の誘導式は所定のバックライトで基準ディスプレイと実際のディスプレイとの間で輝度を一致させるトーンスケール変更を示す。実際のディスプレイの最大出力と黒レベルの双方は、バックライトにより徐々に増大する。実際のディスプレイの出力は、スケーリングされた出力の最大値より低く、スケーリングされた黒レベルよりも上となるように限定されていることに注目する。このことは、ゼロおよびＣＶ_Maxに輝度マッチングトーンスケール出力をクリッピングすることに対応する。

ｃｖ’に対するクリッピングの制限は、輝度マッチングのレンジに対するクリッピング限度を意味する。

最小値および最大値が相対的バックライトパワーＰおよび実際のディスプレイのコントラスト比ＣＲ＝Ｗ／Ｂに依存する場合に、トーンスケールは最小値より上であって、かつ最大値より下の画素値に対して出力を一致させる。

Distortion計算
図５４を参照し、本発明の実施例で作成され、使用される種々の変更された画像について説明する。これら変更された画像例の各々を作成する際の入力として、元の画像Ｉ８４０を使用できる。一部の実施例では、理想的な出力Ｙ_Ideal８４４を生じるように、元の入力画像８４０を処理する（８４２）。この理想的画像プロセッサ、すなわち基準ディスプレイ８４２は、理想的ディスプレイが０黒レベルを有すると見なすことができる。この出力、すなわちＹ_Ideal８４４は、基準（理想）ディスプレイで見た元の画像８４０を示す。一部の実施例では、バックライトレベルが与えられたと仮定して、実際のＬＣＤ上で、このバックライトレベルを有する画像を示すことによって生じるDistortionを計算する。

一部の実施例では、画像Ｉ８４０から画像Ｉ’８５０を発生するのに、明るさ保存８４６を使用できる。次に、この画像Ｉ’８５０は、選択されたバックライトレベルと共に実際のＬＣＤプロセッサ８５４へ送られる。この結果生じる出力を、Ｙａｃｔｕａｌと表示する。

基準ディスプレイモデルは入力画像Ｉ＊８５２を使用することにより、実際のディスプレイの出力をエミュレートできる。

実際のＬＣＤ８５４の出力は、画像Ｉ’８５０を得るために元の画像Ｉ８４０を輝度マッチングトーンスケール関数８４６を通過した結果得られる。これはバックライトレベルに依存する基準出力を正確には再現できない。しかしながら、基準ディスプレイ８４２上で実際のディスプレイ出力をエミュレートできる。画像Ｉ＊８５２は、実際のディスプレイ出力をエミュレートするために、基準ディスプレイ８４２へ送られそれによってＹｅｍｕｌａｔｅｄ８６０を作成する画像データを示す。式４３を参照してこれまで説明し、他の場所でも説明したクリッピングポイントによって決定される範囲に対して、画像Ｉ８４０をクリッピングすることにより、画像Ｉ＊８５２を発生する。一部の実施例では、Ｉ^＊を数学的に次のように表示できる。

一部の実施例では、画像Ｉを有する基準ディスプレイの出力と、バックライトレベルＰおよび画像Ｉ’を有する実際のディスプレイの出力との差として、Distortionを定めることができる。画像Ｉ^＊は基準ディスプレイ上での実際のディスプレイの出力をエミュレートするので、基準ディスプレイと実際のディスプレイとの間のDistortionは、基準ディスプレイにおける画像ＩとＩ^＊との間のDistortionに等しくなる。

双方の画像は基準ディスプレイ上にあるので、ディスプレイの出力を必要としない画像データだけの間でDistortionを測定できる。

画像Distortionの測定
上記分析は、基準ディスプレイでの画像Ｉ８４０の表示と実際のディスプレイでの表示との間のDistortionが、基準ディスプレイでの画像Ｉ８４０の表示とＩ＊８５２の表示との間のDistortionに等しいことを示している。一部の実施例では、画像の間のDistortionを定めるのに、点別のDistortion計量値を使用できる。点別のDistortionｄを仮定すると、画像ＩとＩ^＊との間の差を合計することにより、画像間のDistortionを計算できる。画像Ｉ＊は、輝度マッチをエミュレートするので、誤差は上限と下限におけるクリッピングから成る。一部の実施例では、バックライトパワーに対する画像のDistortionを定めるのに、正規化された画像ヒストグラムｈ（ｘ）を使用できる。

バックライトとDistortionの関係の曲線
基準ディスプレイ、実際のディスプレイ、Distortionの定義および画像を仮定して、バックライトレベルのある範囲でDistortionを計算できる。このDistortionデータを組み合わせると、バックライトとDistortionとの関係を示す曲線が描かれる。暗い小部屋から外を撮った暗いサンプル画像およびゼロ黒レベルを有する理想的ディスプレイモデル、コントラスト比が１０００：１の実際のＬＣＤモデル、および平均二乗誤差ＭＳＥ誤差計量値を使ってバックライトとDistortionの関係を示す曲線を表示できる。図５５は、この画像例に対する画像の画素値のヒストグラムのグラフである。

一部の実施例では、ヒストグラムを使用し、ある範囲のバックライト値に対するDistortionを計算することにより、Distortion曲線を算出できる。図５６は、図５５のヒストグラムに対応するDistortion曲線の一例のグラフである。この画像例では、低バックライト値において明るさ保存は低減されたバックライトを効果的に補償できないので、その結果、Distortionが劇的に増加する（８８０）。高いバックライトレベルでは、限られたコントラスト比によって黒レベルは理想的ディスプレイと比較して上昇する（８８２）。最小のDistortion範囲が存在し、一部の実施例では、最小Distortionアルゴリズムにより、この最小のDistortion８８４を与える最低のバックライトの値が選択される。

最適化アルゴリズム
一部の実施例では、図５６に示されているようなDistortion曲線を用いて、バックライト値を選択できる。一部の実施例では、各フレームに対する最小Distortionパワーが選択される。一部の実施例では、最低Distortion値がただ１つだけでないとき、この最小Distortionを与える最小パワー８８４を選択できる。図５７には、簡単なＤＶＤのクリップに、この最適化基準を適用した結果が示されており、この図５７は、ビデオフレームの数に対する選択されたバックライトのパワーを作図したものである。この場合、選択された平均バックライト８９０は、ほぼ５０％である。

画像依存性
本発明の一部の実施例の画像の依存性を説明するために、コンテンツが変化するテスト画像例を選択し、ある範囲のバックライト値に対して、これら画像におけるDistortionを計算した。図３９は、これらの画像例に対するバックライト対Distortion曲線である。図３９は、全黒画像である画像Ａ５９２、全白画像である画像Ｂ５９０、人のグループの暗い写真である画像Ｃ５９４および波の上のサーファーの明るい画像である画像Ｄ５９８のグラフを含む。

曲線の形状は画像のコンテンツに大きく依存することに留意されたい。このことは、バックライトレベルが明るさがなくなることに起因するDistortionと黒レベルが高くなることに起因するDistortionをバランスさせることを予想させるものである。全黒画像５９２は、低いバックライトで最小Distortionを有し、全白画像５９０はフルバックライトで最小Distortionを有し、暗い画像５９４は、高い黒レベルと明るさの低減との間の効率的なバランスとして、一定のコントラスト比を使用する中間バックライトレベルで最小Distortionを有する。

コントラスト比
実際のディスプレイの定義にディスプレイのコントラスト比を入れることができる。図５８は、実際のディスプレイの異なるコントラスト比に対する最小ＭＳＥDistortionバックライトを示す。１：１のコントラスト比の９００において、最小Distortionバックライトは、画像平均信号レベル（ＡＳＬ）に依存する。これとは逆に無限大のコントラスト比（ゼロ黒レベル）では、最小Distortionバックライトは画像の最大値９０２に依存する。

本発明の一部の実施例では、基準ディスプレイモデルは理想的なゼロ黒レベルを有するディスプレイモデルを含むことができる。一部の実施例では、基準ディスプレイモデルは、明るさモデルによって選択された基準ディスプレイを含むことができ、一部の実施例では、基準ディスプレイモデルは周辺光センサを含むことができる。

本発明の一部の実施例では、実際のディスプレイモデルは有限黒レベルを有する透過型ＧｏＧモデルを含む。一部の実施例では、実際のディスプレイモデルは出力が周辺光およびディスプレイの反射部分の双方に依存するようにモデル化される透過反射型ディスプレイに対するモデルを含む。

本発明の一部の実施例では、バックライト選択プロセスにおける明るさ保存（ＢＰ）は、クリッピングを伴うリニアブーストを含む。別の実施例では、バックライト選択プロセスはスムーズなロールオフを有するトーンスケール演算子および／または２チャンネルＢＰアルゴリズムを含む。

本発明の一部の実施例では、Distortion値は点ごとに計算された画素値の平均二乗誤差（ＭＳＥ）を含む。一部の実施例では、Distortion値は絶対値の差の合計、クリッピングされたピクセルの数および／またはヒストグラムに基づくパーセント値を含む点ごとの誤差値を含む。

本発明の一部の実施例では、最適化基準は、各フレーム内のDistortionを最小にするバックライトレベルの選択を含む。一部の実施例では、最適化基準は、最大Distortionを最小にするか、または平均Distortionを最小にする平均パワー制限値を含む。

ＬＣＤのダイナミックコントラストの実施例
液晶ディスプレイ（ＬＣＤ）は、一般にコントラスト比が限られているという問題がある。例えばバックライトの漏れまたは他の問題により、ディスプレイの黒レベルが高くなることがある。これによって黒領域が黒ではなくグレーに見えることがある。バックライトの変調は、バックライトレベルおよびバックライトの光漏れを減らし、よって黒レベルを低減することにより、この問題を緩和する。しかしながら、この技術は補償を行うことなく用いた場合、ディスプレイの明るさを下げるという望ましくない効果を生じさせる。画像の補償を使って、バックライトを暗くすることに起因して失われたディスプレイの明るさを回復することができる。補償は、一般にフルパワーディスプレイの明るさの回復に限定されている。

上記本発明の一部の実施例は、省電力に焦点を合わせたバックライトの変調を含む。これら実施例では、目標は、より低いバックライトレベルでフルパワー出力を再現することである。このことは、バックライトを暗くすると同時に、画像を明るくすることによって達成できる。黒レベルまたはダイナミックコントラストの改善は、これら実施例における好ましい副次的効果である。これら実施例では、目標は、画質を改善することにある。一部の実施例の結果、次のような画質の改善が得られる。
１．バックライトの低減に起因し、黒レベルが下がること。
２．バックライトを低減することによって生じる漏れが少なくなることに起因し、暗い色の飽和が改善されること。
３．バックライトの低減よりも強力な補償を使用する場合、明るさが改善されること。
４．ダイナミックコントラスト、すなわち明るいフレーム内の最大値割暗いフレーム内の最小値,が改善されること。
５．暗いフレーム内のコントラストが改善されること。

本発明の一部の実施例は、２つの必須技術、すなわちバックライトの選択および画像の補償により、これら利点の１つ以上を達成する。１つの難関は、バックライトおよび補償された画像の双方の明るさが変化するときの、ビデオ内のフリッカーアーティファクトを回避することである。本発明の一部の実施例は、フリッカーの生じる可能性を少なくするために、ターゲットトーン曲線を使用する。一部の実施例では、このターゲットトーン曲線は、（バックライトが固定された）パネルのコントラスト比を超えるコントラスト比を有する。ターゲットトーン曲線は２つの目的に役立つ。第１に、バックライトを選択する際にターゲット曲線を使用できる。第２に、画像の補償を決定するのにターゲット曲線を使用できる。ターゲット曲線は上記画質の特徴に影響を与える。フルバックライトの明るさにおけるピークディスプレイ値から最低バックライトの明るさにおける最小ディスプレイ値まで、ターゲット曲線は延びる。したがって、このターゲット曲線は、フルバックライトの明るさで達成される代表的なディスプレイ値の範囲よりも下に延びる。

一部の実施例では、バックライトの輝度または明るさレベルの選択は、元々のパネルコントラスト比に対応するターゲット曲線のインターバルの選択に対応する。バックライトが変化するにつれ、このインターバルは移動する。フルバックライトにおいて、パネルではターゲット曲線の暗い領域を表示できない。低いバックライトでは、パネルにターゲット曲線の明るい領域を表示できない。一部の実施例では、バックライトを決定するためにパネルトーン曲線、ターゲットトーン曲線およびディスプレイする画像が与えられる。選択されたバックライトを有するパネルのコントラストの範囲がターゲットトーン曲線の画像値の範囲の最もよく近似するよう、バックライトレベルを選択できる。

一部の実施例では、ディスプレイの出力ができるだけターゲット曲線上に来るように、画像を変更または補償する。バックライトが過度に高い場合、ターゲット曲線の暗い領域を達成することはできない。同様に、バックライトが低い場合、ターゲット曲線の明るい領域を達成することはできない。一部の実施例では、補償に対して固定されたターゲットを使用することにより、フリッカーを最小にできる。これら実施例では、バックライトの明るさと画像の補償の双方が変化するが、ディスプレイの出力は固定されているターゲットトーン曲線に近似する。

一部の実施例では、ターゲットトーン曲線は上記画像の改善点のうちの１つ以上を要約したものである。このターゲットトーン曲線により、バックライト選択と画像補償の双方を制御できる。画像を最適に表示するためにバックライトの明るさ選択が実行される。一部の実施例では、指定されたターゲットトーン曲線およびパネルトーン曲線といっしょに、上記Distortionに基づくバックライト選択アルゴリズムが適用される。

一部の実施例では、式４９で示されるように、トーン曲線に対してGain-Offset-Gamma Flare（ＧＯＧＦ）モデルが使用される。一部の実施例では、ガンマに対して２．２,
オフセットに対し０を使用でき、２つのパラメータ、GainとFlareは無視できる。これら２つのパラメータにより、パネルトーン曲線とターゲットトーン曲線の双方を指定できる。一部の実施例では、Gainは最大の明るさを決定し、コントラスト比は加算Flareを決定する。

ここで、ＣＲはディスプレイのコントラスト比であり、Ｍは最大パネル出力であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。

ダイナミックコントラストの改善を達成するために、ターゲットトーン曲線はパネルトーン曲線と異なる。最も簡単なアプリケーションでは、ターゲットのコントラスト比、すなわちＣＲは、パネルのコントラスト比よりも大きい。次の式４９に、パネルトーン曲線の一例を示す。

次の式５０にターゲットトーン曲線の一例を示す。

ここで、ＣＲはターゲットのコントラスト比であり、Ｍは最大ターゲット出力（例えばフルバックライトの明るさにおける最大パネル出力）であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。

図６０を参照し、トーン曲線の特徴について説明する。図５９は、水平軸に画素値を示し、垂直軸に相対的輝度を示した対数−対数グラフである。ここには３つのトーン曲線、すなわちパネルトーン曲線１０００と、ターゲットトーン曲線１００１と、指数法則曲線１００２とが示されている。パネルトーン曲線１０００はパネルの黒１００３から最大パネル値１００５まで延び、ターゲットトーン曲線はターゲットの黒１００４から最大ターゲット／パネル値１００５まで延びる。ターゲットの黒１００４は、より低いバックライトの明るさで利益が得られるので、パネルの黒１００３より下になっている。しかしながら、バックライトは所定のフレームに対し１つの明るさレベルしか有することができないので、ターゲットトーン曲線のフルレンジを利用できず、従って、より低いターゲットの黒１００４を得るためにバックライトの明るさを低減するときには、最大ターゲット／パネル値１００５を得ることはできない。本発明の実施例は、ディスプレイされる画像および所望する性能目標に対して最も適したターゲットトーン曲線の範囲を選択する。

異なる優先度を得るために種々のターゲットトーン曲線を発生できる。例えば、省電力が主目的である場合、ターゲット曲線に対するＭおよびＣＲの値をパネルトーン曲線内の対応する値に等しくなるように設定できる。この省電力実施例では、ターゲットトーン曲線はネイティブなパネルトーン曲線に等しい。電力を節約するためにバックライト変調を使用するが、低いバックライト設定では得られない明るい範囲を除けば、ディスプレイされる画像がフルパワーのディスプレイでの画像と実質的に同じとなる。

図６０には、省電力トーン曲線の一例が示されている。これら実施例では、パネルトーン曲線とターゲットトーン曲線とは同一である（１０１０）。バックライトの明るさを低減し、より低いターゲット曲線１０１１を得ることができるが、この可能性はこれら実施例では使用されない。その代わりに、パネルトーン曲線１０１０にマッチングさせるために画素値の補償により画像の明るさを高められる。省電力のためのバックライトの低減１０１３に起因するパネルの限界点においてこのことが可能でないときは、クッリピングアーティファクトを回避するために補償を丸めることができる（１０１２）。この丸めは、他の実施例に関連してこれまで説明した方法に従って達成できる。一部の実施例では、クリッピングは許容されるか、または画像におけるダイナミックレンジが限られていることに起因し、クリッピングは発生しない。これら実施例では、丸め１０１２が必要でない場合があり、ターゲットトーン曲線は単にレンジの頂部１０１４でパネルトーン曲線に近隣する。

別の実施例において、より低い黒レベルが主な目標であるとき、ターゲット曲線に対するＭの値をパネルトーン曲線内の対応する値に等しく設定されるが、ターゲット曲線のＣＲの値はパネルトーン曲線内の対応する値の４倍に等しく設定される。これら実施例では、黒レベルを下げるようにターゲットトーン曲線を選択する。ディスプレイの明るさはフルパワーディスプレイに対して変更されない。ターゲットトーン曲線はパネルと同じ最大値Ｍを有するが、コントラスト比がより高くなる。上記の例では、コントラスト比がネイティブなパネルのコントラスト比の４倍である。これとは異なり、ターゲットトーン曲線は、そのレンジの頂部で丸め曲線を含む。多分、バックライトを４：１の割合で変調できる。

図６１を参照し、黒レベルの低減を優先的にする一部の実施例について説明する。これら実施例では、例えば式４９を使って上記のようにパネルトーン曲線１０２０を計算する。低減されたバックライトの明るさレベルおよびより高いコントラスト比に対しても、ターゲットトーン曲線１０２１を計算する。このレンジの頂部では、ターゲットトーン曲線１０２４はパネルトーン曲線に沿って延びる。これとは異なり、ターゲットトーン曲線は低減されたバックライトレベルに対するディスプレイ限界１０２２の近くで、クリッピングを低減する丸め曲線１０２３を利用できる。

別の実施例では、より明るい画像が主な目的であるとき、ターゲット曲線のためのＭの値をパネルトーン曲線内の対応する値の１．２倍に等しく設定されるが、ターゲットトーン曲線のＣＲの値をパネルトーン曲線内の対応する値に等しく設定される。同じコントラスト比を維持して明るさを高めるように、ターゲットトーン曲線を選択する。（黒レベルは上昇することに留意されたい。）ターゲットの最大値Ｍはパネルの最大値よりも大きい。この明るさ設定を達成するために画像を明るくするように、画像補償を使用する。

図６２を参照し、画像の明るさを優先する一部の実施例について説明する。これら実施例では、レンジの底部１０３０の近くでは、パネルトーン曲線とターゲットトーン曲線とはほぼ同様である。しかしながら、これら領域よりも上では、パネルトーン曲線１０３２は最大ディスプレイ出力１０３３まで、標準経路を取る。しかしながらターゲットトーン曲線は、この領域内でより明るい画素値を与える、高くなった経路１０３１を取る。レンジの頂部に向って、ターゲット曲線１０３１は丸め曲線１０３５を構成し、この丸め曲線１０３５は、バックライトレベルが低減されることに起因して、ディスプレイがターゲット曲線に追従することができなくなるポイント１０３３までターゲット曲線を丸める。

別の実施例において、黒レベルがより低く、中間レンジがより明るいエンハンスされた画像が主な目標であるとき、ターゲット曲線のためのＭの値はパネルトーン曲線内の対応する値の１．２倍に等しく設定され、ターゲット曲線のためのＣＲの値はパネルトーン曲線内の対応する値の４倍に等しく設定される。明るさを高め、黒レベルを下げるよう、ターゲット曲線を選択する。このターゲット最大値はパネルの最大値Ｍよりも大きく、コントラスト比もパネルのコントラスト比より大きい。このターゲットトーン曲線はバックライト選択および画像補償の双方に影響する。ターゲットの低減された黒レベルを達成するために暗いフレーム内でバックライトを低減する。高められた明るさを得るためにフルバックライトでも画像補償が使用される。

図６３を参照し、画像の明るさおよび低い黒レベルを優先する一部の実施例について説明する。これら実施例では、例えば式４９を使って上記のようにパネルトーン曲線１０４０を計算する。ターゲットトーン曲線１０４１も計算されるが、このターゲットトーン曲線１０４１は、低減されたバックライトレベルを考慮し、より低い黒１０４５で開始される。ターゲットトーン曲線１０４１は、トーンスケールの中間レンジおよび上部レンジで画素値を明るくするために高くなった経路に従うこともできる。バックライトレベルが低減されたディスプレイは、最大ターゲット値１０４２にも、または最大パネル値１０４３にも達することができないので、丸め曲線１０４４が使用される。この丸め曲線１０４４は、バックライト低減パネルの最大値１０４６でターゲットトーン曲線１０４１を終端させることができる。丸め曲線の特性を決定するのに、上記他の実施例に関連して説明した種々の方法を使用できる。

図６４を参照し、本発明の一部の実施例について説明する。これらの実施例では、複数のターゲットトーン曲線を計算し、画像特性、性能目標またはその他の基準に基づき、計算された曲線の組から選択を行うことができる。これらの実施例では、高い黒レベル１１２０を有するフルバックライトの明るさの状況に対し、パネルトーン曲線１１２７を生成できる。ターゲットトーン曲線１１２８および１１２９も生成できる。これらターゲットトーン曲線１１２８および１１２９は、黒レベルの移行領域１１２２を備え、その領域において曲線は黒レベルポイント、１１２１に移行する。これら曲線は、ターゲットトーン曲線のいずれかからの入力ポイントが同じ出力ポイントにマッピングされる共通領域も含む。一部の実施例では、これらターゲットトーン曲線は明るさ丸め曲線１１２６も備え、曲線は、他の実施例に対してこれまで説明したような最大明るさレベル１１２５まで丸められる。画像特性に基づき、ターゲットトーン曲線のこの組から、１つの曲線を選択できる。例えば、限定するわけではないが、より低い黒レベルから多くの極めて暗いピクセルを有する画像は、利益を得ることができ、この画像に対し、暗いバックライトおよびより低い黒レベルを有する曲線１１２８を選択できる。多くの明るいピクセル値を有する画像は、より高い最大の明るさ１１２４を有する曲線１１２７の選択に影響を及ぼす。ビデオシーケンスの各フレームは異なるターゲットトーン曲線の選択に影響を及ぼす。管理されない場合、異なるトーン曲線を使用することは、シーケンスにおいてフリッカーおよび望ましくないアーティファクトの原因となる。しかしながら、これらの実施例のすべてのターゲットトーン曲線が共用する共通領域１１２３は、時間的な効果を安定化するよう働き、フリッカーおよび同様なアーティファクトを低減する。

図６５を参照し、本発明の一部の実施例について説明する。これらの実施例では、ターゲットトーン曲線１１０５のようなターゲットトーン曲線の一組を生成する。これらターゲットトーン曲線は異なる黒レベルの移行領域１１０２を含み、これら移行領域は異なるバックライトの明るさレベルに対応する。このターゲットトーン曲線の集合は、すべてエンハンスされた共通領域１１０１を含む。一部の実施例では、これら曲線は共通領域から最大明るさレベルまで移行する明るさ丸め曲線１１０３も含む。エンハンスされたターゲットトーン曲線１１０９では、曲線は黒レベルポイント１１０５でスタートし、エンハンスされた共通領域１１０１まで移行し、次に曲線はエンハンスされた共通領域から、丸められた曲線で最大明るさレベル１１０６まで移行する。一部の実施例では、明るさ丸め曲線は存在しないことがある。これらの実施例は、共通領域がパネルトーン曲線よりも上にあるという点で、図６５を参照して説明した実施例と異なっている。このことは、入力ピクセル値をより高い出力値にマッピングし、表示される画像を明るくする。一部の実施例では、画像シーケンスのフレームに対し、エンハンスされたターゲットトーン曲線のセットを生成し、選択的に使用する。これら実施例は、フリッカーおよび同様なアーティファクトを低減するように働く共通領域を共用する。一部の実施例では、ターゲットトーン曲線のセットおよびエンハンスされたターゲットトーン曲線のセットを計算し、画像特性および／または性能目標に基づき、選択的に使用できるように格納する。

図６６を参照し、本発明の一部の実施例について説明する。図６６の方法では、ターゲットトーン曲線パラメータを決定する（１０５０）。一部の実施例では、これらパラメータは最大ターゲットパネル出力、ターゲットコントラスト比、および／またはターゲットパネルガンマ値を含む。性能目標を達成するために、画像を調節または補償するのに使用できるターゲットトーン曲線を定めるのに、他のパラメータも使用できる。

これら実施例では、パネルトーン曲線１０５１も計算される。代表的なパネル出力とターゲットトーン曲線との間の差を示すために、パネルトーン曲線が示されている。パネルトーン曲線１０５１はディスプレイに対して使用されるディスプレイパネルの特性に関係しており、基準画像（この基準画像から誤差またはDistortion測定を行うことができる）を作成するために、パネルトーン曲線を使用できる。この曲線１０５１は、所定のディスプレイに対する最大パネル出力Ｍおよびパネルコントラスト比ＣＲに基づき計算できる。一部の実施例では、この曲線は最大パネル出力Ｍ、パネルコントラスト比ＣＲ、パネルガンマ値γおよび画素値Ｃに基づく。

１つ以上のターゲットトーン曲線（ＴＴＣ）を計算できる（１０５２）。一部の実施例では、ＴＴＣのセットが計算され、各TTCは異なるバックライトレベルに基づく。別の実施例では、別のパラメータを変えることができる。一部の実施例では、最大ターゲット出力Ｍおよびターゲットコントラスト比ＣＲを使ってターゲットトーン曲線を計算できる。一部の実施例では、このターゲットトーン曲線は最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ値γおよび画素値Ｃに基づくことができる。一部の実施例では、ターゲットトーン曲線は画像にとっての望ましい変更を示す。例えばターゲットトーン曲線はより低い黒レベル、より明るい画像領域、補償された領域および／または丸め曲線のうちの１つ以上を示すことができる。ターゲットトーン曲線はルックアップテーブル（ＬＵＴ）として表示でき、ハードウェアまたはソフトウェアによって計算でき、または他の手段によって示される。

バックライトの明るさレベルを決定できる（１０５３）。一部の実施例では、性能目標、例えば省電力、黒レベル基準または他の目標が、バックライトレベル選択に影響を及ぼす。一部の実施例では、処理またはエンハンスされた画像と仮想的基準ディスプレイにディスプレイされる元の画像との間のDistortion又は誤差を最小にするように、バックライトレベルを決定できる。画像の値が極めて暗いとき、画像表示に対してはより低いバックライトレベルが最も適す。画像値が極めて明るいとき、画像表示にはより高いバックライトレベルが最適な選択となる。一部の実施例では、パネルトーン曲線により処理される画像と、種々のＴＴＣで処理された画像とを比較して、適切なＴＴＣおよび対応するバックライトレベルを決定する。

本発明の一部の実施例では、バックライト選択および画像補償選択方法において、特定の性能目標を考慮することもできる。例えば省電力が性能の目標として認識されているとき、より低いバックライトレベルが画像特性の最適化よりも優先される。逆に、画像の明るさが性能目標であるとき、より低いバックライトの優先度はより低くなる。

ターゲットトーン曲線、仮想的基準ディスプレイまたは他の規格に関して、画像の誤差またはDistortionを最小にするように、バックライトレベルを選択できる（１０５３）。一部の実施例では、「Distortionに関係する光源の管理のための方法及びシステム」を発明の名称とし、２００６年７月２８日に出願された米国特許出願第１１／４６０，７６８号（本明細書ではこの出願を参考例として援用する）に開示されている方法を使用して、バックライトレベルおよび補償方法を選択することができる。

ターゲットトーン曲線を計算後、ターゲットトーン曲線により画像を調節または補償（１０５４）し、性能目標を達成するか、または低減されたバックライトレベルを補償する。この調節または補償は、ターゲットトーン曲線を参照して行われる。

バックライト選択（１０５３）および補償または調節（１０５４）後、調節されるかまたは補償された画像を、選択されたバックライトレベルで表示できる（１０５５）。

図６７を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像のエンハンスメントまたは処理目標が確立される（１０６０）。この目標は省電力、より低い黒レベル、画像の明るさ設定、トーンスケール調節または他の処理、もしくはエンハンスメント目標を含む。処理またはエンハンスメント目標に基づき、ターゲットトーン曲線パラメータが選択される（１０６１）。一部の実施例では、パラメータ選択を自動化し、エンハンスメントまたは処理目標に基づくことがでる。一部の実施例では、これらパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値ｃを含む。

選択されたターゲットトーン曲線パラメータに基づき、ターゲットトーン曲線（ＴＴＣ）を計算（１０６２）できる。一部の実施例では、ＴＴＣのセットが計算される。一部の実施例では、このセットは、共通ＴＴＣパラメータの代りに、変化するバックライトレベルに対応する曲線を含むことができる。別の実施例では、他のパラメータを変えることもできる。

バックライトの明るさレベルが選択される（１０６３）。一部の実施例では、画像特性に関してバックライトレベルが選択される。一部の実施例では、性能目標に基づきバックライトレベルが選択される。一部の実施例では、性能目標および画像特性に基づき、バックライトレベルが選択される。一部の実施例では、性能目標または誤差基準にマッチするＴＴＣを選択し、そのＴＴＣに対応するバックライトレベルを使用することによって、バックライトレベルが選択される。

バックライトレベルを一旦選択すると（１０６３）、関連づけによりそのレベルに対応するターゲットトーン曲線を選択する。次に、ターゲットトーン曲線により、画像を調節、エンハンスまたは補償できる（１０６４）。次に、選択されたバックライトレベルを使用し、ディスプレイに調節された画像を表示できる（１０６５）。

図６８を参照し、本発明の一部の実施例について説明する。これら実施例では、画像のディスプレイ性能目標を識別する（１０７０）。これは、ユーザーが直接性能目標を選択するユーザーインターフェースを通して実行できる。このことは、ユーザーが性能目標の優先度を識別するユーザーの問い合わせにより実行してもよい。画像分析、ディスプレイのデバイス特性、デバイスの使用履歴または他の情報に基づき、性能目標を自動的に識別することもできる。

性能目標に基づき、ターゲットトーン曲線パラメータを自動的に選択または発生できる（１０７１）。一部の実施例では、これらパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値Ｃを含む。

ターゲットトーン曲線パラメータから１つ以上のターゲットトーン曲線を生成できる（１０７２）。１つの式、一連の式、テーブル（例えばＬＵＴ）または他の表現として、ターゲットトーン曲線を表示できる。

一部の実施例では、各ＴＴＣはバックライトレベルに対応する。基準を満たす対応するＴＴＣを探すことにより、バックライトレベルを選択できる（１０７３）。一部の実施例では、他の方法により、バックライトを選択できる。バックライトをＴＴＣに無関係に選択した場合、そのバックライトレベルに対応するＴＴＣも選択できる。

最終ＴＴＣを一旦選択すると（１０７３）、このＴＴＣを画像に適用（１０７４）し、ディスプレイのための画像をエンハンス、補償または他の方法で処理できる。次に、処理されたこの画像を表示する（１０７５）。

図６９を参照し、本発明の一部の実施例について説明する。これら実施例では、画像のディスプレイ性能目標を識別する（１０８０）。このことは、ユーザーが性能目標を直接選択するユーザーインターフェースを通して実行できる。このことは、ユーザーが性能目標の優先度を識別するユーザーの問い合わせにより実行してもよい。画像分析、ディスプレイのデバイス特性、デバイスの使用履歴または他の情報に基づき、性能目標を自動的に識別することもできる。画像特性を識別するために画像分析が実行される（１０８１）。

性能目標に基づき、ターゲットトーン曲線パラメータを自動的に選択または発生できる（１０８２）。直接識別されるか、または最大ディスプレイ出力値およびコントラスト比により表わされるバックライトレベルも選択される。一部の実施例では、これらのパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらのパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値ｃを含む。

ターゲットトーン曲線パラメータからターゲットトーン曲線を生成できる（１０８３）。ターゲットトーン曲線を１つの式、一連の式、テーブル（例えばＬＵＴ）または他の表現によって表示できる。この曲線を一旦生成すると（１０８３）、この曲線を画像に適用（１０８４）し、表示用の画像をエンハンス、補償または他の方法で処理することができる。次に処理された画像を表示する（１０８５）。

カラーエンハンスメントおよび明るさエンハンスメント
本発明の一部の実施例は、カラーエンハンスメントおよび明るさエンハンスメント、または保存を含む。これら実施例では、明るさエンハンスメントまたは保存と共に、カラーをエンハンスするために、固有のカラー値、範囲または領域を変更する。一部の実施例では、これらの変更またはエンハンスメントは画像のローパス（ＬＰ）バージョンで実行される。一部の実施例では、固有のカラーエンハンスメントプロセスが使用される。

図７０を参照し、本発明の一部の実施例について説明する。これら実施例では、ＬＰ画像１１２５を発生するためにローパス（ＬＰ）フィルタにより画像１１３０をフィルタリング（１１３１）する。このＬＰ画像１１２５は、元の画像１１３０から減算（１１３４）するか、または他の方法で組み合わせ、ハイパス（ＨＰ）画像１１３５を生成する。ＬＰ画像はトーンスケールプロセス１１３３により処理される。例えば明るさ保存（ＢＰ）プロセス、または同様のプロセスにより画像の特徴部の明るさを高められ、低減されたバックライトレベルを補償、または、他の実施例を参照してこれまで説明したように、ＬＰ画像１１２５を変更する。次に、エンハンスされたトーンスケール画像を発生するために、上記の結果得られた処理ＬＰ画像とＨＰ画像１１３５を組み合わされ、発生されたエンハンス画像は次にビット深度拡張（ＢＤＥ）プロセス１１３９により処理される。ＢＤＥプロセス１１３９では、特別に設計されたノイズパターンまたはディザーパターンを画像に適用し、画像のビット深度を下げるその後の処理から生じるコンターリングアーティファクトに対する影響を減少させることができる。一部の実施例は、スコットＪ．デイリー氏、およびシャオファンフェン氏を発明者とし、「適応型ディザー構造のための方法およびシステム」を発明の名称とし、２００４年２月９日に出願された米国特許出願第１０／７７５，０１２号（本明細書では本願を参考例として援用する）に記載されているようなＢＤＥプロセスを含むことができる。一部の実施例は、シャオファンフェン氏およびスコットＪ．デイリー氏を発明者とし、「ディザー構造の作成および適用のためのシステムおよび方法」を発明の名称とし、２００３年８月２２日に出願された米国特許出願第１０／６４５，９５２号（本願を本明細書で参考例として援用する）に記載されているような、ＢＤＥプロセスを含むことができる。一部の実施例はシャオファンフェン氏およびスコットＪ．デイリー氏を発明者とし、「多次元ディザー構造の作成および適用のためのシステムおよび方法」を発明の名称とし、２００３年９月３０日に出願された米国特許出願第１０／６７６，８９１号（本願を本明細書で参考例として援用する）に記載されているようなＢＤＥプロセスを含むことができる。この結果得られるＢＤＥエンハンスされた画像１１２９は次にディスプレイされ、更に処理される。ＢＤＥエンハンスされた画像１１２９は、上記参考例として援用する上記米国特許出願に説明されているように、ビット深度を低減したときに、コンターリングアーティファクトが生じにくくなる。

図７１を参照して本発明の一部の実施例について説明する。これら実施例では、画像のＬＰバージョンを生成するために、画像１１３０はローパス（ＬＰ）フィルタ（１１３１）を通される。このＬＰバージョンは処理のためにカラーエンハンスメントモジュール１１３２へ送られる。カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、カラーエンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理だけでなく非肌色領域処理も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素のためのカラー値の変更を生じさせる。

カラー変更後、カラー変更されたＬＰ画像は明るさ保存または明るさエンハンスメントモジュール１１３３へ送られる。このモジュール１１３３は、明るさ特性を改善するために画像の値をトーンスケール曲線または同様な方法で調節または変更する。上記多くの実施例に類似したものである。一部の実施例では、トーンスケール曲線は、光源あるいはバックライトレベルに関係する。一部の実施例では、トーンスケール曲線は低減されたバックライトレベルを補償する。一部の実施例では、トーンスケール曲線は画像を明るくしたり、またはバックライトレベルと無関係に画像を変更する。

次にカラーエンハンスされ、明るさがエンハンスされた画像はハイパス（ＨＰ）バージョンの画像に結合される。一部の実施例では、画像のＨＰバージョンは元の画像１１３０からＬＰバージョンを減算（１１３４）することにより生成され、結果として画像のＨＰバージョン１１３５が得られる。カラーエンハンスされ、明るさがエンハンスされた画像と、画像のＨＰバージョン１１３５との結合１１３７は、エンハンスされた画像１１３８を発生する。

本発明の一部の実施例は、ＨＰ画像のための画像に依存したバックライト選択および／または別個の利得プロセスを含むことができる。これら２つの付加的要素は、独立した別個の要素であるが、図７２に示されるように両方の要素を含む実施例に関連して、説明される。この実施例では、フィルタモジュール１１３１に画像１１３０を入力し、このモジュールでＬＰ画像１１４５を発生する。次に、元の画像１１３０からＬＰ画像１１４５を減算し、ＨＰ画像１１３５が生成される。ＬＰ画像１１４５は、又、カラーエンハンスメントモジュール１１３２に送られる。一部の実施例では、元の画像１１３０は、又、バックライトの明るさレベルを決定する際に使用するために、バックライト選択モジュール１１４０へ送られる。

カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、カラーエンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理機能だけでなく、非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素に対するカラー値の変更を生じさせる。

明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１４１は、トーンスケール操作による処理のためにＬＰ画像１１４５を受信する。トーンスケール動作はバックライト選択モジュール１１４０から受信したバックライト選択情報に依存する。トーンスケール動作により、明るさ保存がなしとげられるとき、トーンスケール曲線を決定するのにバックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。

同様な実施例に対してこれまで説明した方法を使って、ＨＰゲインモジュール１１３６内でＨＰ画像１１３５を処理することもできる。ＨＰゲインモジュールにおける処理の結果、変更されたＨＰ画像１１４７が得られる。トーンスケールモジュール１１４１におけるトーンスケール処理の結果得られる変更されたＬＰ画像１１４６を、変更されたＨＰ画像１１４７と組み合わせ（１１４２）、エンハンスされた画像１１４３を発生できる。

バックライト選択モジュール１１４０からのバックライト選択データを受信したバックライト１１４４と共に、バックライト変調を使用するディスプレイに、エンハンスされた画像１１４３は表示される。従って、低減された、または変調されたバックライト設定により、かつバックライト変調を補償する変更された画像値によって、画像は表示される。同様に、ＬＰトーンスケール処理およびＨＰゲイン処理を含む明るさがエンハンスされた画像はフルバックライトの明るさで表示される。

図７３を参照し、本発明の一部の実施例について説明する。これら実施例では、フィルタモジュール１１５０に元の画像１１３０を入力し、フィルタモジュールはＬＰ画像１１５５を生成する。一部の実施例では、フィルタモジュールはヒストグラム１１５１も生成する。ＬＰ画像１１５５をカラーエンハンスメントモジュール１１５６だけでなく減算プロセス１１５７にも送ることができ、この減算プロセスにて、元の画像１１３０からＬＰ画像１１５５が減算され、ＨＰ画像１１５８が形成される。一部の実施例では、ＨＰ画像１１５８はコアリングプロセス１１５９を受け、このプロセスにおいて、ＨＰ画像１１５８から高周波要素を除去する。このコアリングプロセスの結果、コアＨＰ画像１１６０が得られ、得られた画像は明るさ保存、エンハンスメントまたは他の実施例に関してこれまで説明したような他のプロセスを達成するために、ゲインマップ１１６２により処理（１１６１）される。ゲインマッピングプロセス１１６１の結果、ゲインマップされたＨＰ画像１１６８が得られる。

カラーエンハンスメントモジュール１１５６に送られたＬＰ画像１１５５は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能または他の機能を用いて処理される。一部の実施例では、カラーエンハンスメントモジュール１１５６は、肌色検出機能、肌色マップリファイン機能、肌色領域処理機能だけでなく非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１５６における機能は、例えばピクセル強度値のような画像要素に対するカラー値の変更を生じさせ、この変更されたカラー値は、カラーエンハンスされたＬＰ画像１１６９として記録される。

次にＢＰトーンスケールまたはエンハンスメントトーンスケールモジュール１１６３内でカラーエンハンスされたＬＰ画像１１６９は処理される。トーンスケール操作による処理のために、明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１６３が、カラーエンハンスされたＬＰ画像１１６９を受信できる。トーンスケール操作は、バックライト選択モジュール１１５４から受信したバックライト選択情報に依存する。トーンスケール操作により明るさ保存を達成するとき、トーンスケール曲線を決定するのに、バックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。トーンスケールモジュール１１６３内で実行されるトーンスケール操作は、バックライト情報と関係なく、画像特性、アプリケーションの性能目標および他のパラメータに依存する。

一部の実施例では、カラーエンハンスメントモジュール１１５６およびトーンスケールモジュール１１６３がそれらの機能を実行するための時間を許容するために、画像のヒストグラム１１５１が遅延される（１１５２）。これら実施例では、バックライト選択１１５４に影響するように、遅延されたヒストグラム１１５３を使用できる。一部の実施例では、前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。一部の実施例では、現在のフレームから２つ前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。バックライト選択を一旦実行すると、トーンスケールモジュール１１６３により、バックライト選択データを使用できる。

トーンスケールモジュール１１６３により一旦カラーエンハンスされたＬＰ画像１１６９を処理すると、その結果得られたカラーエンハンスされ、明るさがエンハンスされたＬＰ画像１１７６とゲインマップされたＨＰ画像１１６８とが結合される（１１６４）。一部の実施例では、このプロセス１１６４を追加プロセスとすることができる。一部の実施例では、この組み合わせプロセス１１６４から得られた、エンハンスされ、組み合わされた画像１１７７が、画像表示のための最終画像となる。次に、バックライト選択モジュール１１５４から受信されたバックライト設定で変調されたバックライト１１６６を使用し、このエンハンスされ、組み合わされた画像１１７７をディスプレイにディスプレイできる。

図７４を参照し、本発明の一部のカラーエンハンスメントモジュールについて説明する。これらの実施例では、カラーエンハンスメントモジュール１１７１にＬＰ画像１１７０を入力する。カラーエンハンスメントモジュール１１７１内にて、ＬＰ画像１１７０に種々のプロセスを実施してもよい。ＬＰ画像１１７０に対し、肌色検出プロセス１１７２を実行してもよい。肌色検出プロセス１１７２は、ＬＰ画像１１７０内の各ピクセルのカラーの分析と、ピクセルカラーに基づき肌色の度合を示す値の割り当てを含む。このプロセスの結果、肌色の度合を示すマップが得られる。一部の実施例では、色が肌色である度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の可能性を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願、または上記肌色検出方法を含むことができる。

上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１７３により処理できる。ＬＰ画像１１７０はこのリファインプロセス１１７３に入力されまたはそこからアクセスされる。一部の実施例では、このリファインプロセス１１７３は、画像で駆動される非線形なローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定の色空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１７３は肌色マップ値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。

カラーエンハンスメントモジュール１１７１では、肌色領域だけにカラー変更プロセス１１７４を適用することにより、ＬＰ画像１１７０を区分して処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１７４を適用してもよい。一部の実施例では、肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１７５が得られる。一部の実施例では、エンハンスされたＬＰ画像を更にトーンスケールモジュール、例えばＢＰまたはエンハンスメントトーンスケールモジュール１１６３で処理してもよい。

図７５を参照して本発明の一部の実施例について説明する。これら実施例では、画像のＬＰバージョンを生成するために、画像１１３０はローパス（ＬＰ）フィルタ（１１３１）でフィルタリングされる。このＬＰバージョンは、処理のためにカラーエンハンスメントモジュール１１３２へ送られる。カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、エンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理だけでなく非肌色領域処理も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素のためのカラー値の変更を生じさせる。

カラー変更後、カラー変更されたＬＰ画像は明るさ保存または明るさエンハンスメントモジュール１１３３へ送られる。このモジュール１１３３は、明るさ特性を改善するために画像の値をトーンスケール曲線または同様な方法で調節または変更する、上記多くの実施例に類似したものである。一部の実施例では、トーンスケール曲線は光源またはバックライトレベルに関連する。一部の実施例では、トーンスケール曲線は低減されたバックライトレベルを補償する。一部の実施例では、トーンスケール曲線は画像を明るくしたり、またはバックライトレベルと無関係に画像を変更する。

次に画像のハイパス（ＨＰ）バージョンにカラーエンハンスされ、明るさがエンハンスされた画像を結合される。一部の実施例では、画像のＨＰバージョンは元の画像１１３０からＬＰバージョンを減算（１１３４）することにより生成され、結果として画像のＨＰバージョン１１３５が得られる。カラーエンハンスされ、明るさがエンハンスされた画像と、画像のＨＰバージョン１１３５との結合１１３７は、エンハンスされた画像１１３８を発生する。

これらの実施例では、エンハンスされた画像１１３８にビット深度拡張（ＢＤＥ）プロセス１１３９を実行する。このＢＤＥプロセス１１３９はビット深度が限定されているときに生じる視認可能なアーティファクトを低減できる。一部の実施例は、参考例として本明細書で援用する上記特許出願に記載されているようなＢＤＥプロセスを含むことができる。

図７６を参照し、本発明の一部の実施例について説明する。これら実施例は、図７３を参照して説明した実施例に類似するが、追加的ビット深度拡張処理を含む。

これら実施例では、フィルタモジュール１１５０に元の画像１１３０を入力し、フィルタモジュールはＬＰ画像１１５５を生成する。一部の実施例では、フィルタモジュールはヒストグラム１１５１も生成する。ＬＰ画像１１５５はカラーエンハンスメントモジュール１１５６だけでなく減算プロセス１１５７にも送られ、この減算プロセスにて、元の画像１１３０からＬＰ画像１１５５を減算し、ＨＰ画像１１５８を形成する。一部の実施例では、ＨＰ画像１１５８はコアリングプロセス１１５９を受けることもでき、このプロセスにおいて、ＨＰ画像１１５８から高周波要素が除去される。このコアリングプロセスの結果、コアＨＰ画像１１６０が得られ、この画像は明るさ保存、エンハンスメントまたは他の実施例に関してこれまで説明したような他のプロセスを達成ために、ゲインマップ１１６２により処理される（１１６１）。ゲインマッピングプロセス１１６１の結果、ゲインマップされたＨＰ画像１１６８が得られる。

カラーエンハンスメントモジュール１１５６に送られたＬＰ画像１１５５は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能または他の機能で処理される。一部の実施例では、カラーエンハンスメントモジュール１１５６は、肌色検出機能、肌色マップリファイン機能、肌色領域処理機能だけでなく非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１５６における機能は、例えばピクセル強度値のような画像要素に対するカラー値を変更し、このカラー値は、カラーエンハンスされたＬＰ画像１１６９として記録される。

次にカラーエンハンスされたＬＰ画像１１６９はＢＰトーンスケールまたはエンハンスメントトーンスケールモジュール１１６３で処理される。トーンスケール操作による処理のために、明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１６３が、カラーエンハンスされたＬＰ画像１１６９を受信する。トーンスケール操作は、バックライト選択モジュール１１５４から受信したバックライト選択情報に依存する。トーンスケール操作により明るさ保存を達成するときには、トーンスケール曲線を決定するのに、バックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。トーンスケールモジュール１１６３内で実行されるトーンスケール操作は、バックライト情報と関係なく、画像特性、アプリケーションの性能目標および他のパラメータに依存する。

一部の実施例では、カラーエンハンスメントモジュール１１５６およびトーンスケールモジュール１１６３がそれらの機能を実行するための時間を許容するために、画像のヒストグラム１１５１が遅延される（１１５２）。これら実施例では、バックライト選択１１５４に影響するように、遅延されたヒストグラム１１５３を使用できる。一部の実施例では、現在のフレームから２つ前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。バックライト選択を一旦実行すると、トーンスケールモジュール１１６３により、バックライト選択データを使用できる。

トーンスケールモジュール１１６３により一旦カラーエンハンスされたＬＰ画像１１６９を処理すると、その結果得られた、カラーエンハンスされ、明るさがエンハンスされたＬＰ画像１１７６とゲインマップされたＨＰ画像１１６８とが結合される（１１６４）。一部の実施例では、このプロセス１１６４を追加プロセスとすることができる。一部の実施例では、この組み合わせプロセス１１６４から得られた、エンハンスされ、組み合わされた画像１１７７はビット深度拡張（ＢＤＥ）処理で処理される（１１６５）。このＢＤＥプロセス１１６５は、ビット深度が限られているときに生じる視認できるアーティファクトを低減できる。一部の実施例は、本明細書で参考例として援用する上記特許出願に記載のＢＤＥプロセスを含むことができる。

ＢＤＥ処理１１６５後、バックライト選択モジュール１１５４から受信したバックライト設定で変調されたバックライト１１６６を使用し、エンハンスされた画像１１６９はディスプレイに表出される。

図７７を参照し、本発明の一部の実施例について説明する。これら実施例では、ＬＰ画像１１８３を発生するようにローパス（ＬＰ）フィルタにより画像１１８０をフィルタリングする（１１８１）。このＬＰ画像１１８３はハイパス（ＨＰ）画像１１８９を発生するために、元の画像１１８０から減算されるか（１１８２）、または元の画像１１８０と組み合わされる。ＬＰ画像は次にカラーエンハンスメントモジュール１１８４で処理される。カラーエンハンスメントモジュール１１８４内にて、ＬＰ画像に種々のプロセスが実施される。ＬＰ画像１１８３に対し、肌色検出プロセス１１８５が実行される。肌色検出プロセス１１８５は、ＬＰ画像１１８３内の各ピクセルのカラーの分析と、ピクセルカラーに基づく肌色の度合値の割り当てを含む。このプロセスの結果、肌色の度合値を示すマップが得られる。一部の実施例では、色が肌色の度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の度合を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願に記載されたまたは上記肌色検出方法を含むことができる。

上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１８６により処理できる。ＬＰ画像１１８３は、このリファインプロセス１１８６に入力されまたはそこからアクセスされる。一部の実施例では、画像で駆動される非線形なローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定のカラー空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１８６は、肌色マップ内の値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。

カラーエンハンスメントモジュール１１８４では、肌色領域だけにカラー変更プロセス１１８７を実施することにより、ＬＰ画像１１８３を区別処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１８７を実施してもよい。一部の実施例では肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１８８が得られる。

エンハンスされたこのＬＰ画像１１８８を次にＨＰ画像１１８９に加算するか、または組み合わせて、エンハンスされた画像１１９２を生成できる。

図７８を参照し、本発明の一部の実施例について説明する。これらの実施例では、ＬＰ画像１１８３を生成するためにローパス（ＬＰ）フィルタにより画像１１８０をフィルタリングする（１１８１）。このＬＰ画像１１８３はハイパス（ＨＰ）画像１１８９を発生するために、元の画像１１８０から減算するか（１１８２）、またはこれと組み合わされる。次にカラーエンハンスメントモジュール１１８４でＬＰ画像を処理する。カラーエンハンスメントモジュール１１８４内にて、ＬＰ画像に種々のプロセスを実施してもよいし、ＬＰ画像１１８３に対し、肌色検出プロセス１１８５を実行してもよい。肌色検出プロセス１１８５は、ＬＰ画像１１８３内の各ピクセルのカラーの分析と、ピクセルカラーに基づく肌色の度合値の割り当てを含むことができる。このプロセスの結果、肌色の度合を示すマップが得られる。一部の実施例では、色が肌色である度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の度合を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願に記載され、これまで説明された肌色検出方法を含むことができる。

上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１８６により処理できる。ＬＰ画像１１８３は、このリファインプロセス１１８６に入力されまたはそこからアクセスされる。一部の実施例では、このリファインプロセス１１８６は、画像で駆動される非リニアなローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定のカラー空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１８６は、肌色マップ内の値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。

カラーエンハンスメントモジュール１１８４では、肌色領域だけにカラー変更プロセス１１８７を実施することにより、ＬＰ画像１１８３を区別処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１８７を実施してもよい。一部の実施例では、肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１８８が得られる。

次に、エンハンスされたこのＬＰ画像１１８８をＨＰ画像１１８９に加えるかまたは結合し、エンハンスされた画像を生成し、このエンハンスされた画像をビット深度拡張（ＢＤＥ）プロセス１１９１で処理する。このＢＤＥプロセス１１９１では、特別に設計されたノイズパターンまたはディザーパターンを画像に適用し、画像ビット深度を低減するその後の処理からコンターアリングアーティファクトに対する影響を低減する。一部の実施例は、参考例として本明細書に援用する上記特許出願に記載されているようなＢＤＥプロセスを含むことができる。この結果生じるＢＤＥでエンハンスされた画像１１９３は表示されるかまたは更に処理される。ＢＤＥエンハンスされた画像１１９３は、これまで参考例として援用したアプリケーションに説明されているように、ビット深度が低減されるとき、コンターアリングアーティファクトを生じにくくなる。

本発明の一部の実施例は、ハードウェアによる実現の制限下で高い質のバックライト変調および明るさ保存を実現する細部を含む。図７３および７６に示された実施例を参照し、これら実施例について説明する。

一部の実施例は、図７３および７６におけるバックライト選択１１５４およびＢＰトーンスケール１１６３のブロックにある要素を含む。これら実施例の一部は、メモリの消費量およびリアルタイムでの計算要求量を低減できる。

ヒストグラムの計算
これらの実施例では、輝度値ではなく、画素値でヒストグラムを計算する。従って、カラー変換は不要である。一部の実施例では、初期のアルゴリズムは画像のすべてのサンプルでのヒストグラムを計算できる。これら実施例では、画像の最後のサンプルが受信されるまで、ヒストグラムの計算を完了できない。バックライトの選択およびトーン曲線設計の補償を行うことができる前に、すべてのサンプルを得て、ヒストグラムを完了しなければならない。

これら実施例には、いくつかの複雑性の問題がある。
・フレームバッファの必要性。ヒストグラムを完了するまで、ピクセルとして補償できない−ＲＡＭの問題。
・他の計算部が停止するため、バックライト選択演算の時間はほとんどない。−計算の問題。
・すべての画像サンプルでのヒストグラムを計算するのに処理しなければならない多数の画像サンプルがある−計算の問題。
・１０ビットの画像データでは、１０ビットのヒストグラムはDistortionを最適化するのに必要なデータ保持に比較的大きいメモリと、多数の点での演算を必要とする−ＲＡＭおよび計算の問題。

本発明の一部の実施例は、これら問題を解消するための技術を含む。フレームバッファの必要性を解消するには、バックライト選択アルゴリズムへの入力として前のフレームのヒストグラムを使用できる。フレームｎ＋１、ｎ＋２または別のその後のフレームのための入力としてフレームｎからのヒストグラムを使用し、フレームバッファを不要にできる。

計算のための時間を許容するために、ヒストグラムは１以上の追加フレームだけ遅延することができるので、フレームｎからのヒストグラムをフレームｎ＋２、ｎ＋３などのバックライト選択のための入力として使用する。これによって、フレームｎの終了部から次のフレーム、例えばｎ＋２の開始点までのバックライト選択アルゴリズム時間が計算のため許容される。

一部の実施例では、バックライト選択アルゴリズムの出力に対する時間フィルタを使用し、入力フレームに対するバックライト選択におけるこのフレーム遅延による影響を低減できる。

各ヒストグラムを計算する際に処理しなければならないサンプル数を少なくするために、一部の実施例は個々のピクセルではなく、１つのブロックを使用できる。各カラー平面および各ブロックに対し、最大サンプルを計算する。これらブロックの最大値についてヒストグラムを計算する。一部の実施例では、各カラー平面についてなお最大値が計算される。従って、Ｍ個のブロックを有する画像は、ヒストグラムに対し、３−Ｍ個の入力を有する。

一部の実施例では、小さいビットレンジ、すなわち６ビットに量子化された入力データについてヒストグラムが計算される。これらの実施例では、ヒストグラムを保持するために必要なＲＡＭが少なくなる。更に、Distortionに関連した実施例では、Distortionサーチに必要な操作も少なくなる。

関数１としてソースコードの形態で、以下に、ヒストグラム計算実施例の例について説明する。

関数１
/***************************************************************************************/
//
ComputeHistogram
// Comutes histogram based on maximum on block
// block size and histogram bitdepth set in defines
// Relevant Globals
// gHistogramBlockSize
// gN_HistogramBins
// N_PIPELINE_CODEVALUES
/***************************************************************************************/
void ComputeHistogram(SHORT *pSource[NCOLORS],IMAGE_SIZE size,UINT32
*pHistogram)
{
SHORT cv;
SHORT bin;
SHORT r,c,k;
SHORT block;
SHORT cvMax;
SHORT BlockRowCount;
SHORT nHistogramBlocksWide;
nHistogramBlocksWide=size.width/gHistogramBlockSize;
/* Clear histogram */
for(bin=0;bin<gN_HistogramBins;bin++)
pHistogram[bin]=0;
// use max over block for histogram don't mix colors
// track max in each scan line of block and do max over scanlines
// initialize
BlockRowCount=0;
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
MaxBlockCodeValue[k][block]=0;
for(r=0;r<size.height;r++)
{
// single scan line
for(c=0;c<size.width;c++)
{
block=c/gHistogramBlockSize;
for(k=0;k<NCOLORS;k++)
{
cv=pSource[k][r*size.width+c];
if(cv>MaxBlockCodeValue[k][block])
MaxBlockCodeValue[k][block]=cv;
}
}
// Finished line of blocks?
if(r==(gHistogramBlockSize*(BlockRowCount+1)-1))
{
// update histogram and advance BlockRowCount
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
{
cvMax=MaxBlockCodeValue[k][block];
bin=(SHORT)((cvMax*(int)gN_HistogramBins+(N_PIPELINE_CODEVALUES/2))/((SHO
RT)N_PIPELINE_CODEVALUES));
pHistogram[bin]++;
}
BlockRowCount=BlockRowCount+1;
// reset maximums
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
MaxBlockCodeValue[k][block]=0;
}
}
return;
}

ターゲットおよび実際のディスプレイモデル
一部の実施例では、Distortionおよび補償アルゴリズムは目標および基準ディスプレイを説明するのに使用したパワー関数に依存する。このパワー関数またはガンマは、整数表示でオフラインで計算される。一部の実施例では、このリアルタイムの計算はガンマ指数関数のあらかじめ計算された整数値を利用できる。関数２として下にリストアップしたサンプルコードは、一実施例を記述するものである。

関数２
void InitPowerOfGamma(void)
{
int i;
//Init ROM table here
for(i=0;i<N_PIPELINE_CODEVALUES;i++)
{
PowerOfGamma[i]=pow(i/((double)N_PIPELINE_CODEVALUES-1),GAMMA);
IntPowerOfGamma[i]=(UINT32)((1<<N_BITS_INT_GAMMA)*PowerOfGamma[i]+0.5);
}
return;
}

一部の実施例では、Distortionに基づくバックライト選択プロセスおよびバックライト補償アルゴリズムを制御するのに、リアルタイムで使用される２つのパラメータＧＯＧ−Ｆモデルにより、ターゲットディスプレイと実際のディスプレイの双方をモデル化できる。一部の実施例では、加算的オフセットと共に２．２のガンマパワールールを有するようにターゲット（基準）ディスプレイと実際のパネルの双方をモデル化できる。加算的オフセットはディスプレイのコントラスト比を決定できる。

Distortionの重み付けの計算
一部の実施例では、各バックライトレベルおよび入力画像に対し、所望する出力画像と所定のバックライトレベルでの出力との間のDistortionが計算される。この結果、各ヒストグラムのBinと各バックライトレベルに対する重みが得られる。必要なバックライトレベルに対するDistortionの重みだけを計算することにより、使用されるＲＡＭのサイズを最小レベルまたは低減されたレベルに維持できる。これらの実施例では、オンラインの計算によりアルゴリズムは基準ディスプレイまたはターゲットディスプレイの異なる選択に適用できる。この計算は、２つの要素、すなわち画像のヒストグラムと一組のDistortion重み付けとを必要とする。別の実施例では、すべての可能なバックライトレベル値に対するDistortionの重み付けをオフラインで計算し、ＲＯＭに記憶した。ＲＯＭの必要性を低減するために、各フレームに対する当該各バックライトレベルに対するDistortionの重み付けが計算される。所望するディスプレイモデルおよびパネルディスプレイモデル並びにバックライトレベルのリストを仮定して、各フレームに対するこれらバックライトレベルのDistortionの重み付けが計算される。次の関数３に、一実施例のためのサンプルコードを示す。

関数３
/*********************************************************************
// void ComputeBackLightDistortionWeight
// computes distoriton needs large bitdepth
// comutes distortion weights for a list of selected backlight levels and panel parameters
// Relevant Globals
// MAX_BACKLIGHT_SEARCH
// N_BITS_INT_GAMMA
// N_PIPELINE_CODEVALUES
// IntPowerOfGamma
// gN_HistogramBins
***************************************************************************************/
void ComputeBackLightDistortionWeight(SHORT nBackLightsSearched,
SHORT BlackWeight,
SHORT WhiteWeight,
SHORT PanelCR,
SHORT TargetCR,
SHORT BackLightLevelReference,
SHORT BackLightLevelsSearched[MAX_BACKLIGHT_SEARCH])
{
SHORT b;
SHORT bin;
SHORT cvL,cvH;
__int64 X,Y,D,Dmax;
Dmax=(1<<30);
Dmax=Dmax*Dmax;
for(b=0;b<nBackLightsSearched;b++)
{
SHORT r,q;
r=N_PIPELINE_CODEVALUES/gN_HistogramBins;
// find low and high code values for each backlight searched

// PanelOutput=BackLightSearched*((1-PanelFlare)*y^Gamma+PanelFlare)
// TargetOutput=BackLightLevelReference*((1-TargetFlare)*x^Gamma+TargetFlare)

// for cvL, find x such that minimum paneloutput is achieved on targetoutput
// TargetOutput(cvL)=min(PanelOutput)=BackLightSearched*PanelFlare
// BackLightLevelReference*((1-
TargetFlare)*cvL^Gamma+TargetFlare)=BackLightSearched/PanelCR
// BackLightLevelReference/TargetCR*((TargetCR-
1)*cvL^Gamma+1)=BackLightSearched/PanelCR
// PanelCR*BackLightLevelReference*((TargetCR-
1)*cvL^Gamma+1)=TargetCR*BackLightSearched
// PanelCR*BackLightLevelReference*((TargetCR-
1)*IntPowerOfGamma[cvL]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearche
d*(1<<N_BITS_INT_GAMMA))
X=TargetCR;
X=X*BackLightLevelsSearched[b];
X=X*(1<<N_BITS_INT_GAMMA);
for(cvL=0;cvL<N_PIPELINE_CODEVALUES;cvL++)
{
Y=IntPowerOfGamma[cvL];
Y=Y*(TargetCR-1);
Y=Y+(1<<N_BITS_INT_GAMMA);
Y=Y*BackLightLevelReference;
Y=Y*PanelCR;
if(X<=Y)
break;
}
// for cvH, find x such that maximum paneloutput is achieved on targetoutput
// TargetOutput(cvH)=max(PanelOutput)=BackLightSearched*1
// BackLightLevelReference*((1-
TargetFlare)*cvH^Gamma+TargetFlare)=BackLightSearched
// BackLightLevelReference/TargetCR*((TargetCR-
1)*cvH^Gamma+1)=BackLightSearched
// BackLightLevelReference((TargetCR-
1)*cvH^Gamma+1)=TargetCR*BackLightSearched
// BackLightLevelReference((TargetCR-
1)*IntPowerOfGamma[cvH]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearche
d*(1<<N_BITS_INT_GAMMA)
X=TargetCR;
X=X*BackLightLevelsSearched[b];
X=X*(1<<N_BITS_INT_GAMMA);
for(cvH=(N_PIPELINE_CODEVALUES-1);cvH>=0;cvH--)
{
Y=IntPowerOfGamma[cvH];
Y=Y*(TargetCR-1);
Y=Y+(1<<N_BITS_INT_GAMMA);
Y=Y*BackLightLevelReference;
if(X>=Y)
break;
}

// build distortion weights
for(bin=0;bin<gN_HistogramBins;bin++)
{
SHORT k;
D=0;
for(q=0;q<r;q++)
{
k=r*bin+q;
if(k<=cvL)
D+=BlackWeight*(cvL - k)*(cvL - k);
else if(k>=cvH)
D+=WhiteWeight*(k-cvH)*(k-cvH);
}
if(D>Dmax)
D=Dmax;
gBackLightDistortionWeights[b][bin]=(UINT32)D;
}
}
return;
}

バックライトサーチのサブサンプリング
一部の実施例では、バックライト選択アルゴリズムは、各バックライトレベルにおけるターゲットディスプレイ出力とパネル出力との間のDistortionを最小にするプロセスを含むことができる。評価しなければならないバックライトレベルの数と、計算し、記憶しなければならないDistortion重み付けの数の双方を低減するために、このサーチではバックライトレベルの一部を使用できる。

一部の実施例では、サーチをサブサンプリングする２つの方法を使用できる。第１方法では、バックライトレベルの可能な範囲を粗く量子化する。例えば４ビットに量子化する。最小Distortionに関して、この量子化されたレベルの一部をサーチする。一部の実施例では、完全にするために最小値および最大値の絶対値を使用してもよい。第２の方法では、最終フレームに対して得られたバックライトレベルの近傍の範囲にある値を使用する。例えば最小および最大絶対レベルと共に、最終フレームのバックライトレベルからの±４、±２、±１および＋０がサーチされる。後者の方法では、サーチレンジの限界により、選択されるバックライトレベルの変動に対しある制限が加えられる。一部の実施例では、サブサンプリングを制御するために、シーンカット検出を使用する。１つのシーン内で、ＢＬサーチは最終フレームのバックライトのまわりに、小さいサーチウィンドーを中心に置く。シーンがカットされた境界部では、可能なＢＬ値のレンジにわたって少数のポイントを割り当てる。同じシーン内のその後のフレームは、別のシーンカットが検出されなければ、前のフレームのＢＬのまわりにサーチを集中する前の方法を使用する。

１つのＢＰ補償曲線の計算
一部の実施例では、操作中に、いくつかの異なるバックライトレベルを使用できる。別の実施例では、全バックライトレベルに対する補償曲線をオフラインで計算し、リアルタイムで画像を補償するためにＲＯＭに格納する。各フレームでは１つの補償曲線しか必要でないことに留意することにより、このメモリの必要性を低減できる。従って、フレームごとに補償トーン曲線を計算し、ＲＡＭにセーブする。一部の実施例では、補償曲線の設計はオフラインの設計で使用されているようなものである。一部の実施例は、最大忠実ポイント（ＭＦＰ）までリニアにブーストアップし、その後、上記のようにスムーズに丸められる曲線を含むことができる。

時間フィルタ
バックライト変調を有するシステムにおける１つの問題は、フリッカーである。このフリッカーは、画像処理補償技術を使用することで低減できる。しかしながら、バックライトの変動が急速な場合に、結果としてアーティファクトを生じさせる補償の制限がいくつかある。ある状況では、ブラックポイントおよびホワイトポイントがバックライトをトラッキングするが、すべてのケースでは、これらポイントを補償することはできない。更に、一部の実施例では、バックライト選択は遅延されたフレームからのデータに基づくので、実際のフレームデータと異なることがある。ブラック／ホワイトレベルのフリッカーを制御し、バックライト計算においてヒストグラムを遅延できるようにするために、バックライト制御ユニットおよび対応する補償に送られる実際のバックライト値をスムーズにするのに、時間フィルタを使用できる。

明るさ変化との融合
種々の理由から、ユーザーはディスプレイの明るさを変えたいことがある。１つの問題は、バックライト変調環境内でこれをどのように行うかである。従って、一部の実施例は、バックライト変調および明るさ補償コンポーネントを変えないままにして、基準ディスプレイの明るさを操作できるようにしている。下記に関数４として記述するコードは、基準バックライトインデックスを最大値にセットするか、または平均ピクチャーレベル（ＡＰＬ）が、最大のディスプレイの明るさを変えるために使用される場合には、このＡＰＬに応じた値にセットするかのいずれかである、一実施例を示す。

関数４
/*****************************************************************************
if(gStoredMode)
{
BackLightIndexReference=N_BACKLIGHT_VALUES-1;
}
else
{
APL=ComputeAPL(pHistogram);
// temporal filter APL
if(firstFrame)
{
for(i=(APL_FILTER_LENGTH-1);i>=0;i--)
{
APL_History[i]=APL;
}
}
for(i=(APL_FILTER_LENGTH-1);i>=1;i--)
{
APL_History[i]=APL_History[i-1];
}
APL_History[0]=APL;
APL=0;
for(i=0;i<APL_FILTER_LENGTH;i++)
APL=APL+APL_History[i]*IntAplFilterTaps[i];
APL=(APL+(1<<(APL_FILTER_SHIFT-1)))>>APL_FILTER_SHIFT;
BackLightIndexReference=APL2BackLightIndex[APL];
}

本明細書で使用した用語および表現は、発明を説明するための用語として用いたものであり、発明を限定するためのものではない。かかる用語および表現の使用にあたり本明細書で図示し、説明した特徴事項の均等物あるいはその一部を排除する意図はなく、本発明の範囲は、特許請求の範囲のみによって定められるものである。

関連出願
関連出願として下記の出願を挙げる。
１．２００６年８月１７日に出願された「ディスプレイの光源の照度レベルを選択する方法およびシステム」を発明の名称とする米国特許出願第１１／４６５，４３６号；
２．２００５年１２月２日に出願された「ディスプレイの光源調節を決定する方法およびシステム」を発明の名称とする米国特許出願第１１／２９３，５６２号；
３．２００５年９月１２日に出願された「画像固有のトーンスケール調節および光源制御の方法およびシステム」を発明の名称とする米国特許出願第１１／２２４，７９２号；
４．２００５年６月１５日に出願された「高周波コントラストエンハンスメントによりディスプレイの特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５３号；
５．２００５年６月１５日に出願された「周波数固有の利得でディスプレイの特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５４号；
６．２００５年６月１５日に出願された「ディスプレイ特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５２号；
７．２００６年３月３０日に出願された「肌色検出を使ったカラーエンハンスメント技術」を発明の名称とする米国特許出願第１１／３９３，４０４号；
８．２００６年７月２８日に出願された「Distortionに関連する光源管理の方法およびシステム」を発明の名称とする米国特許出願第１１／４６０，７６８号；
９．２００５年８月８日に出願された「マルチビューディスプレイにおける独立したビュー調節の方法およびシステム」を発明の名称とする米国特許出願第１１／２０２，９０３号；
１０．２００６年３月８日に出願された「周辺照明入力によりディスプレイ特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／３７１，４６６号；
１１．２００５年１２月２日に出願された「ディスプレイモードに依存した明るさ保存の方法およびシステム」を発明の名称とする米国特許出願第１１／２９３，０６６号；
１２．２００６年７月２８日に出願された「画像トーンスケール補正を発生し、適用するための方法およびシステム」を発明の名称とする米国特許出願第１１／４６０，９０７号；
１３．２００６年７月２８日に出願された「画像トーンスケール補正によりカラー保存する方法およびシステム」を発明の名称とする米国特許出願第１１／１６０，９４０号；
１４．２００６年１１月２８日に出願された「低減された光源パワーレベルを補償するために画像のトーンスケールを調節する方法およびシステム」を発明の名称とする米国特許出願第１１／５６４，２０３号；
１５．２００７年２月２８日に出願された「スムーズな利得画像を使用して明るさ保存する方法およびシステム」を発明の名称とする米国特許出願第１１／６８０，３１２号；
１６．２００７年８月２７日に出願された「トーン曲線を発生し、選択し、適用する方法およびシステム」を発明の名称とする米国特許出願第１１／８４５，６５１号；および
１７．２００６年１１月２８日に出願された「肌色検出を使用するカラーエンハンスメント技術」を発明の名称とする米国特許出願第１１／６０５，７１１号。

従来技術のバックライトＬＣＤシステムを示す図である。元の画素値とブーストされた画素値との間の関係を示すグラフである。元の画素値とクリッピングされ、ブーストされた画素値との間の関係を示すグラフである。種々の画素値変更方式における画素値に関連する輝度レベルを示すグラフである。種々の変更方式に従った、元の画素値と変更された画素値との関係を示すグラフである。トーンスケール調節モデルの一例の発生を示す図である。トーンスケール調節モデルのアプリケーションの一例を示す図である。トーンスケール調節モデルと利得マップの一例の発生を示す図である。トーンスケール調節モデルの一例を示すグラフである。利得マップの一例を示すグラフである。画像にトーンスケール調節モデルおよび利得マップを適用するプロセス例を示すフローチャートである。画像のある１つの周波数バンドにトーンスケール調節モデルを適用し、画像の別の周波数バンドに利得マップを適用するプロセス例を示すフローチャートである。ＭＦＰが変化する際のトーンスケール調節モデルの変化を示すグラフである。画像に依存するトーンスケールマッピング方法の一例を示すフローチャートである。画像に依存するトーンスケール選択実施例の一例を示す図である。画像に依存するトーンスケールマップ計算実施例の一例を示す図である。光源レベル調節と、画像に依存するトーンスケールマッピングを含む実施例を示すフローチャートである。光源レベル計算器とトーンスケールマップセレクタとを備えた実施例を示す図である。光源レベル計算器とトーンスケールマップ計算器とを備えた実施例を示す図である。光源レベル調節と、光源レベルに依存するトーンスケールマッピングとを備えた実施例を示すフローチャートである。光源レベル計算器と、光源レベルに依存するトーンスケール計算または選択を含む実施例を示す図である。元の画像の画素値に対する、トーンスケールの傾きのプロットを示す図である。別個のクロミナンスチャンネル分析を含む実施例を示す図である。画像処理モジュールに入力される周辺照明を含む実施例を示す図である。光源処理モジュールに入力される周辺照明を含む実施例を示す図である。画像処理モジュールに入力される周辺照明と、デバイスの特性入力とを含む実施例を示す図である。画像処理モジュールおよび／または光源処理モジュールおよび光源信号ポストプロセッサへの別の周辺照明入力とを含む実施例を示す図である。光源処理モジュールへの周辺照明入力を含み、処理モジュールはこの入力を画像処理モジュールに送る実施例を示す図である。画像処理モジュールへの周辺照明入力を含み、処理モジュールはこの入力を光源処理モジュールへ送る実施例を示す図である。 Distortion適応パワーマネージメントを含む実施例を示す図である。一定パワーマネージメントを含む実施例を示す図である。適応パワーマネージメントを含む実施例を示す図である。一定パワーモデルのパワー消費量と一定Distortionモデルのパワー消費量の比較を示すグラフである。一定パワーモデルのDistortionと一定DistortionモデルのDistortionの比較を示すグラフである。 Distortion適応パワー管理を含む実施例を示す図である。ビデオシーケンス例に関する種々のDistortionの限度におけるバックライトパワーレベルを示すグラフである。パワー／Distortion曲線の例を示すグラフである。 Distortion基準に対しパワー消費量を管理する実施例を示すフローチャートである。 Distortion基準に基づく光源パワーレベル選択を含む実施例を示すフローチャートである。明るさ保存方法の効果を考慮したDistortion測定を行う実施例を示すフローチャートである。明るさ保存方法の効果を考慮したDistortion測定を行う実施例を示すフローチャートである。画像例に対するパワー／Distortion曲線を示す図である。固定されたDistortionを示すパワーのプロットを示す図である。固定されたDistortionを示すDistortionのプロットを示す図である。トーンスケール調節曲線の一例を示す図である。図４２に示されたトーンスケール調節曲線のダーク領域のズームイン図である。別のトーンスケール調節曲線の例を示す図である。図４４に示されたトーンスケール調節曲線のダーク領域のズームイン図である。最大カラーチャンネルの画素値に基づく画素値調節を示すフローチャートである。最大カラーチャンネルの画素値に基づく多数のカラーチャンネルの画素値調節を示すフローチャートである。カラーチャンネルのうちの１つの画素値特性に基づく多数のカラーチャンネルの画素値調節を示すフローチャートである。入力として最大カラーチャンネル画素値を受信するトーンスケール発生器を含む、本発明の実施例を示す図である。周波数分解およびトーンスケール調節によるカラーチャンネル符号の区別を含む、本発明の実施例を示す図である。周波数分解、カラーチャンネルの区別およびカラー保存クリッピングを含む、本発明の実施例を示す図である。カラーチャンネルの画素値特性に基づくカラー保存クリッピングを含む、本発明の実施例を示す図である。ローパス／ハイパス周波数分割および最大カラーチャンネル画素値の選択を含む、本発明の実施例を示す図である。処理された画像とディスプレイモデルの間の種々の関係を示す図である。画像の一例に対する画素値のヒストグラムのグラフである。図５５のヒストグラムに対応するDistortion曲線例のグラフである。簡単なＤＶＤクリップに最適基準を適用した結果を示す、ビデオフレーム数に対する選択されたバックライトパワーをプロットしたグラフである。実際のディスプレイの異なるコントラスト比に対して決定される最小ＭＳＥDistortionバックライトの決定を示す図である。パネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。省電力コンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。より低い黒レベルコンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。明るさエンハンスメントコンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。黒レベルを下げ、明るさを高めた、エンハンス画像コンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。黒レベルを改善するための一連のターゲットトーン曲線の例を示すグラフである。黒レベルを改善し、画像の明るさをエンハンスするための、一連のターゲットトーン曲線の例を示すグラフである。ターゲットトーン曲線の決定と、Distortionに関連するバックライト選択を含む実施例を示すフローチャートである。性能目標に関連したパラメータの選択、ターゲットトーン曲線の決定およびバックライトの選択を含む実施例を示すフローチャートである。性能目標に関連したターゲットトーン曲線の決定およびバックライト選択を含む実施例を示すフローチャートである。性能目標に関連し、かつ画像に関連したターゲットトーン曲線の決定およびバックライト選択を含む実施例を示すフローチャートである。周波数分解およびビット深度拡張によるトーンスケール処理を含む実施例を示すフローチャートである。周波数分解およびカラーエンハンスメントを含む実施例を示すフローチャートである。カラーエンハンスメント、バックライト選択およびハイパス利得プロセスを含む実施例を示すフローチャートである。カラーエンハンスメント、ヒストグラムの発生、トーンスケール処理およびバックライト選択を含む実施例を示すフローチャートである。肌色検出および肌色マップリファインを含む実施例を示すフローチャートである。カラーエンハンスメントおよびビット深度拡張を含む実施例を示すフローチャートである。カラーエンハンスメント、トーンスケール処理およびビット深度拡張を含む実施例を示すフローチャートである。カラーエンハンスメントを含む実施例を示すフローチャートである。カラーエンハンスメントおよびビット深度拡張を含む実施例を示すフローチャートである。

符号の説明

１７２…画像分析器、１７３…トーンスケールマップセレクタ、１７４…マップ１，マップ２，マップ３、１７５…画像プロセッサ（マップアプリケーション）、１７６…ディスプレイ、１７７…光源レベル計算器、１７９…バックライト。

Claims

ａ）画像の第１カラーチャンネル内の複数のブロックのうちの各々に対する特性画素値を決定する手段と、
ｂ）画像の第２カラーチャンネル内の複数のブロックのうちの各々に対する特性画素値を決定する手段と、
ｃ）前記第１カラーチャンネルおよび前記第２カラーチャンネルから前記特性画素値のヒストグラムを作成する手段と、
ｄ）前記ヒストグラムからのデータに基づき、バックライト照度レベルを選択する手段とを含むことを特徴とするディスプレイの光源照度レベルを選択するための映像表示システム。
前記特性画素値は、対応するブロックに対する画像の最大画素値であることを特徴とする請求項１記載の映像表示システム。
前記特性画素値を決定する前記手段の前に、画素値をより低いビット深度に量子化する手段を更に含むことを特徴とする請求項１記載の映像表示システム。
前記バックライト照度レベルに基づき、トーンスケール補正カーブを作成する手段を更に含むことを特徴とする請求項１記載の映像表示システム。
前記トーンスケール補正カーブを作成する手段は、ガンマ指数関数のあらかじめ計算された整数値を利用するディスプレイモデルを使用することを含むことを特徴とする請求項４記載の映像表示システム。
ａ）画像に対するヒストグラムであって、複数のBinを含む該ヒストグラムを作成する手段と、
ｂ）可能なバックライト照度レベルのセットから、選択されたバックライト照度レベルの一部を選択し、該選択が前記画像の特性に依存する手段と、
ｃ）ガンマ指数関数のあらかじめ計算された第１整数表示を使ってディスプレイ基準モデルを計算する手段と、
ｄ）ガンマ指数関数のあらかじめ計算された第２の整数表示を使ってディスプレイターゲットモデルを計算する手段と、
ｅ）前記ディスプレイ基準モデルおよび前記ディスプレイターゲットモデルを使って、前記一部内の選択された各バックライト照度レベルにおける各ヒストグラムのBinのためのDistortionの重み付けを決定する手段と、
ｆ）前記Distortionの重み付けを、前記選択されたバックライト照度レベルの各々に対する、対応するヒストグラムBinカウントで乗算することにより、バックライト特有のフレームDistortion値を決定する手段と、
ｇ）前記バックライト特有のフレームDistortion値に基づき、バックライト照度レベルを選択する手段とを含むことを特徴とする画像の特性を調節するための映像表示システム。
前記画像を複数のブロックに分割し、前記画像のヒストグラムは各ブロックに対する最大画素値だけを登録することを特徴とする請求項６記載の映像表示システム。
前記画像をカラーチャンネル画像に分割し、各カラーチャンネル画像を複数のブロックに分割し、画像ヒストグラムは、各カラーチャンネル内の各ブロックに対する最大画素値だけを登録することを特徴とする請求項６記載の映像表示システム。
可能なバックライト照度レベルの前記セットを量子化することにより、前記選択されたバックライト照度レベルの一部を決定することを特徴とする請求項６記載の映像表示システム。
前に処理したフレームに対して選択されたバックライト照度レベルに関連してバックライト照度レベルの範囲を選択することにより、前記選択されたバックライト照度レベルの一部を決定することを特徴とする請求項６記載の映像表示システム。
前記バックライト照度レベルを選択する手段は、最も少ないDistortionを示すバックライト特有のフレームDistortion値を有するバックライト照度レベルを選択することを含むことを特徴とする請求項６記載の映像表示システム。
前記Distortionの重み付けは、前記ディスプレイ基準モデルで処理された画素値と前記ディスプレイのターゲットモデルで処理された画素値との差に比例することを特徴とする請求項６記載の映像表示システム。
前記バックライト照度レベルを選択する手段により決定された選択を、バックライト照度レベルの極端な変動を回避するように時間的にフィルタリングする手段を更に含むことを特徴とする請求項６記載の映像表示システム。
ａ）画像のうちの第１カラーチャンネル内の複数のブロックのうちの各々に対する最大画素値を決定する手段と、
ｂ）画像のうちの第２カラーチャンネル内の複数のブロックのうちの各々に対する最大画素値を決定する手段と、
ｃ）前記第１カラーチャンネルおよび前記第２カラーチャンネルから、前記最大画素値のヒストグラムを作成する手段と、
ｄ）可能なバックライト照度レベルのセットから、選択されたバックライト照度レベルの一部を選択し、該選択が前記画像の特性に依存する手段と、
ｅ）ガンマ指数関数のあらかじめ計算された第１整数表示を使ってディスプレイ基準モデルを計算する手段と、
ｆ）ガンマ指数関数のあらかじめ計算された第２の整数表示を使ってディスプレイターゲットモデルを計算する手段と、
ｇ）前記ディスプレイ基準モデルおよび前記ディスプレイターゲットモデルを使って、前記一部内の選択された各バックライト照度レベルにおける各ヒストグラムのビンのためのDistortionの重み付けを決定する手段と、
ｈ）前記Distortionの重み付けを、前記選択されたバックライト照度レベルの各々に対する、対応するヒストグラムビンカウントで乗算することにより、バックライト特有のフレームDistortion値を決定する手段と、
ｉ）前記バックライト特有のフレームDistortion値に基づき、バックライト照度レベルを選択する手段を含むことを特徴とする画像の特性を調節するための映像表示システム。
可能なバックライト照度レベルの前記セットを量子化することにより、前記選択されたバックライト照度レベルの一部を決定することを特徴とする請求項１４記載の映像表示システム。
前に処理したフレームに対して選択されたバックライト照度レベルに関連し、バックライト照度レベルの範囲を選択することにより、前記選択されたバックライト照度レベルの一部を決定することを特徴とする請求項１４記載の映像表示システム。
前記バックライト照度レベルを選択する手段は、最も少ないDistortionを示すバックライト特有のフレームDistortion値を有するバックライト照度レベルを選択することを含むことを特徴とする請求項１４記載の映像表示システム。
前記Distortionの重み付けは、前記ディスプレイ基準モデルで処理された画素値と前記ディスプレイのターゲットモデルで処理された画素値との差に関係することを特徴とする請求項１４記載の映像表示システム。
前記バックライト照度レベルを選択する手段により決定された選択を、バックライト照度レベルの極端な変動を回避するように時間的にフィルタリングする手段を更に含むことを特徴とする請求項１４記載の映像表示システム。
前記選択されたバックライト照度レベルに基づき、前記画像に対するトーンスケール補正カーブを計算する手段を更に含むことを特徴とする請求項１４記載の映像表示システム。
ａ）画像のうちの第１カラーチャンネル内の複数のブロックのうちの各々に対する最大画素値を決定する手段と、
ｂ）画像のうちの第２カラーチャンネル内の複数のブロックのうちの各々に対する最大画素値を決定する手段と、
ｃ）前記第１カラーチャンネルおよび前記第２カラーチャンネルから、前記最大画素値のヒストグラムを作成する手段と、
ｄ）可能なバックライト照度レベルのセットから、選択されたバックライト照度レベルの一部を選択し、該選択が前記画像の特性に依存しており、前記画像の前のフレームと該画像との間でシーンカットが検出されなかったときには、前記前のフレームのバックライト照度レベルの近傍に限られたサーチにより、前記選択されるバックライト照度レベルの一部を決定し、前記前のフレームと前記画像との間でシーンカットが検出されたときには、バックライトの照度レベルの全レンジを参照して、前記選択するバックライト照度レベルの一部を決定する手段と、
ｅ）ガンマ指数関数のあらかじめ計算された第１整数表示を使ってディスプレイ基準モデルを計算する手段と、
ｆ）ガンマ指数関数のあらかじめ計算された第２の整数表示を使ってディスプレイターゲットモデルを計算する手段と、
ｇ）前記バックライト特有のフレームDistortion値に基づき、バックライト照度レベルを選択する手段を含むことを特徴とする画像の特性を調節するための映像表示システム。