JP2009157378A

JP2009157378A - 映像表示システム

Info

Publication number: JP2009157378A
Application number: JP2008323448A
Authority: JP
Inventors: Louis J Kerofsky; ジョセフケロフスキールイス
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-12-26
Filing date: 2008-12-19
Publication date: 2009-07-16
Anticipated expiration: 2028-12-19
Also published as: CN101911171A; CN101911171B; HK1150332A1; US20090167673A1; EP2227801A1; US8223113B2; EP2227801A4; EP2227801B1; WO2009081717A1; JP5336165B2; RU2426161C1

Abstract

【課題】光源照度レベル信号と画像補償プロセスとをこの光源照度レベル信号に対する遅延プロセスによって同期化させること。
【解決手段】本発明の要素は、光源照度レベル信号と画像補償プロセスとをこの光源照度レベル信号に対する遅延プロセスによって同期化させるためのシステムおよび方法。
【選択図】図１２２

Description

本発明の実施例は、光源照度レベルの選択および低減された光源照度レベルを補償する補償曲線の適用のための方法およびシステムに関し、一部の実施例は画像補償および画像処理における遅延を調整するために光源信号を遅延する技術を含む。

代表的なディスプレイデバイスは、固定されたレンジの輝度レベルを使用して画像をディスプレイする。多くのディスプレイでは、輝度レンジは２５６のレベルを有し、これらレベルは０〜２５５までの間で均一に離間している。これらレベルに直接マッチするよう、一般に画素値が割り当てられている。

大型ディスプレイを有する多くの電子デバイスでは、ディスプレイが主要なパワー（電力）消費コンポーネントとなっている。例えばラップトップコンピュータでは、ディスプレイは多分システム内の他のコンポーネントのどれよりも多くのパワーを消費する。バッテリー給電デバイスで見られるような、パワーの利用能力が限られている多くのディスプレイは、パワー消費量を管理するのを助けるために限られた数の照明または明るさレベルを使用することができる。システムを電源、例えばＡ／Ｃ電源にプラグインすると、システムはフルパワーのモードを使用でき、バッテリーのパワーで作動するときには省力モードを使用する。
特開２００４−１１００５０号公報特開２００７−１４３１２２号公報特開２００６−２７６６７７号公報特開２００７−２７２０２３号公報

一部のデバイスでは、ディスプレイは省力モードに自動的に入ることができ、このモードでは、パワーを節約するためにディスプレイの照度を下げる。これらデバイスは照度をステップ状に低減する多数の省力モードを有することができる。ディスプレイの照度を低減すると、一般に画質も低下する。最大輝度レベルを低下させると、ディスプレイのダイナミックレンジも低下し、画質のコントラストに影響が出る。従って、通常の省力モードの作動中ではコントラストおよびその他の画質が低下する。

液晶ディスプレイ（ＬＣＤ）またはデジタルマイクロミラーデバイス（ＤＭＤ）のような多くのディスプレイデバイスは、一方向または別方向にバック照明、サイド照明またはフロント照明される光バルブを使用している。ＬＣＤのようなバックライト用の光バルブディスプレイでは、液晶パネルの背面にバックライトが設置される。バックライトはＬＣパネルを通して光を放射し、ＬＣパネルは画像を表示するように光を変調する。カラーディスプレイでは輝度とカラーの双方を変調できる。個々のＬＣピクセルはバックライトからＬＣパネルを透過し、ユーザーの眼またはその他の目的物に達する光の量を変調する。一部のケースでは、目的物を電荷結合デバイス（ＣＣＤ）のような光センサとすることができる。

一部のディスプレイは、画像を表示するのに発光器も使用できる。発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイのようなこれらディスプレイは、別の光源からの光を反射するのではなく、自ら発光する画素を使用している。

本発明の目的は、光源照度レベル信号と画像補償プロセスとをこの光源照度レベル信号に対する遅延プロセスによって同期化させるためのシステムおよび方法を提供することにある。

本発明の一部の実施例は、低下した光源照明強度を補償するか、または固定された光源照明レベルで画質を改善するために、光バルブ変調されたピクセルの輝度変調レベルを変えるためのシステムおよび方法を含む。

本発明の一部の実施例は、画像を表示するために発光器を使用するディスプレイと共に使用することもできる。これらディスプレイ、例えば発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイは、別の光源からの光を反射するのではなく、自ら光を放出するピクチャーエレメントを使用する。本発明の実施例は、これらデバイスが発生する画像を良くするために使用できる。これら実施例では、特定の画像周波数バンドのダイナミックレンジ、輝度レンジおよびその他の画像サブ分割を増加するために、ピクセルの明るさが調節される。

本発明の一部の実施例では、画像特性に応答してディスプレイの光源を異なるレベルに調節できる。これら光源のレベルが変わるとき、明るさの変化を補償するか、またはその他の方法で画像を良くするように、画像の画素値を調節できる。

本発明の一部の実施例は、光源レベルおよび画像ピクセル値を判断する際の入力として使用される周辺光検出を含む。

本発明の一部の実施例は、Distortionに関連した光源およびバッテリー消費量制御を含む。

本発明の一部の実施例は、画像トーンスケール補正を発生し、これを適用するためのシステムおよび方法を含む。

本発明の一部の実施例は、カラー忠実度が改善された画像トーンスケール補正をするための方法およびシステムを含む。

本発明の一部の実施例は、ディスプレイ光源照明レベルを選択するための方法およびシステムを含む。

本発明の一部の実施例は、パネルトーン曲線およびターゲットトーン曲線を発展させるための方法およびシステムに関し、これら実施例の一部は、異なるバックライトまたは光源照明レベルに各々の曲線が関連する複数のターゲットトーン曲線を開発するために提供される。これら実施例では、バックライト照明レベルを選択することができ、選択されたバックライト照明レベルに関連するターゲットトーン曲線を、ディスプレイすべき画像に適用できる。一部の実施例では、性能目標はトーン曲線パラメータの選択を行わせる。

本発明の一部の実施例は、カラーエンハンスメントのための方法およびシステムを含む。これら実施例の一部は、肌色検出、肌色マップリファインメントおよびカラー処理を含む。

本発明の一部の実施例は、ビット深度拡張のための方法およびシステムも含む。これら実施例の一部は、ビット深度低減に先立ち、画像に空間および時間ハイパスディザーパターンを適用することを含む。

本発明の一部の実施例は、ビデオシーケンスにおけるシーンカットの存在に応答する光源照度レベルフィルタを含む。

本発明の一部の実施例は、モデルの属性を表示するように写像された画像特性に基づく光源照度レベル選択を含む。一部の実施例では、周辺光条件、ユーザによる輝度選択および画像特性をディスプレイのモデル属性に関連付けるマップを選択あるいは変更するときの手動によるユーザのマップ選択を考慮に入れている。一部の実施例では、ディスプレイの輝度レベルを選択するユーザによる入力に応答する時間フィルタも含む。

本発明の一実施例では、ディスプレイの光源照度レベル選択のための方法およびシステムを含む。これらの実施例の一部はヒストグラムの生成および操作を含む。一部の実施例では、二次元ヒストグラムを一次元ヒストグラムに変換するために、色重み付け係数が使用される。

本発明の一部の実施例では、低減された光源照度レベルを補償する変更された光源照度レベル補償曲線の生成のための方法およびシステムの他に、前記変更された光源照度レベル補償曲線を適用した後に適用される追加のトーンスケールプロセスを含む。

本発明の一部の実施例では、画像補償および画像処理における遅延を調整するために光源信号に遅延を与える方法およびシステムを含む。一部の実施例では、可変遅延が使用される。一部の実施例では、フレーム速度変換パラメータに基づく選択的遅延が使用される。

添付図面と共に、以下の詳細な説明を検討すれば、本発明の上記およびその他の目的の特徴および利点についてより容易に理解できよう。

図面を参照することにより、本発明の実施例について最良に理解できよう。図面全体にわたり、同様の部分は同様の番号で示す。添付図面は下記の詳細な説明の一部として援用する。

図面に示し、本明細書に一般的に説明される。本発明の要素は、広範な種々の構成に配置し、設計することができることが容易に理解できよう。従って、本発明の方法およびシステムの実施例の下記のより詳細な説明は、発明の範囲を限定するものではなく、本発明の現時点で好ましい実施例を単に示すにすぎない。

本発明の実施例の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアで具現化できる。本明細書に開示した実施例は、これら形態のうちの１つを述べるにすぎず、当業者であれば、本発明の範囲内でこれら要素をこれら形態のいずれかで実施できることが理解できよう。

光バルブ変調器、例えばＬＣ変調器およびその他の変調器を使用するディスプレイデバイスを、反射型とすることができ、ここで光は（観察者に向いた）前方表面に放射され、変調パネル層を通過した後に観察者に向かって反射される。ディスプレイデバイスは透過型のものもあり、そこでは変調パネル層の背面に向かって光が放射され、変調層を通過して観察者に達するようになっている。一部のディスプレイデバイスは、反射型と透過型とを組み合わせた透過反射型になっている。そこでは、光は変調層を通って背面から前面に通過し、一方、別の光源からの光が変調層の正面から入射した後に反射されるようになっている。これらケースのいずれにおいても、例えば個々のＬＣエレメントのような変調層における要素は、ピクセルの感知される明るさを制御できる。

バックライト、フロントライトおよびサイドライトディスプレイでは、光源を一連の蛍光灯、ＬＥＤアレイまたは他の光源とすることができる。ディスプレイが、通常の約１８インチのサイズよりも大型である場合、光源がデバイスのパワー消費量の大部分を構成する。所定の用途および所定の市場では、パワー消費量を低減することは重要である。しかしながら、パワーを低減することは、光源の光束を低減すること、よってディスプレイの最大の明るさを低減することを意味する。

現在のガンマ補正された光バルブ変調器のグレイレベルの画素値（ＣＶ）と、光源レベルＬ_sourceと、出力光レベルＬ_outに関係する基本的な式は次のとおりである。

ここで、ｇは較正利得（ゲイン）であり、ｄａｒｋは光バルブのダークレベルであり、ａｍｂｉｅｎｔは部屋の条件によって決まるディスプレイに入射する光である。この式から、バックライト光源をｘ％だけ低減すると、光出力もｘ％低下することが分かる。

光バルブの変調値を変更することにより、特にこれら値をブースト（増強）することにより、光源のレベルの低下量を補償できる。実際に、（１−ｘ％）未満の光レベルは正確に再現できるが、光源を追加したり、または光源の強度を増加することなく、（１−ｘ％）を越える光レベルを再現することはできない。

元の光源および低減した光源からの光出力を設定すると、（ｄａｒｋおよびａｍｂｉｅｎｔを０と仮定した場合の）ｘ％の低減に対する画素値を補正するのに使用される基本画素値補正式が得られ、これらの式は次のように示される。Ｌ_reducedは低減したバックライト光源、ＣＶ_boostはブーストした画素値である。

図２Ａはこの調整を示す。図２Ａおよび２Ｂでは、元のディスプレイ値は直線１２に沿った点に対応する。バックライトすなわち光源を省エネモードとし、光源の照明を低減するとき、この光源の照明量の低減に光バルブが対抗できるようにするためには、ディスプレイの画素値をブーストしなければならない。これらブーストされた値は、直線１４に沿った点に一致する。しかしながら、このような調節の結果、画素値１８は、ディスプレイが発生できる値（例えば８ビットディスプレイの場合２５５）よりも大きくなる。従って、これら値は図２Ｂに示されるように、２０でクリップされる。このように調節された画像は色あせた（washed out）ハイライト、不自然な見え方および全体に低い画質に悩まされる。

このような単純な調節モデルを使用すると、低減光源照明モードの間、フルパワー光源で再生されるレベルに等しい輝度レベルで、クリッピングポイント１５よりも低い画素値（この実施例では入力画素値２３０）がディスプレイされることになる。より低いパワーで同じ輝度が再生され、結果として省エネになる。画像の画素値の組をクリッピングポイント１５よりも低い範囲に制限した場合、ユーザーにはっきりわかるように省エネモードを作動できる。不幸なことに、値がクリッピングポイント１５を越えると、輝度が低下し、細部が失われる。本発明の実施例は、輝度レンジのハイエンドで生じるクリッピングアーティファクトを低減しながら、明るさを増加する（または省エネモードにおける明るさの低減をなくす）よう、ＬＣＤまたは光バルブ画素値を変えることができるアルゴリズムを提供するものである。

本発明の一部の実施例は、小パワーでディスプレイされる画像輝度を、かなりの範囲の値にわたり、フルパワーでディスプレイされる輝度に一致させることにより、ディスプレイの光源パワーを低減することに関連する明るさの低下を解消する。これら実施例では、出力輝度を特定のファクターで割った光源またはバックライトのパワーの低下を、逆ファクターにより画像データをブーストすることによって補償するものである。

ダイナミックレンジの制限を無視すると、フルパワーでディスプレイされる画像と低パワーでディスプレイされる画像とを同じにすることができる。その理由は、除算（低減された光源の照明に対するもの）と乗算（ブーストされた画素値に対するもの）とが、実質的にかなりの範囲にわたってキャンセルし合うからである。ダイナミックレンジの限界は、画像データの乗算（画素値増加に対する）がディスプレイの最大量を越えるときはいつも、クリッピングアーティファクトを生じさせ得る。ダイナミックレンジの制限によって生じるクリッピングアーティファクトは、画素値の上端部でブーストをロールオフすることによって解消または低減できる。このロールオフは、最大忠実ポイント（ＭＦＰ）でスタートでき、このポイントより上では、輝度は元の輝度に一致しなくなる。

本発明の一部の実施例では、光源の照明量の低減または画像エンハンスメントに対する事実上の低減を補償するために、次の手段を実行する。
１）照明低減パーセントによって光源（バックライト）の低減レベルを決定する。
２）低減パワー出力とフルパワー出力との一致からのロールオフが生じる最大忠実ポイント（ＭＦＰ）を決定する。
３）補償トーンスケール演算子を決定する。
ａ．ＭＦＰより下では、ディスプレイ輝度の低減を補償するように、トーンスケールをブーストする。
ｂ．ＭＦＰより上では、トーンスケールを徐々にロールオフする（一部の実施例では、連続微分値を維持しながらこれを行う）。
４）トーンスケールマッピング演算子を画像に適用する。
５）ディスプレイに送る。

これら実施例の主な利点は、画像の狭いカテゴリーに対してわずかに変化を加えることで、電力節減を達成できることである。（ＭＦＰより上でしか差が発生せず、このような差は、明るさのピークの低減および明るい細部の一部の喪失として生じる。）画像のこれら領域をフルパワーモードから区別できないようにするフルパワーモードと同じ輝度にて、省エネモードでＭＦＰより下の画像の値をディスプレイできる。

本発明の一部の実施例は、パワーの低減およびディスプレイのガンマに依存し、画像データに依存しないトーンスケールマップを使用できる。これら実施例は２つの利点を提供できる。第１に、フレームを別個に処理することに起因するフリッカーアーティファクトが生じないこと、第２にアルゴリズムの実行上の複雑性が低いことである。一部の実施例では、オフラインのトーンスケール設計と、オンラインのトーンスケールマッピングを使用できる。ＭＦＰの仕様により、ハイライトにおけるクリッピングを制御できる。

図３を参照し、本発明の実施例の一部の特徴について説明できる。図３は、いくつかの状況において輝度に対してプロットされた画像の画素値を示すグラフである。鎖線で示された第１の曲線３２は、光源が１００％のパワーで作動したときの元の画素値を示し、一点鎖線の曲線として示された第２の曲線３０は、光源がフルパワーの８０％で作動したときの、元の画素値の輝度を示す。破線で示された第３の曲線３６は、光源がフルパワーの８０％で作動している間、１００％の光源の照明で提供される輝度に一致するように画素値をブーストしたときの輝度を示す。実線で示された第４の曲線３４は、データのハイエンドにおけるクリッピングの効果を減少するためのロールオフ曲線と共に、増加されたデータを示す。

図３に示されるこの実施例では、画素値１８０におけるＭＦＰ３５を使用した。画素値１８０より下では、ブーストされた曲線３４が元の１００％のパワーディスプレイによる輝度出力３２と一致することに留意されたい。１８０より上では、増加した曲線は８０％のディスプレイで可能な最大出力までスムーズに移行する。このスムーズさがクリッピングおよび量子化アーティファクトを低減する。一部の実施例では、ＭＦＰ３５によって示される移行ポイントにおいて、スムーズにマッチするよう、トーンスケール関数を部分ごとに定めることができる。ＭＦＰ３５より下では、ブーストされたトーンスケール関数を使用できる。ＭＦＰ３５より上では、曲線は、ＭＦＰにおいて、ブーストされたトーンスケール曲線の最終点までスムーズに一致し、最大画素値［２５５］における最終点３７に一致する。一部の実施例では、曲線の傾きはＭＦＰ３５におけるブーストされたトーンスケール曲線／ラインの傾きに一致させることができる。このような一致は、ＭＦＰ値における直線関数の微分値と曲線関数の微分値とを等しくすることにより、ＭＦＰ値より下の値での直線の傾きをＭＦＰ値より上の値での曲線の傾きに一致させ、さらにその点における直線関数の値と曲線関数の値を一致させることによって達成される。曲線関数に対する別の制限は、曲線を最大値ポイント［２５５、２５５］３７を通過させるようにすることである。一部の実施例では、曲線の傾きを最大値ポイント３７において０に設定してもよい。一部の実施例では、ＭＦＰ値１８０を、２０％の光源のパワー低減量に対応させることもできる。

本発明の一部の実施例では、最大忠実ポイント（ＭＦＰ）以下での利得ｇと線形関係になるように、トーンスケール曲線を定めることができる。前記ＭＦＰ点以上では、曲線と、その１次微分値とが、ＭＦＰ点で連続になるようにトーンスケールを定めることができる。このような連続性は、トーンスケール関数における以下の形態を意味する。

この利得は次のようにディスプレイのガンマと明るさの低減比（フルパワー（Full Power），低減されたパワー（Reduced Power））によって決定できる。

一部の実施例では、明るさの絶対値の保持とハイライトの細部の保持とをマニュアルでバランスさせることによって、ＭＦＰ値をチューニングできる。

最大ポイントにおいて傾き（Slope）をゼロにするという制限を課すことにより、ＭＦＰを決定できる。このことは次のことを意味する。

一部の実施例では、一実施例に従い、簡単なブーストされたデータ、クリッピングを有するブーストされたデータおよび補正されたデータに対する画素値をそれぞれ計算するのに、次の式を使用できる。

ここで、定数Ａ、ＢおよびＣは、ＭＦＰでスムーズに一致し、曲線がポイント［２５５、２５５］を通過するように選択される。図４にはこれら関数のプロットが示されている。

図４は、元の画素値と調節された画素値の関係を示すプロットである。元のデータライン４０に沿ったポイントとして元の画素値が示されており、このことは、元の値と調節された値が調節されていないオリジナルであるから、それらの関係が１：１であることを示す。本発明の実施例によれば、より高い輝度レベルを示すように、これら値をブーストまたは調節することができる。上記「トーンスケールブースト（Tone Scaleboost）」式による単純なブースト方法の結果、ブーストライン４２に沿った値が得られる。これらの値のディスプレイ結果は、ライン４６としてグラフで示され、かつ「クリップされたトーンスケール」式で数学的に示されるようにクリップが生じるので、調節は曲線４４に沿って最大忠実ポイント４０から最大値ポイント４７まで漸減する。一部の実施例では、この上記関係を「補正されたトーンスケール」式で数学的に記述できる。

このような考え方を使用することにより、１００％のパワーで光源が作動するディスプレイによって示される輝度値を、より低いパワーレベルで光源が作動するディスプレイによって代えることができる。このことは、トーンスケールのブーストにより達成でき、このトーンスケールのブーストは基本的には光源の照度の損失を補償するために、実質的にもっと光バルブを使えるようにする。しかしながら、画素値範囲全体にわたってこれらブーストを単純に適用することは、範囲の上端でクリッピングアーティファクトが生じる結果となる。このようなアーティファクトを防止または減少するために、トーンスケール関数はスムーズにロールオフされる。このロールオフは、ＭＦＰパラメータによって制御できる。ＭＦＰの大きい値は、広い範囲にわたり輝度を一致させるが、画素値の最大のところで視認できる量子化／クリッピングアーティファクトを増加させる。

本発明の実施例は、画素値を調節することにより実施できる。簡単なガンマディスプレイモデルでは、画素値のスケーリングは、異なるスケールファクターによる輝度値のスケーリングを生じさせる。より現実的なディスプレイモデルのもとでこのような関係が成り立つかどうかを判断するために、ガンマオフセット利得（ゲイン）−フレア（ＧＯＧ−Ｆ）モデルを検討する。バックライトパワーをスケーリングすることは、周辺ではなく、ディスプレイの出力にパーセントｐを適用するようなリニアな線形漸減式（Linear reduced equations）に対応する。利得をファクターｐだけ低減することは、利得を変更しないこと及びディスプレイガンマによって決定されるファクターだけデータ、画素値およびオフセットをスケーリングすることと等価である。数学的には、適切に変更することによって乗算係数をパワー関数に挿入できる。このような変形係数は、画素値（ＣＶ）とオフセットの双方を変動させる。

図５を参照し、本発明の一部の実施例について説明する。これらの実施例は、画像処理前にオフラインでトーンスケール調節を設計または計算するか、または画像を処理しながらオンラインで調節を設計し、計算することができる。トーンスケール調節５６は作動のタイミングに係わらず、ディスプレイガンマ５０、効率係数５２および最大忠実ポイント（ＭＦＰ）５４に基づき設計し、計算される。これらの係数はトーンスケール調節モデル５８を生成するために、トーンスケール設計プロセス５６内で処理することができる。トーンスケール調節モデルはアルゴリズム、ルックアップテーブル（ＬＵＴ）または画像データに適用できる他のモデルの形態をとり得る。

調節モデル５８を一旦作成すると、このモデルを画像データに適用できる。図６を参照し、この調節モデルの適用について説明できる。これら実施例では、画像を入力（６２）し、画素値を調節するために画像にトーンスケール調節モデル５８を適用（６４）する。このプロセスの結果、出力画像６６が得られ、この出力画像６６はディスプレイに送られる。トーンスケール調節のアプリケーション６４は、一般にオンラインプロセスであるが、条件が許せば、画像をディスプレイする前に実施される。

本発明の一部の実施例は、例えばＬＥＤディスプレイ、プラズマディスプレイおよび他のタイプのディスプレイのような発光ピクセル変調器を使用して、ディスプレイに表示される画像をエンハンスするためのシステムおよび方法を含む。光源がフルパワーモードまたは他のモードで作動する光バルブピクセル変調器を使用するディスプレイに表示される画像をエンハンスするために、これら同じシステムおよび方法を使用できる。

これら実施例は、前に説明した実施例と同じように作動するが、低減された光源の照度を補償するというよりは、これら実施例は単に光源があたかも減少したかのごとく、あるレンジのピクセルの輝度を単純に高める。このようにすることによって、画像の全体の明るさが改善される。

これら実施例では、かなりの範囲の値にわたって元の画素値がブーストされる。実際の光源の照度が低下しないということを除けば、他の実施例に対しても、上記のようにこの画素値調節を実行できる。従って、画素値の広い範囲にわたり、画像の明るさは著しく増加する。

同じように、図３を参照し、これら実施例の一部について説明できる。これら実施例では、元の画像に対する画素値が、曲線３０に沿った点として示されている。これら値を、より高い輝度レベルを有する値にブーストまたは調節できる。これらブーストされた値は、曲線３４に沿った点として表示でき、曲線３４はゼロ点３３から最大忠実点３５まで延び、次に最大値点３７までテーパオフする。

本発明の一部の実施例は、不鮮明（unsharp）マスキングプロセスを含む。これら実施例の一部では、不鮮明マスキングは空間的に変化する利得を使用でき、この利得は画像の値および変更されたトーンスケール曲線の傾きによって決定される。一部の実施例では、ディスプレイパワーの制限に起因し、画像の明るさを再現できないときでも、利得のアレイを使用することによって画像のコントラストにマッチングすることが可能となる。

本発明の一部の実施例は、次のプロセス手段をとり得る。
１．トーンスケール調節モデルを計算する。
２．ハイパス画像を計算する。
３．利得アレイを計算する。
４．利得によりハイパス画像に重みづけする。
５．ローパス画像と重みづけされたハイパス画像を合計する。
６．その合計をディスプレイに送る。

本発明の別の実施例は、次のプロセス手段をとり得る。
１．トーンスケール調節モデルを計算する。
２．ローパス画像を計算する。
３．画像とローパス画像との間の差として、ハイパス画像を計算する。
４．画像の値および変更されたトーンスケール曲線の傾きを使って利得のアレイを計算する。
５．ハイパス画像を利得で重みづけする。
６．ローパス画像と重みづけされたハイパス画像とを合計する。
７．これをパワーが低減されたディスプレイへ送る。

本発明の一部の実施例を使用することにより、画像の狭いカテゴリー上の小さい変化を伴うだけで、電力節減を達成できる（差はＭＦＰより大きいところで生じるだけであり、明るさのピークの低下と明るい細部の喪失として生じる）。フルパワーと同じ輝度で省エネモードにてＭＦＰより小さい範囲の画像値をディスプレイし、これら画像領域をフルパワーモードの画像領域と区別できないようにできる。本発明の別の実施例は、明るい細部の喪失を低減することにより、このような性能を改善する。

これら実施例は明るい細部を保持するために、空間的に変化する不鮮明マスキングを含むことができる。他の実施例と同じように、オンラインコンポーネントとオフラインコンポーネントの双方を使用できる。一部の実施例では、トーンスケール関数の外に、利得マップを計算することにより、オフラインコンポーネントを拡張できる。利得マップは画像値に基づいて、適用するために不鮮明フィルタ利得を指定できる。トーンスケール関数の傾きを使用することにより、利得マップ値を決定できる。一部の実施例では、特定のポイントＰにおける利得マップ値は、ポイントＰにおけるトーンスケール関数の傾きに対するＭＦＰより下の範囲のトーンスケール関数の傾きの比として計算される。一部の実施例では、ＭＦＰより下の範囲では、トーンスケール関数は線形であるので、利得はＭＦＰより下の範囲では１である。

図７を参照し、本発明の一部の実施例について説明できる。これらの実施例では、画像処理前にトーンスケール調節をオフラインで設計または計算してもよいし、または画像を処理しながらオンラインでトーンスケール調節を設計し、または計算してもよい。トーンスケール調節７６は作動のタイミングに係わらず、ディスプレイのガンマ７０、効率係数７２および最大忠実ポイント（ＭＦＰ）７４の少なくとも１つに基づき設計し、または計算される。これらの係数はトーンスケール調節モデル７８を生成するために、トーンスケール設計プロセス７６内で処理される。トーンスケール調節モデルは、アルゴリズム、ルックアップテーブル（ＬＵＴ）または上記他の実施例を参照して説明したような画像データに適用できる他のモデルの形態をとり得る。これらの実施例では、別の利得マップ７７も計算される（７５）。この利得マップ７７を、例えば周波数レンジのような特定の画像のサブ分割に適用できる。一部の実施例では、画像の周波数分割された部分に利得マップを適用してもよいし、一部の実施例ではハイパス画像のサブ分割に利得マップを適用してもよい。更に、特定の画像周波数レンジまたは他の画像サブ分割に適用してもよい。

図８を参照し、トーンスケール調節モデルの一例について説明できる。これらの実施例では、関数移行ポイント（ＦＴＰ）８４（光源低減補償の実施例で使用されるＭＦＰに類似する）を選択し、ＦＴＰ８４より下の値に対して第１の利得関係８２を提供するように利得関数を選択する。一部の実施例では、この第１利得関係をリニアな関係とすることができるが、他の関係および関数を使って画素値をエンハンスされた画素値に変換してもよい。ＦＴＰ８４より上の範囲では、第２の利得関係８６を使用できる。この第２の利得の関係８６を、ＦＴＰ８４と最大値ポイント８８とを接ぐ関数とすることができる。一部の実施例では、第２の利得関係８６は、ＦＴＰ８４における第１の利得関係８２の値と傾きに一致し、最大値ポイント８８を通る。他の実施例に関してこれまで説明したような別の関係および更に別の関係が、第２の利得関係８６としても働く。

一部の実施例では、図８に示されるようなトーンスケール調節モデルに関連して、利得マップ７７を計算できる。図９を参照し、利得マップの一例７７について説明できる。これらの実施例では、利得マップ関数はトーンスケール調節モデルの傾きの関数としてトーンスケール調節モデル７８と関連する。一部の実施例では、特定の画素値におけるトーンスケール調節モデルの傾きに対するＦＴＰより下の範囲の画素値におけるトーンスケール調節モデルの傾き（Tone Scale Slope）の比により、特定の画素値における利得マップ関数の値を決定する。一部の実施例では、この関係を式１１により数学的に表記できる。

これらの実施例では、利得マップ関数はトーンスケール調節モデルが、リニアなブーストとなるＦＴＰより下の範囲の関数に等しい。ＦＴＰより上の範囲の画素値に対し、利得マップ関数はトーンスケール調節モデルの傾きが漸減するにつれ、急速に増大する。このような利得マップ関数における急俊な増加は、利得マップ関数を適用する画像部分のコントラストをエンハンスする。

ディスプレイパーセント（光源の低下率）８０％、ディスプレイガンマおよび最大忠実ポイント１８０を使って、図８に示されたトーンスケール調節係数および図９に示された利得マップ関数の例を計算した。

本発明の一部の実施例では、トーンスケール調節モデルを適用した後に、不鮮明マスキング演算を行う。これら実施例では、不鮮明マスキング技術によりアーティファクトを低減する。

図１０を参照し、本発明の一部の実施例について説明する。これら実施例では、元の画像１０２を入力し、この画像に対してトーンスケール調節モデル１０３を適用する。この元の画像１０２は、利得マップを生じさせる利得マッピングプロセス１０５への入力としても使用する。次に、ローパスフィルタ１０４を通してトーンスケール調節された画像を処理することにより、ローパス調節された画像が得られる。次に、ハイパス調節された画像を生じるように、トーンスケール調節された画像からローパス調節された画像を減算する（１０６）。次に、利得マップ内の適切な値を、このハイパス調節された画像に対して乗算（１０７）し、利得調節されたハイパス画像を得る。この利得調節されたハイパス画像をローパス調節された画像に加える（１０８）が、ローパス調節された画像は既にトーンスケール調節モデルによって調節されている。このような加算の結果、明るさが増し、高周波コントラストが改善された出力画像１０９が得られる。

これら実施例の一部では、画像の各ピクセルの各コンポーネントに対し、利得マップおよびそのピクセルにおける画像の値から利得の値を決定する。トーンスケール調節モデルを適用する前に、元の画像１０２を使って利得を決定することもできる。ローパス画像に追加する前に、対応する利得値によりハイパス画像の各ピクセルの各コンポーネントをスケーリングしてもよい。利得マップ関数が１であるポイントでは、不鮮明マスキング演算は画像の値を変更しない。利得マップ関数が１を越えるポイントでは、コントラストが増す。

本発明の一部の実施例は、１つの画像を多数の周波数バンドに分解することにより、画素値の明るさを高めるときの上端の画素値におけるコントラストの喪失をアドレスする。一部の実施例では、低パワー設定時の光源輝度の低減を補償するため、または表示される画像の明るさを単に高めるために画像データの明るさを高めるローパスバンドに対してトーンスケール関数を適用する。これと平行して、より低いディスプレイパワーに起因して中間の絶対的な明るさが低下する領域でも、画像のコントラストを保持する。ハイパスバンドに一定の利得を適用する。アルゴリズム例の作動を次のように示すことができる。
１．元の画像の周波数分解を実行する。
２．明るさ保存、すなわちトーンスケールマップをローパス画像に適用する。
３．ハイパス画像に対し、一定の乗数を適用する。
４．ローパス画像とハイパス画像とを合計する。
５．合計の結果をディスプレイに送る。

光源照度低減アプリケーションのために、元の画像のフルパワーディスプレイとプロセス画像の低パワーディスプレイとの測光用の組合せ（match）を作ることにより、オフラインでトーンスケール関数および一定利得を決定できる。明るさエンハンスメントアプリケーションのためにオフラインでトーンスケール関数を決定することもできる。

最も適度なＭＦＰの値に対して、これらの一定のハイパス利得実施例と不鮮明マスキング実施例とは、性能の点でほとんど区別できない。これら一定ハイパス利得の実施例は、不鮮明マスキング実施例と比較して３つの主な利点、すなわちノイズの影響が減少すること、より大きいＭＦＰ／ＦＴＰを使用できること、およびディスプレイシステムで現在使用されている処理手段を使用することを有する。不鮮明マスキング実施例は、トーンスケール曲線の傾きの逆数である利得を使用する。この曲線の傾きが小さいとき、この利得は大きい増幅ノイズを生じさせる。このノイズの増幅は、ＭＦＰ／ＦＴＰのサイズに実際上の限界も課す。第２の利点は、任意のＭＦＰ／ＦＴＰの値に拡張できることである。システム内にアルゴリズムを設置することを検討することから、第３の利点が得られる。一定ハイパス利得実施例と、不鮮明マスキング実施例の双方は、周波数の分解を使用している。一定ハイパス利得実施例は、この演算を最初に実行するが、一部の不鮮明マスキング実施例は、周波数分解を行う前にトーンスケール関数をまず適用する。デコンターリング（de-contouring）のようなシステムの処理は、明るさ保存アルゴリズムの前に周波数分解を実行する。これらの場合、一定ハイパス実施例により周波数分解を使用し、それによって変換手段を除外できるが、一部の不鮮明マスキング実施例は、周波数分解を反転し、トーンスケール関数を適用し、さらに追加的な周波数分解を実行しなければならない。

本発明の一部の実施例はトーンスケール関数を適用する前に空間周波数に基づき画像を分割することにより、上端の画素値におけるコントラストの喪失を防止する。これらの実施例では、画像のローパス（ＬＰ）コンポーネントに対し、ロールオフを有するトーンスケール関数を適用できる。光源照度低減補償アプリケーションでは、このアプリケーションはローパス画像コンポーネントの全部の輝度の組合せ（match）を用意する。これらの実施例では、ハイパス（ＨＰ）コンポーネントを均一にブースト（一定利得）する。周波数分解された信号を必要に応じて再結合し、クリッピングすることができる。ハイパスコンポーネントはトーンスケール関数のロールオフを通過しないので、細部が保存される。ローパストーンスケール関数のスムーズなロールオフは、ブーストされたハイパスコントラストを追加するためのあき高（head room）を保存する。この最終結合で生じ得るクリッピングが、細部を大幅に減少させるとは判断されていない。

図１１を参照し、本発明の一部の実施例について説明できる。これらの実施例は、周波数分割または分解１１１と、ローパストーンスケールマッピング１１２と、一定ハイパス利得またはブースト１１６と、エンハンスされた画像コンポーネントの総和または再結合１１５とを含む。

これら実施例では、入力画像１１０を空間周波数バンド１１１に分解する。２つのバンドを使用する一実施例では、ローパス（ＬＰ）フィルタ１１１を使ってこの分解を実行する。フィルタ１１１を介してＬＰ信号を計算し、元の画像からＬＰ信号を減算（１１３）し、ハイパス（ＨＰ）信号１１８を形成することにより、周波数分割を実行する。一実施例では、この分解のために空間５×５短方形フィルタを使用しているが、別のフィルタも使用できる。

次に、前に説明した実施例と同じように、トーンスケールマッピングを適用することにより、ＬＰ信号を処理できる。一実施例では、この処理をフォトメトリックマッチングＬＵＴによって達成できる。これらの実施例では、ほとんどの細部は既にフィルタリング１１１の際に抽出されているので、前に説明した不鮮明マスキングの実施例と比較して、より大きい値のＭＦＰ／ＦＴＰを使用できる。コントラストを追加するために何らかのあき高を保持しなければならないので、一般にクリッピングを使用すべきではない。

一部の実施例では、上限において、トーンスケール曲線の傾きがゼロとなるように、ＭＦＰ／ＦＴＰを自動的に決定し、設定される。図１２には、このように決定した一連のトーンスケール関数が示されている。これらの実施例では、２５５においてトーンスケール関数が傾き０となるようにＭＦＰ／ＦＴＰの最大値を決定できる。この値は、クリッピングを生じさせない最大のＭＦＰ／ＦＴＰ値である。

図１１を参照して説明した本発明の一部の実施例では、ＨＰ信号１１８を処理することは、ローパス信号を処理するのに使用されるＭＦＰ／ＴＰの選択とは関係なく行われる。パワー／光源照度を低減するとき、または明るさを改善するために画像の画素値を他の方法でブーストするときに、コントラストを維持する一定利得１１６を用いて、ＨＰ信号１１８を処理する。フルおよび低減バックライトパワー（ＢＬ）およびディスプレイガンマによって表されるＨＰ信号の利得１１６の式は、ハイパス利得式（High Pass Gain equation）として以下に示される。利得は一般に小さい（例えば、利得は８０％のパワー低減およびガンマ値２．２に対して１．１である）ので、このＨＰコントラストのブーストは、ノイズに対して影響を受けにくい。

一部の実施例では、トーンスケールマッピング１１２をＬＵＴ処理またはその他の方法によりＬＰ信号に適用し、ＨＰ信号に一定利得１１６を適用して、これら周波数成分を合計（１１５）し、一部のケースではクリッピングすることができる。ＬＰ値に加えられるブーストされたＨＰ値が２５５を越えるときに、クリッピングが必要となる場合がある。このことは一般に、高いコントラストを有する明るさの信号にしか適さない。一部の実施例では、トーンスケールのＬＵＴを構築することにより、ＬＰ信号が上限を越えないように保証する。ＨＰ信号はクリッピングを生じさせることがあるが、クリッピングが生じる場合でも、あるコントラストを維持することによってＨＰ信号の負の値はクリッピングされない。

光源が画像に依存する実施例
本発明の一部の実施例では、表示されている画像、前に表示された画像、表示された画像の後で表示すべき画像またはそれらの組み合わせの特性によって、ディスプレイ光源の照明レベルを調節できる。これらの実施例では、画像特性に従ってディスプレイ光源の照明レベルを変えることができる。一部の実施例では、これらの画像特性は、画像輝度レベル、画像クロミナンスレベル、画像ヒストグラム特性およびその他の画像特性を含む。

画像特性を一旦確認すると、１つ以上の画像の属性をエンハンスするために、光源（バックライト）の照明レベルを変えることができる。一部の実施例では、より暗い画像領域またはより明るい画像領域におけるコントラストをエンハンスするように光源レベルを増減してもよい。画像のダイナミックレンジを高めるように、光源の照明レベルを増減してもよい。一部の実施例では、各画像フレームに対する電力消費量を最適にするように、光源のレベルを調節できる。

光源のレベルを一旦変更すると、どんな理由であれ、画像を更に改善するようにトーンスケール調節を使って画像ピクセルの画素値を調節できる。電力を節約するために光源レベルを低減した場合、失われた明るさを再び取り戻すようにピクセルの値を大きくすることができる。特定の輝度レンジにおけるコントラストをエンハンスするように光源のレベルを変更した場合、別のレンジにおける減少したコントラストを補償するために、または特定のレンジを更にエンハンスするために、ピクセルの値を調節できる。

本発明の一部の実施例では、図１３に示されるように、画像の内容に画像トーンスケール調節を依存させることができる。これらの実施例では、画像の特性を判断するために、画像を分析する（１３０）。画像特性として、輝度チャンネル特性、例えば画像の平均輝度である平均ピクチャーレベル（ＡＰＬ）、最大輝度値、最小輝度値、例えば平均ヒストグラム値、最も頻繁なヒストグラムの値、およびその他の値、輝度ヒストグラムデータ、並びにその他の輝度特性を挙げることができる。更に画像特性として、カラー特性、例えば個々のカラーチャンネル（例えばＲＧＢ信号内のＲ、Ｇ＆Ｂ）の特性も挙げることができる。カラーチャンネル固有の画像特性を決定するために、各カラーチャンネルを別個に分析できる。一部の実施例では、各カラーチャンネルに対して別々のヒストグラムを使用してもよい。他の実施例では、画像データの空間分布に関する情報を含むブロブヒストグラムデータを画像特性として使用してもよい。また、画像特性はビデオフレーム間の時間的変化も含むことができる。

画像を一旦分析（１３０）し、特性を決定すると、画像特性の値に基づき、一組のあらかじめ計算されたマップからトーンスケールマップを計算または選択できる（１３２）。バックライト調節を補償するか、または他の方法で画像をエンハンスするために、画像にこのマップを使用（１３４）できる。

図１４を参照して本発明の一部の実施例について説明できる。これら実施例では、画像分析器１４２は、画像１４０を受信し、トーンスケールマップを選択するのに使用できる画像特性を決定する。次に、これら特性をトーンスケールマップセレクタ１４３へ送り、このセレクタは画像特性に基づき適当なマップを決定する。次に、画像１４０に対してマップを使用するために、画像プロセッサ１４５へこのマップ選択を送ることができる。画像プロセッサ１４５はマップ選択および元の画像データを受信し、選択されたトーンスケールマップ１４４を用いて、元の画像を処理し、それによってユーザーに表示するために、ディスプレイ１４６へ送られる。調節された画像を発生する。これら実施例では、画像特性に基づき選択するために、１つ以上のトーンスケールマップ１４４を記憶する。これらトーンスケールマップ１４４をあらかじめ計算し、テーブルまたは他のデータフォーマットとして記憶できる。これらトーンスケールマップ１４４は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成したエンハンスメントマップまたは他のマップを含むことができる。

図１５を参照し、本発明の一部の実施例について説明できる。これら実施例では、画像分析器１５２は、画像１５０を受信し、トーンスケールマップを計算するのに使用できる画像特性を決定する。次に、これら特性はトーンスケールマップ計算器１５３へ送られ、この計算器は画像特性に基づき、適切なマップを計算する。計算されたマップは、画像プロセッサ１５５へ送られ、このマップは画像１５０に対して使用される。画像プロセッサ１５５は、計算されたマップ１５４および元の画像データを受信し、トーンスケールマップ１５４を用いて、元の画像を処理し、それによってユーザーに表示するためにディスプレイ１５６に送られる。調節された画像を発生する。これら実施例では、画像特性に基づき実質的にリアルタイムでトーンスケールマップ１５４を計算する。計算されたトーンスケールマップ１５４は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使用して作成されたエンハンスメントマップまたは別のマップを含むことができる。

図１６を参照し、本発明の別の実施例について説明する。これら実施例では、光源の照明レベルは画像の内容に依存するが、トーンスケールマップも画像の内容に依存できる。しかしながら、必ずしも光源の計算チャンネルとトーンスケールマップチャンネルとの間で通信がなくてもよい。

これら実施例では、光源またはトーンスケールマップマップ計算に必要な画像特性を決定するために画像を分析する（１６０）。この情報は、画像に適した光源の照明レベル１６１を計算するのに使用される（１６１）。画像を表示するときに光源（例えばバックライト）の変動に対して、この光源のデータをディスプレイへ送る（１６２）。画像特性情報に基づき、トーンスケールマップを選択または計算する場合（１６３）、トーンスケールマップチャネルにも画像特性データを送る。次に、ディスプレイ１６５に送られるエンハンスされた画像を生成するために、画像に対し、マップを適用（１６４）する。光源の信号がエンハンスされた画像データの表示に一致するよう、画像に対して計算された光源信号とエンハンスされた画像データとを同期化させる。

図１７に示されたこれら実施例の一部は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成されたエンハンスマップまたは別のマップを含む、格納されたトーンスケールマップを使用する。これら実施例では、トーンスケールマップおよび光源計算に関係する画像特性を決定するために画像分析器１７２に画像１７０を送る。次にこれら特性は、光源レベル計算器１７７へ送られ、適切な光源照明レベルが決定される。トーンスケールマップセレクタ１７３へも一部の特性を送り、適切なトーンスケールマップ１７４を決定するのに使用する。次に、画像プロセッサ１７５に元の画像１７０およびマップ選択データが送られ、プロセッサは選択されたマップ１７４を検索し、マップ１７４を画像１７０に適用し、エンハンスされた画像を作成する。次に、このエンハンスされた画像はディスプレイ１７６へ送られ、ディスプレイ１７６は光源レベル計算器１７７からの光源レベル信号も受信し、エンハンスされた画像が表示されている間、光源１７９を変調するためにこの信号を使用する。

図１８に示されたこれら実施例の一部は、オンザフライ方式でトーンスケールマップを計算できる。これらマップは、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成されたエンハンスマップまたは別のマップを含むことができる。これら実施例では、トーンスケールマップおよび光源計算に関連する画像特性を決定するために画像分析器１８２に画像１８０を送る。次にこれら特性は、適切な光源照度レベルを決定するために、光源計算器１８７へ送られる。一部の特性は、トーンスケールマップ計算器１８３へも送られ、適切なトーンスケールマップ１８４を計算するのに使用される。次に、画像プロセッサ１８５に元の画像１８０および計算されたマップ１８４が送られ、画像プロセッサ１８５は計算されたマップ１８４を画像１８０に適用し、エンハンスされた画像を作成する。次に、このエンハンスされた画像はディスプレイ１８６へ送られ、このディスプレイ１８６は光源計算器１８７からの光源レベル信号も受信し、エンハンスされた画像が表示されている間、光源１８９を変調するためにこの信号を使用する。

図１９を参照し、本発明の一部の実施例について説明できる。これらの実施例では、光源並びにトーンスケールマップの計算および選択に関連する画像特性を決定するために画像を分析（１９０）する。次に、光源照度レベルを計算（１９２）するために、これら特性を使用する。光源照度レベルを使用して、トーンスケール調節マップ１９４を計算または選択する。次に、エンハンスされた画像を作成するために、画像に対してこのマップを適用（１９６）する。次にディスプレイにエンハンスされた画像および光源レベルデータを送る（１９８）。

図２０を参照し、図１９に関連して説明した方法のために使用される装置について説明する。これらの実施例では、画像分析器２０２にて、画像２００を受信し、この分析器で画像特性を決定する。次に、画像分析器２０２は、光源レベルを決定するために、光源計算器２０３へ画像特性データを送る。次に、トーンスケールマップセレクタまたは計算器２０４に光源レベルデータが送られ、セレクタまたは計算器２０４は、光源レベルに基づき、トーンスケールマップを計算または選択する。次に、マップを元の画像に適用するために、元の画像と共に、選択されたマップ２０７または計算されたマップは画像プロセッサ２０５に送ることができる。このプロセスで、画像をディスプレイ中にディスプレイの光源光を変調するのに使用される光源光レベル信号と共にディスプレイ２０６へ送られるエンハンスされた画像を発生する。

本発明の一部の実施例では、光源制御ユニットは画質を維持する光源低減を選択する役割を果たす。光源レベルの選択をガイドするのに、適応ステージにおける画質を保存するための能力の知識を使用する。一部の実施例では、画像が明るいか、または画像が高度に飽和したカラー、例えば画素値２５５を有する青色を含むとき、高い光源レベルが必要であることを認識することが重要である。バックライトレベルを決定するために輝度だけを使用すると、低い輝度だが、大きい画素値、例えば飽和した青色または赤色を有する画像を有するアーティファクトの原因となる。また、一部の実施例では、各カラー平面を検査し、すべてのカラー平面の最大値に基づく判断を行うことができる。一部の実施例では、バックライト設定はクリップされるピクセルの特定の単一パーセンテージに基づいてなされる。図２２に示された別の実施例では、バックライト変調アルゴリズムは２つのパーセンテージ、すなわちクリップされた（Clipped）ピクセル２３６のパーセンテージと歪んだ（Distorted）ピクセル２３５のパーセンテージを使用できる。これら異なる値によるバックライト設定の選択により、トーンスケール計算器がハードなクリップを課すよりもトーンスケール関数をスムーズにロールオフするための余地が可能となる。ある入力画像を仮定し、各カラー平面に対する画素値のヒストグラムを決定する。２つのパーセンテージＰ_Clipped２３６およびＰ_Distorted２３５を仮定し、これらパーセンテージ２２４〜２２６に対応する画素値を決定するために、各カラー平面２２１〜２２３のヒストグラムを検査する。これによって、Ｃ_Clipped（color）２２８およびＣ_Distorted（color）２２７が生じる。異なるカラー平面の間の最大のクリップされた画素値２３４および最大の歪んだ画素値２３３を使用し、バックライト設定２２９を決定できる。この設定により、各カラー平面に対し、せいぜい画素値の指定されたパーセンテージをクリップするか、または歪ませることが保証される。

画素値ＣＶ_Clipped２３４において、２５５でトーンスケール関数がクリップするように、ＢＬパーセンテージを補償し、選択するために使用されるトーンスケール（ＴＳ）関数を検討することによって、バックライト（ＢＬ）パーセンテージを決定する。このトーンスケール関数は値ＣＶ_Distorted（この傾きの値はＢＬの減少量を補償する）より下ではリニアであり、ＣＶ_Clippedより上の画素値に対し、２５５で一定であり、連続した微分値を有する。この微分値を検討すると、より小さい傾きの選択の仕方、従ってＣＶ_Distortedより低い画素値に対し、画像のDistortionを生じさせないバックライトのパワーの選択の仕方が分かる

図２１に示されるＴＳの微分値のプロットでは、値Ｈは未知である。ＴＳがＣＶ_Clippedを２５５にマッピングするには、ＴＳの微分値以下の領域を２５５にしなければならない。このような制限によって我々は下記のようにＨの値を決定できる。

画素値のブーストおよびディスプレイのガンマ並びにDistortionポイントより下の画素値に対する正確な補償のための基準からＢＬパーセンテージを決定する。ＣＶ_Clippedでクリップし、ＣＶ_Distortedより下の無Distortionからスムーズに移行できるようにするＢＬ（バックライト）比は、次の式で示される。

ＢＬの変動の問題を更に解決するために、ＢＬ比に上限を課す。

ＬＣＤとＢＬとの間で同期がないことを補償するために、上記のように誘導される画像依存ＢＬ信号に対して時間的なローパスフィルタリング２３１を適用できる。図２２にはバックライト変調アルゴリズムの一例の図が示されており、他の実施例では異なるパーセンテージおよび値を使用できる。

トーンスケールマッピングは画像のDistortionを最小にしながら、選択されたバックライト設定を補償できる。上記のようにバックライト選択アルゴリズムは対応するトーンスケールマッピング演算の能力に基づいて設計される。選択されたＢＬレベルにより、指定された第１のパーセンタイル（percentile）より下の画素値に対し、Distortionを生じることなくバックライトレベルを補償し、指定された第２のパーセンタイルより上の画素値をクリップするトーンスケール関数を可能にする。これら２つの指定されたパーセンタイルによりトーンスケール関数が可能となるが、この関数はDistortionのない領域とクリッピング領域とをスムーズに移動する。

周辺光を検出する実施例
本発明の一部の実施例は、周辺照明センサを含み、このセンサは画像処理モジュールおよび／または光源制御モジュールに入力を提供する。これらの実施例では、トーンスケール調節、利得マッピングおよび他の変形を含む画像処理を周辺照明特性に関連させることができる。これら実施例は、周辺照明特性に関連する光源またはバックライト調節も含むことができ、一部の実施例では、単一処理ユニット内で光源と画像処理とを組み合わせることができ、別の実施例では、これら機能を別々のユニットで実行できる。

図２３を参照し、本発明の一部の実施例について説明する。これら実施例では、画像処理方法のための入力として周辺照明センサ２７０を使用できる。一部の実施例では、周辺照明センサ２７０からの入力および光源２６８のレベルに基づき、入力画像２６０を処理できる。光源２６８、例えば節電または他の理由から、ＬＣＤディスプレイパネル２６６を照明するためのバックライトのような光源２６８を変調または調節される。これらの実施例では、画像プロセッサ２６２が周辺照明センサ２７０および光源２６８からの入力を受信し、これら入力に基づき、画像プロセッサ２６２は周辺条件および光源２６８の照度レベルに合うように入力画像を変更する。他の実施例のための上記方法のいずれかに従い、または別の方法により、入力画像２６０を変更できる。一実施例では、減少された光源照度および周辺照明変動に関連し、画像ピクセル値を大きくするために、画像に対してトーンスケールマップが適用される。次に、例えばＬＣＤパネルのようなディスプレイパネル２６６に変更された画像２６４は登録される。一部の実施例では、光源照度レベルは周辺光が少ないときに減少され、又、光源照度の低下を補償するのにトーンスケール調節または他のピクセル値操作技術を使用するときに更にこのレベルを減少できる。一部の実施例では、周辺照明が低下したときに光源照度レベルを低下できる。一部の実施例では、周辺照明が上部スレッショルド値および／または下部のスレッショルド値に達したときに、光源照度レベルが増加される。

図２４を参照し、本発明の更に別の実施例について説明する。これら実施例では、画像処理ユニット２８２で入力画像２８０を受信する。この入力画像２８０の処理は、周辺照明センサ２９０からの入力に依存する。この処理は、光源処理ユニット２９４からの出力にも依存する。一部の実施例では、光源処理ユニット２９４は、周辺照明センサ２９０からの入力を受信でき、一部の実施例は、例えばデバイスのパワー消費モード、デバイスのバッテリー状態またはデバイスのその他の状態を表示するパワーモードインジケータのようなデバイスモードインジケータ２９２からの入力も受信できる。光源処理ユニット２９４は、周辺光状態および／またはデバイス状態を使用し、光源照度レベルを決定し、このレベルを使って、例えばＬＣＤディスプレイ２８６のようなディスプレイを照明する光源２８８を制御する。光源処理ユニットは、画像処理ユニット２８２へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理ユニット２８２は、入力画像２８０を処理するための処理パラメータを決定するために、光源処理ユニット２９４からの光源情報を使用できる。画像処理ユニット２８２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット２８２による処理の結果、調節された画像２８４が得られ、この画像はディスプレイが光源２８８で照明される場合、ディスプレイ２８６へ送られる。

図２５を参照し、本発明の別の実施例について説明する。これら実施例では、画像処理ユニット３０２で入力画像３００を受信する。入力画像３００の処理は、周辺照明センサ３１０からの入力に依存する。この処理は、光源処理ユニット３１４からの出力にも依存する。一部の実施例では、光源処理ユニット３１４は、周辺照明センサ３１０からの入力を受信でき、一部の実施例は、例えばデバイスのパワー消費モード、デバイスのバッテリー状態またはデバイスのその他の状態を表示できるパワーモードインジケータのようなデバイスモードインジケータ３１２からの入力も受信できる。光源処理ユニット３１４は、周辺光状態および／またはデバイス状態を使用し、光源照度レベルを決定し、このレベルを使って、例えばＬＣＤディスプレイ３０６のようなディスプレイを照明する光源３０８を制御する。光源処理ユニットは、画像処理ユニット３０２へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理ユニット３０２は、入力画像３００を処理するための処理パラメータを決定するために、光源処理ユニット３１４からの光源情報を使用できる。画像処理ユニット３０２は、入力画像３００を処理するための処理パラメータを決定するために周辺照明センサ３１０からの周辺照明情報も使用できる。画像処理ユニット３０２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット３０２による処理の結果、調節された画像３０４が得られ、ディスプレイを光源３０８で照明する場合、この画像をディスプレイ３０６へ送ることができる。

図２６を参照し、本発明の別の実施例について説明する。これら実施例では、画像処理ユニット３２２で入力画像３２０を受信する。入力画像３２０の処理は周辺照明センサ３３０からの入力に依存し、この処理は光源処理ユニット３３４からの出力にも依存する。一部の実施例では、周辺照明センサ３３０からの入力を光源処理ユニット３３４が受信し、別の実施例では、画像処理ユニット３２２から周辺情報を受信できる。光源処理ユニット３３４は中間光源照明レベルを決定するのに、周辺光状態および／またはデバイス状態を使用できる。この中間光源照度レベルは、光源ポストプロセッサ３３２へ送られ、このポストプロセッサは、中間光源照度レベルを特定のデバイスのニーズに合わせることができる量子化器、タイミングプロセッサ、または他のモジュールの形態をとり得る。一部の実施例では、光源のポストプロセッサ３３２は、光源３２８のタイプおよび／または、例えばビデオアプリケーションのような撮像アプリケーションによって課されたタイミング制限のために、光源制御信号を調整することができる。次に、ポスト処理された信号は、例えばＬＣＤディスプレイ３２６のようなディスプレイを照明する光源３２８を制御するのに使用できる。光源処理ユニットは、このポスト処理された光源照度レベルおよび／または他の情報を画像処理ユニット３２２へ送ることもできる。

画像処理ユニット３２２は、入力画像３２０を処理するための処理パラメータを決定するために、光源処理ユニット３３４からの光源情報を使用できる。画像処理ユニット３２２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット３２２による処理の結果、調節された画像３２４が得られ、ディスプレイ３２６を光源３２８で照明する場合、この画像はディスプレイ３２６へ送られる。

本発明の一部の実施例は、別個の画像分析モジュール３４２、３６２および画像処理モジュール３４３、３６３を含むことができる。これらユニットを単一のコンポーネントまたは単一のチップ上に組み込むことができるが、これらのユニットの相互作用が良くわかるように、別々のモジュールとして図示し、説明する。

図２７を参照し、本発明のこれら実施例の一部について説明する。これらの実施例では、画像分析モジュール３４２で入力画像３４０を受信する。この画像分析モジュールは、画像の特性を決定するために画像を分析し、決定された画像特性は画像処理モジュール３４３および／または光源処理モジュール３５４へ送られる。入力画像３４０の処理は周辺照明センサ３５０からの入力に依存する。一部の実施例では、光源処理モジュール３５４は周辺照明センサ３５０からの入力を受信する。光源処理ユニット３５４は、デバイスの状態またはモードセンサ３５２からの入力も受信できる。光源処理ユニット３５４は、周辺光状態、画像特性および／またはデバイス状態を使用し、光源照度レベルを決定する。この光源照度レベルは、例えばＬＣＤディスプレイ３４６のようなディスプレイを照明する光源３４８へ送られる。光源処理モジュール３５４は、ポスト処理された光源照度レベルおよび／または他の情報を画像処理モジュール３４３へ送ることもできる。

画像処理モジュール３４３は、光源処理モジュール３５４からの光源情報を使用し、入力画像３４０を処理するための処理パラメータを決定できる。画像処理モジュール３４３は、光源処理モジュール３５４を通して周辺照明センサ３５０から送られた周辺照明情報も使用する。この周辺照明情報は入力画像３４０を処理するための処理パラメータを決定するのに使用できる。画像処理モジュール３４３は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または全体に補償する。画像処理モジュール３４３の処理の結果として、調節された画像３４４が得られ、この画像はディスプレイ３４６が光源３４８によって照明できる場合、ディスプレイ３４６へ送られる。

図２８を参照し、本発明の一部の実施例について説明する。これら実施例では、画像分析モジュール３６２により、入力画像３６０を受信する。この画像分析モジュールは、画像特性を決定するために画像を分析でき、決定された画像特性は画像処理モジュール３６３および／または光源処理モジュール３７４へ送られる。入力画像３６０の処理は、周辺照明センサ３７０からの入力に依存し、この処理は、光源処理モジュール３７４からの出力にも依存する。一部の実施例では、画像処理モジュール３６３から周辺情報を受信することができ、この処理モジュールは周辺センサ３７０からの周辺情報を受信できる。この周辺情報は、画像処理モジュール３６３を通って、光源処理モジュール３７４に送られる、および／またはその途中で画像処理モジュールによって処理される。デバイスモジュール３７２から光源処理モジュール３７４へデバイスの状態またはモードを送ることもできる。

光源処理モジュール３７４は、光源照度レベルを決定するために周辺光の状態および／またはデバイスの状態を使用できる。この光源照度レベルはＬＣＤディスプレイ３６６のようなディスプレイを照明する光源３６８を制御するのに使用できる。光源処理ユニット３７４は、画像処理モジュール３６３へ光源照度レベルおよび／または他の情報を送ることもできる。

画像処理モジュール３６３は、光源処理モジュール３７４からの光源情報を使用し、入力画像３６０を処理するための処理パラメータを決定できる。画像処理モジュール３６３は、入力画像３６０を処理するための処理パラメータを決定するために周辺照明センサ３７０からの周辺照明情報を使用することもできる。画像処理モジュール３６３は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または全体に補償する。画像処理モジュール３６３の処理の結果として、調節された画像３６４が得られ、この画像はディスプレイ３６６が光源３６８によって照明できる場合、ディスプレイ３６６へ送られる。

Distortion適応パワー管理実施例
本発明の一部の実施例は、モバイルデバイスおよびアプリケーションを含むディスプレイデバイスの必要パワー、ディスプレイ特性、周辺環境およびバッテリー制限を解決する方法およびシステムを含む。一部の実施例では、３種のアルゴリズム、例えばディスプレイパワー管理アルゴリズム、バックライト変調アルゴリズムおよび明るさ保存（ＢＰ）アルゴリズムが使用される。パワー管理は移動するバッテリー給電デバイスで優先度が高いが、これらシステムおよび方法は、エネルギー保存、熱管理および他の目的のためにパワー管理から利益が得られる他のデバイスにも適用できる。これら実施例では、これらアルゴリズムは相互に作用するが、個々の機能として次の機能を挙げることができる。
・パワー管理−これらのアルゴリズムはパワー消費量を最適にするよう、ビデオコンテンツ内の変動を利用する一連のフレームにわたってバックライトのパワーを管理する。
・バックライト変調−これらのアルゴリズムはパワー消費量を最適にするよう、個々のフレームのために使用するバックライトパワーレベルを選択し、画像内の統計値を利用する。
・明るさ保存−これらのアルゴリズムは低下したバックライトパワーを補償し、アーティファクトを防止しながら、画像の明るさを保存するために、各画像を処理する。

図２９を参照し、本発明の一部の実施例について説明するが、図２９は、これら実施例のコンポーネントの相互作用を示す簡略化されたブロック図を含む。一部の実施例では、パワー管理アルゴリズム４０６はビデオ、画像シーケンスまたは他のディスプレイタスクにわたり、固定されたバッテリーリソース４０２を管理すると共に、画質および／または他の特性を保持しながら、特定の平均パワー消費量を保証できる。バックライト変調アルゴリズム４１０は、パワー管理アルゴリズム４０６からの命令を受け、パワー管理アルゴリズム４０６によって定められた制限を受けるパワーレベルを選択し、各画像を効率的に表示する。明るさ保存アルゴリズム４１４は、選択されたバックライトレベル４１５および可能なクリッピング値４１３を使用し、低下したバックライトを補償するように画像を処理する。

ディスプレイのパワー管理
一部の実施例では、ディスプレイのパワー管理アルゴリズム４０６は、ビデオ、画像シーケンスまたは他のディスプレイタスクにわたるパワー使用量の分配を管理できる。一部の実施例では、ディスプレイパワー管理アルゴリズム４０６は、バッテリーの固定されたエネルギーを割り当て、画質を維持しながら、保証された作動寿命を提供する。一部の実施例では、パワー管理アルゴリズムの１つの目標は、バッテリーの寿命に対する保証されたより低い限度を提供し、モバイルデバイスの利用可能性を高めることにある。

一定パワー管理
任意の目標を満たすパワー制御の一形態は、所望する寿命を満たす固定されたパワーを選択することである。図３０には、一定パワー管理に基づくシステムを示すシステムブロック図が示されている。必須ポイントは、パワー管理アルゴリズム４３６が初期バッテリーの充電量４３２および所望する寿命４３４だけに基づき、一定のバックライトパワーを選択することである。各画像４４０において、このバックライトレベル４４４のための補償４４２が実行される。

バックライトレベル４４４、従ってパワー消費量は、画像データ４４０に依存しない。一部の実施例は、パワーモードに基づいて行うべきパワーレベルの選択を可能にする多数の一定パワーモードをサポートできる。一部の実施例では、システムの実現を簡単化するのに、画像に依存したバックライト変調を使用できない。別の実施例では、作動モードまたはユーザーの好みに基づき、いくつかの一定パワーレベルを設定し、選択できる。一部の実施例は、単一の低減されたパワーレベル、例えば最大パワーの７５％でこの原理を使用する。

簡単な適応型パワー管理
図３１を参照し、本発明の一部の実施例について説明する。これらの実施例は、適応型パワー管理アルゴリズム４５６を含み、バックライト変調４６０に起因するパワー低減量４５５が、パワー管理アルゴリズム４５６へフィードバックされ、所望するシステムの寿命を提供しながら、改善された画質を可能にする。

一部の実施例では、下記の式１８に示されるように、時間に対する静的な最大パワーの計算を更新することにより、パワー管理アルゴリズム内に、画像に従属したバックライト変調による省電力を含ませることができる。適応型パワー管理は、バックライト変調アルゴリズム４６０にパワーの上限（ｍＡ）を与えるために、残りの所望する寿命（時間）に対する残りのバッテリーの充電度（ｍＡ／時間）の比を計算することを含むことができる。一般にバックライト変調４６０は、更にパワーを節約するために、この最大値より下の実際のパワーを選択できる。一部の実施例では、バックライト変調に起因する省電力量は、残りのバッテリーの充電量の変化量値または作動中の選択された平均パワー、従って、パワー管理決定の後の影響を通してフィードバックの形態で反映される。

一部の実施例では、バッテリーのステータス情報を入手できないか、またはこの情報が不正確である場合、ディスプレイが使用するエネルギー、すなわち、平均選択パワーに作動時間を乗じたものを計算するか、またはこの値をバッテリーの初期充電量から減算することによって、残存バッテリー充電量を推定できる。

この後者の技術は、バッテリーと相互作用することなく実行できるという利点を有する。

パワーDistortion管理
本発明者は、パワー対Distortionの調整において、多くの画像は同じパワーでも大きく異なるDistortionを呈することを観察した。アンダー露出の写真のように、コントラストの貧弱なぼんやりした画像を、大パワーを使用する結果生じる黒レベルの上昇によって、小さいパワーでも実際に良好にディスプレイすることができる。パワー制御アルゴリズムは、画像のDistortionを直接パワー設定ではなく、バッテリー容量とトレードオフできる。図２９に示された本発明の一部の実施例では、パワー管理技術はバックライト制御アルゴリズム４１０に与えられる最大パワー４０１の外に、最大Distortion値のようなDistortionパラメータ４０３も含むことができる。これら実施例では、パワー管理アルゴリズム４０６は、そのときの画像のパワー／Distortion特性の形態でバックライト変調アルゴリズム４１０からのフィードバックを使用できる。一部の実施例では、そのときのフレームのターゲットパワーおよびパワー−Distortion特性に基づき、最大画像Distortionは修正される。これら実施例では、実際に選択されたパワーに対するフィードバックの外に、パワー管理アルゴリズムはDistortionターゲット４０３を選択し、提供でき、バッテリーの充電度４０２へのフィードバックの外に、対応する画像Distortion４０５に対するフィードバックを受信できる。一部の実施例では、パワー制御アルゴリズム内で別の入力、例えば周辺レベル４０８、ユーザーの好みおよび作動モード（例えばビデオ、グラフィックス）を使用できる。

本発明の一部の実施例は、ディスプレイの品質を維持しながら、ビデオシーケンスにわたってパワーを最適に割り当てるよう試みることができる。一部の実施例では、所定のビデオシーケンスの間、使用される全パワーと画像のDistortionとのトレードオフ点を選択するために、２つの基準を使用できる。最大画像Distortionと平均画像Distortionとを使用できる。一部の実施例では、これらを最小にできる。一部の実施例では、シーケンス内の各画像に対し、同じDistortionを使用することにより、画像シーケンスにわたって最大Distortionを最小化できる。これら実施例ではパワー管理アルゴリズム４０６は、このDistortion４０３を選択し、バックライト変調アルゴリズム４１０が、このDistortionターゲット４０３を満たすバックライトレベルを選択できるようにする。一部の実施例では、各画像に対して選択されたパワーが、パワーDistortion曲線の傾きを等しくするようになっているとき、平均Distortionを最小化できる。この場合、パワー管理アルゴリズム４０６は、適切なバックライトレベルを選択するために、バックライト変調アルゴリズム４１０に依存するパワーDistortion曲線の傾きを選択できる。

パワー管理プロセスにおけるDistortionを検討する際に、省電力を示すために、図３２Ａおよび３２Ｂを使用できる。図３２Ａは、画像シーケンスのうちの連続フレームに対する光源のパワーレベルのプロットであり、この図３２Ａは、フレームと一定Distortionグラフの平均パワー４８２との間で一定のDistortion４８０を維持するのに必要な光源のパワーレベルを示す。図３２Ｂは、画像シーケンスのうちの同じ連続フレームに対する画像Distortionのプロットである。図３２Ｂは、一定パワー設定を維持することから生じた一定パワーDistortion４８４、シーケンスにわたって一定Distortionを維持することから生じた一定Distortionレベル４８８および一定パワーを維持するときの平均一定パワーDistortion４８６を示す。一定パワーレベルは、一定Distortionの結果の平均パワーに等しくなるように選択されている。従って、双方の方法は同じ平均パワーを使用する。Distortionを検討することにより、一定パワー４８４は、画像のDistortionに大きな変動を生じさせることが分かった。双方の方法が同じ平均パワーを使用しているにもかかわらず、一定パワー制御の平均Distortion４８６は、一定DistortionアルゴリズムのDistortion４８８の１０倍より大きくなることにも留意されたい。

実際に、パワーとDistortionとのトレードオフを評価するには、パワーDistortion関数の各ポイントで、元の画像とパワーが低減された画像との間のDistortionを計算しなければならないので、ビデオシーケンスにわたる最大Distortionまたは平均Distortionを最小にしようとする最適化は、あるアプリケーションでは過度に複雑となることが証明される。各Distortion評価は、バックライトの低減および対応する画像の明るさの補償を計算し、元の画像と比較することを必要とする。従って、一部の実施例は、Distortion特性を計算し、または評価するためのより簡単な方法を含むことができる。

一部の実施例では、ある近似を使用できる。第１に、式２０が示すように、画像自身ではなく、画像の画素値のヒストグラムから、平均二乗誤差（ＭＳＥ）のようなポイントごとのDistortion（Distortion）の計量値を計算できることに注目する。この場合、ヒストグラムは３２０×２４０の解像度で、７６８０のサンプルを有する画像とは異なり、２５６の値しか有しない一次元の信号である。この値は、所望すれば、ヒストグラムをサブサンプリングすることによって更に低減できる。

一部の実施例では、実際の補償アルゴリズムを適用するのではなく、補償段階で、クリッピングにより単に画像をスケーリングすることを仮定することにより、近似を行うことができる。一部の実施例では、Distortion計量値内に黒レベルの上昇項を含ませることも有益である。一部の実施例では、このような項を使用することは、ゼロバックライトで完全にブラックのフレームに対して、最小Distortionが生じることを意味する。

一部の実施例では、各画素値に対する所定パワーレベルでのDistortionを計算するために、クリッピングと共にリニアブーストによって生じるDistortionが決定される。次に、このDistortionは画素値の周波数によって重みづけされ、指定されたパワーレベルでの平均画像Distortionを求めるために合計される。これら実施例では、明るさ補償のための簡単なリニアブーストは、画像ディスプレイのための許容できる画質を与えないが、バックライトの変化によって生じる画質のDistortionの推定値を計算するための簡単なソースとして働く。

図３３に示された一部の実施例では、パワー消費量および画像のDistortionの双方を制御するために、パワー管理アルゴリズム５００はバッテリーの充電度５０６および残存寿命５０８だけでなく、画像のDistortion５１０をも追尾する。一部の実施例では、パワー消費量に対する上限５１２およびDistortionターゲット５１１がバックライト変調アルゴリズム５０２に供給される。次に、このバックライト変調アルゴリズム５０２は、パワーの限度およびDistortionターゲットの双方に適合するバックライトレベル５１２を選択する。

バックライト変調アルゴリズム（ＢＭＡ）
バックライト変調アルゴリズム５０２は、各画像に対して使用されるバックライトレベルを選択する役割を果たす。この選択は、表示すべき画像およびパワー管理アルゴリズム５００からの信号に基づいてなされる。パワー管理アルゴリズム５００によって供給される最大パワーに関する限度５１２を考慮することにより、望ましい寿命にわたってバッテリー５０６が管理される。一部の実施例では、バックライト変調アルゴリズム５０２は、そのときの画像の統計値に応じたより低いパワーを選択できる。このことが特定の画像でのパワーを節約する源となり得る。

適当なバックライトレベル４１５を一旦選択すると、バックライト４１６は選択されたレベルに設定され、このレベル４１５は明るさ保存アルゴリズム４１４へ与えられ、必要な補償が決定される。一部の画像およびシーケンスに対し、少量の画像のDistortionを認めることにより、必要なバックライトパワーを大幅に低減できる。従って、一部の実施例は、制御された量の画像Distortionを認めるアルゴリズムを含む。

図３４は、Distortionのいくつかの許容度に対するフレーム数の関数としてのサンプルＤＶＤクリップでの省電力量を示すグラフである。Distortionがゼロのピクセルのパーセンテージは１００％から９７％と９５％へ変化し、ビデオクリップにわたる平均パワーが決定された。この平均パワーはそれぞれ９５％から６０％までの範囲であった。従って、ピクセルのうちの５％におけるDistortionを認めることにより、更に３５％パワーを節約できた。このことは、画像にわずかなDistortionを認めることによりパワーを大幅に節約できることを示している。明るさ保存アルゴリズムがわずかなDistortionを認める一方、主観的品質を保持できれば、大幅な省電力を達成できる。

図３０を参照し、本発明の一部の実施例について説明する。これら実施例は、周辺光センサ４３８からの情報も含むことができ、これら実施例はモバイルアプリケーションのために複雑さを低減できる。これら実施例はパワー管理アルゴリズム４３６が供給する静的なヒストグラムパーセント限度およびダイナミックな最大パワー限度を含む。一部の実施例では、一定パワーターゲットを含むことができるが、別の実施例は、より複雑なアルゴリズムを含む。一部の実施例では、カラーコンポーネントの各々のヒストグラムを計算することにより、画像を分析する。特定のパーセントが生じるヒストグラム内の画素値が各カラー平面に対して計算される。一部の実施例では、画素値のリニアブーストがヒストグラムから選択した画素値のクリッピングを生じさせるように、ターゲットバックライトレベルを選択できる。実際のバックライトレベルは、このターゲットレベルの最小値として選択され、バックライトレベルの限度はパワー管理アルゴリズム４３６によって与えられる。これらの実施例は、保証されたパワー制御を提供し、パワー制御限度に達することができた場合、限られた量の画像のDistortionを許容する。

画像のDistortionに基づく実施例
本発明の一部の実施例は、パワー管理アルゴリズムが供給するDistortion限度および最大パワー限度を含む。図３２Ｂおよび３４は、所定のバックライトパワーレベルでのDistortion量が画像のコンテンツに応じて大きく変化することを示している。各画像のパワーDistortion挙動の性質をバックライト選択プロセスで利用できる。一部の実施例では、各カラーコンポーネントに対するヒストグラムを計算することにより、そのときの画像を分析できる。式２０のうちの第２の式を利用してパワー値の範囲でのDistortionを計算することによって、Distortionを定めるパワーDistortion曲線（例えばＭＳＥ）を算出できる。バックライト変調アルゴリズムは、指定されたDistortion限度以下のDistortionをもつ最小のパワーをターゲットレベルとして選択する。このバックライトレベルは、ターゲットレベルの最小値として選択され、バックライトレベルの限度はパワー管理アルゴリズムによって与えられる。更に、選択されたレベルでの画像Distortionは、Distortionのフィードバックをガイドするために、パワー管理アルゴリズムに与えられる。パワーDistortion曲線のサンプリング周波数および画像ヒストグラムを、複雑さを制御するために低減することができる。

明るさ保存（Brightness Preservation（ＢＰ)）
一部の実施例では、ＢＰアルゴリズムは低下した照度を補償するために、選択されたバックライトレベルに基づき、画像を明るくする。ＢＰアルゴリズムはディスプレイに生じるDistortionを制御し、画質を維持するＢＰアルゴリズムの能力はバックライト変調アルゴリズムがどれだけ多くのパワーを節約できるかを決定する。一部の実施例は、２５５を超える画像クリッピング値をスケーリングすることにより、バックライトの低下を補償する。これらの実施例では、バックライト変調アルゴリズムはパワーを低減するのに慎重でなければならない。そうしないと、不快なクリッピングアーティファクトが生じ、可能な省電力が制限されることになる。一部の実施例は、固定されたパワー低減量にて最も要求されるフレームでの画質を維持するように設計されている。これらの実施例の一部は、単一バックライトレベル（例えば７５％）を補償する。別の実施例は、バックライト変調と共に働くように一般化できる。

明るさ保存（ＢＰ）アルゴリズムの一部の実施例は、バックライトおよび画像データの関数としてディスプレイから出力される輝度の記述を利用できる。このモデルを使用することによって、ＢＰはバックライトの低下を補償するように、画像に対する変更を決定できる。透過反射型ディスプレイの場合、ＢＰモデルはディスプレイの反射特性の記述を含むように変更できる。ディスプレイから出力される輝度は、バックライト、画像データおよび周辺の関数となる。一部の実施例では、ＢＰアルゴリズムは所定の周辺環境におけるバックライトの低減を補償するように、画像に対する変更を決定できる。

周辺の影響
実行が制限されているために、一部の実施例はＢＰパラメータを決定するための複雑度が制限されたアルゴリズムを含むことができる。例えばＬＣＤモジュール上で完全に作動するアルゴリズムを開発すると、アルゴリズムに利用できる処理およびメモリが制限される。この例では、一部のＢＰ実施例のために、異なるバックライトと周辺の組み合わせに対し、別のガンマ曲線を発生することが使用される。一部の実施例では、ガンマ曲線の数および分解能に対する制限が必要である。

パワー／Distortion曲線
本発明の一部の実施例は、ビデオシーケンスフレームを含むが、これだけに限定されない、画像に対するパワー／Distortion特性を把み推定し、計算し、または決定する。図３５は、４つの画像例に対するパワー／Distortion特性を示すグラフである。図３５では、画像Ｃに対する曲線５２０は、光源パワーバンド全体に対して負の傾きを維持し、画像Ａ、ＢおよびＤに対する曲線５２２、５２４および５２６は、これらが最低値に達するまで負の傾きで低下し、次に正の傾きで上昇する。画像Ａ、ＢおよびＤに対し、光源のパワーを増加すると、実際に曲線が正の傾き５２８を有するような曲線の特定範囲において、実際にDistortionが増加する。このことは、ＬＣＤの漏れまたはビューアーが見る表示された画像が画素値と一貫して異なるようにさせるその他のディスプレイの不規則性（これらだけに限定されない）のような表示特性に起因し得る。

本発明の一部の実施例は、特定の画像または画像タイプに対する適切な光源のパワーレベルを決定するために、これらの特性を使用する。画像に対する適切な光源のパワーレベルを決定するのに使用されるDistortionパラメータの計算時に、表示特性（例えばＬＣＤの漏れ）を考慮することができる。

方法の例
図３６を参照し、本発明の一部の実施例について説明する。これら実施例では、パワーバジェット（消費予定量）が確立される（５３０）。このことは、簡単なパワー管理、適応型パワー管理およびこれまで説明した他の方法、またはその他の方法によって実行できる。一般には、パワーバジェットを確立することは、例えばバッテリーの充電量の一部のような固定されたパワーリソースを使用しながら、ビデオファイルの表示のようなディスプレイタスクの完了を可能にするバックライトまたは光源のパワーレベルを推定することを含む。一部の実施例では、パワーバジェットを確立することは、固定された量のパワーでディスプレイタスクを完了できる平均パワーレベルを決定することを含む。

これらの実施例では、初期Distortion基準５３２も確立できる。パワーバジェットを満たす低減された光源のパワーレベルを推定し、そのパワーレベルにおける画像Distortionを測定することにより、この初期Distortion基準を決定できる。このDistortionは補正されていない画像上、上記のような明るさ保存（ＢＰ）技術を使って変更された画像上、または簡略化されたＢＰプロセスで変更された画像上で測定できる。

初期Distortion基準を一旦確立すると、Distortion基準を満たすように、表示された画像のDistortion特性を生じさせる光源のパワーレベルを使って、ディスプレイタスクの第１部分を表示できる（５３４）。一部の実施例では、各フレームがDistortion条件を満たすように、ビデオシーケンスの各フレームに対し、光源パワーレベルを選択できる。一部の実施例では、一定のDistortionまたはDistortion範囲を維持し、Distortionを指定されたレベルよりも低く維持するか、またはDistortion基準を満たすように光源の値を選択できる。

ディスプレイタスクの第１部分を表示するのに使用されたパワーが、パワーバジェット管理パラメータを満たしたかどうかを判断するために、パワー消費量が評価される（５３６）。各画像、ビデオフレーム、または他のディスプレイタスク要素に対して、固定された量を使用することによってパワーを割り当てることができる。一連のディスプレイタスク要素にわたって消費される平均パワーが条件を満たす。各ディスプレイタスク要素に対して消費されるパワーが変化するようにパワーを割り当てることもできる。その他のパワー割り当て方式も使用できる。

ディスプレイタスクの第１部分に対するパワー消費量がパワーバジェット条件を満たしていなかったと、パワー消費量の評価５３６が示しているとき、Distortion基準を変更できる（５３８）。パワー／Distortion曲線を推定し、仮定し、計算し、または他の方法で決定することができる一部の実施例では、パワーバジェット条件を満たすのに必要な多少のDistortionを認めるように、Distortion基準を変更できる。パワー／Distortion曲線は、画像固有であるが、シーケンスのうちの第１フレームに対する、シーケンス内の画像の一例に対する、またはディスプレイタスクを示す合成された画像に対するパワー／Distortion曲線を使用することができる。

一部の実施例では、ディスプレイタスクの第１部分に対して、予定されたパワー量以上のパワーが使用され、パワー／Distortion曲線の傾きが正であるとき、より少ないDistortionしか認めないように、Distortion基準を変更できる。一部の実施例では、ディスプレイタスクの第１部分に対して、予定されたパワー量以上のパワーが使用され、パワー／Distortion曲線の傾きが負であるとき、より多くのDistortionを認めるように、Distortion基準を変更できる。一部の実施例では、ディスプレイタスクの第１部分に対し、予定されたパワー量より少ないパワーが使用され、パワー／Distortion曲線の傾きが負または正であるとき、より少ないDistortionしか認めないように、Distortion基準を変更できる。

図３７を参照し、本発明の一部の実施例について説明する。これら実施例は一般に、パワーが限られたバッテリー給電デバイスを含む。これらの実施例では、バッテリーの充電度を推定または測定する（５４０）。ディスプレイタスクのパワー条件も推定または計算される（５４２）。初期の光源パワーレベルも推定または決定される（５４４）。上記一定パワー管理に関して説明したようなバッテリーの充電度およびディスプレイタスクのパワー条件を使って、または他の方法によって、この初期光源パワーレベルを決定できる。

初期光源パワーレベルに対応するDistortion基準を決定することもできる（５４６）。この基準は、初期光源パワーレベルにおいて、画像の一例に対して生じたDistortionの値とすることができる。一部の実施例では、Distortionの値は補正されていない画像、実際のＢＰアルゴリズムまたは推定されたＢＰアルゴリズムによって変更された画像、または別の画像の例に基づくことができる。

一旦Distortion基準が決定されると（５４６）、ディスプレイタスクの第１部分が評価され、評価基準を満たすよう、ディスプレイタスクの第１部分のDistortionを生じさせる光源パワーレベルが選択される（５４８）。次に、選択された光源パワーレベルを使ってディスプレイタスクの第１部分が表示され（５５０）、この部分の表示中に消費されるパワーが推定または測定される（５５２）。このパワー消費量がパワー条件を満たさないとき、パワー消費量がパワー条件を満たすようにDistortion基準を変更できる（５５４）。

図３８Ａおよび３８Ｂを参照して本発明の一部の実施例について説明する。これらの実施例では、パワーバジェットを確立し（５６０）、Distortion基準も確立する（５６２）。これら双方は一般に、例えばビデオシーケンスのような特別のディスプレイタスクに関して設定される。次に、画像、例えばフレームまたはビデオシーケンスのフレームの組を選択する（５６４）。次に、低減された光出力レベルから生じるDistortionがDistortion基準を満たすように、低減された光源のパワーレベルを選択された画像に対して推定する（５６６）。このDistortion計算は、推定された、または実際の明るさ保存（ＢＰ）方法の選択された画像に対する画像値への適用を含むことができる。

次に、低減された光源レベルを補償するために、ＢＰ方法５６８により、選択された画像を変更できる。次に、ＢＰで変更された画像の実際のDistortionが測定され（５７０）、この実際のDistortionがDistortion基準５７２を満たしているかどうかの判断がされる。実際のDistortionがDistortion基準を満たしていない場合、推定プロセス５７４を調節し、低減された光源パワーレベルを推定し直す（５６６）。実際のDistortionがDistortion基準を満たしていない場合、選択された画像表示される（５７６）。実際のDistortionがDistortion基準を満たしている場合、選択された画像が表示される（５７６）。次に、画像表示中のパワー消費量が測定され（５７８）、これとパワーバジェット制限５８０とが比較される。パワー消費量がパワーバジェットの制限を満たしている場合、ディスプレイタスクが終了（５８２）していなければ（この終了のポイントでプロセスは終了する）、次の画像、例えばビデオフレームの連続する組が選択される（５８４）。次の画像が選択されると（５８４）、プロセスはポイントＢまでリターンし、ここで低減された光源のパワーレベルがその画像に対して推定され（５６６）、プロセスは第１画像に関して続行される。

選択された画像に対するパワー消費量がパワーバジェット制限を満たしていない場合（５８０）、上記他の実施例に対して説明したように、Distortion基準を変更し（５８６）、次の画像を選択する（５８４）。

改良された黒レベルの実施例
本発明の一部の実施例は、ディスプレイの黒レベルの改良のためのシステムおよび方法を含む。一部の実施例は、指定されたバックライトレベルを使用し、明るさを維持すると共に黒レベルを改良する。輝度マッチングトーンスケールを発生する。別の実施例は、構成中に黒レベルの改良を含むバックライト変調アルゴリズムを含む。上記実施例の拡張または変更として一部の実施例を実施できる。

改良された輝度のマッチング（ターゲットにマッチする理想的なディスプレイ）
上で示した輝度マッチング式、式７を使って、バックライトの低下を補償する画素値のリニアスケーリングを決定する。このことはパワーが７５％まで低下した場合に実験で効果的であることが証明されている。画像に依存するバックライト変調を有する一部の実施例では、ダークフレームに対し、例えば１０％より低くバックライトを大幅に低減できる。これらの実施例では、式７で誘導される画素値のリニアスケーリングは、ダーク値を過剰にブーストできるので適さない。これら方法を使用する実施例は、パワーが低減されたディスプレイでもフルパワー出力を再生できるが、出力を最適にするようには働かないことがある。フルパワーのディスプレイは、高くなった黒レベルを有するので、ダークシーンに対するこのような出力を再生することは、より低いバックライトパワーの設定で可能であった、低減された黒レベルの効果を生じない。これらの実施例では、マッチング基準を変更し、式７で与えられる結果に対する置換式を誘導できる。一部の実施例では、理想的ディスプレイの出力をマッチングする。この理想的ディスプレイは、ゼロ黒レベルと、フルパワーのディスプレイと同じ最大出力、ホワイトレベル＝Ｗとを含むことができる。画素値ｃｖに対するこの理想的（ideal）ディスプレイの一例のレスポンスは、最大出力、すなわちＷ、ディスプレイガンマおよび最大画素値により、式２２で表記できる。

一部の実施例では、ＬＣＤの一例は最大出力Ｗおよびガンマを有することができるが、ゼロでない黒レベルＢを有することはできない。このようなＬＣＤの例は、フルパワー出力に対して上で説明したＧＯＤモデルを使ってモデル化できる。この出力は１００％未満のパワーに対する相対的バックライトパワーでスケールする。式２３に示されるように、フルパワーディスプレイの最大出力Ｗおよび黒レベルＢにより、ゲイン（Gain）およびオフセット（Offset）モデルパラメータを決定できる。

相対的パワーにより、フルパワーの結果をスケーリングすることにより、相対的バックライトパワーＰを有する低減されたパワーのディスプレイの出力を決定できる。

これら実施例では、可能であれば、理想的ディスプレイの出力と実際のディスプレイの出力とが等しくなるように、画素値を変更できる。（理想的出力が、実際の（actual）ディスプレイでの所定のパワーで可能である出力未満であるか、またはそれより大である場合）。

これら実施例はゼロでない黒レベルを有する実際のディスプレイで理想的出力にマッチングさせるための画素値の関係のいくつかの性質を示す。

これら結果は、ディスプレイがゼロの黒レベルを有すると仮定する、すなわちコントラスト比が無限である、別の実施例に対する我々の前の開発例と一致する。

バックライト変調アルゴリズム
これらの実施例では、輝度マッチング理論は、所定のパワーでのディスプレイとゼロ黒レベルを有する基準ディスプレイとをマッチングさせることにより、バックライト変調アルゴリズムを決定するために黒レベルの検討事項を含む。これら実施例は、理想的ディスプレイで表示されるときのDistortionと比較し、パワーＰで表示されるときに画像が有するはずのDistortionを決定するために、輝度マッチング理論を使用する。バックライト変調アルゴリズムは、指定された最大Distortionよりも低いDistortionを結果として生じさせるような最小パワーを選択するために、最大パワー限度と最大Distortion限度とを使用する。

パワーDistortion
一部の実施例において、フルパワーで黒レベルおよび最大の明るさで指定されるターゲットディスプレイおよび表示する画像を与えることによって、所定のパワーＰで画像を表示する際のDistortionを計算できる。限られたパワーディスプレイの明るさよりも大きい値をクリップし、更に理想的な基準の黒レベルよりも低い値をクリップすることにより、理想的基準ディスプレイ上でディスプレイの限られたパワーおよびゼロでない黒レベルをエミュレートできる。画像のDistortionは、元の画像の画素値とクリップされた画素値の間のＭＳＥとして定義できるが、一部の実施例では他のDistortionの尺度も使用できる。

クリッピング補正画像は、式２７で導かれたパワーに依存する画素値クリッピング限度により定義され、式２８で与えられる。

ピクセルドメインにおける理想的なディスプレイ上の画像とパワーＰを有するディスプレイ上の画像との間のDistortionは次のようになる。

このことは、画像の画素値のヒストグラムを使用して計算できることが理解できよう。

式２９に示されるようなこのDistortionの尺度の等価式を誘導するのに、トーンスケール関数の定義を使用できる。

この尺度は、大きい画素値でのクリッピング誤差と、小さい画素値でのクリッピング誤差の重みづけされた合計とを含む。式２９を使って、画像に対するパワー／Distortion曲線を描くことができる。図３９は、種々の画像例に対するパワー／Distortion曲線を示すグラフである。図３９は、白色のベタ画像に対するパワー／Distortionプロット５９０、人のグループの暗い低コントラスト画像に対するパワー／Distortionプロット５９４、黒のベタ画像に対するパワー／Distortionプロット５９２、および波に乗っているサーファーの明るい画像に対するパワー／Distortionプロット５９８を示す。

図３９から分かるように、画像が異なれば、パワーとDistortionの関係が全く異なることがある。極端な場合、ブラックのフレーム５９２は、パワーが１０％まで増加するにつれ、Distortionが急激に多くなり、バックライトパワーゼロでDistortionが最小である。逆に、ホワイトのフレーム５９０は、１００％のパワーでゼロまで急激に低下するまで、Distortionが一定割合で低下し、バックライトゼロで最大のDistortionを有する。明るいサーフィンの画像５９８は、パワーが増加するにつれ、Distortionが定常的に減少することを示している。他の画像５９４は、中間パワーレベルにおいて最小Distortionを示す。

本発明の一部の実施例は、次のように作動するバックライト変調アルゴリズムを含むことができる。
１．画像のヒストグラムを計算する。
２．画像に対するパワーDistortion関数を計算する。
３．Distortion限界より下のDistortionを有する最小パワーを計算する。
４．供給されるパワーの上限および下限に基づき、選択されるパワーを（オプションで）制限する。
５．バックライトに対して計算されたパワーを選択する。

図４０および４１を参照して説明した一部の実施例では、ＢＬ変調アルゴリズムによって選択されたバックライトの値６０４をＢＰアルゴリズムに提供し、トーンスケール設計のために使用する。平均パワー６０２とDistortion６０６が示されている。この実験で使用した平均パワー６００での上部境界も示されている。この上部境界よりも平均パワーの使用量はかなり少ないので、バックライト変調アルゴリズムはこの平均限度に等しい固定されたパワーを単に使用するよりも、少ないパワーを使用している。

スムーズなトーンスケール関数の開発
本発明の一部の実施例では、スムーズなトーンスケール関数は２つの設計概念を有する。第１は、トーンスケールに対するパラメータは与えられるものとし、これらパラメータを満たすスムーズなトーンスケール関数を決定することである。第２は、デザインパラメータを選択するためのアルゴリズムを含むことである。

パラメータを仮定するトーンスケールデザイン
式２６によって定められる画素値の関係は、有効レンジ「ｃｖＭｉｎ、ｃｖＭａｘ］にクリップされるときに、傾きの不連続性を有する。本発明の一部の実施例では、式７におけるブライトエンドで行ったロールオフと同じように、ダークエンドでのスムーズなロールオフを定めることができる。これら実施例は、最大忠実ポイント（ＭＦＰ）および最小忠実ポイント（ＬＦＰ）（これらの間でトーンスケールは式２６に一致する）の双方を仮定する。一部の実施例では、トーンスケールを連続となるように構築し、ＭＦＰとＬＦＰの双方で連続的な１次微分値を有することができる。一部の実施例では、トーンスケールは端部のポイント（ＩｍａｇｅＭｉｎＣＶ、ｃｖＭｉｎ）および（ＩｍａｇｅＭａｘＣＶ、ｃｍＭａｘ）を通過する。一部の実施例では、上端部および下端部の双方において、アフィンブースト（affine boost）から変形できる。更に、固定された限度を使用するのではなく、端部のポイントを決定するために画像の画素値の限度を使用することができる。この構築において、固定された限度を使用することが可能であるが、パワーが大きく低減される場合、問題が生じることがある。一部の実施例では、これら条件は次のように誘導される部分的に２次式のトーンスケールをユニークに定める。

ＬＦＰおよびＭＦＰにおけるトーンスケールの連続性および１次微分から次のことが得られる。

端部ポイントは次のように定数ＡおよびＤを決定する。

一部の実施例では、これら関係式はＭＦＰ／ＬＦＰおよびＩｍａｇｅＭａｘＣＶ／ＩｍａｇｅＭｉｎＣＶが利用できると仮定して、トーンスケールのスムーズな拡張を定める。これは、これらパラメータを選択する必要性をオープンのままとする。別の実施例は、これらデザインパラメータを選択するための方法およびシステムを含む。

パラメータの選択（ＭＦＰ／ＬＦＰ）
上記及び関連する出願において説明した本発明の一部の実施例は、２５５に等しいＩｍａｇｅＭａｘＣＶを有するＭＦＰしか提示しておらず、これらの実施例で導入されたＩｍａｇｅＭａｘＣＶの代わりに、ｃｖＭａｘを使用した。これまで説明した実施例は、理想的なディスプレイではなくフルパワーのディスプレイに基づくマッチングに起因して、下端部でリニアトーンスケールを有していた。一部の実施例では、スムーズなトーンスケールが上限、すなわちＩｍａｇｅＭａｘＣＶで傾きゼロを有するようにＭＦＰを選択した。数学的にはＭＦＰを次のように定義した。

この基準に対する解は、ＭＦＰを上部クリッピングポイントおよび最大画素値に関連付ける。

最も控えめなパワー低減、例えばＰ＝８０％の場合、この従来のＭＦＰ選択基準はうまく機能する。パワー低減率が大きい場合、これらの実施例は前に説明した実施例の結果よりも改善できる。

一部の実施例では、大きいパワー低減率に対して適したＭＦＰ選択基準を選択する。式３５内で値ＩｍａｇｅＭａｘＣＶを直接使用すると問題が生じることがある。パワーが小さい画像では、小さい最大画素値を予測する。画像内の最大画素値、すなわちＩｍａｇｅＭａｘＣＶが小さいとわかっている場合、式３５は、ＭＦＰに対して妥当な値を与えるが、ＩｍａｇｅＭａｘＣＶが未知であるか、または大きい場合には妥当でない、例えば負のＭＦＰの値が生じることがある。一部の実施例では、最大画素値が未知であるか、または過度に大きい場合、ＩｍａｇｅＭａｘＣＶに対して別の値を選択し、上記結果に適用される。

一部の実施例では、ＭＦＰが取り得るクリッピングされた値ｘ_highの最小の分数値を定めるパラメータとしてｋを定義できる。次に、式３５によって計算されるＭＦＰが、次のように妥当であるかどうかを判断するために、ｋを使用できる。

計算されたＭＦＰが妥当でなければ、ＭＦＰを最小の妥当な値に定め、ＩｍａｇｅＭａｘＣＶの必要な値を決定できる（式３７）。次に、下記のようにトーンスケールを決定するために、ＭＦＰおよびＩｍａｇｅＭａｘＣＶの値を使用できる。

一部の実施例のＭＦＰ選択のための手段は次のように要約される。
１．ＩｍａｇｅＭａｘＣＶ（または利用できない場合はＣＶＭａｘ）を使って、候補ＭＦＰを計算する。
２．式３６を使って妥当性をテストする。
３．妥当でない場合、クリッピング画素値の分数値ｋに基づき、ＭＦＰを定義する。
４．式３７を使って新しいＩｍａｇｅＭａｘＣＶを計算する。
５．ＭＦＰ、ＩｍａｇｅＭａｘＣＶおよびパワーを使ってスムーズなトーンスケール関数を計算する。
ＩｍａｇｅＭｉｎＣＶおよびｘｌｏｗを使って、ダークエンドでのＬＦＰを選択するために、同様な技術を使用できる。

図４２から４５には、スムーズトーンスケールデザインアルゴリズムおよび自動パラメータ選択に基づくトーンスケールデザインの例が示されている。図４２および４３は、１１％のバックライトパワーレベルを選択した場合の、トーンスケールデザインの一例を示す。ＭＦＰ６１０とＬＦＰ６１２との間のトーンスケールデザインのリニア部分に対応するライン６１６が示されている。トーンスケールデザイン６１４はＭＦＰ６１０より上で及びＬＦＰ６１２より下でライン６１６から離間するようにカーブしているが、ＬＦＰ６１２とＭＦＰ６１０との間でライン６１６に一致している。図４３は図４２のトーンスケールデザインのダーク領域のズームイン画像である。ＬＦＰ６１２は明瞭に見ることができ、トーンスケールデザインのより下の曲線６２０は、リニア延長部６２２から離間するようにカーブしていることが分かる。

図４４および４５は、バックライトレベルを最大パワーの８９％に選択したトーンスケールデザインの一例を示す。図４４は、トーンスケールデザインのリニア部分に一致するライン６３４を示す。このライン６３４は、理想的なディスプレイの応答を示す。トーンスケールデザイン６３６はＭＦＰ６３０よりも上で、及び、ＬＦＰ６３２の下方において、理想的なリニアディスプレイ表示６３４から離間するようにカーブしている（６３６、６３８）。図４５は、トーンスケールデザイン６４２が理想的なディスプレイ延長部６４４から離間するようにカーブしている、ＬＦＰ６４０よりも下のトーンスケールデザイン６３６のダークエンドのズームイン画像である。

本発明の一部の実施例では、理想的なディスプレイ画像と実際のディスプレイ画像との間で誤差計算を変えることによりDistortion計算を修正できる。一部の実施例では、ＭＳＥを歪んだピクセルの合計と置換できる。一部の実施例では、上部領域のクリッピング誤りと下方領域のクリッピング誤差とで異なる重みづけをすることができる。

本発明の一部の実施例は、周辺光センサを含むことができる。周辺光センサを利用できる場合、周辺照明およびスクリーン反射の効果を含むDistortion計量値を修正するのにセンサを使用できる。このセンサを使って、Distortion計量値、従ってバックライト変調アルゴリズムを変更できる。また、ブラックエンドにおける適切な感知し得るクリッピングポイントを示すことによっても、トーンスケールデザインを制御するために周辺情報を使用できる。

カラー保存の実施例
本発明の一部の実施例は、画像の明るさをエンハンスしながら、カラー特性を保存するためのシステムおよび方法を含む。一部の実施例では、明るさ保存は、フルパワーのベタ全域を低減されたパワーディスプレイのより狭いベタ全域にマッピングすることを含む。一部の実施例では、カラー保存のために異なる方法が使用される。一部の実施例は、輝度ブーストの低減に替えて、カラーの色相／飽和度を保存する。

上記一部の非カラー保存実施例は、各カラーチャンネルで輝度マッチを与えるように操作してマッチングする各カラーチャンネルを別個に処理する。これらの非カラー保存実施例では、高度に飽和したカラーまたはハイライトカラーを処理の進行に従い不飽和にしおよび／または色相の変化にすることができる。カラー保存実施例は、これらのカラーのアーティファクトに取り組んでいるが、一部のケースでは、輝度ブーストを若干低減することがある。

一部のカラー保存実施例は、ローパスチャンネルとハイパスチャンネルを再結合するとき、クリッピング動作も利用できる。各カラーチャンネルを別々にクリッピングすると、再びその結果としてカラーが変化することがある。カラー保存クリッピングを使用する実施例では、色相／飽和を維持するためにクリッピング操作を使用できる。場合によっては、このカラー保存クリッピングは、他の非カラー保存実施例の輝度よりも低くクリッピングされた値の輝度を低減し得る。

図４６を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像６５０を読み出し、指定されたピクセルロケーションに対する異なるカラーチャンネルに対応する画素値を決定する（６５２）。一部の実施例では、入力画像は画像ファイル内に記録された別個のカラーチャンネル情報を有するフォーマットとすることができる。一実施例では、赤、緑および青（ＲＧＢ）カラーチャンネルによってこの画像を記録できる。別の実施例ではシアン、マゼンタ、イエローおよびブラック（ＣＭＹＫ）フォーマット、Ｌａｖ、ＹＵＶまたは別のフォーマットで記録できる。入力画像は別個の輝度チャンネルを含むフォーマット、例えばＬａｖまたは別個の輝度チャンネルを有しないフォーマット、例えばＲＧＢとすることができる。画像ファイルがすぐに利用できる別個のカラーチャンネルデータを有しないとき、カラーチャンネルデータを有するフォーマットに画像ファイルを変換できる。

各カラーチャンネルに対する画素値が一旦決定されると（６５２）、次にカラーチャンネル画素値の間の最大画素値が決定される（６５４）。この最大画素値を使って、画素値調節モデルのパラメータを決定できる（６５６）。この画素値調節モデルは多数の方法で発生できる。一部の実施例では、トーンスケール調節曲線、利得関数または他の調節モデルを使用できる。一実施例では、低減されたバックライトパワー設定に応答し、画像の明るさをエンハンスするトーンスケール調節曲線を使用できる。一部の実施例では、画素値調節モデルは他の実施例に関連してこれまでに説明したトーンスケール調節曲線を含むことができる。次に、カラーチャンネル画素値の各々に、画素値調節曲線を使用できる（６５８）。これらの実施例では、画素値調節曲線を適用する結果、各カラーチャンネルに同じ利得の値が適用される。一旦調節を実行すると、画像内の各ピクセル６６０に対してプロセスが続く。

図４７を参照し、本発明の一部の実施例について説明する。これら実施例では、入力画像を読み出し（６７０）、最初のピクセルロケーションを選択する（６７２）。選択されたピクセルロケーションに対して最初のカラーチャンネルのための画素値を決定し（６７４）、選択されたピクセルロケーションに対して第２のカラーチャンネルのための画素値を決定する（６７６）。次に、これら画素値を分析し、画素値選択基準に基づき、これら画素値のうちの１つを選択する（６７８）。一部の実施例では、最大画素値を選択してもよい。次に、１つのモデルを生成する（６８０）画素値調節モデル生成器のための入力として、この選択された画素値を使用できる。次に、各チャンネルに対して実質的に等しい利得を適用しながら、第１および第２のカラーチャンネル画素値の双方にこのモデルを適用できる（６８２）。一部の実施例では、調節モデルから得られた利得値をすべてのカラーチャンネルに適用できる。画像全体を処理するまで、プロセスは次のピクセルに進められる（６８４）。

図４８を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像をシステムに入力し（６９０）、次に、第１の周波数レンジ画像を作成するために画像をフィルタリングする（６９２）。一部の実施例では、この画像はローパス画像または他の周波数レンジの画像とすることができる。第２の周波数レンジの画像を生成することもできる（６９４）。一部の実施例では、入力画像から第１の周波数レンジの画像を差し引くことにより、第２の周波数レンジの画像を生成してもよい。第１の周波数レンジ画像がローパス（ＬＰ）画像である一部の実施例では、第２の周波数レンジ画像をハイパス（ＨＰ）画像とすることができる。次に、ピクセルロケーションに対し、第１の周波数レンジの画像内の第１のカラーチャンネルに対する画素値を決定し（６９６）、このピクセルロケーションにおいて、第１の周波数レンジの画像内の第２のカラーチャンネルに対する画素値を決定することもできる（６９８）。次に、画素値またはそれらの特性を比較することにより、カラーチャンネル画素値のうちの１つを選択する（７００）。一部の実施例では、最大画素値を選択することができる。次に、選択された画素値を入力として使用し、調節モデルを生成するか、またはこれにアクセスできる（７０２）。この結果、利得乗数が得られるが、この乗数を第１のカラーチャンネル画素値および第２のカラーチャンネル画素値に適用（７０４）できる。

図４９を参照し、本発明の一部の実施例について説明する。これらの実施例では、調節すべきピクセルを識別できるピクセルセレクタ７１２に入力画像７１０が入力される。第１のカラーチャンネル画素値リーダー７１４は、第１カラーチャンネルのための選択されたピクセルに対する画素値を読み出す。第２のカラーチャンネル画素値リーダー７１６もまた、選択されたピクセルロケーションにおける第２のカラーチャンネルに対する画素値を読み出す。これら画素値は、分析モジュール７１８で分析され、このモジュールにて、画素値特性に基づき、画素値のうちの１つを選択する。一部の実施例では最大画素値が選択される。次に、利得値または利得モデルを決定できるモデル生成器７２０またはモデルセレクタにこの選択された画素値は入力される。次に、分析モデル７１８により画素値が選択されたかどうかにかかわらず、双方のカラーチャンネル画素値に対して、この利得値または利得モデルを適用できる（７２２）。一部の実施例では、モデルを適用する際に入力画像にアクセスできる（７２８）。次に、画像内の他のピクセルを繰り返すために、ピクセルセレクタ７１２まで制御を戻す（７２６）。

図５０を参照し、本発明の一部の実施例について説明する。これら実施例では、第１の周波数レンジ画像７３２および第２の周波数レンジ画像７３４を得るために、フィルタ７３０に入力画像７１０を入力する。別個のカラーチャンネル画素値７３６にアクセスできるように、第１周波数レンジ画像を変換することができる。一部の実施例では入力画像は、変換することなくカラーチャンネル画素値にアクセスできる。第１の周波数レンジの第１カラーチャンネル（７３８）に対する画素値を決定し、第１周波数レンジの第２カラーチャンネル（７４０）に対する画素値を決定することができる。

画素値の特性を決定できる画素値特性分析器７４２にこれら画素値は入力される。次に、画素値分析に基づき、画素値のうちの１つを画素値セレクタ７４４が選択できる。この選択は、画素値選択に基づき、利得値または利得マップを発生もしくは選択する調節モデルセレクタまたは生成器７４６へ入力される。次に、調節するピクセルにおいて、双方のカラーチャンネルのための第１周波数レンジ画素値に利得値またはマップを適用（７４８）できる。このプロセスは、第１周波数レンジの画像全体の調節が完了（７５０）するまで、繰り返される。第２周波数レンジの画像７３４にも、利得マップを適用できる（７５３）。一部の実施例では、第２周波数レンジの画像内のすべてのピクセルに一定利得係数を適用できる。一部の実施例では、第１周波数レンジの画像を入力画像７１０のハイパスバージョンとすることができ、調節された第１周波数レンジの画像７５０と調節された第２周波数レンジの画像７５３とを加算するか、または他の方法で組み合わせ（７５４）、調節された出力画像７５６を作成できる。

図５１を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像を多数の周波数レンジの画像に分割するために、フィルタ７６０または他のプロセッサに入力画像７１０を送ることができる。一部の実施例では、フィルタ７６０はローパス（ＬＰ）フィルタと、このＬＰフィルタで作成されたＬＰ画像を入力画像から減算し、ハイパス（ＨＰ）画像を作成するためのプロセッサとを含むことができる。フィルタモジュール７６０は２つ以上の周波数固有の画像７６２、７６４を出力でき、各画像は特定の周波数レンジを有する。第１周波数レンジの画像７６２は、第１カラーチャンネル７６６および第２カラーチャンネル７６８のためのカラーチャンネルデータを有することができる。画素値特性評価器７７０および／または画素値セレクタ７７２に、これらカラーチャンネルのための画素値が送られる。このプロセスの結果、カラーチャンネル画素値のうちの１つが選択される。一部の実施例では、特定のピクセルロケーションに対するカラーチャンネルから最大画素値が選択される。この選択された画素値は調節モード生成器７７４に送ることができ、この発生器は画素値調節モデルを発生する。一部の実施例では、この調節モデルは利得マップまたは利得値を含むことができる。次に、分析中のピクセルのためにカラーチャンネル画素値の各々にこの調節モデルが適用される（７７６）。画像内の各ピクセルに対し、このプロセスを繰り返すことにより、その結果、第１周波数レンジの調節された画像７７８が得られる。

画素値をブーストするように、別個の利得関数７６５によってオプションとして第２周波数レンジの画像７６４を調節してもよい。一部の実施例では、調節を適用しなくてもよい。別の実施例では、第２周波数レンジの画像内のすべての画素値に一定の利得係数を適用できる。この第２周波数レンジの画像を、調節された第１周波数レンジの画像７７８と組み合わせ、調節された、組み合わされた画像７８１を形成できる。

一部の実施例では、第１周波数レンジの画像に対する調節モデルの適用および／または第２周波数レンジの画像に対する利得関数の適用により、一部の画像の画素値がディスプレイデバイスのレンジまたは画像フォーマットを超えることがある。これらのケースでは、画素値を必要なレンジにクリッピングしなければならない。一部の実施例では、カラー保存クリッピングプロセス７８２を使用できる。これらの実施例では、カラー値の間の関係を保存するように、指定された範囲からはずれる画素値はクリッピングされる。一部の実施例では、分析中のピクセルに対する最大カラーチャンネル画素値で除された最大の必要なレンジの値より大きくない乗数を求める。この結果、１未満であって、オーバーサイズの画素値を必要なレンジの最大値に低減する利得係数が得られる。この利得、すなわちクリッピング値をカラーチャンネル画素値のすべてに適用し、すべての画素値を最大値または指定された範囲以下の値に低減しながら、ピクセルのカラーを保存することができる。このようなクリッピングプロセスを適用する結果、指定された範囲内にすべての画素値を有すると共に画素値のカラーの関係を維持する調節された出力画像７８４が得られる。

図５２を参照し、本発明の一部の実施例について説明する。これら実施例では、画素値を指定された範囲に制限しながら、カラーの関係を維持するために、カラー保存クリッピングを使用する。一部の実施例では、図５１を参照して説明した組み合わされた調節画像７８１に、組み合わされた調節画像７９２が対応する。別の実施例では、組み合わされた調節画像７９２は、指定された範囲にクリッピングする必要がある画素値を有する他の任意の画像とすることができる。

これら実施例では、特定されたピクセルロケーションに対し、第１カラーチャンネルの画素値を決定し（７９４）、第２カラーチャンネルの画素値を決定する（７９６）。これらのカラーチャンネルの画素値７９４、７９６を、画素値の特性評価器７９８で評価し、選択すべき（selective）画素値の特性を決定すると共に、カラーチャンネルの画素値を選択する。一部の実施例では、選択すべき標数（characteristic）が最大値となり、より大きい画素値が調節生成器８００のための入力として選択される。この選択された画素値は、クリッピング調節を行う８００ための入力として使用される。一部の実施例では、この調節は最大画素値を指定された範囲内の値に低減する。次に、すべてのカラーチャンネル画素値にこのクリッピング調節が適用される。一実施例では、第１カラーチャンネルおよび第２カラーチャンネルの画素値を同じ率だけ低減し（８０２）、よって２つの画素値の比を保持する。画像内のすべてのピクセルにこのプロセスを適用する結果、指定された範囲内に入る画素値を有する出力画像８０４が得られる。

図５３を参照し、本発明の一部の実施例について説明する。これら実施例では、最大カラーコンポーネントに基づき、３つのすべてのカラーコンポーネントに適用される利得を操作することにより、ＲＧＢドメイン内で方法を実施する。これら実施例では、周波数分割８１２により入力画像８１０を処理する。一実施例では、画像にローパス（ＬＰ）フィルタ８１４を使用し、ＬＰ画像８２０を作成し、次に、このＬＰ画像を入力画像８１０から差し引き、ハイパス（ＨＰ）画像８２６を作成する。一部の実施例では、ＬＰフィルタに空間５×５矩形フィルタを使用できる。ＬＰ画像８２０内の各ピクセルにおいて、最大値または３つのカラーチャンネル（Ｒ、Ｇ＆Ｂ）を選択し（８１６）、これをＬＰ利得マップ８１８に入力する。この利得マップは、その特定のピクセルのためのすべてのカラーチャンネル値に適用すべき適切な利得関数を選択する。一部の実施例では、ｍａｘ（ｒ，ｇ，ｂ）によってインデックスが付けられた１−ＤＬＵＴにより、値［ｒ．ｇ．ｂ］を有するピクセルにおける利得が決定される。ｘで割った値ｘにおける、上記フォトメトリックマッチングトーンスケール曲線の値から値ｘにおける利得を得ることができる。

ＨＰ画像８２６に、利得関数８３４を適用することもできる。一部の実施例では、利得関数８３４を一定の利得ファクターとすることができる。この変更されたＨＰ画像と調節されたＬＰ画像とを組み合わせ（８３０）、出力画像８３２を形成する。一部の実施例では、出力画像８３２は適用範囲外にある画素値を含むことがある。これら実施例では、図５１および５２を参照してこれまで説明したようにクリッピングプロセスを適用できる。

上記本発明の一部の実施例では、最大カラーコンポーネントが、あるパラメータ、例えば最大忠実ポイントよりも低くなっているピクセルに対し、利得がバックライトパワーレベルの低減を補償するように、ＬＰ画像のための画素値調節モデルを設計できる。ローパス利得は、処理されたローパス信号が全域内に留まるように、カラー全域の境界にてスムーズに１にロールオフする。

一部の実施例では、ＨＰ信号の処理を、ローパス信号の処理の選択と独立させることができる。低減されたバックライトパワーを補償する実施例では、パワーを低減する際にコントラストを保存する一定の利得を用いてＨＰ信号を処理できる。フルバックライトパワーおよび低減されたバックライトパワー、およびディスプレイガンマによる関するＨＰ信号利得の式は式５で与えられる。これら実施例では、利得は一般に小さく、すなわち利得は８０％のパワー低減およびガンマ２．２に対して１．１であるので、ＨＰのコントラストのブーストはノイズに対して強い。

一部の実施例では、ＬＰ信号とＨＰ信号の処理の結果を合計し、クリッピングする。最大のコンポーネントが２５５にスケーリングされるように３つの成分すべてを等しくスケーリングすることによって、各ピクセルにおけるＲＧＢサンプルのベクトル全体にクリッピングを適用することができる。実施し、ＬＰ値に加算されるブーストされたＨＰ値が２５５を超えるときにクリッピングが発生し、このクリッピングは特にコントラストだけが大きい明るい信号に関連する。一般に、ＬＵＴ構造によりＬＰ信号が上限を超えないように保証される。ＨＰ信号は合計値においてクリッピングを生じさせるが、ＨＰ信号の負の値は決してクリッピングを生じさせないので、クリッピングが生じても、ある程度のコントラストを維持できる。

本発明の実施例は、画像の明るさを最適にするように試みることができるか、または明るさを増加しながら、カラー保存またはマッチングを最適にすることを試みることができる。一般に輝度またはブライトネス（明るさ）を最大にする際に、カラーシフトのトレードオフがある。カラーシフトを防止するとき、一般に明るさに問題が生じる。本発明の一部の実施例は、下記の式３８に示されるように、各カラーコンポーネントに適用される重み付けされた利得を形成することにより、カラーシフトと明るさとの間のトレードオフをバランスさせることを試みる。

この重み付けされた利得はアルファ０における最大輝度マッチから、アルファ１における最小カラーアーティファクトまで変化する。すべての画素値がＭＦＰパラメータを下回るとき、３つのすべての利得が等しくなることに留意されたい。

ディスプレイ−モデルに基づく、Distortionに関連した実施例
バックライトのスケーリングなる用語は、ＬＣＤバックライトを低減すると共に、同時にＬＣＤへ送られるデータを変更し、バックライトの低減を補償するための技術を意味する。この技術の主点は、バックライトレベルを選択することである。本発明の実施例は、省電力またはダイナミックコントラストを改善するために、バックライト変調を使用してＬＣＤ内のバックライト照明レベルを選択する。この問題を解決するのに使用される方法は、画像に依存した技術と、画像に依存しない技術とに分けることができる。画像に依存した技術は、その後のバックライト補償画像処理によって課されるクリッピング量を制限するという目的を有する。

本発明の一部の実施例は、バックライトレベルを選択するための最適化を使用できる。１つの画像を仮定した場合、最適化ルーチンは、仮想の基準ディスプレイに生じる画像と実際のディスプレイに生じる画像との間のDistortionを最小にするように、バックライトレベルを選択することである。

本発明の実施例の要素を説明するのに次の用語を使用できる。
１．基準ディスプレイモデル：基準ディスプレイモデルは、ＬＣＤのようなディスプレイからの所望する出力を意味する。一部の実施例では、基準ディスプレイモデルはゼロ黒レベルを有する理想的ディスプレイ、またはダイナミックレンジが限られていないディスプレイにのっとるものとする。
２．実際のディスプレイモデル：実際のディスプレイの出力のモデルである。一部の実施例では、異なるバックライトレベルに対して、実際のディスプレイの出力がモデル化され、実際のディスプレイではゼロでない黒レベルを有するものとしてモデル化される。一部の実施例では、バックライト選択アルゴリズムはこのパラメータを通してディスプレイのコントラスト比に依存する。

３．明るさ保存（ＢＰ）：低減されたバックライトレベルを補償するための元画像への処理である。実際のディスプレイ上に現れるであろう画像は、明るくされた画像上の所定のバックライトレベルにおけるディスプレイモデルの出力であり、次のようなケースがある。
・明るさ保存なし：ＬＣＤパネルに、処理されていない画像データを送る。この場合、バックライト選択アルゴリズムはバックライトのみ変えるため、明るさは保存されない。
・リニアブースト明るさ補償。バックライトの低減を補償するために、簡単なアフィン変換を使用して画像を処理する。この簡単な明るさ保存アルゴリズムは、バックライト補償に実際に使用される場合、画質を犠牲にするが、このアルゴリズムはバックライト値を選択するための有効なツールである。
・トーンスケールマッピング：リニアセグメントと非リニアセグメントを含むトーンスケールマップを使用して画像を処理する。クリッピングを制限し、コントラストをエンハンスするためにこれらセグメントが使用される。

４．Distortion計量値。実際のディスプレイに現れるであろう画像を決定するのに、ディスプレイモデルと明るさ保存アルゴリズムとを使用できる。この出力と基準ディスプレイ上の画像との間のDistortionが次に計算される。一部の実施例では、画素値だけに基づいてDistortionを計算できる。このDistortionは誤差計量値の選択に依存し、一部の実施例では、平均二乗誤差を使用できる。
５．最適化基準。異なる制限を受けることにより、Distortionを最小にできる。例えば一部の実施例では、次の基準を使用できる。
・ビデオシーケンスの各フレームでのDistortionを最小にする。
・平均バックライト制限を受けた最大Distortionを最小にする。
・平均バックライト制限を受けた平均Distortionを最小にする。

ディスプレイモデル：
本発明の一部の実施例では、基準ディスプレイモデルと実際のディスプレイモデルの双方に対し、ＧｏＧモデルを使用できる。このモデルは、バックライトレベルに基づいてスケーリングするように変更できる。一部の実施例では、ゼロ黒レベルおよび最大出力Ｗを有する理想ディスプレイとして基準ディスプレイをモデル化できる。実際のディスプレイはフルバックライトで同じ最大出力Ｗを有し、フルバックライトで黒レベルＢを有するものとして実際のディスプレイをモデル化できる。このときコントラスト比はＷ／Ｂである。黒レベルがゼロのとき、このコントラスト比は無限大である。下記の式で最大画素値を示すＣＶ_Maxを使ってこれらモデルを数学的に表示できる。

フルバックライトレベル、すなわちＰ＝１で最大の出力Ｗおよび最小の出力Ｂを有する実際のＬＣＤに対し、相対的バックライトレベルＰでスケーリングするように出力をモデル化する。コントラスト比ＣＲ＝Ｗ／Ｂは、バックライトレベルに無関係である。

明るさの保存
この実施例では、単純なブーストおよびクリッピングに基づくＢＰプロセスを使用し、可能な場合にバックライトの低減を補償するためにブーストを選択する。次の誘導式は所定のバックライトで基準ディスプレイと実際のディスプレイとの間で輝度を一致させるトーンスケール変更を示す。実際のディスプレイの最大出力と黒レベルの双方は、バックライトにより徐々に増大する。実際のディスプレイの出力は、スケーリングされた出力の最大値より低く、スケーリングされた黒レベルよりも上となるように限定されていることに注目する。このことは、ゼロおよびＣＶ_Maxに輝度マッチングトーンスケール出力をクリッピングすることに対応する。

ｃｖ’に対するクリッピングの制限は、輝度マッチングのレンジに対するクリッピング限度を意味する。

最小値および最大値が相対的バックライトパワーＰおよび実際のディスプレイのコントラスト比ＣＲ＝Ｗ／Ｂに依存する場合に、トーンスケールは最小値より上であって、かつ最大値より下の画素値に対して出力を一致させる。

Distortion計算
図５４を参照し、本発明の実施例で作成され、使用される種々の変更された画像について説明する。これら変更された画像例の各々を作成する際の入力として、元の画像Ｉ８４０を使用できる。一部の実施例では、理想的な出力Ｙ_Ideal８４４を生じるように、元の入力画像８４０を処理する（８４２）。この理想的画像プロセッサ、すなわち基準ディスプレイ８４２は、理想的ディスプレイが０黒レベルを有すると見なすことができる。この出力、すなわちＹ_Ideal８４４は、基準（理想）ディスプレイで見た元の画像８４０を示す。一部の実施例では、バックライトレベルが与えられたと仮定して、実際のＬＣＤ上で、このバックライトレベルを有する画像を示すことによって生じるDistortionを計算する。

一部の実施例では、画像Ｉ８４０から画像Ｉ’８５０を発生するのに、明るさ保存８４６を使用できる。次に、この画像Ｉ’８５０は、選択されたバックライトレベルと共に実際のＬＣＤプロセッサ８５４へ送られる。この結果生じる出力を、Ｙａｃｔｕａｌと表示する。

基準ディスプレイモデルは入力画像Ｉ＊８５２を使用することにより、実際のディスプレイの出力をエミュレートできる。

実際のＬＣＤ８５４の出力は、画像Ｉ’８５０を得るために元の画像Ｉ８４０を輝度マッチングトーンスケール関数８４６を通過した結果得られる。これはバックライトレベルに依存する基準出力を正確には再現できない。しかしながら、基準ディスプレイ８４２上で実際のディスプレイ出力をエミュレートできる。画像Ｉ＊８５２は、実際のディスプレイ出力をエミュレートするために、基準ディスプレイ８４２へ送られそれによってＹｅｍｕｌａｔｅｄ８６０を作成する画像データを示す。式４３を参照してこれまで説明し、他の場所でも説明したクリッピングポイントによって決定される範囲に対して、画像Ｉ８４０をクリッピングすることにより、画像Ｉ＊８５２を発生する。一部の実施例では、Ｉ^＊を数学的に次のように表示できる。

一部の実施例では、画像Ｉを有する基準ディスプレイの出力と、バックライトレベルＰおよび画像Ｉ’を有する実際のディスプレイの出力との差として、Distortionを定めることができる。画像Ｉ^＊は基準ディスプレイ上での実際のディスプレイの出力をエミュレートするので、基準ディスプレイと実際のディスプレイとの間のDistortionは、基準ディスプレイにおける画像ＩとＩ^＊との間のDistortionに等しくなる。

双方の画像は基準ディスプレイ上にあるので、ディスプレイの出力を必要としない画像データだけの間でDistortionを測定できる。

画像Distortionの測定
上記分析は、基準ディスプレイでの画像Ｉ８４０の表示と実際のディスプレイでの表示との間のDistortionが、基準ディスプレイでの画像Ｉ８４０の表示とＩ＊８５２の表示との間のDistortionに等しいことを示している。一部の実施例では、画像の間のDistortionを定めるのに、点別のDistortion計量値を使用できる。点別のDistortionｄを仮定すると、画像ＩとＩ^＊との間の差を合計することにより、画像間のDistortionを計算できる。画像Ｉ＊は、輝度マッチをエミュレートするので、誤差は上限と下限におけるクリッピングから成る。一部の実施例では、バックライトパワーに対する画像のDistortionを定めるのに、正規化された画像ヒストグラムｈ（ｘ）を使用できる。

バックライトとDistortionの関係の曲線
基準ディスプレイ、実際のディスプレイ、Distortionの定義および画像を仮定して、バックライトレベルのある範囲でDistortionを計算できる。このDistortionデータを組み合わせると、バックライトとDistortionとの関係を示す曲線が描かれる。暗い小部屋から外を撮った暗いサンプル画像およびゼロ黒レベルを有する理想的ディスプレイモデル、コントラスト比が１０００：１の実際のＬＣＤモデル、および平均二乗誤差ＭＳＥ誤差計量値を使ってバックライトとDistortionの関係を示す曲線を表示できる。図５５は、この画像例に対する画像の画素値のヒストグラムのグラフである。

一部の実施例では、ヒストグラムを使用し、ある範囲のバックライト値に対するDistortionを計算することにより、Distortion曲線を算出できる。図５６は、図５５のヒストグラムに対応するDistortion曲線の一例のグラフである。この画像例では、低バックライト値において明るさ保存は低減されたバックライトを効果的に補償できないので、その結果、Distortionが劇的に増加する（８８０）。高いバックライトレベルでは、限られたコントラスト比によって黒レベルは理想的ディスプレイと比較して上昇する（８８２）。最小のDistortion範囲が存在し、一部の実施例では、最小Distortionアルゴリズムにより、この最小のDistortion８８４を与える最低のバックライトの値が選択される。

最適化アルゴリズム
一部の実施例では、図５６に示されているようなDistortion曲線を用いて、バックライト値を選択できる。一部の実施例では、各フレームに対する最小Distortionパワーが選択される。一部の実施例では、最低Distortion値がただ１つだけでないとき、この最小Distortionを与える最小パワー８８４を選択できる。図５７には、簡単なＤＶＤのクリップに、この最適化基準を適用した結果が示されており、この図５７は、ビデオフレームの数に対する選択されたバックライトのパワーを作図したものである。この場合、選択された平均バックライト８９０は、ほぼ５０％である。

画像依存性
本発明の一部の実施例の画像の依存性を説明するために、コンテンツが変化するテスト画像例を選択し、ある範囲のバックライト値に対して、これら画像におけるDistortionを計算した。図３９は、これらの画像例に対するバックライト対Distortion曲線である。図３９は、全黒画像である画像Ａ５９２、全白画像である画像Ｂ５９０、人のグループの暗い写真である画像Ｃ５９４および波の上のサーファーの明るい画像である画像Ｄ５９８のグラフを含む。

曲線の形状は画像のコンテンツに大きく依存することに留意されたい。このことは、バックライトレベルが明るさがなくなることに起因するDistortionと黒レベルが高くなることに起因するDistortionをバランスさせることを予想させるものである。全黒画像５９２は、低いバックライトで最小Distortionを有し、全白画像５９０はフルバックライトで最小Distortionを有し、暗い画像５９４は、高い黒レベルと明るさの低減との間の効率的なバランスとして、一定のコントラスト比を使用する中間バックライトレベルで最小Distortionを有する。

コントラスト比
実際のディスプレイの定義にディスプレイのコントラスト比を入れることができる。図５８は、実際のディスプレイの異なるコントラスト比に対する最小ＭＳＥDistortionバックライトを示す。１：１のコントラスト比の９００において、最小Distortionバックライトは、画像平均信号レベル（ＡＳＬ）に依存する。これとは逆に無限大のコントラスト比（ゼロ黒レベル）では、最小Distortionバックライトは画像の最大値９０２に依存する。

本発明の一部の実施例では、基準ディスプレイモデルは理想的なゼロ黒レベルを有するディスプレイモデルを含むことができる。一部の実施例では、基準ディスプレイモデルは、明るさモデルによって選択された基準ディスプレイを含むことができ、一部の実施例では、基準ディスプレイモデルは周辺光センサを含むことができる。

本発明の一部の実施例では、実際のディスプレイモデルは有限黒レベルを有する透過型ＧｏＧモデルを含む。一部の実施例では、実際のディスプレイモデルは出力が周辺光およびディスプレイの反射部分の双方に依存するようにモデル化される透過反射型ディスプレイに対するモデルを含む。

本発明の一部の実施例では、バックライト選択プロセスにおける明るさ保存（ＢＰ）は、クリッピングを伴うリニアブーストを含む。別の実施例では、バックライト選択プロセスはスムーズなロールオフを有するトーンスケール演算子および／または２チャンネルＢＰアルゴリズムを含む。

本発明の一部の実施例では、Distortion値は点ごとに計算された画素値の平均二乗誤差（ＭＳＥ）を含む。一部の実施例では、Distortion値は絶対値の差の合計、クリッピングされたピクセルの数および／またはヒストグラムに基づくパーセント値を含む点ごとの誤差値を含む。

本発明の一部の実施例では、最適化基準は、各フレーム内のDistortionを最小にするバックライトレベルの選択を含む。一部の実施例では、最適化基準は、最大Distortionを最小にするか、または平均Distortionを最小にする平均パワー制限値を含む。

ＬＣＤのダイナミックコントラストの実施例
液晶ディスプレイ（ＬＣＤ）は、一般にコントラスト比が限られているという問題がある。例えばバックライトの漏れまたは他の問題により、ディスプレイの黒レベルが高くなることがある。これによって黒領域が黒ではなくグレーに見えることがある。バックライトの変調は、バックライトレベルおよびバックライトの光漏れを減らし、よって黒レベルを低減することにより、この問題を緩和する。しかしながら、この技術は補償を行うことなく用いた場合、ディスプレイの明るさを下げるという望ましくない効果を生じさせる。画像の補償を使って、バックライトを暗くすることに起因して失われたディスプレイの明るさを回復することができる。補償は、一般にフルパワーディスプレイの明るさの回復に限定されている。

上記本発明の一部の実施例は、省電力に焦点を合わせたバックライトの変調を含む。これら実施例では、目標は、より低いバックライトレベルでフルパワー出力を再現することである。このことは、バックライトを暗くすると同時に、画像を明るくすることによって達成できる。黒レベルまたはダイナミックコントラストの改善は、これら実施例における好ましい副次的効果である。これら実施例では、目標は、画質を改善することにある。一部の実施例の結果、次のような画質の改善が得られる。
１．バックライトの低減に起因し、黒レベルが下がること。
２．バックライトを低減することによって生じる漏れが少なくなることに起因し、暗い色の飽和が改善されること。
３．バックライトの低減よりも強力な補償を使用する場合、明るさが改善されること。
４．ダイナミックコントラスト、すなわち明るいフレーム内の最大値割暗いフレーム内の最小値,が改善されること。
５．暗いフレーム内のコントラストが改善されること。

本発明の一部の実施例は、２つの必須技術、すなわちバックライトの選択および画像の補償により、これら利点の１つ以上を達成する。１つの難関は、バックライトおよび補償された画像の双方の明るさが変化するときの、ビデオ内のフリッカーアーティファクトを回避することである。本発明の一部の実施例は、フリッカーの生じる可能性を少なくするために、ターゲットトーン曲線を使用する。一部の実施例では、このターゲットトーン曲線は、（バックライトが固定された）パネルのコントラスト比を超えるコントラスト比を有する。ターゲットトーン曲線は２つの目的に役立つ。第１に、バックライトを選択する際にターゲット曲線を使用できる。第２に、画像の補償を決定するのにターゲット曲線を使用できる。ターゲット曲線は上記画質の特徴に影響を与える。フルバックライトの明るさにおけるピークディスプレイ値から最低バックライトの明るさにおける最小ディスプレイ値まで、ターゲット曲線は延びる。したがって、このターゲット曲線は、フルバックライトの明るさで達成される代表的なディスプレイ値の範囲よりも下に延びる。

一部の実施例では、バックライトの輝度または明るさレベルの選択は、元々のパネルコントラスト比に対応するターゲット曲線のインターバルの選択に対応する。バックライトが変化するにつれ、このインターバルは移動する。フルバックライトにおいて、パネルではターゲット曲線の暗い領域を表示できない。低いバックライトでは、パネルにターゲット曲線の明るい領域を表示できない。一部の実施例では、バックライトを決定するためにパネルトーン曲線、ターゲットトーン曲線およびディスプレイする画像が与えられる。選択されたバックライトを有するパネルのコントラストの範囲がターゲットトーン曲線の画像値の範囲の最もよく近似するよう、バックライトレベルを選択できる。

一部の実施例では、ディスプレイの出力ができるだけターゲット曲線上に来るように、画像を変更または補償する。バックライトが過度に高い場合、ターゲット曲線の暗い領域を達成することはできない。同様に、バックライトが低い場合、ターゲット曲線の明るい領域を達成することはできない。一部の実施例では、補償に対して固定されたターゲットを使用することにより、フリッカーを最小にできる。これら実施例では、バックライトの明るさと画像の補償の双方が変化するが、ディスプレイの出力は固定されているターゲットトーン曲線に近似する。

一部の実施例では、ターゲットトーン曲線は上記画像の改善点のうちの１つ以上を要約したものである。このターゲットトーン曲線により、バックライト選択と画像補償の双方を制御できる。画像を最適に表示するためにバックライトの明るさ選択が実行される。一部の実施例では、指定されたターゲットトーン曲線およびパネルトーン曲線といっしょに、上記Distortionに基づくバックライト選択アルゴリズムが適用される。

一部の実施例では、式４９で示されるように、トーン曲線に対してGain-Offset-Gamma Flare（ＧＯＧＦ）モデルが使用される。一部の実施例では、ガンマに対して２．２,
オフセットに対し０を使用でき、２つのパラメータ、GainとFlareは無視できる。これら２つのパラメータにより、パネルトーン曲線とターゲットトーン曲線の双方を指定できる。一部の実施例では、Gainは最大の明るさを決定し、コントラスト比は加算Flareを決定する。

ここで、ＣＲはディスプレイのコントラスト比であり、Ｍは最大パネル出力であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。

ダイナミックコントラストの改善を達成するために、ターゲットトーン曲線はパネルトーン曲線と異なる。最も簡単なアプリケーションでは、ターゲットのコントラスト比、すなわちＣＲは、パネルのコントラスト比よりも大きい。次の式４９に、パネルトーン曲線の一例を示す。

次の式５０にターゲットトーン曲線の一例を示す。

ここで、ＣＲはターゲットのコントラスト比であり、Ｍは最大ターゲット出力（例えばフルバックライトの明るさにおける最大パネル出力）であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。

図６０を参照し、トーン曲線の特徴について説明する。図５９は、水平軸に画素値を示し、垂直軸に相対的輝度を示した対数−対数グラフである。ここには３つのトーン曲線、すなわちパネルトーン曲線１０００と、ターゲットトーン曲線１００１と、指数法則曲線１００２とが示されている。パネルトーン曲線１０００はパネルの黒１００３から最大パネル値１００５まで延び、ターゲットトーン曲線はターゲットの黒１００４から最大ターゲット／パネル値１００５まで延びる。ターゲットの黒１００４は、より低いバックライトの明るさで利益が得られるので、パネルの黒１００３より下になっている。しかしながら、バックライトは所定のフレームに対し１つの明るさレベルしか有することができないので、ターゲットトーン曲線のフルレンジを利用できず、従って、より低いターゲットの黒１００４を得るためにバックライトの明るさを低減するときには、最大ターゲット／パネル値１００５を得ることはできない。本発明の実施例は、ディスプレイされる画像および所望する性能目標に対して最も適したターゲットトーン曲線の範囲を選択する。

異なる優先度を得るために種々のターゲットトーン曲線を発生できる。例えば、省電力が主目的である場合、ターゲット曲線に対するＭおよびＣＲの値をパネルトーン曲線内の対応する値に等しくなるように設定できる。この省電力実施例では、ターゲットトーン曲線はネイティブなパネルトーン曲線に等しい。電力を節約するためにバックライト変調を使用するが、低いバックライト設定では得られない明るい範囲を除けば、ディスプレイされる画像がフルパワーのディスプレイでの画像と実質的に同じとなる。

図６０には、省電力トーン曲線の一例が示されている。これら実施例では、パネルトーン曲線とターゲットトーン曲線とは同一である（１０１０）。バックライトの明るさを低減し、より低いターゲット曲線１０１１を得ることができるが、この可能性はこれら実施例では使用されない。その代わりに、パネルトーン曲線１０１０にマッチングさせるために画素値の補償により画像の明るさを高められる。省電力のためのバックライトの低減１０１３に起因するパネルの限界点においてこのことが可能でないときは、クッリピングアーティファクトを回避するために補償を丸めることができる（１０１２）。この丸めは、他の実施例に関連してこれまで説明した方法に従って達成できる。一部の実施例では、クリッピングは許容されるか、または画像におけるダイナミックレンジが限られていることに起因し、クリッピングは発生しない。これら実施例では、丸め１０１２が必要でない場合があり、ターゲットトーン曲線は単にレンジの頂部１０１４でパネルトーン曲線に近隣する。

別の実施例において、より低い黒レベルが主な目標であるとき、ターゲット曲線に対するＭの値をパネルトーン曲線内の対応する値に等しく設定されるが、ターゲット曲線のＣＲの値はパネルトーン曲線内の対応する値の４倍に等しく設定される。これら実施例では、黒レベルを下げるようにターゲットトーン曲線を選択する。ディスプレイの明るさはフルパワーディスプレイに対して変更されない。ターゲットトーン曲線はパネルと同じ最大値Ｍを有するが、コントラスト比がより高くなる。上記の例では、コントラスト比がネイティブなパネルのコントラスト比の４倍である。これとは異なり、ターゲットトーン曲線は、そのレンジの頂部で丸め曲線を含む。多分、バックライトを４：１の割合で変調できる。

図６１を参照し、黒レベルの低減を優先的にする一部の実施例について説明する。これら実施例では、例えば式４９を使って上記のようにパネルトーン曲線１０２０を計算する。低減されたバックライトの明るさレベルおよびより高いコントラスト比に対しても、ターゲットトーン曲線１０２１を計算する。このレンジの頂部では、ターゲットトーン曲線１０２４はパネルトーン曲線に沿って延びる。これとは異なり、ターゲットトーン曲線は低減されたバックライトレベルに対するディスプレイ限界１０２２の近くで、クリッピングを低減する丸め曲線１０２３を利用できる。

別の実施例では、より明るい画像が主な目的であるとき、ターゲット曲線のためのＭの値をパネルトーン曲線内の対応する値の１．２倍に等しく設定されるが、ターゲットトーン曲線のＣＲの値をパネルトーン曲線内の対応する値に等しく設定される。同じコントラスト比を維持して明るさを高めるように、ターゲットトーン曲線を選択する。（黒レベルは上昇することに留意されたい。）ターゲットの最大値Ｍはパネルの最大値よりも大きい。この明るさ設定を達成するために画像を明るくするように、画像補償を使用する。

図６２を参照し、画像の明るさを優先する一部の実施例について説明する。これら実施例では、レンジの底部１０３０の近くでは、パネルトーン曲線とターゲットトーン曲線とはほぼ同様である。しかしながら、これら領域よりも上では、パネルトーン曲線１０３２は最大ディスプレイ出力１０３３まで、標準経路を取る。しかしながらターゲットトーン曲線は、この領域内でより明るい画素値を与える、高くなった経路１０３１を取る。レンジの頂部に向って、ターゲット曲線１０３１は丸め曲線１０３５を構成し、この丸め曲線１０３５は、バックライトレベルが低減されることに起因して、ディスプレイがターゲット曲線に追従することができなくなるポイント１０３３までターゲット曲線を丸める。

別の実施例において、黒レベルがより低く、中間レンジがより明るいエンハンスされた画像が主な目標であるとき、ターゲット曲線のためのＭの値はパネルトーン曲線内の対応する値の１．２倍に等しく設定され、ターゲット曲線のためのＣＲの値はパネルトーン曲線内の対応する値の４倍に等しく設定される。明るさを高め、黒レベルを下げるよう、ターゲット曲線を選択する。このターゲット最大値はパネルの最大値Ｍよりも大きく、コントラスト比もパネルのコントラスト比より大きい。このターゲットトーン曲線はバックライト選択および画像補償の双方に影響する。ターゲットの低減された黒レベルを達成するために暗いフレーム内でバックライトを低減する。高められた明るさを得るためにフルバックライトでも画像補償が使用される。

図６３を参照し、画像の明るさおよび低い黒レベルを優先する一部の実施例について説明する。これら実施例では、例えば式４９を使って上記のようにパネルトーン曲線１０４０を計算する。ターゲットトーン曲線１０４１も計算されるが、このターゲットトーン曲線１０４１は、低減されたバックライトレベルを考慮し、より低い黒１０４５で開始される。ターゲットトーン曲線１０４１は、トーンスケールの中間レンジおよび上部レンジで画素値を明るくするために高くなった経路に従うこともできる。バックライトレベルが低減されたディスプレイは、最大ターゲット値１０４２にも、または最大パネル値１０４３にも達することができないので、丸め曲線１０４４が使用される。この丸め曲線１０４４は、バックライト低減パネルの最大値１０４６でターゲットトーン曲線１０４１を終端させることができる。丸め曲線の特性を決定するのに、上記他の実施例に関連して説明した種々の方法を使用できる。

図６４を参照し、本発明の一部の実施例について説明する。これらの実施例では、複数のターゲットトーン曲線を計算し、画像特性、性能目標またはその他の基準に基づき、計算された曲線の組から選択を行うことができる。これらの実施例では、高い黒レベル１１２０を有するフルバックライトの明るさの状況に対し、パネルトーン曲線１１２７を生成できる。ターゲットトーン曲線１１２８および１１２９も生成できる。これらターゲットトーン曲線１１２８および１１２９は、黒レベルの移行領域１１２２を備え、その領域において曲線は黒レベルポイント、１１２１に移行する。これら曲線は、ターゲットトーン曲線のいずれかからの入力ポイントが同じ出力ポイントにマッピングされる共通領域も含む。一部の実施例では、これらターゲットトーン曲線は明るさ丸め曲線１１２６も備え、曲線は、他の実施例に対してこれまで説明したような最大明るさレベル１１２５まで丸められる。画像特性に基づき、ターゲットトーン曲線のこの組から、１つの曲線を選択できる。例えば、限定するわけではないが、より低い黒レベルから多くの極めて暗いピクセルを有する画像は、利益を得ることができ、この画像に対し、暗いバックライトおよびより低い黒レベルを有する曲線１１２８を選択できる。多くの明るいピクセル値を有する画像は、より高い最大の明るさ１１２４を有する曲線１１２７の選択に影響を及ぼす。ビデオシーケンスの各フレームは異なるターゲットトーン曲線の選択に影響を及ぼす。管理されない場合、異なるトーン曲線を使用することは、シーケンスにおいてフリッカーおよび望ましくないアーティファクトの原因となる。しかしながら、これらの実施例のすべてのターゲットトーン曲線が共用する共通領域１１２３は、時間的な効果を安定化するよう働き、フリッカーおよび同様なアーティファクトを低減する。

図６５を参照し、本発明の一部の実施例について説明する。これらの実施例では、ターゲットトーン曲線１１０５のようなターゲットトーン曲線の一組を生成する。これらターゲットトーン曲線は異なる黒レベルの移行領域１１０２を含み、これら移行領域は異なるバックライトの明るさレベルに対応する。このターゲットトーン曲線の集合は、すべてエンハンスされた共通領域１１０１を含む。一部の実施例では、これら曲線は共通領域から最大明るさレベルまで移行する明るさ丸め曲線１１０３も含む。エンハンスされたターゲットトーン曲線１１０９では、曲線は黒レベルポイント１１０５でスタートし、エンハンスされた共通領域１１０１まで移行し、次に曲線はエンハンスされた共通領域から、丸められた曲線で最大明るさレベル１１０６まで移行する。一部の実施例では、明るさ丸め曲線は存在しないことがある。これらの実施例は、共通領域がパネルトーン曲線よりも上にあるという点で、図６５を参照して説明した実施例と異なっている。このことは、入力ピクセル値をより高い出力値にマッピングし、表示される画像を明るくする。一部の実施例では、画像シーケンスのフレームに対し、エンハンスされたターゲットトーン曲線のセットを生成し、選択的に使用する。これら実施例は、フリッカーおよび同様なアーティファクトを低減するように働く共通領域を共用する。一部の実施例では、ターゲットトーン曲線のセットおよびエンハンスされたターゲットトーン曲線のセットを計算し、画像特性および／または性能目標に基づき、選択的に使用できるように格納する。

図６６を参照し、本発明の一部の実施例について説明する。図６６の方法では、ターゲットトーン曲線パラメータを決定する（１０５０）。一部の実施例では、これらパラメータは最大ターゲットパネル出力、ターゲットコントラスト比、および／またはターゲットパネルガンマ値を含む。性能目標を達成するために、画像を調節または補償するのに使用できるターゲットトーン曲線を定めるのに、他のパラメータも使用できる。

これら実施例では、パネルトーン曲線１０５１も計算される。代表的なパネル出力とターゲットトーン曲線との間の差を示すために、パネルトーン曲線が示されている。パネルトーン曲線１０５１はディスプレイに対して使用されるディスプレイパネルの特性に関係しており、基準画像（この基準画像から誤差またはDistortion測定を行うことができる）を作成するために、パネルトーン曲線を使用できる。この曲線１０５１は、所定のディスプレイに対する最大パネル出力Ｍおよびパネルコントラスト比ＣＲに基づき計算できる。一部の実施例では、この曲線は最大パネル出力Ｍ、パネルコントラスト比ＣＲ、パネルガンマ値γおよび画素値Ｃに基づく。

１つ以上のターゲットトーン曲線（ＴＴＣ）を計算できる（１０５２）。一部の実施例では、ＴＴＣのセットが計算され、各TTCは異なるバックライトレベルに基づく。別の実施例では、別のパラメータを変えることができる。一部の実施例では、最大ターゲット出力Ｍおよびターゲットコントラスト比ＣＲを使ってターゲットトーン曲線を計算できる。一部の実施例では、このターゲットトーン曲線は最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ値γおよび画素値Ｃに基づくことができる。一部の実施例では、ターゲットトーン曲線は画像にとっての望ましい変更を示す。例えばターゲットトーン曲線はより低い黒レベル、より明るい画像領域、補償された領域および／または丸め曲線のうちの１つ以上を示すことができる。ターゲットトーン曲線はルックアップテーブル（ＬＵＴ）として表示でき、ハードウェアまたはソフトウェアによって計算でき、または他の手段によって示される。

バックライトの明るさレベルを決定できる（１０５３）。一部の実施例では、性能目標、例えば省電力、黒レベル基準または他の目標が、バックライトレベル選択に影響を及ぼす。一部の実施例では、処理またはエンハンスされた画像と仮想的基準ディスプレイにディスプレイされる元の画像との間のDistortion又は誤差を最小にするように、バックライトレベルを決定できる。画像の値が極めて暗いとき、画像表示に対してはより低いバックライトレベルが最も適す。画像値が極めて明るいとき、画像表示にはより高いバックライトレベルが最適な選択となる。一部の実施例では、パネルトーン曲線により処理される画像と、種々のＴＴＣで処理された画像とを比較して、適切なＴＴＣおよび対応するバックライトレベルを決定する。

本発明の一部の実施例では、バックライト選択および画像補償選択方法において、特定の性能目標を考慮することもできる。例えば省電力が性能の目標として認識されているとき、より低いバックライトレベルが画像特性の最適化よりも優先される。逆に、画像の明るさが性能目標であるとき、より低いバックライトの優先度はより低くなる。

ターゲットトーン曲線、仮想的基準ディスプレイまたは他の規格に関して、画像の誤差またはDistortionを最小にするように、バックライトレベルを選択できる（１０５３）。一部の実施例では、「Distortionに関係する光源の管理のための方法およびシステム」を発明の名称とし、２００６年７月２８日に出願された米国特許出願第１１／４６０，７６８号（本明細書ではこの出願を参考例として援用する）に開示されている方法を使用して、バックライトレベルおよび補償方法を選択することができる。

ターゲットトーン曲線を計算後、ターゲットトーン曲線により画像を調節または補償（１０５４）し、性能目標を達成するか、または低減されたバックライトレベルを補償する。この調節または補償は、ターゲットトーン曲線を参照して行われる。

バックライト選択（１０５３）および補償または調節（１０５４）後、調節されるかまたは補償された画像を、選択されたバックライトレベルで表示できる（１０５５）。

図６７を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像のエンハンスメントまたは処理目標が確立される（１０６０）。この目標は省電力、より低い黒レベル、画像の明るさ設定、トーンスケール調節または他の処理、もしくはエンハンスメント目標を含む。処理またはエンハンスメント目標に基づき、ターゲットトーン曲線パラメータが選択される（１０６１）。一部の実施例では、パラメータ選択を自動化し、エンハンスメントまたは処理目標に基づくことがでる。一部の実施例では、これらパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値ｃを含む。

選択されたターゲットトーン曲線パラメータに基づき、ターゲットトーン曲線（ＴＴＣ）を計算（１０６２）できる。一部の実施例では、ＴＴＣのセットが計算される。一部の実施例では、このセットは、共通ＴＴＣパラメータの代りに、変化するバックライトレベルに対応する曲線を含むことができる。別の実施例では、他のパラメータを変えることもできる。

バックライトの明るさレベルが選択される（１０６３）。一部の実施例では、画像特性に関してバックライトレベルが選択される。一部の実施例では、性能目標に基づきバックライトレベルが選択される。一部の実施例では、性能目標および画像特性に基づき、バックライトレベルが選択される。一部の実施例では、性能目標または誤差基準にマッチするＴＴＣを選択し、そのＴＴＣに対応するバックライトレベルを使用することによって、バックライトレベルが選択される。

バックライトレベルを一旦選択すると（１０６３）、関連づけによりそのレベルに対応するターゲットトーン曲線を選択する。次に、ターゲットトーン曲線により、画像を調節、エンハンスまたは補償できる（１０６４）。次に、選択されたバックライトレベルを使用し、ディスプレイに調節された画像を表示できる（１０６５）。

図６８を参照し、本発明の一部の実施例について説明する。これら実施例では、画像のディスプレイ性能目標を識別する（１０７０）。これは、ユーザーが直接性能目標を選択するユーザーインターフェースを通して実行できる。このことは、ユーザーが性能目標の優先度を識別するユーザーの問い合わせにより実行してもよい。画像分析、ディスプレイのデバイス特性、デバイスの使用履歴または他の情報に基づき、性能目標を自動的に識別することもできる。

性能目標に基づき、ターゲットトーン曲線パラメータを自動的に選択または発生できる（１０７１）。一部の実施例では、これらパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値Ｃを含む。

ターゲットトーン曲線パラメータから１つ以上のターゲットトーン曲線を生成できる（１０７２）。１つの式、一連の式、テーブル（例えばＬＵＴ）または他の表現として、ターゲットトーン曲線を表示できる。

一部の実施例では、各ＴＴＣはバックライトレベルに対応する。基準を満たす対応するＴＴＣを探すことにより、バックライトレベルを選択できる（１０７３）。一部の実施例では、他の方法により、バックライトを選択できる。バックライトをＴＴＣに無関係に選択した場合、そのバックライトレベルに対応するＴＴＣも選択できる。

最終ＴＴＣを一旦選択すると（１０７３）、このＴＴＣを画像に適用（１０７４）し、ディスプレイのための画像をエンハンス、補償または他の方法で処理できる。次に、処理されたこの画像を表示する（１０７５）。

図６９を参照し、本発明の一部の実施例について説明する。これら実施例では、画像のディスプレイ性能目標を識別する（１０８０）。このことは、ユーザーが性能目標を直接選択するユーザーインターフェースを通して実行できる。このことは、ユーザーが性能目標の優先度を識別するユーザーの問い合わせにより実行してもよい。画像分析、ディスプレイのデバイス特性、デバイスの使用履歴または他の情報に基づき、性能目標を自動的に識別することもできる。画像特性を識別するために画像分析が実行される（１０８１）。

性能目標に基づき、ターゲットトーン曲線パラメータを自動的に選択または発生できる（１０８２）。直接識別されるか、または最大ディスプレイ出力値およびコントラスト比により表わされるバックライトレベルも選択される。一部の実施例では、これらのパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらのパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値ｃを含む。

ターゲットトーン曲線パラメータからターゲットトーン曲線を生成できる（１０８３）。ターゲットトーン曲線を１つの式、一連の式、テーブル（例えばＬＵＴ）または他の表現によって表示できる。この曲線を一旦生成すると（１０８３）、この曲線を画像に適用（１０８４）し、表示用の画像をエンハンス、補償または他の方法で処理することができる。次に処理された画像を表示する（１０８５）。

カラーエンハンスメントおよび明るさエンハンスメント
本発明の一部の実施例は、カラーエンハンスメントおよび明るさエンハンスメント、または保存を含む。これら実施例では、明るさエンハンスメントまたは保存と共に、カラーをエンハンスするために、固有のカラー値、範囲または領域を変更する。一部の実施例では、これらの変更またはエンハンスメントは画像のローパス（ＬＰ）バージョンで実行される。一部の実施例では、固有のカラーエンハンスメントプロセスが使用される。

図７０を参照し、本発明の一部の実施例について説明する。これら実施例では、ＬＰ画像１１２５を発生するためにローパス（ＬＰ）フィルタにより画像１１３０をフィルタリング（１１３１）する。このＬＰ画像１１２５は、元の画像１１３０から減算（１１３４）するか、または他の方法で組み合わせ、ハイパス（ＨＰ）画像１１３５を生成する。ＬＰ画像はトーンスケールプロセス１１３３により処理される。例えば明るさ保存（ＢＰ）プロセス、または同様のプロセスにより画像の特徴部の明るさを高められ、低減されたバックライトレベルを補償、または、他の実施例を参照してこれまで説明したように、ＬＰ画像１１２５を変更する。次に、エンハンスされたトーンスケール画像を発生するために、上記の結果得られた処理ＬＰ画像とＨＰ画像１１３５を組み合わされ、発生されたエンハンス画像は次にビット深度拡張（ＢＤＥ）プロセス１１３９により処理される。ＢＤＥプロセス１１３９では、特別に設計されたノイズパターンまたはディザーパターンを画像に適用し、画像のビット深度を下げるその後の処理から生じるコンターリングアーティファクトに対する影響を減少させることができる。一部の実施例は、スコットＪ．デイリー氏、およびシャオファンフェン氏を発明者とし、「適応型ディザー構造のための方法およびシステム」を発明の名称とし、２００４年２月９日に出願された米国特許出願第１０／７７５，０１２号（本明細書では本願を参考例として援用する）に記載されているようなＢＤＥプロセスを含むことができる。一部の実施例は、シャオファンフェン氏およびスコットＪ．デイリー氏を発明者とし、「ディザー構造の作成および適用のためのシステムおよび方法」を発明の名称とし、２００３年８月２２日に出願された米国特許出願第１０／６４５，９５２号（本願を本明細書で参考例として援用する）に記載されているような、ＢＤＥプロセスを含むことができる。一部の実施例はシャオファンフェン氏およびスコットＪ．デイリー氏を発明者とし、「多次元ディザー構造の作成および適用のためのシステムおよび方法」を発明の名称とし、２００３年９月３０日に出願された米国特許出願第１０／６７６，８９１号（本願を本明細書で参考例として援用する）に記載されているようなＢＤＥプロセスを含むことができる。この結果得られるＢＤＥエンハンスされた画像１１２９は次にディスプレイされ、更に処理される。ＢＤＥエンハンスされた画像１１２９は、上記参考例として援用する上記米国特許出願に説明されているように、ビット深度を低減したときに、コンターリングアーティファクトが生じにくくなる。

図７１を参照して本発明の一部の実施例について説明する。これら実施例では、画像のＬＰバージョンを生成するために、画像１１３０はローパス（ＬＰ）フィルタ（１１３１）を通される。このＬＰバージョンは処理のためにカラーエンハンスメントモジュール１１３２へ送られる。カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、カラーエンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理だけでなく非肌色領域処理も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素のためのカラー値の変更を生じさせる。

カラー変更後、カラー変更されたＬＰ画像は明るさ保存または明るさエンハンスメントモジュール１１３３へ送られる。このモジュール１１３３は、明るさ特性を改善するために画像の値をトーンスケール曲線または同様な方法で調節または変更する。上記多くの実施例に類似したものである。一部の実施例では、トーンスケール曲線は、光源あるいはバックライトレベルに関係する。一部の実施例では、トーンスケール曲線は低減されたバックライトレベルを補償する。一部の実施例では、トーンスケール曲線は画像を明るくしたり、またはバックライトレベルと無関係に画像を変更する。

次にカラーエンハンスされ、明るさがエンハンスされた画像はハイパス（ＨＰ）バージョンの画像に結合される。一部の実施例では、画像のＨＰバージョンは元の画像１１３０からＬＰバージョンを減算（１１３４）することにより生成され、結果として画像のＨＰバージョン１１３５が得られる。カラーエンハンスされ、明るさがエンハンスされた画像と、画像のＨＰバージョン１１３５との結合１１３７は、エンハンスされた画像１１３８を発生する。

本発明の一部の実施例は、ＨＰ画像のための画像に依存したバックライト選択および／または別個の利得プロセスを含むことができる。これら２つの付加的要素は、独立した別個の要素であるが、図７２に示されるように両方の要素を含む実施例に関連して、説明される。この実施例では、フィルタモジュール１１３１に画像１１３０を入力し、このモジュールでＬＰ画像１１４５を発生する。次に、元の画像１１３０からＬＰ画像１１４５を減算し、ＨＰ画像１１３５が生成される。ＬＰ画像１１４５は、又、カラーエンハンスメントモジュール１１３２に送られる。一部の実施例では、元の画像１１３０は、又、バックライトの明るさレベルを決定する際に使用するために、バックライト選択モジュール１１４０へ送られる。

カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、カラーエンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理機能だけでなく、非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素に対するカラー値の変更を生じさせる。

明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１４１は、トーンスケール操作による処理のためにＬＰ画像１１４５を受信する。トーンスケール動作はバックライト選択モジュール１１４０から受信したバックライト選択情報に依存する。トーンスケール動作により、明るさ保存がなしとげられるとき、トーンスケール曲線を決定するのにバックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。

同様な実施例に対してこれまで説明した方法を使って、ＨＰゲインモジュール１１３６内でＨＰ画像１１３５を処理することもできる。ＨＰゲインモジュールにおける処理の結果、変更されたＨＰ画像１１４７が得られる。トーンスケールモジュール１１４１におけるトーンスケール処理の結果得られる変更されたＬＰ画像１１４６を、変更されたＨＰ画像１１４７と組み合わせ（１１４２）、エンハンスされた画像１１４３を発生できる。

バックライト選択モジュール１１４０からのバックライト選択データを受信したバックライト１１４４と共に、バックライト変調を使用するディスプレイに、エンハンスされた画像１１４３は表示される。従って、低減された、または変調されたバックライト設定により、かつバックライト変調を補償する変更された画像値によって、画像は表示される。同様に、ＬＰトーンスケール処理およびＨＰゲイン処理を含む明るさがエンハンスされた画像はフルバックライトの明るさで表示される。

図７３を参照し、本発明の一部の実施例について説明する。これら実施例では、フィルタモジュール１１５０に元の画像１１３０を入力し、フィルタモジュールはＬＰ画像１１５５を生成する。一部の実施例では、フィルタモジュールはヒストグラム１１５１も生成する。ＬＰ画像１１５５をカラーエンハンスメントモジュール１１５６だけでなく減算プロセス１１５７にも送ることができ、この減算プロセスにて、元の画像１１３０からＬＰ画像１１５５が減算され、ＨＰ画像１１５８が形成される。一部の実施例では、ＨＰ画像１１５８はコアリングプロセス１１５９を受け、このプロセスにおいて、ＨＰ画像１１５８から高周波要素を除去する。このコアリングプロセスの結果、コアＨＰ画像１１６０が得られ、得られた画像は明るさ保存、エンハンスメントまたは他の実施例に関してこれまで説明したような他のプロセスを達成するために、ゲインマップ１１６２により処理（１１６１）される。ゲインマッピングプロセス１１６１の結果、ゲインマップされたＨＰ画像１１６８が得られる。

カラーエンハンスメントモジュール１１５６に送られたＬＰ画像１１５５は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能または他の機能を用いて処理される。一部の実施例では、カラーエンハンスメントモジュール１１５６は、肌色検出機能、肌色マップリファイン機能、肌色領域処理機能だけでなく非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１５６における機能は、例えばピクセル強度値のような画像要素に対するカラー値の変更を生じさせ、この変更されたカラー値は、カラーエンハンスされたＬＰ画像１１６９として記録される。

次にＢＰトーンスケールまたはエンハンスメントトーンスケールモジュール１１６３内でカラーエンハンスされたＬＰ画像１１６９は処理される。トーンスケール操作による処理のために、明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１６３が、カラーエンハンスされたＬＰ画像１１６９を受信できる。トーンスケール操作は、バックライト選択モジュール１１５４から受信したバックライト選択情報に依存する。トーンスケール操作により明るさ保存を達成するとき、トーンスケール曲線を決定するのに、バックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。トーンスケールモジュール１１６３内で実行されるトーンスケール操作は、バックライト情報と関係なく、画像特性、アプリケーションの性能目標および他のパラメータに依存する。

一部の実施例では、カラーエンハンスメントモジュール１１５６およびトーンスケールモジュール１１６３がそれらの機能を実行するための時間を許容するために、画像のヒストグラム１１５１が遅延される（１１５２）。これら実施例では、バックライト選択１１５４に影響するように、遅延されたヒストグラム１１５３を使用できる。一部の実施例では、前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。一部の実施例では、現在のフレームから２つ前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。バックライト選択を一旦実行すると、トーンスケールモジュール１１６３により、バックライト選択データを使用できる。

トーンスケールモジュール１１６３により一旦カラーエンハンスされたＬＰ画像１１６９を処理すると、その結果得られたカラーエンハンスされ、明るさがエンハンスされたＬＰ画像１１７６とゲインマップされたＨＰ画像１１６８とが結合される（１１６４）。一部の実施例では、このプロセス１１６４を追加プロセスとすることができる。一部の実施例では、この組み合わせプロセス１１６４から得られた、エンハンスされ、組み合わされた画像１１７７が、画像表示のための最終画像となる。次に、バックライト選択モジュール１１５４から受信されたバックライト設定で変調されたバックライト１１６６を使用し、このエンハンスされ、組み合わされた画像１１７７をディスプレイにディスプレイできる。

図７４を参照し、本発明の一部のカラーエンハンスメントモジュールについて説明する。これらの実施例では、カラーエンハンスメントモジュール１１７１にＬＰ画像１１７０を入力する。カラーエンハンスメントモジュール１１７１内にて、ＬＰ画像１１７０に種々のプロセスを実施してもよい。ＬＰ画像１１７０に対し、肌色検出プロセス１１７２を実行してもよい。肌色検出プロセス１１７２は、ＬＰ画像１１７０内の各ピクセルのカラーの分析と、ピクセルカラーに基づき肌色の度合を示す値の割り当てを含む。このプロセスの結果、肌色の度合を示すマップが得られる。一部の実施例では、色が肌色である度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の可能性を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願、または上記肌色検出方法を含むことができる。

上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１７３により処理できる。ＬＰ画像１１７０はこのリファインプロセス１１７３に入力されまたはそこからアクセスされる。一部の実施例では、このリファインプロセス１１７３は、画像で駆動される非線形なローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定の色空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１７３は肌色マップ値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。

カラーエンハンスメントモジュール１１７１では、肌色領域だけにカラー変更プロセス１１７４を適用することにより、ＬＰ画像１１７０を区分して処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１７４を適用してもよい。一部の実施例では、肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１７５が得られる。一部の実施例では、エンハンスされたＬＰ画像を更にトーンスケールモジュール、例えばＢＰまたはエンハンスメントトーンスケールモジュール１１６３で処理してもよい。

図７５を参照して本発明の一部の実施例について説明する。これら実施例では、画像のＬＰバージョンを生成するために、画像１１３０はローパス（ＬＰ）フィルタ（１１３１）でフィルタリングされる。このＬＰバージョンは、処理のためにカラーエンハンスメントモジュール１１３２へ送られる。カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、エンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理だけでなく非肌色領域処理も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素のためのカラー値の変更を生じさせる。

カラー変更後、カラー変更されたＬＰ画像は明るさ保存または明るさエンハンスメントモジュール１１３３へ送られる。このモジュール１１３３は、明るさ特性を改善するために画像の値をトーンスケール曲線または同様な方法で調節または変更する、上記多くの実施例に類似したものである。一部の実施例では、トーンスケール曲線は光源またはバックライトレベルに関連する。一部の実施例では、トーンスケール曲線は低減されたバックライトレベルを補償する。一部の実施例では、トーンスケール曲線は画像を明るくしたり、またはバックライトレベルと無関係に画像を変更する。

次に画像のハイパス（ＨＰ）バージョンにカラーエンハンスされ、明るさがエンハンスされた画像を結合される。一部の実施例では、画像のＨＰバージョンは元の画像１１３０からＬＰバージョンを減算（１１３４）することにより生成され、結果として画像のＨＰバージョン１１３５が得られる。カラーエンハンスされ、明るさがエンハンスされた画像と、画像のＨＰバージョン１１３５との結合１１３７は、エンハンスされた画像１１３８を発生する。

これらの実施例では、エンハンスされた画像１１３８にビット深度拡張（ＢＤＥ）プロセス１１３９を実行する。このＢＤＥプロセス１１３９はビット深度が限定されているときに生じる視認可能なアーティファクトを低減できる。一部の実施例は、参考例として本明細書で援用する上記特許出願に記載されているようなＢＤＥプロセスを含むことができる。

図７６を参照し、本発明の一部の実施例について説明する。これら実施例は、図７３を参照して説明した実施例に類似するが、追加的ビット深度拡張処理を含む。

これら実施例では、フィルタモジュール１１５０に元の画像１１３０を入力し、フィルタモジュールはＬＰ画像１１５５を生成する。一部の実施例では、フィルタモジュールはヒストグラム１１５１も生成する。ＬＰ画像１１５５はカラーエンハンスメントモジュール１１５６だけでなく減算プロセス１１５７にも送られ、この減算プロセスにて、元の画像１１３０からＬＰ画像１１５５を減算し、ＨＰ画像１１５８を形成する。一部の実施例では、ＨＰ画像１１５８はコアリングプロセス１１５９を受けることもでき、このプロセスにおいて、ＨＰ画像１１５８から高周波要素が除去される。このコアリングプロセスの結果、コアＨＰ画像１１６０が得られ、この画像は明るさ保存、エンハンスメントまたは他の実施例に関してこれまで説明したような他のプロセスを達成ために、ゲインマップ１１６２により処理される（１１６１）。ゲインマッピングプロセス１１６１の結果、ゲインマップされたＨＰ画像１１６８が得られる。

カラーエンハンスメントモジュール１１５６に送られたＬＰ画像１１５５は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能または他の機能で処理される。一部の実施例では、カラーエンハンスメントモジュール１１５６は、肌色検出機能、肌色マップリファイン機能、肌色領域処理機能だけでなく非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１５６における機能は、例えばピクセル強度値のような画像要素に対するカラー値を変更し、このカラー値は、カラーエンハンスされたＬＰ画像１１６９として記録される。

次にカラーエンハンスされたＬＰ画像１１６９はＢＰトーンスケールまたはエンハンスメントトーンスケールモジュール１１６３で処理される。トーンスケール操作による処理のために、明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１６３が、カラーエンハンスされたＬＰ画像１１６９を受信する。トーンスケール操作は、バックライト選択モジュール１１５４から受信したバックライト選択情報に依存する。トーンスケール操作により明るさ保存を達成するときには、トーンスケール曲線を決定するのに、バックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。トーンスケールモジュール１１６３内で実行されるトーンスケール操作は、バックライト情報と関係なく、画像特性、アプリケーションの性能目標および他のパラメータに依存する。

一部の実施例では、カラーエンハンスメントモジュール１１５６およびトーンスケールモジュール１１６３がそれらの機能を実行するための時間を許容するために、画像のヒストグラム１１５１が遅延される（１１５２）。これら実施例では、バックライト選択１１５４に影響するように、遅延されたヒストグラム１１５３を使用できる。一部の実施例では、現在のフレームから２つ前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。バックライト選択を一旦実行すると、トーンスケールモジュール１１６３により、バックライト選択データを使用できる。

トーンスケールモジュール１１６３により一旦カラーエンハンスされたＬＰ画像１１６９を処理すると、その結果得られた、カラーエンハンスされ、明るさがエンハンスされたＬＰ画像１１７６とゲインマップされたＨＰ画像１１６８とが結合される（１１６４）。一部の実施例では、このプロセス１１６４を追加プロセスとすることができる。一部の実施例では、この組み合わせプロセス１１６４から得られた、エンハンスされ、組み合わされた画像１１７７はビット深度拡張（ＢＤＥ）処理で処理される（１１６５）。このＢＤＥプロセス１１６５は、ビット深度が限られているときに生じる視認できるアーティファクトを低減できる。一部の実施例は、本明細書で参考例として援用する上記特許出願に記載のＢＤＥプロセスを含むことができる。

ＢＤＥ処理１１６５後、バックライト選択モジュール１１５４から受信したバックライト設定で変調されたバックライト１１６６を使用し、エンハンスされた画像１１６９はディスプレイに表出される。

図７７を参照し、本発明の一部の実施例について説明する。これら実施例では、ＬＰ画像１１８３を発生するようにローパス（ＬＰ）フィルタにより画像１１８０をフィルタリングする（１１８１）。このＬＰ画像１１８３はハイパス（ＨＰ）画像１１８９を発生するために、元の画像１１８０から減算されるか（１１８２）、または元の画像１１８０と組み合わされる。ＬＰ画像は次にカラーエンハンスメントモジュール１１８４で処理される。カラーエンハンスメントモジュール１１８４内にて、ＬＰ画像に種々のプロセスが実施される。ＬＰ画像１１８３に対し、肌色検出プロセス１１８５が実行される。肌色検出プロセス１１８５は、ＬＰ画像１１８３内の各ピクセルのカラーの分析と、ピクセルカラーに基づく肌色の度合値の割り当てを含む。このプロセスの結果、肌色の度合値を示すマップが得られる。一部の実施例では、色が肌色の度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の度合を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願に記載されたまたは上記肌色検出方法を含むことができる。

上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１８６により処理できる。ＬＰ画像１１８３は、このリファインプロセス１１８６に入力されまたはそこからアクセスされる。一部の実施例では、画像で駆動される非線形なローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定のカラー空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１８６は、肌色マップ内の値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。

カラーエンハンスメントモジュール１１８４では、肌色領域だけにカラー変更プロセス１１８７を実施することにより、ＬＰ画像１１８３を区別処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１８７を実施してもよい。一部の実施例では肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１８８が得られる。

エンハンスされたこのＬＰ画像１１８８を次にＨＰ画像１１８９に加算するか、または組み合わせて、エンハンスされた画像１１９２を生成できる。

図７８を参照し、本発明の一部の実施例について説明する。これらの実施例では、ＬＰ画像１１８３を生成するためにローパス（ＬＰ）フィルタにより画像１１８０をフィルタリングする（１１８１）。このＬＰ画像１１８３はハイパス（ＨＰ）画像１１８９を発生するために、元の画像１１８０から減算するか（１１８２）、またはこれと組み合わされる。次にカラーエンハンスメントモジュール１１８４でＬＰ画像を処理する。カラーエンハンスメントモジュール１１８４内にて、ＬＰ画像に種々のプロセスを実施してもよいし、ＬＰ画像１１８３に対し、肌色検出プロセス１１８５を実行してもよい。肌色検出プロセス１１８５は、ＬＰ画像１１８３内の各ピクセルのカラーの分析と、ピクセルカラーに基づく肌色の度合値の割り当てを含むことができる。このプロセスの結果、肌色の度合を示すマップが得られる。一部の実施例では、色が肌色である度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の度合を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願に記載され、これまで説明された肌色検出方法を含むことができる。

上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１８６により処理できる。ＬＰ画像１１８３は、このリファインプロセス１１８６に入力されまたはそこからアクセスされる。一部の実施例では、このリファインプロセス１１８６は、画像で駆動される非リニアなローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定のカラー空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１８６は、肌色マップ内の値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。

カラーエンハンスメントモジュール１１８４では、肌色領域だけにカラー変更プロセス１１８７を実施することにより、ＬＰ画像１１８３を区別処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１８７を実施してもよい。一部の実施例では、肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１８８が得られる。

次に、エンハンスされたこのＬＰ画像１１８８をＨＰ画像１１８９に加えるかまたは結合し、エンハンスされた画像を生成し、このエンハンスされた画像をビット深度拡張（ＢＤＥ）プロセス１１９１で処理する。このＢＤＥプロセス１１９１では、特別に設計されたノイズパターンまたはディザーパターンを画像に適用し、画像ビット深度を低減するその後の処理からコンターアリングアーティファクトに対する影響を低減する。一部の実施例は、参考例として本明細書に援用する上記特許出願に記載されているようなＢＤＥプロセスを含むことができる。この結果生じるＢＤＥでエンハンスされた画像１１９３は表示されるかまたは更に処理される。ＢＤＥエンハンスされた画像１１９３は、これまで参考例として援用したアプリケーションに説明されているように、ビット深度が低減されるとき、コンターアリングアーティファクトを生じにくくなる。

本発明の一部の実施例は、ハードウェアによる実現の制限下で高い質のバックライト変調および明るさ保存を実現する細部を含む。図７３および７６に示された実施例を参照し、これら実施例について説明する。

一部の実施例は、図７３および７６におけるバックライト選択１１５４およびＢＰトーンスケール１１６３のブロックにある要素を含む。これら実施例の一部は、メモリの消費量およびリアルタイムでの計算要求量を低減できる。

ヒストグラムの計算
これらの実施例では、輝度値ではなく、画素値でヒストグラムを計算する。従って、カラー変換は不要である。一部の実施例では、初期のアルゴリズムは画像のすべてのサンプルでのヒストグラムを計算できる。これら実施例では、画像の最後のサンプルが受信されるまで、ヒストグラムの計算を完了できない。バックライトの選択およびトーン曲線設計の補償を行うことができる前に、すべてのサンプルを得て、ヒストグラムを完了しなければならない。

これら実施例には、いくつかの複雑性の問題がある。
・フレームバッファの必要性。ヒストグラムを完了するまで、ピクセルとして補償できない−ＲＡＭの問題。
・他の計算部が停止するため、バックライト選択演算の時間はほとんどない。−計算の問題。
・すべての画像サンプルでのヒストグラムを計算するのに処理しなければならない多数の画像サンプルがある−計算の問題。
・１０ビットの画像データでは、１０ビットのヒストグラムはDistortionを最適化するのに必要なデータ保持に比較的大きいメモリと、多数の点での演算を必要とする−ＲＡＭおよび計算の問題。

本発明の一部の実施例は、これら問題を解消するための技術を含む。フレームバッファの必要性を解消するには、バックライト選択アルゴリズムへの入力として前のフレームのヒストグラムを使用できる。フレームｎ＋１、ｎ＋２または別のその後のフレームのための入力としてフレームｎからのヒストグラムを使用し、フレームバッファを不要にできる。

計算のための時間を許容するために、ヒストグラムは１以上の追加フレームだけ遅延することができるので、フレームｎからのヒストグラムをフレームｎ＋２、ｎ＋３などのバックライト選択のための入力として使用する。これによって、フレームｎの終了部から次のフレーム、例えばｎ＋２の開始点までのバックライト選択アルゴリズム時間が計算のため許容される。

一部の実施例では、バックライト選択アルゴリズムの出力に対する時間フィルタを使用し、入力フレームに対するバックライト選択におけるこのフレーム遅延による影響を低減できる。

各ヒストグラムを計算する際に処理しなければならないサンプル数を少なくするために、一部の実施例は個々のピクセルではなく、１つのブロックを使用できる。各カラー平面および各ブロックに対し、最大サンプルを計算する。これらブロックの最大値についてヒストグラムを計算する。一部の実施例では、各カラー平面についてなお最大値が計算される。従って、Ｍ個のブロックを有する画像は、ヒストグラムに対し、３−Ｍ個の入力を有する。

一部の実施例では、小さいビットレンジ、すなわち６ビットに量子化された入力データについてヒストグラムが計算される。これらの実施例では、ヒストグラムを保持するために必要なＲＡＭが少なくなる。更に、Distortionに関連した実施例では、Distortionサーチに必要な操作も少なくなる。

関数１としてソースコードの形態で、以下に、ヒストグラム計算実施例の例について説明する。

関数１
/***************************************************************************************/
//
ComputeHistogram
// Comutes histogram based on maximum on block
// block size and histogram bitdepth set in defines
// Relevant Globals
// gHistogramBlockSize
// gN_HistogramBins
// N_PIPELINE_CODEVALUES
/***************************************************************************************/
void ComputeHistogram(SHORT *pSource[NCOLORS],IMAGE_SIZE size,UINT32
*pHistogram)
{
SHORT cv;
SHORT bin;
SHORT r,c,k;
SHORT block;
SHORT cvMax;
SHORT BlockRowCount;
SHORT nHistogramBlocksWide;
nHistogramBlocksWide=size.width/gHistogramBlockSize;
/* Clear histogram */
for(bin=0;bin<gN_HistogramBins;bin++)
pHistogram[bin]=0;
// use max over block for histogram don't mix colors
// track max in each scan line of block and do max over scanlines
// initialize
BlockRowCount=0;
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
MaxBlockCodeValue[k][block]=0;
for(r=0;r<size.height;r++)
{
// single scan line
for(c=0;c<size.width;c++)
{
block=c/gHistogramBlockSize;
for(k=0;k<NCOLORS;k++)
{
cv=pSource[k][r*size.width+c];
if(cv>MaxBlockCodeValue[k][block])
MaxBlockCodeValue[k][block]=cv;
}
}
// Finished line of blocks?
if(r==(gHistogramBlockSize*(BlockRowCount+1)-1))
{
// update histogram and advance BlockRowCount
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
{
cvMax=MaxBlockCodeValue[k][block];
bin=(SHORT)((cvMax*(int)gN_HistogramBins+(N_PIPELINE_CODEVALUES/2))/((SHO
RT)N_PIPELINE_CODEVALUES));
pHistogram[bin]++;
}
BlockRowCount=BlockRowCount+1;
// reset maximums
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
MaxBlockCodeValue[k][block]=0;
}
}
return;
}

ターゲットおよび実際のディスプレイモデル
一部の実施例では、Distortionおよび補償アルゴリズムは目標および基準ディスプレイを説明するのに使用したパワー関数に依存する。このパワー関数またはガンマは、整数表示でオフラインで計算される。一部の実施例では、このリアルタイムの計算はガンマ指数関数のあらかじめ計算された整数値を利用できる。関数２として下にリストアップしたサンプルコードは、一実施例を記述するものである。

関数２
void InitPowerOfGamma(void)
{
int i;
//Init ROM table here
for(i=0;i<N_PIPELINE_CODEVALUES;i++)
{
PowerOfGamma[i]=pow(i/((double)N_PIPELINE_CODEVALUES-1),GAMMA);
IntPowerOfGamma[i]=(UINT32)((1<<N_BITS_INT_GAMMA)*PowerOfGamma[i]+0.5);
}
return;
}

一部の実施例では、Distortionに基づくバックライト選択プロセスおよびバックライト補償アルゴリズムを制御するのに、リアルタイムで使用される２つのパラメータＧＯＧ−Ｆモデルにより、ターゲットディスプレイと実際のディスプレイの双方をモデル化できる。一部の実施例では、加算的オフセットと共に２．２のガンマパワールールを有するようにターゲット（基準）ディスプレイと実際のパネルの双方をモデル化できる。加算的オフセットはディスプレイのコントラスト比を決定できる。

Distortionの重み付けの計算
一部の実施例では、各バックライトレベルおよび入力画像に対し、所望する出力画像と所定のバックライトレベルでの出力との間のDistortionが計算される。この結果、各ヒストグラムのBinと各バックライトレベルに対する重みが得られる。必要なバックライトレベルに対するDistortionの重みだけを計算することにより、使用されるＲＡＭのサイズを最小レベルまたは低減されたレベルに維持できる。これらの実施例では、オンラインの計算によりアルゴリズムは基準ディスプレイまたはターゲットディスプレイの異なる選択に適用できる。この計算は、２つの要素、すなわち画像のヒストグラムと一組のDistortion重み付けとを必要とする。別の実施例では、すべての可能なバックライトレベル値に対するDistortionの重み付けをオフラインで計算し、ＲＯＭに記憶した。ＲＯＭの必要性を低減するために、各フレームに対する当該各バックライトレベルに対するDistortionの重み付けが計算される。所望するディスプレイモデルおよびパネルディスプレイモデル並びにバックライトレベルのリストを仮定して、各フレームに対するこれらバックライトレベルのDistortionの重み付けが計算される。次の関数３に、一実施例のためのサンプルコードを示す。

関数３
/*********************************************************************
// void ComputeBackLightDistortionWeight
// computes distoriton needs large bitdepth
// comutes distortion weights for a list of selected backlight levels and panel parameters
// Relevant Globals
// MAX_BACKLIGHT_SEARCH
// N_BITS_INT_GAMMA
// N_PIPELINE_CODEVALUES
// IntPowerOfGamma
// gN_HistogramBins
***************************************************************************************/
void ComputeBackLightDistortionWeight(SHORT nBackLightsSearched,
SHORT BlackWeight,
SHORT WhiteWeight,
SHORT PanelCR,
SHORT TargetCR,
SHORT BackLightLevelReference,
SHORT BackLightLevelsSearched[MAX_BACKLIGHT_SEARCH])
{
SHORT b;
SHORT bin;
SHORT cvL,cvH;
__int64 X,Y,D,Dmax;
Dmax=(1<<30);
Dmax=Dmax*Dmax;
for(b=0;b<nBackLightsSearched;b++)
{
SHORT r,q;
r=N_PIPELINE_CODEVALUES/gN_HistogramBins;
// find low and high code values for each backlight searched

// PanelOutput=BackLightSearched*((1-PanelFlare)*y^Gamma+PanelFlare)
// TargetOutput=BackLightLevelReference*((1-TargetFlare)*x^Gamma+TargetFlare)

// for cvL, find x such that minimum paneloutput is achieved on targetoutput
// TargetOutput(cvL)=min(PanelOutput)=BackLightSearched*PanelFlare
// BackLightLevelReference*((1-
TargetFlare)*cvL^Gamma+TargetFlare)=BackLightSearched/PanelCR
// BackLightLevelReference/TargetCR*((TargetCR-
1)*cvL^Gamma+1)=BackLightSearched/PanelCR
// PanelCR*BackLightLevelReference*((TargetCR-
1)*cvL^Gamma+1)=TargetCR*BackLightSearched
// PanelCR*BackLightLevelReference*((TargetCR-
1)*IntPowerOfGamma[cvL]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearche
d*(1<<N_BITS_INT_GAMMA))
X=TargetCR;
X=X*BackLightLevelsSearched[b];
X=X*(1<<N_BITS_INT_GAMMA);
for(cvL=0;cvL<N_PIPELINE_CODEVALUES;cvL++)
{
Y=IntPowerOfGamma[cvL];
Y=Y*(TargetCR-1);
Y=Y+(1<<N_BITS_INT_GAMMA);
Y=Y*BackLightLevelReference;
Y=Y*PanelCR;
if(X<=Y)
break;
}
// for cvH, find x such that maximum paneloutput is achieved on targetoutput
// TargetOutput(cvH)=max(PanelOutput)=BackLightSearched*1
// BackLightLevelReference*((1-
TargetFlare)*cvH^Gamma+TargetFlare)=BackLightSearched
// BackLightLevelReference/TargetCR*((TargetCR-
1)*cvH^Gamma+1)=BackLightSearched
// BackLightLevelReference((TargetCR-
1)*cvH^Gamma+1)=TargetCR*BackLightSearched
// BackLightLevelReference((TargetCR-
1)*IntPowerOfGamma[cvH]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearche
d*(1<<N_BITS_INT_GAMMA)
X=TargetCR;
X=X*BackLightLevelsSearched[b];
X=X*(1<<N_BITS_INT_GAMMA);
for(cvH=(N_PIPELINE_CODEVALUES-1);cvH>=0;cvH--)
{
Y=IntPowerOfGamma[cvH];
Y=Y*(TargetCR-1);
Y=Y+(1<<N_BITS_INT_GAMMA);
Y=Y*BackLightLevelReference;
if(X>=Y)
break;
}

// build distortion weights
for(bin=0;bin<gN_HistogramBins;bin++)
{
SHORT k;
D=0;
for(q=0;q<r;q++)
{
k=r*bin+q;
if(k<=cvL)
D+=BlackWeight*(cvL - k)*(cvL - k);
else if(k>=cvH)
D+=WhiteWeight*(k-cvH)*(k-cvH);
}
if(D>Dmax)
D=Dmax;
gBackLightDistortionWeights[b][bin]=(UINT32)D;
}
}
return;
}

バックライトサーチのサブサンプリング
一部の実施例では、バックライト選択アルゴリズムは、各バックライトレベルにおけるターゲットディスプレイ出力とパネル出力との間のDistortionを最小にするプロセスを含むことができる。評価しなければならないバックライトレベルの数と、計算し、記憶しなければならないDistortion重み付けの数の双方を低減するために、このサーチではバックライトレベルの一部を使用できる。

一部の実施例では、サーチをサブサンプリングする２つの方法を使用できる。第１方法では、バックライトレベルの可能な範囲を粗く量子化する。例えば４ビットに量子化する。最小Distortionに関して、この量子化されたレベルの一部をサーチする。一部の実施例では、完全にするために最小値および最大値の絶対値を使用してもよい。第２の方法では、最終フレームに対して得られたバックライトレベルの近傍の範囲にある値を使用する。例えば最小および最大絶対レベルと共に、最終フレームのバックライトレベルからの±４、±２、±１および＋０がサーチされる。後者の方法では、サーチレンジの限界により、選択されるバックライトレベルの変動に対しある制限が加えられる。一部の実施例では、サブサンプリングを制御するために、シーンカット検出を使用する。１つのシーン内で、ＢＬサーチは最終フレームのバックライトのまわりに、小さいサーチウィンドーを中心に置く。シーンがカットされた境界部では、可能なＢＬ値のレンジにわたって少数のポイントを割り当てる。同じシーン内のその後のフレームは、別のシーンカットが検出されなければ、前のフレームのＢＬのまわりにサーチを集中する前の方法を使用する。

１つのＢＰ補償曲線の計算
一部の実施例では、操作中に、いくつかの異なるバックライトレベルを使用できる。別の実施例では、全バックライトレベルに対する補償曲線をオフラインで計算し、リアルタイムで画像を補償するためにＲＯＭに格納する。各フレームでは１つの補償曲線しか必要でないことに留意することにより、このメモリの必要性を低減できる。従って、フレームごとに補償トーン曲線を計算し、ＲＡＭにセーブする。一部の実施例では、補償曲線の設計はオフラインの設計で使用されているようなものである。一部の実施例は、最大忠実ポイント（ＭＦＰ）までリニアにブーストアップし、その後、上記のようにスムーズに丸められる曲線を含むことができる。

時間フィルタ
バックライト変調を有するシステムにおける１つの問題は、フリッカーである。このフリッカーは、画像処理補償技術を使用することで低減できる。しかしながら、バックライトの変動が急速な場合に、結果としてアーティファクトを生じさせる補償の制限がいくつかある。ある状況では、ブラックポイントおよびホワイトポイントがバックライトをトラッキングするが、すべてのケースでは、これらポイントを補償することはできない。更に、一部の実施例では、バックライト選択は遅延されたフレームからのデータに基づくので、実際のフレームデータと異なることがある。ブラック／ホワイトレベルのフリッカーを制御し、バックライト計算においてヒストグラムを遅延できるようにするために、バックライト制御ユニットおよび対応する補償に送られる実際のバックライト値をスムーズにするのに、時間フィルタを使用できる。

明るさ変化との融合
種々の理由から、ユーザーはディスプレイの明るさを変えたいことがある。１つの問題は、バックライト変調環境内でこれをどのように行うかである。従って、一部の実施例は、バックライト変調および明るさ補償コンポーネントを変えないままにして、基準ディスプレイの明るさを操作できるようにしている。下記に関数４として記述するコードは、基準バックライトインデックスを最大値にセットするか、または平均ピクチャーレベル（ＡＰＬ）が、最大のディスプレイの明るさを変えるために使用される場合には、このＡＰＬに応じた値にセットするかのいずれかである、一実施例を示す。

関数４
/*****************************************************************************
if(gStoredMode)
{
BackLightIndexReference=N_BACKLIGHT_VALUES-1;
}
else
{
APL=ComputeAPL(pHistogram);
// temporal filter APL
if(firstFrame)
{
for(i=(APL_FILTER_LENGTH-1);i>=0;i--)
{
APL_History[i]=APL;
}
}
for(i=(APL_FILTER_LENGTH-1);i>=1;i--)
{
APL_History[i]=APL_History[i-1];
}
APL_History[0]=APL;
APL=0;
for(i=0;i<APL_FILTER_LENGTH;i++)
APL=APL+APL_History[i]*IntAplFilterTaps[i];
APL=(APL+(1<<(APL_FILTER_SHIFT-1)))>>APL_FILTER_SHIFT;
BackLightIndexReference=APL2BackLightIndex[APL];
}

重み付けされたエラーベクトルの実施例
本発明の一部の実施例は、バックライトまたは光源照度レベルを選択するために重み付けされたエラーベクトルを利用する方法およびシステムに関する。一部の実施例では、ターゲット画像の照明のために最終選択を行う複数の光源照度レベルを選択する。次に、光源照度レベルの各々に対するディスプレイ出力を計算するのに、パネルディスプレイモデルを使用できる。一部の実施例では、前に説明した実施例を参照して説明したような基準ディスプレイモデルまたは実際のディスプレイモデルを使用して、ディスプレイ出力レベルを決定できる。ターゲット出力曲線も生成される。次に、パネル出力とターゲット出力曲線を比較することにより、各光源照度レベルに対するエラーベクトルを決定できる。

画像のヒストグラムまたは画像値をエミュレートする同じようなものをターゲット画像に対して生成することもできる。画像ヒストグラムまたは同じようなものにおける各画素値に対応する値を使って、特定の画像に対するエラーベクトルに重み付けをすることができる。一部の実施例では、特定の画素値に対応するヒストグラムのＢｉｎ内のヒット数に、その画素値に対するエラーベクトルの値を乗算し、重み付けされた画像固有のエラーベクトル値を生成できる。重み付けされたエラーベクトルは、画像内の各画素値に対するエラーベクトル値を含み得る。この画像固有の、光源照度レベル固有のエラーベクトルがその特定の画像に対する固有の光源照度レベルを使用する結果得られるエラーの表示として使用できる。

各光源照度レベルに対するエラーベクトルデータを比較すると、どの照度レベルがその特定の画像に対して最小のエラーを発生するかを示すことができる。一部の実施例では、重み付けされたエラーベクトルコード値の合計を重み付けされた画像エラーと呼ぶ。一部の実施例では、特定の画像に対して最小エラーまたは最小の重み付けされた画像エラーを生じる光源照度レベルがその画像を表示するために選択される。ビデオシーケンスでは、各ビデオフレームに対しこのプロセスを行うに従う結果、光源照度レベルはフレーム毎にダイナミックに変えられる。

図７９を参照し、本発明の一部の実施例の特徴について説明するが、図７９は、ターゲット出力曲線２０００およびいくつかのディスプレイ出力曲線２００２−２００８を示す。ターゲット出力曲線２０００は、画素値（横軸に示す）と、ディスプレイ出力（縦軸に示す）との間の望ましい関係を示す。２５％〜１００％までの光源照度レベルに対するディスプレイ出力曲線２００２〜２００８も示されている。２５％のバックライトに対するディスプレイ出力曲線は２００２で示されており、５０％のバックライトに対するディスプレイ出力曲線は２００４で示されており、７５％のバックライトに対するディスプレイ出力曲線は２００６で示されており、１００％のバックライトに対するディスプレイ出力曲線は２００８で示されている。一部の実施例では、ディスプレイ出力曲線２００２〜２００８とターゲット出力曲線２０００との間の垂直方向の差は、その位置における画素値に対応するエラー値を示すか、またはこのエラー値に比例する。一部の実施例では、画素値のセットに対するこれらエラー値の累積値をエラーベクトルと呼ぶ。

図８０を参照し、本発明の一部の実施例の特徴について説明する。図８０は、特定のディスプレイ光源照度レベルに対してエラーベクトルをプロットしたものである。この図におけるエラーベクトルのプロットは、図７９のターゲットおよびディスプレイ出力曲線２０００〜２００８に対応する。２５％のバックライトに対するエラーベクトルは番号２０１６で示されており、５０％のバックライトに対するエラーベクトルは番号２０１４で示されており、７５％のバックライトに対するエラーベクトルは番号２０１２で示されており、１００％のバックライトに対するエラーベクトルは番号２０１０で示されている。図８０に示されるこれらの実施例では、すべてのエラー値を正の数にするために、二乗されたエラー値を使用する。別の実施例では、他の方法によってエラー値を決定でき、一部のケースでは負のエラー値も存在し得る。

本発明の一部の実施例では、エラーベクトルと画像データとを組み合わせて、画像固有のエラー値を生成する。一部の実施例では、画像のヒストグラムと１つ以上のエラーベクトルとを組み合わせて、ヒストグラムで重み付けされたエラー値を生成する。一部の実施例では、特定の画素値に対するヒストグラムのＢｉｎカウントを、その画素値に対応するエラー値で乗算し、ヒストグラムで重み付けされたエラー値を生成する。所定のバックライト照度レベルにおける画像に対するすべてのヒストグラムで重み付けされた画素値の合計を、ヒストグラムで重み付けされたエラーと呼ぶことがある。複数のバックライト照度レベルの各々に対してヒストグラムで重み付けされたエラーが決められる。バックライト照度レベルは、そのバックライト照度レベルに対応するヒストグラムで重み付けされたエラーに基づいて選択される。

図８１を参照し、本発明の一部の実施例の特徴について説明する。図８１は、種々のバックライト照度レベルに対するヒストグラムで重み付けされたエラーをプロットした線を含む。最初の画像に対するヒストグラムで重み付けされたエラーをプロットした線２０２０は、８６％の照度レベル近くの最小値２０２１までエラーの大きさが一様に減少することを示し、最小値後は、その線はバックライト値が増加するにつれ上昇する。この特定の画像に対し、ほぼ８６％の照度レベルで、エラーが最小になる。第２画像に対する別の線２０２２は、９０％の照度レベルの近傍で第２の最小値２０２３まで一様に減少し、その後、バックライト値が増加するにつれ、その線は上昇する。この第２の画像に対し、約９５％の照度レベルでエラーが最小になる。このように、種々の光源またはバックライト照度レベルに対し、いったんヒストグラムで重み付けされたエラーが決定されると、特定の画像に対するバックライト照度レベルを選択できる。

図８２を参照し、本発明の一部の実施例について説明する。これらの実施例では、ヒストグラムの計算プロセス２０３１に画像２０３０を入力すると、これにより画像ヒストグラム２０３２が生成される。複数のバックライト照度レベルに対するエラーベクトルデータ２０３３を決定するのに、ディスプレイパネルも分析される。次に、ヒストグラムデータ２０３２と重み付けされたエラーベクトルデータ２０３３とを組み合わせることにより、重み付けされたエラー２０３５が生成される（２０３４）。一部の実施例では、この組み合わせは画素値に対応するエラーベクトル値をその画素値に対応するヒストグラムのカウントで乗算し、ヒストグラムで重み付けされたエラーベクトル値を生成することによって実行される（２０３４）。画像内のすべての画素値に対するすべてのヒストグラムで重み付けされたエラーベクトル値の合計を、ヒストグラムで重み付けされたエラー２０３５と呼ぶことがある。

各バックライト照度レベルに対するエラーベクトルと適切なヒストグラムのカウント値とを組み合わせることにより、複数のバックライト照度レベルの各々に対し、ヒストグラムで重み付けされたエラーを決定できる。このプロセスの結果、複数のバックライト照度レベルに対するヒストグラムで重み付けされたエラー値を含むヒストグラムで重み付けされたエラーアレイが得られる。次に、画像表示にとって、どのバックライト照度レベルが最も適切であるかを判断するために、ヒストグラムで重み付けされたエラーアレイにおける値が分析される。一部の実施例では、最小のヒストグラムで重み付けされたエラー２０３６に対応するバックライト照度レベルが画像表示に対して選択される。一部の実施例では、バックライト照度レベルの決定に別のデータが影響し得る。例えば一部の実施例では、省電力目標が決定に影響し得る。一部の実施例では、最小のヒストグラムで重み付けされたエラー値に近いが、同じようにその他の基準を満たすようなバックライト照度レベルを選択できる。一旦、バックライト照度レベル２０３７を選択すると、ディスプレイにこのレベルが通知される。

図８３を参照し、本発明の一部の実施例について説明する。これらの実施例では、特定のディスプレイデバイスまたはディスプレイ特性に対するターゲット出力曲線を生成する（２０４０）。この曲線またはそれに付随するデータは、ディスプレイの望ましい出力を示す。種々のバックライトまたは光源照度レベルに対するディスプレイ出力曲線も生成する（２０４１）。例えば一部の実施例では、０％〜１００％までの間で１０％または５％きざみで、バックライト照度レベルに対するディスプレイ出力曲線を生成できる。

ターゲット出力曲線およびディスプレイまたはパネル出力曲線に基づき、照度レベル固有のエラーベクトルが計算される（２０４２）。これらエラーベクトルは、対応する画素値におけるターゲット出力曲線の値とディスプレイまたはパネル出力曲線の値の差を求めることにより計算できる。１つのエラーベクトルは、１つの画像の各画素値に対するエラー値またはターゲットディスプレイのダイナミックレンジ内の各画素値に対するエラー値を含み得る。エラーベクトルは複数の光源照度レベルに対して計算される。例えば、エラーベクトルはディスプレイに対して生成された各表示出力曲線に対して計算される。あらかじめ１組のエラーベクトルを計算し、画像表示中にリアルタイム計算に使用するために、これを記憶するあるいは他の計算のために使用することができる。

特定の画像または画像特性に光源照度レベルを合わせるために、画像のヒストグラムを生成し（２０４３）、照度レベル選択プロセスで使用できる。一部の実施例では、特定の画像において、画素値が発生する周波数を識別するのに、他のデータ構造を使用できる。これら他の構造を、この明細書ではヒストグラムと呼ぶ。

一部の実施例では、表示エラーを画像に関連付けるために、変化する光源照度レベルに対応するエラーベクトルがヒストグラムの値で重み付けされる（２０４４）。これらの実施例では、エラーベクトル値は対応する画素値に対するヒストグラム値で乗算されるかまたはそれと関連付けられる。換言すれば、所定の画素値に対応するエラーベクトル値は、所定の画素値に対応するヒストグラムのＢｉｎカウント値で乗算される。

重み付けされたエラーベクトル値が一旦決定されると、所定のエラーベクトルに対する重み付けされたすべてのエラーベクトル値が加算され（２０４５）、そのエラーベクトルに対応する照度レベルに対するヒストグラムで重み付けされたエラー値が生成される。エラーベクトルを計算した各照度レベルに対し、ヒストグラムで重みづけされたエラー値が計算される。

一部の実施例では、ヒストグラムで重み付けされたエラー値のセットを検査（２０４６）し、設定特性を決定できる。一部の実施例では、この設定特性を最小値とすることができる。一部の実施例では、この設定特性を、その他の制限内の最小値とすることができ、一部の実施例では、この設定特性をパワー制限を満たす最小値とすることができる。一部の実施例では、直線、曲線または他の形状のものがヒストグラムで重み付けされたエラー値のセットに対してあてはめられ、又、これらを使って既知のエラー値の間を補間するため、あるいは、これらがヒストグラムで重み付けされたエラー値のセットを表わすために使用される。ヒストグラムで重み付けされたエラー値および設定特性または他の制限に基づき、光源照度レベルを選択できる。一部の実施例では、最小のヒストグラムで重み付けされたエラー値に対応する光源照度レベルを選択できる。

一旦、光源照度レベルが選択されると、ディスプレイがターゲット画像を表示するために選択された照度レベルを使用できるように、その選択がディスプレイに通知されるか、または表示の時に使用される画像と共に記憶される。

シーンカットに応答するディスプレイ光源信号フィルタ
光源変調はダイナミックコントラストを改善し、ディスプレイの電力消費量を低減できるが、この光源変調はディスプレイの輝度に不快な変動を生じさせることがある。上記のように、光源の変化の大部分を補償するために画像データを変更できるが、この方法は、ダイナミックレンジの最端部での光源の変化を完全には補償できない。このような不快な変動は、ドラスティックな光源レベルの変化およびそれに付随する変動を低減するために光源信号を時間的にローパスフィルタリングすることによって低減できる。この方法は、黒レベルの変化を制御する際に有効であり、十分長いフィルタを用いることにより、この黒レベルの変化を効果的に感知できないようにできる。

しかしながら、ビデオシーケンスのいくつかのフレームにまたがる長いフィルタは、シーンが遷移する際に問題となり得る。例えば暗いシーンから明るいシーンへの切り変わり時には、低い黒レベルから高い明るさへ移るために、光源レベルを急激に上昇させなければならない。光源またはバックライト信号の単純な時間的フィルタリングは、ディスプレイの応答性を制限し、その結果、暗いシーンから明るいシーンへ変化した後に、画像の明るさを徐々に上昇させて不快にする。このような上昇を実質的に見えないようにする十分長いフィルタを使用する結果、遷移後に明るさが低下する。

従って、本発明の一部の実施例は、シーンカット検出を含み、一部の実施例は、ビデオシーケンスにおけるシーンカットの存在に対して応答するフィルタを含む。

図８４を参照し、本発明の一部の実施例について説明する。これらの実施例では、シーンカット検出器２０５１および／またはバッファ２０５２に画像２０５０またはその画像からの画像データを入力する。一部の実施例では、これらモジュール２０５１および２０５２の一方または双方は、画像ヒストグラムを生成し、この画像ヒストグラムは他方のモジュール２０５１および２０５２も通る。次に、画像２０５０および／または画像データは、適切な光源レベルを決定または選択する光源レベル選択モジュール２０５３に送られる。上記種々の方法でこのような選択または決定を実行できる。次に、時間フィルタモジュール２０５４に、選択した光源レベルが通知される。シーンカット検出モジュール２０５１は、現時点のフレームに隣接するか、または現時点のフレームに対して所定の近さの範囲内にあるビデオシーケンス内にシーンカットが存在するかどうかを判断するために、画像データまたは画像ヒストグラムを使用できる。シーンカットが検出された場合、その存在が時間フィルタモジュール２０５４へ通知される。この時間フィルタモジュール２０５４は、一連の光源レベル信号をフィルタリングできるように光源信号バッファを含むことができる。この時間フィルタモジュール２０５４は、光源信号をフィルタリングするための複数のフィルタまたは１つ以上の可変フィルタも含むことができる。一部の実施例では、時間フィルタモジュール２０５４は、無限インパルス応答（ＩＩＲ）フィルタを含むことができ、一部の実施例では、異なるフィルタ応答および出力を生じるよう、ＩＩＲフィルタの係数を変えることができる。

時間フィルタモジュール２０５４の１つ以上のフィルタは、シーンカットに依存し得るので、シーンカット検出器２０５１からのシーンカット信号は、フィルタ特性に影響し得る。一部の実施例では、現時点のフレームの近くでシーンカットが検出されたときに、フィルタを完全にバイパスさせる。別の実施例では、シーンカットの検出に応じて、単にフィルタ特性が変えられる。別の実施例では、現時点のフレームの近くでのシーンカットの検出に応じて、異なるフィルタが使用される。時間フィルタモジュール２０５４が、必要なフィルタリングを実行した後に、光源レベル信号が光源作動モジュール２０５５へ送信される。

図８５を参照し、本発明の一部の実施例について説明する。これらの実施例では、シーンカット検出機能およびそれに関連する時間フィルタ機能が画像補償モジュールに結合される。一部の実施例では、画像２０６０またはそこから派生される画像データを、シーンカット検出モジュール２０６１、バッファ２０６２および／または画像補償モジュール２０６６へ入力する。一部の実施例では、これらモジュール２０６１および２０６２のうちの１つ以上が、画像ヒストグラムを生成し、このヒストグラムは他方のモジュール２０６１または２０６２へ送られる。次に、画像２０６０および／または画像データは、適切な光源レベルを決定または選択する光源レベル選択モジュール２０６３に送られる。上記のような種々の方法で、この選択または決定を実行できる。次に、時間フィルタモジュール２０６４へ、選択された光源レベルを通知する。シーンカット検出モジュール２０６１は、画像データまたは画像ヒストグラムを使って、現時点のフレームに隣接するか、または現時点のフレームの所定の近さの範囲内にあるビデオシーケンス内にシーンカットが存在するかどうかを判断する。シーンカットが検出された場合、シーンカットが存在することを示す信号が時間フィルタモジュール２０６４へ送られる。この時間フィルタモジュール２０６４は、一連の光源レベル信号をフィルタリングできるよう、光源信号バッファを含むことができる。この時間フィルタモジュール２０６４は、光源信号をフィルタリングするための複数のフィルタまたは１つ以上の可変フィルタも含むことができる。一部の実施例では、時間フィルタモジュール２０６４は、無限インパルス応答（ＩＩＲ）フィルタを含むことができる。一部の実施例では、異なるフィルタ応答および出力を生じるよう、ＩＩＲフィルタの係数を変えることができる。

時間フィルタモジュール２０６４の１つ以上のフィルタは、シーンカットに依存し得るので、シーンカット検出器２０６１からのシーンカット信号は、フィルタ特性に影響し得る。一部の実施例では、現時点のフレームの近くでシーンカットが検出されたときに、フィルタを完全にバイパスさせる。別の実施例では、シーンカットの検出に応じて、単にフィルタ特性が変えられる。別の実施例では、現時点のフレームの近くでのシーンカットの検出に応じて、異なるフィルタが使用される。時間フィルタモジュール２０６４が、必要なフィルタリングを実行した後に、光源作動モジュール２０６５および画像補償モジュール２０６６へ、光源レベル信号が送信される。画像補償モジュール２０６６は、画像２０６０のための適切な補償アルゴリズムを決定するために光源レベル信号を使用できる。この補償は、上記種々の方法で決定できる。画像補償を一旦決定すると、この補償を画像２０６０に適用し、光源作動モジュール２０６５へ送られた光源レベルを使って、変更された画像２０６７を表示できる。

図８６を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像補償モジュール２０８１および画像処理モジュール２０７１へ入力画像２０７０が入力される。画像処理モジュール２０７１では、画像データを抽出し、ダウンサンプリングし、または他の方法で処理し、これらの実施例の他の要素の機能を有効にする。一部の実施例では、画像処理モジュール２０７１はヒストグラムを生成し、このヒストグラムはバックライト選択モジュール（２０７２）へ送られる。このバックライト選択モジュールは、ヒストグラムバッファモジュール２０７３およびシーンカット検出モジュール２０８４だけでなく、Distortionモジュール２０７４および時間フィルタモジュール２０７５も含む。

ヒストグラムバッファモジュール２０７３内で、一連の画像フレームからのヒストグラムを比較し、分析する。シーンカット検出モジュール２０８４は、ヒストグラムを比較し、分析し、現時点のフレームの近くにシーンカットが存在するかを判断する。ヒストグラムデータはDistortionモジュール２０７４へ送信され、ここで１つ以上の光源照度レベルまたはバックライト照度レベルに対するDistortion特性が計算される（２０７７）。Distortion特性を最小にすることにより（２０７８）、特定の光源照度レベルを決定できる。

次に、選択されたこの照度レベルが時間フィルタモジュール２０７５に送られる。時間フィルタモジュールはまたシーンカット検出モジュール２０８４からのシーンカット検出信号を受信する。このシーンカット検出信号に基づき、時間フィルタ２０７９が光源照度レベル信号に適用される。一部の実施例では、現時点のフレームの近くにおいて、シーンカットが検出されたときにフィルタを適用しなくてもよい。別の実施例では、シーンカットが存在するときに適用されるフィルタは、シーンカットが近くにないときに適用されるフィルタとは異なる。

フィルタリングされた光源照度レベル信号は光源作動モジュール２０８０および画像補償モジュール２０８１へ送られる。この画像補償モジュールは、フィルタリングされた光源照度レベルを使って、光源照度レベルの変化を補償するための適切なトーンスケール補正曲線または別の補正アルゴリズムを決定できる。一部の実施例では、この目的のために、トーンスケール補正曲線またはガンマ補正曲線２０８２が生成される。次に、変更された画像２０８３を生成するために、入力画像２０７０にこの補正曲線を適用できる。次に光源作動モジュール２０８０へ送られた光源照度レベルで、変更された画像２０８３を表示できる。

図８７を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像２０９０またはこれから派生されたデータを、空間ローパスフィルタ２０９６、バッファ／プロセッサ２０９２、シーンカット検出モジュール２０９１および総和器２０９８へ入力する。空間ローパスフィルタ２０９６は、ローパス画像２０９７を形成でき、このローパス画像は明るさ保存トーンスケール発生モジュール２１０１へ送信される。このローパス画像２０９７は、ハイパス画像２０９９を形成するよう、入力画像２０９０と組み合わせるために、総和器２０９８へも送られる。

シーンカット検出モジュール２０９１は、入力画像またはそれからのデータ、例えばヒストグラムだけでなく、バッファ／プロセッサ２０９２に記憶されたデータも使用し、シーンカットが現時点のフレームに近いかどうかを判断する。シーンカットが検出された場合、信号が時間フィルタモジュール２０９４へ送られる。入力画像２０９０またはそこから派生されたデータを、バッファ／プロセッサ２０９２へ送り、そこで画像，画像データおよびヒストグラムを記憶し、比較する。適切な光源照度レベルを計算する際に検討するために、光源レベル選択モジュール２０９３へこのデータが送られる。光源レベル選択モジュール２０９３によって計算されたレベルはフィルタリングのために時間フィルタモジュール２０９４へ送られる。このプロセスに使用されるフィルタ例について、本明細書で後に説明する。光源レベル信号のフィルタリングは、現時点のフレームの近くにシーンカットが存在する場合に適応できる。後に説明するように、時間フィルタモジュール２０９４は、シーンカットが近くにないとき、より積極的にフィルタリングする。

フィルタリング後、入力画像またはそれに基づいて変更された画像を表示するのに使用するために、光源レベルは光源作動モジュール２０９５へ送られる。時間フィルタモジュール２０９４の出力は、明るさ保存トーンスケール発生モジュール２１０１へも送られ、この発生モジュールは次にトーンスケール補正曲線を生成し、その補正曲線をローパス画像２０９７へ適用する。次に、この補正されたローパス画像をハイパス画像２０９９と組み合わせ、エンハンス画像２１０２を形成する。一部の実施例では、補正されたローパス画像と組み合わせる前に、利得曲線によってハイパス画像２０９９を処理することもできる。

図８８を参照し、本発明の一部の実施例の特徴について説明する。これらの実施例では、現時点のフレームに対する光源照度レベルを決定する（２１１０）。現時点のフレームに近いシーンカットの存在も判断される（２１１１）。シーンカットが近くにある場合、現時点のフレームに対する光源照度レベル信号に対し、第２の時間フィルタリングプロセスを適用する（２１１２）。シーンカットが現時点のフレームの近くにない場合、現時点のフレームに対する光源照度レベル信号に対し、第１の時間フィルタリングプロセス２１１３を適用する。任意のフィルタリングを実行した後に、ディスプレイへ光源照度レベル信号を送り、現時点のフレームに対する照度レベルを指定する（２１１４）。一部の実施例では、第２のフィルタリングプロセス２１１２は、シーンカットが近くにある場合にフィルタリングをバイパスするだけである。

図８９を参照し、本発明の一部の実施例の特徴について説明する。これらの実施例では、光源レベル選択に関連するデータを決定するために、画像を分析する（２１２０）。このプロセスはヒストグラムの生成および比較を含む。画像データに基づき、適切な光源レベルが選択される（２１２１）。次に、１つ以上前のフレームからの画像データと、現時点のフレームからの画像データとを比較（２１２２）することにより、シーンカットの存在を判断できる。一部の実施例では、この比較はヒストグラムの比較を含むことができる。シーンカットが存在しない場合（２１２３）、現時点のフレームの光源レベルに対し、第１のフィルタリングプロセスを適用できる（２１２５）。このプロセスは、前のフレームに対して使用されたレベルに基づき、現時点のフレームに対する光源レベルの値を調節できる。シーンカットを検出したときは（２１２３）、光源照度レベルに第２のフィルタリングプロセス２１２４を適用できる。一部の実施例では、この第２のフィルタリングプロセスは、第１のフィルタリングプロセスの省略またはより積極的でないフィルタリングのプロセスの使用を含むことができる。フィルタリング後、現時点のフレームを表示するのに使用するためにディスプレイへ光源照度レベルが送られる。

テストビデオシーケンスを有するシナリオ例を参照し、本発明の一部の実施例の方法およびシステムについて説明する。このシーケンスは、発生したり、消えたりする白いオブジェクトを有する黒色バックグラウンドから成る。画像補償にかかわらず、黒色および白色値はバックライトに従う。フレームごとに選択されたバックライトは、黒フレーム上のゼロから白色になる大きい値まで変化し、再びゼロに戻る。図９０には、光源またはバックライトレベルとフレーム数の関係をプロットした線が示されている。この結果生じる画像は、黒レベルが変化する問題を有する。このビデオシーケンスは白色の四角形が現れる黒のバックグラウンドである。当初、バックライトは低く、黒シーンは極めて暗い。白色の四角形が現れると、バックライトが上昇し、黒レベルが濃い灰色になっていくのが目立つようになる。四角形が消滅すると、バックライトが低下し、バックグラウンドが再び極めて暗くなる。黒レベルのこのような変化は邪魔である。この黒レベルの変化を解消するには２つの方法がある。１つの方法は、暗いシーンでの黒色を人工的に上昇させるか、またはバックライトの変化を制御することである。黒レベルを高くすることは望ましくないので、本発明の方法およびシステムは、バックライトの変化がドラスティックとならないか、または顕著にならないようにバックライトの変化を制御している。

時間フィルタリング
これらの実施例の解決方法は、バックライト信号の変動を制御することによって、この黒レベルの変動を制御することである。人の視覚系は、輝度の低周波変動を検知できない。例えば日の出の間、空のブライトネス（明るさ）は確実に変化するが、この変化は、認識できるほど速くはない。図９１に示される時間的コントラスト感度関数（ＣＳＦ）では、定量的な測定が要約されている。一部の実施例では、黒レベルの変動を制限するフィルタを設計するのに、この概念を使用できる。

一部の実施例では、バックライト信号を平滑にするのに、単極ＩＩＲフィルタを使用できる。このフィルタは、バックライト信号の履歴値に基づくことができる。将来の値を利用できないとき、これらの実施例は良好に働く。

ここで、ＢＬ（ｉ）は、画像内容に基づくバックライト値であり、Ｓ（ｉ）は、現時点の値および履歴に基づく平滑にされたバックライト値である。このフィルタは、αに極を有するＩＩＲフィルタであり、このフィルタの伝達関数は次のように表記できる。

次の図９２には、この関数のボーデ図が示されている。周波数応答図は、このフィルタがローパスフィルタであることを示している。

本発明の一部の実施例では、現時点のフレームの近くのシーンカットの存在に基づき、フィルタを変えることができる。これらの実施例の一部では、極αに対する２つの値を使用でき、シーンカット検出信号に応じてこれらの値は切り換えられる。一実施例では、シーンカットを検出しないとき、推奨値は１０００／１０２４である。一部の実施例では、１〜１／２の値が推奨される。しかしながら、シーンカットが検出されると、この値は１２８／１０２４に置換される。一部の実施例では、この係数に対して１／２〜０の値が使用される。これらの実施例は、シーンカットにわたってより限られた量の平滑化を行うが、このことは有効であることが分かっている。

図９３におけるプロットは、例示システムの応答を示し、このシステムは図９０に示されたシーケンスに対し、時間バックライトフィルタリングを使用しており、この図９０は、２１４１におけるフレーム６０と２１４３におけるフレーム１２０との間の黒バックグラウンドに対し白領域の出現を含んでいる。白領域の発生前のゼロ２１４０ａから、白が生じるときの一定の高い値２１４０ｂまで、フィルタリングされていないバックライトは増加する。次に、このフィルタリングされていないバックライトは、２１４３におけるシーケンスから、白領域が消滅するときに再びゼロ２１４０ｃまで即座に低下する。このことは、明るい白領域を明るくする効果を有するが、黒のバックグラウンドを濃い灰色にしてしまうという副作用も有する。従って、白領域が発生し、消滅する際に、バックグラウンドが変化する。フィルタリングされたバックライト２１４２ａ、ｂおよびｃは、バックライトの変化が感知されないようにその変化を制限する。フィルタリングされたバックライトは、２１４１において、白領域が出現する前に、ゼロ値２１４２ａでスタートし、ゆっくりと２１４２ｂ上を増加する。白領域が消滅すると、バックライト値は、制御された速度で２１４２ｃまで低下させられる。フィルタリングされたシステムの白領域は、フィルタリングされていないシステムよりも若干薄暗いが、バックグラウンドの変化はずっと感知されない。

一部の実施例では、時間フィルタリングの応答性が問題となる場合がある。このことは、バックライトの応答性をこのように制限しないシステムと並べて比較すると特に顕著である。例えばシーンカットにわたってフィルタリングをする際に、黒レベルの変動を制御するのに使用するフィルタにより、バックライトの応答が制限される。図９４にはこの問題が示されている。図９４のプロットは、２１５０にて、黒から白まで急激に変化するシャープなシステムの出力をシミュレートしたものである。フィルタリングされていないシステム２１５１は、バックライトをゼロ２１５１ａから、明るい白を得るために上昇したレベル２１５１ｂまで上昇させることによって即座に応答する。フィルタリングシステムは、黒から白までの変化に対し曲線２１５２ｂに沿ってゼロ２１５２ａからゆっくりと上昇する。フィルタリングされていないシステムでは、画像は即座に灰色値まで進む。フィルタリングされたシステムでは、バックライトがゆっくりと増加するにつれ、灰色はゆっくりと白まで上昇する。従って、急速なシーン変化に対するフィルタリングされたシステムの応答性が低減される。

シーンカットの検出
本発明の一部の実施例は、シーンカット検出プロセスを含む。シーンカットを検出すると、バックライトの急速応答を可能にするように時間フィルタリングを変更できる。シーン内では、黒レベルの変化を制御するようにフィルタリングすることにより、バックライトの変化を制限する。シーンカットでは、人の視覚系のマスキング効果によって、ビデオ信号内のちょっとしたアーティファクトおよび変化は感知されない。

現時点のフレームが前のフレームと極めて異なるときにシーンカットが存在する。シーンカットが生じないとき、連続するフレームの間の差は小さい。シーンカットの検出を助けるために、２つの画像の間の差の測定法を定め、シーンカットと非シーンカットとを区別するようにスレッショルドを設定できる。

一部の実施例では、シーンカット検出方法は、ヒストグラムの差の相関性に基づくことができる。特に２つの連続するフレームまたは近接フレームＨ１およびＨ２のヒストグラムが計算される。２つの画像の間の差をヒストグラムの距離として定義できる。

ここで、ｉおよびｊはＢｉｎのインデックスであり、ＮはＢｉｎの数であり、Ｈ_１（ｉ）はヒストグラムのＢｉｎのｉ番目の値である。Ｂｉｎの値の合計が１に等しくなるようにヒストグラムを正規化する。一般的には、各Ｂｉｎの差が大きい場合、距離Ｄｃｏｒが大きくなる。ａｉｊはＢｉｎのインデックスの間の距離の二乗に等しい相関重み付けであり、このことは、２つのＢｉｎが互いに近い場合、例えばｉ番目のＢｉｎと（ｉ＋１）番目のＢｉｎのようにこれらを掛け合わせたものの影響は極めて小さい。そうでない場合は、影響は大きくなる。直感的には、純粋な黒と純粋な白画像に対し、２つの大きいＢｉｎの差は第１Ｂｉｎと最終Ｂｉｎとに存在する。その理由は、Ｂｉｎインデックス間の距離が大きいので、ヒストグラムの最終距離は大きくなるからである。黒画像に対するわずかな輝度の変化がなければ、Ｂｉｎの差が大きくても、これらは互いに接近（ｉ番目のＢｉｎおよび（ｉ＋１）番目のＢｉｎ）しているので、最終距離は近い。

シーンカットを分類するために、画像距離測定の他にスレッショルドを決定しなければならない。一部の実施例では、このスレッショルドを実験により求め、０.００１に設定できる。

一部の実施例では、シーン内において黒レベルの変動を限定するようになっているフィルタリングを使用できる。これらの実施例は、シーンカットに応答しない固定フィルタシステムを単に使用するだけである。黒レベルの可視的な変動は生じないが、応答は制限される。

一部の実施例では、シーンカットが検出されると、フィルタを応答がより高速のフィルタに切り換えることができるようになっている。こうすることによって、黒から白への変化に追随して、バックライトは、フィルタリングされていない信号のように劇的に上昇するのではないが、迅速に上昇する。図９５に示されるように、フィルタリングされていない信号はゼロから最大値２１６１までジャンプし、２１６０で白領域が出現した後に、その値に留まる。シーン２１６３内で使用されるより積極的なフィルタは、シーンカット遷移に対して非常にゆっくりと変化するが、シーンカットロケーションで使用される変更されたフィルタ２１６２は急速な上昇をし、その後、最大値に向かって徐々に増加するような変化を可能にする。

黒レベルの変化を感知させないように設計されたシーンカット検出および適応型時間フィルタリングを含む本発明の実施例を、適応型フィルタへ変更することで、大きい明るさ変化を伴うシーンカットに対するバックライトの応答性を維持しながら、シーン内で積極的に適用することができる。

低複雑性のＹゲイン実施例
本発明の一部の実施例は、低複雑システム内で働くようになっている。これらの実施例では、光源またはバックライトレベル選択は輝度ヒストグラムおよびこのヒストグラムに基づくDistortion計量値を最小にすることに基づくことができる。一部の実施例では、補償アルゴリズムはＹゲイン特性を使用できる。一部の実施例では、画像補償はＹゲイン処理を制御するためのパラメータの操作を含む。一部の状況では、Ｙゲイン処理はグレイスケール画像上の光源の減少を完全に補償するが、飽和した画像上の色の彩度を下げる。一部の実施例は、過剰な不飽和を防止するように、Ｙゲインの特性を制御できる。一部の実施例では、彩度低下を制御するためにＹゲイン強度パラメータを使用できる。一部の実施例では、２５％のＹゲイン強度が有効であることが証明されている。

図９６を参照し、本発明の実施例について説明する。
これらの実施例では、種々のバックライト照度レベルに対するDistortionの重み付け２１７４を計算し、オンライン処理中にアクセスするために、例えばＲＯＭ内に格納する。一部の実施例では、処理中に選択を行うために、例えばＲＯＭ内に他のフィルタ他特性のフィルタ係数２１７５またはパラメータを格納してもよい。

これらの実施例では、ヒストグラム計算プロセス２１７１に入力画像２１７０が入力され、このプロセスは、ヒストグラムバッファ２１７２に記憶される画像ヒストグラムを計算する。一部の実施例では、現時点のフレームに対するバックライトレベルを決定するために、前のフレームに対するヒストグラムが使用される。一部の実施例では、Distortionモジュール２１７６は、ヒストグラムバッファ２１７２からのヒストグラム値およびDistortionの重み付け２１７４を使用し、種々のバックライト照度レベルに対するDistortion特性を決定する。次に、Distortionモジュール２１７６は、計算されたDistortionを減少するか、または最小（２１７８）にするバックライト照度レベルを選択する。一部の実施例では、Distortion計量値を決定するのに、次の式５４を使用する。

ここでＢＬはバックライト照度レベルを示し、Ｗｅｉｇｈｔは、バックライト照度レベルおよびヒストグラムのＢｉｎに関連するDistortionの重み付け値であり、ＨはヒストグラムのＢｉｎの値である。

バックライト照度レベルを選択後、バックライト信号はフィルタモジュール２１７９内で時間フィルタ２１８０によりフィルタリングされる。このフィルタモジュール２１７９は、既にあらかじめ決定され、記憶されているフィルタ係数または特性２１７５を使用できる。フィルタリングが一旦実行されると、フィルタリングされた最終バックライト信号はディスプレイまたはディスプレイバックライト制御モジュール２１８１へ送られる。

Ｙゲイン設計モジュール２１８３へもフィルタリングされた最終バックライト信号が送られ、このモジュールで、この信号を使って画像補償プロセスが決定される。一部の実施例では、この補償プロセスは画像の輝度チャンネルに対し、トーンスケール曲線を適用することを含む。このＹゲイントーンスケール曲線は、それらの間で補間を実行できる。１つ以上のポイントによって決められる。一部の実施例では、Ｙゲイントーンスケールプロセスは、そのポイントより上でロールオフ曲線を使用できる最大忠実ポイント（ＭＦＰ）を含む。これらの実施例では、ＭＦＰより下のトーンスケール曲線を１つ以上の直線片が定め、丸め曲線関係が、ＭＦＰより上の曲線を定めることができる。一部の実施例では、次の式５５により丸め曲線部分を定めることができる。

これらの実施例は、輝度チャンネルでしか画像の補償を行わず、グレイスケール画像に対するフル補償を行うが、このプロセスはカラー画像内で彩度低下を生ずる。カラー画像の過剰な彩度低下を防止するために、一部の実施例では、強度制御モジュール２１８２内で決定される補償強度係数を含む。Ｙゲイン設計モジュール２１８３は輝度データでしか作動しないので、カラー特性は未知であり、強度制御モジュールは実際のカラー飽和レベルを知らずに作動しなければならない。一部の実施例では、式５６に示されるようなトーンスケール曲線の定義内に強度係数またはパラメータを組み込むことができる。

ここで、Ｓは強度係数であり、ＢＬはバックライト照度レベルであり、γはディスプレイγ値である。図９７にトーンスケール曲線の例を示す。

効率的な計算の実施例
本発明の一部の実施例では、バックライトまたは光源は、理想的なディスプレイとＬＣＤのような有限コントラスト比のディスプレイとの間のエラーを最小にすることに基づいて選択される。理想的なディスプレイと有限ＣＲディスプレイをモデル化する。各グレイレベルに対する理想的なディスプレイと有限ＣＲのディスプレイの間のエラーは、各バックライト値に対するエラーベクトルを定める。画像のDistortionは、各バックライトレベルにおけるエラーベクトルによって、画像ヒストグラムを重み付けすることによって定められる。

一部の実施例では、式５７に示された有限ＣＲＬＣＤにおけるフレアを説明するために、ディスプレイはパワー関数，ガンマ，追加項を使用してモデル化される。これは、ディスプレイコントラスト比ＣＲを使って表わされたオフセットゼロを有するGain-Offset-Gamma Flare（ＧＯＧＦ）モデルである。

図９８には、ディスプレイモデルを示す。理想的ディスプレイ２２００および２５％（２２０１）および７５％（２２０２）のバックライトを有する有限ＣＲディスプレイが示されている。

有限のＣＲＬＣＤの最大値および最小値は、画像補償によって得られる理想ディスプレイの上限ｘｍａｘおよび下限ｘｍｉｎを定める。これら限度はバックライト、すなわちｂｌ、ガンマ、すなわちγおよびコントラスト比、すなわちＣＲに応じて決まる。モデルによって定められるこれらクリッピング限度は式５８に要約される。

一部の実施例では、各バックライトレベルに対するエラーベクトルを定めるのに、最大限度および最低限度を使用できる。下記に示すエラー例は、クリッピングによって生じた二乗エラーに基づく。このエラーベクトルの成分は、指定されたバックライトレベルにおける理想的ディスプレイ出力と有限コントラスト比のディスプレイでの最も近い出力との間のエラーである。これら成分は式５９により代数的に定めることができる。

図９９は、エラーベクトルの例を示す。１００％のバックライトレベル３０１０は、理想的ディスプレイと比較して、高い黒レベルによって生じる低画素値におけるエラーを有する。これらはバックライトレベルおよび画素値だけに依存する画像データとは関係がない。

一部の実施例では、バックライト変調および画像補償を有する有限ＣＲのＬＣＤの性能は、各バックライトに対するエラーベクトルのセットによって要約される。各バックライト値での画像のDistortionは、式６０で画像ピクセル値のDistortionの和として表わされる。図示するように、これらの実施例では、このDistortionは画像のヒストグラムから計算される。画像ヒストグラムによって、ｂｌに対するエラーベクトルの重み付けをすることにより各バックライトｂｌに対して画像のDistortionが計算される。この結果が、各バックライトレベルにおける画像Distortionの量である。

テレビの電力測定値に対する最近のＩＥＣ規格からの、３つのフレームによる実施例を示す。図１００は、画像ヒストグラムを示す図１０１には図１００の画像ヒストグラムに対するDistortion対バックライト曲線および図９９のディスプレイエラーベクトルが示されている。

一部の実施例では、理想的ディスプレイと有限ＣＲディスプレイとの間の画像のDistortionを最小にすることによって、バックライト選択アルゴリズムが作動する。

本発明の一部の実施例は、ディスプレイコントラスト比および異なるエラー計量値を含む能力の双方を含むDistortionフレームワークを備える。一部の実施例は、バックライト選択プロセスのすべてまたは一部として、クリッピングされたピクセルの数を最小にすることによって作動する。図１０２は、ＩＥＣテストセットの１つのフレームでの、二乗エラーの和（ＳＳＥ）Distortionと、クリッピングされたピクセルの数（＃Ｃｌｉｐｐｅｄ）とを比較している。ＳＳＥはクリッピングされたピクセルの数の他にエラーの大きさを考慮しており、画像のハイライトを保存している。この画像に対し、クリッピングされたピクセルの数の最小値よりも高いバックライトでＳＳＥの最小値が生じる。クリッピングされたピクセルの数の他に、クリッピングエラーの大きさをＳＳＥが考慮することに起因して、このような差が生じる。クリッピングされたピクセルの数を示す曲線はスムーズではなく、多くの極小値を有する。ＳＳＥ曲線はスムーズであり、極小値が全体の最小値であるので、最小ＳＳＥを求める部分的サブサンプリングを有効にする。

このDistortionフレームワークによる計算は、最初に生じる程には困難ではない。一部の実施例では、ピクセル速度ではなく、フレームごとに１回バックライト選択を実行する。上記のように、ディスプレイエラーの重みはディスプレイのパラメータとバックライトだけに依存しており、画像の内容に依存していない。従って、所望すれば、ディスプレイのモデル化およびエラーベクトルの計算をオフラインで行うことができる。オンラインの計算はヒストグラムの計算、画像ヒストグラムによるエラーベクトルの重みづけおよび最小Distortionの選択を含む。一部の実施例では、Distortion最小化で使用されるバックライト値のセットを部分サンプリングし、Distortionの最小値を効率よく探すことができる。一実施例では、１７のバックライトレベルを調べている。

本発明の一部の実施例では、ディスプレイのモデル化、エラーベクトル計算、ヒストグラム計算、画像ヒストグラムによるエラーベクトルの重み付けおよび最小Distortionに対するバックライト選択をオンラインで実行する。一部の実施例では、実際の画像処理の前にディスプレイのモデル化およびエラーベクトル計算を実行し、一方、ヒストグラム計算、画像ヒストグラムによるエラーベクトルの重み付けおよび最小Distortionに対するバックライト選択をオンラインで実行する。一部の実施例では、各バックライトレベルに対するクリッピングポイントをオフラインで計算し、一方、エラーベクトル計算、ヒストグラム計算、画像ヒストグラムによるエラーベクトルの重み付けおよび最小Distortionに対するバックライト選択をオンラインで実行する。

本発明の一部の実施例では、画像に対するレベルをいつ選択するかを考慮するために、光源照度レベルのフルレンジの一部を選択する。一部の実施例では、レベルの全範囲のレベルを量子化することにより、この一部を選択する。これらの実施例では、選択のために一部内のレベルだけを検討する。一部の実施例では、照度レベルのこの一部のサイズはメモリの制約または他のリソースの制約によって決定される。

一部の実施例では、選択を行う一部の値を前のフレームに対して選択されたレベルに関連する範囲に制限することにより、処理中にこの光源照度レベルの一部を更に制限する。一部の実施例では、この制限された一部は、最終フレームに対して選択されたレベルの所定範囲内の値に限定される。例えば一部の実施例では、光源照度レベルの選択は、前に選択したレベルの一方の側の７つの値の限られた範囲に制限される。

本発明の一部の実施例では、光源照度レベルの範囲に関する制限は、シーンカット検出に依存する。一部の実施例では、光源照度レベルサーチアルゴリズムは、現時点のフレームの近くにシーンカットが検出されないときは、レベルの一部内から限られた範囲をサーチし、アルゴリズムはシーンカットが検出されたときは全照度レベルをサーチする。

図１０３を参照し、本発明の一部の実施例について説明する。これらの実施例では、元の入力画像フレーム２２５０からの画像データをシーンカット検出モジュール２２５１に入力し、シーンカットが現時点の入力フレーム２２５０に近いかどうかを判断する。現時点のフレームに隣接するフレームに関連する画像データもシーンカット検出モジュール２２５１に入力される。一部の実施例では、この画像データはヒストグラムデータを含む。シーンカット検出モジュールは次にこの画像データを処理し、シーンカットが現時点のフレームに近いかどうかを判断する。一部の実施例では、前のフレームのヒストグラムと、現時点のフレームのヒストグラムとが、スレッショルド値だけ異なっているときに、シーンカットが検出される。次に、Distortionモジュール２２５２にシーンカット検出プロセスの結果を入力し、このモジュールにおいて、光源照度レベル選択プロセスで、どのような光源照明値を考慮するかを決定するのに、シーンカットの存在が使用される。一部の実施例では、シーンカットが近傍にあるときに、より広い範囲の照度レベルが考慮される。一部の実施例では、選択プロセスにおいて最終画像フレームに対して選択されたレベルに関連する照度レベルの限られた一部が使用される。従って、シーンカット検出プロセスは、光源照明プロセスで考慮される値の範囲に影響を及ぼす。一部の実施例では、シーンカットが検出されたときに、現時点のフレームに対する選択プロセスにおいて、より広い範囲の照度レベルが考慮される。一部の実施例では、シーンカットを検出したときに、前のフレームに対して選択されたレベルに関連しない照度レベルの範囲を、現時点のフレームのための選択プロセスで使用し、一方、前のフレームに対して選択されたレベルの周辺にまとめられる照度レベルの範囲がシーンカットが検出されないときの選択プロセスに使用される。

候補照度レベルの範囲または一部がシーンカットの存在を関連して、一旦決定されると、各候補照度レベルに対するDistortion値が決定される（２２５３）。次に、最小Distortion値または他の基準に基づき、照度レベルのうちの１つが選択される（２２５４）。次に、この選択された照度レベルは、現時点のフレームを表示するのに使用するために光源またはバックライト制御モジュール２２５５へ通知される。伝送し、選択された照度レベルはトーンスケール曲線を計算するための画像補償プロセス２２５６または同様な補償ツールへの入力としても使用できる。このプロセスの結果得られた補償またはエンハンスされた画像２２５７が表示される。

図１０４を参照し、本発明の一部の実施例について説明する。これらの実施例は、現時点のフレームの近くのシーンカットの存在を判断するために、１つの画像または画像シーケンスを分析する（２２６０）。シーンカットが検出されると（２２６３）、光源照度レベル選択プロセスにおいて、光源照度レベルのより大きいセットが検討される。このより大きいセットは、サイズにおいてシーンカットが検出されないときに使用される一部に関係する。一部の実施例では、このより大きいセットは前のフレームに対して使用された値と関係しない。シーンカットが検出されない場合（２２６２）、照度レベルの限られた一部が選択プロセスにおいて使用される。一部の実施例では、その限られた一部は前のフレームに対して使用された値にも関連し得る。例えば一部の実施例では、限られた一部は前のフレームに対して使用された値の周辺にまとめられる一部である。照度レベルの範囲に関する制約を一旦決定すると、適切な範囲または一部から光源照度レベルを選択（２２６４）できる。

マッピングモジュールの実施例
本発明の一部の実施例は、１つ以上の画像特性をディスプレイモデルの属性に関係させるマッピングモジュールを含む。一部の実施例では、これら画像特性の１つを画像平均ピクセルレベル（ＡＰＬ）とすることができ、このピクセルレベルは画像ファイルから、画像ヒストグラムから、または他の画像データから直接決定できる。一部の実施例では、マッピングモジュールは画像のＡＰＬをディスプレイモデルスケーリング係数に、ディスプレイモデル最大出力値に、特定のディスプレイモデルに、または他のディスプレイモデル属性に写像することができる。一部の実施例では、ディスプレイモデル属性を決定するのに、ＡＰＬまたは他の画像特性の他に別の入力を使用できる。例えば、一部の実施例では、周辺光レベル、ユーザー明るさ選択またはユーザー選択可能なマップ選択も、マッピングモジュールによって選択されたディスプレイモデルの属性に影響し得る。

図１０５を参照し、本発明の一部の実施例について説明する。これらの実施例では、マッピングモジュール２２７１に画像２２７０または画像データを入力する。マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデルの属性に関連させる１つ以上のマップまたは相関構造を含むことができる。一部の実施例では、マッピングモジュール２２７１は、理想的ディスプレイの最大出力値またはこの理想的ディスプレイ最大出力値に関連するスケーリング係数に画像ＡＰＬを関連させることができる。例えばマッピングモジュール２２７１は、式５７に記載された理想的ディスプレイモデルの出力に適用されるスケーリング係数に画像ＡＰＬ値または別の画像特性を関連させることができる。

このディスプレイモデル属性を一旦決定すると、ディスプレイモデル化モジュール２２７２内で別のディスプレイモデルのパラメータを設定できる。ディスプレイモデル化モジュール２２７２は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。次に評価値（performance metric）またはDistortionモジュール２２７３は、このデータを使って種々の光源照度レベルに対する評価値を決定できる。一部の実施例では、評価値またはDistortionモジュール２２７３は、評価値を決定するのに使用するための画像データ、例えば画像ヒストグラムも受信できる。一部の実施例では、Distortionモジュール２２７３は画像ヒストグラムデータと、モデル化モジュール２２７２で決定された重み付け値とを組み合わせ、所定の光源照度レベルに対するDistortion値を決定する。

次に、光源レベル選択モジュール２２７４は評価値、例えばDistortionに基づき、適切な光源照度レベルを選択する。次に、光源照度レベルの変化に関して画像を補償できるように、この選択された光源照度レベルは画像補償モジュール２２７５に通知される。この照度レベルは、ディスプレイ光源制御モジュール２２７６にも送られる。次に、画像補償プロセス２２７５から生じた補償画像をディスプレイ２２７７に送り、ここで、この画像に対して選択された光源照度レベルを使ってその画像が表示される。

図１０６を参照し、本発明の一部の実施例について説明する。これらの実施例では、マッピングモジュール２２８１へ画像２２８０または画像データを入力する。図１０５に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含む。一部の実施例では、マニュアルマップ選択モジュール２２８８もマップ選択に影響し得る。多数のマップまたは相関が定められると、ユーザーはマニュアルマップ選択モジュール２２８８により好ましいマップを選択できる。この選択されたマップは、デフォルトマップまたは自動的に選択されるマップと異なる相関を得ることができる。一部の実施例では、例えば店頭用ディスプレイ、高いあるいは低い周辺光等の特定のビューイング条件、例えばテレビの視聴、映画の視聴またはゲーム等の特定のビューイング内容のためにマップを記憶し、指定する。一旦マップまたは相関性が選択されると、マッピングモジュール２２８１は画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデル化モジュール２２８２に送る。

一旦、このディスプレイモデル特性が決定されると、ディスプレイモデル化モジュール２２８２内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２２８２は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。次に、評価値またはDistortionモジュール２２８３は、このデータを使って種々の光源照度レベルに対する評価値を決定する。一部の実施例では、評価値またはDistortionモジュール２２８３は、評価値を決定するのに使用するための例えば画像ヒストグラム等の画像データも受信する。一部の実施例では、Distortionモジュール２２８３は画像ヒストグラムデータとモデル化モジュール２２８２で決定された重み付け値とを組み合わせて、所定の光源照度レベルに対するDistortion値を決定する。

次に、光源レベル選択モジュール２２８４は評価値、例えばDistortionに基づき、適切な光源照度レベルを選択する。次に、光源照度レベルの変化に関して画像を補償できるように、画像補償モジュール２２８５に、この選択された光源照度レベルを通知する。この照度レベルはディスプレイ光源制御モジュール２２８６にも送られる。次に、画像補償プロセス２２８５から生じた補償画像をディスプレイ２２８７に送り、ここで、この画像に対して選択された光源照度レベルを使ってその画像を表示する。

図１０７を参照し、本発明の一部の実施例について説明する。これらの実施例では、マッピングモジュール２２９１に画像２２９０または画像データを入力する。図１０５に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含むことができる。一部の実施例では、周辺光モジュール２２９８もマップ選択に影響し得る。周辺光モジュール２２９８は、例えば周辺光強度、周辺光カラーまたは周辺光特性の変化等の周辺光条件を決定するための１つ以上のセンサを含むことができる。この周辺光データは、マッピングモジュール２２９１に送られる。

多数のマップまたは相関関係が定められると、マッピングモジュールは、周辺光モジュール２２９８から受信したデータに基づきマップを選択する。この選択されたマップは、デフォルトマップまたは自動的に選択されたマップと異なる相関を得ることができる。一部の実施例では、例えば店頭用ディスプレイ、高いかまたは低い周辺光、または種々の周辺光パターン等の特定のビューイング条件に対してマップを記憶し、指定する。一旦マップまたは相関関係が選択されると、マッピングモジュール２２９１は画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデル化モジュール２２９２に送る。

一旦、このディスプレイモデル属性が決定されると、ディスプレイモデル化モジュール２２９２内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２２９２は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。次に評価値またはDistortionモジュール２２９３は、このデータを使って種々の光源照度レベルに対する評価値を決定する。一部の実施例では、評価値またはDistortionモジュール２２９３は、評価値を決定するのに使用するための画像データ、例えば画像ヒストグラムも受信できる。一部の実施例では、Distortionモジュール２２９３は画像ヒストグラムデータと、モデル化モジュール２２９２で決定された重み付け値とを組み合わせて、所定の光源照度レベルに対するDistortion値を決定する。

次に、光源レベル選択モジュール２２９４は評価値、例えばDistortionに基づき、適切な光源照度レベルを選択する。次に、光源照度レベルの変化に関して画像を補償できるように、画像補償モジュール２２９５に、この選択された光源照度レベルを通知する。この照度レベルはディスプレイ光源制御モジュール２２９６にも送られる。次に、画像補償プロセス２２９５から生じた補償画像をディスプレイ２２９７に送り、ここで、この画像に対して選択された光源照度レベルを使ってその画像を表示する。

図１０８を参照し、本発明の一部の実施例について説明する。これらの実施例では、マッピングモジュール２３０１に画像２３００または画像データを入力する。図１０５に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含むことができる。一部の実施例では、ユーザー明るさ選択モジュール２３０８もマップ選択に影響し得る。ユーザー明るさ選択モジュール２３０８は、ディスプレイの明るさを指定するユーザー入力を取り込むことができ、ユーザー選択を受け入れるためのユーザーインターフェースまた他の手段を含む。一部の実施例では、ユーザー明るさ選択入力はマッピングモジュール２３０１へ送られ、このモジュールにおいて、マップを選択または変更するか、またはマップからの出力を変更するのに、この入力が使用される。次にこの変更された出力は、モデル化モジュール２３０２へ送られる。別の実施例では、モデル化モジュール２３０２へユーザー明るさ選択入力を直接送り、このモジュールにおいて、マッピングモジュール２３０１から受信したデータを変更するために、この選択入力が使用される。

ユーザー明るさ入力を満たすディスプレイモデル属性が一旦決定されると、ディスプレイモデル化モジュール２３０２内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２３０２は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。次に評価値またはDistortionモジュール２３０３は、このデータを使って種々の光源照度レベルに対する評価値を決定する。一部の実施例では、評価値またはDistortionモジュール２３０３は、評価値を決定するのに使用するための画像データ、例えば画像ヒストグラムも受信する。一部の実施例では、Distortionモジュール２３０３は画像ヒストグラムとモデル化モジュール２３０２で決定された重み付け値とを組み合わせて、所定の光源照度レベルに対するDistortion値を決定する。

次に、光源レベル選択モジュール２３０４は評価値、例えばDistortionに基づき、適切な光源照度レベルを選択する。次に、光源照度レベルの変化に関して画像を補償できるように、画像補償モジュール２３０５に、この選択された光源照度レベルを通知する。この照度レベルはディスプレイ光源制御モジュール２３０６にも送られる。次に、画像補償プロセス２３０５から生じた補償画像をディスプレイ２３０７に送り、ここで、この画像に対して選択された光源照度レベルを使ってその画像を表示する。

図１０９を参照し、本発明の一部の実施例について説明する。これらの実施例では、マッピングモジュール２３１１に画像２３１０または画像データを入力する。図１０５に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含む。一部の実施例では、ユーザー明るさ選択モジュール２３１８もマップ選択に影響し得る。ユーザー明るさ選択モジュール２３１８は、ディスプレイの明るさを指定するユーザー入力を取り込むことができ、ユーザー選択を受け入れるためのユーザーインターフェースまた他の手段を含む。一部の実施例では、ユーザー明るさ選択入力はマッピングモジュール２３１１へ送られ、このモジュールにおいて、マップを選択または変更するか、またはマップからの出力を変更するのに、この入力が使用される。次にこの変更された出力は、モデル化モジュール２３１２へ送られる。別の実施例では、モデル化モジュール２３１２へユーザー明るさ選択入力を直接送り、このモジュールにおいて、マッピングモジュール２３１１から受信したデータを変更するために、この選択入力が使用される。これらの実施例では、ユーザー明るさ選択またはユーザー明るさ選択を行ったインジケータは時間フィルタモジュール２３１９へ送られる。

ユーザー明るさ入力を満たすディスプレイモデル属性が一旦決定されると、ディスプレイモデル化モジュール２３１２内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２３１２は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。次に評価値またはDistortionモジュール２３１３は、このデータを使って種々の光源照度レベルに対する評価値を決定する。一部の実施例では、評価値またはDistortionモジュール２３１３は、評価値を決定するのに使用するための画像データ、例えば画像ヒストグラムも受信する。一部の実施例では、Distortionモジュール２３１３は画像ヒストグラムと、モデル化モジュール２３１２で決定された重み付け値とを組み合わせて、所定の光源照度レベルに対するDistortion値を決定する。

次に、光源レベル選択モジュール２３１４は、評価値、例えばDistortionに基づき、適切な光源照度レベルを選択する。

これらの実施例では、ユーザー明るさ選択に感応する時間フィルタモジュール２３１９へ、選択された光源照度レベルが送られる。一部の実施例では、ユーザー明るさ選択を受信したときにフィルタモジュールは異なるフィルタを使用できる。一部の実施例では、ユーザー明るさ選択を受信しないときにフィルタを選択して使用し、ユーザー明るさ選択が受信されたときにフィルタを使用しないようにできる。一部の実施例では、ユーザー明るさ選択の受信に応答して、フィルタを変更できる。

光源照度レベル信号をフィルタリングした後に、光源照度レベルの変化に関して画像を補償できるよう、画像補償モジュール２３１５へフィルタリングされた信号を通知する。フィルタリングされた照度レベルは、ディスプレイ光源制御モジュール２３１６に送ることもできる。次に、画像補償プロセス２３１５から生じた補償画像をディスプレイ２３１７へ送り、ここで、その画像に対して選択されたフィルタリングされた光源照度レベルを使ってその画像を表示する。

図１１０を参照し、本発明の一部の実施例について説明する。これらの実施例では、マッピングモジュール２３３１に画像２３３０または画像データを入力する。図１０５に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含む。一部の実施例では、ユーザー明るさ選択モジュール２３３８もマップ選択に影響し得る。ユーザー明るさ選択モジュール２３３８は、ディスプレイの明るさを指定するユーザー入力を取り込むことができ、ユーザー選択を受け入れるためのユーザーインターフェースまた他の手段を含むことができる。一部の実施例では、ユーザー明るさ選択入力はマッピングモジュール２３３１へ送られ、このモジュールにおいて、マップを選択または変更するか、またはマップからの出力を変更するのに、この入力が使用される。次にこの変更された出力は、モデル化モジュール２３３２へ送られる。別の実施例では、モデル化モジュール２３３２へユーザー明るさ選択入力を直接送り、このモジュールにおいて、マッピングモジュール２３１１から受信したデータを変更するために、この選択入力が使用される。

これらの実施例は、例えば周辺光強度、周辺光カラーまたは周辺光特性の変化等の周辺光条件を決定するための１つ以上のセンサを含む周辺光モジュール２１９８を更に含む。この周辺光データは、マッピングモジュール２３３１に送られる。

多数のマップまたは相関関係が定められると、マッピングモジュールは、周辺光モジュール２３３９から受信したデータに基づきマップを選択する。この選択されたマップは、デフォルトマップまたは自動的に選択されたマップと異なる相関を得ることができる。一部の実施例では、例えば店頭用ディスプレイ、高いまたは低い周辺光等の特定のビューイング条件または種々の周辺光パターンに対してマップを記憶し、指定できる。

これらの実施例は、マップ選択に影響し得るマニュアルマップ選択モジュール２３４０も更に含む。多数のマップまたは相関関係が定められると、ユーザーはマニュアルマップ選択モジュール２３４０により好ましいマップを選択できる。この選択されたマップは、デフォルトマップまたは自動的に選択されるマップと異なる相関を得ることができる。一部の実施例では、例えば店頭用ディスプレイ、高いかまたは低い周辺光等の特定のビューイング条件、または、例えばテレビの視聴、映画の視聴またはゲーム等の特定のビューイング内容のためにマップを記憶し、指定する。

これらの実施例では、ユーザー明るさ選択モジュール２３３８、マニュアルマップ選択モジュール２３４０および周辺光モジュール２３３９から受信したデータを使ってマップを選択し、マップを変更し、またはマップから得られた結果を変更する。一部の実施例では、これらモジュールのうちの１つからの入力は、他のモジュールよりも優先権を有することができる。例えば一部の実施例では、ユーザー入力から受信したマニュアルマップ選択が周辺光条件に基づき自動化されたマップ選択プロセスを無効にできる。一部の実施例では、マッピングモジュール２３３１への多数の入力を組み合わせて、マップまたはマップ出力を選択し、変更する。

マップまたは相関関係が一旦選択されると、マッピングモジュール２３３１は画像特性をディスプレイモデルの属性に相関させ、この属性をディスプレイモデル化モジュール２３３２へ送る。

マッピングモジュール２３３１内の制約を満たすディスプレイモデル属性が一旦決定されると、ディスプレイモデル化モジュール２３３２内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２３３２は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。次に評価値またはDistortionモジュール２３３３は、このデータを使って種々の光源照度レベルのための評価値を決定する。一部の実施例では、評価値またはDistortionモジュール２３３３は、評価値を決定するのに使用するための画像データ、例えば画像ヒストグラムも受信する。一部の実施例では、Distortionモジュール２３３３は画像ヒストグラムとモデル化モジュール２３３２で決定された重み付け値とを組み合わせ、所定の光源照度レベルに対するDistortion値を決定する。

次に、光源レベル選択モジュール２３３４は評価値、例えばDistortionに基づき、適切な光源照度レベルを通知する。次に、光源照度レベルの変化に関して画像を補償できるように、画像補償モジュール２３３５に、この選択された光源照度レベルを伝送できる。この照度レベルはディスプレイ光源制御モジュール２３３６にも送られる。次に、画像補償プロセス２３３５から生じた補償画像をディスプレイ２３３７に送り、ここで、この画像に対して選択された光源照度レベルを使って、その画像を表示する。

図１１１を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像ヒストグラムを発生するために、ヒストグラムモジュール２３５５により画像２３５７または画像データが処理される。一部の実施例では、輝度ヒストグラムが生成される。別の実施例では、カラーチャンネルヒストグラムが生成される。次に、この画像ヒストグラムをヒストグラムバッファ２３５６に記憶できる。一部の実施例では、ヒストグラムバッファ２３５６は、多数のヒストグラム、例えば前のビデオシーケンスフレームからのヒストグラムを収納する容量を有する。次に、いくつかの目的のためにシステムの種々のモジュールによりこれらヒストグラムを使用される。

一部の実施例では、シーンカットモジュール２３５９は、ビデオシーケンス内にシーンカットが存在するかどうかを判断するために、ヒストグラムバッファにアクセスし、ヒストグラムデータを使用する。次に、このシーンカット情報を時間フィルタモジュール２３６４へ送り、ここで、この情報を使ってフィルタまたはフィルタパラメータを切り換えまたは変更する。マッピングモジュール２３５３はヒストグラムバッファ２３５６にもアクセスし、ＡＰＬまたは別の画像特性を計算するためにヒストグラムデータを使用する。

図１０５に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含むことができる。一部の実施例では、ユーザー明るさ選択モジュール２３５１もマップ選択に影響し得る。ユーザー明るさ選択モジュール２３５１は、ディスプレイの明るさを指定するユーザー入力を取り込むことができ、ユーザー選択を受け入れるためのユーザーインターフェースまた他の手段を含む。一部の実施例では、ユーザー明るさ選択入力はマッピングモジュール２３５３へ送られ、この手段において、マップを選択または変更するか、またはマップからの出力を変更するのに、この入力が使用される。次にこの変更された出力は、モデル化モジュール２３５４へ送られる。別の実施例では、モデル化モジュール２３５４へユーザー明るさ選択入力を直接送り、このモジュールにおいて、マッピングモジュール２３５３から受信したデータを変更するために、この選択入力が使用される。

これらの実施例は、例えば周辺光強度、周辺光カラーまたは周辺光特性の変化等の周辺光条件を決定するための１つ以上のセンサを含むことができる周辺光モジュール２３５０を更に含む。この周辺光データは、マッピングモジュール２３５３に送られる。

これらの実施例は、マップ選択に影響し得るマニュアルマップ選択モジュール２３５２も更に含むことができる。多数のマップまたは相関性が定められると、ユーザーはマニュアルマップ選択モジュール２３５２により好ましいマップを選択できる。

これらの実施例では、ユーザー明るさ選択モジュール２３５１、マニュアルマップ選択モジュール２３５２および周辺光モジュール２３５０から受信したデータを使ってマップを選択し、マップを変更し、またはマップから得られた結果を変更する。一部の実施例では、これらモジュールのうちの１つからの入力は、他のモジュールよりも優先権を有することができる。例えば一部の実施例では、ユーザー入力から受信したマニュアルマップ選択が周辺光条件に基づき自動化されたマップ選択プロセスを無効にできる。一部の実施例では、マッピングモジュール２３５３への多数の入力を組み合わせ、マップまたはマップ出力を選択し、変更する。

マップまたは相関関係が一旦選択されると、マッピングモジュール２３５３は画像特性をディスプレイモデルの属性に相関させ、この属性をディスプレイモデル化モジュール２３５４へ送る。

マッピングモジュール２３５３内の制約を満たすディスプレイモデル属性が一旦決定されると、ディスプレイモデル化モジュール２３５４内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２３５４は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。これとは異なり、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および（特定の光源照度レベルで表示されるときの画像の）差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定できる評価値モジュール２３６２内で、１つ以上のディスプレイモデルのパラメータを設定してもよい。

種々の光源照度レベルに対する評価値を決定するために、性能またはDistortionモジュール２３６０がこのデータを使用する。次に、評価値、例えばDistortionに基づき、光源レベル選択モジュール２３６１は、適切な光源照度レベルを選択できる。次に、この選択された光源照度レベルは時間フィルタモジュール２３６４へ伝送される。

時間フィルタモジュール２３６４は、システム内の他のモジュールからの入力にすぐに応答する。特に、シーンカットモジュール２３５９およびユーザー明るさ選択モジュール２３５１は、時間フィルタモジュール２３６４と通信し、シーンカットがいつ生じたか、およびユーザーがいつ手動で明るさを選択したかを表示する。これらの事象が生じたとき、シーンカット応答実施例を参照して上で説明したように、フィルタプロセスを切り換えまたは変更することにより、時間フィルタモジュールは応答する。

次に、フィルタリングされた光源照度レベルはディスプレイ光源制御装置２３６７および画像補償計算モジュール２３６８に送られる。次に、画像補償計算モジュール２３６８は、種々の実施例に関連して上で説明したように、補償曲線を計算する際、または別の補償プロセスにおいて、フィルタリングされた光源照度レベルを使用する。次に、この補償曲線またはプロセスは画像補償モジュール２３５８に指示され、このモジュールで、エンハンスされた画像２３６９を形成するために、元の画像２３５７に曲線またはプロセスを適用する。次に、エンハンスされた画像２３６９はディスプレイ２３７０に送られ、ここで、フィルタリングされた光源照度レベルと組み合わせてその画像が表示される。

複合カラーおよび色差ヒストグラムの実施例
リソースが限られ、パラメータが制限されたシステム内で作動するように本発明の一部の実施例を合わせることができる。一部の実施例では、各カラーチャンネルに対し、フル画像データを提供しない回路、チップまたはプロセスから画像情報を得ることができる。一部の実施例では、ダウンストリームプロセスでは、データを処理のために特定のフォーマットに変換しなければならないことがある。

一部の実施例では、画像から複合カラーまたは色差ヒストグラムを生成し、それらを更に別のプロセスのために画像データを提供するのに使用する。一部の実施例では、色差ヒストグラムは、輝度値と色差値を含む二次元ヒストグラムとなる。一部の実施例では、次の式６１を使ってヒストグラムの輝度値を得ることができる。

ここで、Ｙはヒストグラムの輝度値であり、Ｒは赤色カラーチャンネル値であり、Ｇは緑色のカラーチャンネル値であり、Ｂは青色カラーチャンネル値である。

一実施例では、次の式６２を使ってヒストグラムの色差値を得ることができる。

ここで、Ｒ、ＧおよびＢはカラーチャンネル値であり、Ｙは式６１または他の方法から得られる輝度値であり、Ｃはヒストグラムにおける色差値である。

一部の実施例では、例えば式６１によって得られる輝度値および、例えば式６２を使って得られる色差値を使って、二次元色差ヒストグラムを発生できる。しかしながら、一部の実施例では、他の方法によって得られる輝度値およびカラー値を使って、二次元のヒストグラムを構築する。輝度チャンネルおよび入力画像内のマルチカラーチャンネルを示すが、色差値によって生成されたのではないカラーチャンネルを用いて生成されるヒストグラムを、複合カラーヒストグラムと呼ぶ。カラーチャンネルデータを加算、乗算、その他の方法で組み合わせることによって、マルチカラーチャンネルデータを単一の複合カラーチャンネルに組み合わせることにより、複合カラーチャンネルを作成できる。

本発明の一部の実施例は、入力として一次元のヒストグラムを必要とするプロセスを含むことができる。これらの実施例では、二次元色差ヒストグラムまたは別の二次元色差ヒストグラムを一次元のヒストグラムに変換できる。このヒストグラム変換プロセスは、多数の二次元ヒストグラムのＢｉｎを単一の一次元ヒストグラムのＢｉｎに加算することを含む。図１１２を参照し、一部の実施例について説明する。これらの実施例では、種々のＢｉｎの値２４０１と共に、表２４００内には二次元ヒストグラムのＢｉｎが示されている。この二次元ヒストグラムの表２４００内の各Ｂｉｎは、輝度およびカラーＢｉｎ番号に対応する座標でインデックスが付けられている。このＢｉｎの番号は、底部左側に第１Ｂｉｎがあり、右に行くに従い又上に向かって増加する。例えば、左下方の二次元Ｂｉｎ２４０２は最低の輝度Ｂｉｎであり、かつ最低のカラーＢｉｎであるので、Ｈ（１，１）と称される。同様に、第２輝度Ｂｉｎおよび第３カラーＢｉｎである二次元Ｂｉｎ２４０３をＨ（２，３）と称す。

二次元ヒストグラムを一次元のヒストグラムに変換または要約するために、加算プロセスは、できるだけ多くの情報を保存し、かつ二次元ヒストグラムの生成に影響した係数を考慮するように作られる。実施例では、一定の（Ｙ＋Ｃ）値を有する二次元ヒストグラムＢｉｎを加算し、新しい一次元ヒストグラムのＢｉｎを生成する。例えば、第１の一次元Ｂｉｎは他のＢｉｎの座標を加えてもが２にならないように、二次元ＢｉｎＨ（１，１）２４０２しか含まないＹ＋Ｃ＝２に対応する。次の一次元Ｂｉｎは、二次元ＢｉｎＨ（１，２）およびＨ（２，１）を含むＹ＋Ｃ＝３に対応し、第３の一次元Ｂｉｎは二次元ＢｉｎＨ（１，３）、Ｈ（２，２）およびＨ（３，１）を含むＹ＋Ｃ＝４に対応する。このプロセスは、特定のＹ＋Ｃの値に対応する二次元のすべてのＢｉｎの総和が、新しい一次元ヒストグラムのＢｉｎの値となるように、各Ｙ＋Ｃの値に対して続行する。総和ライン２４０４は、相関関係を示す。二次元のヒストグラムに対する輝度の寄与分がカラーの寄与分を実質的に等しいと考えられるとき、このプロセスは良好に機能する。しかしながら、このことは、常にそうなるとは限らない。

あるケースでは、二次元色差ヒストグラムまたは他のカラー／輝度ヒストグラムにおける輝度およびカラー値は、異なる量子化係数、異なるビット深度またはカラー成分に対し対応する輝度成分と異なる重みを与える他の係数を使って得られる。別のケースでは、結果として得られる一次元のヒストグラムは、カラーまたは輝度が結果に対して大きな影響を与えるプロセスにおいて使用される。これらケースでは、実施例は総和プロセスに影響するカラー重み付け値を含むことができる。一部の実施例では、カラーの重み付け値は、総和ライン２４０４の傾きを変えるために使用され、それによって新しい一次元のＢｉｎを生成するのに加算されるＢｉｎを変える。例えば４のカラー重み付け値を用いると、二次元のＢｉｎＨ（１，２）およびＨ（４，１）の総和が、第２の一次元のＢｉｎの値となるように総和ラインの傾きは１：４に変えられる。

一次元のヒストグラムを一旦発生すると、ヒストグラムまたはそれに関連するデータは他のシステムモジュールへ送られる。一部の実施例では、一次元のヒストグラムまたは関連するデータはマッピングモジュール、ディスプレイモデル化モジュールまたは例えばDistortionモジュールのような評価モジュールへ送られる。一次元のヒストグラムはシーンカット検出モジュールによって使用することもできる。

図１１３を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像２４２０は色差ヒストグラム発生器２４２１のための入力として使用できる。次に、ヒストグラム発生器２４２１によって発生された色差ヒストグラムはヒストグラム変換モジュール２４２３へ送られる。ヒストグラム変換モジュール２４２３はカラー重み付けパラメータ２４２２を受信する。ヒストグラム変換モジュール２４２３は、カラー重み付けパラメータ２４２２に基づき、二次元の色差ヒストグラムを一次元ヒストグラムに変換するための総和ラインの傾き、または同様な変換パラメータを決定する。一旦パラメータが設定されると、上記のように変換が実行され、一次元ヒストグラムが生成される。次に、この一次元ヒストグラムは、エラーベクトルによるヒストグラムの重み付けのようなさらなるプロセスのための評価モジュール２４２５等とのモジュールに送られる。

図１１４を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像２４３０または画像データは二次元色差ヒストグラムを生成するために色差ヒストグラムモジュール２４３１により処理される。この二次元色差ヒストグラムはヒストグラム変換モジュール２４３２で一次元ヒストグラムに変換される。この一次元画像ヒストグラム２４３３はヒストグラムバッファ２４３４に記憶される。一部の実施例では、ヒストグラムバッファ２４３４は、例えば前のビデオシーケンスフレームからのヒストグラムのような多数のヒストグラムを収納する容量を有する。これらのヒストグラムは、いくつかの目的のためにシステムの種々のモジュールにより使用される。

一部の実施例では、シーンカットモジュール２４３５は、ビデオシーケンス内にシーンカットが存在するかどうかを判断するために、ヒストグラムバッファにアクセスし、ヒストグラムデータを使用できる。このシーンカット情報は、時間フィルタモジュール２４４５へ送られ、ここで、この情報を使ってフィルタまたはフィルタパラメータを切り換えまたは変更できる。マッピングモジュール２４３６はヒストグラムバッファ２４３４にもアクセスし、ＡＰＬまたは別の画像特性を計算するためにヒストグラムデータを使用される。

図１０５およびその他の図に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含むことができる。一部の実施例では、ユーザー明るさ選択モジュール２４３９は、マップ選択にも影響する。ユーザー明るさ選択モジュール２４３９は、ディスプレイの明るさを指定するユーザー入力を受け取り、ユーザー選択を受け取るためのユーザーインターフェースまた他の手段を含む。一部の実施例では、ユーザー明るさ選択入力は、マッピングモジュール２４３６へ送られ、ここで、この入力はマップを選択または変更するか、またはマップからの出力を変更するために使用される。次にこの変更された出力は、モデル化モジュール２４３７へ送られる。別の実施例では、モデル化モジュール２４３７へユーザー明るさ選択入力は直接送られ、ここで、この選択入力はマッピングモジュール２４３６から受信したデータを変更するために使用される。

これらの実施例は、例えば周辺光強度、周辺光カラーまたは周辺光特性の変化のような周辺光条件を決定するための１つ以上のセンサを含むことができる周辺光モジュール２４３８を更に含む。この周辺光データはマッピングモジュール２４３６に送信される。

これらの実施例は、マップ選択にも影響するマニュアルマップ選択モジュール２４４０も更に含むことができる。多数のマップまたは相関が定められると、ユーザーはマニュアルマップ選択モジュール２４４０により好ましいマップを選択できる。

これらの実施例では、ユーザー明るさ選択モジュール２４３９、マニュアルマップ選択モジュール２４４０および周辺光モジュール２４３８から受信したデータを使ってマップを選択し、マップを変更し、またはマップから得られた結果を変更する。一部の実施例では、これらのモジュールのうちの１つからの入力は、他のモジュールよりも優先権を有することができる。例えば一部の実施例では、ユーザー入力から受信したマニュアルマップ選択が周辺光条件に基づき自動化されたマップ選択プロセスを無効にできる。一部の実施例では、マッピングモジュール２４３６への多数の入力を組み合わせ、マップまたはマップ出力を選択し、変更する。

マップまたは相関が一旦選択されると、マッピングモジュール２４３６は画像特性をディスプレイモデルの属性に相関させ、この属性をディスプレイモデル化モジュール２４３７へ送る。

マッピングモジュール２４３６内の制約を満たすディスプレイモデル属性が一旦決定されると、ディスプレイモデル化モジュール２４３７内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２４３７は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。これとは別に、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および（特定の光源照度レベルで表示されるときの画像の）差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する評価値モジュール２４４１内に、１つ以上のディスプレイモデルのパラメータを設定してもよい。

種々の光源照度レベルに対する評価値を決定するために、性能またはDistortionモジュール２４４３がこのデータを使用する。次に、例えばDistortionのような評価値に基づき、光源レベル選択モジュール２４４４は、適切な光源照度レベルを選択できる。次に、この選択された光源照度レベルは時間フィルタモジュール２４４５へ伝送される。

時間フィルタモジュール２４４５は、システム内の他のモジュールからの入力に応答できる。特にシーンカットモジュール２４３５およびユーザー明るさ選択モジュール２４３９は、時間フィルタモジュール２４４５と通信し、シーンカットがいつ生じたか、およびユーザーがいつ手動で明るさを選択したかを表示する。これらの事象が生じたとき、シーンカット応答実施例を参照して上で説明したように、時間フィルタモジュールはフィルタプロセスを切り換えまたは変更することにより応答する。

次に、フィルタリングされた光源照度レベルはディスプレイ光源制御装置２４４８および画像補償計算モジュール２４４９に送られる。次に、画像補償計算モジュール２４４９は、種々の実施例に関連して上で説明したように、補償曲線を計算する際、または別の補償プロセスにおいて、フィルタリングされた光源照度レベルを使用する。次に、この補償曲線またはプロセスは画像補償モジュール２４５０に表示され、このモジュールで、エンハンスされた画像２４５１を生成するために、元の画像２４３０に曲線またはプロセスが適用される。次に、エンハンスされた画像２４５１はディスプレイ２４５２に送られ、ここで、その画像はフィルタリングされた光源照度レベルと組み合わせて表示される。

ヒストグラムの操作
現在のビデオ処理システムおよびプロトコルは、これらによって送信される画像データに制限を加えている。一部のケースでは、プロトコルは、例えばメタデータおよび同期データのような追加データをビデオシーケンスと共に送信することを求めている。このような追加オーバーヘッドは、実際のビデオ内容を送信するのに使用できるバンド幅を制限する。一部のケースでは、このオーバーヘッドにより、ビデオ内容のビット深度を下げなければならない。例えば８ビットのカラーまたは輝度チャンネルデータを送信のために７ビットに制限される。しかしながら、多くのディスプレイデバイスおよびプロセスは、完全な８ビットのダイナミックレンジを取り扱うことができる。一部の実施例では、ヒストグラムがより低いダイナミックレンジで生成または送信される場合、ヒストグラムは、受信側デバイスまたはモジュールで受信されるときに、広いダイナミックレンジに広げられる。

一部の実施例では、ヒストグラムモジュールにより、より低いダイナミックレンジのヒストグラムを生成し、これを例えば評価モジュール等の別のモジュールへ送り、このモジュールがエラーベクトルを使ってDistortion計算の一部としてヒストグラムに重み付けする。しかしながら、このプロセスは、画像のフルダイナミックレンジを有するエラーベクトルの範囲にヒストグラムの範囲が一致するとき、より容易となる。従って、評価モジュールは重み付けプロセスの前にヒストグラムを画像のフルダイナミックレンジまで広げることができる。

図１１５を参照し、本発明の別の実施例の特徴について説明できる。これらの実施例では、オリジナルのダイナミックレンジライン２４６０は、画像のフルダイナミックレンジを示す。この場合、範囲はゼロの値を有する低いポイント２４６１から、２５５の値を有する高いポイント２４６２まで広がり、この範囲はフルの８ビット範囲である。しかしながら、このようなダイナミックレンジを有する画像およびかかる画像から生成されるヒストグラムを、処理制限または送信制限によって、限られたダイナミックレンジにしなければならないことがある。この限られたダイナミックレンジは、限られたダイナミックレンジライン２４６３によって表わされ、このラインは、実施例では１６の値を有する低いポイント２４６４から２３５の値を有する高いポイント２４６５まで広がる。一旦、ヒストグラムがこのように限られたダイナミックレンジに生成または変換され、このようなダイナミックレンジの制限を有しないプロセスに送信されると、ヒストグラムは画像のフルダイナミックレンジまたは後のプロセスでの制限を満たす別のダイナミックレンジに戻るように変換される。この実施例では、ライン２４６３によって表わされる限られたダイナミックレンジは、ゼロの値を有する低いポイント２４６７から２５５の高いポイントを有するポイント２４６８まで広がる。レンジライン２４６６によって表わされる画像のフルダイナミックレンジに戻るように変換される。フルダイナミックレンジへの変換は、低いポイントおよび高いポイントに新しい値を割り当てる手段、および中間ポイントを決定するために、リニアスケーリングを使用する手段を含む。

図１１６を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像２４７０または画像データは、二次元色差ヒストグラムを生成するために色差ヒストグラムモジュール２４７１によりを処理される。この二次元色差ヒストグラムはヒストグラム変換モジュール２４７２で一次元ヒストグラムに変換される。この一次元ヒストグラムは、一次元ヒストグラムのダイナミックレンジを変更するヒストグラム範囲変換器２４９３により更に変換される。一部の実施例では、ヒストグラム範囲変換器２４９３は、一次元−二次元ヒストグラム変換器２４７３から受信したヒストグラムを、エラーベクトルまたは画像のダイナミックレンジ等の異なるダイナミックレンジに変換する。

ダイナミックレンジを有する、この一次元ヒストグラム２４７３はヒストグラムバッファ２４７４に格納される。一部の実施例では、ヒストグラムバッファ２４７４は、例えば前のビデオシーケンスフレームからのヒストグラム等の多数のヒストグラムを収納する容量を有する。これらのヒストグラムは、いくつかの目的のためにシステムの種々のモジュールにより使用される。

一部の実施例では、シーンカットモジュール２４７５は、ヒストグラムバッファにアクセスし、ヒストグラムデータを使ってビデオシーケンス内にシーンカットが存在するかどうかを判断する。次に、このシーンカット情報は時間フィルタモジュール２４８５に送られ、ここでこの情報はフィルタまたはフィルタパラメータを切り換えまたは変更するのに使用される。マッピングモジュール２４７６は又、ヒストグラムバッファ２４７４にアクセスし、ＡＰＬまたは別の画像特性を計算するためにヒストグラムデータを使う。

図１０５に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含む。一部の実施例では、ユーザー明るさ選択モジュール２４７９は、マップ選択にも影響する。ユーザー明るさ選択モジュール２４７９は、ディスプレイの明るさを指定するユーザー入力を受け取り、ユーザー選択を受け取るためのユーザーインターフェースまた他の手段を含む。一部の実施例では、ユーザー明るさ選択入力は、マッピングモジュール２４７６へ送られ、ここで、この入力はマップを選択または変更するか、またはマップからの出力を変更するために使用される。次にこの変更された出力は、モデル化モジュール２４７７へ送られる。別の実施例では、モデル化モジュール２４７７へユーザー明るさ選択入力は直接送られ、ここで、この選択入力は、マッピングモジュール２４７６から受信したデータを変更するために使用される。

これらの実施例は、例えば周辺光強度、周辺光カラーまたは周辺光特性の変化等の周辺光条件を決定するための１つ以上のセンサを含むことができる周辺光モジュール２４７８を更に含む。この周辺光データは、マッピングモジュール２４７６に送信される。

これらの実施例は、マップ選択にも影響するマニュアルマップ選択モジュール２４８０も更に含むことができる。多数のマップまたは相関が定められると、ユーザーはマニュアルマップ選択モジュール２４８０により好ましいマップを選択できる。

これらの実施例では、ユーザー明るさ選択モジュール２４７９、マニュアルマップ選択モジュール２４８０および周辺光モジュール２４７８から受信したデータを使ってマップを選択し、マップを変更し、またはマップから得られた結果を変更する。一部の実施例では、これらモジュールのうちの１つからの入力は、他のモジュールよりも優先権を有することができる。例えば一部の実施例では、ユーザー入力から受信したマニュアルマップ選択が周辺光条件に基づき自動化されたマップ選択プロセスを無効にできる。一部の実施例では、マッピングモジュール２４７６への多数の入力を組み合わせ、マップまたはマップ出力を選択し、変更する。

マップまたは相関が一旦選択されると、マッピングモジュール２４７６は画像特性をディスプレイモデルの属性に相関させ、この属性をディスプレイモデル化モジュール２４７７へ送る。

マッピングモジュール２４７６内の制約を満たすディスプレイモデル属性が一旦決定されると、ディスプレイモデル化モジュール２４７７内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２４７７は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。一部の実施例では、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータは、評価／Distortionモジュール２４８１、例えば重み付け計算モジュール２４８２内で決定される。

性能またはDistortionモジュール２４８１は、種々の光源照度レベルに対する評価値を決定するためにこのデータを使用する。次に、Distortion等の評価値に基づき、光源レベル選択モジュール２４８４は、適切な光源照度レベルを選択する。次に、この選択された光源照度レベルは時間フィルタモジュール２４８５へ伝送される。

時間フィルタモジュール２４８５は、システム内の他のモジュールからの入力に応答する。特に、シーンカットモジュール２４７５およびユーザー明るさ選択モジュール２４７９は、シーンカットがいつ生じたか、およびユーザーがいつ手動で明るさを選択したかを表示するために、時間フィルタモジュール２４８５と通信する。これら事象が生じたとき、シーンカット応答実施例を参照して上で説明したように、時間フィルタモジュールはフィルタプロセスを切り換えまたは変更することにより応答する。
次に、フィルタリングされた光源照度レベルはディスプレイ光源制御装置２４８８および画像補償計算モジュール２４８９に送られる。次に、画像補償計算モジュール２４８９は、種々の実施例に関連して上で説明したように、補償曲線を計算する際、または別の補償プロセスにおいて、フィルタリングされた光源照度レベルを使用する。次に、この補償曲線またはプロセスは画像補償モジュール２４９０に示され、このモジュールで曲線またはプロセスエンハンスされた画像２４９１を生成するために、元の画像２４７０に適用される。次に、エンハンスされた画像２４９１はディスプレイ２４９２に送られ、ここで、その画像はフィルタリングされた光源照度レベルと組み合わされて表示される。

追加処理のための画像補償設計
上記システムの多くでは、画像補償がディスプレイ前の画像で実行すべき最終プロセスとなる。しかしながら、一部のシステムでは、補償後の処理を実行しなければならない場合がある。これは、画像補償前にこの処理の実行を妨げるチップまたはプロセスアーキテクチャまたはシステム上の他の制約に起因するものである。更に、一部のケースでは、画像補償をする前に画像に対してあるプロセスを実行すると、画像補償後にプロセスを実行したときには現れない、アーティファクトまたはエラーが画像内に生じる原因となる。

画像補償を行った後に、プロセスを実行するときは、画像補償アルゴリズムは補償後の処理の効果を考慮しなければならない。考慮しない場合、画像は所定の光源の照度レベルまたは他の条件に対し、過大補正されたり過小補正されたりする。従って、後処理を実行するとき、本発明の一部の実施例は、画像補償アルゴリズムまたはプロセスの設計において前記プロセスを検討する。

図１１７には、画像補償および光源照度レベル選択システムの一例が示されている。このシステムは、画像前補償トーンスケールプロセス２５０１で入力画像２５００を受けるためのプロセスを含む。初期プロセス２５０１の後で、変更された画像または変更された画像データは、画像に関連したバックライト選択のためにバックライト選択モジュール２５０２へ送られる。変更された画像又は明るさ維持／画像補償（ＢＰ／ＩＣ）モジュール２５０３にも送られ、このモジュールはバックライト選択モジュール２５０２から発生されたバックライト選択も受信する。明るさ保存または画像補償モジュール２５０３は、バックライト選択プロセスの結果生じたバックライト変化に対して、画像を補償するためのＢＰ／ＩＣトーンスケールまたは同様のプロセスを発生する。次に、このＢＰ／ＩＣトーンスケールまたは同様のプロセスは、変更された画像に加えられ、この結果、補償された画像２５０５が生成される。このバックライト選択は、バックライトの照度レベルを制御するためにバックライト２５０４にも送られる。次に、補償された画像２５０５は、選択されたバックライト照度レベルを使って表示される。このシステム例では、バックライト選択プロセス２５０２は、明るさ保存／画像補償プロセス２５０３と同じ画像上で稼動する。これらの実施例は、補償後のプロセスおよび変更された補償プロセスのための基準として働く。

図１１８には別のシステム例が示されている。このシステムでは、入力画像２５１０は画像補償トーンスケールプロセス２５１３に入力される。この入力画像は、バックライト選択モジュール２５１２にも入力される。バックライト選択プロセス２５１２の結果得られた選択は、明るさ保存／画像補償プロセス２５１３だけでなく、ディスプレイバックライト２５１４にも送られる。明るさ保存／画像補償プロセス２５１３は、画像を受信すると共に、明るさ保存／画像補償トーンスケールまたは画像を補償するための同様のプロセスを生成する。この明るさ保存／画像補償プロセスは、変更された画像に適用され、その結果、補償された画像が得られ、この補償された画像は補償後のプロセス２５１１に送られる。次に、この補償後のプロセス２５１１は、更に、別のトーンスケール動作または別のプロセスにより補償された画像を処理する。

次に、補償後画像２５１５は、選択されたバックライト照度レベルでディスプレイ上に表示される。補償画像の後処理の結果、不適切な画像補償となることがある。更に、このシステム例では、補償トーンスケールプロセス２５１３で生じたエラーが補償後のプロセス２５１１で増幅されることがある。一部のケースでは、これら増幅されたエラーはこのシステムを使用に適さないものにする。

図１１９には、更に別のシステム例が示されている。このシステムでは、入力画像２５２０は、バックライト選択プロセス２５２２および画像補償後のプロセス２５２３のために変更される変更された明るさ保存／画像補償プロセス２５２１に入力される。バックライト選択プロセス２５２２の結果生じたバックライト選択は、変更された明るさ保存／画像補償プロセス２５２１にも送られる。変更された明るさ保存／画像補償プロセス２５２１は、画像補償後のプロセス２５２３について知っており、画像に対するその効果に対処できる。従って、変更された明るさ保存／画像補償プロセス２５２１は、画像に対して選択されたバックライト照度レベルを補償すると共に、画像補償後のプロセス２５２３の効果を補償するプロセスを生成し、このプロセスを画像２５２０に適用できる。このプロセスは画像が画像補償後のプロセス２５２３に送る前に、画像に適用される。次にこの画像は、画像補償後のプロセス２５２３により処理され、この結果、補償され、変更された画像２５２５が得られ、選択されたバックライト照度レベルで表示される。このシステムでは、ポスト画像補償プロセス２５２３の使用により、予備画像補償プロセスからのエラーを増幅することによって生じる問題を防止できる。

本発明の一部の実施例は、その変更された明るさ保存／画像補償プロセスを含むが、それは、その変更された明るさ保存／画像補償プロセスの後に適用される別のトーンスケールプロセスの効果を引き出す。この追加のトーンスケールプロセスを補償後プロセスと呼ぶ。これら変更されたプロセスは、別のトーンスケールプロセスＴＳ（ｘ）が後に続く変更された明るさ保存／画像補償プロセスＭＢＰ（ｘ）がトーンスケールプロセスＴＳ（ｘ）が後に続く元の明るさ保存／画像補償プロセスＢＰ（ｘ）と同じ結果を有するとの原理に基づくものである。この原理は、式６３として方程式の形態で表記できる。

この原理は、図１２０にグラフで説明される。この図では、第１のトーンスケールプロセスＴＳ（ｘ）は、第１のトーンスケール曲線２５３０によって表示されている。入力画素値ｘ２５３１に対し、このプロセスは出力値ｗ２５３２を発生する。次に、第１のトーンスケール曲線の出力ｗは、第２のトーンスケール曲線２５３４によって表わされるＢＰ／ＩＣプロセスＢＰ（ｗ）に対する入力として使用される。ＢＰ／ＩＣプロセスへの入力としてｗ２５３２を使用すると、このプロセスは出力値ｚ２５３６を発生する。次に、値ｚ２５３６は、トーンスケールプロセスＴＳ（）２５３８への入力値ｙ２５４０を決定するのに使用され、その結果、出力ｚ２５３６が得られる。この結果は、ｙ２５４０となる。一部の実施例では、この最終プロセスは、所望する既知の出力を発生する入力に対する解を求めることにより実行される。別の実施例では、逆トーンスケール演算ＴＳ^−１を得ることができ、ｚ２５３６を使用して、最終値ｙ２５４０を決定するのに使用される。

これらプロセスまたは数学的または機能的に同等な物を使用することにより、入力画素値ｘ２５３１と最終値ｙ２５４０との間の関係が決定され、２５４１として図示される。一部の実施例では、最終値ｙ２５４０と初期入力ｘ２５３１との関係には変更された明るさ保存／画像補償曲線ＭＢＰ（ｘ）を生成するために、この関係に合致する複数の点を決定し、これらの点間を補間することによって伝送される。

可変遅延の実施例
本発明の一部の実施例では、画像が補償後に実質的な処理を必要とする場合がある。別の実施例では、光源照度レベル処理は、画像によって時間がかかることがある。一部の実施例では、フレーム速度変換等の選択プロセスを選択したり、選択しなかったりし得るので、画像処理の処理時間に差が生じる。従って、本発明の一部の実施例では、光源照度レベル信号（バックライト信号）に対する遅延時間が異なる。

本発明の一部の実施例では、光源照度レベル選択プロセスとディスプレイにおける光源制御との間の遅延時間は異なる場合がある。一部の実施例では、この遅延は選択的であり、フレーム速度変換等の特定のプロセスまたは画像補償パイプラインの処理時間に影響する他のプロセスを使用することによって引き起こされる。

本発明の一部の実施例では、遅延モジュール、遅延デバイスまたは遅延プロセスは、多数の画像フレームのための多数の照度レベル信号を格納する光源照度レベル信号バッファを含むことができる。一部の実施例では、バッファは、後処理モジュールまたはプロセスに対して応答する可変出力を有することができる。

図１２１を参照し、本発明の一部の実施例について説明する。これらの実施例では、その画像およびデバイスに対する適切な光源照度レベル、ビューイング条件または他の係数が選択される。画像２５５０は光源照度レベル選択モジュール２５５２に入力される。この画像２５５０は、光源照度レベル選択モジュール２５５２で選択された光源照度レベルも受信する光源照度レベル補償モジュール２５５１にも送られる。補償モジュール２５５１は、この画像および光源情報を使って、補償曲線を発生し、この補償曲線を画像に適用する。補償された画像は、次にセレクタまたはスイッチ２５５７へ出力され、これらは画像の特性、ディスプレイデバイスの特性、ユーザーの好みまたは他のパラメータに基づく、手動選択または自動選択により設定される。スイッチ２５５７の位置により、補償された画像はオプションである補償後のプロセス２５５４へ送られるか、またはこのオプションのプロセスをバイパスし直接ディスプレイデバイス２５５６へ送られる。オプションである補償後のプロセス２５５４が選択された場合、画像はそのプロセスへ送られ、この場合、かなりの遅延が生じる。プロセス２５５４を選択された場合、プロセス２５５４または関連するプロセスは、遅延モジュール２５５３へ遅延が生じる旨の信号を送る。次に、遅延モジュール２５５３は、ディスプレイ２５５６にポスト処理後の画像が送られるときに、ディスプレイの光源２５５５に制御信号が到達するように遅延された画像に関連する光源制御信号を遅延させる。

図１２２を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像２５６０は光源照度レベル補償レベルモジュール２５６４に入力され、ヒストグラムモジュール２５６１にも入力される。ヒストグラムモジュール２５６４は、画像２５６０からヒストグラムを生成する。次にこのヒストグラムは画像ヒストグラムおよび他のパラメータに基づき、光源照度レベルを選択する光源照度レベル選択モジュール２５６２へ送られる。このモジュールで、次に、選択された光源照度レベルは、補償モジュール２５６４へ通知がされる。光源照度レベルがわかり、画像が受信されると、補償モジュール２５６４は光源照度レベルを補償するために画像を処理する。次にこの補償された画像は、画像、例えば画像シーケンスを選択的に異なるフレーム速度に変換する。フレーム速度変換モジュール２５６５へ送られる。種々のフレーム速度変換アルゴリズムを使用することができ、一部の実施例では、多数のアルゴリズムが特定の処理遅延に関連する各アルゴリズムとともに使用される。一部の実施例では、フレーム速度変換モジュールはフレーム速度変換を省略し、関連する遅延を解消できるバイパス設定を含む。

選択された光源照度レベルは照度レベル信号のためのバッファを含む遅延モジュール２５６３にも送られる。フレーム速度変換アルゴリズムが選択された場合、フレーム速度変換モジュール２５６５は遅延信号を選択的または可変遅延モジュール２５６３へ送る。この遅延信号は、画像処理パイプラインが遅延されること、および画像とそれに関連する光源照度レベル信号とを同期させるのに同様の遅延が必要であることを、遅延モジュール２５６３に指示する。フレーム速度変換プロセスが選択されると、フレーム速度変換モジュール２５６５は、画像または画像シーケンスを処理し、変換されたフレーム速度の画像２５６７、２５６６をディスプレイデバイスへ出力する。又、変換モジュール２５６３は、変換されたフレーム速度の画像２５６７、２５６６に関連する光源照度レベル信号を適切な時間に出力する。

図１２３を参照し、本発明の一部の実施例について説明する。これらの実施例では、二次元色差ヒストグラムを生成するために色差ヒストグラムモジュール２５９２により画像２５７７または画像データが処理される。この二次元色差ヒストグラムはヒストグラム変換モジュール２５９３で一次元ヒストグラムに変換される。この一次元ヒストグラム２５７５は次に、ヒストグラムバッファ２５７６に格納される。一部の実施例では、ヒストグラムバッファ２５７６は、前のビデオシーケンスフレームからのヒストグラム等の多数のヒストグラムを収納する容量を有する。次に、これらヒストグラムはいくつかの目的のためにシステムの種々のモジュールにより使用される。

一部の実施例では、シーンカットモジュール２５７９は、ヒストグラムバッファにアクセスし、ヒストグラムデータを使ってビデオシーケンス内にシーンカットが存在するかどうかを判断する。次に、このシーンカット情報を時間フィルタモジュール２５８４に送り、ここでフィルタまたはフィルタパラメータを切り換えるかまたは変更するのに、この情報が使用される。マッピングモジュール２５７３も、ヒストグラムバッファ２５７６にアクセスし、ヒストグラムデータを使ってＡＰＬまたは別の画像特性を計算する。

図１０５に説明した実施例を参照して上で説明したように、マッピングモジュールは、１つ以上の画像特性を１つ以上のディスプレイモデル属性に関連させる１つ以上のマップまたは相関関係構成手段を含む。一部の実施例では、ユーザー明るさ選択モジュール２５７１は、マップ選択にも影響する。ユーザー明るさ選択モジュール２５７１は、ディスプレイの明るさを指定するユーザー入力を受け取り、ユーザー選択を受け取るためのユーザーインターフェースまた他の手段を含む。一部の実施例では、ユーザー明るさ選択入力はマッピングモジュール２５７３へ送られ、ここで、マップを選択または変更するか、またはマップからの出力を変更するのに、この入力が使用される。次にこの変更された出力は、モデル化モジュール２５７４へ送られる。別の実施例では、ユーザー明るさ選択入力は、モデル化モジュール２５７４へ直接送られる。この選択入力を、マッピングモジュール２５７３から受信したデータを変更するために使用する。

これらの実施例は、例えば周辺光強度、周辺光カラーまたは周辺光特性の変化等の周辺光条件を決定するための１つ以上のセンサを含む周辺光モジュール２５７０を更に含む。この周辺光データはマッピングモジュール２５７３に送信される。

これらの実施例は、マップ選択に影響するマニュアルマップ選択モジュール２５７２も更に含む。多数のマップまたは相関が定められると、ユーザーはマニュアルマップ選択モジュール２５７２により好ましいマップを選択できる。

これらの実施例では、ユーザー明るさ選択モジュール２５７１、マニュアルマップ選択モジュール２５７２および周辺光モジュール２５７０から受信したデータを使ってマップを選択し、マップを変更し、またはマップから得られた結果を変更する。一部の実施例では、これらモジュールのうちの１つからの入力は、他のモジュールよりも優先権を有することができる。例えば一部の実施例では、ユーザー入力から受信したマニュアルマップ選択が周辺光条件に基づき自動化されたマップ選択プロセスを無効にできる。一部の実施例では、マッピングモジュール２５７３への多数の入力を組み合わせ、マップまたはマップ出力を選択し、変更する。

マップまたは相関が一旦選択されると、マッピングモジュール２５７３は画像特性をディスプレイモデルの属性に相関させ、この属性をディスプレイモデル化モジュール２５７４へ送る。

マッピングモジュール２５７３内の制限に適合するディスプレイモデル属性が一旦決定されると、ディスプレイモデル化モジュール２５７４内に別のディスプレイモデルのパラメータが設定される。ディスプレイモデル化モジュール２５７４は、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータを決定する。一部の実施例では、モデルクリッピング限度、ディスプレイエラーベクトル、ヒストグラム重み付け値および特定の光源照度レベルで表示されるときの画像の差、エラー、Distortionまたは他の評価値を決定するための他のデータは、例えば重み付け計算モジュール２５８２内のように評価／Distortionモジュール２５８３内で決定される。

性能またはDistortionモジュール２５８３は、ヒストグラムのダイナミックレンジを変更するためのヒストグラム範囲変換器２５９４も含む。一部の実施例では、ヒストグラム範囲変換器２５９４は、ヒストグラムバッファー２５７６から受信したヒストグラムを例えばエラーベクトルのダイナミックレンジ等の異なるダイナミックレンジに変換する。性能またはDistortionモジュール２５８３は、種々の光源照度レベルに対する評価値を決定するために、このデータを使用する。次に、例えばDistortion等の評価値に基づき、光源レベル選択モジュール２５８１は、適切な光源照度レベルを選択する。次に、この選択された光源照度レベルは時間フィルタモジュール２５８４へ通信される。

時間フィルタモジュール２５８４は、システム内の他のモジュールからの入力に応答する。特に、シーンカットモジュール２５７９およびユーザー明るさ選択モジュール２５７１は、シーンカットがいつ生じたか、およびユーザーがいつ手動で明るさを選択したかを指示するために、時間フィルタモジュール２５８４と通信する。これら事象が生じたとき、シーンカット応答実施例を参照して上で説明したように、時間フィルタモジュールはフィルタプロセスを切り換えまたは変更することにより応答する。
次に、フィルタリングされた光源照度レベルは、例えば補償後のプロセス２５９５によりなされるように画像処理パイプラインで遅延されるその照度レベル信号と関連する画像と同期するように、照度レベル信号を遅延またはバッファする遅延モジュール２５８７へ送られる。一部の実施例では、補償後のプロセス２５９５はオプションであり、選択的に遅延モジュール２５８７を作動させる。遅延モジュール２５８７での遅延後、照度レベル信号は、ディスプレイ光源制御装置２５９１へ送られる。フィルタリングされた光源照度レベルは、フィルタモジュール２５８４から画像補償計算モジュール２５８８へ送られる。次に、画像補償計算モジュール２５８８は、種々の実施例に関連してこれまで説明したように、補償曲線または別の補償プロセスを計算するのに、フィルタリングされた光源照度レベルを使用する。次に、この補償曲線またはプロセスを画像補償モジュール２５７８に示され、このモジュールで元の画像２５７７に曲線またはプロセスを適用し、エンハンスされた画像２５８９が生成される。次に、エンハンスされた画像２５８９を例えばフレーム速度変換プロセス等の補償プロセス２５９５へ送られる。補償後のプロセス２５９５は、遅延プロセスを選択的に作動または変調するために遅延モジュール２５８２と通信する。補償後の処理の後で、処理された画像はディスプレイ２５９０へ送られ、ここで、その画像は必要なときに適切に遅延されたフィルタリングされた光源照度レベルと組み合わせて表示される。

これまで明細書で使用した用語および表現は、発明を説明するために用いたものであり、発明を限定するために用いたものではない。かかる用語および表現の使用にあたり、図示し、かつ説明した特徴事項またはその一部の均等物を排除するものではなく、本発明の範囲は特許請求の範囲のみによって定められるものである。

関連出願
関連出願として下記の出願を挙げる。
１．２００６年８月１７日に出願された「ディスプレイの光源の照度レベルを選択する方法およびシステム」を発明の名称とする米国特許出願第１１／４６５，４３６号；
２．２００５年１２月２日に出願された「ディスプレイの光源調節を決定する方法およびシステム」を発明の名称とする米国特許出願第１１／２９３，５６２号；
３．２００５年９月１２日に出願された「画像固有のトーンスケール調節および光源制御の方法およびシステム」を発明の名称とする米国特許出願第１１／２２４，７９２号；
４．２００５年６月１５日に出願された「高周波コントラストエンハンスメントによりディスプレイの特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５３号；
５．２００５年６月１５日に出願された「周波数固有の利得でディスプレイの特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５４号；
６．２００５年６月１５日に出願された「ディスプレイ特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５２号；
７．２００６年３月３０日に出願された「肌色検出を使ったカラーエンハンスメント技術」を発明の名称とする米国特許出願第１１／３９３，４０４号；
８．２００６年７月２８日に出願された「Distortionに関連する光源管理の方法およびシステム」を発明の名称とする米国特許出願第１１／４６０，７６８号；
９．２００５年８月８日に出願された「マルチビューディスプレイにおける独立したビュー調節のための方法およびシステム」を発明の名称とする米国特許出願第１１／２０２，９０３号；
１０．２００６年３月８日に出願された「周辺照明入力によりディスプレイ特性をエンハンスするための方法およびシステム」を発明の名称とする米国特許出願第１１／３７１，４６６号；
１１．２００５年１２月２日に出願された「ディスプレイモードに依存した明るさ保存のための方法およびシステム」を発明の名称とする米国特許出願第１１／２９３，０６６号；
１２．２００６年７月２８日に出願された「画像トーンスケール補正を発生し、適用するための方法およびシステム」を発明の名称とする米国特許出願第１１／４６０，９０７号；
１３．２００６年７月２８日に出願された「画像トーンスケール補正によりカラー保存するための方法およびシステム」を発明の名称とする米国特許出願第１１／１６０，９４０号；
１４．２００６年１１月２８日に出願された「低減された光源パワーレベルを補償するために画像のトーンスケールを調節するための方法およびシステム」を発明の名称とする米国特許出願第１１／５６４，２０３号；
１５．２００７年２月２８日に出願された「スムーズな利得画像を使用して明るさ保存するための方法およびシステム」を発明の名称とする米国特許出願第１１／６８０，３１２号；
１６．２００７年８月２７日に出願された「トーン曲線を発生し、選択し、適用するための方法およびシステム」を発明の名称とする米国特許出願第１１／８４５，６５１号；および
１７．２００６年１１月２８日に出願された「肌色検出を使用するカラーエンハンスメント技術」を発明の名称とする米国特許出願第１１／６０５，７１１号。

従来技術のバックライトＬＣＤシステムを示す図である。元の画素値とブーストされた画素値との間の関係を示すグラフである。元の画素値とクリッピングされ、ブーストされた画素値との間の関係を示すグラフである。種々の画素値変更方式における画素値に関連する輝度レベルを示すグラフである。種々の変更方式に従った、元の画素値と変更された画素値との関係を示すグラフである。トーンスケール調節モデルの一例の発生を示す図である。トーンスケール調節モデルのアプリケーションの一例を示す図である。トーンスケール調節モデルと利得マップの一例の発生を示す図である。トーンスケール調節モデルの一例を示すグラフである。利得マップの一例を示すグラフである。画像にトーンスケール調節モデルおよび利得マップを適用するプロセス例を示すフローチャートである。画像のある１つの周波数バンドにトーンスケール調節モデルを適用し、画像の別の周波数バンドに利得マップを適用するプロセス例を示すフローチャートである。ＭＦＰが変化する際のトーンスケール調節モデルの変化を示すグラフである。画像に依存するトーンスケールマッピング方法の一例を示すフローチャートである。画像に依存するトーンスケール選択実施例の一例を示す図である。画像に依存するトーンスケールマップ計算実施例の一例を示す図である。光源レベル調節と、画像に依存するトーンスケールマッピングを含む実施例を示すフローチャートである。光源レベル計算器とトーンスケールマップセレクタとを備えた実施例を示す図である。光源レベル計算器とトーンスケールマップ計算器とを備えた実施例を示す図である。光源レベル調節と、光源レベルに依存するトーンスケールマッピングとを備えた実施例を示すフローチャートである。光源レベル計算器と、光源レベルに依存するトーンスケール計算または選択を含む実施例を示す図である。元の画像の画素値に対する、トーンスケールの傾きのプロットを示す図である。別個のクロミナンスチャンネル分析を含む実施例を示す図である。画像処理モジュールに入力される周辺照明を含む実施例を示す図である。光源処理モジュールに入力される周辺照明を含む実施例を示す図である。画像処理モジュールに入力される周辺照明と、デバイスの特性入力とを含む実施例を示す図である。画像処理モジュールおよび／または光源処理モジュールおよび光源信号ポストプロセッサへの別の周辺照明入力とを含む実施例を示す図である。光源処理モジュールへの周辺照明入力を含み、処理モジュールはこの入力を画像処理モジュールに送る実施例を示す図である。画像処理モジュールへの周辺照明入力を含み、処理モジュールはこの入力を光源処理モジュールへ送る実施例を示す図である。 Distortion適応パワーマネージメントを含む実施例を示す図である。一定パワーマネージメントを含む実施例を示す図である。適応パワーマネージメントを含む実施例を示す図である。一定パワーモデルのパワー消費量と一定Distortionモデルのパワー消費量の比較を示すグラフである。一定パワーモデルのDistortionと一定DistortionモデルのDistortionの比較を示すグラフである。 Distortion適応パワー管理を含む実施例を示す図である。ビデオシーケンス例に関する種々のDistortionの限度におけるバックライトパワーレベルを示すグラフである。パワー／Distortion曲線の例を示すグラフである。 Distortion基準に対しパワー消費量を管理する実施例を示すフローチャートである。 Distortion基準に基づく光源パワーレベル選択を含む実施例を示すフローチャートである。明るさ保存方法の効果を考慮したDistortion測定を行う実施例を示すフローチャートである。明るさ保存方法の効果を考慮したDistortion測定を行う実施例を示すフローチャートである。画像例に対するパワー／Distortion曲線を示す図である。固定されたDistortionを示すパワーのプロットを示す図である。固定されたDistortionを示すDistortionのプロットを示す図である。トーンスケール調節曲線の一例を示す図である。図４２に示されたトーンスケール調節曲線のダーク領域のズームイン図である。別のトーンスケール調節曲線の例を示す図である。図４４に示されたトーンスケール調節曲線のダーク領域のズームイン図である。最大カラーチャンネルの画素値に基づく画素値調節を示すフローチャートである。最大カラーチャンネルの画素値に基づく多数のカラーチャンネルの画素値調節を示すフローチャートである。カラーチャンネルのうちの１つの画素値特性に基づく多数のカラーチャンネルの画素値調節を示すフローチャートである。入力として最大カラーチャンネル画素値を受信するトーンスケール発生器を含む、本発明の実施例を示す図である。周波数分解およびトーンスケール調節によるカラーチャンネル符号の区別を含む、本発明の実施例を示す図である。周波数分解、カラーチャンネルの区別およびカラー保存クリッピングを含む、本発明の実施例を示す図である。カラーチャンネルの画素値特性に基づくカラー保存クリッピングを含む、本発明の実施例を示す図である。ローパス／ハイパス周波数分割および最大カラーチャンネル画素値の選択を含む、本発明の実施例を示す図である。処理された画像とディスプレイモデルの間の種々の関係を示す図である。画像の一例に対する画素値のヒストグラムのグラフである。図５５のヒストグラムに対応するDistortion曲線例のグラフである。簡単なＤＶＤクリップに最適基準を適用した結果を示す、ビデオフレーム数に対する選択されたバックライトパワーをプロットしたグラフである。実際のディスプレイの異なるコントラスト比に対して決定される最小ＭＳＥDistortionバックライトの決定を示す図である。パネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。省電力コンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。より低い黒レベルコンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。明るさエンハンスメントコンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。黒レベルを下げ、明るさを高めた、エンハンス画像コンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。黒レベルを改善するための一連のターゲットトーン曲線の例を示すグラフである。黒レベルを改善し、画像の明るさをエンハンスするための、一連のターゲットトーン曲線の例を示すグラフである。ターゲットトーン曲線の決定と、Distortionに関連するバックライト選択を含む実施例を示すフローチャートである。性能目標に関連したパラメータの選択、ターゲットトーン曲線の決定およびバックライトの選択を含む実施例を示すフローチャートである。性能目標に関連したターゲットトーン曲線の決定およびバックライト選択を含む実施例を示すフローチャートである。性能目標に関連し、かつ画像に関連したターゲットトーン曲線の決定およびバックライト選択を含む実施例を示すフローチャートである。周波数分解およびビット深度拡張によるトーンスケール処理を含む実施例を示すフローチャートである。周波数分解およびカラーエンハンスメントを含む実施例を示すフローチャートである。カラーエンハンスメント、バックライト選択およびハイパス利得プロセスを含む実施例を示すフローチャートである。カラーエンハンスメント、ヒストグラムの発生、トーンスケール処理およびバックライト選択を含む実施例を示すフローチャートである。肌色検出および肌色マップリファインを含む実施例を示すフローチャートである。カラーエンハンスメントおよびビット深度拡張を含む実施例を示すフローチャートである。カラーエンハンスメント、トーンスケール処理およびビット深度拡張を含む実施例を示すフローチャートである。カラーエンハンスメントを含む実施例を示すフローチャートである。カラーエンハンスメントおよびビット深度拡張を含む実施例を示すフローチャートである。ターゲット出力曲線および多数のパネルまたはディスプレイ出力の曲線を示す。図７９のターゲット出力曲線およびディスプレイ出力曲線に対するエラーベクトルを示すグラフである。ヒストグラムで重み付けされたエラープロットを示すグラフである。ヒストグラムで重み付けされたエラーに基づく光源照度レベル選択を含む、本発明の実施例を示す図である。ヒストグラムで重み付けされたエラーに基づく光源照度レベル選択を含む、本発明の別の実施例を示す図である。シーンカット検出器を含むシステム例を示す図である。シーンカット検出器および画像補償モジュールを含むシステム例を示す図である。シーンカット検出器およびヒストグラムバッファを含むシステム例を示す図である。シーンカット検出器およびこのシーンカット検出器に応答する時間フィルタを含むシステム例を示す図である。シーンカット検出器に基づき、フィルタ選択を行う方法の例を示す図である。シーンカットを検出するよう、フレームを比較する方法の例を示す図である。フィルタを用いないバックライト応答を示すグラフである。代表的な時間コントラスト感度関数を示すグラフである。フィルタの一例の応答を示すグラフであるである。フィルタにかけられたバックライト応答およびフィルタにかけられていないバックライトを示すグラフである。シーンカットにわたるフィルタ応答を示すグラフである。フィルタにかけられていない応答、フィルタにかけられた応答およびフィルタにかけられ、シーンカットされた応答を示すグラフである。ヒストグラムバッファと、時間フィルタと、Ｙゲイン補償とを含む実施例を示すシステム図である。種々のＹゲイン曲線の例を示すグラフである。ディスプレイモデルの例を示すグラフである。ディスプレイエラーベクトル曲線の例を示すグラフである。画像ヒストグラムの例のプロットを示すグラフである。画像Distortionの例とバックライトレベル曲線との関係を示すグラフである。異なるDistortion値の比較を示すグラフである。シーンカット検出および画像補償を含むシステム例を示す図である。シーンカットを判別するための画像分析およびシーンカットに応答するDistortion計算を含む方法の例を示す図である。画像特性マッピングモジュールを含むシステム例を示す図である。マニュアルユーザーマップ選択入力を有する画像特性マニュアルモジュールを含むシステム例を示す図である。周辺光センサ入力を有する画像特性マッピングモジュールを含む、システム例を示す図である。ユーザー輝度選択入力を有する画像特性マッピングモジュールを含む、システム例を示す図である。ユーザー輝度選択入力をする画像特性マッピングモジュールと、ユーザー輝度選択に応答する時間フィルタとを含むシステム例を示す図である。ユーザー輝度選択入力、周辺センサ入力およびマニュアルマップ選択をする画像特性マッピングモジュールを含む、システム例を示す図である。画像ヒストグラムデータに関連する画像特性マッピングモジュールを含むシステム例を示す図である。ヒストグラム変換方法の例を示す図である。ヒストグラム生成および変換のための方法の例を示す図である。ヒストグラム変換と、マッピングおよびDistortionモジュールでの使用とを含む実施例の図である。ヒストグラムダイナミックレンジ変換の例を示す図である。ヒストグラム変換とダイナミックレンジ変換とを含む実施例を示す図である。光源照度レベル補償プロセスおよび変更された画像に基づいてバックライト選択をする補償前のプロセスを含むシステム例を示す図である。光源照度レベル補償プロセスおよび元の入力画像に基づくバックライト選択を有する補償前のプロセスを含むシステム例を示す図である。変更された光源照度レベル補償プロセスおよび元の入力画像に基づくバックライト選択を有する補償後のプロセスを含むシステム例を示す図である。変更された光源照度レベル補償曲線の生成に関与するプロセスを示す図である。光源照度レベル信号に対する遅延モジュールを含むシステム例を示す図である。フレーム速度変換モジュールにリンクされた遅延モジュールを含むシステム例を示す図である。追加プロセスモジュールにリンクされた遅延モジュールを含むシステム例を示す図である。

符号の説明

１７２…画像分析器、１７３…トーンスケールマップセレクタ、１７４…マップ１，マップ２，マップ３、１７５…画像プロセッサ（マップアプリケーション）、１７６…ディスプレイ、１７７…光源レベル計算器、１７９…バックライト、２５６０…画像、２５６１…ヒストグラム、２５６２…光源照度レベル選択モジュール、２５６３…遅延モジュール、２５６４…光源照度レベル補償レベルモジュール、２５６５…フレーム速度変換モジュール、２５６６…変換されたフレーム速度の画像、２５６７…変換されたフレーム速度の画像、２５６８…ＢＬ。

Claims

画像補償パイプライン内で光源照度レベル信号とオプションの画像処理とを同期させるための映像表示システムであって、
ａ）光源照度レベルを選択する手段と、
ｂ）前記選択された光源照度レベルを遅延プロセスへ送る手段と、
ｃ）前記選択された光源照度レベルを画像補償プロセスへ送る手段と、
ｄ）追加の画像処理手順が選択されたか否かを判定する手段と、
ｅ）前記追加のプロセスが選択されたときに、前記遅延プロセスに追加のプロセス信号を送信する手段と、
ｆ）前記追加のプロセスが選択されたときに、前記遅延プロセスからディスプレイ光源への前記選択された光源照度レベルの送信を遅延させる手段とを備えた、映像表示システム。
前記追加のプロセスは、補償後のプロセスである、請求項１記載の映像表示システム。
前記追加のプロセスは、フレーム速度変換プロセスである、請求項１記載の映像表示システム。
前記光源照度レベルを選択する手段は、前記画像に基づいて選択を行う、請求項１記載の映像表示システム。
前記遅延プロセスは、バッファである、請求項１記載の映像表示システム。
前記光源照度レベルを選択する手段は、ディスプレイモデルを生成する手段を有する、請求項１記載の映像表示システム。
前記光源照度レベルを選択する手段は、画像ヒストグラムおよびエラーベクトルを生成する手段を有する、請求項１記載の映像表示システム。
前記光源照度レベルを選択する手段は、前記エラーベクトルを用いて前記画像ヒストグラムを重み付けする手段を有する、請求項７記載の映像表示システム。
画像補償パイプライン内で光源照度レベル信号とオプションの画像処理とを同期させるための映像表示システムであって、
ａ）入力画像に対する画像ヒストグラムを生成する手段と、
ｂ）前記画像ヒストグラムに基づき、前記画像に対するディスプレイモデルを生成する手段と、
ｃ）前記ディスプレイモデルにより複数の光源照度レベルに対する評価値を決定する手段と、
ｄ）前記評価値に基づき光源照度レベルを選択する手段と、
ｅ）前記選択された光源照度レベルを遅延プロセスへ送る手段と、
ｆ）前記選択された光源照度レベルを画像補償プロセスへ送る手段と、
ｇ）前記画像補償プロセスにより、前記光源照度レベルに対する、前記画像を補償する手段と、
ｈ）追加の画像処理手順が選択されたか否かを判定する手段と、
ｉ）前記追加のプロセスが選択されたときに、前記遅延プロセスに追加のプロセス信号を送信する手段と、
ｊ）前記追加のプロセスが前記遅延プロセスで受信されたときに、前記遅延プロセスからディスプレイ光源への前記選択された光源照度レベルの送信を遅延させる手段とを備えた、映像表示システム。
前記追加のプロセスは、補償後のプロセスである、請求項９記載の映像表示システム。
前記追加のプロセスは、フレーム速度変換プロセスである、請求項９記載の映像表示システム。
前記光源照度レベルを選択する手段は、前記画像に基づいて選択を行う、請求項９記載の映像表示システム。
前記遅延プロセスは、バッファである、請求項９記載の映像表示システム。
前記光源照度レベルを選択する手段は、画像ヒストグラムおよびエラーベクトルを生成する手段を有する、請求項９記載の映像表示システム。
前記光源照度レベルを選択する手段は、前記エラーベクトルを用いて前記画像ヒストグラムを重み付けする手段を有する、請求項１４記載の映像表示システム。
画像補償パイプラインにおいて光源照度レベル信号とオプションの画像処理とを同期させするための映像表示システムにおいて、
ａ）ディスプレイデバイスにディスプレイすべき画像のヒストグラムを生成する手段と、
ｂ）画像特性をディスプレイモデルの属性に関連づけるマッピングモジュールにおいて、画像ヒストグラムデータを受信する手段と、
ｃ）前記ヒストグラムデータに基づき、画像特性を決定する手段と、
ｄ）マップおよび前記マッピングモジュールを使って、前記画像特性に関連するディスプレイモデルの属性を決定する手段と、
ｅ）前記ディスプレイモデルの属性に基づき、ディスプレイモデルを生成する手段と、
ｆ）前記ディスプレイモデルに対するモデルクリッピング限度を計算する手段と、
ｇ）複数の光源照度レベルの各々に対するディスプレイエラーベクトルを計算する手段と、
ｈ）前記複数の光源照度レベルに対するDistortion値を決定するために、前記ディスプレイエラーベクトルと前記ヒストグラムデータとを組み合わせる手段と、
ｉ）前記Distortion値に基づき、光源照度レベルを選択する手段と、
ｇ）前記選択された光源照度レベルを遅延プロセスに送る手段と、
ｋ）前記選択された光源照度レベルを画像補償プロセスに送る手段と、
ｌ）前記画像補償プロセスにより前記光源照度レベルに対する前記画像を補償する手段と、
ｍ）追加の画像処理手順が選択されたか否かを判定する手段と、
ｎ）前記追加のプロセスが選択されたときに、前記遅延プロセスへ追加のプロセス信号を送信する手段と、
ｏ）前記追加プロセス信号が前記遅延プロセスで受信されたときに、前記遅延プロセスからディスプレイ光源への前記選択された光源照度レベルの送信を遅延させる手段とを備えた、映像表示システム。
前記追加のプロセスは、補償後のプロセスである、請求項１６記載の映像表示システム。
前記追加のプロセスは、フレーム速度変換プロセスである、請求項１６記載の映像表示システム。
前記遅延プロセスは、バッファである、請求項１６記載の映像表示システム。