JP2010537243A - トーンスケール調節曲線パラメータを決定する方法及びディスプレイ光源照度レベル選択のための方法 - Google Patents

トーンスケール調節曲線パラメータを決定する方法及びディスプレイ光源照度レベル選択のための方法 Download PDF

Info

Publication number
JP2010537243A
JP2010537243A JP2010521585A JP2010521585A JP2010537243A JP 2010537243 A JP2010537243 A JP 2010537243A JP 2010521585 A JP2010521585 A JP 2010521585A JP 2010521585 A JP2010521585 A JP 2010521585A JP 2010537243 A JP2010537243 A JP 2010537243A
Authority
JP
Japan
Prior art keywords
image
light source
backlight
display
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010521585A
Other languages
English (en)
Other versions
JP5291710B2 (ja
Inventor
ジョセフ ケロフスキー ルイス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2010537243A publication Critical patent/JP2010537243A/ja
Application granted granted Critical
Publication of JP5291710B2 publication Critical patent/JP5291710B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/3413—Details of control of colour illumination sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0653—Controlling or limiting the speed of brightness adjustment of the illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Liquid Crystal (AREA)

Abstract

本発明の要素は、トーンスケール調節曲線のパラメータを決定する方法に関する。ヒストグラム計算プロセス２１７１は画像ヒストグラムを計算する。ディストーションモジュール２１７６は、ヒストグラム値およびディストーションの重み付け２１７４を使用し、種々のバックライト照度レベルに対するディストーション特性を決定する。そして、ディストーションモジュール２１７６は、計算されたディストーションを減少するか、または最小にするバックライト照度レベルを選択する。バックライト照度レベルを選択後、バックライト信号はフィルタモジュール２１７９内で時間フィルタ２１８０によりフィルタリングされる。Ｙゲイン設計モジュール２１８３は画像補償プロセスが決定するのに用いられる。この補償プロセスは画像の輝度チャンネルに対し、トーンスケール曲線を適用することを含む。

Description

本発明の実施形態は、画像強調のための方法及びシステムを含む。いくつかの実施形態は色強調技術を含み、いくつかの実施形態は明度維持を含み、いくつかの実施形態は明度強調を含み、また、いくつかの実施形態はビット深度拡張技術を含む。
代表的なディスプレイデバイスは、固定されたレンジの輝度レベルを使用して画像をディスプレイする。多くのディスプレイでは、輝度レンジは２５６のレベルを有し、これらレベルは０〜２５５までの間で均一に離間している。これらレベルに直接マッチするよう、一般に画素値が割り当てられている。
大型ディスプレイを有する多くの電子デバイスでは、ディスプレイが主要なパワー（電力）消費コンポーネントとなっている。例えばラップトップコンピュータでは、ディスプレイは多分システム内の他のコンポーネントのどれよりも多くのパワーを消費する。バッテリー給電デバイスで見られるような、パワーの利用能力が限られている多くのディスプレイは、パワー消費量を管理するのを助けるために限られた数の照明または明るさレベルを使用することができる。システムを電源、例えばＡ／Ｃ電源にプラグインすると、システムはフルパワーのモードを使用でき、バッテリーのパワーで作動するときには省力モードを使用する。
一部のデバイスでは、ディスプレイは省力モードに自動的に入ることができ、このモードでは、パワーを節約するためにディスプレイの照度を下げる。これらデバイスは照度をステップ状に低減する多数の省力モードを有することができる。ディスプレイの照度を低減すると、一般に画質も低下する。最大輝度レベルを低下させると、ディスプレイのダイナミックレンジも低下し、画質のコントラストに影響が出る。従って、通常の省力モードの作動中ではコントラストおよびその他の画質が低下する。
液晶ディスプレイ（ＬＣＤ）またはデジタルマイクロミラーデバイス（ＤＭＤ）のような多くのディスプレイデバイスは、一方向または別方向にバック照明、サイド照明またはフロント照明される光バルブを使用している。ＬＣＤのようなバックライト用の光バルブディスプレイでは、液晶パネルの背面にバックライトが設置される。バックライトはＬＣパネルを通して光を放射し、ＬＣパネルは画像を表示するように光を変調する。カラーディスプレイでは輝度とカラーの双方を変調できる。個々のＬＣピクセルはバックライトからＬＣパネルを透過し、ユーザの眼またはその他の目的物に達する光の量を変調する。一部のケースでは、目的物を電荷結合デバイス（ＣＣＤ）のような光センサとすることができる。
一部のディスプレイは、画像を表示するのに発光器も使用できる。発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイのようなこれらディスプレイは、別の光源からの光を反射するのではなく、自ら発光する画素を使用している。
本発明の一部の実施例は、低下した光源照明強度を補償するか、または固定された光源照明レベルで画質を改善するために、光バルブ変調されたピクセルの輝度変調レベルを変えるためのシステムおよび方法を含む。
本発明の一部の実施例は、画像を表示するために発光器を使用するディスプレイと共に使用することもできる。これらディスプレイ、例えば発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイは、別の光源からの光を反射するのではなく、自ら光を放出するピクチャーエレメントを使用する。本発明の実施例は、これらデバイスが発生する画像を良くするために使用できる。これら実施例では、特定の画像周波数バンドのダイナミックレンジ、輝度レンジおよびその他の画像サブ分割を増加するために、ピクセルの明るさが調節される。
本発明の一部の実施例では、画像特性に応答してディスプレイの光源を異なるレベルに調節できる。これら光源のレベルが変わるとき、明るさの変化を補償するか、またはその他の方法で画像を良くするように、画像の画素値を調節できる。
本発明の一部の実施例は、光源レベルおよび画像ピクセル値を判断する際の入力として使用される周辺光検出を含む。
本発明の一部の実施例は、ディストーション（Distortion）に関連した光源およびバッテリー消費量制御を含む。
本発明の一部の実施例は、画像トーンスケール補正を発生し、これを適用するためのシステムおよび方法を含む。
本発明の一部の実施例は、カラー忠実度が改善された画像トーンスケール補正をするための方法およびシステムを含む。
本発明の一部の実施例は、ディスプレイ光源照明レベルを選択するための方法およびシステムを含む。
本発明の一部の実施例は、パネルトーン曲線およびターゲットトーン曲線を発展させるための方法およびシステムに関し、これら実施例の一部は、異なるバックライトまたは光源照明レベルに各々の曲線が関連する複数のターゲットトーン曲線を開発するために提供される。これら実施例では、バックライト照明レベルを選択することができ、選択されたバックライト照明レベルに関連するターゲットトーン曲線を、ディスプレイすべき画像に適用できる。一部の実施例では、性能目標はトーン曲線パラメータの選択を行わせる。
本発明の一部の実施例は、カラーエンハンスメントのための方法およびシステムを含む。これら実施例の一部は、肌色検出、肌色マップリファインメントおよびカラー処理を含む。
本発明の一部の実施例は、ビット深度拡張のための方法およびシステムも含む。これら実施例の一部は、ビット深度低減に先立ち、画像に空間および時間ハイパスディザーパターンを適用することを含む。
本発明の一部の実施例は、ビデオシーケンスにおけるシーンカットの存在に応答する光源照度レベルフィルタを含む。
本発明の一部の実施例は、輝度ヒストグラムデータに基づくトーンスケール調節曲線の発生と適用することも含む。
添付図面と共に、以下の詳細な説明を検討すれば、本発明の上記およびその他の目的の特徴および利点についてより容易に理解できよう。
従来技術のバックライトＬＣＤシステムを示す図である。 元の画素値とブーストされた画素値との間の関係を示すグラフである。 元の画素値とクリッピングされ、ブーストされた画素値との間の関係を示すグラフである。 種々の画素値変更方式における画素値に関連する輝度レベルを示すグラフである。 種々の変更方式に従った、元の画素値と変更された画素値との関係を示すグラフである。 トーンスケール調節モデルの一例の発生を示す図である。 トーンスケール調節モデルのアプリケーションの一例を示す図である。 トーンスケール調節モデルと利得マップの一例の発生を示す図である。 トーンスケール調節モデルの一例を示すグラフである。 利得マップの一例を示すグラフである。 画像にトーンスケール調節モデルおよび利得マップを適用するプロセス例を示すフローチャートである。 画像のある１つの周波数バンドにトーンスケール調節モデルを適用し、画像の別の周波数バンドに利得マップを適用するプロセス例を示すフローチャートである。 ＭＦＰが変化する際のトーンスケール調節モデルの変化を示すグラフである。 画像に依存するトーンスケールマッピング方法の一例を示すフローチャートである。 画像に依存するトーンスケール選択実施例の一例を示す図である。 画像に依存するトーンスケールマップ計算実施例の一例を示す図である。 光源レベル調節と、画像に依存するトーンスケールマッピングを含む実施例を示すフローチャートである。 光源レベル計算器とトーンスケールマップセレクタとを備えた実施例を示す図である。 光源レベル計算器とトーンスケールマップ計算器とを備えた実施例を示す図である。 光源レベル調節と、光源レベルに依存するトーンスケールマッピングとを備えた実施例を示すフローチャートである。 光源レベル計算器と、光源レベルに依存するトーンスケール計算または選択を含む実施例を示す図である。 元の画像の画素値に対する、トーンスケールの傾きのプロットを示す図である。 別個のクロミナンスチャンネル分析を含む実施例を示す図である。 画像処理モジュールに入力される周辺照明を含む実施例を示す図である。 光源処理モジュールに入力される周辺照明を含む実施例を示す図である。 画像処理モジュールに入力される周辺照明と、デバイスの特性入力とを含む実施例を示す図である。 画像処理モジュールおよび／または光源処理モジュールおよび光源信号ポストプロセッサへの別の周辺照明入力とを含む実施例を示す図である。 光源処理モジュールへの周辺照明入力を含み、処理モジュールはこの入力を画像処理モジュールに送る実施例を示す図である。 画像処理モジュールへの周辺照明入力を含み、処理モジュールはこの入力を光源処理モジュールへ送る実施例を示す図である。 ディストーション適応パワーマネージメントを含む実施例を示す図である。 一定パワーマネージメントを含む実施例を示す図である。 適応パワーマネージメントを含む実施例を示す図である。 一定パワーモデルのパワー消費量と一定ディストーションモデルのパワー消費量の比較を示すグラフである。 一定パワーモデルのディストーションと一定ディストーションモデルのディストーションの比較を示すグラフである。 ディストーション適応パワー管理を含む実施例を示す図である。 ビデオシーケンス例に関する種々のディストーションの限度におけるバックライトパワーレベルを示すグラフである。 パワー／ディストーション曲線の例を示すグラフである。 ディストーション基準に対しパワー消費量を管理する実施例を示すフローチャートである。 ディストーション基準に基づく光源パワーレベル選択を含む実施例を示すフローチャートである。 明るさ保存方法の効果を考慮したディストーション測定を行う実施例を示すフローチャートである。 明るさ保存方法の効果を考慮したディストーション測定を行う実施例を示すフローチャートである。 画像例に対するパワー／ディストーション曲線を示す図である。 固定されたディストーションを示すパワーのプロットを示す図である。 固定されたディストーションを示すディストーションのプロットを示す図である。 トーンスケール調節曲線の一例を示す図である。 図４２に示されたトーンスケール調節曲線のダーク領域のズームイン図である。 別のトーンスケール調節曲線の例を示す図である。 図４４に示されたトーンスケール調節曲線のダーク領域のズームイン図である。 最大カラーチャンネルの画素値に基づく画素値調節を示すフローチャートである。 最大カラーチャンネルの画素値に基づく多数のカラーチャンネルの画素値調節を示すフローチャートである。 カラーチャンネルのうちの１つの画素値特性に基づく多数のカラーチャンネルの画素値調節を示すフローチャートである。 入力として最大カラーチャンネル画素値を受信するトーンスケール発生器を含む、本発明の実施例を示す図である。 周波数分解およびトーンスケール調節によるカラーチャンネル符号の区別を含む、本発明の実施例を示す図である。 周波数分解、カラーチャンネルの区別およびカラー保存クリッピングを含む、本発明の実施例を示す図である。 カラーチャンネルの画素値特性に基づくカラー保存クリッピングを含む、本発明の実施例を示す図である。 ローパス／ハイパス周波数分割および最大カラーチャンネル画素値の選択を含む、本発明の実施例を示す図である。 処理された画像とディスプレイモデルの間の種々の関係を示す図である。 画像の一例に対する画素値のヒストグラムのグラフである。 図５５のヒストグラムに対応するディストーション曲線例のグラフである。 簡単なＤＶＤクリップに最適基準を適用した結果を示す、ビデオフレーム数に対する選択されたバックライトパワーをプロットしたグラフである。 実際のディスプレイの異なるコントラスト比に対して決定される最小ＭＳＥディストーションバックライトの決定を示す図である。 パネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 省電力コンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 より低い黒レベルコンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 明るさエンハンスメントコンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 黒レベルを下げ、明るさを高めた、エンハンス画像コンフィギュレーションのためのパネルトーン曲線の一例とターゲットトーン曲線を示すグラフである。 黒レベルを改善するための一連のターゲットトーン曲線の例を示すグラフである。 黒レベルを改善し、画像の明るさをエンハンスするための、一連のターゲットトーン曲線の例を示すグラフである。 ターゲットトーン曲線の決定と、ディストーションに関連するバックライト選択を含む実施例を示すフローチャートである。 性能目標に関連したパラメータの選択、ターゲットトーン曲線の決定およびバックライトの選択を含む実施例を示すフローチャートである。 性能目標に関連したターゲットトーン曲線の決定およびバックライト選択を含む実施例を示すフローチャートである。 性能目標に関連し、かつ画像に関連したターゲットトーン曲線の決定およびバックライト選択を含む実施例を示すフローチャートである。 周波数分解およびビット深度拡張によるトーンスケール処理を含む実施例を示すフローチャートである。 周波数分解およびカラーエンハンスメントを含む実施例を示すフローチャートである。 カラーエンハンスメント、バックライト選択およびハイパス利得プロセスを含む実施例を示すフローチャートである。 カラーエンハンスメント、ヒストグラムの発生、トーンスケール処理およびバックライト選択を含む実施例を示すフローチャートである。 肌色検出および肌色マップリファインを含む実施例を示すフローチャートである。 カラーエンハンスメントおよびビット深度拡張を含む実施例を示すフローチャートである。 カラーエンハンスメント、トーンスケール処理およびビット深度拡張を含む実施例を示すフローチャートである。 カラーエンハンスメントを含む実施例を示すフローチャートである。 カラーエンハンスメントおよびビット深度拡張を含む実施例を示すフローチャートである。 ターゲット出力曲線および多数のパネルまたはディスプレイ出力の曲線を示す。 図７９のターゲット出力曲線およびディスプレイ出力曲線に対するエラーベクトルを示すグラフである。 ヒストグラムで重み付けされたエラープロットを示すグラフである。 ヒストグラムで重み付けされたエラーに基づく光源照度レベル選択を含む、本発明の実施例を示す図である。 ヒストグラムで重み付けされたエラーに基づく光源照度レベル選択を含む、本発明の別の実施例を示す図である。 シーンカット検出器を含むシステム例を示す図である。 シーンカット検出器および画像補償モジュールを含むシステム例を示す図である。 シーンカット検出器およびヒストグラムバッファを含むシステム例を示す図である。 シーンカット検出器およびこのシーンカット検出器に応答する時間フィルタを含むシステム例を示す図である。 シーンカット検出器に基づき、フィルタ選択を行う方法の例を示す図である。 シーンカットを検出するよう、フレームを比較する方法の例を示す図である。 フィルタを用いないバックライト応答を示すグラフである。 代表的な時間コントラスト感度関数を示すグラフである。 フィルタの一例の応答を示すグラフであるである。 フィルタにかけられたバックライト応答およびフィルタにかけられていないバックライトを示すグラフである。 シーンカットにわたるフィルタ応答を示すグラフである。 フィルタにかけられていない応答、フィルタにかけられた応答およびフィルタにかけられ、シーンカットされた応答を示すグラフである。 ヒストグラムバッファと、時間フィルタと、Ｙゲイン補償とを含む実施例を示すシステム図である。 種々のＹゲイン曲線の例を示すグラフである。 ディスプレイモデルの例を示すグラフである。 ディスプレイエラーベクトル曲線の例を示すグラフである。 画像ヒストグラムの例のプロットを示すグラフである。 画像ディストーションの例とバックライトレベル曲線との関係を示すグラフである。 異なるディストーション値の比較を示すグラフである。 シーンカット検出および画像補償を含むシステム例を示す図である。 シーンカットを判別するための画像分析およびシーンカットに応答するディストーション計算を含む方法の例を示す図である。
図面を参照することにより、本発明の実施例について最良に理解できよう。図面全体にわたり、同様の部分は同様の番号で示す。添付図面は下記の詳細な説明の一部として援用する。
図面に示し、本明細書に一般的に説明される。本発明の要素は、広範な種々の構成に配置し、設計することができることが容易に理解できよう。従って、本発明の方法およびシステムの実施例の下記のより詳細な説明は、発明の範囲を限定するものではなく、本発明の現時点で好ましい実施例を単に示すにすぎない。
本発明の実施例の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアで具現化できる。本明細書に開示した実施例は、これら形態のうちの１つを述べるにすぎず、当業者であれば、本発明の範囲内でこれら要素をこれら形態のいずれかで実施できることが理解できよう。
光バルブ変調器、例えばＬＣ変調器およびその他の変調器を使用するディスプレイデバイスを、反射型とすることができ、ここで光は（観察者に向いた）前方表面に放射され、変調パネル層を通過した後に観察者に向かって反射される。ディスプレイデバイスは透過型のものもあり、そこでは変調パネル層の背面に向かって光が放射され、変調層を通過して観察者に達するようになっている。一部のディスプレイデバイスは、反射型と透過型とを組み合わせた透過反射型になっている。そこでは、光は変調層を通って背面から前面に通過し、一方、別の光源からの光が変調層の正面から入射した後に反射されるようになっている。これらケースのいずれにおいても、例えば個々のＬＣエレメントのような変調層における要素は、ピクセルの感知される明るさを制御できる。
バックライト、フロントライトおよびサイドライトディスプレイでは、光源を一連の蛍光灯、ＬＥＤアレイまたは他の光源とすることができる。ディスプレイが、通常の約１８インチのサイズよりも大型である場合、光源がデバイスのパワー消費量の大部分を構成する。所定の用途および所定の市場では、パワー消費量を低減することは重要である。しかしながら、パワーを低減することは、光源の光束を低減すること、よってディスプレイの最大の明るさを低減することを意味する。
現在のガンマ補正された光バルブ変調器のグレイレベルの画素値（ＣＶ）と、光源レベルＬsourceと、出力光レベルＬoutに関係する基本的な式は次のとおりである。
Figure 2010537243
ここで、ｇは較正利得（ゲイン）であり、ｄａｒｋは光バルブのダークレベルであり、ａｍｂｉｅｎｔは部屋の条件によって決まるディスプレイに入射する光である。この式から、バックライト光源をｘ％だけ低減すると、光出力もｘ％低下することが分かる。
光バルブの変調値を変更することにより、特にこれら値をブースト（増強）することにより、光源のレベルの低下量を補償できる。実際に、（１−ｘ％）未満の光レベルは正確に再現できるが、光源を追加したり、または光源の強度を増加することなく、（１−ｘ％）を越える光レベルを再現することはできない。
元の光源および低減した光源からの光出力を設定すると、（ｄａｒｋおよびａｍｂｉｅｎｔを０と仮定した場合の）ｘ％の低減に対する画素値を補正するのに使用される基本画素値補正式が得られ、これらの式は次のように示される。Ｌreducedは低減したバックライト光源、ＣＶboostはブーストした画素値である。
Figure 2010537243
図２Ａはこの調整を示す。図２Ａおよび２Ｂでは、元のディスプレイ値は直線１２に沿った点に対応する。バックライトすなわち光源を省エネモードとし、光源の照明を低減するとき、この光源の照明量の低減に光バルブが対抗できるようにするためには、ディスプレイの画素値をブーストしなければならない。これらブーストされた値は、直線１４に沿った点に一致する。しかしながら、このような調節の結果、画素値１８は、ディスプレイが発生できる値（例えば８ビットディスプレイの場合２５５）よりも大きくなる。従って、これら値は図２Ｂに示されるように、２０でクリップされる。このように調節された画像は色あせた（washed out）ハイライト、不自然な見え方および全体に低い画質に悩まされる。
このような単純な調節モデルを使用すると、低減光源照明モードの間、フルパワー光源で再生されるレベルに等しい輝度レベルで、クリッピングポイント１５よりも低い画素値（この実施例では入力画素値２３０）がディスプレイされることになる。より低いパワーで同じ輝度が再生され、結果として省エネになる。画像の画素値の組をクリッピングポイント１５よりも低い範囲に制限した場合、ユーザにはっきりわかるように省エネモードを作動できる。不幸なことに、値がクリッピングポイント１５を越えると、輝度が低下し、細部が失われる。本発明の実施例は、輝度レンジのハイエンドで生じるクリッピングアーティファクトを低減しながら、明るさを増加する（または省エネモードにおける明るさの低減をなくす）よう、ＬＣＤまたは光バルブ画素値を変えることができるアルゴリズムを提供するものである。
本発明の一部の実施例は、小パワーでディスプレイされる画像輝度を、かなりの範囲の値にわたり、フルパワーでディスプレイされる輝度に一致させることにより、ディスプレイの光源パワーを低減することに関連する明るさの低下を解消する。これら実施例では、出力輝度を特定のファクターで割った光源またはバックライトのパワーの低下を、逆ファクターにより画像データをブーストすることによって補償するものである。
ダイナミックレンジの制限を無視すると、フルパワーでディスプレイされる画像と低パワーでディスプレイされる画像とを同じにすることができる。その理由は、除算（低減された光源の照明に対するもの）と乗算（ブーストされた画素値に対するもの）とが、実質的にかなりの範囲にわたってキャンセルし合うからである。ダイナミックレンジの限界は、画像データの乗算（画素値増加に対する）がディスプレイの最大量を越えるときはいつも、クリッピングアーティファクトを生じさせ得る。ダイナミックレンジの制限によって生じるクリッピングアーティファクトは、画素値の上端部でブーストをロールオフすることによって解消または低減できる。このロールオフは、最大忠実ポイント（ＭＦＰ）でスタートでき、このポイントより上では、輝度は元の輝度に一致しなくなる。
本発明の一部の実施例では、光源の照明量の低減または画像エンハンスメントに対する事実上の低減を補償するために、次の手段を実行する。
１）照明低減パーセントによって光源（バックライト）の低減レベルを決定する。
２）低減パワー出力とフルパワー出力との一致からのロールオフが生じる最大忠実ポイント（ＭＦＰ）を決定する。
３）補償トーンスケール演算子を決定する。
ａ．ＭＦＰより下では、ディスプレイ輝度の低減を補償するように、トーンスケールをブーストする。
ｂ．ＭＦＰより上では、トーンスケールを徐々にロールオフする（一部の実施例では、連続微分値を維持しながらこれを行う）。
４）トーンスケールマッピング演算子を画像に適用する。
５）ディスプレイに送る。
これら実施例の主な利点は、画像の狭いカテゴリーに対してわずかに変化を加えることで、電力節減を達成できることである。（ＭＦＰより上でしか差が発生せず、このような差は、明るさのピークの低減および明るい細部の一部の喪失として生じる。）画像のこれら領域をフルパワーモードから区別できないようにするフルパワーモードと同じ輝度にて、省エネモードでＭＦＰより下の画像の値をディスプレイできる。
本発明の一部の実施例は、パワーの低減およびディスプレイのガンマに依存し、画像データに依存しないトーンスケールマップを使用できる。これら実施例は２つの利点を提供できる。第１に、フレームを別個に処理することに起因するフリッカーアーティファクトが生じないこと、第２にアルゴリズムの実行上の複雑性が低いことである。一部の実施例では、オフラインのトーンスケール設計と、オンラインのトーンスケールマッピングを使用できる。ＭＦＰの仕様により、ハイライトにおけるクリッピングを制御できる。
図３を参照し、本発明の実施例の一部の特徴について説明できる。図３は、いくつかの状況において輝度に対してプロットされた画像の画素値を示すグラフである。鎖線で示された第１の曲線３２は、光源が１００％のパワーで作動したときの元の画素値を示し、一点鎖線の曲線として示された第２の曲線３０は、光源がフルパワーの８０％で作動したときの、元の画素値の輝度を示す。破線で示された第３の曲線３６は、光源がフルパワーの８０％で作動している間、１００％の光源の照明で提供される輝度に一致するように画素値をブーストしたときの輝度を示す。実線で示された第４の曲線３４は、データのハイエンドにおけるクリッピングの効果を減少するためのロールオフ曲線と共に、増加されたデータを示す。
図３に示されるこの実施例では、画素値１８０におけるＭＦＰ３５を使用した。画素値１８０より下では、ブーストされた曲線３４が元の１００％のパワーディスプレイによる輝度出力３２と一致することに留意されたい。１８０より上では、増加した曲線は８０％のディスプレイで可能な最大出力までスムーズに移行する。このスムーズさがクリッピングおよび量子化アーティファクトを低減する。一部の実施例では、ＭＦＰ３５によって示される移行ポイントにおいて、スムーズにマッチするよう、トーンスケール関数を部分ごとに定めることができる。ＭＦＰ３５より下では、ブーストされたトーンスケール関数を使用できる。ＭＦＰ３５より上では、曲線は、ＭＦＰにおいて、ブーストされたトーンスケール曲線の最終点までスムーズに一致し、最大画素値［２５５］における最終点３７に一致する。一部の実施例では、曲線の傾きはＭＦＰ３５におけるブーストされたトーンスケール曲線／ラインの傾きに一致させることができる。このような一致は、ＭＦＰ値における直線関数の微分値と曲線関数の微分値とを等しくすることにより、ＭＦＰ値より下の値での直線の傾きをＭＦＰ値より上の値での曲線の傾きに一致させ、さらにその点における直線関数の値と曲線関数の値を一致させることによって達成される。曲線関数に対する別の制限は、曲線を最大値ポイント［２５５、２５５］３７を通過させるようにすることである。一部の実施例では、曲線の傾きを最大値ポイント３７において０に設定してもよい。一部の実施例では、ＭＦＰ値１８０を、２０％の光源のパワー低減量に対応させることもできる。
本発明の一部の実施例では、最大忠実ポイント（ＭＦＰ）以下での利得ｇと線形関係になるように、トーンスケール曲線を定めることができる。前記ＭＦＰ点以上では、曲線と、その１次微分値とが、ＭＦＰ点で連続になるようにトーンスケールを定めることができる。このような連続性は、トーンスケール関数における以下の形態を意味する。
Figure 2010537243
この利得は次のようにディスプレイのガンマと明るさの低減比（フルパワー（Full Power），低減されたパワー（Reduced Power））によって決定できる。
Figure 2010537243
一部の実施例では、明るさの絶対値の保持とハイライトの細部の保持とをマニュアルでバランスさせることによって、ＭＦＰ値をチューニングできる。
最大ポイントにおいて傾き（Slope）をゼロにするという制限を課すことにより、ＭＦＰを決定できる。このことは次のことを意味する。
Figure 2010537243
一部の実施例では、一実施例に従い、簡単なブーストされたデータ、クリッピングを有するブーストされたデータおよび補正されたデータに対する画素値をそれぞれ計算するのに、次の式を使用できる。
Figure 2010537243
ここで、定数Ａ、ＢおよびＣは、ＭＦＰでスムーズに一致し、曲線がポイント［２５５、２５５］を通過するように選択される。図４にはこれら関数のプロットが示されている。
図４は、元の画素値と調節された画素値の関係を示すプロットである。元のデータライン４０に沿ったポイントとして元の画素値が示されており、このことは、元の値と調節された値が調節されていないオリジナルであるから、それらの関係が１：１であることを示す。本発明の実施例によれば、より高い輝度レベルを示すように、これら値をブーストまたは調節することができる。上記「トーンスケールブースト（Tone Scaleboost）」式による単純なブースト方法の結果、ブーストライン４２に沿った値が得られる。これらの値のディスプレイ結果は、ライン４６としてグラフで示され、かつ「クリップされたトーンスケール」式で数学的に示されるようにクリップが生じるので、調節は曲線４４に沿って最大忠実ポイント４０から最大値ポイント４７まで漸減する。一部の実施例では、この上記関係を「補正されたトーンスケール」式で数学的に記述できる。
このような考え方を使用することにより、１００％のパワーで光源が作動するディスプレイによって示される輝度値を、より低いパワーレベルで光源が作動するディスプレイによって代えることができる。このことは、トーンスケールのブーストにより達成でき、このトーンスケールのブーストは基本的には光源の照度の損失を補償するために、実質的にもっと光バルブを使えるようにする。しかしながら、画素値範囲全体にわたってこれらブーストを単純に適用することは、範囲の上端でクリッピングアーティファクトが生じる結果となる。このようなアーティファクトを防止または減少するために、トーンスケール関数はスムーズにロールオフされる。このロールオフは、ＭＦＰパラメータによって制御できる。ＭＦＰの大きい値は、広い範囲にわたり輝度を一致させるが、画素値の最大のところで視認できる量子化／クリッピングアーティファクトを増加させる。
本発明の実施例は、画素値を調節することにより実施できる。簡単なガンマディスプレイモデルでは、画素値のスケーリングは、異なるスケールファクターによる輝度値のスケーリングを生じさせる。より現実的なディスプレイモデルのもとでこのような関係が成り立つかどうかを判断するために、ガンマオフセット利得（ゲイン）−フレア（ＧＯＧ−Ｆ）モデルを検討する。バックライトパワーをスケーリングすることは、周辺ではなく、ディスプレイの出力にパーセントｐを適用するようなリニアな線形漸減式（Linear reduced equations）に対応する。利得をファクターｐだけ低減することは、利得を変更しないこと及びディスプレイガンマによって決定されるファクターだけデータ、画素値およびオフセットをスケーリングすることと等価である。数学的には、適切に変更することによって乗算係数をパワー関数に挿入できる。このような変形係数は、画素値（ＣＶ）とオフセットの双方を変動させる。
Figure 2010537243
図５を参照し、本発明の一部の実施例について説明する。これらの実施例は、画像処理前にオフラインでトーンスケール調節を設計または計算するか、または画像を処理しながらオンラインで調節を設計し、計算することができる。トーンスケール調節５６は作動のタイミングに係わらず、ディスプレイガンマ５０、効率係数５２および最大忠実ポイント（ＭＦＰ）５４に基づき設計し、計算される。これらの係数はトーンスケール調節モデル５８を生成するために、トーンスケール設計プロセス５６内で処理することができる。トーンスケール調節モデルはアルゴリズム、ルックアップテーブル（ＬＵＴ）または画像データに適用できる他のモデルの形態をとり得る。
調節モデル５８を一旦作成すると、このモデルを画像データに適用できる。図６を参照し、この調節モデルの適用について説明できる。これら実施例では、画像を入力（６２）し、画素値を調節するために画像にトーンスケール調節モデル５８を適用（６４）する。このプロセスの結果、出力画像６６が得られ、この出力画像６６はディスプレイに送られる。トーンスケール調節のアプリケーション６４は、一般にオンラインプロセスであるが、条件が許せば、画像をディスプレイする前に実施される。
本発明の一部の実施例は、例えばＬＥＤディスプレイ、プラズマディスプレイおよび他のタイプのディスプレイのような発光ピクセル変調器を使用して、ディスプレイに表示される画像をエンハンスするためのシステムおよび方法を含む。光源がフルパワーモードまたは他のモードで作動する光バルブピクセル変調器を使用するディスプレイに表示される画像をエンハンスするために、これら同じシステムおよび方法を使用できる。
これら実施例は、前に説明した実施例と同じように作動するが、低減された光源の照度を補償するというよりは、これら実施例は単に光源があたかも減少したかのごとく、あるレンジのピクセルの輝度を単純に高める。このようにすることによって、画像の全体の明るさが改善される。
これら実施例では、かなりの範囲の値にわたって元の画素値がブーストされる。実際の光源の照度が低下しないということを除けば、他の実施例に対しても、上記のようにこの画素値調節を実行できる。従って、画素値の広い範囲にわたり、画像の明るさは著しく増加する。
同じように、図３を参照し、これら実施例の一部について説明できる。これら実施例では、元の画像に対する画素値が、曲線３０に沿った点として示されている。これら値を、より高い輝度レベルを有する値にブーストまたは調節できる。これらブーストされた値は、曲線３４に沿った点として表示でき、曲線３４はゼロ点３３から最大忠実点３５まで延び、次に最大値点３７までテーパオフする。
本発明の一部の実施例は、不鮮明（unsharp）マスキングプロセスを含む。これら実施例の一部では、不鮮明マスキングは空間的に変化する利得を使用でき、この利得は画像の値および変更されたトーンスケール曲線の傾きによって決定される。一部の実施例では、ディスプレイパワーの制限に起因し、画像の明るさを再現できないときでも、利得のアレイを使用することによって画像のコントラストにマッチングすることが可能となる。
本発明の一部の実施例は、次のプロセス手段をとり得る。
１．トーンスケール調節モデルを計算する。
２．ハイパス画像を計算する。
３．利得アレイを計算する。
４．利得によりハイパス画像に重みづけする。
５．ローパス画像と重みづけされたハイパス画像を合計する。
６．その合計をディスプレイに送る。
本発明の別の実施例は、次のプロセス手段をとり得る。
１．トーンスケール調節モデルを計算する。
２．ローパス画像を計算する。
３．画像とローパス画像との間の差として、ハイパス画像を計算する。
４．画像の値および変更されたトーンスケール曲線の傾きを使って利得のアレイを計算する。
５．ハイパス画像を利得で重みづけする。
６．ローパス画像と重みづけされたハイパス画像とを合計する。
７．これをパワーが低減されたディスプレイへ送る。
本発明の一部の実施例を使用することにより、画像の狭いカテゴリー上の小さい変化を伴うだけで、電力節減を達成できる（差はＭＦＰより大きいところで生じるだけであり、明るさのピークの低下と明るい細部の喪失として生じる）。フルパワーと同じ輝度で省エネモードにてＭＦＰより小さい範囲の画像値をディスプレイし、これら画像領域をフルパワーモードの画像領域と区別できないようにできる。本発明の別の実施例は、明るい細部の喪失を低減することにより、このような性能を改善する。
これら実施例は明るい細部を保持するために、空間的に変化する不鮮明マスキングを含むことができる。他の実施例と同じように、オンラインコンポーネントとオフラインコンポーネントの双方を使用できる。一部の実施例では、トーンスケール関数の外に、利得マップを計算することにより、オフラインコンポーネントを拡張できる。利得マップは画像値に基づいて、適用するために不鮮明フィルタ利得を指定できる。トーンスケール関数の傾きを使用することにより、利得マップ値を決定できる。一部の実施例では、特定のポイントＰにおける利得マップ値は、ポイントＰにおけるトーンスケール関数の傾きに対するＭＦＰより下の範囲のトーンスケール関数の傾きの比として計算される。一部の実施例では、ＭＦＰより下の範囲では、トーンスケール関数は線形であるので、利得はＭＦＰより下の範囲では１である。
図７を参照し、本発明の一部の実施例について説明できる。これらの実施例では、画像処理前にトーンスケール調節をオフラインで設計または計算してもよいし、または画像を処理しながらオンラインでトーンスケール調節を設計し、または計算してもよい。トーンスケール調節７６は作動のタイミングに係わらず、ディスプレイのガンマ７０、効率係数７２および最大忠実ポイント（ＭＦＰ）７４の少なくとも１つに基づき設計し、または計算される。これらの係数はトーンスケール調節モデル７８を生成するために、トーンスケール設計プロセス７６内で処理される。トーンスケール調節モデルは、アルゴリズム、ルックアップテーブル（ＬＵＴ）または上記他の実施例を参照して説明したような画像データに適用できる他のモデルの形態をとり得る。これらの実施例では、別の利得マップ７７も計算される（７５）。この利得マップ７７を、例えば周波数レンジのような特定の画像のサブ分割に適用できる。一部の実施例では、画像の周波数分割された部分に利得マップを適用してもよいし、一部の実施例ではハイパス画像のサブ分割に利得マップを適用してもよい。更に、特定の画像周波数レンジまたは他の画像サブ分割に適用してもよい。
図８を参照し、トーンスケール調節モデルの一例について説明できる。これらの実施例では、関数移行ポイント（ＦＴＰ）８４（光源低減補償の実施例で使用されるＭＦＰに類似する）を選択し、ＦＴＰ８４より下の値に対して第１の利得関係８２を提供するように利得関数を選択する。一部の実施例では、この第１利得関係をリニアな関係とすることができるが、他の関係および関数を使って画素値をエンハンスされた画素値に変換してもよい。ＦＴＰ８４より上の範囲では、第２の利得関係８６を使用できる。この第２の利得の関係８６を、ＦＴＰ８４と最大値ポイント８８とを接ぐ関数とすることができる。一部の実施例では、第２の利得関係８６は、ＦＴＰ８４における第１の利得関係８２の値と傾きに一致し、最大値ポイント８８を通る。他の実施例に関してこれまで説明したような別の関係および更に別の関係が、第２の利得関係８６としても働く。
一部の実施例では、図８に示されるようなトーンスケール調節モデルに関連して、利得マップ７７を計算できる。図９を参照し、利得マップの一例７７について説明できる。これらの実施例では、利得マップ関数はトーンスケール調節モデルの傾きの関数としてトーンスケール調節モデル７８と関連する。一部の実施例では、特定の画素値におけるトーンスケール調節モデルの傾きに対するＦＴＰより下の範囲の画素値におけるトーンスケール調節モデルの傾き（Tone Scale Slope）の比により、特定の画素値における利得マップ関数の値を決定する。一部の実施例では、この関係を式１１により数学的に表記できる。
Figure 2010537243
これらの実施例では、利得マップ関数はトーンスケール調節モデルが、リニアなブーストとなるＦＴＰより下の範囲の関数に等しい。ＦＴＰより上の範囲の画素値に対し、利得マップ関数はトーンスケール調節モデルの傾きが漸減するにつれ、急速に増大する。このような利得マップ関数における急俊な増加は、利得マップ関数を適用する画像部分のコントラストをエンハンスする。
ディスプレイパーセント（光源の低下率）８０％、ディスプレイガンマおよび最大忠実ポイント１８０を使って、図８に示されたトーンスケール調節係数および図９に示された利得マップ関数の例を計算した。
本発明の一部の実施例では、トーンスケール調節モデルを適用した後に、不鮮明マスキング演算を行う。これら実施例では、不鮮明マスキング技術によりアーティファクトを低減する。
図１０を参照し、本発明の一部の実施例について説明する。これら実施例では、元の画像１０２を入力し、この画像に対してトーンスケール調節モデル１０３を適用する。この元の画像１０２は、利得マップを生じさせる利得マッピングプロセス１０５への入力としても使用する。次に、ローパスフィルタ１０４を通してトーンスケール調節された画像を処理することにより、ローパス調節された画像が得られる。次に、ハイパス調節された画像を生じるように、トーンスケール調節された画像からローパス調節された画像を減算する（１０６）。次に、利得マップ内の適切な値を、このハイパス調節された画像に対して乗算（１０７）し、利得調節されたハイパス画像を得る。この利得調節されたハイパス画像をローパス調節された画像に加える（１０８）が、ローパス調節された画像は既にトーンスケール調節モデルによって調節されている。このような加算の結果、明るさが増し、高周波コントラストが改善された出力画像１０９が得られる。
これら実施例の一部では、画像の各ピクセルの各コンポーネントに対し、利得マップおよびそのピクセルにおける画像の値から利得の値を決定する。トーンスケール調節モデルを適用する前に、元の画像１０２を使って利得を決定することもできる。ローパス画像に追加する前に、対応する利得値によりハイパス画像の各ピクセルの各コンポーネントをスケーリングしてもよい。利得マップ関数が１であるポイントでは、不鮮明マスキング演算は画像の値を変更しない。利得マップ関数が１を越えるポイントでは、コントラストが増す。
本発明の一部の実施例は、１つの画像を多数の周波数バンドに分解することにより、画素値の明るさを高めるときの上端の画素値におけるコントラストの喪失をアドレスする。一部の実施例では、低パワー設定時の光源輝度の低減を補償するため、または表示される画像の明るさを単に高めるために画像データの明るさを高めるローパスバンドに対してトーンスケール関数を適用する。これと平行して、より低いディスプレイパワーに起因して中間の絶対的な明るさが低下する領域でも、画像のコントラストを保持する。ハイパスバンドに一定の利得を適用する。アルゴリズム例の作動を次のように示すことができる。
１．元の画像の周波数分解を実行する。
２．明るさ保存、すなわちトーンスケールマップをローパス画像に適用する。
３．ハイパス画像に対し、一定の乗数を適用する。
４．ローパス画像とハイパス画像とを合計する。
５．合計の結果をディスプレイに送る。
光源照度低減アプリケーションのために、元の画像のフルパワーディスプレイとプロセス画像の低パワーディスプレイとの測光用の組合せ（match）を作ることにより、オフラインでトーンスケール関数および一定利得を決定できる。明るさエンハンスメントアプリケーションのためにオフラインでトーンスケール関数を決定することもできる。
最も適度なＭＦＰの値に対して、これらの一定のハイパス利得実施例と不鮮明マスキング実施例とは、性能の点でほとんど区別できない。これら一定ハイパス利得の実施例は、不鮮明マスキング実施例と比較して３つの主な利点、すなわちノイズの影響が減少すること、より大きいＭＦＰ／ＦＴＰを使用できること、およびディスプレイシステムで現在使用されている処理手段を使用することを有する。不鮮明マスキング実施例は、トーンスケール曲線の傾きの逆数である利得を使用する。この曲線の傾きが小さいとき、この利得は大きい増幅ノイズを生じさせる。このノイズの増幅は、ＭＦＰ／ＦＴＰのサイズに実際上の限界も課す。第２の利点は、任意のＭＦＰ／ＦＴＰの値に拡張できることである。システム内にアルゴリズムを設置することを検討することから、第３の利点が得られる。一定ハイパス利得実施例と、不鮮明マスキング実施例の双方は、周波数の分解を使用している。一定ハイパス利得実施例は、この演算を最初に実行するが、一部の不鮮明マスキング実施例は、周波数分解を行う前にトーンスケール関数をまず適用する。デコンターリング（de-contouring）のようなシステムの処理は、明るさ保存アルゴリズムの前に周波数分解を実行する。これらの場合、一定ハイパス実施例により周波数分解を使用し、それによって変換手段を除外できるが、一部の不鮮明マスキング実施例は、周波数分解を反転し、トーンスケール関数を適用し、さらに追加的な周波数分解を実行しなければならない。
本発明の一部の実施例はトーンスケール関数を適用する前に空間周波数に基づき画像を分割することにより、上端の画素値におけるコントラストの喪失を防止する。これらの実施例では、画像のローパス（ＬＰ）コンポーネントに対し、ロールオフを有するトーンスケール関数を適用できる。光源照度低減補償アプリケーションでは、このアプリケーションはローパス画像コンポーネントの全部の輝度の組合せ（match）を用意する。これらの実施例では、ハイパス（ＨＰ）コンポーネントを均一にブースト（一定利得）する。周波数分解された信号を必要に応じて再結合し、クリッピングすることができる。ハイパスコンポーネントはトーンスケール関数のロールオフを通過しないので、細部が保存される。ローパストーンスケール関数のスムーズなロールオフは、ブーストされたハイパスコントラストを追加するためのあき高（head room）を保存する。この最終結合で生じ得るクリッピングが、細部を大幅に減少させるとは判断されていない。
図１１を参照し、本発明の一部の実施例について説明できる。これらの実施例は、周波数分割または分解１１１と、ローパストーンスケールマッピング１１２と、一定ハイパス利得またはブースト１１６と、エンハンスされた画像コンポーネントの総和または再結合１１５とを含む。
これら実施例では、入力画像１１０を空間周波数バンド１１１に分解する。２つのバンドを使用する一実施例では、ローパス（ＬＰ）フィルタ１１１を使ってこの分解を実行する。フィルタ１１１を介してＬＰ信号を計算し、元の画像からＬＰ信号を減算（１１３）し、ハイパス（ＨＰ）信号１１８を形成することにより、周波数分割を実行する。一実施例では、この分解のために空間５×５短方形フィルタを使用しているが、別のフィルタも使用できる。
次に、前に説明した実施例と同じように、トーンスケールマッピングを適用することにより、ＬＰ信号を処理できる。一実施例では、この処理をフォトメトリックマッチングＬＵＴによって達成できる。これらの実施例では、ほとんどの細部は既にフィルタリング１１１の際に抽出されているので、前に説明した不鮮明マスキングの実施例と比較して、より大きい値のＭＦＰ／ＦＴＰを使用できる。コントラストを追加するために何らかのあき高を保持しなければならないので、一般にクリッピングを使用すべきではない。
一部の実施例では、上限において、トーンスケール曲線の傾きがゼロとなるように、ＭＦＰ／ＦＴＰを自動的に決定し、設定される。図１２には、このように決定した一連のトーンスケール関数が示されている。これらの実施例では、２５５においてトーンスケール関数が傾き０となるようにＭＦＰ／ＦＴＰの最大値を決定できる。この値は、クリッピングを生じさせない最大のＭＦＰ／ＦＴＰ値である。
図１１を参照して説明した本発明の一部の実施例では、ＨＰ信号１１８を処理することは、ローパス信号を処理するのに使用されるＭＦＰ／ＴＰの選択とは関係なく行われる。パワー／光源照度を低減するとき、または明るさを改善するために画像の画素値を他の方法でブーストするときに、コントラストを維持する一定利得１１６を用いて、ＨＰ信号１１８を処理する。フルおよび低減バックライトパワー（ＢＬ）およびディスプレイガンマによって表されるＨＰ信号の利得１１６の式は、ハイパス利得式（High Pass Gain equation）として以下に示される。利得は一般に小さい（例えば、利得は８０％のパワー低減およびガンマ値２．２に対して１．１である）ので、このＨＰコントラストのブーストは、ノイズに対して影響を受けにくい。
Figure 2010537243
一部の実施例では、トーンスケールマッピング１１２をＬＵＴ処理またはその他の方法によりＬＰ信号に適用し、ＨＰ信号に一定利得１１６を適用して、これら周波数成分を合計（１１５）し、一部のケースではクリッピングすることができる。ＬＰ値に加えられるブーストされたＨＰ値が２５５を越えるときに、クリッピングが必要となる場合がある。このことは一般に、高いコントラストを有する明るさの信号にしか適さない。一部の実施例では、トーンスケールのＬＵＴを構築することにより、ＬＰ信号が上限を越えないように保証する。ＨＰ信号はクリッピングを生じさせることがあるが、クリッピングが生じる場合でも、あるコントラストを維持することによってＨＰ信号の負の値はクリッピングされない。
［光源が画像に依存する実施例]
本発明の一部の実施例では、表示されている画像、前に表示された画像、表示された画像の後で表示すべき画像またはそれらの組み合わせの特性によって、ディスプレイ光源の照明レベルを調節できる。これらの実施例では、画像特性に従ってディスプレイ光源の照明レベルを変えることができる。一部の実施例では、これらの画像特性は、画像輝度レベル、画像クロミナンスレベル、画像ヒストグラム特性およびその他の画像特性を含む。
画像特性を一旦確認すると、１つ以上の画像の属性をエンハンスするために、光源（バックライト）の照明レベルを変えることができる。一部の実施例では、より暗い画像領域またはより明るい画像領域におけるコントラストをエンハンスするように光源レベルを増減してもよい。画像のダイナミックレンジを高めるように、光源の照明レベルを増減してもよい。一部の実施例では、各画像フレームに対する電力消費量を最適にするように、光源のレベルを調節できる。
光源のレベルを一旦変更すると、どんな理由であれ、画像を更に改善するようにトーンスケール調節を使って画像ピクセルの画素値を調節できる。電力を節約するために光源レベルを低減した場合、失われた明るさを再び取り戻すようにピクセルの値を大きくすることができる。特定の輝度レンジにおけるコントラストをエンハンスするように光源のレベルを変更した場合、別のレンジにおける減少したコントラストを補償するために、または特定のレンジを更にエンハンスするために、ピクセルの値を調節できる。
本発明の一部の実施例では、図１３に示されるように、画像の内容に画像トーンスケール調節を依存させることができる。これらの実施例では、画像の特性を判断するために、画像を分析する（１３０）。画像特性として、輝度チャンネル特性、例えば画像の平均輝度である平均ピクチャーレベル（ＡＰＬ）、最大輝度値、最小輝度値、例えば平均ヒストグラム値、最も頻繁なヒストグラムの値、およびその他の値、輝度ヒストグラムデータ、並びにその他の輝度特性を挙げることができる。更に画像特性として、カラー特性、例えば個々のカラーチャンネル（例えばＲＧＢ信号内のＲ、Ｇ＆Ｂ）の特性も挙げることができる。カラーチャンネル固有の画像特性を決定するために、各カラーチャンネルを別個に分析できる。一部の実施例では、各カラーチャンネルに対して別々のヒストグラムを使用してもよい。他の実施例では、画像データの空間分布に関する情報を含むブロブヒストグラムデータを画像特性として使用してもよい。また、画像特性はビデオフレーム間の時間的変化も含むことができる。
画像を一旦分析（１３０）し、特性を決定すると、画像特性の値に基づき、一組のあらかじめ計算されたマップからトーンスケールマップを計算または選択できる（１３２）。バックライト調節を補償するか、または他の方法で画像をエンハンスするために、画像にこのマップを使用（１３４）できる。
図１４を参照して本発明の一部の実施例について説明できる。これら実施例では、画像分析器１４２は、画像１４０を受信し、トーンスケールマップを選択するのに使用できる画像特性を決定する。次に、これら特性をトーンスケールマップセレクタ１４３へ送り、このセレクタは画像特性に基づき適当なマップを決定する。次に、画像１４０に対してマップを使用するために、画像プロセッサ１４５へこのマップ選択を送ることができる。画像プロセッサ１４５はマップ選択および元の画像データを受信し、選択されたトーンスケールマップ１４４を用いて、元の画像を処理し、それによってユーザに表示するために、ディスプレイ１４６へ送られる。調節された画像を発生する。これら実施例では、画像特性に基づき選択するために、１つ以上のトーンスケールマップ１４４を記憶する。これらトーンスケールマップ１４４をあらかじめ計算し、テーブルまたは他のデータフォーマットとして記憶できる。これらトーンスケールマップ１４４は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成したエンハンスメントマップまたは他のマップを含むことができる。
図１５を参照し、本発明の一部の実施例について説明できる。これら実施例では、画像分析器１５２は、画像１５０を受信し、トーンスケールマップを計算するのに使用できる画像特性を決定する。次に、これら特性はトーンスケールマップ計算器１５３へ送られ、この計算器は画像特性に基づき、適切なマップを計算する。計算されたマップは、画像プロセッサ１５５へ送られ、このマップは画像１５０に対して使用される。画像プロセッサ１５５は、計算されたマップ１５４および元の画像データを受信し、トーンスケールマップ１５４を用いて、元の画像を処理し、それによってユーザに表示するためにディスプレイ１５６に送られる。調節された画像を発生する。これら実施例では、画像特性に基づき実質的にリアルタイムでトーンスケールマップ１５４を計算する。計算されたトーンスケールマップ１５４は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使用して作成されたエンハンスメントマップまたは別のマップを含むことができる。
図１６を参照し、本発明の別の実施例について説明する。これら実施例では、光源の照明レベルは画像の内容に依存するが、トーンスケールマップも画像の内容に依存できる。しかしながら、必ずしも光源の計算チャンネルとトーンスケールマップチャンネルとの間で通信がなくてもよい。
これら実施例では、光源またはトーンスケールマップマップ計算に必要な画像特性を決定するために画像を分析する（１６０）。この情報は、画像に適した光源の照明レベル１６１を計算するのに使用される（１６１）。画像を表示するときに光源（例えばバックライト）の変動に対して、この光源のデータをディスプレイへ送る（１６２）。画像特性情報に基づき、トーンスケールマップを選択または計算する場合（１６３）、トーンスケールマップチャネルにも画像特性データを送る。次に、ディスプレイ１６５に送られるエンハンスされた画像を生成するために、画像に対し、マップを適用（１６４）する。光源の信号がエンハンスされた画像データの表示に一致するよう、画像に対して計算された光源信号とエンハンスされた画像データとを同期化させる。
図１７に示されたこれら実施例の一部は、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成されたエンハンスマップまたは別のマップを含む、格納されたトーンスケールマップを使用する。これら実施例では、トーンスケールマップおよび光源計算に関係する画像特性を決定するために画像分析器１７２に画像１７０を送る。次にこれら特性は、光源レベル計算器１７７へ送られ、適切な光源照明レベルが決定される。トーンスケールマップセレクタ１７３へも一部の特性を送り、適切なトーンスケールマップ１７４を決定するのに使用する。次に、画像プロセッサ１７５に元の画像１７０およびマップ選択データが送られ、プロセッサは選択されたマップ１７４を検索し、マップ１７４を画像１７０に適用し、エンハンスされた画像を作成する。次に、このエンハンスされた画像はディスプレイ１７６へ送られ、ディスプレイ１７６は光源レベル計算器１７７からの光源レベル信号も受信し、エンハンスされた画像が表示されている間、光源１７９を変調するためにこの信号を使用する。
図１８に示されたこれら実施例の一部は、オンザフライ方式でトーンスケールマップを計算できる。これらマップは、簡単なガンマ変換テーブル、図５、７、１０および１１を参照してこれまで説明した方法を使って作成されたエンハンスマップまたは別のマップを含むことができる。これら実施例では、トーンスケールマップおよび光源計算に関連する画像特性を決定するために画像分析器１８２に画像１８０を送る。次にこれら特性は、適切な光源照度レベルを決定するために、光源計算器１８７へ送られる。一部の特性は、トーンスケールマップ計算器１８３へも送られ、適切なトーンスケールマップ１８４を計算するのに使用される。次に、画像プロセッサ１８５に元の画像１８０および計算されたマップ１８４が送られ、画像プロセッサ１８５は計算されたマップ１８４を画像１８０に適用し、エンハンスされた画像を作成する。次に、このエンハンスされた画像はディスプレイ１８６へ送られ、このディスプレイ１８６は光源計算器１８７からの光源レベル信号も受信し、エンハンスされた画像が表示されている間、光源１８９を変調するためにこの信号を使用する。
図１９を参照し、本発明の一部の実施例について説明できる。これらの実施例では、光源並びにトーンスケールマップの計算および選択に関連する画像特性を決定するために画像を分析（１９０）する。次に、光源照度レベルを計算（１９２）するために、これら特性を使用する。光源照度レベルを使用して、トーンスケール調節マップ１９４を計算または選択する。次に、エンハンスされた画像を作成するために、画像に対してこのマップを適用（１９６）する。次にディスプレイにエンハンスされた画像および光源レベルデータを送る（１９８）。
図２０を参照し、図１９に関連して説明した方法のために使用される装置について説明する。これらの実施例では、画像分析器２０２にて、画像２００を受信し、この分析器で画像特性を決定する。次に、画像分析器２０２は、光源レベルを決定するために、光源計算器２０３へ画像特性データを送る。次に、トーンスケールマップセレクタまたは計算器２０４に光源レベルデータが送られ、セレクタまたは計算器２０４は、光源レベルに基づき、トーンスケールマップを計算または選択する。次に、マップを元の画像に適用するために、元の画像と共に、選択されたマップ２０７または計算されたマップは画像プロセッサ２０５に送ることができる。このプロセスで、画像をディスプレイ中にディスプレイの光源光を変調するのに使用される光源光レベル信号と共にディスプレイ２０６へ送られるエンハンスされた画像を発生する。
本発明の一部の実施例では、光源制御ユニットは画質を維持する光源低減を選択する役割を果たす。光源レベルの選択をガイドするのに、適応ステージにおける画質を保存するための能力の知識を使用する。一部の実施例では、画像が明るいか、または画像が高度に飽和したカラー、例えば画素値２５５を有する青色を含むとき、高い光源レベルが必要であることを認識することが重要である。バックライトレベルを決定するために輝度だけを使用すると、低い輝度だが、大きい画素値、例えば飽和した青色または赤色を有する画像を有するアーティファクトの原因となる。また、一部の実施例では、各カラー平面を検査し、すべてのカラー平面の最大値に基づく判断を行うことができる。一部の実施例では、バックライト設定はクリップされるピクセルの特定の単一パーセンテージに基づいてなされる。図２２に示された別の実施例では、バックライト変調アルゴリズムは２つのパーセンテージ、すなわちクリップされた（Clipped）ピクセル２３６のパーセンテージと歪んだ（Distorted）ピクセル２３５のパーセンテージを使用できる。これら異なる値によるバックライト設定の選択により、トーンスケール計算器がハードなクリップを課すよりもトーンスケール関数をスムーズにロールオフするための余地が可能となる。ある入力画像を仮定し、各カラー平面に対する画素値のヒストグラムを決定する。２つのパーセンテージＰClipped２３６およびＰDistorted２３５を仮定し、これらパーセンテージ２２４〜２２６に対応する画素値を決定するために、各カラー平面２２１〜２２３のヒストグラムを検査する。これによって、ＣClipped（color）２２８およびＣDistorted（color）２２７が生じる。異なるカラー平面の間の最大のクリップされた画素値２３４および最大の歪んだ画素値２３３を使用し、バックライト設定２２９を決定できる。この設定により、各カラー平面に対し、せいぜい画素値の指定されたパーセンテージをクリップするか、または歪ませることが保証される。
Figure 2010537243
画素値ＣＶClipped２３４において、２５５でトーンスケール関数がクリップするように、ＢＬパーセンテージを補償し、選択するために使用されるトーンスケール（ＴＳ）関数を検討することによって、バックライト（ＢＬ）パーセンテージを決定する。このトーンスケール関数は値ＣＶDistorted（この傾きの値はＢＬの減少量を補償する）より下ではリニアであり、ＣＶClippedより上の画素値に対し、２５５で一定であり、連続した微分値を有する。この微分値を検討すると、より小さい傾きの選択の仕方、従ってＣＶDistortedより低い画素値に対し、画像のディストーションを生じさせないバックライトのパワーの選択の仕方が分かる
図２１に示されるＴＳの微分値のプロットでは、値Ｈは未知である。ＴＳがＣＶClippedを２５５にマッピングするには、ＴＳの微分値以下の領域を２５５にしなければならない。このような制限によって我々は下記のようにＨの値を決定できる。
Figure 2010537243
画素値のブーストおよびディスプレイのガンマ並びにディストーションポイントより下の画素値に対する正確な補償のための基準からＢＬパーセンテージを決定する。ＣＶClippedでクリップし、ＣＶDistortedより下の無ディストーションからスムーズに移行できるようにするＢＬ（バックライト）比は、次の式で示される。
Figure 2010537243
ＢＬの変動の問題を更に解決するために、ＢＬ比に上限を課す。
Figure 2010537243
ＬＣＤとＢＬとの間で同期がないことを補償するために、上記のように誘導される画像依存ＢＬ信号に対して時間的なローパスフィルタリング２３１を適用できる。図２２にはバックライト変調アルゴリズムの一例の図が示されており、他の実施例では異なるパーセンテージおよび値を使用できる。
トーンスケールマッピングは画像のディストーションを最小にしながら、選択されたバックライト設定を補償できる。上記のようにバックライト選択アルゴリズムは対応するトーンスケールマッピング演算の能力に基づいて設計される。選択されたＢＬレベルにより、指定された第１のパーセンタイル（percentile）より下の画素値に対し、ディストーションを生じることなくバックライトレベルを補償し、指定された第２のパーセンタイルより上の画素値をクリップするトーンスケール関数を可能にする。これら２つの指定されたパーセンタイルによりトーンスケール関数が可能となるが、この関数はディストーションのない領域とクリッピング領域とをスムーズに移動する。
［周辺光を検出する実施例］
本発明の一部の実施例は、周辺照明センサを含み、このセンサは画像処理モジュールおよび／または光源制御モジュールに入力を提供する。これらの実施例では、トーンスケール調節、利得マッピングおよび他の変形を含む画像処理を周辺照明特性に関連させることができる。これら実施例は、周辺照明特性に関連する光源またはバックライト調節も含むことができ、一部の実施例では、単一処理ユニット内で光源と画像処理とを組み合わせることができ、別の実施例では、これら機能を別々のユニットで実行できる。
図２３を参照し、本発明の一部の実施例について説明する。これら実施例では、画像処理方法のための入力として周辺照明センサ２７０を使用できる。一部の実施例では、周辺照明センサ２７０からの入力および光源２６８のレベルに基づき、入力画像２６０を処理できる。光源２６８、例えば節電または他の理由から、ＬＣＤディスプレイパネル２６６を照明するためのバックライトのような光源２６８を変調または調節される。これらの実施例では、画像プロセッサ２６２が周辺照明センサ２７０および光源２６８からの入力を受信し、これら入力に基づき、画像プロセッサ２６２は周辺条件および光源２６８の照度レベルに合うように入力画像を変更する。他の実施例のための上記方法のいずれかに従い、または別の方法により、入力画像２６０を変更できる。一実施例では、減少された光源照度および周辺照明変動に関連し、画像ピクセル値を大きくするために、画像に対してトーンスケールマップが適用される。次に、例えばＬＣＤパネルのようなディスプレイパネル２６６に変更された画像２６４は登録される。一部の実施例では、光源照度レベルは周辺光が少ないときに減少され、又、光源照度の低下を補償するのにトーンスケール調節または他のピクセル値操作技術を使用するときに更にこのレベルを減少できる。一部の実施例では、周辺照明が低下したときに光源照度レベルを低下できる。一部の実施例では、周辺照明が上部スレッショルド値および／または下部のスレッショルド値に達したときに、光源照度レベルが増加される。
図２４を参照し、本発明の更に別の実施例について説明する。これら実施例では、画像処理ユニット２８２で入力画像２８０を受信する。この入力画像２８０の処理は、周辺照明センサ２９０からの入力に依存する。この処理は、光源処理ユニット２９４からの出力にも依存する。一部の実施例では、光源処理ユニット２９４は、周辺照明センサ２９０からの入力を受信でき、一部の実施例は、例えばデバイスのパワー消費モード、デバイスのバッテリー状態またはデバイスのその他の状態を表示するパワーモードインジケータのようなデバイスモードインジケータ２９２からの入力も受信できる。光源処理ユニット２９４は、周辺光状態および／またはデバイス状態を使用し、光源照度レベルを決定し、このレベルを使って、例えばＬＣＤディスプレイ２８６のようなディスプレイを照明する光源２８８を制御する。光源処理ユニットは、画像処理ユニット２８２へ光源照度レベルおよび／または他の情報を送ることもできる。
画像処理ユニット２８２は、入力画像２８０を処理するための処理パラメータを決定するために、光源処理ユニット２９４からの光源情報を使用できる。画像処理ユニット２８２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット２８２による処理の結果、調節された画像２８４が得られ、この画像はディスプレイが光源２８８で照明される場合、ディスプレイ２８６へ送られる。
図２５を参照し、本発明の別の実施例について説明する。これら実施例では、画像処理ユニット３０２で入力画像３００を受信する。入力画像３００の処理は、周辺照明センサ３１０からの入力に依存する。この処理は、光源処理ユニット３１４からの出力にも依存する。一部の実施例では、光源処理ユニット３１４は、周辺照明センサ３１０からの入力を受信でき、一部の実施例は、例えばデバイスのパワー消費モード、デバイスのバッテリー状態またはデバイスのその他の状態を表示できるパワーモードインジケータのようなデバイスモードインジケータ３１２からの入力も受信できる。光源処理ユニット３１４は、周辺光状態および／またはデバイス状態を使用し、光源照度レベルを決定し、このレベルを使って、例えばＬＣＤディスプレイ３０６のようなディスプレイを照明する光源３０８を制御する。光源処理ユニットは、画像処理ユニット３０２へ光源照度レベルおよび／または他の情報を送ることもできる。
画像処理ユニット３０２は、入力画像３００を処理するための処理パラメータを決定するために、光源処理ユニット３１４からの光源情報を使用できる。画像処理ユニット３０２は、入力画像３００を処理するための処理パラメータを決定するために周辺照明センサ３１０からの周辺照明情報も使用できる。画像処理ユニット３０２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット３０２による処理の結果、調節された画像３０４が得られ、ディスプレイを光源３０８で照明する場合、この画像をディスプレイ３０６へ送ることができる。
図２６を参照し、本発明の別の実施例について説明する。これら実施例では、画像処理ユニット３２２で入力画像３２０を受信する。入力画像３２０の処理は周辺照明センサ３３０からの入力に依存し、この処理は光源処理ユニット３３４からの出力にも依存する。一部の実施例では、周辺照明センサ３３０からの入力を光源処理ユニット３３４が受信し、別の実施例では、画像処理ユニット３２２から周辺情報を受信できる。光源処理ユニット３３４は中間光源照明レベルを決定するのに、周辺光状態および／またはデバイス状態を使用できる。この中間光源照度レベルは、光源ポストプロセッサ３３２へ送られ、このポストプロセッサは、中間光源照度レベルを特定のデバイスのニーズに合わせることができる量子化器、タイミングプロセッサ、または他のモジュールの形態をとり得る。一部の実施例では、光源のポストプロセッサ３３２は、光源３２８のタイプおよび／または、例えばビデオアプリケーションのような撮像アプリケーションによって課されたタイミング制限のために、光源制御信号を調整することができる。次に、ポスト処理された信号は、例えばＬＣＤディスプレイ３２６のようなディスプレイを照明する光源３２８を制御するのに使用できる。光源処理ユニットは、このポスト処理された光源照度レベルおよび／または他の情報を画像処理ユニット３２２へ送ることもできる。
画像処理ユニット３２２は、入力画像３２０を処理するための処理パラメータを決定するために、光源処理ユニット３３４からの光源情報を使用できる。画像処理ユニット３２２は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は、画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または完全に補償する。画像処理ユニット３２２による処理の結果、調節された画像３２４が得られ、ディスプレイ３２６を光源３２８で照明する場合、この画像はディスプレイ３２６へ送られる。
本発明の一部の実施例は、別個の画像分析モジュール３４２、３６２および画像処理モジュール３４３、３６３を含むことができる。これらユニットを単一のコンポーネントまたは単一のチップ上に組み込むことができるが、これらのユニットの相互作用が良くわかるように、別々のモジュールとして図示し、説明する。
図２７を参照し、本発明のこれら実施例の一部について説明する。これらの実施例では、画像分析モジュール３４２で入力画像３４０を受信する。この画像分析モジュールは、画像の特性を決定するために画像を分析し、決定された画像特性は画像処理モジュール３４３および／または光源処理モジュール３５４へ送られる。入力画像３４０の処理は周辺照明センサ３５０からの入力に依存する。一部の実施例では、光源処理モジュール３５４は周辺照明センサ３５０からの入力を受信する。光源処理ユニット３５４は、デバイスの状態またはモードセンサ３５２からの入力も受信できる。光源処理ユニット３５４は、周辺光状態、画像特性および／またはデバイス状態を使用し、光源照度レベルを決定する。この光源照度レベルは、例えばＬＣＤディスプレイ３４６のようなディスプレイを照明する光源３４８へ送られる。光源処理モジュール３５４は、ポスト処理された光源照度レベルおよび／または他の情報を画像処理モジュール３４３へ送ることもできる。
画像処理モジュール３４３は、光源処理モジュール３５４からの光源情報を使用し、入力画像３４０を処理するための処理パラメータを決定できる。画像処理モジュール３４３は、光源処理モジュール３５４を通して周辺照明センサ３５０から送られた周辺照明情報も使用する。この周辺照明情報は入力画像３４０を処理するための処理パラメータを決定するのに使用できる。画像処理モジュール３４３は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または全体に補償する。画像処理モジュール３４３の処理の結果として、調節された画像３４４が得られ、この画像はディスプレイ３４６が光源３４８によって照明できる場合、ディスプレイ３４６へ送られる。
図２８を参照し、本発明の一部の実施例について説明する。これら実施例では、画像分析モジュール３６２により、入力画像３６０を受信する。この画像分析モジュールは、画像特性を決定するために画像を分析でき、決定された画像特性は画像処理モジュール３６３および／または光源処理モジュール３７４へ送られる。入力画像３６０の処理は、周辺照明センサ３７０からの入力に依存し、この処理は、光源処理モジュール３７４からの出力にも依存する。一部の実施例では、画像処理モジュール３６３から周辺情報を受信することができ、この処理モジュールは周辺センサ３７０からの周辺情報を受信できる。この周辺情報は、画像処理モジュール３６３を通って、光源処理モジュール３７４に送られる、および／またはその途中で画像処理モジュールによって処理される。デバイスモジュール３７２から光源処理モジュール３７４へデバイスの状態またはモードを送ることもできる。
光源処理モジュール３７４は、光源照度レベルを決定するために周辺光の状態および／またはデバイスの状態を使用できる。この光源照度レベルはＬＣＤディスプレイ３６６のようなディスプレイを照明する光源３６８を制御するのに使用できる。光源処理ユニット３７４は、画像処理モジュール３６３へ光源照度レベルおよび／または他の情報を送ることもできる。
画像処理モジュール３６３は、光源処理モジュール３７４からの光源情報を使用し、入力画像３６０を処理するための処理パラメータを決定できる。画像処理モジュール３６３は、入力画像３６０を処理するための処理パラメータを決定するために周辺照明センサ３７０からの周辺照明情報を使用することもできる。画像処理モジュール３６３は、画像ピクセル値を調節するためにトーンスケール調節、利得マップまたは他の方法を適用できる。一部の実施例では、この方法は画像の明るさおよびコントラストを改善し、光源照度の低下を部分的または全体に補償する。画像処理モジュール３６３の処理の結果として、調節された画像３６４が得られ、この画像はディスプレイ３６６が光源３６８によって照明できる場合、ディスプレイ３６６へ送られる。
［ディストーション適応パワー管理実施例］
本発明の一部の実施例は、モバイルデバイスおよびアプリケーションを含むディスプレイデバイスの必要パワー、ディスプレイ特性、周辺環境およびバッテリー制限を解決する方法およびシステムを含む。一部の実施例では、３種のアルゴリズム、例えばディスプレイパワー管理アルゴリズム、バックライト変調アルゴリズムおよび明るさ保存（ＢＰ）アルゴリズムが使用される。パワー管理は移動するバッテリー給電デバイスで優先度が高いが、これらシステムおよび方法は、エネルギー保存、熱管理および他の目的のためにパワー管理から利益が得られる他のデバイスにも適用できる。これら実施例では、これらアルゴリズムは相互に作用するが、個々の機能として次の機能を挙げることができる。
・パワー管理−これらのアルゴリズムはパワー消費量を最適にするよう、ビデオコンテンツ内の変動を利用する一連のフレームにわたってバックライトのパワーを管理する。
・バックライト変調−これらのアルゴリズムはパワー消費量を最適にするよう、個々のフレームのために使用するバックライトパワーレベルを選択し、画像内の統計値を利用する。
・明るさ保存−これらのアルゴリズムは低下したバックライトパワーを補償し、アーティファクトを防止しながら、画像の明るさを保存するために、各画像を処理する。
図２９を参照し、本発明の一部の実施例について説明するが、図２９は、これら実施例のコンポーネントの相互作用を示す簡略化されたブロック図を含む。一部の実施例では、パワー管理アルゴリズム４０６はビデオ、画像シーケンスまたは他のディスプレイタスクにわたり、固定されたバッテリーリソース４０２を管理すると共に、画質および／または他の特性を保持しながら、特定の平均パワー消費量を保証できる。バックライト変調アルゴリズム４１０は、パワー管理アルゴリズム４０６からの命令を受け、パワー管理アルゴリズム４０６によって定められた制限を受けるパワーレベルを選択し、各画像を効率的に表示する。明るさ保存アルゴリズム４１４は、選択されたバックライトレベル４１５および可能なクリッピング値４１３を使用し、低下したバックライトを補償するように画像を処理する。
［ディスプレイのパワー管理］
一部の実施例では、ディスプレイのパワー管理アルゴリズム４０６は、ビデオ、画像シーケンスまたは他のディスプレイタスクにわたるパワー使用量の分配を管理できる。一部の実施例では、ディスプレイパワー管理アルゴリズム４０６は、バッテリーの固定されたエネルギーを割り当て、画質を維持しながら、保証された作動寿命を提供する。一部の実施例では、パワー管理アルゴリズムの１つの目標は、バッテリーの寿命に対する保証されたより低い限度を提供し、モバイルデバイスの利用可能性を高めることにある。
［一定パワー管理］
任意の目標を満たすパワー制御の一形態は、所望する寿命を満たす固定されたパワーを選択することである。図３０には、一定パワー管理に基づくシステムを示すシステムブロック図が示されている。必須ポイントは、パワー管理アルゴリズム４３６が初期バッテリーの充電量４３２および所望する寿命４３４だけに基づき、一定のバックライトパワーを選択することである。各画像４４０において、このバックライトレベル４４４のための補償４４２が実行される。
Figure 2010537243
バックライトレベル４４４、従ってパワー消費量は、画像データ４４０に依存しない。一部の実施例は、パワーモードに基づいて行うべきパワーレベルの選択を可能にする多数の一定パワーモードをサポートできる。一部の実施例では、システムの実現を簡単化するのに、画像に依存したバックライト変調を使用できない。別の実施例では、作動モードまたはユーザの好みに基づき、いくつかの一定パワーレベルを設定し、選択できる。一部の実施例は、単一の低減されたパワーレベル、例えば最大パワーの７５％でこの原理を使用する。
［簡単な適応型パワー管理］
図３１を参照し、本発明の一部の実施例について説明する。これらの実施例は、適応型パワー管理アルゴリズム４５６を含み、バックライト変調４６０に起因するパワー低減量４５５が、パワー管理アルゴリズム４５６へフィードバックされ、所望するシステムの寿命を提供しながら、改善された画質を可能にする。
一部の実施例では、下記の式１８に示されるように、時間に対する静的な最大パワーの計算を更新することにより、パワー管理アルゴリズム内に、画像に従属したバックライト変調による省電力を含ませることができる。適応型パワー管理は、バックライト変調アルゴリズム４６０にパワーの上限（ｍＡ）を与えるために、残りの所望する寿命（時間）に対する残りのバッテリーの充電度（ｍＡ／時間）の比を計算することを含むことができる。一般にバックライト変調４６０は、更にパワーを節約するために、この最大値より下の実際のパワーを選択できる。一部の実施例では、バックライト変調に起因する省電力量は、残りのバッテリーの充電量の変化量値または作動中の選択された平均パワー、従って、パワー管理決定の後の影響を通してフィードバックの形態で反映される。
Figure 2010537243
一部の実施例では、バッテリーのステータス情報を入手できないか、またはこの情報が不正確である場合、ディスプレイが使用するエネルギー、すなわち、平均選択パワーに作動時間を乗じたものを計算するか、またはこの値をバッテリーの初期充電量から減算することによって、残存バッテリー充電量を推定できる。
Figure 2010537243
この後者の技術は、バッテリーと相互作用することなく実行できるという利点を有する。
［パワーディストーション管理］
本発明者は、パワー対ディストーションの調整において、多くの画像は同じパワーでも大きく異なるディストーションを呈することを観察した。アンダー露出の写真のように、コントラストの貧弱なぼんやりした画像を、大パワーを使用する結果生じる黒レベルの上昇によって、小さいパワーでも実際に良好にディスプレイすることができる。パワー制御アルゴリズムは、画像のディストーションを直接パワー設定ではなく、バッテリー容量とトレードオフできる。図２９に示された本発明の一部の実施例では、パワー管理技術はバックライト制御アルゴリズム４１０に与えられる最大パワー４０１の外に、最大ディストーション値のようなディストーションパラメータ４０３も含むことができる。これら実施例では、パワー管理アルゴリズム４０６は、そのときの画像のパワー／ディストーション特性の形態でバックライト変調アルゴリズム４１０からのフィードバックを使用できる。一部の実施例では、そのときのフレームのターゲットパワーおよびパワー−ディストーション特性に基づき、最大画像ディストーションは修正される。これら実施例では、実際に選択されたパワーに対するフィードバックの外に、パワー管理アルゴリズムはディストーションターゲット４０３を選択し、提供でき、バッテリーの充電度４０２へのフィードバックの外に、対応する画像ディストーション４０５に対するフィードバックを受信できる。一部の実施例では、パワー制御アルゴリズム内で別の入力、例えば周辺レベル４０８、ユーザの好みおよび作動モード（例えばビデオ、グラフィックス）を使用できる。
本発明の一部の実施例は、ディスプレイの品質を維持しながら、ビデオシーケンスにわたってパワーを最適に割り当てるよう試みることができる。一部の実施例では、所定のビデオシーケンスの間、使用される全パワーと画像のディストーションとのトレードオフ点を選択するために、２つの基準を使用できる。最大画像ディストーションと平均画像ディストーションとを使用できる。一部の実施例では、これらを最小にできる。一部の実施例では、シーケンス内の各画像に対し、同じディストーションを使用することにより、画像シーケンスにわたって最大ディストーションを最小化できる。これら実施例ではパワー管理アルゴリズム４０６は、このディストーション４０３を選択し、バックライト変調アルゴリズム４１０が、このディストーションターゲット４０３を満たすバックライトレベルを選択できるようにする。一部の実施例では、各画像に対して選択されたパワーが、パワーディストーション曲線の傾きを等しくするようになっているとき、平均ディストーションを最小化できる。この場合、パワー管理アルゴリズム４０６は、適切なバックライトレベルを選択するために、バックライト変調アルゴリズム４１０に依存するパワーディストーション曲線の傾きを選択できる。
パワー管理プロセスにおけるディストーションを検討する際に、省電力を示すために、図３２Ａおよび３２Ｂを使用できる。図３２Ａは、画像シーケンスのうちの連続フレームに対する光源のパワーレベルのプロットであり、この図３２Ａは、フレームと一定ディストーショングラフの平均パワー４８２との間で一定のディストーション４８０を維持するのに必要な光源のパワーレベルを示す。図３２Ｂは、画像シーケンスのうちの同じ連続フレームに対する画像ディストーションのプロットである。図３２Ｂは、一定パワー設定を維持することから生じた一定パワーディストーション４８４、シーケンスにわたって一定ディストーションを維持することから生じた一定ディストーションレベル４８８および一定パワーを維持するときの平均一定パワーディストーション４８６を示す。一定パワーレベルは、一定ディストーションの結果の平均パワーに等しくなるように選択されている。従って、双方の方法は同じ平均パワーを使用する。ディストーションを検討することにより、一定パワー４８４は、画像のディストーションに大きな変動を生じさせることが分かった。双方の方法が同じ平均パワーを使用しているにもかかわらず、一定パワー制御の平均ディストーション４８６は、一定ディストーションアルゴリズムのディストーション４８８の１０倍より大きくなることにも留意されたい。
実際に、パワーとディストーションとのトレードオフを評価するには、パワーディストーション関数の各ポイントで、元の画像とパワーが低減された画像との間のディストーションを計算しなければならないので、ビデオシーケンスにわたる最大ディストーションまたは平均ディストーションを最小にしようとする最適化は、あるアプリケーションでは過度に複雑となることが証明される。各ディストーション評価は、バックライトの低減および対応する画像の明るさの補償を計算し、元の画像と比較することを必要とする。従って、一部の実施例は、ディストーション特性を計算し、または評価するためのより簡単な方法を含むことができる。
一部の実施例では、ある近似を使用できる。第１に、式２０が示すように、画像自身ではなく、画像の画素値のヒストグラムから、平均二乗誤差（ＭＳＥ）のようなポイントごとのディストーション（ディストーション）の計量値を計算できることに注目する。この場合、ヒストグラムは３２０×２４０の解像度で、７６８０のサンプルを有する画像とは異なり、２５６の値しか有しない一次元の信号である。この値は、所望すれば、ヒストグラムをサブサンプリングすることによって更に低減できる。
一部の実施例では、実際の補償アルゴリズムを適用するのではなく、補償段階で、クリッピングにより単に画像をスケーリングすることを仮定することにより、近似を行うことができる。一部の実施例では、ディストーション計量値内に黒レベルの上昇項を含ませることも有益である。一部の実施例では、このような項を使用することは、ゼロバックライトで完全にブラックのフレームに対して、最小ディストーションが生じることを意味する。
Figure 2010537243
一部の実施例では、各画素値に対する所定パワーレベルでのディストーションを計算するために、クリッピングと共にリニアブーストによって生じるディストーションが決定される。次に、このディストーションは画素値の周波数によって重みづけされ、指定されたパワーレベルでの平均画像ディストーションを求めるために合計される。これら実施例では、明るさ補償のための簡単なリニアブーストは、画像ディスプレイのための許容できる画質を与えないが、バックライトの変化によって生じる画質のディストーションの推定値を計算するための簡単なソースとして働く。
図３３に示された一部の実施例では、パワー消費量および画像のディストーションの双方を制御するために、パワー管理アルゴリズム５００はバッテリーの充電度５０６および残存寿命５０８だけでなく、画像のディストーション５１０をも追尾する。一部の実施例では、パワー消費量に対する上限５１２およびディストーションターゲット５１１がバックライト変調アルゴリズム５０２に供給される。次に、このバックライト変調アルゴリズム５０２は、パワーの限度およびディストーションターゲットの双方に適合するバックライトレベル５１２を選択する。
［バックライト変調アルゴリズム（ＢＭＡ）］
バックライト変調アルゴリズム５０２は、各画像に対して使用されるバックライトレベルを選択する役割を果たす。この選択は、表示すべき画像およびパワー管理アルゴリズム５００からの信号に基づいてなされる。パワー管理アルゴリズム５００によって供給される最大パワーに関する限度５１２を考慮することにより、望ましい寿命にわたってバッテリー５０６が管理される。一部の実施例では、バックライト変調アルゴリズム５０２は、そのときの画像の統計値に応じたより低いパワーを選択できる。このことが特定の画像でのパワーを節約する源となり得る。
適当なバックライトレベル４１５を一旦選択すると、バックライト４１６は選択されたレベルに設定され、このレベル４１５は明るさ保存アルゴリズム４１４へ与えられ、必要な補償が決定される。一部の画像およびシーケンスに対し、少量の画像のディストーションを認めることにより、必要なバックライトパワーを大幅に低減できる。従って、一部の実施例は、制御された量の画像ディストーションを認めるアルゴリズムを含む。
図３４は、ディストーションのいくつかの許容度に対するフレーム数の関数としてのサンプルＤＶＤクリップでの省電力量を示すグラフである。ディストーションがゼロのピクセルのパーセンテージは１００％から９７％と９５％へ変化し、ビデオクリップにわたる平均パワーが決定された。この平均パワーはそれぞれ９５％から６０％までの範囲であった。従って、ピクセルのうちの５％におけるディストーションを認めることにより、更に３５％パワーを節約できた。このことは、画像にわずかなディストーションを認めることによりパワーを大幅に節約できることを示している。明るさ保存アルゴリズムがわずかなディストーションを認める一方、主観的品質を保持できれば、大幅な省電力を達成できる。
図３０を参照し、本発明の一部の実施例について説明する。これら実施例は、周辺光センサ４３８からの情報も含むことができ、これら実施例はモバイルアプリケーションのために複雑さを低減できる。これら実施例はパワー管理アルゴリズム４３６が供給する静的なヒストグラムパーセント限度およびダイナミックな最大パワー限度を含む。一部の実施例では、一定パワーターゲットを含むことができるが、別の実施例は、より複雑なアルゴリズムを含む。一部の実施例では、カラーコンポーネントの各々のヒストグラムを計算することにより、画像を分析する。特定のパーセントが生じるヒストグラム内の画素値が各カラー平面に対して計算される。一部の実施例では、画素値のリニアブーストがヒストグラムから選択した画素値のクリッピングを生じさせるように、ターゲットバックライトレベルを選択できる。実際のバックライトレベルは、このターゲットレベルの最小値として選択され、バックライトレベルの限度はパワー管理アルゴリズム４３６によって与えられる。これらの実施例は、保証されたパワー制御を提供し、パワー制御限度に達することができた場合、限られた量の画像のディストーションを許容する。
Figure 2010537243
［画像のディストーションに基づく実施例］
本発明の一部の実施例は、パワー管理アルゴリズムが供給するディストーション限度および最大パワー限度を含む。図３２Ｂおよび３４は、所定のバックライトパワーレベルでのディストーション量が画像のコンテンツに応じて大きく変化することを示している。各画像のパワーディストーション挙動の性質をバックライト選択プロセスで利用できる。一部の実施例では、各カラーコンポーネントに対するヒストグラムを計算することにより、そのときの画像を分析できる。式２０のうちの第２の式を利用してパワー値の範囲でのディストーションを計算することによって、ディストーションを定めるパワーディストーション曲線（例えばＭＳＥ）を算出できる。バックライト変調アルゴリズムは、指定されたディストーション限度以下のディストーションをもつ最小のパワーをターゲットレベルとして選択する。このバックライトレベルは、ターゲットレベルの最小値として選択され、バックライトレベルの限度はパワー管理アルゴリズムによって与えられる。更に、選択されたレベルでの画像ディストーションは、ディストーションのフィードバックをガイドするために、パワー管理アルゴリズムに与えられる。パワーディストーション曲線のサンプリング周波数および画像ヒストグラムを、複雑さを制御するために低減することができる。
［明るさ保存（Brightness Preservation（ＢＰ)）］
一部の実施例では、ＢＰアルゴリズムは低下した照度を補償するために、選択されたバックライトレベルに基づき、画像を明るくする。ＢＰアルゴリズムはディスプレイに生じるディストーションを制御し、画質を維持するＢＰアルゴリズムの能力はバックライト変調アルゴリズムがどれだけ多くのパワーを節約できるかを決定する。一部の実施例は、２５５を超える画像クリッピング値をスケーリングすることにより、バックライトの低下を補償する。これらの実施例では、バックライト変調アルゴリズムはパワーを低減するのに慎重でなければならない。そうしないと、不快なクリッピングアーティファクトが生じ、可能な省電力が制限されることになる。一部の実施例は、固定されたパワー低減量にて最も要求されるフレームでの画質を維持するように設計されている。これらの実施例の一部は、単一バックライトレベル（例えば７５％）を補償する。別の実施例は、バックライト変調と共に働くように一般化できる。
明るさ保存（ＢＰ）アルゴリズムの一部の実施例は、バックライトおよび画像データの関数としてディスプレイから出力される輝度の記述を利用できる。このモデルを使用することによって、ＢＰはバックライトの低下を補償するように、画像に対する変更を決定できる。透過反射型ディスプレイの場合、ＢＰモデルはディスプレイの反射特性の記述を含むように変更できる。ディスプレイから出力される輝度は、バックライト、画像データおよび周辺の関数となる。一部の実施例では、ＢＰアルゴリズムは所定の周辺環境におけるバックライトの低減を補償するように、画像に対する変更を決定できる。
［周辺の影響］
実行が制限されているために、一部の実施例はＢＰパラメータを決定するための複雑度が制限されたアルゴリズムを含むことができる。例えばＬＣＤモジュール上で完全に作動するアルゴリズムを開発すると、アルゴリズムに利用できる処理およびメモリが制限される。この例では、一部のＢＰ実施例のために、異なるバックライトと周辺の組み合わせに対し、別のガンマ曲線を発生することが使用される。一部の実施例では、ガンマ曲線の数および分解能に対する制限が必要である。
［パワー／ディストーション曲線］
本発明の一部の実施例は、ビデオシーケンスフレームを含むが、これだけに限定されない、画像に対するパワー／ディストーション特性を把み推定し、計算し、または決定する。図３５は、４つの画像例に対するパワー／ディストーション特性を示すグラフである。図３５では、画像Ｃに対する曲線５２０は、光源パワーバンド全体に対して負の傾きを維持し、画像Ａ、ＢおよびＤに対する曲線５２２、５２４および５２６は、これらが最低値に達するまで負の傾きで低下し、次に正の傾きで上昇する。画像Ａ、ＢおよびＤに対し、光源のパワーを増加すると、実際に曲線が正の傾き５２８を有するような曲線の特定範囲において、実際にディストーションが増加する。このことは、ＬＣＤの漏れまたはビューアーが見る表示された画像が画素値と一貫して異なるようにさせるその他のディスプレイの不規則性（これらだけに限定されない）のような表示特性に起因し得る。
本発明の一部の実施例は、特定の画像または画像タイプに対する適切な光源のパワーレベルを決定するために、これらの特性を使用する。画像に対する適切な光源のパワーレベルを決定するのに使用されるディストーションパラメータの計算時に、表示特性（例えばＬＣＤの漏れ）を考慮することができる。
［方法の例］
図３６を参照し、本発明の一部の実施例について説明する。これら実施例では、パワーバジェット（消費予定量）が確立される（５３０）。このことは、簡単なパワー管理、適応型パワー管理およびこれまで説明した他の方法、またはその他の方法によって実行できる。一般には、パワーバジェットを確立することは、例えばバッテリーの充電量の一部のような固定されたパワーリソースを使用しながら、ビデオファイルの表示のようなディスプレイタスクの完了を可能にするバックライトまたは光源のパワーレベルを推定することを含む。一部の実施例では、パワーバジェットを確立することは、固定された量のパワーでディスプレイタスクを完了できる平均パワーレベルを決定することを含む。
これらの実施例では、初期ディストーション基準５３２も確立できる。パワーバジェットを満たす低減された光源のパワーレベルを推定し、そのパワーレベルにおける画像ディストーションを測定することにより、この初期ディストーション基準を決定できる。このディストーションは補正されていない画像上、上記のような明るさ保存（ＢＰ）技術を使って変更された画像上、または簡略化されたＢＰプロセスで変更された画像上で測定できる。
初期ディストーション基準を一旦確立すると、ディストーション基準を満たすように、表示された画像のディストーション特性を生じさせる光源のパワーレベルを使って、ディスプレイタスクの第１部分を表示できる（５３４）。一部の実施例では、各フレームがディストーション条件を満たすように、ビデオシーケンスの各フレームに対し、光源パワーレベルを選択できる。一部の実施例では、一定のディストーションまたはディストーション範囲を維持し、ディストーションを指定されたレベルよりも低く維持するか、またはディストーション基準を満たすように光源の値を選択できる。
ディスプレイタスクの第１部分を表示するのに使用されたパワーが、パワーバジェット管理パラメータを満たしたかどうかを判断するために、パワー消費量が評価される（５３６）。各画像、ビデオフレーム、または他のディスプレイタスク要素に対して、固定された量を使用することによってパワーを割り当てることができる。一連のディスプレイタスク要素にわたって消費される平均パワーが条件を満たす。各ディスプレイタスク要素に対して消費されるパワーが変化するようにパワーを割り当てることもできる。その他のパワー割り当て方式も使用できる。
ディスプレイタスクの第１部分に対するパワー消費量がパワーバジェット条件を満たしていなかったと、パワー消費量の評価５３６が示しているとき、ディストーション基準を変更できる（５３８）。パワー／ディストーション曲線を推定し、仮定し、計算し、または他の方法で決定することができる一部の実施例では、パワーバジェット条件を満たすのに必要な多少のディストーションを認めるように、ディストーション基準を変更できる。パワー／ディストーション曲線は、画像固有であるが、シーケンスのうちの第１フレームに対する、シーケンス内の画像の一例に対する、またはディスプレイタスクを示す合成された画像に対するパワー／ディストーション曲線を使用することができる。
一部の実施例では、ディスプレイタスクの第１部分に対して、予定されたパワー量以上のパワーが使用され、パワー／ディストーション曲線の傾きが正であるとき、より少ないディストーションしか認めないように、ディストーション基準を変更できる。一部の実施例では、ディスプレイタスクの第１部分に対して、予定されたパワー量以上のパワーが使用され、パワー／ディストーション曲線の傾きが負であるとき、より多くのディストーションを認めるように、ディストーション基準を変更できる。一部の実施例では、ディスプレイタスクの第１部分に対し、予定されたパワー量より少ないパワーが使用され、パワー／ディストーション曲線の傾きが負または正であるとき、より少ないディストーションしか認めないように、ディストーション基準を変更できる。
図３７を参照し、本発明の一部の実施例について説明する。これら実施例は一般に、パワーが限られたバッテリー給電デバイスを含む。これらの実施例では、バッテリーの充電度を推定または測定する（５４０）。ディスプレイタスクのパワー条件も推定または計算される（５４２）。初期の光源パワーレベルも推定または決定される（５４４）。上記一定パワー管理に関して説明したようなバッテリーの充電度およびディスプレイタスクのパワー条件を使って、または他の方法によって、この初期光源パワーレベルを決定できる。
初期光源パワーレベルに対応するディストーション基準を決定することもできる（５４６）。この基準は、初期光源パワーレベルにおいて、画像の一例に対して生じたディストーションの値とすることができる。一部の実施例では、ディストーションの値は補正されていない画像、実際のＢＰアルゴリズムまたは推定されたＢＰアルゴリズムによって変更された画像、または別の画像の例に基づくことができる。
一旦ディストーション基準が決定されると（５４６）、ディスプレイタスクの第１部分が評価され、評価基準を満たすよう、ディスプレイタスクの第１部分のディストーションを生じさせる光源パワーレベルが選択される（５４８）。次に、選択された光源パワーレベルを使ってディスプレイタスクの第１部分が表示され（５５０）、この部分の表示中に消費されるパワーが推定または測定される（５５２）。このパワー消費量がパワー条件を満たさないとき、パワー消費量がパワー条件を満たすようにディストーション基準を変更できる（５５４）。
図３８Ａおよび３８Ｂを参照して本発明の一部の実施例について説明する。これらの実施例では、パワーバジェットを確立し（５６０）、ディストーション基準も確立する（５６２）。これら双方は一般に、例えばビデオシーケンスのような特別のディスプレイタスクに関して設定される。次に、画像、例えばフレームまたはビデオシーケンスのフレームの組を選択する（５６４）。次に、低減された光出力レベルから生じるディストーションがディストーション基準を満たすように、低減された光源のパワーレベルを選択された画像に対して推定する（５６６）。このディストーション計算は、推定された、または実際の明るさ保存（ＢＰ）方法の選択された画像に対する画像値への適用を含むことができる。
次に、低減された光源レベルを補償するために、ＢＰ方法５６８により、選択された画像を変更できる。次に、ＢＰで変更された画像の実際のディストーションが測定され（５７０）、この実際のディストーションがディストーション基準５７２を満たしているかどうかの判断がされる。実際のディストーションがディストーション基準を満たしていない場合、推定プロセス５７４を調節し、低減された光源パワーレベルを推定し直す（５６６）。実際のディストーションがディストーション基準を満たしていない場合、選択された画像表示される（５７６）。実際のディストーションがディストーション基準を満たしている場合、選択された画像が表示される（５７６）。次に、画像表示中のパワー消費量が測定され（５７８）、これとパワーバジェット制限５８０とが比較される。パワー消費量がパワーバジェットの制限を満たしている場合、ディスプレイタスクが終了（５８２）していなければ（この終了のポイントでプロセスは終了する）、次の画像、例えばビデオフレームの連続する組が選択される（５８４）。次の画像が選択されると（５８４）、プロセスはポイントＢまでリターンし、ここで低減された光源のパワーレベルがその画像に対して推定され（５６６）、プロセスは第１画像に関して続行される。
選択された画像に対するパワー消費量がパワーバジェット制限を満たしていない場合（５８０）、上記他の実施例に対して説明したように、ディストーション基準を変更し（５８６）、次の画像を選択する（５８４）。
［改良された黒レベルの実施例］
本発明の一部の実施例は、ディスプレイの黒レベルの改良のためのシステムおよび方法を含む。一部の実施例は、指定されたバックライトレベルを使用し、明るさを維持すると共に黒レベルを改良する。輝度マッチングトーンスケールを発生する。別の実施例は、構成中に黒レベルの改良を含むバックライト変調アルゴリズムを含む。上記実施例の拡張または変更として一部の実施例を実施できる。
［改良された輝度のマッチング（ターゲットにマッチする理想的なディスプレイ）］
上で示した輝度マッチング式、式７を使って、バックライトの低下を補償する画素値のリニアスケーリングを決定する。このことはパワーが７５％まで低下した場合に実験で効果的であることが証明されている。画像に依存するバックライト変調を有する一部の実施例では、ダークフレームに対し、例えば１０％より低くバックライトを大幅に低減できる。これらの実施例では、式７で誘導される画素値のリニアスケーリングは、ダーク値を過剰にブーストできるので適さない。これら方法を使用する実施例は、パワーが低減されたディスプレイでもフルパワー出力を再生できるが、出力を最適にするようには働かないことがある。フルパワーのディスプレイは、高くなった黒レベルを有するので、ダークシーンに対するこのような出力を再生することは、より低いバックライトパワーの設定で可能であった、低減された黒レベルの効果を生じない。これらの実施例では、マッチング基準を変更し、式７で与えられる結果に対する置換式を誘導できる。一部の実施例では、理想的ディスプレイの出力をマッチングする。この理想的ディスプレイは、ゼロ黒レベルと、フルパワーのディスプレイと同じ最大出力、ホワイトレベル＝Ｗとを含むことができる。画素値ｃｖに対するこの理想的（ideal）ディスプレイの一例のレスポンスは、最大出力、すなわちＷ、ディスプレイガンマおよび最大画素値により、式２２で表記できる。
Figure 2010537243
一部の実施例では、ＬＣＤの一例は最大出力Ｗおよびガンマを有することができるが、ゼロでない黒レベルＢを有することはできない。このようなＬＣＤの例は、フルパワー出力に対して上で説明したＧＯＤモデルを使ってモデル化できる。この出力は１００％未満のパワーに対する相対的バックライトパワーでスケールする。式２３に示されるように、フルパワーディスプレイの最大出力Ｗおよび黒レベルＢにより、ゲイン（Gain）およびオフセット（Offset）モデルパラメータを決定できる。
Figure 2010537243
相対的パワーにより、フルパワーの結果をスケーリングすることにより、相対的バックライトパワーＰを有する低減されたパワーのディスプレイの出力を決定できる。
Figure 2010537243
これら実施例では、可能であれば、理想的ディスプレイの出力と実際のディスプレイの出力とが等しくなるように、画素値を変更できる。（理想的出力が、実際の（actual）ディスプレイでの所定のパワーで可能である出力未満であるか、またはそれより大である場合）。
Figure 2010537243
これら実施例はゼロでない黒レベルを有する実際のディスプレイで理想的出力にマッチングさせるための画素値の関係のいくつかの性質を示す。
Figure 2010537243
これら結果は、ディスプレイがゼロの黒レベルを有すると仮定する、すなわちコントラスト比が無限である、別の実施例に対する我々の前の開発例と一致する。
［バックライト変調アルゴリズム］
これらの実施例では、輝度マッチング理論は、所定のパワーでのディスプレイとゼロ黒レベルを有する基準ディスプレイとをマッチングさせることにより、バックライト変調アルゴリズムを決定するために黒レベルの検討事項を含む。これら実施例は、理想的ディスプレイで表示されるときのディストーションと比較し、パワーＰで表示されるときに画像が有するはずのディストーションを決定するために、輝度マッチング理論を使用する。バックライト変調アルゴリズムは、指定された最大ディストーションよりも低いディストーションを結果として生じさせるような最小パワーを選択するために、最大パワー限度と最大ディストーション限度とを使用する。
［パワーディストーション］
一部の実施例において、フルパワーで黒レベルおよび最大の明るさで指定されるターゲットディスプレイおよび表示する画像を与えることによって、所定のパワーＰで画像を表示する際のディストーションを計算できる。限られたパワーディスプレイの明るさよりも大きい値をクリップし、更に理想的な基準の黒レベルよりも低い値をクリップすることにより、理想的基準ディスプレイ上でディスプレイの限られたパワーおよびゼロでない黒レベルをエミュレートできる。画像のディストーションは、元の画像の画素値とクリップされた画素値の間のＭＳＥとして定義できるが、一部の実施例では他のディストーションの尺度も使用できる。
クリッピング補正画像は、式２７で導かれたパワーに依存する画素値クリッピング限度により定義され、式２８で与えられる。
Figure 2010537243
ピクセルドメインにおける理想的なディスプレイ上の画像とパワーＰを有するディスプレイ上の画像との間のディストーションは次のようになる。
Figure 2010537243
このことは、画像の画素値のヒストグラムを使用して計算できることが理解できよう。
Figure 2010537243
式２９に示されるようなこのディストーションの尺度の等価式を誘導するのに、トーンスケール関数の定義を使用できる。
Figure 2010537243
この尺度は、大きい画素値でのクリッピング誤差と、小さい画素値でのクリッピング誤差の重みづけされた合計とを含む。式２９を使って、画像に対するパワー／ディストーション曲線を描くことができる。図３９は、種々の画像例に対するパワー／ディストーション曲線を示すグラフである。図３９は、白色のベタ画像に対するパワー／ディストーションプロット５９０、人のグループの暗い低コントラスト画像に対するパワー／ディストーションプロット５９４、黒のベタ画像に対するパワー／ディストーションプロット５９２、および波に乗っているサーファーの明るい画像に対するパワー／ディストーションプロット５９８を示す。
図３９から分かるように、画像が異なれば、パワーとディストーションの関係が全く異なることがある。極端な場合、ブラックのフレーム５９２は、パワーが１０％まで増加するにつれ、ディストーションが急激に多くなり、バックライトパワーゼロでディストーションが最小である。逆に、ホワイトのフレーム５９０は、１００％のパワーでゼロまで急激に低下するまで、ディストーションが一定割合で低下し、バックライトゼロで最大のディストーションを有する。明るいサーフィンの画像５９８は、パワーが増加するにつれ、ディストーションが定常的に減少することを示している。他の画像５９４は、中間パワーレベルにおいて最小ディストーションを示す。
本発明の一部の実施例は、次のように作動するバックライト変調アルゴリズムを含むことができる。
１．画像のヒストグラムを計算する。
２．画像に対するパワーディストーション関数を計算する。
３．ディストーション限界より下のディストーションを有する最小パワーを計算する。
４．供給されるパワーの上限および下限に基づき、選択されるパワーを（オプションで）制限する。
５．バックライトに対して計算されたパワーを選択する。
図４０および４１を参照して説明した一部の実施例では、ＢＬ変調アルゴリズムによって選択されたバックライトの値６０４をＢＰアルゴリズムに提供し、トーンスケール設計のために使用する。平均パワー６０２とディストーション６０６が示されている。この実験で使用した平均パワー６００での上部境界も示されている。この上部境界よりも平均パワーの使用量はかなり少ないので、バックライト変調アルゴリズムはこの平均限度に等しい固定されたパワーを単に使用するよりも、少ないパワーを使用している。
［スムーズなトーンスケール関数の開発］
本発明の一部の実施例では、スムーズなトーンスケール関数は２つの設計概念を有する。第１は、トーンスケールに対するパラメータは与えられるものとし、これらパラメータを満たすスムーズなトーンスケール関数を決定することである。第２は、デザインパラメータを選択するためのアルゴリズムを含むことである。
［パラメータを仮定するトーンスケールデザイン］
式２６によって定められる画素値の関係は、有効レンジ［ｃｖＭｉｎ、ｃｖＭａｘ］にクリップされるときに、傾きの不連続性を有する。本発明の一部の実施例では、式７におけるブライトエンドで行ったロールオフと同じように、ダークエンドでのスムーズなロールオフを定めることができる。これら実施例は、最大忠実ポイント（ＭＦＰ）および最小忠実ポイント（ＬＦＰ）（これらの間でトーンスケールは式２６に一致する）の双方を仮定する。一部の実施例では、トーンスケールを連続となるように構築し、ＭＦＰとＬＦＰの双方で連続的な１次微分値を有することができる。一部の実施例では、トーンスケールは端部のポイント（ＩｍａｇｅＭｉｎＣＶ、ｃｖＭｉｎ）および（ＩｍａｇｅＭａｘＣＶ、ｃｍＭａｘ）を通過する。一部の実施例では、上端部および下端部の双方において、アフィンブースト（affine boost）から変形できる。更に、固定された限度を使用するのではなく、端部のポイントを決定するために画像の画素値の限度を使用することができる。この構築において、固定された限度を使用することが可能であるが、パワーが大きく低減される場合、問題が生じることがある。一部の実施例では、これら条件は次のように誘導される部分的に２次式のトーンスケールをユニークに定める。
Figure 2010537243
ＬＦＰおよびＭＦＰにおけるトーンスケールの連続性および１次微分から次のことが得られる。
Figure 2010537243
端部ポイントは次のように定数ＡおよびＤを決定する。
Figure 2010537243
一部の実施例では、これら関係式はＭＦＰ／ＬＦＰおよびＩｍａｇｅＭａｘＣＶ／ＩｍａｇｅＭｉｎＣＶが利用できると仮定して、トーンスケールのスムーズな拡張を定める。これは、これらパラメータを選択する必要性をオープンのままとする。別の実施例は、これらデザインパラメータを選択するための方法およびシステムを含む。
［パラメータの選択（ＭＦＰ／ＬＦＰ）］
上記及び関連する出願において説明した本発明の一部の実施例は、２５５に等しいＩｍａｇｅＭａｘＣＶを有するＭＦＰしか提示しておらず、これらの実施例で導入されたＩｍａｇｅＭａｘＣＶの代わりに、ｃｖＭａｘを使用した。これまで説明した実施例は、理想的なディスプレイではなくフルパワーのディスプレイに基づくマッチングに起因して、下端部でリニアトーンスケールを有していた。一部の実施例では、スムーズなトーンスケールが上限、すなわちＩｍａｇｅＭａｘＣＶで傾きゼロを有するようにＭＦＰを選択した。数学的にはＭＦＰを次のように定義した。
Figure 2010537243
この基準に対する解は、ＭＦＰを上部クリッピングポイントおよび最大画素値に関連付ける。
Figure 2010537243
最も控えめなパワー低減、例えばＰ＝８０％の場合、この従来のＭＦＰ選択基準はうまく機能する。パワー低減率が大きい場合、これらの実施例は前に説明した実施例の結果よりも改善できる。
一部の実施例では、大きいパワー低減率に対して適したＭＦＰ選択基準を選択する。式３５内で値ＩｍａｇｅＭａｘＣＶを直接使用すると問題が生じることがある。パワーが小さい画像では、小さい最大画素値を予測する。画像内の最大画素値、すなわちＩｍａｇｅＭａｘＣＶが小さいとわかっている場合、式３５は、ＭＦＰに対して妥当な値を与えるが、ＩｍａｇｅＭａｘＣＶが未知であるか、または大きい場合には妥当でない、例えば負のＭＦＰの値が生じることがある。一部の実施例では、最大画素値が未知であるか、または過度に大きい場合、ＩｍａｇｅＭａｘＣＶに対して別の値を選択し、上記結果に適用される。
一部の実施例では、ＭＦＰが取り得るクリッピングされた値ｘhighの最小の分数値を定めるパラメータとしてｋを定義できる。次に、式３５によって計算されるＭＦＰが、次のように妥当であるかどうかを判断するために、ｋを使用できる。
Figure 2010537243
計算されたＭＦＰが妥当でなければ、ＭＦＰを最小の妥当な値に定め、ＩｍａｇｅＭａｘＣＶの必要な値を決定できる（式３７）。次に、下記のようにトーンスケールを決定するために、ＭＦＰおよびＩｍａｇｅＭａｘＣＶの値を使用できる。
Figure 2010537243
一部の実施例のＭＦＰ選択のための手段は次のように要約される。
１．ＩｍａｇｅＭａｘＣＶ（または利用できない場合はＣＶＭａｘ）を使って、候補ＭＦＰを計算する。
２．式３６を使って妥当性をテストする。
３．妥当でない場合、クリッピング画素値の分数値ｋに基づき、ＭＦＰを定義する。
４．式３７を使って新しいＩｍａｇｅＭａｘＣＶを計算する。
５．ＭＦＰ、ＩｍａｇｅＭａｘＣＶおよびパワーを使ってスムーズなトーンスケール関数を計算する。
ＩｍａｇｅＭｉｎＣＶおよびｘｌｏｗを使って、ダークエンドでのＬＦＰを選択するために、同様な技術を使用できる。
図４２から４５には、スムーズトーンスケールデザインアルゴリズムおよび自動パラメータ選択に基づくトーンスケールデザインの例が示されている。図４２および４３は、１１％のバックライトパワーレベルを選択した場合の、トーンスケールデザインの一例を示す。ＭＦＰ６１０とＬＦＰ６１２との間のトーンスケールデザインのリニア部分に対応するライン６１６が示されている。トーンスケールデザイン６１４はＭＦＰ６１０より上で及びＬＦＰ６１２より下でライン６１６から離間するようにカーブしているが、ＬＦＰ６１２とＭＦＰ６１０との間でライン６１６に一致している。図４３は図４２のトーンスケールデザインのダーク領域のズームイン画像である。ＬＦＰ６１２は明瞭に見ることができ、トーンスケールデザインのより下の曲線６２０は、リニア延長部６２２から離間するようにカーブしていることが分かる。
図４４および４５は、バックライトレベルを最大パワーの８９％に選択したトーンスケールデザインの一例を示す。図４４は、トーンスケールデザインのリニア部分に一致するライン６３４を示す。このライン６３４は、理想的なディスプレイの応答を示す。トーンスケールデザイン６３６はＭＦＰ６３０よりも上で、及び、ＬＦＰ６３２の下方において、理想的なリニアディスプレイ表示６３４から離間するようにカーブしている（６３６、６３８）。図４５は、トーンスケールデザイン６４２が理想的なディスプレイ延長部６４４から離間するようにカーブしている、ＬＦＰ６４０よりも下のトーンスケールデザイン６３６のダークエンドのズームイン画像である。
本発明の一部の実施例では、理想的なディスプレイ画像と実際のディスプレイ画像との間で誤差計算を変えることによりディストーション計算を修正できる。一部の実施例では、ＭＳＥを歪んだピクセルの合計と置換できる。一部の実施例では、上部領域のクリッピング誤りと下方領域のクリッピング誤差とで異なる重みづけをすることができる。
本発明の一部の実施例は、周辺光センサを含むことができる。周辺光センサを利用できる場合、周辺照明およびスクリーン反射の効果を含むディストーション計量値を修正するのにセンサを使用できる。このセンサを使って、ディストーション計量値、従ってバックライト変調アルゴリズムを変更できる。また、ブラックエンドにおける適切な感知し得るクリッピングポイントを示すことによっても、トーンスケールデザインを制御するために周辺情報を使用できる。
［カラー保存の実施例］
本発明の一部の実施例は、画像の明るさをエンハンスしながら、カラー特性を保存するためのシステムおよび方法を含む。一部の実施例では、明るさ保存は、フルパワーのベタ全域を低減されたパワーディスプレイのより狭いベタ全域にマッピングすることを含む。一部の実施例では、カラー保存のために異なる方法が使用される。一部の実施例は、輝度ブーストの低減に替えて、カラーの色相／飽和度を保存する。
上記一部の非カラー保存実施例は、各カラーチャンネルで輝度マッチを与えるように操作してマッチングする各カラーチャンネルを別個に処理する。これらの非カラー保存実施例では、高度に飽和したカラーまたはハイライトカラーを処理の進行に従い不飽和にしおよび／または色相の変化にすることができる。カラー保存実施例は、これらのカラーのアーティファクトに取り組んでいるが、一部のケースでは、輝度ブーストを若干低減することがある。
一部のカラー保存実施例は、ローパスチャンネルとハイパスチャンネルを再結合するとき、クリッピング動作も利用できる。各カラーチャンネルを別々にクリッピングすると、再びその結果としてカラーが変化することがある。カラー保存クリッピングを使用する実施例では、色相／飽和を維持するためにクリッピング操作を使用できる。場合によっては、このカラー保存クリッピングは、他の非カラー保存実施例の輝度よりも低くクリッピングされた値の輝度を低減し得る。
図４６を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像６５０を読み出し、指定されたピクセルロケーションに対する異なるカラーチャンネルに対応する画素値を決定する（６５２）。一部の実施例では、入力画像は画像ファイル内に記録された別個のカラーチャンネル情報を有するフォーマットとすることができる。一実施例では、赤、緑および青（ＲＧＢ）カラーチャンネルによってこの画像を記録できる。別の実施例ではシアン、マゼンタ、イエローおよびブラック（ＣＭＹＫ）フォーマット、Ｌａｖ、ＹＵＶまたは別のフォーマットで記録できる。入力画像は別個の輝度チャンネルを含むフォーマット、例えばＬａｖまたは別個の輝度チャンネルを有しないフォーマット、例えばＲＧＢとすることができる。画像ファイルがすぐに利用できる別個のカラーチャンネルデータを有しないとき、カラーチャンネルデータを有するフォーマットに画像ファイルを変換できる。
各カラーチャンネルに対する画素値が一旦決定されると（６５２）、次にカラーチャンネル画素値の間の最大画素値が決定される（６５４）。この最大画素値を使って、画素値調節モデルのパラメータを決定できる（６５６）。この画素値調節モデルは多数の方法で発生できる。一部の実施例では、トーンスケール調節曲線、利得関数または他の調節モデルを使用できる。一実施例では、低減されたバックライトパワー設定に応答し、画像の明るさをエンハンスするトーンスケール調節曲線を使用できる。一部の実施例では、画素値調節モデルは他の実施例に関連してこれまでに説明したトーンスケール調節曲線を含むことができる。次に、カラーチャンネル画素値の各々に、画素値調節曲線を使用できる（６５８）。これらの実施例では、画素値調節曲線を適用する結果、各カラーチャンネルに同じ利得の値が適用される。一旦調節を実行すると、画像内の各ピクセル６６０に対してプロセスが続く。
図４７を参照し、本発明の一部の実施例について説明する。これら実施例では、入力画像を読み出し（６７０）、最初のピクセルロケーションを選択する（６７２）。選択されたピクセルロケーションに対して最初のカラーチャンネルのための画素値を決定し（６７４）、選択されたピクセルロケーションに対して第２のカラーチャンネルのための画素値を決定する（６７６）。次に、これら画素値を分析し、画素値選択基準に基づき、これら画素値のうちの１つを選択する（６７８）。一部の実施例では、最大画素値を選択してもよい。次に、１つのモデルを生成する（６８０）画素値調節モデル生成器のための入力として、この選択された画素値を使用できる。次に、各チャンネルに対して実質的に等しい利得を適用しながら、第１および第２のカラーチャンネル画素値の双方にこのモデルを適用できる（６８２）。一部の実施例では、調節モデルから得られた利得値をすべてのカラーチャンネルに適用できる。画像全体を処理するまで、プロセスは次のピクセルに進められる（６８４）。
図４８を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像をシステムに入力し（６９０）、次に、第１の周波数レンジ画像を作成するために画像をフィルタリングする（６９２）。一部の実施例では、この画像はローパス画像または他の周波数レンジの画像とすることができる。第２の周波数レンジの画像を生成することもできる（６９４）。一部の実施例では、入力画像から第１の周波数レンジの画像を差し引くことにより、第２の周波数レンジの画像を生成してもよい。第１の周波数レンジ画像がローパス（ＬＰ）画像である一部の実施例では、第２の周波数レンジ画像をハイパス（ＨＰ）画像とすることができる。次に、ピクセルロケーションに対し、第１の周波数レンジの画像内の第１のカラーチャンネルに対する画素値を決定し（６９６）、このピクセルロケーションにおいて、第１の周波数レンジの画像内の第２のカラーチャンネルに対する画素値を決定することもできる（６９８）。次に、画素値またはそれらの特性を比較することにより、カラーチャンネル画素値のうちの１つを選択する（７００）。一部の実施例では、最大画素値を選択することができる。次に、選択された画素値を入力として使用し、調節モデルを生成するか、またはこれにアクセスできる（７０２）。この結果、利得乗数が得られるが、この乗数を第１のカラーチャンネル画素値および第２のカラーチャンネル画素値に適用（７０４）できる。
図４９を参照し、本発明の一部の実施例について説明する。これらの実施例では、調節すべきピクセルを識別できるピクセルセレクタ７１２に入力画像７１０が入力される。第１のカラーチャンネル画素値リーダー７１４は、第１カラーチャンネルのための選択されたピクセルに対する画素値を読み出す。第２のカラーチャンネル画素値リーダー７１６もまた、選択されたピクセルロケーションにおける第２のカラーチャンネルに対する画素値を読み出す。これら画素値は、分析モジュール７１８で分析され、このモジュールにて、画素値特性に基づき、画素値のうちの１つを選択する。一部の実施例では最大画素値が選択される。次に、利得値または利得モデルを決定できるモデル生成器７２０またはモデルセレクタにこの選択された画素値は入力される。次に、分析モデル７１８により画素値が選択されたかどうかにかかわらず、双方のカラーチャンネル画素値に対して、この利得値または利得モデルを適用できる（７２２）。一部の実施例では、モデルを適用する際に入力画像にアクセスできる（７２８）。次に、画像内の他のピクセルを繰り返すために、ピクセルセレクタ７１２まで制御を戻す（７２６）。
図５０を参照し、本発明の一部の実施例について説明する。これら実施例では、第１の周波数レンジ画像７３２および第２の周波数レンジ画像７３４を得るために、フィルタ７３０に入力画像７１０を入力する。別個のカラーチャンネル画素値７３６にアクセスできるように、第１周波数レンジ画像を変換することができる。一部の実施例では入力画像は、変換することなくカラーチャンネル画素値にアクセスできる。第１の周波数レンジの第１カラーチャンネル（７３８）に対する画素値を決定し、第１周波数レンジの第２カラーチャンネル（７４０）に対する画素値を決定することができる。
画素値の特性を決定できる画素値特性分析器７４２にこれら画素値は入力される。次に、画素値分析に基づき、画素値のうちの１つを画素値セレクタ７４４が選択できる。この選択は、画素値選択に基づき、利得値または利得マップを発生もしくは選択する調節モデルセレクタまたは生成器７４６へ入力される。次に、調節するピクセルにおいて、双方のカラーチャンネルのための第１周波数レンジ画素値に利得値またはマップを適用（７４８）できる。このプロセスは、第１周波数レンジの画像全体の調節が完了（７５０）するまで、繰り返される。第２周波数レンジの画像７３４にも、利得マップを適用できる（７５３）。一部の実施例では、第２周波数レンジの画像内のすべてのピクセルに一定利得係数を適用できる。一部の実施例では、第１周波数レンジの画像を入力画像７１０のハイパスバージョンとすることができ、調節された第１周波数レンジの画像７５０と調節された第２周波数レンジの画像７５３とを加算するか、または他の方法で組み合わせ（７５４）、調節された出力画像７５６を作成できる。
図５１を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像を多数の周波数レンジの画像に分割するために、フィルタ７６０または他のプロセッサに入力画像７１０を送ることができる。一部の実施例では、フィルタ７６０はローパス（ＬＰ）フィルタと、このＬＰフィルタで作成されたＬＰ画像を入力画像から減算し、ハイパス（ＨＰ）画像を作成するためのプロセッサとを含むことができる。フィルタモジュール７６０は２つ以上の周波数固有の画像７６２、７６４を出力でき、各画像は特定の周波数レンジを有する。第１周波数レンジの画像７６２は、第１カラーチャンネル７６６および第２カラーチャンネル７６８のためのカラーチャンネルデータを有することができる。画素値特性評価器７７０および／または画素値セレクタ７７２に、これらカラーチャンネルのための画素値が送られる。このプロセスの結果、カラーチャンネル画素値のうちの１つが選択される。一部の実施例では、特定のピクセルロケーションに対するカラーチャンネルから最大画素値が選択される。この選択された画素値は調節モード生成器７７４に送ることができ、この発生器は画素値調節モデルを発生する。一部の実施例では、この調節モデルは利得マップまたは利得値を含むことができる。次に、分析中のピクセルのためにカラーチャンネル画素値の各々にこの調節モデルが適用される（７７６）。画像内の各ピクセルに対し、このプロセスを繰り返すことにより、その結果、第１周波数レンジの調節された画像７７８が得られる。
画素値をブーストするように、別個の利得関数７６５によってオプションとして第２周波数レンジの画像７６４を調節してもよい。一部の実施例では、調節を適用しなくてもよい。別の実施例では、第２周波数レンジの画像内のすべての画素値に一定の利得係数を適用できる。この第２周波数レンジの画像を、調節された第１周波数レンジの画像７７８と組み合わせ、調節された、組み合わされた画像７８１を形成できる。
一部の実施例では、第１周波数レンジの画像に対する調節モデルの適用および／または第２周波数レンジの画像に対する利得関数の適用により、一部の画像の画素値がディスプレイデバイスのレンジまたは画像フォーマットを超えることがある。これらのケースでは、画素値を必要なレンジにクリッピングしなければならない。一部の実施例では、カラー保存クリッピングプロセス７８２を使用できる。これらの実施例では、カラー値の間の関係を保存するように、指定された範囲からはずれる画素値はクリッピングされる。一部の実施例では、分析中のピクセルに対する最大カラーチャンネル画素値で除された最大の必要なレンジの値より大きくない乗数を求める。この結果、１未満であって、オーバーサイズの画素値を必要なレンジの最大値に低減する利得係数が得られる。この利得、すなわちクリッピング値をカラーチャンネル画素値のすべてに適用し、すべての画素値を最大値または指定された範囲以下の値に低減しながら、ピクセルのカラーを保存することができる。このようなクリッピングプロセスを適用する結果、指定された範囲内にすべての画素値を有すると共に画素値のカラーの関係を維持する調節された出力画像７８４が得られる。
図５２を参照し、本発明の一部の実施例について説明する。これら実施例では、画素値を指定された範囲に制限しながら、カラーの関係を維持するために、カラー保存クリッピングを使用する。一部の実施例では、図５１を参照して説明した組み合わされた調節画像７８１に、組み合わされた調節画像７９２が対応する。別の実施例では、組み合わされた調節画像７９２は、指定された範囲にクリッピングする必要がある画素値を有する他の任意の画像とすることができる。
これら実施例では、特定されたピクセルロケーションに対し、第１カラーチャンネルの画素値を決定し（７９４）、第２カラーチャンネルの画素値を決定する（７９６）。これらのカラーチャンネルの画素値７９４、７９６を、画素値の特性評価器７９８で評価し、選択すべき（selective）画素値の特性を決定すると共に、カラーチャンネルの画素値を選択する。一部の実施例では、選択すべき標数（characteristic）が最大値となり、より大きい画素値が調節生成器８００のための入力として選択される。この選択された画素値は、クリッピング調節を行う８００ための入力として使用される。一部の実施例では、この調節は最大画素値を指定された範囲内の値に低減する。次に、すべてのカラーチャンネル画素値にこのクリッピング調節が適用される。一実施例では、第１カラーチャンネルおよび第２カラーチャンネルの画素値を同じ率だけ低減し（８０２）、よって２つの画素値の比を保持する。画像内のすべてのピクセルにこのプロセスを適用する結果、指定された範囲内に入る画素値を有する出力画像８０４が得られる。
図５３を参照し、本発明の一部の実施例について説明する。これら実施例では、最大カラーコンポーネントに基づき、３つのすべてのカラーコンポーネントに適用される利得を操作することにより、ＲＧＢドメイン内で方法を実施する。これら実施例では、周波数分割８１２により入力画像８１０を処理する。一実施例では、画像にローパス（ＬＰ）フィルタ８１４を使用し、ＬＰ画像８２０を作成し、次に、このＬＰ画像を入力画像８１０から差し引き、ハイパス（ＨＰ）画像８２６を作成する。一部の実施例では、ＬＰフィルタに空間５×５矩形フィルタを使用できる。ＬＰ画像８２０内の各ピクセルにおいて、最大値または３つのカラーチャンネル（Ｒ、Ｇ＆Ｂ）を選択し（８１６）、これをＬＰ利得マップ８１８に入力する。この利得マップは、その特定のピクセルのためのすべてのカラーチャンネル値に適用すべき適切な利得関数を選択する。一部の実施例では、ｍａｘ（ｒ，ｇ，ｂ）によってインデックスが付けられた１−Ｄ ＬＵＴにより、値［ｒ．ｇ．ｂ］を有するピクセルにおける利得が決定される。ｘで割った値ｘにおける、上記フォトメトリックマッチングトーンスケール曲線の値から値ｘにおける利得を得ることができる。
ＨＰ画像８２６に、利得関数８３４を適用することもできる。一部の実施例では、利得関数８３４を一定の利得ファクターとすることができる。この変更されたＨＰ画像と調節されたＬＰ画像とを組み合わせ（８３０）、出力画像８３２を形成する。一部の実施例では、出力画像８３２は適用範囲外にある画素値を含むことがある。これら実施例では、図５１および５２を参照してこれまで説明したようにクリッピングプロセスを適用できる。
上記本発明の一部の実施例では、最大カラーコンポーネントが、あるパラメータ、例えば最大忠実ポイントよりも低くなっているピクセルに対し、利得がバックライトパワーレベルの低減を補償するように、ＬＰ画像のための画素値調節モデルを設計できる。ローパス利得は、処理されたローパス信号が全域内に留まるように、カラー全域の境界にてスムーズに１にロールオフする。
一部の実施例では、ＨＰ信号の処理を、ローパス信号の処理の選択と独立させることができる。低減されたバックライトパワーを補償する実施例では、パワーを低減する際にコントラストを保存する一定の利得を用いてＨＰ信号を処理できる。フルバックライトパワーおよび低減されたバックライトパワー、およびディスプレイガンマによる関するＨＰ信号利得の式は式５で与えられる。これら実施例では、利得は一般に小さく、すなわち利得は８０％のパワー低減およびガンマ２．２に対して１．１であるので、ＨＰのコントラストのブーストはノイズに対して強い。
一部の実施例では、ＬＰ信号とＨＰ信号の処理の結果を合計し、クリッピングする。最大のコンポーネントが２５５にスケーリングされるように３つの成分すべてを等しくスケーリングすることによって、各ピクセルにおけるＲＧＢサンプルのベクトル全体にクリッピングを適用することができる。実施し、ＬＰ値に加算されるブーストされたＨＰ値が２５５を超えるときにクリッピングが発生し、このクリッピングは特にコントラストだけが大きい明るい信号に関連する。一般に、ＬＵＴ構造によりＬＰ信号が上限を超えないように保証される。ＨＰ信号は合計値においてクリッピングを生じさせるが、ＨＰ信号の負の値は決してクリッピングを生じさせないので、クリッピングが生じても、ある程度のコントラストを維持できる。
本発明の実施例は、画像の明るさを最適にするように試みることができるか、または明るさを増加しながら、カラー保存またはマッチングを最適にすることを試みることができる。一般に輝度またはブライトネス（明るさ）を最大にする際に、カラーシフトのトレードオフがある。カラーシフトを防止するとき、一般に明るさに問題が生じる。本発明の一部の実施例は、下記の式３８に示されるように、各カラーコンポーネントに適用される重み付けされた利得を形成することにより、カラーシフトと明るさとの間のトレードオフをバランスさせることを試みる。
Figure 2010537243
この重み付けされた利得はアルファ０における最大輝度マッチから、アルファ１における最小カラーアーティファクトまで変化する。すべての画素値がＭＦＰパラメータを下回るとき、３つのすべての利得が等しくなることに留意されたい。
［ディスプレイ−モデルに基づく、ディストーションに関連した実施例］
バックライトのスケーリングなる用語は、ＬＣＤバックライトを低減すると共に、同時にＬＣＤへ送られるデータを変更し、バックライトの低減を補償するための技術を意味する。この技術の主点は、バックライトレベルを選択することである。本発明の実施例は、省電力またはダイナミックコントラストを改善するために、バックライト変調を使用してＬＣＤ内のバックライト照明レベルを選択する。この問題を解決するのに使用される方法は、画像に依存した技術と、画像に依存しない技術とに分けることができる。画像に依存した技術は、その後のバックライト補償画像処理によって課されるクリッピング量を制限するという目的を有する。
本発明の一部の実施例は、バックライトレベルを選択するための最適化を使用できる。１つの画像を仮定した場合、最適化ルーチンは、仮想の基準ディスプレイに生じる画像と実際のディスプレイに生じる画像との間のディストーションを最小にするように、バックライトレベルを選択することである。
本発明の実施例の要素を説明するのに次の用語を使用できる。
１．基準ディスプレイモデル：基準ディスプレイモデルは、ＬＣＤのようなディスプレイからの所望する出力を意味する。一部の実施例では、基準ディスプレイモデルはゼロ黒レベルを有する理想的ディスプレイ、またはダイナミックレンジが限られていないディスプレイにのっとるものとする。
２．実際のディスプレイモデル：実際のディスプレイの出力のモデルである。一部の実施例では、異なるバックライトレベルに対して、実際のディスプレイの出力がモデル化され、実際のディスプレイではゼロでない黒レベルを有するものとしてモデル化される。一部の実施例では、バックライト選択アルゴリズムはこのパラメータを通してディスプレイのコントラスト比に依存する。
３．明るさ保存（ＢＰ）：低減されたバックライトレベルを補償するための元画像への処理である。実際のディスプレイ上に現れるであろう画像は、明るくされた画像上の所定のバックライトレベルにおけるディスプレイモデルの出力であり、次のようなケースがある。
・明るさ保存なし：ＬＣＤパネルに、処理されていない画像データを送る。この場合、バックライト選択アルゴリズムはバックライトのみ変えるため、明るさは保存されない。
・リニアブースト明るさ補償。バックライトの低減を補償するために、簡単なアフィン変換を使用して画像を処理する。この簡単な明るさ保存アルゴリズムは、バックライト補償に実際に使用される場合、画質を犠牲にするが、このアルゴリズムはバックライト値を選択するための有効なツールである。
・トーンスケールマッピング：リニアセグメントと非リニアセグメントを含むトーンスケールマップを使用して画像を処理する。クリッピングを制限し、コントラストをエンハンスするためにこれらセグメントが使用される。
４．ディストーション計量値。実際のディスプレイに現れるであろう画像を決定するのに、ディスプレイモデルと明るさ保存アルゴリズムとを使用できる。この出力と基準ディスプレイ上の画像との間のディストーションが次に計算される。一部の実施例では、画素値だけに基づいてディストーションを計算できる。このディストーションは誤差計量値の選択に依存し、一部の実施例では、平均二乗誤差を使用できる。
５．最適化基準。異なる制限を受けることにより、ディストーションを最小にできる。例えば一部の実施例では、次の基準を使用できる。
・ビデオシーケンスの各フレームでのディストーションを最小にする。
・平均バックライト制限を受けた最大ディストーションを最小にする。
・平均バックライト制限を受けた平均ディストーションを最小にする。
［ディスプレイモデル］：
本発明の一部の実施例では、基準ディスプレイモデルと実際のディスプレイモデルの双方に対し、ＧｏＧモデルを使用できる。このモデルは、バックライトレベルに基づいてスケーリングするように変更できる。一部の実施例では、ゼロ黒レベルおよび最大出力Ｗを有する理想ディスプレイとして基準ディスプレイをモデル化できる。実際のディスプレイはフルバックライトで同じ最大出力Ｗを有し、フルバックライトで黒レベルＢを有するものとして実際のディスプレイをモデル化できる。このときコントラスト比はＷ／Ｂである。黒レベルがゼロのとき、このコントラスト比は無限大である。下記の式で最大画素値を示すＣＶMaxを使ってこれらモデルを数学的に表示できる。
Figure 2010537243
フルバックライトレベル、すなわちＰ＝１で最大の出力Ｗおよび最小の出力Ｂを有する実際のＬＣＤに対し、相対的バックライトレベルＰでスケーリングするように出力をモデル化する。コントラスト比ＣＲ＝Ｗ／Ｂは、バックライトレベルに無関係である。
Figure 2010537243
［明るさの保存］
この実施例では、単純なブーストおよびクリッピングに基づくＢＰプロセスを使用し、可能な場合にバックライトの低減を補償するためにブーストを選択する。次の誘導式は所定のバックライトで基準ディスプレイと実際のディスプレイとの間で輝度を一致させるトーンスケール変更を示す。実際のディスプレイの最大出力と黒レベルの双方は、バックライトにより徐々に増大する。実際のディスプレイの出力は、スケーリングされた出力の最大値より低く、スケーリングされた黒レベルよりも上となるように限定されていることに注目する。このことは、ゼロおよびＣＶMaxに輝度マッチングトーンスケール出力をクリッピングすることに対応する。
Figure 2010537243
ｃｖ’に対するクリッピングの制限は、輝度マッチングのレンジに対するクリッピング限度を意味する。
Figure 2010537243
最小値および最大値が相対的バックライトパワーＰおよび実際のディスプレイのコントラスト比ＣＲ＝Ｗ／Ｂに依存する場合に、トーンスケールは最小値より上であって、かつ最大値より下の画素値に対して出力を一致させる。
［ディストーション計算］
図５４を参照し、本発明の実施例で作成され、使用される種々の変更された画像について説明する。これら変更された画像例の各々を作成する際の入力として、元の画像Ｉ８４０を使用できる。一部の実施例では、理想的な出力ＹIdeal８４４を生じるように、元の入力画像８４０を処理する（８４２）。この理想的画像プロセッサ、すなわち基準ディスプレイ８４２は、理想的ディスプレイが０黒レベルを有すると見なすことができる。この出力、すなわちＹIdeal８４４は、基準（理想）ディスプレイで見た元の画像８４０を示す。一部の実施例では、バックライトレベルが与えられたと仮定して、実際のＬＣＤ上で、このバックライトレベルを有する画像を示すことによって生じるディストーションを計算する。
一部の実施例では、画像Ｉ８４０から画像Ｉ’８５０を発生するのに、明るさ保存８４６を使用できる。次に、この画像Ｉ’８５０は、選択されたバックライトレベルと共に実際のＬＣＤプロセッサ８５４へ送られる。この結果生じる出力を、Ｙａｃｔｕａｌと表示する。
基準ディスプレイモデルは入力画像Ｉ＊８５２を使用することにより、実際のディスプレイの出力をエミュレートできる。
実際のＬＣＤ８５４の出力は、画像Ｉ’８５０を得るために元の画像Ｉ８４０を輝度マッチングトーンスケール関数８４６を通過した結果得られる。これはバックライトレベルに依存する基準出力を正確には再現できない。しかしながら、基準ディスプレイ８４２上で実際のディスプレイ出力をエミュレートできる。画像Ｉ＊８５２は、実際のディスプレイ出力をエミュレートするために、基準ディスプレイ８４２へ送られそれによってＹｅｍｕｌａｔｅｄ８６０を作成する画像データを示す。式４３を参照してこれまで説明し、他の場所でも説明したクリッピングポイントによって決定される範囲に対して、画像Ｉ８４０をクリッピングすることにより、画像Ｉ＊８５２を発生する。一部の実施例では、Ｉ＊を数学的に次のように表示できる。
Figure 2010537243
一部の実施例では、画像Ｉを有する基準ディスプレイの出力と、バックライトレベルＰおよび画像Ｉ’を有する実際のディスプレイの出力との差として、ディストーションを定めることができる。画像Ｉ＊は基準ディスプレイ上での実際のディスプレイの出力をエミュレートするので、基準ディスプレイと実際のディスプレイとの間のディストーションは、基準ディスプレイにおける画像ＩとＩ＊との間のディストーションに等しくなる。
Figure 2010537243
双方の画像は基準ディスプレイ上にあるので、ディスプレイの出力を必要としない画像データだけの間でディストーションを測定できる。
Figure 2010537243
［画像ディストーションの測定］
上記分析は、基準ディスプレイでの画像Ｉ８４０の表示と実際のディスプレイでの表示との間のディストーションが、基準ディスプレイでの画像Ｉ８４０の表示とＩ＊８５２の表示との間のディストーションに等しいことを示している。一部の実施例では、画像の間のディストーションを定めるのに、点別のディストーション計量値を使用できる。点別のディストーションｄを仮定すると、画像ＩとＩ＊との間の差を合計することにより、画像間のディストーションを計算できる。画像Ｉ＊は、輝度マッチをエミュレートするので、誤差は上限と下限におけるクリッピングから成る。一部の実施例では、バックライトパワーに対する画像のディストーションを定めるのに、正規化された画像ヒストグラムｈ（ｘ）を使用できる。
Figure 2010537243
［バックライトとディストーションの関係の曲線］
基準ディスプレイ、実際のディスプレイ、ディストーションの定義および画像を仮定して、バックライトレベルのある範囲でディストーションを計算できる。このディストーションデータを組み合わせると、バックライトとディストーションとの関係を示す曲線が描かれる。暗い小部屋から外を撮った暗いサンプル画像およびゼロ黒レベルを有する理想的ディスプレイモデル、コントラスト比が１０００：１の実際のＬＣＤモデル、および平均二乗誤差ＭＳＥ誤差計量値を使ってバックライトとディストーションの関係を示す曲線を表示できる。図５５は、この画像例に対する画像の画素値のヒストグラムのグラフである。
一部の実施例では、ヒストグラムを使用し、ある範囲のバックライト値に対するディストーションを計算することにより、ディストーション曲線を算出できる。図５６は、図５５のヒストグラムに対応するディストーション曲線の一例のグラフである。この画像例では、低バックライト値において明るさ保存は低減されたバックライトを効果的に補償できないので、その結果、ディストーションが劇的に増加する（８８０）。高いバックライトレベルでは、限られたコントラスト比によって黒レベルは理想的ディスプレイと比較して上昇する（８８２）。最小のディストーション範囲が存在し、一部の実施例では、最小ディストーションアルゴリズムにより、この最小のディストーション８８４を与える最低のバックライトの値が選択される。
［最適化アルゴリズム］
一部の実施例では、図５６に示されているようなディストーション曲線を用いて、バックライト値を選択できる。一部の実施例では、各フレームに対する最小ディストーションパワーが選択される。一部の実施例では、最低ディストーション値がただ１つだけでないとき、この最小ディストーションを与える最小パワー８８４を選択できる。図５７には、簡単なＤＶＤのクリップに、この最適化基準を適用した結果が示されており、この図５７は、ビデオフレームの数に対する選択されたバックライトのパワーを作図したものである。この場合、選択された平均バックライト８９０は、ほぼ５０％である。
［画像依存性］
本発明の一部の実施例の画像の依存性を説明するために、コンテンツが変化するテスト画像例を選択し、ある範囲のバックライト値に対して、これら画像におけるディストーションを計算した。図３９は、これらの画像例に対するバックライト対ディストーション曲線である。図３９は、全黒画像である画像Ａ５９２、全白画像である画像Ｂ５９０、人のグループの暗い写真である画像Ｃ５９４および波の上のサーファーの明るい画像である画像Ｄ５９８のグラフを含む。
曲線の形状は画像のコンテンツに大きく依存することに留意されたい。このことは、バックライトレベルが明るさがなくなることに起因するディストーションと黒レベルが高くなることに起因するディストーションをバランスさせることを予想させるものである。全黒画像５９２は、低いバックライトで最小ディストーションを有し、全白画像５９０はフルバックライトで最小ディストーションを有し、暗い画像５９４は、高い黒レベルと明るさの低減との間の効率的なバランスとして、一定のコントラスト比を使用する中間バックライトレベルで最小ディストーションを有する。
［コントラスト比］
実際のディスプレイの定義にディスプレイのコントラスト比を入れることができる。図５８は、実際のディスプレイの異なるコントラスト比に対する最小ＭＳＥディストーションバックライトを示す。１：１のコントラスト比の９００において、最小ディストーションバックライトは、画像平均信号レベル（ＡＳＬ）に依存する。これとは逆に無限大のコントラスト比（ゼロ黒レベル）では、最小ディストーションバックライトは画像の最大値９０２に依存する。
本発明の一部の実施例では、基準ディスプレイモデルは理想的なゼロ黒レベルを有するディスプレイモデルを含むことができる。一部の実施例では、基準ディスプレイモデルは、明るさモデルによって選択された基準ディスプレイを含むことができ、一部の実施例では、基準ディスプレイモデルは周辺光センサを含むことができる。
本発明の一部の実施例では、実際のディスプレイモデルは有限黒レベルを有する透過型ＧｏＧモデルを含む。一部の実施例では、実際のディスプレイモデルは出力が周辺光およびディスプレイの反射部分の双方に依存するようにモデル化される透過反射型ディスプレイに対するモデルを含む。
本発明の一部の実施例では、バックライト選択プロセスにおける明るさ保存（ＢＰ）は、クリッピングを伴うリニアブーストを含む。別の実施例では、バックライト選択プロセスはスムーズなロールオフを有するトーンスケール演算子および／または２チャンネルＢＰアルゴリズムを含む。
本発明の一部の実施例では、ディストーション値は点ごとに計算された画素値の平均二乗誤差（ＭＳＥ）を含む。一部の実施例では、ディストーション値は絶対値の差の合計、クリッピングされたピクセルの数および／またはヒストグラムに基づくパーセント値を含む点ごとの誤差値を含む。
本発明の一部の実施例では、最適化基準は、各フレーム内のディストーションを最小にするバックライトレベルの選択を含む。一部の実施例では、最適化基準は、最大ディストーションを最小にするか、または平均ディストーションを最小にする平均パワー制限値を含む。
［ＬＣＤのダイナミックコントラストの実施例］
液晶ディスプレイ（ＬＣＤ）は、一般にコントラスト比が限られているという問題がある。例えばバックライトの漏れまたは他の問題により、ディスプレイの黒レベルが高くなることがある。これによって黒領域が黒ではなくグレーに見えることがある。バックライトの変調は、バックライトレベルおよびバックライトの光漏れを減らし、よって黒レベルを低減することにより、この問題を緩和する。しかしながら、この技術は補償を行うことなく用いた場合、ディスプレイの明るさを下げるという望ましくない効果を生じさせる。画像の補償を使って、バックライトを暗くすることに起因して失われたディスプレイの明るさを回復することができる。補償は、一般にフルパワーディスプレイの明るさの回復に限定されている。
上記本発明の一部の実施例は、省電力に焦点を合わせたバックライトの変調を含む。これら実施例では、目標は、より低いバックライトレベルでフルパワー出力を再現することである。このことは、バックライトを暗くすると同時に、画像を明るくすることによって達成できる。黒レベルまたはダイナミックコントラストの改善は、これら実施例における好ましい副次的効果である。これら実施例では、目標は、画質を改善することにある。一部の実施例の結果、次のような画質の改善が得られる。
１．バックライトの低減に起因し、黒レベルが下がること。
２．バックライトを低減することによって生じる漏れが少なくなることに起因し、暗い色の飽和が改善されること。
３．バックライトの低減よりも強力な補償を使用する場合、明るさが改善されること。
４．ダイナミックコントラスト、すなわち明るいフレーム内の最大値割暗いフレーム内の最小値,が改善されること。
５．暗いフレーム内のコントラストが改善されること。
本発明の一部の実施例は、２つの必須技術、すなわちバックライトの選択および画像の補償により、これら利点の１つ以上を達成する。１つの難関は、バックライトおよび補償された画像の双方の明るさが変化するときの、ビデオ内のフリッカーアーティファクトを回避することである。本発明の一部の実施例は、フリッカーの生じる可能性を少なくするために、ターゲットトーン曲線を使用する。一部の実施例では、このターゲットトーン曲線は、（バックライトが固定された）パネルのコントラスト比を超えるコントラスト比を有する。ターゲットトーン曲線は２つの目的に役立つ。第１に、バックライトを選択する際にターゲット曲線を使用できる。第２に、画像の補償を決定するのにターゲット曲線を使用できる。ターゲット曲線は上記画質の特徴に影響を与える。フルバックライトの明るさにおけるピークディスプレイ値から最低バックライトの明るさにおける最小ディスプレイ値まで、ターゲット曲線は延びる。したがって、このターゲット曲線は、フルバックライトの明るさで達成される代表的なディスプレイ値の範囲よりも下に延びる。
一部の実施例では、バックライトの輝度または明るさレベルの選択は、元々のパネルコントラスト比に対応するターゲット曲線のインターバルの選択に対応する。バックライトが変化するにつれ、このインターバルは移動する。フルバックライトにおいて、パネルではターゲット曲線の暗い領域を表示できない。低いバックライトでは、パネルにターゲット曲線の明るい領域を表示できない。一部の実施例では、バックライトを決定するためにパネルトーン曲線、ターゲットトーン曲線およびディスプレイする画像が与えられる。選択されたバックライトを有するパネルのコントラストの範囲がターゲットトーン曲線の画像値の範囲の最もよく近似するよう、バックライトレベルを選択できる。
一部の実施例では、ディスプレイの出力ができるだけターゲット曲線上に来るように、画像を変更または補償する。バックライトが過度に高い場合、ターゲット曲線の暗い領域を達成することはできない。同様に、バックライトが低い場合、ターゲット曲線の明るい領域を達成することはできない。一部の実施例では、補償に対して固定されたターゲットを使用することにより、フリッカーを最小にできる。これら実施例では、バックライトの明るさと画像の補償の双方が変化するが、ディスプレイの出力は固定されているターゲットトーン曲線に近似する。
一部の実施例では、ターゲットトーン曲線は上記画像の改善点のうちの１つ以上を要約したものである。このターゲットトーン曲線により、バックライト選択と画像補償の双方を制御できる。画像を最適に表示するためにバックライトの明るさ選択が実行される。一部の実施例では、指定されたターゲットトーン曲線およびパネルトーン曲線といっしょに、上記ディストーションに基づくバックライト選択アルゴリズムが適用される。
一部の実施例では、式４９で示されるように、トーン曲線に対してGain-Offset-Gamma Flare（ＧＯＧＦ）モデルが使用される。一部の実施例では、ガンマに対して２．２,
オフセットに対し０を使用でき、２つのパラメータ、GainとFlareは無視できる。これら２つのパラメータにより、パネルトーン曲線とターゲットトーン曲線の双方を指定できる。一部の実施例では、Gainは最大の明るさを決定し、コントラスト比は加算Flareを決定する。
Figure 2010537243
ここで、ＣＲはディスプレイのコントラスト比であり、Ｍは最大パネル出力であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。
ダイナミックコントラストの改善を達成するために、ターゲットトーン曲線はパネルトーン曲線と異なる。最も簡単なアプリケーションでは、ターゲットのコントラスト比、すなわちＣＲは、パネルのコントラスト比よりも大きい。次の式４９に、パネルトーン曲線の一例を示す。
Figure 2010537243
ここで、ＣＲはディスプレイのコントラスト比であり、Ｍは最大パネル出力であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。
次の式５０にターゲットトーン曲線の一例を示す。
Figure 2010537243
ここで、ＣＲはターゲットのコントラスト比であり、Ｍは最大ターゲット出力（例えばフルバックライトの明るさにおける最大パネル出力）であり、ｃは画像の画素値であり、Ｔはトーン曲線値であり、γはガンマの値である。
図６０を参照し、トーン曲線の特徴について説明する。図５９は、水平軸に画素値を示し、垂直軸に相対的輝度を示した対数−対数グラフである。ここには３つのトーン曲線、すなわちパネルトーン曲線１０００と、ターゲットトーン曲線１００１と、指数法則曲線１００２とが示されている。パネルトーン曲線１０００はパネルの黒１００３から最大パネル値１００５まで延び、ターゲットトーン曲線はターゲットの黒１００４から最大ターゲット／パネル値１００５まで延びる。ターゲットの黒１００４は、より低いバックライトの明るさで利益が得られるので、パネルの黒１００３より下になっている。しかしながら、バックライトは所定のフレームに対し１つの明るさレベルしか有することができないので、ターゲットトーン曲線のフルレンジを利用できず、従って、より低いターゲットの黒１００４を得るためにバックライトの明るさを低減するときには、最大ターゲット／パネル値１００５を得ることはできない。本発明の実施例は、ディスプレイされる画像および所望する性能目標に対して最も適したターゲットトーン曲線の範囲を選択する。
異なる優先度を得るために種々のターゲットトーン曲線を発生できる。例えば、省電力が主目的である場合、ターゲット曲線に対するＭおよびＣＲの値をパネルトーン曲線内の対応する値に等しくなるように設定できる。この省電力実施例では、ターゲットトーン曲線はネイティブなパネルトーン曲線に等しい。電力を節約するためにバックライト変調を使用するが、低いバックライト設定では得られない明るい範囲を除けば、ディスプレイされる画像がフルパワーのディスプレイでの画像と実質的に同じとなる。
図６０には、省電力トーン曲線の一例が示されている。これら実施例では、パネルトーン曲線とターゲットトーン曲線とは同一である（１０１０）。バックライトの明るさを低減し、より低いターゲット曲線１０１１を得ることができるが、この可能性はこれら実施例では使用されない。その代わりに、パネルトーン曲線１０１０にマッチングさせるために画素値の補償により画像の明るさを高められる。省電力のためのバックライトの低減１０１３に起因するパネルの限界点においてこのことが可能でないときは、クッリピングアーティファクトを回避するために補償を丸めることができる（１０１２）。この丸めは、他の実施例に関連してこれまで説明した方法に従って達成できる。一部の実施例では、クリッピングは許容されるか、または画像におけるダイナミックレンジが限られていることに起因し、クリッピングは発生しない。これら実施例では、丸め１０１２が必要でない場合があり、ターゲットトーン曲線は単にレンジの頂部１０１４でパネルトーン曲線に近隣する。
別の実施例において、より低い黒レベルが主な目標であるとき、ターゲット曲線に対するＭの値をパネルトーン曲線内の対応する値に等しく設定されるが、ターゲット曲線のＣＲの値はパネルトーン曲線内の対応する値の４倍に等しく設定される。これら実施例では、黒レベルを下げるようにターゲットトーン曲線を選択する。ディスプレイの明るさはフルパワーディスプレイに対して変更されない。ターゲットトーン曲線はパネルと同じ最大値Ｍを有するが、コントラスト比がより高くなる。上記の例では、コントラスト比がネイティブなパネルのコントラスト比の４倍である。これとは異なり、ターゲットトーン曲線は、そのレンジの頂部で丸め曲線を含む。多分、バックライトを４：１の割合で変調できる。
図６１を参照し、黒レベルの低減を優先的にする一部の実施例について説明する。これら実施例では、例えば式４９を使って上記のようにパネルトーン曲線１０２０を計算する。低減されたバックライトの明るさレベルおよびより高いコントラスト比に対しても、ターゲットトーン曲線１０２１を計算する。このレンジの頂部では、ターゲットトーン曲線１０２４はパネルトーン曲線に沿って延びる。これとは異なり、ターゲットトーン曲線は低減されたバックライトレベルに対するディスプレイ限界１０２２の近くで、クリッピングを低減する丸め曲線１０２３を利用できる。
別の実施例では、より明るい画像が主な目的であるとき、ターゲット曲線のためのＭの値をパネルトーン曲線内の対応する値の１．２倍に等しく設定されるが、ターゲットトーン曲線のＣＲの値をパネルトーン曲線内の対応する値に等しく設定される。同じコントラスト比を維持して明るさを高めるように、ターゲットトーン曲線を選択する。（黒レベルは上昇することに留意されたい。）ターゲットの最大値Ｍはパネルの最大値よりも大きい。この明るさ設定を達成するために画像を明るくするように、画像補償を使用する。
図６２を参照し、画像の明るさを優先する一部の実施例について説明する。これら実施例では、レンジの底部１０３０の近くでは、パネルトーン曲線とターゲットトーン曲線とはほぼ同様である。しかしながら、これら領域よりも上では、パネルトーン曲線１０３２は最大ディスプレイ出力１０３３まで、標準経路を取る。しかしながらターゲットトーン曲線は、この領域内でより明るい画素値を与える、高くなった経路１０３１を取る。レンジの頂部に向って、ターゲット曲線１０３１は丸め曲線１０３５を構成し、この丸め曲線１０３５は、バックライトレベルが低減されることに起因して、ディスプレイがターゲット曲線に追従することができなくなるポイント１０３３までターゲット曲線を丸める。
別の実施例において、黒レベルがより低く、中間レンジがより明るいエンハンスされた画像が主な目標であるとき、ターゲット曲線のためのＭの値はパネルトーン曲線内の対応する値の１．２倍に等しく設定され、ターゲット曲線のためのＣＲの値はパネルトーン曲線内の対応する値の４倍に等しく設定される。明るさを高め、黒レベルを下げるよう、ターゲット曲線を選択する。このターゲット最大値はパネルの最大値Ｍよりも大きく、コントラスト比もパネルのコントラスト比より大きい。このターゲットトーン曲線はバックライト選択および画像補償の双方に影響する。ターゲットの低減された黒レベルを達成するために暗いフレーム内でバックライトを低減する。高められた明るさを得るためにフルバックライトでも画像補償が使用される。
図６３を参照し、画像の明るさおよび低い黒レベルを優先する一部の実施例について説明する。これら実施例では、例えば式４９を使って上記のようにパネルトーン曲線１０４０を計算する。ターゲットトーン曲線１０４１も計算されるが、このターゲットトーン曲線１０４１は、低減されたバックライトレベルを考慮し、より低い黒１０４５で開始される。ターゲットトーン曲線１０４１は、トーンスケールの中間レンジおよび上部レンジで画素値を明るくするために高くなった経路に従うこともできる。バックライトレベルが低減されたディスプレイは、最大ターゲット値１０４２にも、または最大パネル値１０４３にも達することができないので、丸め曲線１０４４が使用される。この丸め曲線１０４４は、バックライト低減パネルの最大値１０４６でターゲットトーン曲線１０４１を終端させることができる。丸め曲線の特性を決定するのに、上記他の実施例に関連して説明した種々の方法を使用できる。
図６４を参照し、本発明の一部の実施例について説明する。これらの実施例では、複数のターゲットトーン曲線を計算し、画像特性、性能目標またはその他の基準に基づき、計算された曲線の組から選択を行うことができる。これらの実施例では、高い黒レベル１１２０を有するフルバックライトの明るさの状況に対し、パネルトーン曲線１１２７を生成できる。ターゲットトーン曲線１１２８および１１２９も生成できる。これらターゲットトーン曲線１１２８および１１２９は、黒レベルの移行領域１１２２を備え、その領域において曲線は黒レベルポイント、１１２１に移行する。これら曲線は、ターゲットトーン曲線のいずれかからの入力ポイントが同じ出力ポイントにマッピングされる共通領域も含む。一部の実施例では、これらターゲットトーン曲線は明るさ丸め曲線１１２６も備え、曲線は、他の実施例に対してこれまで説明したような最大明るさレベル１１２５まで丸められる。画像特性に基づき、ターゲットトーン曲線のこの組から、１つの曲線を選択できる。例えば、限定するわけではないが、より低い黒レベルから多くの極めて暗いピクセルを有する画像は、利益を得ることができ、この画像に対し、暗いバックライトおよびより低い黒レベルを有する曲線１１２８を選択できる。多くの明るいピクセル値を有する画像は、より高い最大の明るさ１１２４を有する曲線１１２７の選択に影響を及ぼす。ビデオシーケンスの各フレームは異なるターゲットトーン曲線の選択に影響を及ぼす。管理されない場合、異なるトーン曲線を使用することは、シーケンスにおいてフリッカーおよび望ましくないアーティファクトの原因となる。しかしながら、これらの実施例のすべてのターゲットトーン曲線が共用する共通領域１１２３は、時間的な効果を安定化するよう働き、フリッカーおよび同様なアーティファクトを低減する。
図６５を参照し、本発明の一部の実施例について説明する。これらの実施例では、ターゲットトーン曲線１１０５のようなターゲットトーン曲線の一組を生成する。これらターゲットトーン曲線は異なる黒レベルの移行領域１１０２を含み、これら移行領域は異なるバックライトの明るさレベルに対応する。このターゲットトーン曲線の集合は、すべてエンハンスされた共通領域１１０１を含む。一部の実施例では、これら曲線は共通領域から最大明るさレベルまで移行する明るさ丸め曲線１１０３も含む。エンハンスされたターゲットトーン曲線１１０９では、曲線は黒レベルポイント１１０５でスタートし、エンハンスされた共通領域１１０１まで移行し、次に曲線はエンハンスされた共通領域から、丸められた曲線で最大明るさレベル１１０６まで移行する。一部の実施例では、明るさ丸め曲線は存在しないことがある。これらの実施例は、共通領域がパネルトーン曲線よりも上にあるという点で、図６５を参照して説明した実施例と異なっている。このことは、入力ピクセル値をより高い出力値にマッピングし、表示される画像を明るくする。一部の実施例では、画像シーケンスのフレームに対し、エンハンスされたターゲットトーン曲線のセットを生成し、選択的に使用する。これら実施例は、フリッカーおよび同様なアーティファクトを低減するように働く共通領域を共用する。一部の実施例では、ターゲットトーン曲線のセットおよびエンハンスされたターゲットトーン曲線のセットを計算し、画像特性および／または性能目標に基づき、選択的に使用できるように格納する。
図６６を参照し、本発明の一部の実施例について説明する。図６６の方法では、ターゲットトーン曲線パラメータを決定する（１０５０）。一部の実施例では、これらパラメータは最大ターゲットパネル出力、ターゲットコントラスト比、および／またはターゲットパネルガンマ値を含む。性能目標を達成するために、画像を調節または補償するのに使用できるターゲットトーン曲線を定めるのに、他のパラメータも使用できる。
これら実施例では、パネルトーン曲線１０５１も計算される。代表的なパネル出力とターゲットトーン曲線との間の差を示すために、パネルトーン曲線が示されている。パネルトーン曲線１０５１はディスプレイに対して使用されるディスプレイパネルの特性に関係しており、基準画像（この基準画像から誤差またはディストーション測定を行うことができる）を作成するために、パネルトーン曲線を使用できる。この曲線１０５１は、所定のディスプレイに対する最大パネル出力Ｍおよびパネルコントラスト比ＣＲに基づき計算できる。一部の実施例では、この曲線は最大パネル出力Ｍ、パネルコントラスト比ＣＲ、パネルガンマ値γおよび画素値Ｃに基づく。
１つ以上のターゲットトーン曲線（ＴＴＣ）を計算できる（１０５２）。一部の実施例では、ＴＴＣのセットが計算され、各TTCは異なるバックライトレベルに基づく。別の実施例では、別のパラメータを変えることができる。一部の実施例では、最大ターゲット出力Ｍおよびターゲットコントラスト比ＣＲを使ってターゲットトーン曲線を計算できる。一部の実施例では、このターゲットトーン曲線は最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ値γおよび画素値Ｃに基づくことができる。一部の実施例では、ターゲットトーン曲線は画像にとっての望ましい変更を示す。例えばターゲットトーン曲線はより低い黒レベル、より明るい画像領域、補償された領域および／または丸め曲線のうちの１つ以上を示すことができる。ターゲットトーン曲線はルックアップテーブル（ＬＵＴ）として表示でき、ハードウェアまたはソフトウェアによって計算でき、または他の手段によって示される。
バックライトの明るさレベルを決定できる（１０５３）。一部の実施例では、性能目標、例えば省電力、黒レベル基準または他の目標が、バックライトレベル選択に影響を及ぼす。一部の実施例では、処理またはエンハンスされた画像と仮想的基準ディスプレイにディスプレイされる元の画像との間のディストーション又は誤差を最小にするように、バックライトレベルを決定できる。画像の値が極めて暗いとき、画像表示に対してはより低いバックライトレベルが最も適す。画像値が極めて明るいとき、画像表示にはより高いバックライトレベルが最適な選択となる。一部の実施例では、パネルトーン曲線により処理される画像と、種々のＴＴＣで処理された画像とを比較して、適切なＴＴＣおよび対応するバックライトレベルを決定する。
本発明の一部の実施例では、バックライト選択および画像補償選択方法において、特定の性能目標を考慮することもできる。例えば省電力が性能の目標として認識されているとき、より低いバックライトレベルが画像特性の最適化よりも優先される。逆に、画像の明るさが性能目標であるとき、より低いバックライトの優先度はより低くなる。
ターゲットトーン曲線、仮想的基準ディスプレイまたは他の規格に関して、画像の誤差またはディストーションを最小にするように、バックライトレベルを選択できる（１０５３）。一部の実施例では、「ディストーションに関係する光源の管理のための方法およびシステム」を発明の名称とし、２００６年７月２８日に出願された米国特許出願第１１／４６０，７６８号（本明細書ではこの出願を参考例として援用する）に開示されている方法を使用して、バックライトレベルおよび補償方法を選択することができる。
ターゲットトーン曲線を計算後、ターゲットトーン曲線により画像を調節または補償（１０５４）し、性能目標を達成するか、または低減されたバックライトレベルを補償する。この調節または補償は、ターゲットトーン曲線を参照して行われる。
バックライト選択（１０５３）および補償または調節（１０５４）後、調節されるかまたは補償された画像を、選択されたバックライトレベルで表示できる（１０５５）。
図６７を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像のエンハンスメントまたは処理目標が確立される（１０６０）。この目標は省電力、より低い黒レベル、画像の明るさ設定、トーンスケール調節または他の処理、もしくはエンハンスメント目標を含む。処理またはエンハンスメント目標に基づき、ターゲットトーン曲線パラメータが選択される（１０６１）。一部の実施例では、パラメータ選択を自動化し、エンハンスメントまたは処理目標に基づくことがでる。一部の実施例では、これらパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値ｃを含む。
選択されたターゲットトーン曲線パラメータに基づき、ターゲットトーン曲線（ＴＴＣ）を計算（１０６２）できる。一部の実施例では、ＴＴＣのセットが計算される。一部の実施例では、このセットは、共通ＴＴＣパラメータの代りに、変化するバックライトレベルに対応する曲線を含むことができる。別の実施例では、他のパラメータを変えることもできる。
バックライトの明るさレベルが選択される（１０６３）。一部の実施例では、画像特性に関してバックライトレベルが選択される。一部の実施例では、性能目標に基づきバックライトレベルが選択される。一部の実施例では、性能目標および画像特性に基づき、バックライトレベルが選択される。一部の実施例では、性能目標または誤差基準にマッチするＴＴＣを選択し、そのＴＴＣに対応するバックライトレベルを使用することによって、バックライトレベルが選択される。
バックライトレベルを一旦選択すると（１０６３）、関連づけによりそのレベルに対応するターゲットトーン曲線を選択する。次に、ターゲットトーン曲線により、画像を調節、エンハンスまたは補償できる（１０６４）。次に、選択されたバックライトレベルを使用し、ディスプレイに調節された画像を表示できる（１０６５）。
図６８を参照し、本発明の一部の実施例について説明する。これら実施例では、画像のディスプレイ性能目標を識別する（１０７０）。これは、ユーザが直接性能目標を選択するユーザインターフェースを通して実行できる。このことは、ユーザが性能目標の優先度を識別するユーザの問い合わせにより実行してもよい。画像分析、ディスプレイのデバイス特性、デバイスの使用履歴または他の情報に基づき、性能目標を自動的に識別することもできる。
性能目標に基づき、ターゲットトーン曲線パラメータを自動的に選択または発生できる（１０７１）。一部の実施例では、これらパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値Ｃを含む。
ターゲットトーン曲線パラメータから１つ以上のターゲットトーン曲線を生成できる（１０７２）。１つの式、一連の式、テーブル（例えばＬＵＴ）または他の表現として、ターゲットトーン曲線を表示できる。
一部の実施例では、各ＴＴＣはバックライトレベルに対応する。基準を満たす対応するＴＴＣを探すことにより、バックライトレベルを選択できる（１０７３）。一部の実施例では、他の方法により、バックライトを選択できる。バックライトをＴＴＣに無関係に選択した場合、そのバックライトレベルに対応するＴＴＣも選択できる。
最終ＴＴＣを一旦選択すると（１０７３）、このＴＴＣを画像に適用（１０７４）し、ディスプレイのための画像をエンハンス、補償または他の方法で処理できる。次に、処理されたこの画像を表示する（１０７５）。
図６９を参照し、本発明の一部の実施例について説明する。これら実施例では、画像のディスプレイ性能目標を識別する（１０８０）。このことは、ユーザが性能目標を直接選択するユーザインターフェースを通して実行できる。このことは、ユーザが性能目標の優先度を識別するユーザの問い合わせにより実行してもよい。画像分析、ディスプレイのデバイス特性、デバイスの使用履歴または他の情報に基づき、性能目標を自動的に識別することもできる。画像特性を識別するために画像分析が実行される（１０８１）。
性能目標に基づき、ターゲットトーン曲線パラメータを自動的に選択または発生できる（１０８２）。直接識別されるか、または最大ディスプレイ出力値およびコントラスト比により表わされるバックライトレベルも選択される。一部の実施例では、これらのパラメータは、最大目標出力Ｍおよびターゲットコントラスト比ＣＲを含む。一部の実施例では、これらのパラメータは最大ターゲット出力Ｍ、ターゲットコントラスト比ＣＲ、ディスプレイガンマ比γおよび画素値ｃを含む。
ターゲットトーン曲線パラメータからターゲットトーン曲線を生成できる（１０８３）。ターゲットトーン曲線を１つの式、一連の式、テーブル（例えばＬＵＴ）または他の表現によって表示できる。この曲線を一旦生成すると（１０８３）、この曲線を画像に適用（１０８４）し、表示用の画像をエンハンス、補償または他の方法で処理することができる。次に処理された画像を表示する（１０８５）。
［カラーエンハンスメントおよび明るさエンハンスメント］
本発明の一部の実施例は、カラーエンハンスメントおよび明るさエンハンスメント、または保存を含む。これら実施例では、明るさエンハンスメントまたは保存と共に、カラーをエンハンスするために、固有のカラー値、範囲または領域を変更する。一部の実施例では、これらの変更またはエンハンスメントは画像のローパス（ＬＰ）バージョンで実行される。一部の実施例では、固有のカラーエンハンスメントプロセスが使用される。
図７０を参照し、本発明の一部の実施例について説明する。これら実施例では、ＬＰ画像１１２５を発生するためにローパス（ＬＰ）フィルタにより画像１１３０をフィルタリング（１１３１）する。このＬＰ画像１１２５は、元の画像１１３０から減算（１１３４）するか、または他の方法で組み合わせ、ハイパス（ＨＰ）画像１１３５を生成する。ＬＰ画像はトーンスケールプロセス１１３３により処理される。例えば明るさ保存（ＢＰ）プロセス、または同様のプロセスにより画像の特徴部の明るさを高められ、低減されたバックライトレベルを補償、または、他の実施例を参照してこれまで説明したように、ＬＰ画像１１２５を変更する。次に、エンハンスされたトーンスケール画像を発生するために、上記の結果得られた処理ＬＰ画像とＨＰ画像１１３５を組み合わされ、発生されたエンハンス画像は次にビット深度拡張（ＢＤＥ）プロセス１１３９により処理される。ＢＤＥプロセス１１３９では、特別に設計されたノイズパターンまたはディザーパターンを画像に適用し、画像のビット深度を下げるその後の処理から生じるコンターリングアーティファクトに対する影響を減少させることができる。一部の実施例は、スコット Ｊ．デイリー氏、およびシャオファンフェン氏を発明者とし、「適応型ディザー構造のための方法およびシステム」を発明の名称とし、２００４年２月９日に出願された米国特許出願第１０／７７５，０１２号（本明細書では本願を参考例として援用する）に記載されているようなＢＤＥプロセスを含むことができる。一部の実施例は、シャオ ファン フェン氏およびスコット Ｊ．デイリー氏を発明者とし、「ディザー構造の作成および適用のためのシステムおよび方法」を発明の名称とし、２００３年８月２２日に出願された米国特許出願第１０／６４５，９５２号（本願を本明細書で参考例として援用する）に記載されているような、ＢＤＥプロセスを含むことができる。一部の実施例はシャオ ファン フェン氏およびスコット Ｊ．デイリー氏を発明者とし、「多次元ディザー構造の作成および適用のためのシステムおよび方法」を発明の名称とし、２００３年９月３０日に出願された米国特許出願第１０／６７６，８９１号（本願を本明細書で参考例として援用する）に記載されているようなＢＤＥプロセスを含むことができる。この結果得られるＢＤＥエンハンスされた画像１１２９は次にディスプレイされ、更に処理される。ＢＤＥエンハンスされた画像１１２９は、上記参考例として援用する上記米国特許出願に説明されているように、ビット深度を低減したときに、コンターリングアーティファクトが生じにくくなる。
図７１を参照して本発明の一部の実施例について説明する。これら実施例では、画像のＬＰバージョンを生成するために、画像１１３０はローパス（ＬＰ）フィルタ（１１３１）を通される。このＬＰバージョンは処理のためにカラーエンハンスメントモジュール１１３２へ送られる。カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、カラーエンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理だけでなく非肌色領域処理も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素のためのカラー値の変更を生じさせる。
カラー変更後、カラー変更されたＬＰ画像は明るさ保存または明るさエンハンスメントモジュール１１３３へ送られる。このモジュール１１３３は、明るさ特性を改善するために画像の値をトーンスケール曲線または同様な方法で調節または変更する。上記多くの実施例に類似したものである。一部の実施例では、トーンスケール曲線は、光源あるいはバックライトレベルに関係する。一部の実施例では、トーンスケール曲線は低減されたバックライトレベルを補償する。一部の実施例では、トーンスケール曲線は画像を明るくしたり、またはバックライトレベルと無関係に画像を変更する。
次にカラーエンハンスされ、明るさがエンハンスされた画像はハイパス（ＨＰ）バージョンの画像に結合される。一部の実施例では、画像のＨＰバージョンは元の画像１１３０からＬＰバージョンを減算（１１３４）することにより生成され、結果として画像のＨＰバージョン１１３５が得られる。カラーエンハンスされ、明るさがエンハンスされた画像と、画像のＨＰバージョン１１３５との結合１１３７は、エンハンスされた画像１１３８を発生する。
本発明の一部の実施例は、ＨＰ画像のための画像に依存したバックライト選択および／または別個の利得プロセスを含むことができる。これら２つの付加的要素は、独立した別個の要素であるが、図７２に示されるように両方の要素を含む実施例に関連して、説明される。この実施例では、フィルタモジュール１１３１に画像１１３０を入力し、このモジュールでＬＰ画像１１４５を発生する。次に、元の画像１１３０からＬＰ画像１１４５を減算し、ＨＰ画像１１３５が生成される。ＬＰ画像１１４５は、又、カラーエンハンスメントモジュール１１３２に送られる。一部の実施例では、元の画像１１３０は、又、バックライトの明るさレベルを決定する際に使用するために、バックライト選択モジュール１１４０へ送られる。
カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、カラーエンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理機能だけでなく、非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素に対するカラー値の変更を生じさせる。
明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１４１は、トーンスケール操作による処理のためにＬＰ画像１１４５を受信する。トーンスケール動作はバックライト選択モジュール１１４０から受信したバックライト選択情報に依存する。トーンスケール動作により、明るさ保存がなしとげられるとき、トーンスケール曲線を決定するのにバックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。
同様な実施例に対してこれまで説明した方法を使って、ＨＰゲインモジュール１１３６内でＨＰ画像１１３５を処理することもできる。ＨＰゲインモジュールにおける処理の結果、変更されたＨＰ画像１１４７が得られる。トーンスケールモジュール１１４１におけるトーンスケール処理の結果得られる変更されたＬＰ画像１１４６を、変更されたＨＰ画像１１４７と組み合わせ（１１４２）、エンハンスされた画像１１４３を発生できる。
バックライト選択モジュール１１４０からのバックライト選択データを受信したバックライト１１４４と共に、バックライト変調を使用するディスプレイに、エンハンスされた画像１１４３は表示される。従って、低減された、または変調されたバックライト設定により、かつバックライト変調を補償する変更された画像値によって、画像は表示される。同様に、ＬＰトーンスケール処理およびＨＰゲイン処理を含む明るさがエンハンスされた画像はフルバックライトの明るさで表示される。
図７３を参照し、本発明の一部の実施例について説明する。これら実施例では、フィルタモジュール１１５０に元の画像１１３０を入力し、フィルタモジュールはＬＰ画像１１５５を生成する。一部の実施例では、フィルタモジュールはヒストグラム１１５１も生成する。ＬＰ画像１１５５をカラーエンハンスメントモジュール１１５６だけでなく減算プロセス１１５７にも送ることができ、この減算プロセスにて、元の画像１１３０からＬＰ画像１１５５が減算され、ＨＰ画像１１５８が形成される。一部の実施例では、ＨＰ画像１１５８はコアリングプロセス１１５９を受け、このプロセスにおいて、ＨＰ画像１１５８から高周波要素を除去する。このコアリングプロセスの結果、コアＨＰ画像１１６０が得られ、得られた画像は明るさ保存、エンハンスメントまたは他の実施例に関してこれまで説明したような他のプロセスを達成するために、ゲインマップ１１６２により処理（１１６１）される。ゲインマッピングプロセス１１６１の結果、ゲインマップされたＨＰ画像１１６８が得られる。
カラーエンハンスメントモジュール１１５６に送られたＬＰ画像１１５５は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能または他の機能を用いて処理される。一部の実施例では、カラーエンハンスメントモジュール１１５６は、肌色検出機能、肌色マップリファイン機能、肌色領域処理機能だけでなく非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１５６における機能は、例えばピクセル強度値のような画像要素に対するカラー値の変更を生じさせ、この変更されたカラー値は、カラーエンハンスされたＬＰ画像１１６９として記録される。
次にＢＰトーンスケールまたはエンハンスメントトーンスケールモジュール１１６３内でカラーエンハンスされたＬＰ画像１１６９は処理される。トーンスケール操作による処理のために、明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１６３が、カラーエンハンスされたＬＰ画像１１６９を受信できる。トーンスケール操作は、バックライト選択モジュール１１５４から受信したバックライト選択情報に依存する。トーンスケール操作により明るさ保存を達成するとき、トーンスケール曲線を決定するのに、バックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。トーンスケールモジュール１１６３内で実行されるトーンスケール操作は、バックライト情報と関係なく、画像特性、アプリケーションの性能目標および他のパラメータに依存する。
一部の実施例では、カラーエンハンスメントモジュール１１５６およびトーンスケールモジュール１１６３がそれらの機能を実行するための時間を許容するために、画像のヒストグラム１１５１が遅延される（１１５２）。これら実施例では、バックライト選択１１５４に影響するように、遅延されたヒストグラム１１５３を使用できる。一部の実施例では、前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。一部の実施例では、現在のフレームから２つ前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。バックライト選択を一旦実行すると、トーンスケールモジュール１１６３により、バックライト選択データを使用できる。
トーンスケールモジュール１１６３により一旦カラーエンハンスされたＬＰ画像１１６９を処理すると、その結果得られたカラーエンハンスされ、明るさがエンハンスされたＬＰ画像１１７６とゲインマップされたＨＰ画像１１６８とが結合される（１１６４）。一部の実施例では、このプロセス１１６４を追加プロセスとすることができる。一部の実施例では、この組み合わせプロセス１１６４から得られた、エンハンスされ、組み合わされた画像１１７７が、画像表示のための最終画像となる。次に、バックライト選択モジュール１１５４から受信されたバックライト設定で変調されたバックライト１１６６を使用し、このエンハンスされ、組み合わされた画像１１７７をディスプレイにディスプレイできる。
図７４を参照し、本発明の一部のカラーエンハンスメントモジュールについて説明する。これらの実施例では、カラーエンハンスメントモジュール１１７１にＬＰ画像１１７０を入力する。カラーエンハンスメントモジュール１１７１内にて、ＬＰ画像１１７０に種々のプロセスを実施してもよい。ＬＰ画像１１７０に対し、肌色検出プロセス１１７２を実行してもよい。肌色検出プロセス１１７２は、ＬＰ画像１１７０内の各ピクセルのカラーの分析と、ピクセルカラーに基づき肌色の度合を示す値の割り当てを含む。このプロセスの結果、肌色の度合を示すマップが得られる。一部の実施例では、色が肌色である度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の可能性を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願、または上記肌色検出方法を含むことができる。
上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１７３により処理できる。ＬＰ画像１１７０はこのリファインプロセス１１７３に入力されまたはそこからアクセスされる。一部の実施例では、このリファインプロセス１１７３は、画像で駆動される非線形なローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定の色空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１７３は肌色マップ値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。
カラーエンハンスメントモジュール１１７１では、肌色領域だけにカラー変更プロセス１１７４を適用することにより、ＬＰ画像１１７０を区分して処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１７４を適用してもよい。一部の実施例では、肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１７５が得られる。一部の実施例では、エンハンスされたＬＰ画像を更にトーンスケールモジュール、例えばＢＰまたはエンハンスメントトーンスケールモジュール１１６３で処理してもよい。
図７５を参照して本発明の一部の実施例について説明する。これら実施例では、画像のＬＰバージョンを生成するために、画像１１３０はローパス（ＬＰ）フィルタ（１１３１）でフィルタリングされる。このＬＰバージョンは、処理のためにカラーエンハンスメントモジュール１１３２へ送られる。カラーエンハンスメントモジュール１１３２は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能および他の機能を含むことができる。一部の実施例では、エンハンスメントモジュール１１３２は、肌色検出機能、肌色マップリファイン機能および肌色領域処理だけでなく非肌色領域処理も含むことができる。カラーエンハンスメントモジュール１１３２における機能は、例えばピクセル強度値のような画像要素のためのカラー値の変更を生じさせる。
カラー変更後、カラー変更されたＬＰ画像は明るさ保存または明るさエンハンスメントモジュール１１３３へ送られる。このモジュール１１３３は、明るさ特性を改善するために画像の値をトーンスケール曲線または同様な方法で調節または変更する、上記多くの実施例に類似したものである。一部の実施例では、トーンスケール曲線は光源またはバックライトレベルに関連する。一部の実施例では、トーンスケール曲線は低減されたバックライトレベルを補償する。一部の実施例では、トーンスケール曲線は画像を明るくしたり、またはバックライトレベルと無関係に画像を変更する。
次に画像のハイパス（ＨＰ）バージョンにカラーエンハンスされ、明るさがエンハンスされた画像を結合される。一部の実施例では、画像のＨＰバージョンは元の画像１１３０からＬＰバージョンを減算（１１３４）することにより生成され、結果として画像のＨＰバージョン１１３５が得られる。カラーエンハンスされ、明るさがエンハンスされた画像と、画像のＨＰバージョン１１３５との結合１１３７は、エンハンスされた画像１１３８を発生する。
これらの実施例では、エンハンスされた画像１１３８にビット深度拡張（ＢＤＥ）プロセス１１３９を実行する。このＢＤＥプロセス１１３９はビット深度が限定されているときに生じる視認可能なアーティファクトを低減できる。一部の実施例は、参考例として本明細書で援用する上記特許出願に記載されているようなＢＤＥプロセスを含むことができる。
図７６を参照し、本発明の一部の実施例について説明する。これら実施例は、図７３を参照して説明した実施例に類似するが、追加的ビット深度拡張処理を含む。
これら実施例では、フィルタモジュール１１５０に元の画像１１３０を入力し、フィルタモジュールはＬＰ画像１１５５を生成する。一部の実施例では、フィルタモジュールはヒストグラム１１５１も生成する。ＬＰ画像１１５５はカラーエンハンスメントモジュール１１５６だけでなく減算プロセス１１５７にも送られ、この減算プロセスにて、元の画像１１３０からＬＰ画像１１５５を減算し、ＨＰ画像１１５８を形成する。一部の実施例では、ＨＰ画像１１５８はコアリングプロセス１１５９を受けることもでき、このプロセスにおいて、ＨＰ画像１１５８から高周波要素が除去される。このコアリングプロセスの結果、コアＨＰ画像１１６０が得られ、この画像は明るさ保存、エンハンスメントまたは他の実施例に関してこれまで説明したような他のプロセスを達成ために、ゲインマップ１１６２により処理される（１１６１）。ゲインマッピングプロセス１１６１の結果、ゲインマップされたＨＰ画像１１６８が得られる。
カラーエンハンスメントモジュール１１５６に送られたＬＰ画像１１５５は、カラー検出機能、カラーマップリファイン機能、カラー領域処理機能または他の機能で処理される。一部の実施例では、カラーエンハンスメントモジュール１１５６は、肌色検出機能、肌色マップリファイン機能、肌色領域処理機能だけでなく非肌色領域処理機能も含むことができる。カラーエンハンスメントモジュール１１５６における機能は、例えばピクセル強度値のような画像要素に対するカラー値を変更し、このカラー値は、カラーエンハンスされたＬＰ画像１１６９として記録される。
次にカラーエンハンスされたＬＰ画像１１６９はＢＰトーンスケールまたはエンハンスメントトーンスケールモジュール１１６３で処理される。トーンスケール操作による処理のために、明るさ保存（ＢＰ）または明るさエンハンスメントトーンスケールモジュール１１６３が、カラーエンハンスされたＬＰ画像１１６９を受信する。トーンスケール操作は、バックライト選択モジュール１１５４から受信したバックライト選択情報に依存する。トーンスケール操作により明るさ保存を達成するときには、トーンスケール曲線を決定するのに、バックライト選択情報が有効である。バックライト補償をすることなく、明るさエンハンスメントだけを実行するときには、バックライト選択情報は不要である。トーンスケールモジュール１１６３内で実行されるトーンスケール操作は、バックライト情報と関係なく、画像特性、アプリケーションの性能目標および他のパラメータに依存する。
一部の実施例では、カラーエンハンスメントモジュール１１５６およびトーンスケールモジュール１１６３がそれらの機能を実行するための時間を許容するために、画像のヒストグラム１１５１が遅延される（１１５２）。これら実施例では、バックライト選択１１５４に影響するように、遅延されたヒストグラム１１５３を使用できる。一部の実施例では、現在のフレームから２つ前のフレームからのヒストグラムを使ってバックライト選択１１５４に影響を及ぼす。バックライト選択を一旦実行すると、トーンスケールモジュール１１６３により、バックライト選択データを使用できる。
トーンスケールモジュール１１６３により一旦カラーエンハンスされたＬＰ画像１１６９を処理すると、その結果得られた、カラーエンハンスされ、明るさがエンハンスされたＬＰ画像１１７６とゲインマップされたＨＰ画像１１６８とが結合される（１１６４）。一部の実施例では、このプロセス１１６４を追加プロセスとすることができる。一部の実施例では、この組み合わせプロセス１１６４から得られた、エンハンスされ、組み合わされた画像１１７７はビット深度拡張（ＢＤＥ）処理で処理される（１１６５）。このＢＤＥプロセス１１６５は、ビット深度が限られているときに生じる視認できるアーティファクトを低減できる。一部の実施例は、本明細書で参考例として援用する上記特許出願に記載のＢＤＥプロセスを含むことができる。
ＢＤＥ処理１１６５後、バックライト選択モジュール１１５４から受信したバックライト設定で変調されたバックライト１１６６を使用し、エンハンスされた画像１１６９はディスプレイに表出される。
図７７を参照し、本発明の一部の実施例について説明する。これら実施例では、ＬＰ画像１１８３を発生するようにローパス（ＬＰ）フィルタにより画像１１８０をフィルタリングする（１１８１）。このＬＰ画像１１８３はハイパス（ＨＰ）画像１１８９を発生するために、元の画像１１８０から減算されるか（１１８２）、または元の画像１１８０と組み合わされる。ＬＰ画像は次にカラーエンハンスメントモジュール１１８４で処理される。カラーエンハンスメントモジュール１１８４内にて、ＬＰ画像に種々のプロセスが実施される。ＬＰ画像１１８３に対し、肌色検出プロセス１１８５が実行される。肌色検出プロセス１１８５は、ＬＰ画像１１８３内の各ピクセルのカラーの分析と、ピクセルカラーに基づく肌色の度合値の割り当てを含む。このプロセスの結果、肌色の度合値を示すマップが得られる。一部の実施例では、色が肌色の度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の度合を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願に記載されたまたは上記肌色検出方法を含むことができる。
上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１８６により処理できる。ＬＰ画像１１８３は、このリファインプロセス１１８６に入力されまたはそこからアクセスされる。一部の実施例では、画像で駆動される非線形なローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定のカラー空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１８６は、肌色マップ内の値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。
カラーエンハンスメントモジュール１１８４では、肌色領域だけにカラー変更プロセス１１８７を実施することにより、ＬＰ画像１１８３を区別処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１８７を実施してもよい。一部の実施例では肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１８８が得られる。
エンハンスされたこのＬＰ画像１１８８を次にＨＰ画像１１８９に加算するか、または組み合わせて、エンハンスされた画像１１９２を生成できる。
図７８を参照し、本発明の一部の実施例について説明する。これらの実施例では、ＬＰ画像１１８３を生成するためにローパス（ＬＰ）フィルタにより画像１１８０をフィルタリングする（１１８１）。このＬＰ画像１１８３はハイパス（ＨＰ）画像１１８９を発生するために、元の画像１１８０から減算するか（１１８２）、またはこれと組み合わされる。次にカラーエンハンスメントモジュール１１８４でＬＰ画像を処理する。カラーエンハンスメントモジュール１１８４内にて、ＬＰ画像に種々のプロセスを実施してもよいし、ＬＰ画像１１８３に対し、肌色検出プロセス１１８５を実行してもよい。肌色検出プロセス１１８５は、ＬＰ画像１１８３内の各ピクセルのカラーの分析と、ピクセルカラーに基づく肌色の度合値の割り当てを含むことができる。このプロセスの結果、肌色の度合を示すマップが得られる。一部の実施例では、色が肌色である度合を決定するのにルックアップテーブル（ＬＵＴ）を使用できる。肌色の度合を決定するのに、他の方法も使用できる。一部の実施例は、本明細書で援用する他の出願に記載され、これまで説明された肌色検出方法を含むことができる。
上記の結果得られた肌色の度合を示すマップを、肌色マップリファインプロセス１１８６により処理できる。ＬＰ画像１１８３は、このリファインプロセス１１８６に入力されまたはそこからアクセスされる。一部の実施例では、このリファインプロセス１１８６は、画像で駆動される非リニアなローパスフィルタを含むことができる。一部の実施例では、対応する画像カラー値が、隣接するピクセルのカラー値に対して特定のカラー空間距離内にあり、画像ピクセルと隣接ピクセルとが特定の空間距離内にあるときに、リファインプロセス１１８６は、肌色マップ内の値に対して適用される平均化プロセスを含むことができる。このプロセスによって、変更またはリファインされた肌色マップを使用し、ＬＰ画像内の肌色領域を識別できる。肌色領域外の領域を非肌色領域として識別することもできる。
カラーエンハンスメントモジュール１１８４では、肌色領域だけにカラー変更プロセス１１８７を実施することにより、ＬＰ画像１１８３を区別処理することができる。一部の実施例では、非肌色領域だけにカラー変更プロセス１１８７を実施してもよい。一部の実施例では、肌色領域に第１カラー変更プロセスを実施し、非肌色領域に第２のカラー変更プロセスを実施してもよい。これらカラー変更プロセスの各々の結果、カラーが変更またはエンハンスされたＬＰ画像１１８８が得られる。
次に、エンハンスされたこのＬＰ画像１１８８をＨＰ画像１１８９に加えるかまたは結合し、エンハンスされた画像を生成し、このエンハンスされた画像をビット深度拡張（ＢＤＥ）プロセス１１９１で処理する。このＢＤＥプロセス１１９１では、特別に設計されたノイズパターンまたはディザーパターンを画像に適用し、画像ビット深度を低減するその後の処理からコンターアリングアーティファクトに対する影響を低減する。一部の実施例は、参考例として本明細書に援用する上記特許出願に記載されているようなＢＤＥプロセスを含むことができる。この結果生じるＢＤＥでエンハンスされた画像１１９３は表示されるかまたは更に処理される。ＢＤＥエンハンスされた画像１１９３は、これまで参考例として援用したアプリケーションに説明されているように、ビット深度が低減されるとき、コンターアリングアーティファクトを生じにくくなる。
本発明の一部の実施例は、ハードウェアによる実現の制限下で高い質のバックライト変調および明るさ保存を実現する細部を含む。図７３および７６に示された実施例を参照し、これら実施例について説明する。
一部の実施例は、図７３および７６におけるバックライト選択１１５４およびＢＰトーンスケール１１６３のブロックにある要素を含む。これら実施例の一部は、メモリの消費量およびリアルタイムでの計算要求量を低減できる。
［ヒストグラムの計算］
これらの実施例では、輝度値ではなく、画素値でヒストグラムを計算する。従って、カラー変換は不要である。一部の実施例では、初期のアルゴリズムは画像のすべてのサンプルでのヒストグラムを計算できる。これら実施例では、画像の最後のサンプルが受信されるまで、ヒストグラムの計算を完了できない。バックライトの選択およびトーン曲線設計の補償を行うことができる前に、すべてのサンプルを得て、ヒストグラムを完了しなければならない。
これら実施例には、いくつかの複雑性の問題がある。
・フレームバッファの必要性。ヒストグラムを完了するまで、ピクセルとして補償できない−ＲＡＭの問題。
・他の計算部が停止するため、バックライト選択演算の時間はほとんどない。−計算の問題。
・すべての画像サンプルでのヒストグラムを計算するのに処理しなければならない多数の画像サンプルがある−計算の問題。
・１０ビットの画像データでは、１０ビットのヒストグラムはディストーションを最適化するのに必要なデータ保持に比較的大きいメモリと、多数の点での演算を必要とする−ＲＡＭおよび計算の問題。
本発明の一部の実施例は、これら問題を解消するための技術を含む。フレームバッファの必要性を解消するには、バックライト選択アルゴリズムへの入力として前のフレームのヒストグラムを使用できる。フレームｎ＋１、ｎ＋２または別のその後のフレームのための入力としてフレームｎからのヒストグラムを使用し、フレームバッファを不要にできる。
計算のための時間を許容するために、ヒストグラムは１以上の追加フレームだけ遅延することができるので、フレームｎからのヒストグラムをフレームｎ＋２、ｎ＋３などのバックライト選択のための入力として使用する。これによって、フレームｎの終了部から次のフレーム、例えばｎ＋２の開始点までのバックライト選択アルゴリズム時間が計算のため許容される。
一部の実施例では、バックライト選択アルゴリズムの出力に対する時間フィルタを使用し、入力フレームに対するバックライト選択におけるこのフレーム遅延による影響を低減できる。
各ヒストグラムを計算する際に処理しなければならないサンプル数を少なくするために、一部の実施例は個々のピクセルではなく、１つのブロックを使用できる。各カラー平面および各ブロックに対し、最大サンプルを計算する。これらブロックの最大値についてヒストグラムを計算する。一部の実施例では、各カラー平面についてなお最大値が計算される。従って、Ｍ個のブロックを有する画像は、ヒストグラムに対し、３−Ｍ個の入力を有する。
一部の実施例では、小さいビットレンジ、すなわち６ビットに量子化された入力データについてヒストグラムが計算される。これらの実施例では、ヒストグラムを保持するために必要なＲＡＭが少なくなる。更に、ディストーションに関連した実施例では、ディストーションサーチに必要な操作も少なくなる。
関数１としてソースコードの形態で、以下に、ヒストグラム計算実施例の例について説明する。
関数１
/***************************************************************************************/
//
ComputeHistogram
// Comutes histogram based on maximum on block
// block size and histogram bitdepth set in defines
// Relevant Globals
// gHistogramBlockSize
// gN_HistogramBins
// N_PIPELINE_CODEVALUES
/***************************************************************************************/
void ComputeHistogram(SHORT *pSource[NCOLORS],IMAGE_SIZE size,UINT32
*pHistogram)
{
SHORT cv;
SHORT bin;
SHORT r,c,k;
SHORT block;
SHORT cvMax;
SHORT BlockRowCount;
SHORT nHistogramBlocksWide;
nHistogramBlocksWide=size.width/gHistogramBlockSize;
/* Clear histogram */
for(bin=0;bin<gN_HistogramBins;bin++)
pHistogram[bin]=0;
// use max over block for histogram don't mix colors
// track max in each scan line of block and do max over scanlines
// initialize
BlockRowCount=0;
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
MaxBlockCodeValue[k][block]=0;
for(r=0;r<size.height;r++)
{
// single scan line
for(c=0;c<size.width;c++)
{
block=c/gHistogramBlockSize;
for(k=0;k<NCOLORS;k++)
{
cv=pSource[k][r*size.width+c];
if(cv>MaxBlockCodeValue[k][block])
MaxBlockCodeValue[k][block]=cv;
}
}
// Finished line of blocks?
if(r==(gHistogramBlockSize*(BlockRowCount+1)-1))
{
// update histogram and advance BlockRowCount
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
{
cvMax=MaxBlockCodeValue[k][block];
bin=(SHORT)((cvMax*(int)gN_HistogramBins+(N_PIPELINE_CODEVALUES/2))/((SHO
RT)N_PIPELINE_CODEVALUES));
pHistogram[bin]++;
}
BlockRowCount=BlockRowCount+1;
// reset maximums
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
MaxBlockCodeValue[k][block]=0;
}
}
return;
}
［ターゲットおよび実際のディスプレイモデル］
一部の実施例では、ディストーションおよび補償アルゴリズムは目標および基準ディスプレイを説明するのに使用したパワー関数に依存する。このパワー関数またはガンマは、整数表示でオフラインで計算される。一部の実施例では、このリアルタイムの計算はガンマ指数関数のあらかじめ計算された整数値を利用できる。関数２として下にリストアップしたサンプルコードは、一実施例を記述するものである。
関数２
void InitPowerOfGamma(void)
{
int i;
//Init ROM table here
for(i=0;i<N_PIPELINE_CODEVALUES;i++)
{
PowerOfGamma[i]=pow(i/((double)N_PIPELINE_CODEVALUES-1),GAMMA);
IntPowerOfGamma[i]=(UINT32)((1<<N_BITS_INT_GAMMA)*PowerOfGamma[i]+0.5);
}
return;
}
一部の実施例では、ディストーションに基づくバックライト選択プロセスおよびバックライト補償アルゴリズムを制御するのに、リアルタイムで使用される２つのパラメータＧＯＧ−Ｆモデルにより、ターゲットディスプレイと実際のディスプレイの双方をモデル化できる。一部の実施例では、加算的オフセットと共に２．２のガンマパワールールを有するようにターゲット（基準）ディスプレイと実際のパネルの双方をモデル化できる。加算的オフセットはディスプレイのコントラスト比を決定できる。
［ディストーションの重み付けの計算］
一部の実施例では、各バックライトレベルおよび入力画像に対し、所望する出力画像と所定のバックライトレベルでの出力との間のディストーションが計算される。この結果、各ヒストグラムのBinと各バックライトレベルに対する重みが得られる。必要なバックライトレベルに対するディストーションの重みだけを計算することにより、使用されるＲＡＭのサイズを最小レベルまたは低減されたレベルに維持できる。これらの実施例では、オンラインの計算によりアルゴリズムは基準ディスプレイまたはターゲットディスプレイの異なる選択に適用できる。この計算は、２つの要素、すなわち画像のヒストグラムと一組のディストーション重み付けとを必要とする。別の実施例では、すべての可能なバックライトレベル値に対するディストーションの重み付けをオフラインで計算し、ＲＯＭに記憶した。ＲＯＭの必要性を低減するために、各フレームに対する当該各バックライトレベルに対するディストーションの重み付けが計算される。所望するディスプレイモデルおよびパネルディスプレイモデル並びにバックライトレベルのリストを仮定して、各フレームに対するこれらバックライトレベルのディストーションの重み付けが計算される。次の関数３に、一実施例のためのサンプルコードを示す。
関数３
/*********************************************************************
// void ComputeBackLightDistortionWeight
// computes distoriton needs large bitdepth
// comutes distortion weights for a list of selected backlight levels and panel parameters
// Relevant Globals
// MAX_BACKLIGHT_SEARCH
// N_BITS_INT_GAMMA
// N_PIPELINE_CODEVALUES
// IntPowerOfGamma
// gN_HistogramBins
***************************************************************************************/
void ComputeBackLightDistortionWeight(SHORT nBackLightsSearched,
SHORT BlackWeight,
SHORT WhiteWeight,
SHORT PanelCR,
SHORT TargetCR,
SHORT BackLightLevelReference,
SHORT BackLightLevelsSearched[MAX_BACKLIGHT_SEARCH])
{
SHORT b;
SHORT bin;
SHORT cvL,cvH;
__int64 X,Y,D,Dmax;
Dmax=(1<<30);
Dmax=Dmax*Dmax;
for(b=0;b<nBackLightsSearched;b++)
{
SHORT r,q;
r=N_PIPELINE_CODEVALUES/gN_HistogramBins;
// find low and high code values for each backlight searched

// PanelOutput=BackLightSearched*((1-PanelFlare)*y^Gamma+PanelFlare)
// TargetOutput=BackLightLevelReference*((1-TargetFlare)*x^Gamma+TargetFlare)

// for cvL, find x such that minimum paneloutput is achieved on targetoutput
// TargetOutput(cvL)=min(PanelOutput)=BackLightSearched*PanelFlare
// BackLightLevelReference*((1-
TargetFlare)*cvL^Gamma+TargetFlare)=BackLightSearched/PanelCR
// BackLightLevelReference/TargetCR*((TargetCR-
1)*cvL^Gamma+1)=BackLightSearched/PanelCR
// PanelCR*BackLightLevelReference*((TargetCR-
1)*cvL^Gamma+1)=TargetCR*BackLightSearched
// PanelCR*BackLightLevelReference*((TargetCR-
1)*IntPowerOfGamma[cvL]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearche
d*(1<<N_BITS_INT_GAMMA))
X=TargetCR;
X=X*BackLightLevelsSearched[b];
X=X*(1<<N_BITS_INT_GAMMA);
for(cvL=0;cvL<N_PIPELINE_CODEVALUES;cvL++)
{
Y=IntPowerOfGamma[cvL];
Y=Y*(TargetCR-1);
Y=Y+(1<<N_BITS_INT_GAMMA);
Y=Y*BackLightLevelReference;
Y=Y*PanelCR;
if(X<=Y)
break;
}
// for cvH, find x such that maximum paneloutput is achieved on targetoutput
// TargetOutput(cvH)=max(PanelOutput)=BackLightSearched*1
// BackLightLevelReference*((1-
TargetFlare)*cvH^Gamma+TargetFlare)=BackLightSearched
// BackLightLevelReference/TargetCR*((TargetCR-
1)*cvH^Gamma+1)=BackLightSearched
// BackLightLevelReference((TargetCR-
1)*cvH^Gamma+1)=TargetCR*BackLightSearched
// BackLightLevelReference((TargetCR-
1)*IntPowerOfGamma[cvH]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearche
d*(1<<N_BITS_INT_GAMMA)
X=TargetCR;
X=X*BackLightLevelsSearched[b];
X=X*(1<<N_BITS_INT_GAMMA);
for(cvH=(N_PIPELINE_CODEVALUES-1);cvH>=0;cvH--)
{
Y=IntPowerOfGamma[cvH];
Y=Y*(TargetCR-1);
Y=Y+(1<<N_BITS_INT_GAMMA);
Y=Y*BackLightLevelReference;
if(X>=Y)
break;
}

// build distortion weights
for(bin=0;bin<gN_HistogramBins;bin++)
{
SHORT k;
D=0;
for(q=0;q<r;q++)
{
k=r*bin+q;
if(k<=cvL)
D+=BlackWeight*(cvL - k)*(cvL - k);
else if(k>=cvH)
D+=WhiteWeight*(k-cvH)*(k-cvH);
}
if(D>Dmax)
D=Dmax;
gBackLightDistortionWeights[b][bin]=(UINT32)D;
}
}
return;
}
［バックライトサーチのサブサンプリング］
一部の実施例では、バックライト選択アルゴリズムは、各バックライトレベルにおけるターゲットディスプレイ出力とパネル出力との間のディストーションを最小にするプロセスを含むことができる。評価しなければならないバックライトレベルの数と、計算し、記憶しなければならないディストーション重み付けの数の双方を低減するために、このサーチではバックライトレベルの一部を使用できる。
一部の実施例では、サーチをサブサンプリングする２つの方法を使用できる。第１方法では、バックライトレベルの可能な範囲を粗く量子化する。例えば４ビットに量子化する。最小ディストーションに関して、この量子化されたレベルの一部をサーチする。一部の実施例では、完全にするために最小値および最大値の絶対値を使用してもよい。第２の方法では、最終フレームに対して得られたバックライトレベルの近傍の範囲にある値を使用する。例えば最小および最大絶対レベルと共に、最終フレームのバックライトレベルからの±４、±２、±１および＋０がサーチされる。後者の方法では、サーチレンジの限界により、選択されるバックライトレベルの変動に対しある制限が加えられる。一部の実施例では、サブサンプリングを制御するために、シーンカット検出を使用する。１つのシーン内で、ＢＬサーチは最終フレームのバックライトのまわりに、小さいサーチウィンドーを中心に置く。シーンがカットされた境界部では、可能なＢＬ値のレンジにわたって少数のポイントを割り当てる。同じシーン内のその後のフレームは、別のシーンカットが検出されなければ、前のフレームのＢＬのまわりにサーチを集中する前の方法を使用する。
［１つのＢＰ補償曲線の計算］
一部の実施例では、操作中に、いくつかの異なるバックライトレベルを使用できる。別の実施例では、全バックライトレベルに対する補償曲線をオフラインで計算し、リアルタイムで画像を補償するためにＲＯＭに格納する。各フレームでは１つの補償曲線しか必要でないことに留意することにより、このメモリの必要性を低減できる。従って、フレームごとに補償トーン曲線を計算し、ＲＡＭにセーブする。一部の実施例では、補償曲線の設計はオフラインの設計で使用されているようなものである。一部の実施例は、最大忠実ポイント（ＭＦＰ）までリニアにブーストアップし、その後、上記のようにスムーズに丸められる曲線を含むことができる。
［時間フィルタ］
バックライト変調を有するシステムにおける１つの問題は、フリッカーである。このフリッカーは、画像処理補償技術を使用することで低減できる。しかしながら、バックライトの変動が急速な場合に、結果としてアーティファクトを生じさせる補償の制限がいくつかある。ある状況では、ブラックポイントおよびホワイトポイントがバックライトをトラッキングするが、すべてのケースでは、これらポイントを補償することはできない。更に、一部の実施例では、バックライト選択は遅延されたフレームからのデータに基づくので、実際のフレームデータと異なることがある。ブラック／ホワイトレベルのフリッカーを制御し、バックライト計算においてヒストグラムを遅延できるようにするために、バックライト制御ユニットおよび対応する補償に送られる実際のバックライト値をスムーズにするのに、時間フィルタを使用できる。
［明るさ変化との融合］
種々の理由から、ユーザはディスプレイの明るさを変えたいことがある。１つの問題は、バックライト変調環境内でこれをどのように行うかである。従って、一部の実施例は、バックライト変調および明るさ補償コンポーネントを変えないままにして、基準ディスプレイの明るさを操作できるようにしている。下記に関数４として記述するコードは、基準バックライトインデックスを最大値にセットするか、または平均ピクチャーレベル（ＡＰＬ）が、最大のディスプレイの明るさを変えるために使用される場合には、このＡＰＬに応じた値にセットするかのいずれかである、一実施例を示す。
関数４
/*****************************************************************************
if(gStoredMode)
{
BackLightIndexReference=N_BACKLIGHT_VALUES-1;
}
else
{
APL=ComputeAPL(pHistogram);
// temporal filter APL
if(firstFrame)
{
for(i=(APL_FILTER_LENGTH-1);i>=0;i--)
{
APL_History[i]=APL;
}
}
for(i=(APL_FILTER_LENGTH-1);i>=1;i--)
{
APL_History[i]=APL_History[i-1];
}
APL_History[0]=APL;
APL=0;
for(i=0;i<APL_FILTER_LENGTH;i++)
APL=APL+APL_History[i]*IntAplFilterTaps[i];
APL=(APL+(1<<(APL_FILTER_SHIFT-1)))>>APL_FILTER_SHIFT;
BackLightIndexReference=APL2BackLightIndex[APL];
}
［重み付けされたエラーベクトルの実施例］
本発明の一部の実施例は、バックライトまたは光源照度レベルを選択するために重み付けされたエラーベクトルを利用する方法およびシステムに関する。一部の実施例では、ターゲット画像の照明のために最終選択を行う複数の光源照度レベルを選択する。次に、光源照度レベルの各々に対するディスプレイ出力を計算するのに、パネルディスプレイモデルを使用できる。一部の実施例では、前に説明した実施例を参照して説明したような基準ディスプレイモデルまたは実際のディスプレイモデルを使用して、ディスプレイ出力レベルを決定できる。ターゲット出力曲線も生成される。次に、パネル出力とターゲット出力曲線を比較することにより、各光源照度レベルに対するエラーベクトルを決定できる。
画像のヒストグラムまたは画像値をエミュレートする同じようなものをターゲット画像に対して生成することもできる。画像ヒストグラムまたは同じようなものにおける各画素値に対応する値を使って、特定の画像に対するエラーベクトルに重み付けをすることができる。一部の実施例では、特定の画素値に対応するヒストグラムのＢｉｎ内のヒット数に、その画素値に対するエラーベクトルの値を乗算し、重み付けされた画像固有のエラーベクトル値を生成できる。重み付けされたエラーベクトルは、画像内の各画素値に対するエラーベクトル値を含み得る。この画像固有の、光源照度レベル固有のエラーベクトルがその特定の画像に対する固有の光源照度レベルを使用する結果得られるエラーの表示として使用できる。
各光源照度レベルに対するエラーベクトルデータを比較すると、どの照度レベルがその特定の画像に対して最小のエラーを発生するかを示すことができる。一部の実施例では、重み付けされたエラーベクトルコード値の合計を重み付けされた画像エラーと呼ぶ。一部の実施例では、特定の画像に対して最小エラーまたは最小の重み付けされた画像エラーを生じる光源照度レベルがその画像を表示するために選択される。ビデオシーケンスでは、各ビデオフレームに対しこのプロセスを行うに従う結果、光源照度レベルはフレーム毎にダイナミックに変えられる。
図７９を参照し、本発明の一部の実施例の特徴について説明するが、図７９は、ターゲット出力曲線２０００およびいくつかのディスプレイ出力曲線２００２−２００８を示す。ターゲット出力曲線２０００は、画素値（横軸に示す）と、ディスプレイ出力（縦軸に示す）との間の望ましい関係を示す。２５％〜１００％までの光源照度レベルに対するディスプレイ出力曲線２００２〜２００８も示されている。２５％のバックライトに対するディスプレイ出力曲線は２００２で示されており、５０％のバックライトに対するディスプレイ出力曲線は２００４で示されており、７５％のバックライトに対するディスプレイ出力曲線は２００６で示されており、１００％のバックライトに対するディスプレイ出力曲線は２００８で示されている。一部の実施例では、ディスプレイ出力曲線２００２〜２００８とターゲット出力曲線２０００との間の垂直方向の差は、その位置における画素値に対応するエラー値を示すか、またはこのエラー値に比例する。一部の実施例では、画素値のセットに対するこれらエラー値の累積値をエラーベクトルと呼ぶ。
図８０を参照し、本発明の一部の実施例の特徴について説明する。図８０は、特定のディスプレイ光源照度レベルに対してエラーベクトルをプロットしたものである。この図におけるエラーベクトルのプロットは、図７９のターゲットおよびディスプレイ出力曲線２０００〜２００８に対応する。２５％のバックライトに対するエラーベクトルは番号２０１６で示されており、５０％のバックライトに対するエラーベクトルは番号２０１４で示されており、７５％のバックライトに対するエラーベクトルは番号２０１２で示されており、１００％のバックライトに対するエラーベクトルは番号２０１０で示されている。図８０に示されるこれらの実施例では、すべてのエラー値を正の数にするために、二乗されたエラー値を使用する。別の実施例では、他の方法によってエラー値を決定でき、一部のケースでは負のエラー値も存在し得る。
本発明の一部の実施例では、エラーベクトルと画像データとを組み合わせて、画像固有のエラー値を生成する。一部の実施例では、画像のヒストグラムと１つ以上のエラーベクトルとを組み合わせて、ヒストグラムで重み付けされたエラー値を生成する。一部の実施例では、特定の画素値に対するヒストグラムのＢｉｎカウントを、その画素値に対応するエラー値で乗算し、ヒストグラムで重み付けされたエラー値を生成する。所定のバックライト照度レベルにおける画像に対するすべてのヒストグラムで重み付けされた画素値の合計を、ヒストグラムで重み付けされたエラーと呼ぶことがある。複数のバックライト照度レベルの各々に対してヒストグラムで重み付けされたエラーが決められる。バックライト照度レベルは、そのバックライト照度レベルに対応するヒストグラムで重み付けされたエラーに基づいて選択される。
図８１を参照し、本発明の一部の実施例の特徴について説明する。図８１は、種々のバックライト照度レベルに対するヒストグラムで重み付けされたエラーをプロットした線を含む。最初の画像に対するヒストグラムで重み付けされたエラーをプロットした線２０２０は、８６％の照度レベル近くの最小値２０２１までエラーの大きさが一様に減少することを示し、最小値後は、その線はバックライト値が増加するにつれ上昇する。この特定の画像に対し、ほぼ８６％の照度レベルで、エラーが最小になる。第２画像に対する別の線２０２２は、９０％の照度レベルの近傍で第２の最小値２０２３まで一様に減少し、その後、バックライト値が増加するにつれ、その線は上昇する。この第２の画像に対し、約９５％の照度レベルでエラーが最小になる。このように、種々の光源またはバックライト照度レベルに対し、いったんヒストグラムで重み付けされたエラーが決定されると、特定の画像に対するバックライト照度レベルを選択できる。
図８２を参照し、本発明の一部の実施例について説明する。これらの実施例では、ヒストグラムの計算プロセス２０３１に画像２０３０を入力すると、これにより画像ヒストグラム２０３２が生成される。複数のバックライト照度レベルに対するエラーベクトルデータ２０３３を決定するのに、ディスプレイパネルも分析される。次に、ヒストグラムデータ２０３２と重み付けされたエラーベクトルデータ２０３３とを組み合わせることにより、重み付けされたエラー２０３５が生成される（２０３４）。一部の実施例では、この組み合わせは画素値に対応するエラーベクトル値をその画素値に対応するヒストグラムのカウントで乗算し、ヒストグラムで重み付けされたエラーベクトル値を生成することによって実行される（２０３４）。画像内のすべての画素値に対するすべてのヒストグラムで重み付けされたエラーベクトル値の合計を、ヒストグラムで重み付けされたエラー２０３５と呼ぶことがある。
各バックライト照度レベルに対するエラーベクトルと適切なヒストグラムのカウント値とを組み合わせることにより、複数のバックライト照度レベルの各々に対し、ヒストグラムで重み付けされたエラーを決定できる。このプロセスの結果、複数のバックライト照度レベルに対するヒストグラムで重み付けされたエラー値を含むヒストグラムで重み付けされたエラーアレイが得られる。次に、画像表示にとって、どのバックライト照度レベルが最も適切であるかを判断するために、ヒストグラムで重み付けされたエラーアレイにおける値が分析される。一部の実施例では、最小のヒストグラムで重み付けされたエラー２０３６に対応するバックライト照度レベルが画像表示に対して選択される。一部の実施例では、バックライト照度レベルの決定に別のデータが影響し得る。例えば一部の実施例では、省電力目標が決定に影響し得る。一部の実施例では、最小のヒストグラムで重み付けされたエラー値に近いが、同じようにその他の基準を満たすようなバックライト照度レベルを選択できる。一旦、バックライト照度レベル２０３７を選択すると、ディスプレイにこのレベルが通知される。
図８３を参照し、本発明の一部の実施例について説明する。これらの実施例では、特定のディスプレイデバイスまたはディスプレイ特性に対するターゲット出力曲線を生成する（２０４０）。この曲線またはそれに付随するデータは、ディスプレイの望ましい出力を示す。種々のバックライトまたは光源照度レベルに対するディスプレイ出力曲線も生成する（２０４１）。例えば一部の実施例では、０％〜１００％までの間で１０％または５％きざみで、バックライト照度レベルに対するディスプレイ出力曲線を生成できる。
ターゲット出力曲線およびディスプレイまたはパネル出力曲線に基づき、照度レベル固有のエラーベクトルが計算される（２０４２）。これらエラーベクトルは、対応する画素値におけるターゲット出力曲線の値とディスプレイまたはパネル出力曲線の値の差を求めることにより計算できる。１つのエラーベクトルは、１つの画像の各画素値に対するエラー値またはターゲットディスプレイのダイナミックレンジ内の各画素値に対するエラー値を含み得る。エラーベクトルは複数の光源照度レベルに対して計算される。例えば、エラーベクトルはディスプレイに対して生成された各表示出力曲線に対して計算される。あらかじめ１組のエラーベクトルを計算し、画像表示中にリアルタイム計算に使用するために、これを記憶するあるいは他の計算のために使用することができる。
特定の画像または画像特性に光源照度レベルを合わせるために、画像のヒストグラムを生成し（２０４３）、照度レベル選択プロセスで使用できる。一部の実施例では、特定の画像において、画素値が発生する周波数を識別するのに、他のデータ構造を使用できる。これら他の構造を、この明細書ではヒストグラムと呼ぶ。
一部の実施例では、表示エラーを画像に関連付けるために、変化する光源照度レベルに対応するエラーベクトルがヒストグラムの値で重み付けされる（２０４４）。これらの実施例では、エラーベクトル値は対応する画素値に対するヒストグラム値で乗算されるかまたはそれと関連付けられる。換言すれば、所定の画素値に対応するエラーベクトル値は、所定の画素値に対応するヒストグラムのＢｉｎカウント値で乗算される。
重み付けされたエラーベクトル値が一旦決定されると、所定のエラーベクトルに対する重み付けされたすべてのエラーベクトル値が加算され（２０４５）、そのエラーベクトルに対応する照度レベルに対するヒストグラムで重み付けされたエラー値が生成される。エラーベクトルを計算した各照度レベルに対し、ヒストグラムで重みづけされたエラー値が計算される。
一部の実施例では、ヒストグラムで重み付けされたエラー値のセットを検査（２０４６）し、設定特性を決定できる。一部の実施例では、この設定特性を最小値とすることができる。一部の実施例では、この設定特性を、その他の制限内の最小値とすることができ、一部の実施例では、この設定特性をパワー制限を満たす最小値とすることができる。一部の実施例では、直線、曲線または他の形状のものがヒストグラムで重み付けされたエラー値のセットに対してあてはめられ、又、これらを使って既知のエラー値の間を補間するため、あるいは、これらがヒストグラムで重み付けされたエラー値のセットを表わすために使用される。ヒストグラムで重み付けされたエラー値および設定特性または他の制限に基づき、光源照度レベルを選択できる。一部の実施例では、最小のヒストグラムで重み付けされたエラー値に対応する光源照度レベルを選択できる。
一旦、光源照度レベルが選択されると、ディスプレイがターゲット画像を表示するために選択された照度レベルを使用できるように、その選択がディスプレイに通知されるか、または表示の時に使用される画像と共に記憶される。
［シーンカットに応答するディスプレイ光源信号フィルタ］
光源変調はダイナミックコントラストを改善し、ディスプレイの電力消費量を低減できるが、この光源変調はディスプレイの輝度に不快な変動を生じさせることがある。上記のように、光源の変化の大部分を補償するために画像データを変更できるが、この方法は、ダイナミックレンジの最端部での光源の変化を完全には補償できない。このような不快な変動は、ドラスティックな光源レベルの変化およびそれに付随する変動を低減するために光源信号を時間的にローパスフィルタリングすることによって低減できる。この方法は、黒レベルの変化を制御する際に有効であり、十分長いフィルタを用いることにより、この黒レベルの変化を効果的に感知できないようにできる。
しかしながら、ビデオシーケンスのいくつかのフレームにまたがる長いフィルタは、シーンが遷移する際に問題となり得る。例えば暗いシーンから明るいシーンへの切り変わり時には、低い黒レベルから高い明るさへ移るために、光源レベルを急激に上昇させなければならない。光源またはバックライト信号の単純な時間的フィルタリングは、ディスプレイの応答性を制限し、その結果、暗いシーンから明るいシーンへ変化した後に、画像の明るさを徐々に上昇させて不快にする。このような上昇を実質的に見えないようにする十分長いフィルタを使用する結果、遷移後に明るさが低下する。
従って、本発明の一部の実施例は、シーンカット検出を含み、一部の実施例は、ビデオシーケンスにおけるシーンカットの存在に対して応答するフィルタを含む。
図８４を参照し、本発明の一部の実施例について説明する。これらの実施例では、シーンカット検出器２０５１および／またはバッファ２０５２に画像２０５０またはその画像からの画像データを入力する。一部の実施例では、これらモジュール２０５１および２０５２の一方または双方は、画像ヒストグラムを生成し、この画像ヒストグラムは他方のモジュール２０５１および２０５２も通る。次に、画像２０５０および／または画像データは、適切な光源レベルを決定または選択する光源レベル選択モジュール２０５３に送られる。上記種々の方法でこのような選択または決定を実行できる。次に、時間フィルタモジュール２０５４に、選択した光源レベルが通知される。シーンカット検出モジュール２０５１は、現時点のフレームに隣接するか、または現時点のフレームに対して所定の近さの範囲内にあるビデオシーケンス内にシーンカットが存在するかどうかを判断するために、画像データまたは画像ヒストグラムを使用できる。シーンカットが検出された場合、その存在が時間フィルタモジュール２０５４へ通知される。この時間フィルタモジュール２０５４は、一連の光源レベル信号をフィルタリングできるように光源信号バッファを含むことができる。この時間フィルタモジュール２０５４は、光源信号をフィルタリングするための複数のフィルタまたは１つ以上の可変フィルタも含むことができる。一部の実施例では、時間フィルタモジュール２０５４は、無限インパルス応答（ＩＩＲ）フィルタを含むことができ、一部の実施例では、異なるフィルタ応答および出力を生じるよう、ＩＩＲフィルタの係数を変えることができる。
時間フィルタモジュール２０５４の１つ以上のフィルタは、シーンカットに依存し得るので、シーンカット検出器２０５１からのシーンカット信号は、フィルタ特性に影響し得る。一部の実施例では、現時点のフレームの近くでシーンカットが検出されたときに、フィルタを完全にバイパスさせる。別の実施例では、シーンカットの検出に応じて、単にフィルタ特性が変えられる。別の実施例では、現時点のフレームの近くでのシーンカットの検出に応じて、異なるフィルタが使用される。時間フィルタモジュール２０５４が、必要なフィルタリングを実行した後に、光源レベル信号が光源作動モジュール２０５５へ送信される。
図８５を参照し、本発明の一部の実施例について説明する。これらの実施例では、シーンカット検出機能およびそれに関連する時間フィルタ機能が画像補償モジュールに結合される。一部の実施例では、画像２０６０またはそこから派生される画像データを、シーンカット検出モジュール２０６１、バッファ２０６２および／または画像補償モジュール２０６６へ入力する。一部の実施例では、これらモジュール２０６１および２０６２のうちの１つ以上が、画像ヒストグラムを生成し、このヒストグラムは他方のモジュール２０６１または２０６２へ送られる。次に、画像２０６０および／または画像データは、適切な光源レベルを決定または選択する光源レベル選択モジュール２０６３に送られる。上記のような種々の方法で、この選択または決定を実行できる。次に、時間フィルタモジュール２０６４へ、選択された光源レベルを通知する。シーンカット検出モジュール２０６１は、画像データまたは画像ヒストグラムを使って、現時点のフレームに隣接するか、または現時点のフレームの所定の近さの範囲内にあるビデオシーケンス内にシーンカットが存在するかどうかを判断する。シーンカットが検出された場合、シーンカットが存在することを示す信号が時間フィルタモジュール２０６４へ送られる。この時間フィルタモジュール２０６４は、一連の光源レベル信号をフィルタリングできるよう、光源信号バッファを含むことができる。この時間フィルタモジュール２０６４は、光源信号をフィルタリングするための複数のフィルタまたは１つ以上の可変フィルタも含むことができる。一部の実施例では、時間フィルタモジュール２０６４は、無限インパルス応答（ＩＩＲ）フィルタを含むことができる。一部の実施例では、異なるフィルタ応答および出力を生じるよう、ＩＩＲフィルタの係数を変えることができる。
時間フィルタモジュール２０６４の１つ以上のフィルタは、シーンカットに依存し得るので、シーンカット検出器２０６１からのシーンカット信号は、フィルタ特性に影響し得る。一部の実施例では、現時点のフレームの近くでシーンカットが検出されたときに、フィルタを完全にバイパスさせる。別の実施例では、シーンカットの検出に応じて、単にフィルタ特性が変えられる。別の実施例では、現時点のフレームの近くでのシーンカットの検出に応じて、異なるフィルタが使用される。時間フィルタモジュール２０６４が、必要なフィルタリングを実行した後に、光源作動モジュール２０６５および画像補償モジュール２０６６へ、光源レベル信号が送信される。画像補償モジュール２０６６は、画像２０６０のための適切な補償アルゴリズムを決定するために光源レベル信号を使用できる。この補償は、上記種々の方法で決定できる。画像補償を一旦決定すると、この補償を画像２０６０に適用し、光源作動モジュール２０６５へ送られた光源レベルを使って、変更された画像２０６７を表示できる。
図８６を参照し、本発明の一部の実施例について説明する。これらの実施例では、画像補償モジュール２０８１および画像処理モジュール２０７１へ入力画像２０７０が入力される。画像処理モジュール２０７１では、画像データを抽出し、ダウンサンプリングし、または他の方法で処理し、これらの実施例の他の要素の機能を有効にする。一部の実施例では、画像処理モジュール２０７１はヒストグラムを生成し、このヒストグラムはバックライト選択モジュール（２０７２）へ送られる。このバックライト選択モジュールは、ヒストグラムバッファモジュール２０７３およびシーンカット検出モジュール２０８４だけでなく、ディストーションモジュール２０７４および時間フィルタモジュール２０７５も含む。
ヒストグラムバッファモジュール２０７３内で、一連の画像フレームからのヒストグラムを比較し、分析する。シーンカット検出モジュール２０８４は、ヒストグラムを比較し、分析し、現時点のフレームの近くにシーンカットが存在するかを判断する。ヒストグラムデータはディストーションモジュール２０７４へ送信され、ここで１つ以上の光源照度レベルまたはバックライト照度レベルに対するディストーション特性が計算される（２０７７）。ディストーション特性を最小にすることにより（２０７８）、特定の光源照度レベルを決定できる。
次に、選択されたこの照度レベルが時間フィルタモジュール２０７５に送られる。時間フィルタモジュールはまたシーンカット検出モジュール２０８４からのシーンカット検出信号を受信する。このシーンカット検出信号に基づき、時間フィルタ２０７９が光源照度レベル信号に適用される。一部の実施例では、現時点のフレームの近くにおいて、シーンカットが検出されたときにフィルタを適用しなくてもよい。別の実施例では、シーンカットが存在するときに適用されるフィルタは、シーンカットが近くにないときに適用されるフィルタとは異なる。
フィルタリングされた光源照度レベル信号は光源作動モジュール２０８０および画像補償モジュール２０８１へ送られる。この画像補償モジュールは、フィルタリングされた光源照度レベルを使って、光源照度レベルの変化を補償するための適切なトーンスケール補正曲線または別の補正アルゴリズムを決定できる。一部の実施例では、この目的のために、トーンスケール補正曲線またはガンマ補正曲線２０８２が生成される。次に、変更された画像２０８３を生成するために、入力画像２０７０にこの補正曲線を適用できる。次に光源作動モジュール２０８０へ送られた光源照度レベルで、変更された画像２０８３を表示できる。
図８７を参照し、本発明の一部の実施例について説明する。これらの実施例では、入力画像２０９０またはこれから派生されたデータを、空間ローパスフィルタ２０９６、バッファ／プロセッサ２０９２、シーンカット検出モジュール２０９１および総和器２０９８へ入力する。空間ローパスフィルタ２０９６は、ローパス画像２０９７を形成でき、このローパス画像は明るさ保存トーンスケール発生モジュール２１０１へ送信される。このローパス画像２０９７は、ハイパス画像２０９９を形成するよう、入力画像２０９０と組み合わせるために、総和器２０９８へも送られる。
シーンカット検出モジュール２０９１は、入力画像またはそれからのデータ、例えばヒストグラムだけでなく、バッファ／プロセッサ２０９２に記憶されたデータも使用し、シーンカットが現時点のフレームに近いかどうかを判断する。シーンカットが検出された場合、信号が時間フィルタモジュール２０９４へ送られる。入力画像２０９０またはそこから派生されたデータを、バッファ／プロセッサ２０９２へ送り、そこで画像，画像データおよびヒストグラムを記憶し、比較する。適切な光源照度レベルを計算する際に検討するために、光源レベル選択モジュール２０９３へこのデータが送られる。光源レベル選択モジュール２０９３によって計算されたレベルはフィルタリングのために時間フィルタモジュール２０９４へ送られる。このプロセスに使用されるフィルタ例について、本明細書で後に説明する。光源レベル信号のフィルタリングは、現時点のフレームの近くにシーンカットが存在する場合に適応できる。後に説明するように、時間フィルタモジュール２０９４は、シーンカットが近くにないとき、より積極的にフィルタリングする。
フィルタリング後、入力画像またはそれに基づいて変更された画像を表示するのに使用するために、光源レベルは光源作動モジュール２０９５へ送られる。時間フィルタモジュール２０９４の出力は、明るさ保存トーンスケール発生モジュール２１０１へも送られ、この発生モジュールは次にトーンスケール補正曲線を生成し、その補正曲線をローパス画像２０９７へ適用する。次に、この補正されたローパス画像をハイパス画像２０９９と組み合わせ、エンハンス画像２１０２を形成する。一部の実施例では、補正されたローパス画像と組み合わせる前に、利得曲線によってハイパス画像２０９９を処理することもできる。
図８８を参照し、本発明の一部の実施例の特徴について説明する。これらの実施例では、現時点のフレームに対する光源照度レベルを決定する（２１１０）。現時点のフレームに近いシーンカットの存在も判断される（２１１１）。シーンカットが近くにある場合、現時点のフレームに対する光源照度レベル信号に対し、第２の時間フィルタリングプロセスを適用する（２１１２）。シーンカットが現時点のフレームの近くにない場合、現時点のフレームに対する光源照度レベル信号に対し、第１の時間フィルタリングプロセス２１１３を適用する。任意のフィルタリングを実行した後に、ディスプレイへ光源照度レベル信号を送り、現時点のフレームに対する照度レベルを指定する（２１１４）。一部の実施例では、第２のフィルタリングプロセス２１１２は、シーンカットが近くにある場合にフィルタリングをバイパスするだけである。
図８９を参照し、本発明の一部の実施例の特徴について説明する。これらの実施例では、光源レベル選択に関連するデータを決定するために、画像を分析する（２１２０）。このプロセスはヒストグラムの生成および比較を含む。画像データに基づき、適切な光源レベルが選択される（２１２１）。次に、１つ以上前のフレームからの画像データと、現時点のフレームからの画像データとを比較（２１２２）することにより、シーンカットの存在を判断できる。一部の実施例では、この比較はヒストグラムの比較を含むことができる。シーンカットが存在しない場合（２１２３）、現時点のフレームの光源レベルに対し、第１のフィルタリングプロセスを適用できる（２１２５）。このプロセスは、前のフレームに対して使用されたレベルに基づき、現時点のフレームに対する光源レベルの値を調節できる。シーンカットを検出したときは（２１２３）、光源照度レベルに第２のフィルタリングプロセス２１２４を適用できる。一部の実施例では、この第２のフィルタリングプロセスは、第１のフィルタリングプロセスの省略またはより積極的でないフィルタリングのプロセスの使用を含むことができる。フィルタリング後、現時点のフレームを表示するのに使用するためにディスプレイへ光源照度レベルが送られる。
テストビデオシーケンスを有するシナリオ例を参照し、本発明の一部の実施例の方法およびシステムについて説明する。このシーケンスは、発生したり、消えたりする白いオブジェクトを有する黒色バックグラウンドから成る。画像補償にかかわらず、黒色および白色値はバックライトに従う。フレームごとに選択されたバックライトは、黒フレーム上のゼロから白色になる大きい値まで変化し、再びゼロに戻る。図９０には、光源またはバックライトレベルとフレーム数の関係をプロットした線が示されている。この結果生じる画像は、黒レベルが変化する問題を有する。このビデオシーケンスは白色の四角形が現れる黒のバックグラウンドである。当初、バックライトは低く、黒シーンは極めて暗い。白色の四角形が現れると、バックライトが上昇し、黒レベルが濃い灰色になっていくのが目立つようになる。四角形が消滅すると、バックライトが低下し、バックグラウンドが再び極めて暗くなる。黒レベルのこのような変化は邪魔である。この黒レベルの変化を解消するには２つの方法がある。１つの方法は、暗いシーンでの黒色を人工的に上昇させるか、またはバックライトの変化を制御することである。黒レベルを高くすることは望ましくないので、本発明の方法およびシステムは、バックライトの変化がドラスティックとならないか、または顕著にならないようにバックライトの変化を制御している。
［時間フィルタリング］
これらの実施例の解決方法は、バックライト信号の変動を制御することによって、この黒レベルの変動を制御することである。人の視覚系は、輝度の低周波変動を検知できない。例えば日の出の間、空のブライトネス（明るさ）は確実に変化するが、この変化は、認識できるほど速くはない。図９１に示される時間的コントラスト感度関数（ＣＳＦ）では、定量的な測定が要約されている。一部の実施例では、黒レベルの変動を制限するフィルタを設計するのに、この概念を使用できる。
一部の実施例では、バックライト信号を平滑にするのに、単極ＩＩＲフィルタを使用できる。このフィルタは、バックライト信号の履歴値に基づくことができる。将来の値を利用できないとき、これらの実施例は良好に働く。
Figure 2010537243
ここで、ＢＬ（ｉ）は、画像内容に基づくバックライト値であり、Ｓ（ｉ）は、現時点の値および履歴に基づく平滑にされたバックライト値である。このフィルタは、αに極を有するＩＩＲフィルタであり、このフィルタの伝達関数は次のように表記できる。
Figure 2010537243
次の図９２には、この関数のボーデ図が示されている。周波数応答図は、このフィルタがローパスフィルタであることを示している。
本発明の一部の実施例では、現時点のフレームの近くのシーンカットの存在に基づき、フィルタを変えることができる。これらの実施例の一部では、極αに対する２つの値を使用でき、シーンカット検出信号に応じてこれらの値は切り換えられる。一実施例では、シーンカットを検出しないとき、推奨値は１０００／１０２４である。一部の実施例では、１〜１／２の値が推奨される。しかしながら、シーンカットが検出されると、この値は１２８／１０２４に置換される。一部の実施例では、この係数に対して１／２〜０の値が使用される。これらの実施例は、シーンカットにわたってより限られた量の平滑化を行うが、このことは有効であることが分かっている。
図９３におけるプロットは、例示システムの応答を示し、このシステムは図９０に示されたシーケンスに対し、時間バックライトフィルタリングを使用しており、この図９０は、２１４１におけるフレーム６０と２１４３におけるフレーム１２０との間の黒バックグラウンドに対し白領域の出現を含んでいる。白領域の発生前のゼロ２１４０ａから、白が生じるときの一定の高い値２１４０ｂまで、フィルタリングされていないバックライトは増加する。次に、このフィルタリングされていないバックライトは、２１４３におけるシーケンスから、白領域が消滅するときに再びゼロ２１４０ｃまで即座に低下する。このことは、明るい白領域を明るくする効果を有するが、黒のバックグラウンドを濃い灰色にしてしまうという副作用も有する。従って、白領域が発生し、消滅する際に、バックグラウンドが変化する。フィルタリングされたバックライト２１４２ａ、ｂおよびｃは、バックライトの変化が感知されないようにその変化を制限する。フィルタリングされたバックライトは、２１４１において、白領域が出現する前に、ゼロ値２１４２ａでスタートし、ゆっくりと２１４２ｂ上を増加する。白領域が消滅すると、バックライト値は、制御された速度で２１４２ｃまで低下させられる。フィルタリングされたシステムの白領域は、フィルタリングされていないシステムよりも若干薄暗いが、バックグラウンドの変化はずっと感知されない。
一部の実施例では、時間フィルタリングの応答性が問題となる場合がある。このことは、バックライトの応答性をこのように制限しないシステムと並べて比較すると特に顕著である。例えばシーンカットにわたってフィルタリングをする際に、黒レベルの変動を制御するのに使用するフィルタにより、バックライトの応答が制限される。図９４にはこの問題が示されている。図９４のプロットは、２１５０にて、黒から白まで急激に変化するシャープなシステムの出力をシミュレートしたものである。フィルタリングされていないシステム２１５１は、バックライトをゼロ２１５１ａから、明るい白を得るために上昇したレベル２１５１ｂまで上昇させることによって即座に応答する。フィルタリングシステムは、黒から白までの変化に対し曲線２１５２ｂに沿ってゼロ２１５２ａからゆっくりと上昇する。フィルタリングされていないシステムでは、画像は即座に灰色値まで進む。フィルタリングされたシステムでは、バックライトがゆっくりと増加するにつれ、灰色はゆっくりと白まで上昇する。従って、急速なシーン変化に対するフィルタリングされたシステムの応答性が低減される。
［シーンカットの検出］
本発明の一部の実施例は、シーンカット検出プロセスを含む。シーンカットを検出すると、バックライトの急速応答を可能にするように時間フィルタリングを変更できる。シーン内では、黒レベルの変化を制御するようにフィルタリングすることにより、バックライトの変化を制限する。シーンカットでは、人の視覚系のマスキング効果によって、ビデオ信号内のちょっとしたアーティファクトおよび変化は感知されない。
現時点のフレームが前のフレームと極めて異なるときにシーンカットが存在する。シーンカットが生じないとき、連続するフレームの間の差は小さい。シーンカットの検出を助けるために、２つの画像の間の差の測定法を定め、シーンカットと非シーンカットとを区別するようにスレッショルドを設定できる。
一部の実施例では、シーンカット検出方法は、ヒストグラムの差の相関性に基づくことができる。特に２つの連続するフレームまたは近接フレームＨ１およびＨ２のヒストグラムが計算される。２つの画像の間の差をヒストグラムの距離として定義できる。
Figure 2010537243
ここで、ｉおよびｊはＢｉｎのインデックスであり、ＮはＢｉｎの数であり、Ｈ１（ｉ）はヒストグラムのＢｉｎのｉ番目の値である。Ｂｉｎの値の合計が１に等しくなるようにヒストグラムを正規化する。一般的には、各Ｂｉｎの差が大きい場合、距離Ｄｃｏｒが大きくなる。ａｉｊはＢｉｎのインデックスの間の距離の二乗に等しい相関重み付けであり、このことは、２つのＢｉｎが互いに近い場合、例えばｉ番目のＢｉｎと（ｉ＋１）番目のＢｉｎのようにこれらを掛け合わせたものの影響は極めて小さい。そうでない場合は、影響は大きくなる。直感的には、純粋な黒と純粋な白画像に対し、２つの大きいＢｉｎの差は第１Ｂｉｎと最終Ｂｉｎとに存在する。その理由は、Ｂｉｎインデックス間の距離が大きいので、ヒストグラムの最終距離は大きくなるからである。黒画像に対するわずかな輝度の変化がなければ、Ｂｉｎの差が大きくても、これらは互いに接近（ｉ番目のＢｉｎおよび（ｉ＋１）番目のＢｉｎ）しているので、最終距離は近い。
シーンカットを分類するために、画像距離測定の他にスレッショルドを決定しなければならない。一部の実施例では、このスレッショルドを実験により求め、０.００１に設定できる。
一部の実施例では、シーン内において黒レベルの変動を限定するようになっているフィルタリングを使用できる。これらの実施例は、シーンカットに応答しない固定フィルタシステムを単に使用するだけである。黒レベルの可視的な変動は生じないが、応答は制限される。
一部の実施例では、シーンカットが検出されると、フィルタを応答がより高速のフィルタに切り換えることができるようになっている。こうすることによって、黒から白への変化に追随して、バックライトは、フィルタリングされていない信号のように劇的に上昇するのではないが、迅速に上昇する。図９５に示されるように、フィルタリングされていない信号はゼロから最大値２０１６までジャンプし、２０６０で白領域が出現した後に、その値に留まる。シーン２０６３内で使用されるより積極的なフィルタは、シーンカット遷移に対して非常にゆっくりと変化するが、シーンカットロケーションで使用される変更されたフィルタ２０６２は急速な上昇をし、その後、最大値に向かって徐々に増加するような変化を可能にする。
黒レベルの変化を感知させないように設計されたシーンカット検出および適応型時間フィルタリングを含む本発明の実施例を、適応型フィルタへ変更することで、大きい明るさ変化を伴うシーンカットに対するバックライトの応答性を維持しながら、シーン内で積極的に適用することができる。
低複雑性のＹゲイン実施例
本発明の一部の実施例は、低複雑システム内で働くようになっている。これらの実施例では、光源またはバックライトレベル選択は輝度ヒストグラムおよびこのヒストグラムに基づくディストーション計量値を最小にすることに基づくことができる。一部の実施例では、補償アルゴリズムはＹゲイン特性を使用できる。一部の実施例では、画像補償はＹゲイン処理を制御するためのパラメータの操作を含む。一部の状況では、Ｙゲイン処理はグレイスケール画像上の光源の減少を完全に補償するが、飽和した画像上の色の彩度を下げる。一部の実施例は、過剰な不飽和を防止するように、Ｙゲインの特性を制御できる。一部の実施例では、彩度低下を制御するためにＹゲイン強度パラメータを使用できる。一部の実施例では、２５％のＹゲイン強度が有効であることが証明されている。
図９６を参照し、本発明の実施例について説明する。
これらの実施例では、種々のバックライト照度レベルに対するディストーションの重み付け２０７４を計算し、オンライン処理中にアクセスするために、例えばＲＯＭ内に格納する。一部の実施例では、処理中に選択を行うために、例えばＲＯＭ内に他のフィルタ他特性のフィルタ係数２０７５またはパラメータを格納してもよい。
これらの実施例では、ヒストグラム計算プロセス２０７１に入力画像２０７０が入力され、このプロセスは、ヒストグラムバッファ２０７２に記憶される画像ヒストグラムを計算する。一部の実施例では、現時点のフレームに対するバックライトレベルを決定するために、前のフレームに対するヒストグラムが使用される。一部の実施例では、ディストーションモジュール２０７６は、ヒストグラムバッファ２１７２からのヒストグラム値およびディストーションの重み付け２１７４を使用し、種々のバックライト照度レベルに対するディストーション特性を決定する。次に、ディストーションモジュール２０７６は、計算されたディストーションを減少するか、または最小（２０７８）にするバックライト照度レベルを選択する。一部の実施例では、ディストーション計量値を決定するのに、次の式５４を使用する。
Figure 2010537243
ここでＢＬはバックライト照度レベルを示し、Ｗｅｉｇｈｔは、バックライト照度レベルおよびヒストグラムのＢｉｎに関連するディストーションの重み付け値であり、ＨはヒストグラムのＢｉｎの値である。
バックライト照度レベルを選択後、バックライト信号はフィルタモジュール２０７９内で時間フィルタ２０８０によりフィルタリングされる。このフィルタモジュール２０７９は、既にあらかじめ決定され、記憶されているフィルタ係数または特性２０７５を使用できる。フィルタリングが一旦実行されると、フィルタリングされた最終バックライト信号はディスプレイまたはディスプレイバックライト制御モジュール２０８１へ送られる。
Ｙゲイン設計モジュール２０８３へもフィルタリングされた最終バックライト信号が送られ、このモジュールで、この信号を使って画像補償プロセスが決定される。一部の実施例では、この補償プロセスは画像の輝度チャンネルに対し、トーンスケール曲線を適用することを含む。このＹゲイントーンスケール曲線は、それらの間で補間を実行できる。１つ以上のポイントによって決められる。一部の実施例では、Ｙゲイントーンスケールプロセスは、そのポイントより上でロールオフ曲線を使用できる最大忠実ポイント（ＭＦＰ）を含む。これらの実施例では、ＭＦＰより下のトーンスケール曲線を１つ以上の直線片が定め、丸め曲線関係が、ＭＦＰより上の曲線を定めることができる。一部の実施例では、次の式５５により丸め曲線部分を定めることができる。
Figure 2010537243
これらの実施例は、輝度チャンネルでしか画像の補償を行わず、グレイスケール画像に対するフル補償を行うが、このプロセスはカラー画像内で彩度低下を生ずる。カラー画像の過剰な彩度低下を防止するために、一部の実施例では、強度制御モジュール２０８２内で決定される補償強度係数を含む。Ｙゲイン設計モジュール２０８３は輝度データでしか作動しないので、カラー特性は未知であり、強度制御モジュールは実際のカラー飽和レベルを知らずに作動しなければならない。一部の実施例では、式５６に示されるようなトーンスケール曲線の定義内に強度係数またはパラメータを組み込むことができる。
Figure 2010537243
ここで、Ｓは強度係数であり、ＢＬはバックライト照度レベルであり、γはディスプレイγ値である。図９７にトーンスケール曲線の例を示す。
効率的な計算の実施例
本発明の一部の実施例では、バックライトまたは光源は、理想的なディスプレイとＬＣＤのような有限コントラスト比のディスプレイとの間のエラーを最小にすることに基づいて選択される。理想的なディスプレイと有限ＣＲディスプレイをモデル化する。各グレイレベルに対する理想的なディスプレイと有限ＣＲのディスプレイの間のエラーは、各バックライト値に対するエラーベクトルを定める。画像のディストーションは、各バックライトレベルにおけるエラーベクトルによって、画像ヒストグラムを重み付けすることによって定められる。
一部の実施例では、式５７に示された有限ＣＲ ＬＣＤにおけるフレアを説明するために、ディスプレイはパワー関数，ガンマ，追加項を使用してモデル化される。これは、ディスプレイコントラスト比ＣＲを使って表わされたオフセットゼロを有するGain-Offset-Gamma Flare（ＧＯＧＦ）モデルである。
Figure 2010537243
図９８には、ディスプレイモデルを示す。理想的ディスプレイ２２００および２５％（２２０１）および７５％（２２０２）のバックライトを有する有限ＣＲディスプレイが示されている。
有限のＣＲ ＬＣＤの最大値および最小値は、画像補償によって得られる理想ディスプレイの上限ｘｍａｘおよび下限ｘｍｉｎを定める。これら限度はバックライト、すなわちｂｌ、ガンマ、すなわちγおよびコントラスト比、すなわちＣＲに応じて決まる。モデルによって定められるこれらクリッピング限度は式５８に要約される。
Figure 2010537243
一部の実施例では、各バックライトレベルに対するエラーベクトルを定めるのに、最大限度および最低限度を使用できる。下記に示すエラー例は、クリッピングによって生じた二乗エラーに基づく。このエラーベクトルの成分は、指定されたバックライトレベルにおける理想的ディスプレイ出力と有限コントラスト比のディスプレイでの最も近い出力との間のエラーである。これら成分は式５９により代数的に定めることができる。
Figure 2010537243
図９９は、エラーベクトルの例を示す。１００％のバックライトレベルは、理想的ディスプレイと比較して、高い黒レベルによって生じる低画素値におけるエラーを有する。これらはバックライトレベルおよび画素値だけに依存する画像データとは関係がない。
一部の実施例では、バックライト変調および画像補償を有する有限ＣＲのＬＣＤの性能は、各バックライトに対するエラーベクトルのセットによって要約される。各バックライト値での画像のディストーションは、式６０で画像ピクセル値のディストーションの和として表わされる。図示するように、これらの実施例では、このディストーションは画像のヒストグラムから計算される。画像ヒストグラムによって、ｂｌに対するエラーベクトルの重み付けをすることにより各バックライトｂｌに対して画像のディストーションが計算される。この結果が、各バックライトレベルにおける画像ディストーションの量である。
Figure 2010537243
テレビの電力測定値に対する最近のＩＥＣ規格からの、３つのフレームによる実施例を示す。図１００は、画像ヒストグラムを示す図１０１には図１００の画像ヒストグラムに対するディストーション対バックライト曲線および図９９のディスプレイエラーベクトルが示されている。
一部の実施例では、理想的ディスプレイと有限ＣＲディスプレイとの間の画像のディストーションを最小にすることによって、バックライト選択アルゴリズムが作動する。
本発明の一部の実施例は、ディスプレイコントラスト比および異なるエラー計量値を含む能力の双方を含むディストーションフレームワークを備える。一部の実施例は、バックライト選択プロセスのすべてまたは一部として、クリッピングされたピクセルの数を最小にすることによって作動する。図１０２は、ＩＥＣテストセットの１つのフレームでの、二乗エラーの和（ＳＳＥ）ディストーションと、クリッピングされたピクセルの数（＃Ｃｌｉｐｐｅｄ）とを比較している。ＳＳＥはクリッピングされたピクセルの数の他にエラーの大きさを考慮しており、画像のハイライトを保存している。この画像に対し、クリッピングされたピクセルの数の最小値よりも高いバックライトでＳＳＥの最小値が生じる。クリッピングされたピクセルの数の他に、クリッピングエラーの大きさをＳＳＥが考慮することに起因して、このような差が生じる。クリッピングされたピクセルの数を示す曲線はスムーズではなく、多くの極小値を有する。ＳＳＥ曲線はスムーズであり、極小値が全体の最小値であるので、最小ＳＳＥを求める部分的サブサンプリングを有効にする。
このディストーションフレームワークによる計算は、最初に生じる程には困難ではない。一部の実施例では、ピクセル速度ではなく、フレームごとに１回バックライト選択を実行する。上記のように、ディスプレイエラーの重みはディスプレイのパラメータとバックライトだけに依存しており、画像の内容に依存していない。従って、所望すれば、ディスプレイのモデル化およびエラーベクトルの計算をオフラインで行うことができる。オンラインの計算はヒストグラムの計算、画像ヒストグラムによるエラーベクトルの重みづけおよび最小ディストーションの選択を含む。一部の実施例では、ディストーション最小化で使用されるバックライト値のセットを部分サンプリングし、ディストーションの最小値を効率よく探すことができる。一実施例では、１７のバックライトレベルを調べている。
本発明の一部の実施例では、ディスプレイのモデル化、エラーベクトル計算、ヒストグラム計算、画像ヒストグラムによるエラーベクトルの重み付けおよび最小ディストーションに対するバックライト選択をオンラインで実行する。一部の実施例では、実際の画像処理の前にディスプレイのモデル化およびエラーベクトル計算を実行し、一方、ヒストグラム計算、画像ヒストグラムによるエラーベクトルの重み付けおよび最小ディストーションに対するバックライト選択をオンラインで実行する。一部の実施例では、各バックライトレベルに対するクリッピングポイントをオフラインで計算し、一方、エラーベクトル計算、ヒストグラム計算、画像ヒストグラムによるエラーベクトルの重み付けおよび最小ディストーションに対するバックライト選択をオンラインで実行する。
本発明の一部の実施例では、画像に対するレベルをいつ選択するかを考慮するために、光源照度レベルのフルレンジの一部を選択する。一部の実施例では、レベルの全範囲のレベルを量子化することにより、この一部を選択する。これらの実施例では、選択のために一部内のレベルだけを検討する。一部の実施例では、照度レベルのこの一部のサイズはメモリの制約または他のリソースの制約によって決定される。
一部の実施例では、選択を行う一部の値を前のフレームに対して選択されたレベルに関連する範囲に制限することにより、処理中にこの光源照度レベルの一部を更に制限する。一部の実施例では、この制限された一部は、最終フレームに対して選択されたレベルの所定範囲内の値に限定される。例えば一部の実施例では、光源照度レベルの選択は、前に選択したレベルの一方の側の７つの値の限られた範囲に制限される。
本発明の一部の実施例では、光源照度レベルの範囲に関する制限は、シーンカット検出に依存する。一部の実施例では、光源照度レベルサーチアルゴリズムは、現時点のフレームの近くにシーンカットが検出されないときは、レベルの一部内から限られた範囲をサーチし、アルゴリズムはシーンカットが検出されたときは全照度レベルをサーチする。
図１０３を参照し、本発明の一部の実施例について説明する。これらの実施例では、元の入力画像フレーム２２５０からの画像データをシーンカット検出モジュール２２５１に入力し、シーンカットが現時点の入力フレーム２２５０に近いかどうかを判断する。現時点のフレームに隣接するフレームに関連する画像データもシーンカット検出モジュール２２５１に入力される。一部の実施例では、この画像データはヒストグラムデータを含む。シーンカット検出モジュールは次にこの画像データを処理し、シーンカットが現時点のフレームに近いかどうかを判断する。一部の実施例では、前のフレームのヒストグラムと、現時点のフレームのヒストグラムとが、スレッショルド値だけ異なっているときに、シーンカットが検出される。次に、ディストーションモジュール２２５２にシーンカット検出プロセスの結果を入力し、このモジュールにおいて、光源照度レベル選択プロセスで、どのような光源照明値を考慮するかを決定するのに、シーンカットの存在が使用される。一部の実施例では、シーンカットが近傍にあるときに、より広い範囲の照度レベルが考慮される。一部の実施例では、選択プロセスにおいて最終画像フレームに対して選択されたレベルに関連する照度レベルの限られた一部が使用される。従って、シーンカット検出プロセスは、光源照明プロセスで考慮される値の範囲に影響を及ぼす。一部の実施例では、シーンカットが検出されたときに、現時点のフレームに対する選択プロセスにおいて、より広い範囲の照度レベルが考慮される。一部の実施例では、シーンカットを検出したときに、前のフレームに対して選択されたレベルに関連しない照度レベルの範囲を、現時点のフレームのための選択プロセスで使用し、一方、前のフレームに対して選択されたレベルの周辺にまとめられる照度レベルの範囲がシーンカットが検出されないときの選択プロセスに使用される。
候補照度レベルの範囲または一部がシーンカットの存在を関連して、一旦決定されると、各候補照度レベルに対するディストーション値が決定される（２２５３）。次に、最小ディストーション値または他の基準に基づき、照度レベルのうちの１つが選択される（２２５４）。次に、この選択された照度レベルは、現時点のフレームを表示するのに使用するために光源またはバックライト制御モジュール２２５５へ通知される。伝送し、選択された照度レベルはトーンスケール曲線を計算するための画像補償プロセス２２５６または同様な補償ツールへの入力としても使用できる。このプロセスの結果得られた補償またはエンハンスされた画像２２５７が表示される。
図１０４を参照し、本発明の一部の実施例について説明する。これらの実施例は、現時点のフレームの近くのシーンカットの存在を判断するために、１つの画像または画像シーケンスを分析する（２２６０）。シーンカットが検出されると（２２６３）、光源照度レベル選択プロセスにおいて、光源照度レベルのより大きいセットが検討される。このより大きいセットは、サイズにおいてシーンカットが検出されないときに使用される一部に関係する。一部の実施例では、このより大きいセットは前のフレームに対して使用された値と関係しない。シーンカットが検出されない場合（２２６２）、照度レベルの限られた一部が選択プロセスにおいて使用される。一部の実施例では、その限られた一部は前のフレームに対して使用された値にも関連し得る。例えば一部の実施例では、限られた一部は前のフレームに対して使用された値の周辺にまとめられる一部である。照度レベルの範囲に関する制約を一旦決定すると、適切な範囲または一部から光源照度レベルを選択（２２６４）できる。
これまで明細書で使用した用語および表現は、発明を説明するために用いたものであり、発明を限定するために用いたものではない。かかる用語および表現の使用にあたり、図示し、かつ説明した特徴事項またはその一部の均等物を排除するものではなく、本発明の範囲は特許請求の範囲のみによって定められるものである。
関連出願
下記の出願は参照することにより本書に組み込まれる。
２００６年８月１７日に出願された「ディスプレイの光源の照度レベルを選択する方法およびシステム」を発明の名称とする米国特許出願第１１／４６５，４３６号；２００５年１２月２日に出願された「ディスプレイの光源調節を決定する方法およびシステム」を発明の名称とする米国特許出願第１１／２９３，５６２号；２００５年９月１２日に出願された「画像固有のトーンスケール調節および光源制御の方法およびシステム」を発明の名称とする米国特許出願第１１／２２４，７９２号；２００５年６月１５日に出願された「高周波コントラストエンハンスメントによりディスプレイの特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５３号；２００５年６月１５日に出願された「周波数固有の利得でディスプレイの特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５４号；２００５年６月１５日に出願された「ディスプレイ特性をエンハンスする方法およびシステム」を発明の名称とする米国特許出願第１１／１５４，０５２号；２００６年３月３０日に出願された「肌色検出を使ったカラーエンハンスメント技術」を発明の名称とする米国特許出願第１１／３９３，４０４号；２００６年７月２８日に出願された「ディストーションに関連する光源管理の方法およびシステム」を発明の名称とする米国特許出願第１１／４６０，７６８号；２００５年８月８日に出願された「マルチビューディスプレイにおける独立したビュー調節のための方法およびシステム」を発明の名称とする米国特許出願第１１／２０２，９０３号；２００６年３月８日に出願された「周辺照明入力によりディスプレイ特性をエンハンスするための方法およびシステム」を発明の名称とする米国特許出願第１１／３７１，４６６号；２００５年１２月２日に出願された「ディスプレイモードに依存した明るさ保存のための方法およびシステム」を発明の名称とする米国特許出願第１１／２９３，０６６号；２００６年７月２８日に出願された「画像トーンスケール補正を発生し、適用するための方法およびシステム」を発明の名称とする米国特許出願第１１／４６０，９０７号；２００６年７月２８日に出願された「画像トーンスケール補正によりカラー保存するための方法およびシステム」を発明の名称とする米国特許出願第１１／１６０，９４０号；２００６年１１月２８日に出願された「低減された光源パワーレベルを補償するために画像のトーンスケールを調節するための方法およびシステム」を発明の名称とする米国特許出願第１１／５６４，２０３号；２００７年２月２８日に出願された「スムーズな利得画像を使用して明るさ保存するための方法およびシステム」を発明の名称とする米国特許出願第１１／６８０，３１２号；２００７年８月２７日に出願された「トーン曲線を発生し、選択し、適用するための方法およびシステム」を発明の名称とする米国特許出願第１１／８４５，６５１号；および２００６年１１月２８日に出願された「肌色検出を使用するカラーエンハンスメント技術」を発明の名称とする米国特許出願第１１／６０５，７１１号。

Claims (20)

  1. トーンスケール調整曲線パラメータを決定するための方法であって、前記方法は、
    ａ）ディスプレイ対象の画像の画像輝度ヒストグラムであって、Ｂｉｎ値を有する画像輝度ヒストグラムを生成し、
    ｂ）前記画像輝度ヒストグラムからの前記ヒストグラムのＢｉｎ値を、特定の光源照度レベルに対応するディストーションの重み付け値により重み付けし、これにより重み付けしたヒストグラムの値を生成し、
    ｃ）前記光源照度レベルのそれぞれに対するディストーション値を得るために、前記重み付けしたヒストグラムの値をまとめ、
    ｄ）前記ディストーション値に基づき、前記画像に対する光源照度レベルを選択し、
    ｅ）フィルタリングされた光源照度レベルを決定するために、前記選択した光源照度レベルをフィルタングし、
    ｆ）前記フィルタリングされた光源照度レベルおよび強度係数に基づいてトーンスケール調整曲線を生成することを含むことを特徴とする方法。
  2. 前記選択は、前記ディストーション値の最小値に基づくことを特徴とする請求項１に記載の方法。
  3. 前記重み付けは、前記ディストーションの重み付け値に前記ヒストグラムのＢｉｎ値を乗算することを含むことを特徴とする請求項１に記載の方法。
  4. 前記組み合わせは、所定の光源照度レベルのために、全ての重み付けをしたヒストグラムの値を加え合わせることを含むことを特徴とする請求項１に記載の方法。
  5. 前記トーンスケール調整曲線を前記画像に適用し、補償された画像を生成することを含むことを特徴とする請求項１に記載の方法。
  6. 前記トーンスケール調整曲線を生成することは、Ｓを強度係数、ＢＬをフィルタリングした光源照度レベル、γをディスプレイガンマ値として、方程式
    Figure 2010537243
    を使用することを含むことを特徴とする請求項１に記載の方法。
  7. ディスプレイ光源照度レベルを選択する方法であって、前記方法は、
    ａ）ディスプレイモデルに対するクリッピング限度を決定し、
    ｂ）前記クリッピング限度に基づいてディスプレイエラーベクトルを決定し、
    ｃ）ディスプレイ対象の画像の画像ヒストグラムであって、Ｂｉｎ値を有する画像ヒストグラムを生成し、
    ｄ）前記画像ヒストグラムからの前記ヒストグラムのＢｉｎ値を、特定の光源照度レベルに対応する前記ディスプレイエラーベクトルにより重み付けし、これにより重み付けしたヒストグラム値を生成し、
    ｅ）前記光源照度レベルのそれぞれに対するディストーション値を得るために、前記重み付けしたヒストグラム値をまとめ、
    ｆ）前記ディストーション値に基づき、前記画像に対する光源照度レベルを選択することを含むことを特徴とする方法。
  8. フィルタリングした光源照度レベルを決定するために、前記選択された光源照度レベルをフィルタリングすることを更に含むことを特徴とする請求項７に記載の方法。
  9. 前記フィルタリングされた光源照度レベルおよび強度係数に基づき、トーンスケールの傾きを決定することを更に含み、前記トーンスケールの傾きは、部分的に、前記画像の輝度チャネルに対するトーンスケール調整曲線を定義することを特徴とする請求項８に記載の方法。
  10. 前記クリッピング限度を決定することには、ｘｍｉｎおよびｘｍａｘをクリッピング限度、ＣＲをディスプレイのコントラスト比、ｂｌを光源照度レベル、γをディスプレイガンマ値として、方程式
    Figure 2010537243
    を使用することを含むことを特徴とする請求項７に記載の方法。
  11. 前記ディスプレイエラーベクトルを決定することには、ｘｍｉｎおよびｘｍａｘをクリッピング限度、ｘを画像コード値、ｂｌを光源照度レベルとして、方程式
    Figure 2010537243
    を使用することを含むことを特徴とする請求項７に記載の方法。
  12. 前記ヒストグラムのＢｉｎ値を前記重み付けすることは、ｂｌを光源照度レベル、Ｉ（ｉ，ｊ）を画像ピクセル値、
    Figure 2010537243
    をディスプレイエラーベクトルとして、方程式
    Figure 2010537243
    を使用することを含むことを特徴とする請求項７に記載の方法。
  13. 前記クリッピング限度を決定することは、画像処理の前に実行され、前記クリッピング限度は、処理中に使用するために記憶されることを特徴とする請求項７に記載の方法。
  14. 前記ディスプレイエラーベクトルを決定することは、画像処理の前に実行され、前記ディスプレイエラーベクトルは、処理中に使用するために記憶されることを特徴とする請求項７に記載の方法。
  15. ディスプレイ光源照度レベルを選択する方法であって、前記方法は、
    ａ）現時点のフレームの近くのシーンカットの存在を判定し、
    ｂ）候補光源照度レベルの範囲を、前記現時点のフレームの近くの前記シーンカットの存在に基づいて決定し、
    ｃ）前記現時点のフレームに対して前記候補光源照度レベルから一つを、ディストーション基準に基づいて選択することを含むことを特徴とする方法。
  16. 前記シーンカットの存在を決定することは、前記現時点のフレームおよび付近のフレームのヒストグラムを比較することを含むことを特徴とする請求項１５に記載の方法。
  17. 前記候補光源照度レベルの範囲を決定することは、シーンカットが検知される場合に、より広い範囲の照度レベルを選択することを含むことを特徴とする請求項１５に記載の方法。
  18. 前記候補光源照度レベルの範囲を決定することは、シーンカットが検知されない場合に、前フレームのために選択された照度レベルの周辺にまとめられる照度レベルの範囲を選択することを含むことを特徴とする請求項１５に記載の方法。
  19. 前記候補光源照度レベルの範囲を決定することは、照度レベルの全範囲の量子化により決定された第１の部分と、前フレームのために選択された値の各側の固定された数の値を一まとめにすることにより決定された第２の部分とから選択を行うことを含むことを特徴とする請求項１５に記載の方法。
  20. 前記現フレームに対して前記候補光源照度レベルから一つを前記選択することは、いずれの候補照度レベルがディストーションを引き起こすことが最も少ないかを判定することを含むことを特徴とする請求項１５に記載の方法。
JP2010521585A 2007-12-26 2008-12-10 トーンスケール調節曲線パラメータを決定するための方法 Expired - Fee Related JP5291710B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/964,674 2007-12-26
US11/964,674 US8207932B2 (en) 2007-12-26 2007-12-26 Methods and systems for display source light illumination level selection
PCT/JP2008/073020 WO2009081826A1 (en) 2007-12-26 2008-12-10 Methods for determing a tonescale adjustment curve parameter and methods for selecting a display source light illumination level

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012120558A Division JP5358002B2 (ja) 2007-12-26 2012-05-28 ディスプレイの光源照度レベルを選択する方法

Publications (2)

Publication Number Publication Date
JP2010537243A true JP2010537243A (ja) 2010-12-02
JP5291710B2 JP5291710B2 (ja) 2013-09-18

Family

ID=40797614

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010521585A Expired - Fee Related JP5291710B2 (ja) 2007-12-26 2008-12-10 トーンスケール調節曲線パラメータを決定するための方法
JP2012120558A Expired - Fee Related JP5358002B2 (ja) 2007-12-26 2012-05-28 ディスプレイの光源照度レベルを選択する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012120558A Expired - Fee Related JP5358002B2 (ja) 2007-12-26 2012-05-28 ディスプレイの光源照度レベルを選択する方法

Country Status (6)

Country Link
US (1) US8207932B2 (ja)
EP (1) EP2227800B1 (ja)
JP (2) JP5291710B2 (ja)
CN (1) CN101911169B (ja)
RU (1) RU2436172C1 (ja)
WO (1) WO2009081826A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886206B2 (en) 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
US20110249195A1 (en) * 2009-05-29 2011-10-13 Osamu Teranuma Display device, and television receiver
EP2284827A1 (en) * 2009-07-15 2011-02-16 Trident Microsystems (Far East) Ltd. Backlight unit and control method for the same
KR101073568B1 (ko) * 2009-08-27 2011-10-14 삼성모바일디스플레이주식회사 표시 장치 및 그 구동 방법
US8358298B2 (en) * 2009-10-07 2013-01-22 Cisco Technology, Inc. Automatic brightness control
KR101341016B1 (ko) * 2009-12-11 2014-01-07 엘지디스플레이 주식회사 액정 표시 장치의 로컬 디밍 구동 방법 및 장치
US8890793B2 (en) * 2010-03-26 2014-11-18 Hong Kong Applied Science and Technology Research Institute, Co. Ltd. Adjusting a brightness level of a backlight of a display device
US9129565B2 (en) 2010-03-26 2015-09-08 Hong Kong Applied Science and Technology Research Institute, Co. Ltd. Adjusting a brightness level of a side emitting backlight display device using light spreading profiles
EP2580913A4 (en) 2010-06-08 2017-06-07 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
WO2012137791A1 (ja) * 2011-04-07 2012-10-11 シャープ株式会社 表示装置、その駆動方法および電子機器
TWI422224B (zh) * 2011-05-13 2014-01-01 Himax Imaging Inc 黑階補償電路、影像感測器及相關方法
US9654701B2 (en) 2013-01-25 2017-05-16 Dolby Laboratories Licensing Corporation Global display management based light modulation
CN103152523A (zh) * 2013-02-27 2013-06-12 华为终端有限公司 电子设备拍摄方法及装置和电子设备
JP5657058B2 (ja) * 2013-06-14 2015-01-21 Eizo株式会社 マルチモニタシステム、マルチモニタシステムで使用されるコンピュータプログラム、及び表示装置
US9432647B2 (en) 2013-09-09 2016-08-30 Apple Inc. Adaptive auto exposure and dynamic range compensation
CN105793918B (zh) * 2013-09-27 2019-01-22 皇家飞利浦有限公司 同时显示多个视频源的视频数据
US10109228B2 (en) 2015-04-10 2018-10-23 Samsung Display Co., Ltd. Method and apparatus for HDR on-demand attenuation control
KR102486233B1 (ko) * 2015-07-16 2023-01-06 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 파라메트릭 톤 - 조정 함수를 사용하여 영상을 톤 - 매핑하는 방법 및 장치
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10971085B2 (en) * 2019-01-08 2021-04-06 Intel Corporation Power saving display having improved image quality
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US10937358B2 (en) * 2019-06-28 2021-03-02 Intel Corporation Systems and methods of reducing display power consumption with minimal effect on image quality
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN111739452B (zh) 2020-06-16 2022-06-07 深圳市华星光电半导体显示技术有限公司 液晶显示面板的暗态电压调试方法、装置以及存储介质
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112509519A (zh) * 2020-10-20 2021-03-16 厦门天马微电子有限公司 一种显示面板的驱动方法及显示装置
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
CN114942815A (zh) * 2022-06-06 2022-08-26 上海小度技术有限公司 呈现信息的方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272023A (ja) * 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd 映像表示装置
US20070291048A1 (en) * 2004-12-02 2007-12-20 Kerofsky Louis J Systems and Methods for Tone Curve Generation, Selection and Application

Family Cites Families (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4020462A (en) 1975-12-08 1977-04-26 International Business Machines Corporation Method and apparatus for form removal from contour compressed image data
WO1980000774A1 (en) 1978-09-28 1980-04-17 Eastman Kodak Co Electronic image enhancement
US4196452A (en) 1978-12-01 1980-04-01 Xerox Corporation Tone error control for image contour removal
US4223340A (en) 1979-05-11 1980-09-16 Rca Corporation Image detail improvement in a vertical detail enhancement system
US4268864A (en) 1979-12-05 1981-05-19 Cbs Inc. Image enhancement system for television
US4402006A (en) 1981-02-23 1983-08-30 Karlock James A Image enhancer apparatus
US4549212A (en) 1983-08-11 1985-10-22 Eastman Kodak Company Image processing method using a collapsed Walsh-Hadamard transform
US4553165A (en) 1983-08-11 1985-11-12 Eastman Kodak Company Transform processing method for reducing noise in an image
GB8329109D0 (en) 1983-11-01 1983-12-07 Rca Corp Perceived signal-to-noise ratio of displayed images
US4709262A (en) 1985-04-12 1987-11-24 Hazeltine Corporation Color monitor with improved color accuracy and current sensor
US4847603A (en) 1986-05-01 1989-07-11 Blanchard Clark E Automatic closed loop scaling and drift correcting system and method particularly for aircraft head up displays
JP2543567B2 (ja) 1988-04-07 1996-10-16 株式会社日立製作所 ダイナミックノイズリダクション回路及びこれを用いたテレビジョン受信機
DE3918990A1 (de) 1989-06-10 1990-12-13 Zeiss Carl Fa Mikroskop mit bildhelligkeitsabgleich
US5176224A (en) 1989-09-28 1993-01-05 Donald Spector Computer-controlled system including a printer-dispenser for merchandise coupons
US5025312A (en) 1990-03-30 1991-06-18 Faroudja Y C Motion-adaptive video noise reduction system using recirculation and coring
DE69123780T2 (de) 1990-04-27 1997-05-07 Canon Kk Gerät zur Verarbeitung von Bildsignalen zwecks Verbesserung der Kantensteilheit
US5218649A (en) 1990-05-04 1993-06-08 U S West Advanced Technologies, Inc. Image enhancement system
JPH04100487A (ja) 1990-08-20 1992-04-02 Ikegami Tsushinki Co Ltd 輪郭補正方法
US5081529A (en) 1990-12-18 1992-01-14 Eastman Kodak Company Color and tone scale calibration system for a printer using electronically-generated input images
JP3102579B2 (ja) 1991-05-31 2000-10-23 川崎製鉄株式会社 高炉装入原料の粒度別分級装置
US5235434A (en) 1991-06-27 1993-08-10 Polaroid Corporation Method and apparatus for selectively adjusting the brightness of large regions of an image
US5526446A (en) 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
KR960004130B1 (ko) 1992-02-29 1996-03-26 삼성전자주식회사 영상신호의 노이즈 제거회로
US5260791A (en) 1992-06-04 1993-11-09 David Sarnoff Research Center, Inc. Method and apparatus for the spatio-temporal coring of images
US5270818A (en) 1992-09-17 1993-12-14 Alliedsignal Inc. Arrangement for automatically controlling brightness of cockpit displays
JP3346843B2 (ja) 1993-06-30 2002-11-18 株式会社東芝 液晶表示装置
US6573961B2 (en) 1994-06-27 2003-06-03 Reveo, Inc. High-brightness color liquid crystal display panel employing light recycling therein
US5651078A (en) 1994-07-18 1997-07-22 Thomson Consumer Electronics, Inc. Method and apparatus for reducing contouring in video compression
US5956014A (en) 1994-10-19 1999-09-21 Fujitsu Limited Brightness control and power control of display device
US6184969B1 (en) 1994-10-25 2001-02-06 James L. Fergason Optical display system and method, active and passive dithering using birefringence, color image superpositioning and display enhancement
US6560018B1 (en) 1994-10-27 2003-05-06 Massachusetts Institute Of Technology Illumination system for transmissive light valve displays
JP3284791B2 (ja) 1994-11-10 2002-05-20 株式会社明電舎 ブレーキ制御方式
US6683594B1 (en) 1995-04-20 2004-01-27 Canon Kabushiki Kaisha Display apparatus and assembly of its driving circuit
US5760760A (en) 1995-07-17 1998-06-02 Dell Usa, L.P. Intelligent LCD brightness control system
KR100207660B1 (ko) 1996-03-09 1999-07-15 윤종용 양자화된 평균 분리 히스토그램 등화를 이용한 화질 개선 방법 및 그 회로
JP3348167B2 (ja) 1996-03-26 2002-11-20 シャープ株式会社 画像２値化装置
JP3829363B2 (ja) 1996-06-14 2006-10-04 コニカミノルタホールディングス株式会社 電子カメラ
US5920653A (en) 1996-10-22 1999-07-06 Hewlett-Packard Company Multiple spatial channel printing
JP2900997B2 (ja) 1996-11-06 1999-06-02 富士通株式会社 表示ユニットの消費電力制御のための方法と装置、それを備えた表示システム及びそれを実現するプログラムを格納した記憶媒体
US6055340A (en) 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US6249315B1 (en) 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
US7014336B1 (en) 1999-11-18 2006-03-21 Color Kinetics Incorporated Systems and methods for generating and modulating illumination conditions
JPH11175027A (ja) 1997-12-08 1999-07-02 Hitachi Ltd 液晶駆動回路および液晶表示装置
JP4057147B2 (ja) 1998-06-16 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置
US6809717B2 (en) 1998-06-24 2004-10-26 Canon Kabushiki Kaisha Display apparatus, liquid crystal display apparatus and driving method for display apparatus
US6285798B1 (en) 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
US6317521B1 (en) 1998-07-06 2001-11-13 Eastman Kodak Company Method for preserving image detail when adjusting the contrast of a digital image
JP2000075802A (ja) 1998-08-26 2000-03-14 Matsushita Electric Ind Co Ltd バックライト装置およびバックライト素子
US6229550B1 (en) * 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
JP3724263B2 (ja) 1998-09-11 2005-12-07 セイコーエプソン株式会社 液晶パネルの駆動装置及び液晶装置
DE19842572B4 (de) 1998-09-17 2005-03-24 Heidelberger Druckmaschinen Ag Verfahren zur automatischen Entfernung von Bildfehlern
JP3333138B2 (ja) 1998-09-25 2002-10-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 液晶表示装置の駆動方法
US6516100B1 (en) 1998-10-29 2003-02-04 Sharp Laboratories Of America, Inc. Method for image characterization using color and texture statistics with embedded spatial information
US6424730B1 (en) 1998-11-03 2002-07-23 Eastman Kodak Company Medical image enhancement method for hardcopy prints
KR100322596B1 (ko) 1998-12-15 2002-07-18 윤종용 입력 영상의 밝기를 유지하는 화질 개선 장치 및 그 방법
TWI285871B (en) 1999-05-10 2007-08-21 Matsushita Electric Ind Co Ltd Image display device and method for displaying image
JP4688246B2 (ja) 1999-08-17 2011-05-25 株式会社ニコン 画像処理パラメータの受け渡し方法、画像入力装置、画像入力システム、および情報処理装置の画像処理パラメータ受け渡しプログラムを記憶した記憶媒体
JP2001126075A (ja) 1999-08-17 2001-05-11 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP4773594B2 (ja) 1999-08-30 2011-09-14 エーユー オプトロニクス コーポレイション カラー画像処理方法、カラー画像処理装置、液晶表示装置
JP2001086393A (ja) 1999-09-10 2001-03-30 Canon Inc 移動体通信装置
US6618042B1 (en) 1999-10-28 2003-09-09 Gateway, Inc. Display brightness control method and apparatus for conserving battery power
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
AU2054401A (en) 1999-12-17 2001-06-25 Applied Science Fiction, Inc. Method and system for selective enhancement of image data
US6618045B1 (en) 2000-02-04 2003-09-09 Microsoft Corporation Display device with self-adjusting control parameters
JP3697997B2 (ja) 2000-02-18 2005-09-21 ソニー株式会社 画像表示装置と階調補正データ作成方法
JP2001257905A (ja) 2000-03-14 2001-09-21 Sony Corp 映像処理方法および映像処理装置
JP2001298631A (ja) 2000-04-17 2001-10-26 Seiko Epson Corp 画像処理制御プログラムを記録した記録媒体、画像処理方法および画像処理装置
US7289154B2 (en) 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
US6594388B1 (en) 2000-05-25 2003-07-15 Eastman Kodak Company Color image reproduction of scenes with preferential color mapping and scene-dependent tone scaling
JP2001350134A (ja) 2000-06-07 2001-12-21 Sanyo Electric Co Ltd 液晶表示装置
US6546741B2 (en) 2000-06-19 2003-04-15 Lg Electronics Inc. Power-saving apparatus and method for display portion of refrigerator
JP5174309B2 (ja) 2000-07-03 2013-04-03 アイマックス コーポレイション 映写装置のダイナミックレンジを増大する装置および技術
JP2003032542A (ja) 2001-07-19 2003-01-31 Mitsubishi Electric Corp 撮像装置
RU2193825C2 (ru) 2000-08-10 2002-11-27 Открытое акционерное общество "Научно-конструкторское бюро вычислительных систем" Способ обработки сигналов для определения координат объектов, наблюдаемых в последовательности телевизионных изображений, и устройство для его осуществления (варианты)
JP3971892B2 (ja) 2000-09-08 2007-09-05 株式会社日立製作所 液晶表示装置
US7317439B2 (en) 2000-10-30 2008-01-08 Matsushita Electric Industrial Co., Ltd. Electronic apparatus and recording medium therefor
US6593934B1 (en) 2000-11-16 2003-07-15 Industrial Technology Research Institute Automatic gamma correction system for displays
JP2002189450A (ja) 2000-12-20 2002-07-05 Mk Seiko Co Ltd 表示装置
US7088388B2 (en) 2001-02-08 2006-08-08 Eastman Kodak Company Method and apparatus for calibrating a sensor for highlights and for processing highlights
US6956975B2 (en) 2001-04-02 2005-10-18 Eastman Kodak Company Method for improving breast cancer diagnosis using mountain-view and contrast-enhancement presentation of mammography
US7093941B2 (en) 2001-04-25 2006-08-22 Matsushita Electric Industrial Co., Ltd. Video display apparatus and video display method
TWI231701B (en) 2001-06-14 2005-04-21 Matsushita Electric Ind Co Ltd Automatic tone correction device, automatic tone correction method, and tone correction program recording medium
US7119786B2 (en) 2001-06-28 2006-10-10 Intel Corporation Method and apparatus for enabling power management of a flat panel display
US7006688B2 (en) 2001-07-05 2006-02-28 Corel Corporation Histogram adjustment features for use in imaging technologies
US6826310B2 (en) 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
EP1292113A3 (en) 2001-08-23 2005-03-23 Eastman Kodak Company Tone scale adjustment
GB0120489D0 (en) 2001-08-23 2001-10-17 Eastman Kodak Co Tone scale adjustment of digital images
US20030051179A1 (en) 2001-09-13 2003-03-13 Tsirkel Aaron M. Method and apparatus for power management of displays
AU2002334720B8 (en) 2001-09-26 2006-08-10 Interact Devices, Inc. System and method for communicating media signals
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US7064740B2 (en) * 2001-11-09 2006-06-20 Sharp Laboratories Of America, Inc. Backlit display with improved dynamic range
TW575849B (en) 2002-01-18 2004-02-11 Chi Mei Optoelectronics Corp Thin film transistor liquid crystal display capable of adjusting its light source
US7283181B2 (en) 2002-01-31 2007-10-16 Hewlett-Packard Development Company, L.P. Selectable color adjustment for image display
US7098927B2 (en) 2002-02-01 2006-08-29 Sharp Laboratories Of America, Inc Methods and systems for adaptive dither structures
JP3923335B2 (ja) 2002-02-26 2007-05-30 株式会社メガチップス データ転送システム、データ転送方法およびデジタル・カメラ
JP3758591B2 (ja) 2002-03-14 2006-03-22 松下電器産業株式会社 ディスプレイ
CN1445696A (zh) 2002-03-18 2003-10-01 朗迅科技公司 自动检索图像数据库中相似图象的方法
JP2004004532A (ja) 2002-03-25 2004-01-08 Sharp Corp 映像表示装置
JP4082076B2 (ja) 2002-04-22 2008-04-30 ソニー株式会社 画像表示装置及びその方法
EP1367558A3 (en) 2002-05-29 2008-08-27 Matsushita Electric Industrial Co., Ltd. Image display method and apparatus comprising luminance adjustment of a light source
JP2004007076A (ja) 2002-05-30 2004-01-08 Mitsubishi Electric Corp 映像信号処理方法および映像信号処理装置
US7035460B2 (en) 2002-05-31 2006-04-25 Eastman Kodak Company Method for constructing an extended color gamut digital image from a limited color gamut digital image
US7113649B2 (en) 2002-06-24 2006-09-26 Eastman Kodak Company Enhancing the tonal characteristics of digital images
CN100339249C (zh) 2002-08-19 2007-09-26 皇家飞利浦电子股份有限公司 在交通工具内显示图像的显示系统
KR100736498B1 (ko) 2002-08-22 2007-07-06 엘지전자 주식회사 컴퓨터 시스템에서의 다종 엘시디 구동방법 및 장치
US7158686B2 (en) * 2002-09-19 2007-01-02 Eastman Kodak Company Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
JP4265195B2 (ja) 2002-10-09 2009-05-20 セイコーエプソン株式会社 半導体装置
US7532239B2 (en) 2002-10-11 2009-05-12 Seiko Epson Corporation Automatic adjustment of image quality according to type of light source
US7116838B2 (en) * 2002-10-25 2006-10-03 Eastman Kodak Company Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
JP2004177547A (ja) 2002-11-26 2004-06-24 Mitsubishi Electric Corp 液晶ディスプレイ用バックライトの制御方法及びその制御装置
US7176878B2 (en) 2002-12-11 2007-02-13 Nvidia Corporation Backlight dimming and LCD amplitude boost
US6857751B2 (en) 2002-12-20 2005-02-22 Texas Instruments Incorporated Adaptive illumination modulator
US6967647B2 (en) 2003-01-02 2005-11-22 Fujitsu Limited Method of controlling display brightness of portable information device, and portable information device
US7348957B2 (en) 2003-02-14 2008-03-25 Intel Corporation Real-time dynamic design of liquid crystal display (LCD) panel power management through brightness control
US7283666B2 (en) 2003-02-27 2007-10-16 Saquib Suhail S Digital image exposure correction
US7433096B2 (en) 2003-02-28 2008-10-07 Hewlett-Packard Development Company, L.P. Scanning device calibration system and method
ATE433621T1 (de) 2003-02-28 2009-06-15 Mstar Semiconductor Inc Anwendung von spreizcodes auf signale
EP1455337A1 (en) 2003-03-05 2004-09-08 Matsushita Electric Industrial Co., Ltd. Control method for a backlight arrangement, display controller using this method and display apparatus
JP4559099B2 (ja) 2003-03-05 2010-10-06 パナソニック株式会社 表示方法、表示制御装置及び表示装置
JP2004272156A (ja) 2003-03-12 2004-09-30 Sharp Corp 画像表示装置
US20040208363A1 (en) 2003-04-21 2004-10-21 Berge Thomas G. White balancing an image
JP3909595B2 (ja) 2003-04-23 2007-04-25 セイコーエプソン株式会社 表示装置、及びその調光方法
JP3858850B2 (ja) 2003-05-06 2006-12-20 セイコーエプソン株式会社 表示装置、及び表示方法、並びにプロジェクタ
TWI246048B (en) 2003-06-17 2005-12-21 Au Optronics Corp Driving method of liquid crystal display
US7394448B2 (en) 2003-06-20 2008-07-01 Lg. Display Co., Ltd Method and apparatus for driving liquid crystal display device
US7663597B2 (en) 2003-07-16 2010-02-16 Honeywood Technologies, Llc LCD plateau power conservation
US7221408B2 (en) 2003-08-15 2007-05-22 Samsung Electronics Co., Ltd. Adaptive contrast enhancement method for video signals based on time-varying nonlinear transforms
US20050057484A1 (en) 2003-09-15 2005-03-17 Diefenbaugh Paul S. Automatic image luminance control with backlight adjustment
KR100588013B1 (ko) 2003-11-17 2006-06-09 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100570966B1 (ko) 2003-11-17 2006-04-14 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100580552B1 (ko) 2003-11-17 2006-05-16 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100561648B1 (ko) 2003-11-17 2006-03-20 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
US7623105B2 (en) 2003-11-21 2009-11-24 Sharp Laboratories Of America, Inc. Liquid crystal display with adaptive color
US20050117798A1 (en) 2003-12-02 2005-06-02 Eastman Kodak Company Method and apparatus for modifying a portion of an image frame in accordance with colorimetric parameters
KR100525739B1 (ko) 2003-12-22 2005-11-03 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
US7424168B2 (en) 2003-12-24 2008-09-09 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
KR101030544B1 (ko) 2003-12-29 2011-04-26 엘지디스플레이 주식회사 액정표시장치의 구동방법 및 구동장치
KR100989159B1 (ko) 2003-12-29 2010-10-20 엘지디스플레이 주식회사 액정표시장치와 그 제어방법
US7375719B2 (en) 2003-12-29 2008-05-20 Lg. Philips Lcd. Co., Ltd Method and apparatus for driving liquid crystal display
US7400779B2 (en) 2004-01-08 2008-07-15 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
JP2005202562A (ja) 2004-01-14 2005-07-28 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP4628770B2 (ja) 2004-02-09 2011-02-09 株式会社日立製作所 照明装置を備えた画像表示装置及び画像表示方法
JP4096892B2 (ja) 2004-02-19 2008-06-04 セイコーエプソン株式会社 カラーマッチングプロファイル作成装置、カラーマッチングシステム、カラーマッチング方法、カラーマッチングプログラム及び電子機器
KR100818013B1 (ko) 2004-02-19 2008-03-31 샤프 가부시키가이샤 영상 표시 장치 및 영상 표시 방법
JP4341495B2 (ja) 2004-03-02 2009-10-07 セイコーエプソン株式会社 画像に付与する色調の設定
JP2005293555A (ja) 2004-03-10 2005-10-20 Seiko Epson Corp 画像における肌領域の特定
WO2005093703A1 (en) * 2004-03-26 2005-10-06 Koninklijke Philips Electronics N.V. Display device comprising an adjustable light source
US7612757B2 (en) 2004-05-04 2009-11-03 Sharp Laboratories Of America, Inc. Liquid crystal display with modulated black point
JP4603382B2 (ja) 2004-05-06 2010-12-22 シャープ株式会社 画像表示装置
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
KR100621577B1 (ko) 2004-07-15 2006-09-13 삼성전자주식회사 휴대용 컴퓨터 시스템의 전원 관리방법 및 장치
US7372597B2 (en) 2004-07-27 2008-05-13 Eastman Kodak Company Tonescales for geographically localized digital rendition of people
JP2006042191A (ja) 2004-07-29 2006-02-09 Sony Corp 表示装置および方法、表示システム、並びにプログラム
US20060061563A1 (en) 2004-09-17 2006-03-23 Fleck Rod G Power-management method and system for electronic appliances
US8462384B2 (en) 2004-09-29 2013-06-11 Apple Inc. Methods and apparatuses for aesthetically enhanced image conversion
DE102004049876C5 (de) * 2004-10-13 2010-04-29 Brita Gmbh Filterkartusche
US7924261B2 (en) 2004-12-02 2011-04-12 Sharp Laboratories Of America, Inc. Methods and systems for determining a display light source adjustment
US7961199B2 (en) 2004-12-02 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for image-specific tone scale adjustment and light-source control
US8947465B2 (en) 2004-12-02 2015-02-03 Sharp Laboratories Of America, Inc. Methods and systems for display-mode-dependent brightness preservation
US7768496B2 (en) 2004-12-02 2010-08-03 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale adjustment to compensate for a reduced source light power level
US8111265B2 (en) 2004-12-02 2012-02-07 Sharp Laboratories Of America, Inc. Systems and methods for brightness preservation using a smoothed gain image
KR100611512B1 (ko) 2004-12-07 2006-08-11 삼성전자주식회사 적응 주파수 조절기, 적응 주파수 조절기를 포함한 위상고정 루프
KR100611304B1 (ko) 2005-01-27 2006-08-10 삼성전자주식회사 기 입력된 버튼의 코드값을 이용하여 1회용 비밀키를생성하는 제어기기, 상기 1회용 비밀키를 이용하여 상기제어기기를 인증하는 홈서버, 및, 상기 1회용 비밀키를이용한 제어기기 인증방법
US8094118B2 (en) * 2005-03-02 2012-01-10 University Of Southern California Dynamic backlight scaling for power minimization in a backlit TFT-LCD
JP2006276677A (ja) 2005-03-30 2006-10-12 Toshiba Corp 表示装置と表示装置の駆動方法
JP4432818B2 (ja) 2005-04-01 2010-03-17 セイコーエプソン株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP2006303899A (ja) 2005-04-20 2006-11-02 Fuji Photo Film Co Ltd 画像処理装置、画像処理システム、および画像処理プログラム
JP2006317757A (ja) 2005-05-13 2006-11-24 Matsushita Electric Ind Co Ltd 液晶表示装置、それを備えた携帯端末機器、及び液晶表示方法
US7609244B2 (en) * 2005-06-30 2009-10-27 Lg. Display Co., Ltd. Apparatus and method of driving liquid crystal display device
JP4687526B2 (ja) * 2005-07-27 2011-05-25 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
US7808478B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Autonomous handheld device having a drawing tool
US20090167658A1 (en) 2005-09-08 2009-07-02 Yasukuni Yamane Image display device
JP2007093990A (ja) 2005-09-28 2007-04-12 Sanyo Epson Imaging Devices Corp 液晶表示装置
JP4991212B2 (ja) 2005-10-13 2012-08-01 ルネサスエレクトロニクス株式会社 表示駆動回路
JP3953507B2 (ja) 2005-10-18 2007-08-08 シャープ株式会社 液晶表示装置
JP2007133051A (ja) 2005-11-09 2007-05-31 Hitachi Displays Ltd 画像表示装置
US20090015602A1 (en) 2006-01-11 2009-01-15 Tte Technology, Inc. Contrast Ratio Enhancement System Using Asymmetrically Delayed Illumination Control
JP3983276B2 (ja) 2006-02-08 2007-09-26 シャープ株式会社 液晶表示装置
JP2007299001A (ja) 2006-02-08 2007-11-15 Sharp Corp 液晶表示装置
JP5228278B2 (ja) 2006-02-08 2013-07-03 セイコーエプソン株式会社 画像表示制御装置及びその方法
JP4071800B2 (ja) 2006-02-13 2008-04-02 シャープ株式会社 動画像再生装置および階調補正装置
US7564438B2 (en) 2006-03-24 2009-07-21 Marketech International Corp. Method to automatically regulate brightness of liquid crystal displays
JP4198720B2 (ja) 2006-05-17 2008-12-17 Ｎｅｃエレクトロニクス株式会社 表示装置、表示パネルドライバ、及び表示パネルの駆動方法
KR100827237B1 (ko) 2006-08-10 2008-05-07 삼성전기주식회사 다색 광원의 전력 제어를 지원하는 영상 표시 장치 및 방법
US8872753B2 (en) 2006-08-31 2014-10-28 Ati Technologies Ulc Adjusting brightness of a display image in a display having an adjustable intensity light source
JP4203090B2 (ja) 2006-09-21 2008-12-24 株式会社東芝 画像表示装置および画像表示方法
JP4475268B2 (ja) 2006-10-27 2010-06-09 セイコーエプソン株式会社 画像表示装置、画像表示方法、画像表示プログラム、及び画像表示プログラムを記録した記録媒体、並びに電子機器
US7826681B2 (en) 2007-02-28 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for surround-specific display modeling
JP5127321B2 (ja) 2007-06-28 2013-01-23 株式会社東芝 画像表示装置、画像表示方法、及び、画像表示プログラム
JP5072087B2 (ja) 2007-10-31 2012-11-14 パナソニック株式会社 液晶表示装置および液晶表示方法
US8203579B2 (en) * 2007-12-26 2012-06-19 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation with image characteristic mapping

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291048A1 (en) * 2004-12-02 2007-12-20 Kerofsky Louis J Systems and Methods for Tone Curve Generation, Selection and Application
JP2007272023A (ja) * 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd 映像表示装置

Also Published As

Publication number Publication date
CN101911169A (zh) 2010-12-08
JP2012194569A (ja) 2012-10-11
CN101911169B (zh) 2013-06-05
JP5358002B2 (ja) 2013-12-04
US8207932B2 (en) 2012-06-26
EP2227800A1 (en) 2010-09-15
US20090167671A1 (en) 2009-07-02
EP2227800B1 (en) 2016-09-21
RU2436172C1 (ru) 2011-12-10
EP2227800A4 (en) 2011-01-05
WO2009081826A1 (en) 2009-07-02
JP5291710B2 (ja) 2013-09-18

Similar Documents

Publication Publication Date Title
JP5358002B2 (ja) ディスプレイの光源照度レベルを選択する方法
JP5081973B2 (ja) ヒストグラムの操作によるディスプレイ光源管理の為の方法およびシステム
JP5432889B2 (ja) シーンカット検出によるバックライト変調の為の方法
JP5336165B2 (ja) 映像表示システム
JP5213641B2 (ja) 映像表示システム
JP5411848B2 (ja) 画像トーンスケール設計のための方法及びシステム
JP4956668B2 (ja) 画像特性マッピングによるバックライト変調の為の方法
JP5476301B2 (ja) 画像特性を調節するための方法
US8531379B2 (en) Methods and systems for image compensation for ambient conditions
US8416179B2 (en) Methods and systems for color preservation with a color-modulated backlight
US9330630B2 (en) Methods and systems for display source light management with rate change control
JP5053441B2 (ja) 重み付け誤差ベクトルに基づく光源光選択のための方法、システム、プログラム、および記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130607

R150 Certificate of patent or registration of utility model

Ref document number: 5291710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees