JP2009265678A - 周辺状態に合わせた画像補正のための方法およびシステム - Google Patents

周辺状態に合わせた画像補正のための方法およびシステム Download PDF

Info

Publication number
JP2009265678A
JP2009265678A JP2009109972A JP2009109972A JP2009265678A JP 2009265678 A JP2009265678 A JP 2009265678A JP 2009109972 A JP2009109972 A JP 2009109972A JP 2009109972 A JP2009109972 A JP 2009109972A JP 2009265678 A JP2009265678 A JP 2009265678A
Authority
JP
Japan
Prior art keywords
image
display
backlight
value
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009109972A
Other languages
English (en)
Inventor
Louis Joseph Kerofsky
ジョセフ キロフスキー ルイス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2009265678A publication Critical patent/JP2009265678A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/3413Details of control of colour illumination sources
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3607Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals for displaying colours or for displaying grey scales with a specific pixel layout, e.g. using sub-pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0238Improving the black level
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0285Improving the quality of display appearance using tables for spatial correction of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • G09G2320/062Adjustment of illumination source parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2044Display of intermediate tones using dithering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal (AREA)
  • Image Processing (AREA)

Abstract

【課題】周辺状態に合わせた画像補正のための方法およびシステムを提供する。
【解決手段】本発明の原理は、様々な周辺照明状態に合わせて画像を補正するシステムおよび方法に関する。一部の実施形態では、画像は、周辺状態を考慮して画像コード値を修正することによって補正される。これは、基準周辺照明レベルを選択し、ディスプレイ付近における実際の周辺照明レベルを決定し、当該実際の周辺照明レベルおよび基準周辺照明レベルに基づいて画像補正スケーリング関数を決定し、当該画像補正スケーリング関数を用いて画像コード値を調整することによって達成される。この方法は、周辺照明に合わせて画像を補正するディスプレイシステム内に組み込むことができる。
【選択図】図130

Description

発明の詳細な説明
(関連文献)
次に列挙する出願は、以下に言及することにより本明細書に組み込まれる。米国特許出願第11/465,436号、「ディスプレイ光源光照明レベルを選択する方法およびシステム」、2006年8月17日出願;米国特許出願第11/293,562号、「ディスプレイ光源調整を決 定する方法およびシステム」、2005年12月2日出願;米国特許出願第11/224,792号、「画像特異的なトーンスケール調整および光源制御のための方法およびシステム」、2005年9月12日出願;米国特許出願第11/154,053号、「高周波コントラスト強調によってディスプレイ特性を強調する方法およびシステム」、2005年6月15日出願;米国特許出願第11/154,054号、「周波数特異的なゲインによってディスプレイ特性を強調する方法およびシステム」、2005年6月15日出願;米国特許出願第11/154,052号、「ディスプレイ特性を強調する方法およびシステム」、2005年6月15日出願;米国特許出願第11/393,404号、「肌色検出を用いた色強調技術」、2006年3月30日出願:米国特許出願第11/460,768号、「歪みに関連する光源光管理のための方法およびシステム」、2006年7月28日出願;米国特許出願第11/202,903号、「マルチビューディスプレイにおける非依存性視野調整のための方法およびシステム」、2005年8月8日出願;米国特許出願第11/371,466号、「周辺照明入力によってディスプレイ特性を強調する方法およびシステム」、2006年3月8日出願;米国特許出願第11/293,066号、「ディスプレイモード依存性の明るさ保持のための方法およびシステム」、2005年12月2日出願;米国特許出願第11/460,907号、「画像トーンスケール修正を生成および適用する方法およびシステム」、2006年7月28日出願;米国特許出願第11/460,940号、「画像トーンスケール修正による色保持のための方法およびシステム」、2006年7月28日出願;米国特許出願第11/564,203号、「低減された光源光電力レベルを補正するための画像トーンスケール調整のための方法およびシステム」、2006年11月28日出願;米国特許出願第11/680,312号、「平滑化ゲイン画像を用いた明るさ保持のための方法およびシステム」、2007年2月28日出願;米国特許出願第11/845,651号、「トーンカーブ生成、選択、および適用のための方法およびシステム」、2007年8月27日出願;米国特許出願第11/605,711号、「肌色検出を用いた色強調技術」、2006年11月28日出願;米国特許出願第11/929,796号、「バックライト調節および明るさ保持のための方法およびシステム」、2007年10月30日出願;米国特許出願第11/929,918号、「画像強調のためのシステムおよび方法」、2007年10月30日出願;米国特許出願第11/948,969号、「重みつき誤差ベクトルに基づいた光源光選択のためのシステムおよび方法」、2007年11月30日出願;米国特許出願第11/948,978号、「シーンカット検出によるバックライト調節のためのシステムおよび方法」、2007年11月30日出願;米国特許出願第11/964,674号、「光源光照明レベル選択のためのシステムおよび方法」、2007年12月26日出願;米国特許出願第11/964,683号、「画像特性マッピングによるバックライト調節のためのシステムおよび方法」、2007年12月26日出願;米国特許出願第11/964,689号、「ヒストグラム操作によるディスプレイ光源光管理のためのシステムおよび方法」、2007年12月26日出願;米国特許出願第11/964,691号、「画像トーンスケール設計のためのシステムおよび方法」、2007年12月26日出願;および米国特許出願第11/964,695号、「可変遅延によるディスプレイ光源光管理のためのシステムおよび方法」、2007年12月26日出願。
本発明の実施形態は、低減された光源光照明レベルおよび/または周辺状態を補償する、光源光照明レベル選択および画像補正カーブ適用のためのシステムおよび方法を含んでいる。
標準的な表示装置は、固定範囲の輝度レベルを用いて画像を表示する。多くのディスプレイでは、輝度範囲は、均一に間隔が置かれた0から255までの256のレベルを有している。これらのレベルを直接マッチングするために、一般的には画像コード値が割り当てられる。
大型ディスプレイを備えた多くの電子デバイスでは、電力を消費するのは主にディスプレイである。例えばラップトップコンピュータでは、ディスプレイが消費する電力は、システム内の他のいかなる部品よりも多くなる場合が多い。利用可能な電力が限られている多くのディスプレイでは、例えば電池式のデバイスに見られるように、いくつかの照明レベルまたは明るさレベルを使用することで電力消費の管理に役立てる場合がある。また、あるシステムでは、電源(例えばA/C電源)に接続されているときには全電力モードを使用し、電池電源で動作しているときには省電力モードを使用する場合がある。
一部のデバイスでは、ディスプレイが自動的に省電力モードに入り、ディスプレイ照明が弱まり電力が節約される。これらのデバイスは、照明が段階的に弱まる複数の省電力モードを有している場合がある。一般的には、ディスプレイ照明が弱まると画質も低下する。最高輝度レベルが低下すると、ディスプレイのダイナミックレンジが狭くなり、画像コントラストが悪影響を受ける。このため、通常の省電力モードにおける動作中にコントラストおよび他の画質が低下する。
図1には、標準的な表示装置が示されている。液晶ディスプレイ(liquid crystal display; LCD)またはデジタルマイクロミラーデバイス(digital micro-mirror device; DMD)などの多くの表示装置は、何らかの方法によって後方、側方、または前方から照明される光弁を使用する。LCDなどのバックライト光弁表示装置では、液晶パネル6の後方にバックライト2が配置されている。バックライト2と液晶パネル6との間に、拡散器4も配置することができる。このバックライトは、LCパネルを介して光を放射し、LCパネルが光を調節して画像を表示する。カラーディスプレイでは、輝度および色を両方とも調節することができる。個々のLC画素8は、バックライトからLCパネルを介してユーザの目または他の目的地へ送られる光の量を調節する。場合によっては、目的地は電荷結合デバイス(coupled-charge device; CCD)などの光センサである。
一部のディスプレイはまた、発光体10を用いて画像を表示する。発光ダイオード(light emitting diode; LED)ディスプレイおよびプラズマディスプレイなどのこれらディスプレイは、別の光源からの光を反射するのではなく、光を発する画像素子を使用する。
本発明の一部の実施形態は、低減された光源照明の強度を補償するため、あるいは固定された光源照明レベルにおいて画質を改善するために、光弁調節された画素の輝度調節レベルを変化させるシステムおよび方法を含んでいる。
本発明の一部の実施形態は、画像表示のために発光体が用いられるディスプレイにも用いることができる。これらの、発光ダイオード(LED)ディスプレイおよびプラズマディスプレイなどのディスプレイは、別の光源からの光を反射するのではなく光を発する画像素子を用いる。本発明の実施形態を用いて、これらのデバイスによって生成された画像を強調することができる。これらの実施形態では、画素の明るさを調整して、特定の画像の周波数帯域、輝度範囲、および他の画像区分のダイナミックレンジを強調することができる。
本発明の一部の実施形態では、ディスプレイ光源が、画像特性に応じて複数の異なるレベルに調整されうる。これらの光源レベルが変化すると、画像コード値が調整されて、明るさ変化が補償されるか、あるいは画像が強調される。
本発明の一部の実施形態は、光源レベルおよび画像画素値の決定時において入力として用いられうる周辺光感知を含んでいる。
本発明の一部の実施形態は、歪みに関連した光源および電池消費制御を含んでいる。
本発明の一部の実施形態は、画像トーンスケール修正を生成および適用するシステムおよび方法を含んでいる。
本発明の一部の実施形態は、改善された色忠実度で画像トーンスケール修正する方法およびシステムを含んでいる。
本発明の一部の実施形態は、ディスプレイ光源光照明レベルを選択する方法およびシステムを含んでいる。
本発明の一部の実施形態は、パネルトーンカーブおよび目標とするトーンカーブ(target tone curve)を生成(develop)する方法およびシステムを含んでいる。これら実施形態の一部は、各カーブが複数の異なるバックライトまたは光源光照明レベルに関連している、複数の目標とするトーンカーブを生成する。これらの実施形態では、バックライト照明レベルが選択され、選択されたバックライト照明レベルに関連する目標とするトーンカーブが、表示される画像に適用されうる。一部の実施形態では、性能目標がトーンカーブパラメータの選択に影響を及ぼしうる。
本発明の一部の実施形態は、色強調する方法およびシステムを含んでいる。これら実施形態の一部は、肌色検出、肌色マップ微調整、色処理を含んでいる。
本発明の一部の実施形態は、ビット深度拡張(bit-depth extension)の方法およびシステムを含んでいる。これら実施形態の一部は、ビット深度縮小前に画像へ空間および時間高域ディザーパターンを適用するステップを含んでいる。
本発明の一部の実施形態は、ビデオシーケンス内のシーンカットの存在に応答する光源光照明レベル信号フィルタを含んでいる。
本発明の一部の実施形態は、ディスプレイモデル属性にマッピングされた画像特性に基づく光源光照明レベル選択を含んでいる。一部の実施形態は、画像特性をディスプレイモデル属性に関連付けるマップを選択または修正するときに、周辺光状態、ユーザ明るさ選択、および手動ユーザマップ選択を考慮する。一部の実施形態は、ディスプレイの明るさレベルを選択するユーザ入力に応答する時間フィルタも含んでいる。
本発明の一部の実施形態は、ディスプレイの光源光照明レベルを選択する方法およびシステムを含んでいる。これら実施形態の一部は、ヒストグラムの生成および操作を含んでいる。一部の実施形態では、2次元ヒストグラムを1次元ヒストグラムに変換するために色重み(color weight)因子が用いられうる。
本発明の一部の実施形態は、低減された光源光照明レベルを補償する修正された光源光照明レベル補正カーブ、および、当該修正された光源光照明レベル補正カーブの適用後に適用される追加のトーンスケール処理を生成する方法およびシステムを含んでいる。
本発明の一部の実施形態は、光源光信号に対して遅延を行って、画像補正時および画像処理時における遅延を調整する方法およびシステムを含んでいる。一部の実施形態では、可変遅延が用いられうる。一部の実施形態では、フレームレート変換パラメータに基づく選択的な遅延が用いられうる。
本発明の一部の実施形態は、周辺照明状態に合わせて画像を補正する方法およびシステムを含んでいる。一部の実施形態では、これは、レチナールモデルで実施されうる。一部の実施形態は、ディスプレイを透過型ディスプレイ、反射型ディスプレイ、および/または透過反射型ディスプレイとしてモデリングするディスプレイモデルを含みうる。一部の実施形態は、画像コード値を調整することによって画像を補正しうる一方、他の実施形態は、ディスプレイのバックライト値を調整しうる。一部の実施形態は、画像コード値およびバックライト値を調整しうる。
上記および上記以外の本発明の目的、特徴、および利点は、以下の発明の詳細な説明を添付図面と共に考慮することによって容易に理解されるであろう。
従来技術によるバックライト型LCDシステムを示す図である。 当初の画像コード値とブーストされた画像コード値との関係を示すチャートである。 当初の画像コード値と、クリッピングによってブーストされた画像コード値との関係を示すチャートである。 様々なコード値修正方式における、コード値に関連する輝度レベルを示すチャートである。 当初の画像コード値と、様々な修正方式に従った修正画像コード値との関係を示すチャートである。 典型的なトーンスケール調整モデルの生成を示す図である。 トーンスケール調整モデルの典型的な適用を示す図である。 典型的なトーンスケール調整モデルおよびゲインマップの生成を示す図である。 典型的なトーンスケール調整モデルを示すチャートである。 典型的なゲインマップを示すチャートである。 トーンスケール調整モデルおよびゲインマップが画像に適用される典型的なプロセスを示すフローチャートである。 トーンスケール調整モデルが画像の1つの周波数帯域に適用され、ゲインマップが画像の別の周波数帯域に適用される、典型的なプロセスを示すフローチャートである。 MFP(Maximum Fidelity Point; MFP)の変化に伴うトーンスケール調整モデルの変動を示すチャートである。 典型的な画像依存性トーンスケールマッピング方法を示すフローチャートである。 典型的な画像依存性トーンスケール選択の実施形態を示す図である。 典型的な画像依存性トーンスケールマップ計算の実施形態を示す図である。 光源光レベル調整および画像依存性トーンスケールマッピングを含む実施形態を示すフローチャートである。 光源光レベル計算機およびトーンスケールマップ選択器を含む典型的な実施形態を示す図である。 光源光レベル計算機およびトーンスケールマップ計算機を含む典型的な実施形態を示す図である。 光源光レベル調整および光源光レベル依存性トーンスケールマッピングを含む実施形態を示すフローチャートである。 光源光レベル計算機および光源光レベル依存性トーンスケール計算または選択を含む実施形態を示す図である。 当初の画像コード値に対してトーンスケールの傾きをプロットした図である。 別々のクロミナンスチャネル(chrominance channel)分析を含む実施形態を示す図である。 画像処理モジュールへの周辺照明入力を含む実施形態を示す図である。 光源光処理モジュールへの周辺照明入力を含む実施形態を示す図である。 画像処理モジュールへの周辺照明入力およびデバイス特性入力を含む実施形態を示す図である。 画像処理モジュールおよび/または光源光処理モジュールおよび光源光信号ポストプロセッサへの別の周辺照明入力を含む実施形態を示す図である。 光源光処理モジュールへの周辺照明入力、および光源光処理モジュールが画像処理モジュールへ入力を送る処理を含む実施形態を示す図である。 画像処理モジュールへの周辺照明入力、および画像処理モジュールが光源光処理モジュールへ入力を送る処理を含む実施形態を示す図である。 歪み適応型(distortion-adaptive)の電力管理を含む実施形態を示す図である。 定電力管理を含む実施形態を示す図である。 適応型の電力管理を含む実施形態を示す図である。 定電力と一定歪みモデルとの電力消費の比較を示すグラフである。 定電力と一定歪みモデルとの歪みの比較を示すグラフである。 歪み適応型の電力管理を含む実施形態を示す図である。 典型的なビデオシーケンスに対する、様々な歪み制限におけるバックライトの電力レベル示すグラフである。 典型的な電力/歪みカーブを示すグラフである。 歪み基準に対して電力消費を管理する実施形態を示すフローチャートである。 歪み基準に基づいて光源光の電力レベルを選択する実施形態を示すフローチャートである。 明るさ保持方法の効果を考慮する歪み測定を含む実施形態を示すフローチャートである。 明るさ保持方法の効果を考慮する歪み測定を含む実施形態を示すフローチャートである。 典型的な画像の電力/歪みカーブを示すグラフである。 固定歪みを示す電力プロットである。 固定歪みを示す歪みプロットである。 典型的なトーンスケール調整カーブを示すグラフである。 図42に示されているトーンスケール調整カーブの暗い領域の拡大図である。 別の典型的なトーンスケール調整カーブを示すグラフである。 図44に示されているトーンスケール調整カーブの暗い領域の拡大図である。 最大カラーチャンネル値に基づく画像コード値調整を示すチャートである。 最大カラーチャンネルコード値に基づく複数のカラーチャンネルの画像コード値調整を示すチャートである。 複数のカラーチャンネルのうちの1つコード値特性に基づく複数のカラーチャンネルの画像コード値調整を示すチャートである。 最大カラーチャンネルコード値を入力として受信するトーンスケール生成器を含む本発明の実施形態を示す図である。 周波数分解およびトーンスケール調整によるカラーチャンネルコードの分離を含む本発明の実施形態を示す図である。 周波数分解、カラーチャンネルの分離、および色保持クリッピングを含む本発明の実施形態を示す図である。 カラーチャンネルコード値特性に基づく色保持クリッピングを含む本発明の実施形態を示す図である。 低域/高域周波数の分離および最大カラーチャンネルコード値の選択を含む本発明の実施形態を示す図である。 処理画像とディスプレイモデルとの様々な関係を示す図である。 典型的な画像のための画像コード値ヒストグラムのグラフである。 図55のヒストグラムに対応する典型的な歪みカーブのグラフである。 典型的な最適化基準を簡単なDVDクリップ(brief DVD clip)に適用した結果を示すグラフであって、ビデオフレーム番号に対して選択されたバックライト電力をプロットした図である。 実際のディスプレイの複数の異なるコントラスト比に対する最小MSE歪みバックライト決定を示す図である。 典型的なパネルトーンカーブおよび目標とするトーンカーブを示すグラフである。 省電力構造の典型的なパネルトーンカーブおよび目標とするトーンカーブを示すグラフである。 より低い黒レベル構造のための典型的なパネルトーンカーブおよび目標とするトーンカーブを示すグラフである。 明るさ強調構造のための典型的なパネルトーンカーブおよび目標とするトーンカーブを示すグラフである。 黒レベルを下げて明るさを強調した強調画像構造のための典型的なパネルトーンカーブおよび目標とするトーンカーブを示すグラフである。 黒レベル改善のための、目標とする典型的なトーンカーブを示すグラフである。 黒レベル改善および画像明るさ強調のための、一連の目標とする典型的なトーンカーブを示すグラフである。 目標とするトーンカーブの決定および歪みに関連するバックライトの選択を含む典型的な一実施形態を示すチャートである。 性能目標に関するパラメータの選択、目標とするトーンカーブの決定、およびバックライトの選択を含む典型的な一実施形態を示すチャートである。 性能目標に関連する、目標とするトーンカーブの決定およびバックライトの選択を含む典型的な一実施形態を示すチャートである。 性能目標に関連する、および画像に関連する、目標とするトーンカーブの決定、およびバックライトの選択を含む典型的な一実施形態を示すチャートである。 周波数分解およびビット深度拡張によるトーンスケール処理を含む典型的な一実施形態を示すチャートである。 周波数分解および色強調を含む典型的な一実施形態を示すチャートである。 色強調、バックライト選択、および高域ゲイン処理を含む典型的な一実施形態を示すチャートである。 色強調、ヒストグラム生成、トーンスケール処理、およびバックライト選択を含む、典型的な一実施形態を示すチャートである。 肌色検出および肌色マップ微調整を含む典型的な一実施形態を示すチャートである。 色強調およびビット深度拡張を含む典型的な一実施形態を示すチャートである。 色強調、トーンスケール処理、およびビット深度拡張を含む典型的な一実施形態を示すチャートである。 色強調を含む典型的な一実施形態を示すチャートである。 色強調およびビット深度拡張を含む典型的な一実施形態を示すチャートである。 目標とする出力カーブ、および複数のパネルまたはディスプレイ出力カーブを示すグラフである。 図79の目標とする出力カーブおよびディスプレイ出力カーブの誤差ベクトルプロットを示すグラフである。 ヒストグラム−重み付き誤差のプロットを示すグラフである。 ヒストグラム−重みを付き誤差に基づく光源光照明レベル選択を含む本発明の典型的な一実施形態を示すチャートである。 ヒストグラム−重みを付き誤差に基づく光源光照明レベルの選択を含む、本発明の別の典型的な一実施形態を示すチャートである。 シーンカット検出器を含む典型的な一システムを示すチャートである。 シーンカット検出器および画像補正モジュールを含む典型的な一システムを示すチャートである。 シーンカット検出器およびヒストグラムバッファを含む典型的な一システムを示すチャートである。 シーンカット検出器およびシーンカット検出器に応答する時間フィルタを含む典型的な一システムを示すチャートである。 フィルタ選択がシーンカット検出に基づいて行われる典型的な一方法を示すチャートである。 シーンカットを検出するために複数のフレームが比較される、典型的な一方法を示すチャートである。 フィルタなしのバックライト応答を示すグラフである。 典型的な時間コントラスト感度関数を示すグラフである。 典型的なフィルタの応答を示すグラフである。 フィルタされたバックライト応答、およびフィルタされていないバックライト応答を示すグラフである。 シーンカット全体におけるフィルタ応答を示すグラフである。 シーンカット全体におけるフィルタされていない応答を第1のフィルタされた応答および第2のフィルタされた応答と共に示すグラフである。 ヒストグラムバッファ、時間フィルタ、およびY−ゲイン補正を含む実施形態を示すシステム図である。 様々な典型的なY−ゲインカーブを示すグラフである。 典型的なディスプレイモデルを示すグラフである。 典型的なディスプレイ誤差ベクトルカーブを示すグラフである。 典型的な画像ヒストグラムのプロットを示すグラフである。 典型的な画像歪み対バックライトレベルのカーブを示すグラフである。 複数の異なる歪み測定基準(distortion metric)の比較を示すグラフである。 シーンカット検出および画像補正を含む典型的なシステムを示す図である。 シーンカットおよびシーンカット応答性の歪み計算を決定する画像解析を含む典型的な一方法を示す図である。 画像特性マッピングモジュールを含む典型的なシステムを示す図である。 手動ユーザマップ選択入力を有する画像特性マッピングモジュールを含む典型的なシステムを示す図である。 周辺光センサ入力を含む画像特性マッピングモジュールを含む典型的なシステムを示す図である。 ユーザ明るさ選択入力を含む画像特性マッピングモジュールを含む典型的なシステムを示す図である。 ユーザ明るさ選択入力およびユーザ明るさ選択に応答する時間フィルタを含む画像特性マッピングモジュールを含む典型的なシステムを示す図である。 ユーザ明るさ選択入力、周辺光センサ入力、および手動マップ選択を含む画像特性マッピングモジュールを含む典型的なシステムを示す図である。 画像ヒストグラムデータに関する画像特性マッピングモジュールを含む典型的なシステムを示す図である。 典型的なヒストグラム変換方法を示す図である。 ヒストグラムを生成および変換する典型的な方法を示す図である。 ヒストグラム変換およびマッピング並びに歪みモジュールを含む典型的な一実施形態を示す図である。 典型的なヒストグラムダイナミックレンジ変換を示す図である。 ヒストグラム変換およびダイナミックレンジ変換を含む典型的な一実施形態を示す図である。 光源光照明レベル補正処理、および修正画像に基づいたバックライト選択による補正前処理を含む典型的なシステムを示す図である。 光源光照明レベル補正処理、および原入力画像(original input image)に基づいたバックライト選択による補正前処理を含む典型的なシステムを示す図である。 修正された光源光照明レベル補正処理、および原入力画像に基づいたバックライト選択による補正後処理を含む典型的なシステムを示す図である。 修正された光源光照明レベル補正カーブの生成に関わる処理を示す図である。 光源光照明レベル信号への遅延モジュールを含む典型的なシステムを示す図である。 フレームレート変換モジュールに関連する遅延モジュールを含む典型的なシステムを示す図である。 追加の処理モジュールに関連する遅延モジュールを含む典型的なシステムを示す図である。 ゲイン画像平滑化を含む本発明の実施形態を示す図である。 ゲイン画像平滑化およびHP/HFゲイン処理を含む本発明の実施形態を示す図である。 ゲイン画像平滑化および画像特異的なゲイン処理を含む本発明の実施形態を示す図である。 ゲイン画像平滑化およびカラーチャンネル解析に基づくゲイン処理を含む本発明の実施形態を示す図である。 ゲイン画像平滑化およびカラーチャンネルコード値特性解析を含む本発明の実施形態を示す図である。 ゲイン画像平滑化および色保持クリッピングを含む本発明の実施形態を示す図である。 レチナールモデルを含む典型的な一実施形態を示す図である。 レチナールモデルおよびディスプレイ反射率モデルを含む典型的な一実施形態を示す図である。 レチナールモデルおよび補正計算機を含む典型的な一実施形態を示す図である。 典型的なレチナール応答モデルを示すプロット図である。 典型的な逆レチナール応答を示すプロット図である。 ディスプレイモデルパラメータ(アルファ)と周辺適応輝度との典型的な関係を示すプロット図である。 様々な周辺適応輝度状態下におけるレチナール応答を示すプロット図である。 典型的な補正トーンスケールを示すプロット図である。 様々な周辺適応輝度状態下における補正されたレチナール応答を示すプロット図である。 フレアを0.1%と仮定した反射率モデルを用いて補正されたレチナール応答を示すプロット図である。 フレアを1%と仮定した反射率モデルを用いて補正されたレチナール応答を示すプロット図である。 様々な周辺適応輝度状態下において透過反射型ディスプレイモデルを用いたレチナール応答を示すプロット図である。 透過反射型ディスプレイのための典型的な補正トーンスケールを示すプロット図である。 透過反射型ディスプレイモデルを用いて補正されたレチナール応答を示すプロット図である。 光照明レベルを選択するための表示システムを示す図である。
本発明の実施形態は、図を参照することによって最もよく理解されるであろう。全ての図において、同様の箇所は同様の符号によって示されている。列挙されている図は、この詳細な説明の一部として明確に組み込まれる。
本明細書中において一般的に説明および図示されている本発明の構成部品は、複数の異なる様々な構造に構成および設計可能であることは容易に理解されるであろう。従って、本発明の方法およびシステムの実施形態に関する以下のより詳細な説明は、本発明の範囲を限定するものではなく、単に、現時点において好ましい本発明の実施形態を示している。
本発明の実施形態の構成要素は、ハードウェア、ファームウェア、および/またはソフトウェア内において実施することができる。本明細書において公開されている典型的な実施形態は、これら形態のうちの1つのみについて記載している。しかし当業者であれば、本発明の範囲内において、これら構成要素をこれらいずれの形態においても機能させることができることを理解されたい。
LC変調器および他の変調器などの光弁変調器を用いる表示装置は、光が(視認者に面する)前面に発せられ、調節パネル層を通過した後に視認者に向かって反射される、反射型である場合がある。表示装置はまた、光が調節パネル層の後方に発せられ、視認者に向かって調節層を通過する、透過型である場合がある。一部の表示装置は、光が後方から前方へと調節層を通過する一方で、別の光源からの光が調節層の前方から入射後に反射される、反射型と透過型との組み合わせである透過反射型である場合がある。これらいずれの場合においても、調節層内の素子(例えば個々のLC素子)が、知覚される画素の明るさを制御しうる。
バックライト型、フロントライト型、およびサイドライト型ディスプレイでは、光源は、一連の蛍光管、LEDアレイ、または他の光源である。ディスプレイのサイズが典型的なサイズである約18インチよりも大きい場合、デバイスの電力消費の大部分は光源である。一部のアプリケーションおよび一部のマーケットでは、電力消費の低減が重要である。しかし、電力の低減は光源の光束の減少、ひいてはディスプレイの最大明るさの低下を意味する。
現在のガンマ補正された光弁変調器のグレーレベルコード値、CV、光源レベル、Lsource、および出力光レベルLoutに関する基本式は、以下の通りである。
Figure 2009265678
ここで、gはキャリブレーションゲイン、darkは光弁の暗レベル、ambientは室内状態においてディスプレイに当たる光である。この式から、バックライト光源をx%減少させると、光出力もx%減少することが分かる。
光源レベルの低下は、光弁の調節値を変えることによって、特にこれら値をブーストすることによって補償することができる。実際、(1−x%)よりも低いあらゆる光レベルは、正確に再現することができるが、(1-x%)よりも高いあらゆる光レベルは、追加の光源または光源強度の上昇なしに再現することができない。
当初の低減された光源から出力された光を調節することによって、x%の減少に対してコード値を補正するために用いられる基本的なコード値補正が得られる(darkおよびambientは0と仮定する)。
Figure 2009265678
Figure 2009265678
図2Aは、この調整を示している。図2Aおよび図2Bでは、当初の表示値は、直線12に沿ったポイントに対応している。バックライトまたは光源が省電力モードに置かれ、光源照明が減少された場合、ディスプレイコード値をブーストして、光弁に光源照明の減少を相殺させる必要がある。ブーストされたこれら値は、直線14に沿ったポイントと一致する。しかしこの調整によって、ディスプレイよりも高いコード値18(例えば、8ビット表示に対して255)を生み出すことができる(16)。結果として、これらの値は、図2Bに示されているようにクリッピングされる(20)。このように調整された画像は、ハイライトがぼやけ、外観が人工的であり、一般的には品質が低い。
この単純な調整モデルの使用によって、低減された光源光照明モードにおいて、クリッピングポイント15未満のコード値(本実施形態の例では入力コード値230)が、全電力の光源で生み出されるレベルと等しい輝度レベルで表示される。より低い電力で同じ輝度が生み出された結果、省電力となる。画像のコード値の集合がクリッピングポイント15未満の範囲に限定された場合、ユーザに意識させることなく省電力モードを動作させることができる。不運にも、値がクリッピングポイント15を超えた場合、輝度が低下して細部が失われる。本発明の実施形態は、LCDまたは光弁コード値を変化させることのできるアルゴリズムを提供して、輝度範囲のハイエンドで生じ得るクリッピングアーチファクト(clipping artifact)を低減しながら明るさを上昇させる(あるいは、省電力モードにおいて明るさの低下を減少させる)。
本発明の一部の実施形態は、顕著な範囲の値に対して、低電力で表示される画像輝度を全電力で表示される画像輝度にマッチングさせることによって、ディスプレイ光源の電力低下に伴う明るさの低下を取り除くことができる。これらの実施形態では、出力輝度を特定の係数で除算する光源光またはバックライト電力の低下は、逆数式によって画像データをブーストすることによって補償される。
ダイナミックレンジ制限を無視することによって、全電力および低減された電力で表示される画像は同一となりうる。これは、(光源照明を低減するための)除算および(コード値をブーストするための)乗算が、広範囲に渡って実質的に取り消されるからである。ダイナミックレンジ制限によって、(コード値をブーストするための)画像データの乗算が表示の最大を超えた場合は常に、クリッピングアーチファクトが生じうる。ダイナミックレンジ制限によって生じるクリッピングアーチファクトは、コード値の上端におけるブーストをロールオフすることによって除去または低減することができる。このロールオフは、最大忠実度において開始しうる。最大忠実度を越えると、輝度は当初の輝度に適応しなくなる。
本発明の一部の実施形態では、画像強調のための光源照明の低下または実質的な低下を補償するために、以下のステップが実行されうる。
1)光源光(バックライト)の低下レベルが、輝度低下の割合において決定される。
2)低下された出力を全出力へマッチングさせることによってロールオフが生じる最大忠実度(MFP)が決定される。
3)補正するトーンスケール演算子(tone scale operator)を決定する。
a.MFPよりも下側において、トーンスケールをブーストして表示輝度の低下を補償する。
b.MFPよりも上側において、トーンスケールを徐々にロールオフする(一部の実施形態では、連続導関数を維持する)。
4)トーンスケールマッピング演算子を画像へ適用する。
5)ディスプレイに送る。
これら実施形態の主な利点は、画像の狭いカテゴリーにほんの僅かな変化を加えることで省電力を達成できることにある。(差は、MFPよりも上側のみにおいて生じ、ピーク明るさが低下すること、および細部の明るさが一部失われることからなる)。MFPよりも下側の画像値を、全電力モードでの輝度と同一の輝度で省電力モードで表示して、画像のこれら区域を全電力モードと区別できないようにすることができる。
本発明の一部の実施形態は、電力低減およびディスプレイガンマに依存し、画像データには依存しないトーンスケールマップを用いる。これらの実施形態は、2つの利点を有する。第一の利点は、複数のフレームを別々に処理することに起因する不適切なフリッカーが生じない点であり、第二の利点は、アルゴリズムを実行する際の複雑性が非常に低い点である。一部の実施形態では、オフライントーンスケール設計およびオンライントーンスケールマッピングを用いることができる。ハイライトのクリッピングは、MFPのスペックによって制御することができる。
本発明の実施形態の一部の形態について、図3に基づいて説明する。図3は、様々な状況における輝度に対して画像コード値(画像値)をプロットしたグラフである。点線の曲線で示されている第1のカーブ32は、100%の電力で動作する光源の当初のコード値を示している。鎖線の曲線で示されている第2のカーブ30は、光源が全電力の80%で動作するときの当初のコード値の輝度を示している。破線の曲線で示されている第3のカーブ36は、光源が全電力の80%で動作しているときに、100%の光源照明で提供される輝度と適応するようにコード値がブーストされた場合の輝度を示している。実線で示されている第4のカーブ34は、ブーストされたデータを示しているが、データのハイエンドにおけるクリッピングの影響を軽減するためにロールオフカーブを有している。
図3に示されている典型的な実施形態では、コード値180でのMFP35が用いられた。ここで留意すべきは、コード値180未満では、ブーストされたカーブ34は、当初の100%の電力での表示による輝度出力32と一致することである。コード値180よりも上側では、ブーストされたカーブが、80%表示で許容される最大出力に滑らかに遷移する。この滑らかさによって、クリッピングおよび定量化されたアーチファクトが低減される。一部の実施形態では、MFP35によって与えられる遷移点において滑らかに一致するように、トーンスケール関数が区分的に定義されうる。MFP35よりも下側では、ブーストされたトーンスケール関数を用いることができる。MFP35よりも上側では、カーブが、MFPにおいて、ブーストされたトーンスケールカーブの終点に滑らかに一致しており、最大コード値〔255〕において終点37と一致している。一部の実施形態では、MFP35において、カーブの傾きとブーストされたトーンスケールカーブ/直線の傾きとを一致させることができる。これは、MFPにおける直線及びカーブ関数の導関数をそれぞれ一致させ、またMFPにおける直線及びカーブ関数の値をそれぞれ一致させることにより、MFPよりも下側の直線の傾きをMFPよりも上側のカーブの傾きに一致させることで実現する。カーブ関数の別の制限は、最大値ポイント[255,255]37を強制的に通過させる点にある。一部の実施形態では、カーブの傾きを、最大値ポイント37において0にセットすることができる。一部の実施形態では、MFP値180が光源の20%の電力低下に対応している。
本発明の一部の実施形態では、ゲインgとの線形関係によってトーンスケールカーブを最大忠実度(MFP)よりも下側に定義することができる。さらに、カーブおよびその第1の導関数がMFPにおいて連続的となるように、トーンスケールをMFPよりも上側に定義することができる。この連続性は、トーンスケール関数の以下の形式を示唆している。
Figure 2009265678
ゲインは、次式のように、ディスプレイガンマおよび明るさの低下率によって決定することができる。
Figure 2009265678
一部の実施形態では、MFP値は、絶対明るさを保持するために、最も明るい細部を手動でバランスさせることで調整することができる。
MFPは、最大忠実度において傾きをゼロにする制限を課すことによって決定することができる。これは、以下を示唆する。
Figure 2009265678
一部の典型的な実施形態では、ある一実施形態例に従って、単純ブーストされたデータ、クリッピングによってブーストされたデータ、および修正されたデータをそれぞれ算出するために、次式が用いられうる。
Figure 2009265678
定数A、B、およびCは、MFPにおいて滑らかに一致するように、且つカーブがポイント[255,255]を通過するように選択されうる。これら関数のプロットは、図4に示されている。
図4は、当初のコード値に対して調整されたコード値をプロットした図である。当初のコード値は、ゼロ点43から伸びる当初のデータ直線40に沿ったポイントとして示されており、調整された値と調整されていない当初の値との1対1の関係を示している。本発明の実施形態によると、より高い輝度レベルを表現するために、これらの値をブーストあるいは調整することができる。上記「トーンスケールブースト」式7による単純なブースト手順によって、ブースト線42に沿った値が生じる。これら値の表示の結果、線46に線図で示されているように、また上記「トーンスケールクリップ」式7に数学的に示されているようにクリッピングが行われるため、最大忠実度45からカーブ44に沿って最大値ポイント47まで調整が漸減する。一部の実施形態では、この関係は、上記「トーンスケール修正」式7で数学的に記載することができる。
これらの概念を用いることによって、100%の電力で動作する光源を有するディスプレイによって表現される輝度値を、より低い電力レベルで動作する光源を有するディスプレイによって表現することができる。これは、トーンスケールをブーストして、光弁を確実に開けて光源照明の損失を補償することによって達成される。しかし、このブーストをコード値の全範囲に単純に適用した場合、当該範囲のハイエンドにおいてクリッピングアーチファクトが生じる。これらのアーチファクトを防止または軽減するために、トーンスケール関数が平滑にロールオフされる。このロールオフは、MFPパラメータによって制御可能である。MFPの値が大きい場合は広い間隔で輝度が適応されるが、コード値のハイエンドにおける可視的な量子化/クリッピングアーチファクトが増加する。
本発明の実施形態は、コード値を調整することによって機能しうる。単純なガンマディスプレイモデルでは、コード値のスケーリングによって、異なるスケール係数で輝度値のスケーリングが行われる。この関係がより現実的なディスプレイモデルにおいて有効であるかを判定するため、我々はガンマオフセットゲイン−フレア(Gamma Offset Gain-Flair; GOG-F)モデルを考慮する。バックライト電力のスケーリングは、線形縮小式(ここで、割合pは、周辺ではなく、ディスプレイ出力に適用される)に対応する。ゲインを因数p減らすことは、ゲインを修正せずに、データ、コード値、およびオフセットをディスプレイガンマによって決定される因数でスケーリングすることと等しいことが観察される。数学的に、乗法因子は、適切に修正される場合はべき関数に引き込むことができる。この修正された因子は、コード値およびオフセットを両方スケーリングする。
GOG−Fモデル
Figure 2009265678
線形輝度低下
Figure 2009265678
コード値低下
Figure 2009265678
本発明の一部の実施形態について、図5を参照しながら説明する。これらの実施形態では、トーンスケール調整は、画像処理前に設計またはオフラインで算出されるか、あるいは画像処理中に設計またはオンラインで算出されうる。トーンスケール調整56は、演算のタイミングとは関係なく、ディスプレイガンマ50、効率因子52、および最大忠実度(MFP)54のうちの少なくとも1つに基づいて設計または算出されうる。これらの因子は、トーンスケール設計プロセス56において処理されて、トーンスケール調整モデル58が生み出される。当該トーンスケール調整モデルの形態は、アルゴリズム、参照テーブル(look-up table; LUT)、あるいは画像データに適用することのできる他のモデルであってよい。
調整モデル58は、生成された後に画像データに適用されうる。調整モデルの適用について、図6を参照しながら説明する。これらの実施形態では、画像が入力され(62)、そしてトーンスケール調整モデル58が画像に適用されて(64)、画像コード値が調整される。この処理の結果、画像が出力されて(66)、当該画像はディスプレイに送られる。トーンスケール調整の適用(64)は、典型的にはオンライン処理であるが、状態が許すのであれば画像表示前に行うこともできる。
本発明の一部の実施形態は、例えばLEDディスプレイ、プラズマディスプレイ、および他のタイプのディスプレイなどの発光画素変調器を用いて、ディスプレイに表示される画像を強調するシステムおよび方法を含んでいる。これらと同一のシステムおよび方法を用いて、全電力モードまたは別のモードで動作する光源を有する光弁画素変調器を用いることによって、ディスプレイに表示される画像を強調することができる。
これらの実施形態は、前述した実施形態と同様に機能するが、低下した光源照明を補償するのではなく、単に、光源が減少したかのように画素範囲の輝度を上昇させる。この方法によって、画像の全体的な明るさが改善する。
これらの実施形態では、当初のコード値が、その顕著な範囲に渡ってブーストされる。このコード値調整は、実際の光源照明の低下が生じないことを除いて、前述した他の実施形態と同様に行うことができる。従って、広い範囲のコード値において画像の明るさが顕著に上昇する。
これら実施形態の一部について、図3も参照しながら説明する。これらの実施形態では、当初の画像のコード値が、カーブ30に沿ったポイントとして示されている。これらの値は、より高い輝度レベルを有する値までブーストまたは調整することができる。ブーストされたこれらの値は、カーブ34に沿ったポイントとして表現されうる。カーブ34は、ゼロポイント33から最大忠実度35まで伸び、そして最大値ポイント37まで漸減する。
本発明の一部の実施形態は、アンシャープマスキング処理を含んでいる。これら実施形態の一部では、アンシャープマスキングは、空間的に変化するゲインを用いる。このゲインは、画像値および修正されたトーンスケールカーブの傾きによって決定することができる。一部の実施形態では、ゲイン配列(gain array)を用いることによって、ディスプレイ電力の制限ゆえに画像の明るさを再現できない場合であっても、画像コントラストをマッチングさせることができる。
本発明の一部の実施形態は、以下の処理ステップを行う。
1.トーンスケール調整モデルを計算する。
2.高域画像(High Pass Image)を計算する。
3.ゲイン配列を計算する。
4.ゲインによって高域画像に重みを付る。
5.低域画像(Low Pass Image)および重み付き高域画像を合計する。
6.ディスプレイに送る。
本発明の他の実施形態は、以下の処理ステップを行いうる。
1.トーンスケール調整モデルを計算する。
2.低域画像を計算する。
3.高域画像を画像と低域画像との差として計算する。
4.画像値と修正されたトーンスケールカーブの傾きとを用いてゲイン配列を計算する。
5.ゲインによって高域画像に重みを付ける。
6.低域画像および重み付き高域画像を合計する。
7.電力が低減されたディスプレイに送る。
本発明の一部の実施形態を用いることによって、画像の狭いカテゴリーをわずかに変更するだけで省電力を達成することができる。(差は、MFPよりも上側でしか生じず、ピーク明るさの低下、および、細部の明るさの一部損失からなる)。MFPよりも下側の画像値を、全電力モードでの輝度と同一の輝度で省電力モードで表示して、画像のこれら領域を全電力モードと区別できないようにすることができる。本発明の他の実施形態は、この性能を、細部の明るさの損失を軽減することによって改善する。
これらの実施形態は、空間的に変化するアンシャープマスキングを行って細部の明るさを保持するステップを含みうる。他の実施形態と同様に、オンライン成分およびオフライン成分を両方用いることができる。一部の実施形態では、トーンスケール関数に加えてゲインマップを計算することによってオフライン成分を拡張することができる。ゲインマップは、画像値に基づいて適用するためにアンシャープフィルタゲインを特定する。ゲインマップ値は、トーンスケール関数の傾きを用いて決定することができる。一部の実施形態では、特定のポイント「P」におけるゲインマップ値が、MFPよりも下側のトーンスケール関数の傾きとポイント「P」におけるトーンスケール関数の傾きとの比率として算出されうる。一部の実施形態では、トーンスケール関数はMFPよりも下側において線形であり、従ってゲインはMFPよりも下側において1である。
本発明の一部の実施形態について、図7を参照しながら説明する。これらの実施形態では、トーンスケール調整は、画像処理前にオフラインで設計または算出されるか、あるいは画像処理中にオンラインで設計または算出されうる。トーンスケール調整76は、演算のタイミングとは関係なく、ディスプレイガンマ70、効率因子72、および最大忠実度(MFP)74のうちの少なくとも1つに基づいて設計または算出されうる。これらの因子は、トーンスケール設計プロセス76において処理されて、トーンスケール調整モデル78が生み出される。当該トーンスケール調整モデルの形態は、アルゴリズム、参照テーブル(LUT)、あるいは、他の実施形態に関連して前述したように、画像データに適用することのできる他のモデルであってよい。これらの実施形態では、別々のゲインマップ77も計算される(75)。このゲインマップ77は、周波数範囲など特定の画像区分に適用されうる。一部の実施形態では、上記ゲインマップは、周波数分割された画像部分に適用されうる。一部の実施形態では、上記ゲインマップは、高域画像区分に適用されうる。上記ゲインマップは、特定の画像周波数範囲、あるいはその他の画像区分にも適用されうる。
典型的なトーンスケール調整モデルを図8に基づいて説明する。これらの典型的な実施形態では、関数遷移点(Function Transition Point; TFP)84(光源低下を補償する実施形態で用いられるMFPと同様)が選択され、ゲイン関数が選択されて、FTP84よりも下側の値に対して第1のゲイン関係(gain relationship)82が提供される。一部の実施形態では、第1のゲイン関係は線形関係であってよいが、他の関係および関数を用いて、コード値を強調されたコード値へ変換することもできる。FTP84よりも上側では、第2のゲイン関係86が用いられうる。この第2のゲイン関係86は、FTP84と最大値ポイント88とを連結する関数であってよい。一部の実施形態では、第2のゲイン関係86は、第1のゲイン関係82の値および傾きをFTP84において適応させ、そして最大値ポイント88を通過しうる。他の実施形態に関連して前述した他の関係、およびさらに他の関係もまた、第2のゲイン関係86として機能しうる。
一部の実施形態では、図8に示されているように、トーンスケール調整モデルに関連してゲインマップ77が算出されうる。典型的なゲインマップ77について、図9に関連して説明する。これらの実施形態では、ゲインマップ関数は、トーンスケール調整モデルの傾きの関数として、トーンスケール調整モデル78に関連している。一部の実施形態では、特定のコード値におけるゲインマップ関数の値は、FTP未満の任意のコード値におけるトーンスケール調整モデルの傾きと、その特定のコード値におけるトーンスケール調整モデルの傾きとの比率によって決定される。一部の実施形態では、この関係を式11に数学的に表すことができる。
Figure 2009265678
これらの実施形態では、ゲインマップ関数90は、トーンスケール調整モデルが線形ブーストを生じさせるFTP92未満の関数と等しい。FTPよりも上側のコード値94では、トーンスケール調整モデルの傾きの漸減に伴ってゲインマップ関数が急速に増加する。このゲインマップ関数の急峻な増加によって、当該関数が適用される画像部分のコントラストが強調される。
図8に示されている典型的なトーンスケール調整因子、および図9に示されている典型的なゲインマップ関数は、表示割合(光源光低下)80%、ディスプレイガンマ2.2、および最大忠実度180を用いて算出された。
本発明の一部の実施形態では、トーンスケール調整モデルの適用後に、アンシャープマスキング動作が適用されうる。これらの実施形態では、アンシャープマスキング技術によってアーチファクトが低減される。
本発明の一部の実施形態について、図10に関連して説明する。これらの実施形態では、原画像102が入力されて、トーンスケール調整(マッピング)モデル103が画像に適用される。原画像102は、ゲインマッピング処理105への入力としても用いられ、これによってゲインマップが生じる。トーンスケール調整された画像が低域通過フィルタ104によって処理され、これによって低域調整された画像が生じる。この低域調整された画像は、トーンスケール調整された画像から減算され(106)、高域調整された画像が生成される。この高域調整された画像は、ゲインマップ内の適切な値によって乗算されて(107)、ゲイン調整された高域画像が提供される。当該ゲイン調整された高域画像は、トーンスケール調整モデルによって既に調整された、低域調整された画像に加算される(108)。この加算の結果、明るさが上昇して高周波コントラストが改善された出力画像109が生じる。
これら実施形態の一部では、画像の各画素の各成分に対して、ゲインマップからゲイン値が決定され、その画素における画像値が決定される。ゲインは、トーンスケール調整モデルの適用前に原画像102を用いて決定されうる。高域画像の各画素の各成分は、低域画像に再び加算される前に、対応するゲイン値によってスケーリングされうる。ゲインマップ関数が1であるポイントでは、アンシャープマスキング動作によって画像値が修正されることはない。ゲインマップ関数が1を超えているポイントにおいて、コントラストが増加される。
本発明の一部の実施形態は、コード値の明るさを増加させるときに、画像を複数の周波数帯域に分解することによって、ハイエンドのコード値におけるコントラストの損失に対処する。一部の実施形態では、トーンスケール関数を低域帯域に適用して画像データの明るさを増加させ、低電力設定における光源光の輝度低下を補償するか、あるいは単に表示される画像の明るさを増加させうる。これと並行して、定ゲインを高域帯域に適用して、表示電力が低いゆえに平均絶対明るさが低下する領域においても画像コントラストを保持することができる。典型的なアルゴリズムの動作は、以下によって行われる。
1.原画像の周波数分解を行う。
2.低域画像に明るさ保持、トーンスケールマップを適用する。
3.高域画像に一定の乗数を適用する。
4.低域および高域画像を合計する。
5.結果をディスプレイに送る。
トーンスケール関数および定ゲインは、原画像の全電力ディスプレイと、光源光照明低減アプリケーションのための処理画像の低電力ディスプレイとの光度を一致させることによって、オフラインで決定することができる。トーンスケール関数は、明るさ強化アプリケーションに対してもオフラインで決定することができる。
MFP値が小さい場合、これら一定の高域ゲインの実施形態およびアンシャープマスキングの実施形態は、その性能においてほぼ区別することはできない。これら一定の高域ゲインの実施形態は、アンシャープマスキングの実施形態に比べて、低減された雑音感度、より大きいMFP/FTPを使用できる能力、およびディスプレイシステム内で処理ステップを使用することのできる能力という、3つの主な利点を有している。アンシャープマスキングの実施形態は、トーンスケールカーブの傾きの逆数であるゲインを用いる。このカーブの傾きが小さい場合、このゲインは大きい増幅雑音を被る。この雑音増幅は、MFP/FTPのサイズに実用的な制限を加える。第2の利点は、任意のMFP/FTP値に拡張できることである。第3の利点は、システム内におけるアルゴリズムの配置を検査することから得られる。一定の高域ゲインに係る実施形態とアンシャープマスキングに係る実施形態の双方は、周波数分解を用いる。一定の高域ゲインに係る実施形態は、まずこの動作を実行するが、一部のアンシャープマスキングに係る実施形態は、周波数分解前にまずトーンスケール関数を適用する。逆コンチュアリング(de-contouring)などの一部のシステム処理は、明るさ保持アルゴリズムの前に周波数分解を行う。このような場合では、一部の一定の高域ゲインに係る実施形態によってこの周波数分解を使用し、これによって変換ステップを省略できる。しかし、一部のアンシャープマスキングに係る実施形態は、周波数分解を反転し、トーンスケール関数を適用し、別の周波数分解を行わなければならない。
本発明の一部の実施形態は、トーンスケール関数の適用前に、空間周波数に基づいて画像を分割することにより、ハイエンドのコード値におけるコントラストの損失を防止する。これらの実施形態では、画像の低域(low pass; LP)成分に対して、ロールオフを伴うトーンスケール関数を適用することができる。これによって、光源照明低減補償アプリケーションでは、低域画像成分の全体的な輝度が一致する。これらの実施形態では、高域(high pass; HP)成分は均一にブーストされる(定ゲイン)。周波数分割された信号は、必要に応じて再統合およびクリッピングすることができる。高域成分はトーンスケール関数のロールオフを通過しないため、細部が保持される。低域トーンスケール関数の平滑なロールオフによって、ブーストされた高域コントラストを追加するための上端スペース(head room)が保持される。この最終的な組み合わせにおいて生じ得るクリッピングが、細部を顕著に低下させるものであることまでは分かっていない。
本発明の一部の実施形態について、図11を参照しながら説明する。これらの実施形態は、フィルタ111を用いた周波数分離または分解ステップと、低域トーンスケールマッピングステップ112と、一定の高域ゲインまたはブーストステップ116と、強調された画像成分の加算または再統合ステップ115とを含んでいる。
これらの実施形態では、入力画像110が空間周波数帯域に分解される。これは、2つの帯域が用いられる典型的な一実施形態では、低域(LP)フィルタ111を用いて行うことができる。周波数分割は、フィルタ111を介してLP信号を計算し、元の信号からLP信号を減算し(113)、高域(HP)信号118を形成することによって行われる。一実施形態例では、この分解のために空間5×5レクトフィルタを用いることができるが、別のフィルタを用いることもできる。
次に、前述の実施形態で説明したように、トーンスケールマッピングを適用することによって、LP信号が処理されうる。この処理は、一実施形態例では、光度マッチングLUT(Photometric matching LUT)を用いて達成することができる。これらの実施形態では、フィルタ111において細部の大部分が既に抽出されているため、前述の一部のアンシャープマスキングに係る実施形態と比較してより高い値のMFP/FTPを用いることができる。コントラストを追加する一部の上端スペースは、通常は保持する必要があるため、一般的にはクリッピングを用いるべきではない。
一部の実施形態では、MFP/FTPは、自動的に決定され、またトーンスケールカーブの傾きが上限で0となるように設定することができる。図12には、この方法で決定された一連のトーンスケール関数が示されている。これら実施形態では、MFP/FTPの最大値を、トーンスケール関数の傾きが255で0となるように決定することができる。これは、クリッピングを生じさせない最大のMFP/FTP値である。
図11を参照して説明した本発明の一部の実施形態では、HP信号118の処理は、低域信号の処理に用いられるMFP/FTPの選択には依存していない。HP信号118は、電力/光源照明が低減されたとき、あるいは明るさを改善するために画像コード値がブーストされたときに、コントラストを保持する定ゲイン116で処理される。フルバックライト(BL)電力、低減されたバックライト(BL)電力、およびディスプレイガンマに関するHP信号のゲイン116のための式を、高域ゲイン方程式として以下に示す。ゲインは一般的に小さいため(例えば、80%の電力低下およびガンマ値2.2に対して1.1)、HPコントラストのブーストは雑音に強い。
Figure 2009265678
一部の実施形態では、LUT処理または他の方法によってLP信号にトーンスケールマッピング112が適用され、HP信号に定ゲイン116が適用されると、これら周波数成分が加算され(115)、場合によってはクリッピングされうる。LP値に加算されたブーストされたHP値が255を超えるとき、クリッピングが必要となりうる。これは、一般的には、高コントラストの輝度信号に対してのみ該当する。一部の実施形態では、LP信号は、トーンスケールLUT構造によって上限を超過しないように保証されている。HP信号は加算時にクリッピングを生じさせうるが、クリッピングが生じた場合であっても、HP信号の負の値は決してクリッピングされることなく、一部のコントラストを維持する。
(画像依存性の光源光の実施形態)
本発明の一部の実施形態では、表示される画像、既に表示された画像、表示された画像に続いて表示される画像、あるいはこれらが統合された画像の特性に従って、ディスプレイ光源照明レベルが調整されうる。これらの実施形態では、ディスプレイ光源照明レベルは、画像特性に応じて異なりうる。一部の実施形態では、これらの画像特性は、画像輝度レベル、画像クロミナンスレベル、画像ヒストグラム特性、および他の画像特性を含みうる。
画像特性が確認されると、光源(バックライト)照明レベルを変更して、1つ以上の画像属性を強調することができる。一部の実施形態では、光源レベルを低下または上昇させて、より暗い画像領域またはより明るい画像領域においてコントラストを強調することができる。光源照明レベルを上昇または低下させて、画像のダイナミックレンジを拡大することもできる。一部の実施形態では、光源レベルを調整して、各画像フレームの電力消費を最適化することができる。
光源レベルが修正された場合、それがいかなる理由によるものであっても、トーンスケール調整によって画像画素のコード値を調整して、画像をさらに改善することができる。電力保持のために光源レベルが低下された場合、画素値を上げて失われた明るさを回復することができる。特定の輝度範囲内においてコントラストを強調するために光源レベルが変更された場合、画素値を調整して、別の範囲内において低下したコントラストを補償するか、あるいは特定範囲をさらに強調することができる。
本発明の一部の実施形態では、図13に示されているように、画像のトーンスケール調整は画像内容に依存していない。これらの実施形態では、画像が解析され(130)、画像特性が決定される。画像特性は、輝度チャネル特性(例えば、画像の平均輝度である平均画像レベル(APL))、最大輝度値、最小輝度値、輝度ヒストグラムデータ(例えば、平均ヒストグラム値、最頻ヒストグラム値、および他のヒストグラム値)、および他の輝度特性を含みうる。画像特性は、個々のカラーチャンネルの特性(例えば、RGB信号内のR、G、およびB)などのカラー特性も含みうる。各カラーチャンネルを独立して解析して、カラーチャンネル特有の画像特性を決定することができる。一部の実施形態では、各カラーチャンネルに対して別々のヒストグラムを用いることができる。別の実施形態では、画像特性として、画像データの空間分布に関する情報を組み込んだブロブヒストグラムデータを用いることができる。画像特性は、ビデオフレーム間における経時変化も含みうる。
画像が解析され(130)、特性が決定されると、当該画像特性の値に基づいて、事前に算出された複数のマップの集合からトーンスケールマップが算出または選択される(132)。このマップは、画像に適用されて(134)、バックライト調整を補償するか、あるいは画像を強調する。
本発明の一部の実施形態を図14に基づいて説明する。これらの実施形態では、画像解析器142が画像140を受け取り、トーンスケールマップを選択するために用いられうる画像特性を決定する。これらの特性は、トーンスケールマップ選択器143に送られ、トーンスケールマップ選択器143は、上記画像特性に基づいて適切なマップを決定する。このマップ選択は、当該マップを画像140に適用するために画像プロセッサ145に送られる。画像プロセッサ145は、マップ選択および原画像データを受け取り、選択されたトーンスケールマップ144を用いて上記原画像を処理し、これによって調整された画像を生成する。調整された当該画像は、ユーザに表示するためにディスプレイ146に送られる。これらの実施形態では、画像特性に基づいた選択のために、1つ以上のトーンスケールマップ144が記憶される。これらのトーンスケールマップ144は、事前に算出して、テーブルまたは他のデータ形式として記憶させておくことができる。これらのトーンスケールマップ144は、単純なガンマ変換テーブル、図5、7、10、および11に関連して説明した方法を用いて生成された強調マップ、あるいはその他のマップを含みうる。
本発明の一部の実施形態について、図15に関連して説明する。これらの実施形態では、画像解析器152が画像150を受け取り、トーンスケールマップを算出するために用いられうる画像特性を決定する。これらの特性は、トーンスケールマップ計算機153に送られて、トーンスケールマップ計算機153は、当該画像特性に基づいて適切なマップを算出する。算出されたマップは、画像150に適用されるために画像プロセッサ155に送られる。画像プロセッサ155は、算出されたマップ154および原画像データを受け取り、当該原画像をトーンスケールマップ154で処理し、これによって調整された画像を生成する。調整された画像は、ユーザに表示するためにディスプレイ156に送られる。これらの実施形態では、トーンスケールマップ154は、本質的に、画像特性に基づいて実時間で算出される。算出されたトーンスケールマップ154は、単純なガンマ変換テーブル、図5、7、10、11を参照して前述した方法を用いて生成された強調マップ、あるいは別のマップを含みうる。
本発明のさらなる実施形態を図16に基づいて説明する。これらの実施形態では、光源光照明レベルは画像内容に依存し、トーンスケールマップも画像内容に依存する。しかし、光源光計算チャネルとトーンスケールマップチャネルとの間に通信がなくてもよい。
これらの実施形態では、画像が解析されて(160)、光源光またはトーンスケールマップ計算に必要な画像特性が決定される。次に、この情報を用いて画像に適した光源光照明レベル161を算出する。この光源光データは、画像が表示されるときに光源光(例えばバックライト)を変化させるためにディスプレイへ送られる(162)。画像特性データは、トーンスケールマップが画像特性情報に基づいて選択または算出される(163)、トーンスケールマップチャネルに送られる。次に、マップが画像に適用されて(164)、強調された画像が生成され、当該強調された画像はディスプレイ165に送られる。画像に対して算出された光源光信号は、上記強調された画像データの表示と一致するように、上記強調された画像データと同期する。
図17に示されているこれら実施形態の一部は、単純なガンマ変換テーブル、図5、7、10、11に関連して前述した方法を用いて生成された強調マップ、または別のマップを含みうる、記憶されたトーンスケールマップを使用する。これらの実施形態では、トーンスケールマップおよび光源光計算に関連する画像特性を決定するために、画像170が画像解析器172に送られる。これらの特性は、適切な光源光照明レベルの決定のために光源光計算機177に送られる。一部の特性は、適切なトーンスケールマップ174の決定に用いるために、トーンスケールマップ選択器173にも送られうる。次に、原画像170およびマップ選択データは画像プロセッサ175に送られる。画像プロセッサ175は、選択されたマップ(174)を取り出して、当該マップ(174)を画像170に適用し、強調された画像を生成する。この強調された画像は、ディスプレイ176に送られる。ディスプレイ176はまた、光源光計算機177から光源光レベル信号を受け取り、この信号を用いて光源光179を調節し、一方で強調された画像が表示される。
図18に示されているこれら実施形態の一部は、トーンスケールマップをオンザフライで算出しうる。これらのマップは、単純なガンマ変換テーブル、図5、7、10、11を参照して前述した方法を用いて生成された強調マップ、または別のマップを含みうる。これらの実施形態では、画像180が画像解析器182に送られて、トーンスケールマップおよび光源光計算に関連する画像特性が決定される。これらの特性は、適切な光源光照明レベルの決定のために光源光計算機187に送られる。一部の特性は、適切なトーンスケールマップ184の算出に用いられるトーンスケールマップ計算機183にも送られうる。次に、原画像180および算出されたマップ184が、画像プロセッサ185に送られる。画像プロセッサ185は、強調された画像を生成するために、マップ184を画像180に適用する。この強調された画像は、ディスプレイ186に送られる。ディスプレイ186は、光源光計算機187から光源光レベル信号を受け取り、この信号を用いて光源光189を調節し、一方で強調された画像が表示される。
本発明の一部の実施形態について、図19を参照しながら説明する。これらの実施形態では、画像が解析されて(190)、光源光およびトーンスケールマップ計算および選択に関連する画像特性が決定される。次に、これらの特性を用いて光源光照明レベルが算出される(192)。次に、光源光照明レベルを用いてトーンスケール調整マップ194が算出または選択される。このマップは、画像に適用されて(196)、強調された画像が生成される。当該強調された画像および光源光レベルデータは、ディスプレイに送られる(198)。
図19に関連して説明した方法に対して用いられる装置について、図20を参照しながら説明する。これらの実施形態では、画像解析器202において画像200が受け取られ、画像解析器202において画像特性が決定される。画像解析器202は、光源光レベルの決定のために画像特性データを光源光計算機203に送る。次に、光源光レベルデータがトーンスケールマップ選択器または計算機204に送られうる。トーンスケールマップ選択器または計算機204は、光源レベルに基づいてトーンスケールマップを算出または選択しうる。選択されたマップ(207)または算出されたマップは、原画像に適用するために、原画像と共に画像プロセッサ205に送られうる。この処理によって、強調された画像が生成される。当該強調された画像は、ディスプレイの光源光を調節するために用いられる光源光レベル信号と共にディスプレイ206に送られ、同時に表示される。
本発明の一部の実施形態では、光源光制御ユニットは、画質を維持する光源光の低減を選択する機能を負う。適応段階における画質維持を可能とする知見が、光源光レベルを選択する指針として使用される。一部の実施形態では、画像が明るいとき、あるいは画像がコード値255を有する高度の飽和色(すなわち青色)を含んでいるときには、高い光源光レベルが必要であることを認識することが重要である。バックライトレベルの決定に輝度のみを用いた場合、低い輝度および大きいコード値(すなわち飽和した青または赤)を有する画像にアーチファクトが生じうる。一部の実施形態では、各色平面を調べて、色平面全ての最大値に基づいて決定を行うことができる。一部の実施形態では、バックライトの設定は、クリッピングされる画素の単一の特定された割合に基づいていてよい。図22に示されている別の実施形態では、原画像220からのバックライト調節アルゴリズムは、クリッピングされる画素の割合(236)と歪まされる画素235の割合という、2つの割合を用いることができる。これらの異なる値を用いてバックライト設定を選択することによって、トーンスケール計算機が、ハードクリップを強いるのではなく、トーンスケール関数を平滑にロールオフするための余地ができる。入力画像が入力されると、各色平面に対するコード値のヒストグラムが決定される。2つの割合がPClipped236およびPDistored235が入力されると、各色平面221〜223のヒストグラムが調べられて、これらの割合224〜226に対応するコード値が決定される。これにより、CClipped(色)228およびCDistorted(色)227に、複数の異なる色平面間において最大クリッピングコード値234および最大歪みコード値233がそれぞれ与えられ、これらのコード値を用いてバックライト設定229を決定しうる。この設定によって、最大でも各色平面に対して、特定の割合のコード値がクリッピングまたは歪まされることを確実にすることができる。
Figure 2009265678
バックライト(BL)の割合は、トーンスケール(TS)関数を調べることによって決定される。トーンスケール関数は、トーンスケール関数が、255において、コード値CvClipped234においてクリッピングするように、BLの割合を補正および選択するために用いられる。トーンスケール関数は、値CvDistorted(この傾きの値はBLの低下を補償する)より下側では線形であり、CvClippedより上側のコード値に対しては255において一定であり、また連続導関数を有している。導関数の検討は、より低い傾きの選択方法、すなわち、CvDistortedより下側のコード値に対して画像歪みを与えないバックライト電力の選択方法を示す。
図21に示されているTS導関数のプロットでは、値Hが不明である。TSがCvClippedを255にマッピングするためには、TS導関数の下側の領域は255でなくてはならない。この制限によって、Hの値を以下のように決定することができる。
Figure 2009265678
BLの割合は、コード値ブースト、ディスプレイガンマ、および歪みポイントより下のコード値を正確に補償する基準から決定される。CvClippedにおいてクリッピングし、CvDistortedより下側において歪みなしからの滑らかな遷移を可能にするBLの比率は、次式で表される。
Figure 2009265678
BL変化の問題にさらに対処するために、BL比率に上限が設けられる。
Figure 2009265678
上記から導かれる画像依存性BL信号230に時間低域フィルタリング231を適用し、その後に量子化しうる(232)。これにより、LCDとBLとの間の非同期が補償される。図22には、典型的なバックライト調節アルゴリズムの図が示されている。別の実施形態では、異なる割合および値を用いることができる。
トーンスケールマッピングは、画像の歪みを最小限に抑えながら、選択されたバックライト設定を補償することができる。前述したように、バックライトの選択アルゴリズムは、対応するトーンスケールマッピング動作の能力に基づいて設計される。選択されたBLレベルは、第1の特定パーセンタイルより下側のコード値に対する歪みなしにバックライトレベルを補償し、第2の特定パーセンタイルより上側のコード値をクリッピングする、トーンスケール関数を可能にする。これら2つの特定パーセンタイルは、歪みのない範囲とクリッピング範囲との間を平滑に移動するトーンスケール関数を可能にする。
(周辺光を感知する実施形態)
本発明の一部の実施形態は、画像処理モジュールおよび/または光源光制御モジュールに入力を提供する、周辺照明センサを含んでいる。これらの実施形態では、トーンスケール調整、ゲインマッピング、および他の修正を含む画像処理は、周辺照明特性に関連しうる。これらの実施形態は、周辺照明特性に関連する光源光調整またはバックライト調整も含みうる。一部の実施形態では、光源光および画像処理を単一の処理ユニット内において統合することができる。別の実施形態では、これらの機能を別々のユニットで実行させることができる。
本発明の一部の実施形態について、図23を参照しながら説明する。これらの実施形態では、画像処理方法のための入力として、周辺照明センサ270が用いられうる。一部の実施形態例では、周辺照明センサ270からの入力および光源光268のレベルに基づいて、入力画像260が処理されうる。LCDディスプレイパネル266を照らすための、バックライト(BL)などの光源光268は、電力の節減または他の理由で調節または調整することができる。これらの実施形態では、画像プロセッサ262が、周辺照明センサ270および光源光268から入力を受け取りうる。画像プロセッサ262は、これらの入力に基づいて、周辺状態および光源光268の照明レベルを考慮して入力画像を修正することができる。入力画像260は、他の実施形態に対して説明した方法または他の方法に従って修正することができる。典型的な一実施形態では、光源光照明の低下および周辺照明の変化に対して、画像にトーンスケールマップを適用して画像画素値を上げることができる。修正画像264は、ディスプレイパネル266(例えばLCDパネル)に表示される。一部の実施形態では、周辺光が低いときには光源光照明レベルを下げ、トーンスケール調整あるいはその他の画素値操作技術を用いて光源光照明の低下を補償するときには、光源光照明レベルをさらに下げることができる。一部の実施形態では、周辺照明が低下したときに光源光の照明レベルを下げることができる。一部の実施形態では、周辺照明が上側の閾値および/または下側の閾値に達したときに光源光照明レベルを上げることができる。
本発明のさらなる実施形態について、図24を参照しながら説明する。これらの実施形態では、入力画像280が画像処理ユニット282において受け取られる。入力画像280の処理は、周辺照明センサ290からの入力に依存しうる。この処理は、光源光処理ユニット294からの出力にも依存しうる。一部の実施形態では、光源光処理ユニット294が、周辺照明センサ290からの入力を受け取りうる。一部の実施形態は、デバイスモードインジケータ292(例えば、デバイス電力消費モード、デバイス電池状態、または他のデバイス状態を示す、電力モードインジケータ)からの入力も受け取りうる。光源光処理ユニット294は、周辺光状態および/またはデバイス状態を用いて光源光照明レベルを決定する。光源光照明レベルは、ディスプレイ(例えばLCDディスプレイ286)を照らす光源光288を制御するために用いられる。光源光処理ユニットはまた、光源光照明レベルおよび/または他の情報を画像処理ユニット282に渡すことができる。
画像処理ユニット282は、光源光処理ユニット294からの光源光情報を用いて、入力画像280を処理するための処理パラメータを決定しうる。画像処理ユニット282は、トーンスケール調整、ゲインマップ、あるいはその他の手順を適用して、画像画素値を調整しうる。一部の典型的な実施形態では、この手順によって画像の明るさおよびコントラストを改善させ、光源照明の低下を部分的または全体的に補償することができる。画像処理ユニット282によって処理を行った結果、調整された画像284が得られる。この調整された画像284はディスプレイ286に送られ、ここで光源光288によって照らされる。
本発明の他の実施形態について、図25を参照しながら説明する。これらの実施形態では、入力画像300が画像処理ユニット302において受け取られる。入力画像300の処理は、周辺照明センサ310からの入力に依存しうる。この処理は、光源光処理ユニット314からの出力にも依存しうる。一部の実施形態では、光源光処理ユニット314は、周辺照明センサ310からの入力を受け取りうる。一部の実施形態は、デバイスモードインジケータ312(例えば、デバイス電力消費モード、デバイス電池状態、または他のデバイス状態を示す、電力モードインジケータ)からの入力も受け取りうる。光源光処理ユニット314は、周辺光状態および/またはデバイス状態を用いて光源光照明レベルを決定しうる。光源光照明レベルは、ディスプレイ(例えばLCDディスプレイ306)を照らす光源光308を制御するために用いられる。光源光処理ユニットはまた、光源光照明レベルおよび/または他の情報を画像処理ユニット302に渡すことができる。
画像処理ユニット302は、光源光処理ユニット314からの光源光情報を用いて、入力画像300を処理するための処理パラメータを決定しうる。画像処理ユニット302は、周辺照明センサ310からの周辺照明情報も用いて、入力画像300を処理するための処理パラメータを決定しうる。画像処理ユニット302は、トーンスケール調整、ゲインマップ、あるいはその他の手順を適用して、画像画素値を調整しうる。一部の典型的な実施形態では、この手順によって画像の明るさおよびコントラストを改善させ、光源照明の低下を部分的または全体的に補償することができる。画像処理ユニット302によって処理を行った結果、調整された画像304が得られる。この調整された画像304はディスプレイ306に送られ、ここで光源光308によって照らされる。
本発明のさらなる実施形態について、図26を参照しながら説明する。これらの実施形態では、入力画像320が画像処理ユニット322において受け取られる。入力画像320の処理は、周辺照明センサ330からの入力に依存しうる。この処理は、光源光処理ユニット334からの出力にも依存しうる。一部の実施形態では、光源光処理ユニット334は、周辺照明センサ330からの入力を受け取りうる。別の実施形態では、画像処理ユニット322から周辺情報が受け取られうる。光源光処理ユニット334は、周辺光状態 および/またはデバイス状態を用いて、中間的な光源光照明レベルを決定しうる。この中間的な光源光照明レベルは、光源光ポストプロセッサ332に送られうる。光源光ポストプロセッサ332は、中間的な光源照明レベルを特定のデバイスの必要性に合わせることのできる、量子化器、タイミングプロセッサ、または他のモジュールであってよい。一部の実施形態では、光源光ポストプロセッサ332は、光源制御信号を、光源光328タイプおよび/または画像アプリケーション(例えばビデオアプリケーション)によって課されるタイミング制限に合わせることができる。後処理された信号は、続いて、ディスプレイ(例えばLCDディスプレイ326)を照らす光源光328を制御するために使用されうる。上記光源光処理ユニットは、後処理された光源光照明レベルおよび/または他の情報を、画像処理ユニット322へ渡すことができる。
画像処理ユニット322は、光源光ポストプロセッサ332からの光源光情報を用いて、入力画像320を処理ための処理パラメータを決定しうる。画像処理ユニット322は、周辺照明センサ330からの周辺照明情報も用いて、入力画像320を処理ための処理パラメータを決定しうる。画像処理ユニット322は、トーンスケール調整、ゲインマップ、あるいはその他の手順を適用して、画像画素値を調整しうる。一部の典型的な実施形態では、この手順によって画像の明るさおよびコントラストを改善させ、光源照明の低下を部分的または全体的に補償することができる。画像処理ユニット322によって処理を行った結果、調整された画像324が得られる。この調整された画像344はディスプレイ326に送られ、ここで光源光328によって照らされる。
本発明の一部の実施形態は、別々の画像解析342、362、および画像処理343、363モジュールを含みうる。これらのユニットは、単一の部品内または単一のチップ内に一体的に形成することができるが、これらの相互作用をよりよく説明するために別々のモジュールとして図示および説明されている。
本発明のこれら実施形態の一部について、図27を参照しながら説明する。これらの実施形態では、入力画像340が画像解析モジュール342において受け取られる。画像解析モジュールは、画像を解析して画像特性を解析しうる。当該画像特性は、画像処理モジュール343および/または光源光処理モジュール354に送られうる。入力画像340の処理、周辺照明センサ330からの入力に依存しうる。一部の実施形態では、光源光処理モジュール354は、周辺照明センサ350からの入力を受け取りうる。光源光処理ユニット354は、デバイス状態またはモードセンサ352からの入力も受け取りうる。光源光処理ユニット354は、周辺光状態、画像特性、および/またはデバイス状態を用いて、光源光照明レベルを決定しうる。この光源光照明レベルは、ディスプレイ(例えばLCDディスプレイ346)を照らす光源光348に送られうる。光源光処理モジュール354はまた、後処理された光源光照明レベルおよび/または他の情報を画像処理モジュール343に送りうる。
画像処理モジュール322は、光源光処理モジュール354からの光源光情報を用いて、入力画像340を処理するための処理パラメータを決定しうる。画像処理モジュール343はまた、周辺照明センサ350から光源光処理モジュール354へ送られる周辺照明情報を用いうる。この周辺照明情報は、入力画像340を処理するための処理パラメータを決定するために用いられうる。画像処理モジュール343は、トーンスケール調整、ゲインマップ、あるいはその他の手順を適用して、画像画素値を調整しうる。一部の典型的な実施形態では、この手順によって画像の明るさおよびコントラストを改善させ、光源照明の低下を部分的または全体的に補償することができる。画像処理モジュール343によって処理を行った結果、調整された画像344が得られる。この調整された画像344はディスプレイ346に送られ、ここで光源光348によって照らされる。
本発明の一部の実施形態について、図28を参照しながら説明する。これらの実施形態では、入力画像360が画像解析モジュール362において受け取られる。当該画像解析モジュールは、画像を解析して画像特性を決定しうる。当該画像特性は、画像処理モジュール363および/または光源光処理モジュール374に送られうる。入力画像360の処理は、周辺照明センサ370からの入力に依存しうる。この処理は、光源光処理モジュール374からの出力にも依存しうる。一部の実施形態では、画像処理モジュール363から周辺情報が受け取られうる。画像処理モジュール363は、周辺照明センサ370から周辺情報を受け取りうる。この周辺情報は、光源光処理モジュール374へ送られる途中で、画像処理モジュール363に送られる、および/または、画像処理モジュール363によって処理される。デバイス状態またはデバイスモードもまた、デバイスモジュール372から光源光処理モジュール374へ送られうる。
光源光処理モジュール374は、周辺光状態および/またはデバイス状態を用いて光源光照明レベルを決定しうる。この光源光照明レベルは、ディスプレイ(例えばLCDディスプレイ366)を照らす光源光368を制御するために用いられうる。光源光処理ユニット374はまた、光源光照明レベルおよび/または他の情報を画像処理ユニット363に送る。
画像処理モジュール363は、光源光処理モジュール374からの光源光情報を用いて、入力画像360を処理するための処理パラメータを決定しうる。画像処理モジュール363は、周辺照明センサ370からの周辺照明情報も用いて、入力画像360を処理するための処理パラメータを決定しうる。画像処理モジュール363は、トーンスケール調整、ゲインマップ、あるいはその他の手順を適用して、画像画素値を調整しうる。一部の典型的な実施形態では、この手順によって画像の明るさおよびコントラストを改善させ、光源照明の低下を部分的または全体的に補償することができる。画像処理モジュール363によって処理を行った結果、調整された画像364が得られる。この調整された画像364はディスプレイ366に送られ、ここで光源光368によって照らされる。
(歪み適応型の電力管理の実施形態)
発明の一部の実施形態は、モバイル機器およびアプリケーションを含む表示装置の電力、ディスプレイ特性、周辺環境、および電池制限に対処する方法およびシステムを含んでいる。一部の実施形態では、ディスプレイ電力管理アルゴリズム、バックライト調節アルゴリズム、および明るさ保持(brightness preservation; BP)アルゴリズムという3つの種類のアルゴリズムが用いられうる。電力管理は、電池式のモバイル機器において優先度がより高いが、これらのシステムおよび方法は、エネルギー節減、熱管理、および他の目的のために電力管理の利点を享受しうる他のデバイスにも適用することができる。これらの実施形態では、これらのアルゴリズムは相互作用しうるが、その個々の機能性は以下を含みうる。
・電力管理−これらのアルゴリズムは、ビデオ内容の変化を利用して一連のフレーム全体に渡るバックライト電力を管理して、電力消費を最適化する。
・バックライト調節−これらのアルゴリズムは、個々のフレームに対して用いるバックライトの電力レベルを選択して画像内の統計を利用し、電力消費を最適化する。
・明るさ保持−これらのアルゴリズムは、低減されたバックライト電力を補償するために各画像を処理し、画像の明るさを保持する一方で、アーチファクトを防ぐ。
本発明の一部の実施形態について、図29を参照しながら説明する。図29は、これら実施形態の構成部品の相互作用を示す、入力画像412を有する簡略ブロック図を含んでいる。一部の実施形態では、電力管理アルゴリズム406は、ビデオ、画像シーケンス、あるいはその他の表示タスクに対して固定電池リソース402を管理し、特定の平均電力消費を保障する一方で、品質および/またはその他の特性を保持することができる。バックライト調節アルゴリズム410は、各画像を効率的に表現するために、電力管理アルゴリズム406から命令を受け取り、電力管理アルゴリズム406によって定義された制限を受ける電力レベルを選択することができる。明るさ保持アルゴリズム414は、選択されたバックライトレベル415および可能なクリッピング値413を用いて、低減されたバックライト416を補償するために画像を処理して、ディスプレイへ出力する(418)。
(ディスプレイ電力管理)
一部の実施形態では、ディスプレイ電力管理アルゴリズム406は、ビデオ、画像シーケンス、あるいはその他の表示タスクに対する電力使用の分配を管理することができる。一部の実施形態では、ディスプレイ電力管理アルゴリズム406は、電池の固定エネルギーを割り当てて、保証された動作寿命を提供する一方で画質を保持することができる。一部の実施形態では、電力管理アルゴリズムの目標の1つは、保証された電池寿命404の制限をより低くして、モバイル機器のユーザビリティを強調することである。
(定電力管理)
任意の目標を達成するための電力制限の一形態は、所望の寿命を達成する固定電力を選択することである。図30には、定電力管理に基づくシステムを示すシステムブロック図430が示されている。重要な点は、電力管理アルゴリズム436が、初期の電池充電量432および所望の寿命434のみに基づいて一定のバックライト電力を選択する点である。このバックライトレベル444の補償(保持)442は、各画像446において行われる。
定電力管理
Figure 2009265678
バックライトレベル444、ひいては電力消費は、画像データ440に依存しない。一部の実施形態は、複数の定電力モードを支持して、電力モードに基づく電力レベの選択を可能にする。一部の実施形態では、画像依存性のバックライト調節を用いずにシステムの形態を簡素化することができる。別の実施形態では、動作モードまたはユーザの嗜好に基づいて、少数の定電力レベルが設定および選択される。一部の実施形態は、単一の低減された電力レベル(すなわち最大電力の75%)と共にこの概念を用いる。
(単純適応型の電力管理)
本発明の一部の実施形態について、図31を参照しながら説明する。これらの実施形態は、適応型の電力管理アルゴリズム456を含んでいる。バックライト調節460による電力低下455は、電力管理アルゴリズム456に戻され、これによって画質を改善させながらも所望のシステム寿命を達成することができる。
一部の実施形態では、画像依存性のバックライト調節を用いた省電力は、式18に表されているように、経時的な静的最大電力計算を更新することによって電力管理アルゴリズムに含ませることができる。適応型の電力管理は、残りの電池充電量(mA−Hrs)と残りの所望の寿命(Hrs)との比率を計算して、バックライト調節アルゴリズム460に電力の上限(mA)を与えるステップを含みうる。一般的に、バックライト調節460は、この最大値より低い実際の電力を選択して、さらなる省電力を与えることができる。一部の実施形態では、バックライト調節による省電力は、電池残量の値を変化させること、または平均選択電力を動作させることによるフィードバックとして反映され、従って後の電力管理決定に影響を与えることができる。
適応型の電力管理
Figure 2009265678
一部の実施形態では、電池状態情報が利用不可または不正確である場合に、平均選択電力と動作時間とを乗算することによりディスプレイによって使用されるエネルギーを計算し、これを初期の電池充電から減算することによって、電池残量を推定することができる。
電池残量の推定
Figure 2009265678
後者の技術は、電池との相互作用なしに行われるという利点を有している。
(電力−歪み管理)
本願発明者は、歪み対電力の研究において、多くの画像が同一電力において極めて異なる歪みを示すことを観察した。露出不足の写真など、コントラストに乏しいぼやけた画像は、高出力使用によって生じる黒レベルの上昇ゆえに、低電力においてよりよく表示させることができる。電力制限アルゴリズムは、画像歪みを、直接電力設定ではなく電池容量に対してトレードオフしうる。図29に示されている本発明の一部の実施形態では、電力管理技術は、バックライト制御アルゴリズム410に与えられる最大電力401に加えて、歪みパラメータ403(例えば最大歪み値)を含みうる。これらの実施形態では、電力管理アルゴリズム406は、バックライト調節アルゴリズム410からのフィードバック、すなわち現在の画像の電力/歪み特性405を用いうる。一部の実施形態では、最大画像歪みを、目標電力および現在のフレームの電力−歪み特性に基づいて修正することができる。これらの実施形態では、電力管理アルゴリズムは、選択された実際の電力のフィードバックに加えて、歪み目標403を選択および提供し、電池充電量402のフィードバックに加えて、対応する画像歪み405のフィードバックを受け取りうる。一部の実施形態では、電力制限アルゴリズムにおいて、周辺レベル408、ユーザ嗜好、および動作モード(すなわちビデオ/グラフィックス)などの追加の入力が用いられうる。
本発明の一部の実施形態は、表示品質を保持しながら、ビデオシーケンス全体に電力を最適に割り当てことを試みる。一部の実施形態では、特定のビデオシーケンスに対して、使用される全電力と画像歪みとの間のトレードオフを選択するために2つの基準が用いられうる。最大画像歪みおよび平均画像歪みが用いられうる。一部の実施形態では、これらの項目を最小化することができる。一部の実施形態では、画像シーケンスの最大歪みの最小化は、シーケンス内の各画像に対して同一の歪みを用いることによって達成することができる。これらの実施形態では、電力管理アルゴリズム406はこの歪み403を選択し、これによってバックライト調節アルゴリズム410がこの歪み目標403を達成するバックライトレベルを選択することができる。一部の実施形態では、平均歪みの最小化は、電力歪みカーブの傾きが等しくなるように各画像に対して電力が選択されたときに達成することができる。この場合、電力管理アルゴリズム406は、適切なバックライトレベルを選択するために、電力歪みカーブの傾きをバックライト調節アルゴリズム410に依存して選択しうる。
図32Aおよび32Bを用いて、電力管理プロセスにおいて歪みを考慮したときの省電力を示す。図32Aは、画像シーケンスの連続フレームに対する光源光電力レベルのプロットである。図32Aは、フレーム間において一定の歪み480を維持するために必要な光源光電力レベル、および一定の歪みグラフの平均電力482を示している。図32Bは、画像シーケンスの同一の連続フレームの画像歪みのプロットである。図32Bは、定電力設定の維持によって生じた定電力歪み484、シーケンス全体における一定の歪みの維持によって生じた一定の歪みレベル488、および定電力を維持したときの平均定電力歪み486を示している。定電力レベルは、一定の歪み結果の平均電力を等しくするように選択されている。従って、これら両方法は同一の平均電力を用いる。我々は、歪みを調べることによって、定電力484が画像歪みに顕著な変化を与えることを発見した。また、留意すべき点として、これら両方法は同一の平均電力を用いているにも関わらず、定電力制限の平均歪み486は、一定の歪みアルゴリズムの歪み488よりも10倍多いことが挙げられる。
実際は、ビデオシーケンスにおける最大または平均歪みを最小化するための最適化は、一部のアプリケーションに対しては複雑すぎることが分かる。これは、電力−歪みトレードオフを評価するために、当初の電力画像と低減された電力画像との間の歪みを、電力歪み関数の各ポイントにおいて算出しなければならないためである。各歪み評価では、バックライトの低減と、これに対応する補償のための画像輝度増加とを算出して、原画像と比較する必要がある。この結果、一部の実施形態は、歪み特性を算出または推定するためのより単純な方法を含みうる。
一部の実施形態では、一部の近似が用いられうる。まず、式20に表されているように、画像自体からではなく、画像コード値のヒストグラムから、平均二乗誤差(Mean-Square-Error; MSE)などの点別の歪み測定基準を計算できることが分かる。この場合、ヒストグラムは、320×240の解像度において7680のサンプルを有する画像とは反対に、値がわずか256の1次元信号である。これは、必要に応じて、ヒストグラムをサブサンプリングすることによってさらに低減することができる。
一部の実施形態では、補正段階において実際の補正アルゴリズムを適用するのではなく、画像がクリッピングによって単にスケーリングされることを仮定して近似することができる。一部の実施形態では、歪み測定基準に黒レベル上昇項目を含ませることが有益でありうる。一部の実施形態では、この項目の使用は、完全な黒色フレームに対する最小歪みがゼロバックライトで生じることを示唆している。
歪み計算の簡約
Figure 2009265678
一部の実施形態では、特定の電力レベルにおける歪みを計算するために、各コード値に対して、クリッピングを用いた線形ブーストによって生じる歪みが決定されうる。次に、当該歪みにコード値の周波数によって重みが付けられて加算され、これによって特定の電力レベルにおける平均画像歪みが得られる。これらの実施形態では、明るさ補正のための単純な線形ブーストは、許容可能な品質の画像表示をもたらさないものの、バックライトの変化によって生じる画像歪みの推定を計算するための単純なソースとして機能する。
図33に示されている一部の実施形態では、消費電力および画像歪みを両方とも制御するために、電力管理アルゴリズム500が、電池充電量506および残りの寿命508だけではなく画像歪み510も追跡する。その際に、周辺センサ504も用いられうる。一部の実施形態では、消費電力の上限512および歪み目標511が、両方ともバックライト調節アルゴリズム502に供給されうる。次に、バックライト調節アルゴリズム502が、電力制限と歪み目標とからなるバックライトレベル512を選択しうる。
(バックライト調節アルゴリズム(BMA))
バックライト調節アルゴリズム502は、各画像に対して用いられるバックライトレベルを選択する機能を負う。この選択は、表示される画像、および電力管理アルゴリズム500からの信号に基づいて行われうる。電力管理アルゴリズム500によって供給される最大電力の制限512を留意することによって、所望の寿命に対して電池506が管理されうる。一部の実施形態では、バックライト調節アルゴリズム502が、現在の画像の統計に応じてより低い電力を選択しうる。これは、特定の画像における省電力のソースとなりうる。
適切なバックライトレベル415が選択されると、選択されたレベルにバックライト416がセットされ、このレベル415が明るさ保持アルゴリズム414に与えられて、必要な補正が決定される。一部の画像およびシーケンスでは、少量の画像歪みを許容することによって、必要なバックライト電力を大幅に低減することができる。従って、一部の実施形態は、画像歪みの量の制御を可能にするアルゴリズムを含んでいる。
図34は、歪みのいくつかの許容値に対して、サンプルDVDクリップでの省電力量とフレーム番号との関係を示すグラフである。歪みゼロの画素の割合は、100%から97%、95%へと変動し、ビデオクリップ全体に渡る平均電力が決定された。この平均電力は、95%から60%へとそれぞれ及んだため、画素の5%の歪みを許容し、これによってさらに35%の省電力が得られた。これは、わずかな画像歪みを許容することによって顕著な省電力が可能であることを示している。明るさ保持アルゴリズムが、わずかな歪みを導入しながら主観的品質を保持できるのであれば、顕著な省電力を達成することができる。
本発明の一部の実施形態について、図30を参照しながら説明する。これらの実施形態もまた、周辺光センサ438からの情報を含み、モバイルアプリケーションに対する複雑性を低減することができる。これらの実施形態は、静的ヒストグラムパーセンタイル制限、および電力管理アルゴリズム436によって供給される動的最大電力制限を含んでいる。一部の実施形態は、定電力ターゲットを含みうる一方で、他の実施形態は、より洗練されたアルゴリズムを含みうる。一部の実施形態では、各色成分のヒストグラムを計算することによって画像が解析される。各色平面に対して、特定のパーセンタイルが生じるヒストグラム内のコード値が計算しうる。一部の実施形態では、目標とするバックライトレベルは、コード値の線形ブーストがヒストグラムから選択されたコード値のクリッピングを生じさせるように選択しうる。実際のバックライトレベルは、この目標レベルの最小値、および電力管理アルゴリズム436によって提供されるバックライトレベル制限として選択しうる。これらの実施形態では、保証された電力制限がもたらされ、電力制限制限に到達した場合には制限された量の画像歪みを許容することができる。
ヒストグラムパーセンタイルに基づく電力選択
Figure 2009265678
(画像歪みに基づく実施形態)
本発明の一部の実施形態は、電力管理アルゴリズムによって供給される歪み制限および最大電力制限を含みうる。図32Bおよび図34は、特定のバックライト電力レベルにおける歪みの量が画像内容に応じて大幅に異なることを示している。バックライト選択のプロセスにおいて、各画像の電力−歪み特性を用いることができる。一部の実施形態では、各色成分に対してヒストグラムを計算することによって、現在の画像を解析することができる。歪み(例えばMSE)を定義する電力歪みカーブは、式20の2番目の式を用いて、電力値のある範囲における歪みを算出することによって計算することができる。バックライト調節アルゴリズムは、特定の歪み制限における、あるいは特定の歪み制限より下側における、歪みが生じる最小電力を目標レベルとして選択しうる。次に、最小の目標レベル、および電力管理アルゴリズムによって供給されるバックライトレベル制限として、バックライトレベルが選択されうる。さらに、歪みのフィードバックを導くために、選択されたレベルにおける画像歪みが、電力管理アルゴリズムに提供されうる。電力歪みカーブのサンプリング周波数および画像ヒストグラムを低減して、複雑性を制御することができる。
(明るさ保持(BP))
一部の実施形態では、BPアルゴリズムが、選択されたバックライトレベルに基づいて画像の輝度を高め、低減された照明を補償しうる。BPアルゴリズムは、ディスプレイに導入された歪みを制御しうる。また、品質保持を行うBPアルゴリズムの性能は、バックライト調節アルゴリズムが節減を試みることのできる電力量を決定する。一部の実施形態は、255を超える画像クリッピング値をスケーリングすることによって、バックライトの低減を補償することができる。これらの実施形態では、バックライト調節アルゴリズムは、電力の低減に関して保守的でなければならず、さもなくば煩わしいクリッピングアーチファクトが導入され、これによって省電力が制限される。一部の実施形態は、固定電力低下において最も要求の多いフレームの品質を保持するように設計される。これら実施形態の一部は、単一のバックライトレベル(すなわち75%)を補償する。他の実施形態は、バックライト調節を行うように一般化することができる。
明るさ保持(BP)アルゴリズムの一部の実施形態は、バックライトおよび画像データに応じたディスプレイからの輝度出力の記述言語を利用しうる。このモデルを用いることによって、BPは、バックライトの低減を補償するための画像の修正を決定することができる。透過反射型ディスプレイでは、ディスプレイの反射特徴の記述言語を含ませるようにBPモデルを修正することができる。ディスプレイからの輝度出力は、バックライト、画像データ、および周辺の関数となる。一部の実施形態では、BPアルゴリズムは、特定の周辺環境におけるバックライトの低減を補償するための画像への修正を決定しうる。
(周辺の影響)
一部の実施形態は、態様制限ゆえに、BPパラメータを決定するための限定的な複雑性アルゴリズムを含みうる。例えば、LCDモジュールのみにおいて実行されるアルゴリズムを開発することによって、当該アルゴリズムが利用できる処理およびメモリが制限される。本実施例では、一部のBPに係る実施形態に対して、複数の異なるバックライト/周辺統合に対する替わりのガンマカーブが生成されうる。一部の実施形態では、ガンマカーブの数および解像度に制限を加える必要がある。
(電力/歪みカーブ)
本発明の一部の実施形態は、画像の電力/歪み特性を取得、推定、算出、あるいは決定することができる。上記画像は、ビデオシーケンスフレームを含むがこれに限定されるものではない。図35は、4つの典型的な画像の電力/歪み特性を示すグラフである。図35では、画像Cのカーブは、光源光の電力帯域全体に対して負の傾きを維持している。画像A、B、およびDのカーブは、最小値に達するまで負の傾きに低下し、その後は正の傾きに上昇している。画像A、B、およびDでは、光源光電力が増加すると、正の傾きを有するカーブの特定範囲における歪みが増加する。これは、ディスプレイ特性に起因しうる。このディスプレイ特性とは、例えばLCD漏れ、あるいは、表示された画像が、視認者によって視認されたときに、コード値とは一貫して異なる画像となる状況を引き起こす、その他のディスプレイの不規則性である。なお、ディスプレイ特性は、これらに限定されるものではない。
本発明の一部の実施形態は、これらの特性を用いて、特定の画像または画像タイプに対する適切な光源光電力レベルを決定することができる。ディスプレイ特性(例えばLCD漏れ)を歪みパラメータの計算において考慮し、そして当該歪みパラメータを用いて、画像に対する適切な光源光電力レベルを決定することができる。
(典型的な方法)
本発明の一部の実施形態を図36を参照して説明する。これらの実施形態では、電力バジェットが構築される(530)。これは、前述した単純な電力管理、適応型の電力管理、他の方法を用いて行うことができ、あるいは他の方法を用いて行うこともできる。典型的には、電力バジェットの構築は、固定電力リソース(例えば電池充電量の一部)を使用しながら表示タスク(例えばビデオファイルの表示)の完了を可能にするバックライトまたは光源光の電力レベルを構築するステップを含みうる。一部の実施形態では、電力バジェットの構築は、固定量の電力を使用しながら表示タスクの完了を可能にする平均電力レベルを決定するステップを含みうる。
これらの実施形態では、当初の歪み基準(initial distortion criterion)532も構築されうる。この初期歪み基準は、電力バジェットを満たす低減された光源光電力レベルを推定し、当該電力レベルにおける画像歪みを測定することによって決定することができる。歪みは、修正されていない画像、前述の明るさ保持(BP)技術を用いた修正画像、あるいは単純化されたBP処理によって修正画像において測定することができる。
初期歪み基準が構築されると、表示される1つまたは複数の画像の歪み特性を歪み基準に準拠させる光源光電力レベルを用いて、表示タスクの第1の部分が表示されうる(534)。一部の実施形態では、光源の電力レベルは、ビデオシーケンスの各フレームに対して、各フレームが歪み要件を満たすように選択されうる。一部の実施形態では、光源値は、一定の歪みまたは歪み範囲が維持されるように、歪みが特定のレベル未満に維持されるように、あるいは歪み基準に準拠するように選択されうる。
次に、電力消費が評価されて(536)、表示タスクの第1の部分を表示するために用いられた電力が、電力バジェット管理パラメータに適応したかどうかが決定される。電力は、各画像、ビデオフレーム、あるいは他の表示タスク要素に対して、固定量を割り当てることができる。電力は、各表示タスク要素に対して消費される電力が様々に異なる一方で、一連の表示タスク要素に対して消費される平均電力は要件を満たすように割り当てることもできる。また、他の電力割り当て方法も用いることができる。
電力消費評価(536)が、表示タスクの第1の部分に対する電力消費が電力バジェット要件を満たさなかったことを示した場合、歪み基準を修正することができる(538)。電力/歪みカーブを推定、仮定、算出、あるいは決定することのできる一部の実施形態では、歪み基準を修正して、電力バジェット要件に準拠するように歪みを加減することができる。電力/歪みカーブは、画像専用(image specific)であるが、シーケンスの第1のフレームのための電力/歪みカーブ、シーケンス内の典型的な画像のための電力/歪みカーブ、あるいは表示タスクを示す合成画像のための電力/歪みカーブを用いることができる。
一部の実施形態では、バジェットされた量を超える電力が表示タスクの第1の部分に対して使用されて、電力/歪みカーブの傾きが正である場合、歪み基準を修正して、許容する歪みをより少なくすることができる。一部の実施形態では、バジェットされた量を超える電力が表示タスクの第1の部分に対して使用されて、電力/歪みカーブの傾きが負である場合、歪み基準を修正して、許容する歪みをより多くすることができる。一部の実施形態では、バジェットされた量より少ない電力が表示タスクの第1の部分に対して使用されて、電力/歪みカーブの傾きが負または正である場合、歪み基準を修正して、許容する歪みをより少なくすることができる。
本発明の一部の実施形態について、図37を参照しながら説明する。これらの実施形態は、典型的には、電力が制限された電池式のデバイスを含んでいる。これらの実施形態では、電池充電量または充電が推定または測定される(540)。表示タスクの電力要件もまた推定または算出されうる(542)。当初の光源電力レベルもまた推定または測定されうる(544)。この当初の光源電力レベルは、定電力管理に関して前述したように、電池充電量および表示タスク電力要件を用いて決定されるか、あるいは他の方法を用いて決定されうる。
当初の光源電力レベルに対応する歪み基準もまた決定されうる(546)。この基準は、当初の光源電力レベルにおいて典型的な画像に生じる歪み値でありうる。一部の実施形態では、上記歪み値は、修正されていない画像、実際のBPアルゴリズムまたは推定されたBPアルゴリズムで修正画像、あるいは別の典型的な画像に基づく。
歪み基準が決定されると(546)、表示タスクの第1の部分が評価されて、表示タスクの第1の部分の歪みを歪み基準に準拠させる光源光電力レベルが選択される(548)。次に、選択された光源光電力レベルを用いて表示タスクの第1の部分が表示され(550)、当該部分の表示中に消費される電力が推定または測定される(552)。この電力消費が電力要件を満たさない場合は、上記歪み基準が修正されて(554)、電力消費が電力要件に準拠される。
本発明の一部の実施形態について、図38Aおよび図38Bを参照しながら説明する。これらの実施形態では、電力バジェットが構築され(560)、歪み基準も構築される(562)。これらは双方とも、典型的には、特定の表示タスク(例えばビデオシーケンス)を参照しながら構築される。次に、例えばビデオシーケンスのフレームまたはフレームなどの画像が選択される(564)。次に、選択された当該画像に対して、低減された光源光電力レベルが推定される(566)。この推定は、低減された光源光電力レベルから生じる歪みが歪み基準に準拠するように行われる。この歪み計算は、推定された明るさ保持または実際の明るさ保持(BP)方法を、選択された画像のための画像値に適用するステップを含みうる。
次に、低減された光源電力レベルを補償するために、選択された画像をBP方法で修正する(568)。次に、BP修正画像の実際の歪みが測定されて(570)、この実際の歪みが歪み基準に準拠しているかが決定されうる(572)。実際の歪みが歪み基準に準拠していない場合、推定処理が調整され(574)、低減された光源電力レベルが再度推定されうる(566)。実際の歪みが歪み基準に準拠している場合、選択された画像が表示されうる(576)。次に、画像表示中の電力消費が測定され(578)、そして電力バジェット制限と比較される(580)。電力消費が電力バジェット制限を満たしている場合、表示タスクが終了していない限り(582)は次の画像(例えば、次の集合のビデオフレーム)が選択され(584)、この時点で処理は終了する。次の画像が選択された場合(584)、処理は「B」に戻る。「B」では、上記画像に対して低減された光源電力レベルが推定され(566)、そして第1の画像に対して処理が続行される。
選択された画像に対する電力消費が電力バジェット制限580を満たしていない場合、他の実施形態に対して説明したように歪み基準が修正され(586)、次の画像が選択される(584)。
(改善された黒レベルの実施形態)
本発明の一部の実施形態は、ディスプレイの黒レベルを改善させるシステムおよび方法を含んでいる。一部の実施形態は、特定のバックライトレベルを用い、明るさの保持と黒レベルの改善とを両方行う輝度マッチングトーンスケールを生成する。他の実施形態は、その設計における黒レベル改善を含むバックライト調節アルゴリズムを含んでいる。一部の実施形態は、前述の実施形態の拡張または修正として実施することができる。
(改善された輝度マッチング(目標とするマッチング理想的なディスプレイ))
前記の式7に示されている輝度マッチングの公式を用いて、バックライトの低減を補償するコード値の線形スケーリングが決定される。これは、電力を75%まで低減させた実験において効果的であることが証明されている。画像依存性のバックライト調節を行う一部の実施形態では、暗いフレームに対して、バックライトを顕著に低減させることができる(例えば10%未満)。これらの実施形態では、式7において導かれるコード値の線形スケーリングは、暗い値を過度にブーストしうるため不適切である可能性がある。これらの方法を用いる実施形態は、電力が低減されたディスプレイでの全出力を再現しうるが、出力を最適化する機能は有していな場合がある。全電力ディスプレイは上昇した黒レベルを有しているため、この出力を暗いシーンに対して再生成することによって、より低いバックライト電力設定において可能となる低減された黒レベルの利点は得られない。これらの実施形態では、マッチング基準が修正され、式7で得られる結果の代わりを得ることができる。一部の実施形態では、理想的なディスプレイの出力がマッチングされる。理想的なディスプレイは、全電力ディスプレイと同様に、ゼロ黒レベルおよび同一の最大出力を含みことができ、白レベル=Wである。この典型的な理想的なディスプレイのコード値cvに対する応答は、最大出力W、ディスプレイガンマ、および最大コード値に関して式22で表すことができる。
理想的なディスプレイ
Figure 2009265678
一部の実施形態では、典型的なLCDは、同一の最大出力Wおよびガンマを有しているが、黒レベルBはゼロではない。この典型的なLCDは、全出力に関して前述したGOGモデルを用いてモデリングされうる。出力は、100%未満の電力に対する相対的バックライト電力に対応する。ゲインおよびオフセットモデルのパラメータは、式23に示されているように、全電力ディスプレイの最大出力Wおよび黒レベルBによって決定されうる。
全電力GOGモデル
Figure 2009265678
相対的バックライト電力Pを有する、電力が低減されたディスプレイの出力は、相対的電力によって全電力結果をスケーリングすることによって決定されうる。
実際のLCD出力対電力およびコード値
Figure 2009265678
これらの実施形態では、可能である場合は、理想的なディスプレイの出力と実際のディスプレイの出力とが等しくなるようにコード値が修正されうる(理想的な出力が、実際のディスプレイの特定の電力で得られる出力よりも小さくなく、大きくもない場合)。
出力マッチングのための基準
Figure 2009265678
式26は、
Figure 2009265678
をx、P、W、Bに関して解く計算を示す。
出力マッチングのためのコード値の関係
Figure 2009265678
これらの実施形態は、黒レベルがゼロではない実際のディスプレイでの理想的な出力をマッチングするためのコード値のいくつかの特性を示す。この場合、上端(
Figure 2009265678
)および下端(
Figure 2009265678
)の両方にクリッピングがある。これらは、式27で表されるxlowおよびxhighにおけるクリッピング入力と対応している。
クリッピングポイント
Figure 2009265678
これらの結果は、ディスプレイの黒レベルがゼロである、すなわちコントラスト比が無限であるという、他の実施形態における我々の先見と一致する。
(バックライト調節アルゴリズム)
これらの実施形態では、黒レベルに関する検討を組み込んだ輝度マッチング理論は、特定の電力におけるディスプレイと黒レベルがゼロの基準ディスプレイ(reference display)とをマッチングすることによって、バックライト調節アルゴリズムを決定する。これらの実施形態は、画像が、理想的なディスプレイで表示されるときと比較して、電力Pで表示されるときに含んでいなければならない歪みを、輝度マッチング理論を用いて決定する。バックライト調節アルゴリズムは、最大電力制限および最大歪み制限を用いて、歪みが特定の最大歪み未満となる最小電力を選択することができる。
(電力歪み)
一部の実施形態では、全電力での黒レベルおよび最大明るさ、及び、表示される画像によって目標とするディスプレイが特定されると仮定すると、所定の電力Pで画像を表示したときの歪みが算出されうる。ディスプレイの限定的な電力および非ゼロの黒レベルは、限定的な電力のディスプレイの明るさより大きい値をクリッピングし、理想的な基準の黒レベルより小さい値をクリッピングすることによって、理想的な基準ディスプレイでエミュレートすることができる。画像の歪みは、当初の画像コード値とクリッピングされたコード値との間のMSEとして定義することができるが、一部の実施形態では他の歪み測定を用いてもよい。
クリッピングされた画像は、式27で導入された電力依存性のコード値クリッピング制限によって定義され、式28で表される。
クリッピングされた画像
Figure 2009265678
理想的なディスプレイ上の画像と電力Pのディスプレイ上の画像との間における画素領域内の歪みは、以下の通りとなる。
Figure 2009265678
これは、画像コード値のヒストグラムを用いて計算できることに留意されたい。
Figure 2009265678
トーンスケール関数の定義を用いて、式29に示されているように、この歪み測度と同等の形式を導くことができる。
歪み測度
Figure 2009265678
この測度(measure)は、高いコード値および低いコード値におけるクリッピングエラーの加重和を含んでいる。画像の電力/歪みカーブは、式29を用いて構成することができる。図39は、様々な典型的な画像の電力/歪みカーブを示すグラフである。図39は、白一色画像の電力/歪みプロット590、黄色い花の明るい近接画像の電力/歪みプロット592、人の群れの暗い低コントラスト画像の電力/歪みプロット594、黒一色画像の電力/歪みプロット596、および波上のサーファーの明るい画像の電力/歪みプロット598を示している。
図39から分かるように、異なる画像は全く異なる/電力−歪みの相関を有している。極端な場合、黒いフレーム596の歪みは、バックライト電力がゼロのときに最小であり、電力が10%まで増加するのに伴って急激に増加する。逆に、白いフレーム590の歪みは、バックライトがゼロのときに最大であり、徐々に減少して、電力が100%のときにゼロまで急速に低下する。明るいサーフィン画像598は、電力の増加に伴って歪みが徐々に小さくなることを示している。他の2つの画像592および594は、中間的な電力レベルにおいて歪みが最小であることを示している。
本発明の一部の実施形態は、以下のように機能するバックライト調節アルゴリズムを含みうる。
1.画像ヒストグラムを計算する。
2.画像の電力歪み関数を計算する。
3.歪みが歪み制限未満となる最小電力を算出する。
4.(任意)供給される電力に基づいて、選択された電力の上限および下限を限定する。
5.バックライトに対して計算された電力を選択する。
図40および41に関連して説明される一部の実施形態では、BL調節アルゴリズムによって選択されたバックライト値604および608がBPアルゴリズムに供給されて、トーンスケール設計のために用いられうる。平均電力602および歪み606が示されている。また、この実験で用いられる平均電力600の上限も示されている。平均電力使用はこの上限を遥かに下回るため、バックライト調節アルゴリズムは、単純にこの平均限度と等しい固定電力を使用するよりも少ない電力を使用する。
(平滑なトーンスケール関数の展開)
本発明の一部の実施形態では、平滑なトーンスケール関数は、2つの設計態様を含んでいる。第1の設計態様は、トーンスケールのためのパラメータが与えられたものと仮定し、これらのパラメータを満たす平滑なトーンスケール関数を決定する。第2の設計態様は、設計パラメータを選択するためのアルゴリズムを含んでいる。
(パラメータを仮定したトーンスケール設計)
式26によって定義されるコード値関係は、有効な範囲[cvMin、cvMax]にクリッピングされたときに傾きが途切れる。本発明の一部の実施形態では、暗い端部における平滑なロールオフは、式7において明るい端部において行われるロールオフと同様に定義されうる。これらの実施形態は、最大忠実度(MFP)および最小忠実度(Least Fidelity Point: LFP)を両方とり、これら最大忠実度(MFP)と最小忠実度(LFP)との間においてトーンスケールが式26と一致する。一部の実施形態では、トーンスケールは、連続するように、かつMFPおよびLFPの両方において連続する第1の導関数を有するように構成しうる。一部の実施形態では、トーンスケールは、端点(ImageMinCV、cvMin)および(ImageMaxCV、cvMax)を通過しうる。一部の実施形態では、トーンスケールは、上端および下端の両方においてアフィン変換のブーストから修正される。さらに、固定制限を用いるのではなく、画像コード値の制限を用いて端点を決定しうる。この構成では固定制限を用いることができるが、電力が大きく低減された場合には問題が生じる可能性がある。一部の実施形態では、これらの状態は、以下のように導かれる区分的二次トーンスケールを単独に定義する。
状態:
トーンスケールの定義
Figure 2009265678
トーンスケールの傾き
Figure 2009265678
トーンスケールの連続性、およびLFPおよびMFPで生じる第1の導関数が簡単に見て取れる。
トーンスケールパラメータB、C、E、Fの解
Figure 2009265678
次式のように、定数AおよびDは終点によって決定される。
トーンスケールパラメータAおよびDの解
Figure 2009265678
一部の実施形態では、これらの関係によってMFP/LFPを仮定したトーンスケールの平滑な拡張が定義され、ImageMaxCV/ImageMinCVが利用可能となる。これによって、これらのパラメータを選択する必要性が残される。さらなる実施形態は、これらの設計パラメータを選択する方法およびシステムを含んでいる。
(パラメータ選択(MFP/LFP))
前述した本発明の一部の実施形態および関連出願では、ImageMaxCVが255である場合のMFPのみを扱い、cvMaxは、これらの実施形態で扱われたImageMaxCVに代えて使用された。前述した実施形態は、理想的なディスプレイではなく全電力ディスプレイに基づいたマッチングゆえに、下端において線形のトーンスケールを有していた。一部の実施形態では、平滑なトーンスケールが、上限であるImageMaxCVにおいて傾きゼロを有するように、MFPが選択された。MFPは、数学的に次式によって定義された。
MFP選択基準
Figure 2009265678
上記基準の解は、MFPを上部クリッピングポイントおよび最大コード値に関連させる。
従来のMFP選択基準
Figure 2009265678
上記MFP選択基準は、わずかな電力低下(例えばP=80%)に対しては良好に機能する。これらの実施形態は、大幅な電力低減に対して、前述の実施形態の結果を改善しうる。
一部の実施形態では、我々は、大幅な電力低減に適したMFP選択基準を選択する。式35において値ImageMaxCVを直接使用した場合、問題が生じる可能性がある。我々は、電力の低い画像では低い最大コード値になると考える。画像内の最大コード値であるImageMaxCVは、それが小さい値であることが分かっている場合、式35はMFPに対して妥当な値を与えるが、場合によっては分からないか大きい値であるため、妥当ではないMFP値、すなわち負のMFP値が生じうる。一部の実施形態では、最大コード値が分からない場合、あるいは高すぎる場合、ImageMaxCVに対して代替値が選択されて、上記結果に適用されうる。
一部の実施形態では、MFPが含むクリッピングされた値xhighの最小部分を定義するパラメータとして、kが定義されうる。次に、kを用いて、式35によって算出されたMFPが妥当であるかが決定される。すなわち、
「妥当な」MFP基準
Figure 2009265678
算出されたMFPが妥当ではない場合、このMFPは妥当な最小値として定義され、式37のようにImageMaxCVの必要な値を定義することができる。次に、MFPの値およびImageMaxCVを用いて、次に述べるようにトーンスケールが決定されうる。
ImageMaxCVの修正
Figure 2009265678
一部の実施形態におけるMFP選択のためのステップは、以下のように要約される。
1.ImageMaxCV(あるいは、利用不可である場合はCVMax)を用いて、候補となるMFPを計算する。
2.式36を用いて妥当性を試験する。
3.妥当ではない場合、クリッピングコード値の部分kに基づいてMFPを定義する。
4.式37を用いて新しいImageMaxCVを算出する。
5.MFP、ImageMaxCV、および電力を用いて、平滑なトーンスケール関数を計算する。
ImageMinCVおよびxlowを用いて暗い端部においてLFPを選択する場合においても、上記と同様の技術を適用することができる。
図42〜45には、平滑なトーンスケールの設計アルゴリズムに基づいた典型的なトーンスケール設計および自動パラメータ選択が示されている。図42および図43は、バックライト電力レベルとして11%が選択された典型的なトーンスケール設計を示している。MFP610とLFP612との間におけるトーンスケール設計の線形区分に対応する線616が示されている。トーンスケール設計614は、MFP610の上側およびLFP612の下側において線616から離れているが、LFP612とMFP610との間において線616と一致している。図41は、図42のトーンスケール設計の暗い領域の近接画像である。LFP612が明確に可視的であり、トーンスケール設計のより低いカーブ620が線形拡張622から離れていることが分かる。
図44および45は、バックライトレベルとして最大電力の89%が選択された典型的なトーンスケール設計を示している。図44は、トーンスケール設計の線形部分と一致する線634を示している。線634は、理想的なディスプレイ反応を表現している。トーンスケール設計636は、MFP630の上側およびLFP632の下側において、理想的な線形ディスプレイ表現634から離れている(636、638)。図45は、LFP640の下側におけるトーンスケール設計636の暗い端部の拡大図であり、トーンスケール設計642が理想的な表示拡張644から離れていることを示している。
本発明の一部の実施形態では、歪み計算は、理想的な表示画像と実際の表示画像との誤差計算を変更することによって修正することができる。一部の実施形態では、MSEは、歪められた複数の画素の和と置き換えられうる。一部の実施形態では、上部領域および下部領域におけるクリッピングエラーの重みづけに差をつけることができる。
本発明の一部の実施形態は、周辺光センサを含みうる。周辺光センサが利用可能である場合、当該センサを用いて、周辺照明およびスクリーン反射の影響を含めた歪み測定基準を修正することができる。これを用いて、歪み測定基準、従ってバックライト調節アルゴリズムを修正することができる。周辺情報を用いて、黒い端部における関連する知覚的クリッピングポイントを示すことによっても、トーンスケール設計を制御することができる。
(色保持を行う実施形態)
本発明の一部の実施形態は、画像明るさを強調しながら色特性を保持するシステムおよび方法を含んでいる。一部の実施形態では、明るさ保持は、全電力でのガモットのソリッドを、電力が低減されたディスプレイのより小さいガモットのソリッドにマッピングするステップを含んでいる。一部の実施形態では、これとは異なる方法を用いて色保持が行われる。一部の実施形態では、色の色相/彩度が輝度ブーストの低減と引き換えに保持される。
色保持が行われない前述の一部の実施形態では、各カラーチャンネルが独立して処理され、各カラーチャンネルに対して輝度マッチングが行われる。色保持が行われないこれらの実施形態では、高度の飽和色またはハイライト色は、後の処理において不飽和になりうる、および/または、色相が変化しうる。色保持が行われる実施形態は、これらのカラーアーチファクトに対処するが、場合によっては輝度ブーストがわずかに低減される可能性がある。
色保持が行われる一部の実施形態では、低域チャネルと高域チャネルとが再統合されるときにクリッピング動作も行われる。各カラーチャンネルを独立してクリッピングすることによって、色が変化しうる。色保持クリッピングが行われる実施形態では、色相/飽和度を維持するためにクリッピング動作が用いられうる。場合によっては、この色保持クリッピングによって、クリッピングされた値の輝度が、色保持が行われない他の実施形態の輝度より低くなりうる。
本発明の一部の実施形態について、図46を参照しながら説明する。これらの実施形態では、入力画像650が読み出され、特定の画素位置のための複数の異なるカラーチャンネルに対応するコード値が決定される(652)。一部の実施形態では、入力画像は、別々のカラーチャンネル情報が記録された画像ファイルの形式であってよい。典型的な一実施形態では、画像は、赤、緑、および青(RGB)のカラーチャンネルで記録されうる。別の実施形態では、画像ファイルは、シアン、マゼンタ、黄、および黒(CMYK)形式、Lab、YUV、または別の形式で記録されうる。入力画像は、別々の輝度チャンネル(例えばLab)、または別々の輝度チャンネルのない形式(例えばRGB)を含む形式であってよい。画像ファイルは、容易に利用可能な別々のカラーチャンネルデータを含んでいないときは、カラーチャンネルデータを含んだ形式に変換することができる。
各カラーチャンネルのためのコード値が決定されると(652)、カラーチャンネルコード値の中の最大コード値が決定される(654)。次に、この最大コード値を用いて、コード値調整モデルのパラメータが決定される(656)。コード値調整モデルは、多くの方法によって生成しうる。一部の実施形態では、トーンスケール調整カーブ、ゲイン関数、または他の調整モデルが用いられうる。典型的な一実施形態では、バックライト電力設定の低下に応答して画像の明るさを強調するトーンスケール調整カーブが用いられうる。一部の実施形態では、コード値調整モデルは、他の実施形態に関連して前述したトーンスケール調整カーブを含む。次に、各カラーチャンネルコード値にコード値調整カーブが適用されうる(658)。これらの実施形態では、コード値調整カーブの適用によって、各カラーチャンネルに同一のゲイン値が適用される。この調整が行われると、全ての画素が処理される(662)まで、画像内の各画素に対して処理が続行される(660)。
本発明の一部の実施形態について、図47を参照しながら説明する。これらの実施形態では、入力画像が読み出され(670)、第1の画素位置が選択される(672)。選択された画素位置に対して、第1のカラーチャンネルのためのコード値が決定され(674)、選択された画素位置に対して、第2のカラーチャンネルのためのコード値が決定される(676)。次に、これらのコード値が解析され、これらコード値のうちの1つがコード値選択基準に基づいて選択される(678)。一部の実施形態では、最大コード値が選択されうる。次に、この選択されたコード値が、コード値調整モデル生成器への入力として用いられ(680)、当該コード値調整モデル生成器がモデルを生成する。次に、上記モデルが第1のカラーチャンネルコード値および第2のカラーチャンネルコード値の両方に適用され(682)、各チャンネルに実質的に等しいゲインが適用される。一部の実施形態では、上記調整モデルから得られたゲイン値が全てのカラーチャンネルに適用されうる。続いて、次の画素が処理され(684)、画像全体が処理されるまで処理が行われる。
本発明の一部の実施形態について、図48を参照しながら説明する。これらの実施形態では、入力画像がシステムに入力される(690)。次に、当該画像がフィルタされて(692)、第1の周波数範囲画像が生成される。これは、一部の実施形態では低域画像であってよく、あるいは他の周波数範囲画像であってもよい。第2の周波数範囲画像も生成されうる(694)。一部の実施形態では、上記第2の周波数範囲画像は、入力画像から第1の周波数範囲画像を減算することによって生成されうる。第1の周波数範囲画像が低域(LP)画像である一部の実施形態では、第2の周波数範囲画像は高域(HP)画像でありうる。次に、上記第1の周波数範囲画像内の或る画素位置の第1のカラーチャンネルのためのコード値が決定されうる(696)。また、上記第1の周波数範囲画像内の或る画素位置の第2のカラーチャンネルのためのコード値も決定されうる(698)。次に、これらコード値またはその特性を比較することによって、上記カラーチャンネルコード値のうちの1つが選択される(700)。一部の実施形態では、最大コード値が選択されうる。次に、選択された上記コード値を入力として用いて、調整モデルが生成またはアクセスされうる(702)。これによってゲイン乗数(gain multiplier)が生じ、当該ゲイン乗数が、上記第1のカラーチャンネルコード値および上記第2のカラーチャンネルコード値に適用されうる(704)。
本発明の一部の実施形態について、図49を参照しながら説明する。これらの実施形態では、入力画像710が画素選択器712に入力され、画素選択器712は、調整される画素を識別しうる。第1のカラーチャンネルコード値リーダ714は、選択された画素の第1のカラーチャンネルのためのコード値を読み出しうる。第2のカラーチャンネルコード値リーダ716は、選択された画素位置における第2のカラーチャンネルのためのコード値を読み出しうる。これらのコード値は、解析モジュール718において解析されうる。解析モジュール718では、上記コード値のうちの1つがコード値歪み特性に基づいて選択される。一部の実施形態では、最大コード値が選択されうる。次に、この選択されたコード値がモデル生成器720またはモデル選択器に入力されうる。モデル生成器720またはモデル選択器は、ゲイン値またはモデルを決定しうる。次に、このゲイン値またはモデルが、上記コード値が解析モジュール718によって選択されたかどうかに関わらず、両方のカラーチャンネルコード値に適用されうる(722)。一部の実施形態では、モデルの適用時に上記入力画像がアクセスされうる(728)。次に、画素選択器712に制御が戻されて(726)、画像内の他の画素に対して繰り返される。
本発明の一部の実施形態について、図50を参照しながら説明する。これらの実施形態では、入力画像710がフィルタ730に入力され、第1の周波数範囲画像732および第2の周波数範囲画像734が取得されうる。上記第1の周波数範囲画像は、アクセスが可能になるように変換されて、カラーチャンネルコード値736が分割されうる。一部の実施形態では、上記入力画像は、いかなる変換も行うことなくカラーチャンネルコード値へのアクセスを可能にしうる。第1の周波数範囲738の第1のカラーチャンネルのためのコード値が決定されうる。また、第1の周波数範囲740の第2のカラーチャンネルのためのコード値が決定されうる。
これらのコード値は、コード値歪み特性を決定しうるコード値歪み特性解析器742に入力されうる。次に、コード値選択器744が、コード値解析に基づいて上記コード値のうちの1つを選択しうる。この選択は、調整モデル選択器または生成器746に入力されうる。調整モデル選択器または生成器746は、上記コード値選択に基づいて、ゲイン値またはゲインマップを生成または選択する。次に、当該ゲイン値またはマップは、調整される画素における両方のカラーチャンネルのための第1の周波数範囲コード値に適用されうる(748)。この処理は、第1の周波数範囲画像全体が調整される(750)まで繰り返されうる。第2の周波数範囲画像734にゲインマップを適用し(752)、第2の周波数範囲画像734を調整しうる(753)。一部の実施形態では、第2の周波数範囲画像内の全ての画素に、一定の利得係数が適用されうる。一部の実施形態では、上記第2の周波数範囲画像は、入力画像710の高域バージョンでありうる。調整された上記第1の周波数範囲画像750および調整された上記第2の周波数範囲画像753は、合計または統合されて(754)、調整された出力画像756が生成されうる。
本発明の一部の実施形態について、図51を参照しながら説明する。これらの実施形態では、入力画像710がフィルタ760またはその他プロセッサに送られて、複数の周波数範囲画像に分割される。一部の実施形態では、フィルタ760は、低域(LP)フィルタと、当該LPフィルタによって生成されたLP画像を入力画像から減算して高域(HP)画像を生成するプロセッサとを含みうる。フィルタモジュール760は、それぞれが特定の周波数範囲を有する2つ以上の周波数特異的な画像762、764を出力しうる。第1の周波数範囲画像762は、第1のカラーチャンネル766および第2のカラーチャンネル768のためのカラーチャンネルデータを含みうる。これらのカラーチャンネルのためのコード値は、コード値歪み特性評価器770および/またはコード値選択器772に送られうる。この処理の結果、上記カラーチャンネルコード値のうちの1つが選択される。一部の実施形態では、特定の画素位置のためのカラーチャンネルデータから最大コード値が選択される。この選択されたコード値は、調整モード生成器774に送られうる。調整モード生成器774は、コード値調整モデルを生成する。一部の実施形態では、この調整モデルは、ゲインマップまたはゲイン値を含みうる。次に、この調整モデルが、解析下にある画素のための各カラーチャンネルコード値に適用されうる(776)。この処理は、画像内の各画素に対して繰り返され、結果として第1の周波数範囲が調整された画像778が得られる。
第2の周波数範囲画像764は、必要に応じて、そのコード値をブーストするために、別々のゲイン関数765で調整されうる。一部の実施形態では、調整は適用されない。別の実施形態では、第2の周波数範囲画像内の全てのコード値に一定の利得係数が適用されうる。この第2の周波数範囲画像は、調整された第1の周波数範囲画像778と統合されて(780)、調整および統合された画像781が形成されうる。
一部の実施形態では、第1の周波数範囲画像への調整モデルの適用、および/または、第2の周波数範囲画像へのゲイン関数の適用によって、一部の画像コード値が、表示装置または画像形式の範囲を超過しうる。このような場合、コード値を必要な範囲に「クリッピング」する必要がありうる。一部の実施形態では、出力される(784)前に、色保持クリッピング処理782が用いられうる。これらの実施形態では、特定範囲外のコード値は、色値間の関係を保持する方法でクリッピングされうる。一部の実施形態では、解析下にある画素のための最大カラーチャンネルコード値で除算された、必要とされる最大範囲値よりも大きくない乗数が算出されうる。これによって、1より小さく、かつ「特大」コード値を必要な範囲の最大値まで小さくする、「ゲイン」因子が生じる。この「ゲイン」またはクリッピング値は、画素の色を保持するために全てのカラーチャンネルコード値に適用される一方で、全てのコード値が、最大値または特定範囲以下の値まで下げられうる。このクリッピング処理を適用することによって、全てのコード値が特定範囲内にあると共にコード値の色関係を維持する、調整された出力画像784が生じる。
本発明の一部の実施形態について、図52を参照して説明する。これらの実施形態では、色保持クリッピングを用いて色関係が維持される一方、コード値が特定範囲に限定される。一部の実施形態では、適用されたモデル(790)からの、調整および統合された画像792は、図51に関連して説明した調整および統合された画像781に対応しうる。別の実施形態では、調整および統合された画像792は、特定範囲にクリッピングされる必要のあるコード値を有する他の任意の画像であってもよい。
これらの実施形態では、特定の画素位置に対して、第1のカラーチャンネルコード値が決定され(794)、第2のカラーチャンネルコード値が決定される(796)。これらのカラーチャンネルコード値794、796は、コード値歪み特性評価器798において評価されて、選択的なコード値歪み特性が決定され、カラーチャンネルコード値が選択される。一部の実施形態では、選択的な特性は最大値であり、より高いコード値が調整生成器800への入力として選択される。選択された上記コード値を入力として用いて、クリッピング調整が生成されうる(800)。一部の実施形態では、この調整によって、最大コード値が特定範囲内の値まで下げられる。次に、このクリッピング調整が全てのカラーチャンネルコード値に適用される。典型的な一実施形態では、第1のカラーチャンネルおよび第2のカラーチャンネルのコード値が同一の因子によって下げられ(802)、これによってこれら2つのコード値の比率が保持される。この処理を画像内の全ての画素に適用することによって、コード値が特定範囲内にある出力画像804が得られる。
本発明の一部の実施形態について、図53を参照しながら説明する。これらの実施形態では、3つ全ての色成分に適用されるゲインを最大色成分に基づいて操作することによって、RGB領域内において方法が実施される。これらの実施形態では、入力画像810が周波数分解によって処理される(812)。典型的な一実施形態では、低域(LP)フィルタ814が画像に適用されてLP画像820が生成される。次に、LP画像820が入力画像810から減算されて(824)、高域(HP)画像が生成される(826)。一部の実施形態では、LPフィルタとして空間5×5レクトフィルタが用いられうる。LP画像820内の各画素において、最大値または3つのカラーチャンネル(R、G、およびB)が選択されて(816)、LPゲインマップ818に入力される。LPゲインマップ818は、その特定の画素に対して、全てのカラーチャンネル値に適用される適切なゲイン関数を選択する。一部の実施形態では、値[r、g、b]を有する或る画素におけるゲインは、最大値(r、g、b)によって示される1−D LUTによって決定されうる。値xにおけるゲインは、xによって除算された値xにおいて、前述した光度マッチングトーンスケールカーブの値から導かれうる。
HP画像826には、ゲイン関数834も適用されうる(828)。一部の実施形態では、ゲイン関数834は一定の利得係数でありうる。この修正されたHP画像は、調整されたLP画像と統合されて(830)、出力画像832が形成される。一部の実施形態では、出力画像832は、適用の範囲外であるコード値を含みうる。これらの実施形態では、図51および52に関連して前述したように、クリッピング処理が適用されうる。
前述した本発明の一部の実施形態では、LP画像のためのコード値調整モデルは、最大色成分がパラメータ(例えば最大忠実度)未満である画素に対して、ゲインがバックライト電力レベルの低減を補償するように、設計されうる。低域ゲインは、処理された低域信号がガモット内に残るように、色ガモットの境界において1まで平滑にロールオフする。
一部の実施形態では、HP信号の処理は、低域信号の処理の選択に依存しない。低減されたバックライト電力を補償する実施形態では、HP信号が定ゲインで処理されて、電力が低減されたときにコントラストが保持される。全バックライト電力および低減されたバックライト電力およびディスプレイガンマに対するHP信号ゲインの式は、式5に表されている。これらの実施形態では、ゲインが典型的に小さい(例えば、80%の電力低下およびガンマ2.2に対して1.1)ため、HPコントラストのブーストがノイズに強い。
一部の実施形態では、LP信号およびHP信号の処理の結果が合計されてクリッピングされる。クリッピングは、各画素におけるRGBサンプルの全ベクトルに適用され、最大成分が255にスケーリングされるように3つ全ての成分が等しくスケーリングされうる。クリッピングは、ブーストされたHP値にLP値を加算した値が255を超えた場合に生じ、典型的には、高いコントラストを有する輝度信号のみに関連する。一般的には、LP信号は、LUT構成によって上限を超えないように保証されている。HP信号は、上記和においてクリッピングを生じさせうるが、HP信号の負の値がクリッピングすることは決してないため、クリッピングが生じた場合であっても一部のコントラストが維持される。
本発明の実施形態は、画像の明るさの最適化を試みるか、あるいは、明るさを上昇させながら色保持またはマッチングの最適化を試みうる。典型的には、輝度または明るさを最大化するときに、色ずれのトレードオフがある。色ずれが防止されるときには、典型的には明るさが犠牲となる。本発明の一部の実施形態は、式38に示されているように、重み付きゲインを各色成分に適用することによって、色ずれと明るさとの間のトレードオフの均衡を試みうる。
重み付きゲイン
Figure 2009265678
この重み付きゲインは、アルファ0における最大輝度のアルファ1における最小色アーチファクトへのマッチングにおいて異なる。全てのコード値がMFPパラメータ未満であるときには、3つ全てのゲインが等しいことに留意されたい。
(ディスプレイモデルベースの歪み関連の実施形態)
「バックライトスケーリング」という用語は、LCDバックライトを低減させると同時に、LCDに送られるデータを修正してバックライトの低減を補償する技術をいう。この技術の主要な特徴は、バックライトレベルの選択である。本発明の実施形態は、電力の節減または動的コントラストの改善のためのバックライト調節を用いることによって、LCDのバックライト照明レベルを選択しうる。この問題を解決するために用いられる方法は、画像依存性の技術と画像非依存性の技術とに分割されうる。画像依存性の技術は、後のバックライト補正画像処理によって課されるクリッピングの量を抑制することを目的としうる。
本発明の一部の実施形態は、最適化を用いてバックライトレベルを選択しうる。或る画像において、最適化ルーチンは、仮想基準ディスプレイ上に表れるであろう画像と、実際のディスプレイ上に表れるであろう画像との間の歪みを最小化するようにバックライトレベルを選択しうる。
本発明の実施形態の要素を説明するために、以下の用語が用いられうる。
1.基準ディスプレイモデル:基準ディスプレイモデルは、ディスプレイ(例えばLCD)からの所望の出力を表しうる。一部の実施形態では、基準ディスプレイモデルは、黒レベルがゼロの理想的なディスプレイをモデリングするか、あるいは非限定的なダイナミックレンジを有するディスプレイをモデリングする。
2.実際のディスプレイモデル:実際のディスプレイの出力のモデルである。一部の実施形態では、実際のディスプレイ出力は、複数の異なるバックライトレベルに対してモデリングされ、実際のディスプレイは、黒レベルがゼロとなるようにモデリングされうる。一部の実施形態では、バックライト選択アルゴリズムは、このパラメータを介して、ディスプレイのコントラスト比に依存しうる。
3.明るさ保持(BP):低減されたバックライトレベルを補償するための原画像処理である。実際のディスプレイ上に表れるであろう画像は、明るさが増加された画像の特定のバックライトレベルにおけるディスプレイモデルの出力である。一部の典型的な場合は、
・明るさ保持なし:LCDパネルに処理されていない画像データが送られる。この場合、バックライト選択アルゴリズム。
・線形ブースト明るさ補正:単純なアフィン変換を用いてバックライトの低減を補償することによって画像が処理される。この単純な明るさ保持アルゴリズムは、実際にバックライト補正に用いられた場合には画質を犠牲にするが、バックライト値を選択するための効果的な手段である。
・トーンスケールマッピング:線形および非線形セグメントを含みうるトーンスケールマップを用いて画像が処理される。クリッピングを限定し、コントラストを強調するために、セグメントが用いられうる。
4.歪み測定基準:ディスプレイモデルおよび明るさ保持アルゴリズムを用いて、実際のディスプレイ上に表れるであろう画像を決定しうる。次に、この出力と基準ディスプレイ上の画像との間の歪みが計算されうる。一部の実施形態では、この歪みは、画像コード値のみに基づいて算出されうる。上記歪みは、誤差距離(誤差測定基準)の選択に依存し、一部の実施形態では、平均二乗誤差が用いられうる。
5.最適化基準:複数の異なる制限によって歪みを最小限にすることができる。例えば、一部の実施形態では、以下の基準が使用されうる。
・ビデオシーケンスの各フレームの歪みを最小限にする。
・平均的なバックライト制限を受ける最大歪みを最小限にする。
・平均的なバックライト制限を受ける平均歪みを最小限にする。
(ディスプレイモデル)
本発明の一部の実施形態では、基準ディスプレイモデルおよび実際のディスプレイモデルの両方に対して、GoGモデルが用いられうる。このモデルは、バックライトレベルに基づいてスケーリングするために修正されうる。一部の実施形態では、基準ディスプレイが、黒レベルゼロおよび最大出力Wを有する理想的なディスプレイとしてモデリングされうる。実際のディスプレイは、最大限のバックライトにおいて同一の最大出力Wを有し、最大限のバックライトにおけるBの黒レベルを有するディスプレイとしてモデリングされうる。コントラスト比は、W/Bである。このコントラスト比は、黒レベルがゼロのときは無限である。これらのモデルは、次式において、最大画像コード値を表すためにCVMaxを用いて数学的に表すことができる。
基準(理想的な)ディスプレイ出力のモデル
Figure 2009265678
最大限のバックライトレベル(すなわちP=1)において最大出力Wおよび最小出力Bを有する実際のLCDでは、出力は、相対バックライトレベルPでのスケーリングとしてモデリングされる。コントラスト比CR=W/Bは、バックライトレベルに依存しない。
実際のLCDのモデル
Figure 2009265678
(明るさ保持)
本実施形態の例では、単純なブーストおよびクリッピングに基づくBP処理が用いられる。当該処理では、ブーストは、可能であれば、バックライトの低減を補償するように選択される。以下の導出(derivation)は、特定のバックライトにおける基準ディスプレイと実際のディスプレイとの間における輝度マッチングを行うトーンスケール修正を示している。実際のディスプレイの最大出力および黒レベルの両方は、バックライトでスケーリングされる。我々は、実際のディスプレイの出力は、スケーリングされた最大出力より低く、かつスケーリングされた黒レベルより高い値に制限されることに気付いた。これは、輝度マッチングトーンスケール出力を0およびCVmaxにクリッピングすることに対応する。
出力をマッチングするための基準
Figure 2009265678
CV’へのクリッピング制限は、輝度マッチングの範囲へのクリッピング制限を示唆する。
クリッピング制限
Figure 2009265678
クリッピングポイント
Figure 2009265678
トーンスケールによって、最小値の上側および最大値の下側のコード値の出力がマッチングされる。上記最小値および最大値は、相対バックライト電力Pおよび実際のディスプレイのコントラスト比CR=W/Bに依存する。
(歪み計算)
本発明の実施形態において生成および使用される様々な修正画像について、図54を参照しながら説明する。これら典型的な修正画像のそれぞれを生成する際に、原画像I840が入力として用いられうる。一部の実施形態では、原入力画像840が処理されて(842)、理想的な出力Yideal844が生成される。理想的な画像プロセッサである基準ディスプレイ842は、理想的なディスプレイの黒レベルがゼロであると仮定する。この出力Yideal844は、基準(理想的な)ディスプレイ上において見られる原画像840である。一部の実施形態では、或るバックライトレベルが与えられていると仮定して、このバックライトレベルで実際のLCDに画像を表すことによって生じる歪みが計算されうる。
一部の実施形態では、明るさ保持(846)を用いて、画像I840から画像I’850が生成されうる。次に、画像I’850が、選択されたバックライトレベルと共に実際のLCDプロセッサ854に送られうる。得られる出力は、Yactual858で表される。
基準ディスプレイモデルは、入力画像I*852を用いることによって実際のディスプレイの出力をエミュレートしうる。
実際のLCD854の出力は、画像I’850を取得するために原画像I840を輝度マッチングトーンスケール関数846へ送った結果である。これは、バックライトレベルに応じた基準出力を正確に再現しない可能性がある。しかし、実際のディスプレイ出力を基準ディスプレイ842上でエミュレートすることができる。画像I*852は、実際のディスプレイ出力をエミュレートするために基準ディスプレイ842に送られて、これによってYemulated860が生成される画像データを表す。画像I*852は、画像I840を、式43および他の箇所に関連して定義したクリッピングポイントによって決定された範囲にクリッピングすることによって生成される。一部の実施形態では、I*は、次式のように数学的に表されうる。クリッピングされた画像
Figure 2009265678
一部の実施形態では、歪みは、画像Iを有する基準ディスプレイの出力と、バックライトレベルPおよび画像I’を有する実際のディスプレイの出力との差として定義されうる。画像I*は、実際のディスプレイの出力を基準ディスプレイ上でエミュレートするため、基準ディスプレイと実際のディスプレイとの間の歪みが、基準ディスプレイ上の画像IとI*との間の歪みと等しくなる。
Figure 2009265678
両方の画像が基準ディスプレイ上にあるため、ディスプレイ出力を必要とすることなく、画像データ間のみにおいて歪みを測定することができる。
Figure 2009265678
(画像歪み測度)
上記解析は、基準ディスプレイ上における画像I840の表現と実際のディスプレイ上における表現との間における歪みが、基準ディスプレイ上における画像I840とI*852との間における歪みと等しいことを示している。一部の実施形態では、画像間の歪みを定義するために点別の歪み測定基準が用いられうる。点別の歪みをdとした場合、画像間のこの歪みは、画像IとI*との間の差を合計することによって計算することができる。画像I*は輝度マッチングをエミュレートするため、誤差は上限および下限でのクリッピングからなる。一部の実施形態では、画像の歪み対バックライト電力を定義するために、正規化された画像ヒストグラムh(x)が用いられうる。
Figure 2009265678
(バックライト対歪みカーブ)
基準ディスプレイ、実際のディスプレイ、歪み定義、および画像を所与として、バックライトレベルの或る範囲における歪みが計算されうる。この歪みデータは、統合されたときにバックライト対歪みカーブを形成しうる。バックライト対歪みカーブは、サンプルフレーム(暗いクローゼットから見た光景のぼやけた画像)、黒レベルがゼロの理想的なディスプレイモデル、コントラスト比が1000:1である実際のLCDモデル、および平均二乗誤差(MSE)誤差距離を用いて図示しうる。図55は、この典型的な画像のための画像コード値のヒストグラムのグラフである。
一部の実施形態では、歪みカーブは、ヒストグラムを用いてバックライト値の或る範囲における歪みを算出することによって計算されうる。図56は、図55のヒストグラムに対応する典型的な歪みカーブのグラフである。この典型的な画像は、低いバックライト値において、低減されたバックライトを明るさ保持によって効果的に補償することができないため、歪みが劇的に増加する(880)。高いバックライトレベルでは、限定的なコントラスト比によって、理想的なディスプレイに比べて黒レベルが上昇する(882)。最小歪み範囲が存在し、一部の実施形態では、この最小歪み(884)をもたらす最低バックライト値が最小歪みアルゴリズムによって選択されうる。
(最適化アルゴリズム)
一部の実施形態では、バックライト値を選択するために歪みカーブ(例えば、図56に示されている歪みカーブ)が用いられうる。一部の実施形態では、各フレームに対して最小歪み電力が選択されうる。一部の実施形態では、最小歪み値が固有ではないときに、この歪みが最小となる最小電力(884)が選択されうる。図57には、この最適化基準を簡単なDVDクリップに適用した結果が示されている。図57は、ビデオフレーム番号に対して選択されたバックライト電力をプロットした図である。この場合、選択された平均的なバックライト(890)は約50%である。
(画像依存性)
本発明の一部の実施形態における画像依存性の性質を図示するために、様々な内容を有する典型的な試験画像が選択され、或る範囲におけるバックライト値に対するこれら画像内の歪みが算出された。図39は、これらの典型的な画像のバックライト対歪みカーブのプロットである。図39は、画像A596(完全に黒い画像)、画像B590(完全に白い画像)、画像C594(人の群れの非常にぼやけた写真)、および画像D598(波上のサーファーの明るい画像)のプロットを含んでいる。
カーブの形状は、画像内容に強く依存することに留意されたい。これは、黒レベル上昇による明るさの損失および歪みに起因するバックライトレベルバランスの歪みであると考えられる。黒い画像596の歪みは、低いバックライトにおいて最小となる。白い画像590の歪みは、全電力バックライトにおいて最小となる。ぼやけた画像594の歪みは、中間的なバックライトレベルにおいて最小となる。その中間的なバックライトレベルは、上昇した黒レベルと明るさの低下との間における効率的なバランスとして有限コントラスト比を用いる。
(コントラスト比)
ディスプレイのコントラスト比は、実際のディスプレイの定義に入りうる。図58は、実際のディスプレイにおける複数の異なるコントラスト比に対する、最小MSE歪みバックライトの決定を説明する図である。コントラスト比1:1の制限(900)において、最小歪みバックライトは、画像平均信号レベル(Average Signal Level; ASL)に依存することに留意されたい。無限コントラスト比(ゼロ黒レベル)の反対側の端点(extreme)において、最小歪みバックライトは、画像最大値902に依存する。
本発明の一部の実施形態では、基準ディスプレイモデルは、理想的なゼロ黒レベルを有するディスプレイモデルを含みうる。一部の実施形態では、基準ディスプレイモデルは、視覚的明るさモデルによって選択される基準ディスプレイを含みうる。一部の実施形態では、基準ディスプレイモデルは、周辺光センサを含みうる。
本発明の一部の実施形態では、実際のディスプレイモデルは、有限黒レベルを有する透過型GoGモデルを含みうる。一部の実施形態では、実際のディスプレイモデルは、出力が周辺光およびディスプレイの反射型部分の両方に依存するものとしてモデリングされる、透過反射型ディスプレイのためのモデルを含みうる。
本発明の一部の実施形態では、バックライトの選択処理における明るさ保持(BP)は、クリッピングを用いた線形ブーストを含みうる。別の実施形態では、バックライトの選択処理は、平滑なロールオフおよび/または2つのチャネルBPアルゴリズムを用いたトーンスケール演算子を含みうる。
本発明の一部の実施形態では、歪み測定基準は、点別の測定基準として画像コード値内の平均二乗誤差(MSE)を含みうる。一部の実施形態では、歪み測定基準は、絶対差の合計、多数のクリッピングされた画素、および/またはヒストグラムベースのパーセンタイル測定基準を含む、点別の誤差測定基準を含みうる。
本発明の一部の実施形態では、最適化基準は、各フレーム内の歪みを最小化するバックライトレベルの選択を含みうる。一部の実施形態では、最適化基準は、最大歪みを最小化するか、あるいは平均歪みを最小化する、平均電力制限を含みうる。
(LCD動的コントラストの実施形態)
液晶ディスプレイ(LCD)は、典型的に、コントラスト比が限定的であるという欠点を有する。例えば、バックライト漏れあるいはその他の問題によって、ディスプレイの黒レベルが上昇しうる。これによって、黒領域が黒ではなくグレーに見える場合がある。バックライト調節は、バックライトレベルおよび関連する漏れを低減させ、これによって黒レベルも低下させることによって、この問題を軽減することができる。しかしこの技術は、補正なしで用いられ、ディスプレイの明るさが低減されるという好ましくない効果をもたらす。バックライトの低減に起因して失われたディスプレイの明るさを回復するために、画像補正が用いられうる。補正は、典型的に、全電力ディスプレイの明るさの回復に限定されてきた。
前述した本発明の一部の実施形態は、省電力に焦点を当てたバックライト調節を含んでいる。これらの実施形態は、より低いバックライトレベルで全出力を再生成することを目標とする。これは、バックライトの低減と画像の明るさ増加とを同時に行うことによって達成されうる。これらの実施形態では、黒レベルまたは動的コントラストの改善という好ましい副次的効果が得られる。これらの実施形態は、画質改善を目標とする。一部の実施形態では、以下の画質改善が得られる。
1.低減されたバックライトに起因する、より低い黒レベル。
2.バックライトの低減による漏れの低減に起因する、暗い色の改善された彩度。
3.バックライトの低減よりも強い補正が用いられた場合には、明るさの改善。
4.改善された動的コントラスト、すなわち、暗いフレームの最小値によって除算されたシーケンスの明るいフレームの最大値。
5.暗いフレームのフレーム内コントラスト。
本発明の一部の実施形態は、バックライト選択および画像補正という2つの本質的な技術によって、これらの利点の1つ以上を達成しうる。バックライトおよび補正された画像は両方とも明るさが異なるため、ビデオ内のフリッカーアーチファクトを回避するという課題がある。本発明の一部の実施形態は、フリッカーの可能性を低減するために、目標とするトーンカーブを用いうる。一部の実施形態では、この目標とするカーブは、(バックライトが固定された)パネルのコントラスト比を超えるコントラスト比を有しうる。目標とするカーブは、2つの目的のために機能しうる。第1に、目標とするカーブを用いてバックライトを選択しうる。第2に、目標とするカーブを用いて画像補正を決定しうる。目標とするカーブは、前述した画質面に影響を及ぼす。目標とするカーブは、最大限のバックライトの明るさにおけるピーク表示値から、最低のバックライトの明るさにおける最小表示値へ伸びうる。従って、目標とするカーブは、最大限のバックライトの明るさによって達成される典型的な表示値の範囲よりも下に伸びる。
一部の実施形態では、バックライト輝度または明るさレベルの選択は、固有のパネルコントラスト比に対応する目標とするカーブの間隔の選択に対応しうる。この間隔は、バックライトの変化に伴って動く。最大限のバックライトでは、目標とするカーブの暗い領域をパネル上に表現することができない。低いバックライトでは、目標とするカーブの明るい領域をパネルパネル上に表現することができない。一部の実施形態では、バックライトを決定するために、パネルトーンカーブ、目標とするトーンカーブ、およびディスプレイへの画像が与えられる。バックライトレベルは、選択されたバックライトレベルを有するパネルのコントラスト範囲が、目標とするトーンカーブ下側において画像値の範囲とほぼ合致するように選択されうる。
一部の実施形態では、画像は、ディスプレイ出力が目標とするカーブに可能な限り沿うように修正または補正されうる。バックライトが高すぎる場合、目標とするカーブの暗い領域を達成することができない。同様に、バックライトが低い場合、目標とするカーブの明るい領域を達成することができない。一部の実施形態では、補正のための固定された目標を用いることによって、フリッカーを最小限にしうる。これらの実施形態では、バックライトの明るさおよび画像補正が両方とも異なるが、ディスプレイ出力が目標とするトーンカーブを概算し、目標とするトーンカーブが固定される。
一部の実施形態では、目標とするトーンカーブは、前述した複数の画質改善のうちの1つ以上を集約しうる。バックライト選択および画像補正は、両方とも、目標とするトーンカーブを介して制御しうる。画像を「最適に」表現するために、バックライトの明るさ選択が実行されうる。一部の実施形態では、前述した歪みベースのバックライト選択アルゴリズムが、特定の目標とするトーンカーブおよびパネルトーンカーブと共に適用されうる。
一部の典型的な実施形態では、式48に示されているように、トーンカーブに対してゲイン−オフセット−ガンマフレア(Gain-Offset-Gamma Flare; GOGF)モデルが用いられうる。一部の実施形態では、ガンマに対して値2.2が用いられ、オフセットに対してゼロが用いられ、2つのパラメータ(ゲインおよびフレア)は残されうる。パネルおよび目標とするトーンカーブは、両方とも、これら2つのパラメータによって特定されうる。一部の実施形態では、ゲインが最大明るさを決定し、コントラスト比が付加的なフレアの項を決定する。
トーンカーブモデル
Figure 2009265678
ここで、CRはディスプレイのコントラスト比、Mは最大パネル出力、cは画像コード値、Tはトーンカーブ値、およびγはガンマ値である。
目標とするトーンカーブは、動的コントラストを改善するために、パネルトーンカーブとは異なっている。最も単純な適用では、目標のコントラスト比CRはパネルのコントラスト比CRよりも大きい。式49には、典型的なパネルトーンカーブが表されている。
典型的なパネルトーンカーブ
Figure 2009265678
ここで、CRはパネルのコントラスト比、Mは最大パネル出力、cは画像コード値、Tはパネルトーンカーブ値、およびγはガンマ値である。
式50には、典型的な目標とするトーンカーブが表されている。
典型的な目標とするトーンカーブ
Figure 2009265678
ここで、CRは目標のコントラスト比、Mは最大目標出力(例えば、最大限のバックライトの明るさにおける最大パネル出力)、cは画像コード値、Tは目標とするトーンカーブ値、およびγはガンマ値である。
一部の典型的なトーンカーブの形態について、図59を参照して説明する。図59は、水平軸においてコード値の対数の対数プロットを示し、垂直軸において相対輝度を示している。図59には、パネルトーンカーブ1000、目標とするトーンカーブ1001、およびべき法則カーブ1002という3つのトーンカーブが示されている。パネルトーンカーブ1000は、パネルの黒点1003から最大パネル値1005へ伸びている。目標とするトーンカーブは、目標とする黒点1004から最大ターゲット/パネル値1005へ伸びている。目標とする黒点1004は、バックライトのより低い明るさの利点を享受するため、パネルの黒点1003よりも低い。しかしバックライトは、いかなるフレームに対しても明るさレベルを1つのみしか有することができないため、目標とするトーンカーブの全範囲を単一の画像に対して使用することができない。従って、目標とする黒点1004をより低くするためにバックライトの明るさが低減されたときには、最大ターゲット/パネル値1005を達成することができない。本発明の実施形態は、表示される画像および所望の性能目標に最適な、目標とするトーンカーブの範囲を選択する。
複数の異なる優先事項を達成するために、様々な目標とするトーンカーブが生成されうる。例えば、電力節減が主たる目的である場合、目標とするカーブのMおよびCRの値を、パネルトーンカーブの対応する値と等しくセットすることができる。この電力節減を行う実施形態では、目標とするトーンカーブは固有のパネルトーンカーブと等しい。電力を節減するためにバックライト調節が用いられる一方で、表示される画像は、より低いバックライト設定では達成不可能である範囲の上端における画像を除いては、全電力でのディスプレイに表示される画像と事実上は同一である。
図60には、典型的な省電力トーンカーブが示されている。これらの実施形態では、パネルおよび目標とするトーンカーブは同一である(1010)。バックライトの明るさを低減することによって目標とするカーブ1011を低くすることができるが、この可能性は、これらの実施形態では用いられない。代わりに、画像は、画像コード値の補正によってパネルトーンカーブ1010をマッチングすることによって明るくされる。これが不可能である場合、電力節減のためのバックライト低減に起因するパネル制限(1022)において、クリッピングアーチファクトを回避するために補正が丸められる(1012)。この丸めは、他の実施形態に関連して前述した方法に従って達成されうる。一部の実施形態では、画像内の限定的なダイナミックレンジに起因して、クリッピングが許容されうるか、あるいはクリッピングが生じえない。これらの場合は丸め(1012)が不要であり、目標とするトーンカーブは単純に、範囲の上端1014のパネルトーンカーブに沿ってよい。
低い黒レベルが主たる目的である別の典型的な実施形態において、目標とするカーブのMの値が、パネルトーンカーブの対応する値と等しくセットされうるが、目標とするカーブのCRの値は、パネルトーンカーブの対応する値の4倍の値と等しくなるようにセットされうる。これらの実施形態では、目標とするトーンカーブは、黒レベルを下げるように選択される。ディスプレイの明るさは、全電力ディスプレイと比較して変わらない。目標とするトーンカーブは、パネルと同一の最大Mを有するが、コントラスト比はより高い。上記実施例では、コントラスト比は固有のパネルのコントラスト比の4倍である。あるいは、目標とするトーンカーブは、その範囲の上端において丸めカーブを含みうる。推定上、バックライトは4:1で調節可能である。
黒レベルの低減を優先させる一部の実施形態について、図61に関連して説明する。これらの実施形態では、パネルトーンカーブ1020が、例えば式49を用いて前述のように算出される。低減されたバックライトの明るさレベルおよびより高いコントラスト比のための目標とするトーンカーブ1021も算出される。目標とするトーンカーブ1024は、範囲の上端においてパネルトーンカーブに沿って伸びうる。あるいは、目標とするトーンカーブは丸めカーブ1023を用いうる。これによって、低減されたバックライトレベルに対して、ディスプレイ制限1022付近におけるクリッピングを低減しうる。
より明るい画像が主たる目的である別の典型的な実施形態では、目標とするカーブのMの値は、パネルトーンカーブにおいて対応する値の1.2倍と等しくなるようにセットされうるが、目標とするカーブのCRの値は、パネルトーンカーブにおいて対応する値と等しくなるようにセットされうる。目標とするトーンカーブは、同一のコントラスト比を維持しながら明るさを上昇させるように選択される(黒レベルは上昇することに留意されたい)。目標とする最大Mは、パネル最大値よりも大きい。この明るさ上昇を達成するために、画像補正を用いて画像が明るくされる。
画像の明るさが最優先である一部の実施形態について、図62に関連して説明する。これらの実施形態では、パネルトーンカーブおよび目標とするトーンカーブは、範囲の下端付近1030において実質的に同一である。しかし、この領域よりも上側では、パネルトーンカーブ1032は、最大ディスプレイ出力1033への典型的な経路をたどる。しかし、目標とするトーンカーブは、上昇する経路1031をたどり、これによってこの領域内の画像コード値が明るくなる。目標とするカーブ1031は、範囲の上端に向かって、目標とするカーブをポイント1033へ丸める丸めカーブ1035を含みうる。上記ポイント1033は、ディスプレイが、低減されたバックライトレベルゆえに目標とするカーブをたどれなくなるポイントである。
より低い黒レベルおよびより明るい中範囲(midrange)を有する強調画像が主たる目的である、別の典型的な実施形態では、目標とするカーブのMの値1034は、パネルトーンカーブにおいて対応する値の1.2倍と等しくなるようにセットされ、目標とするカーブのCRの値は、パネルトーンカーブにおいて対応する値の4倍と等しくなるようにセットされうる。目標とするトーンカーブは、明るさを上昇させて黒レベルを低減するように選択される。目標とする最大値はパネルの最大Mよりも大きく、コントラスト比もパネルのコントラスト比よりも大きい。この目標とするトーンカーブは、バックライト選択および画像補正の両方に影響を及ぼしうる。目標とする低減された黒レベルを達成するために、暗いフレームにおいてバックライトが低減される。全電力バックライトにおいても、明るさを上昇させるために画像補正が用いられうる。
画像の明るさおよび低い黒レベルを優先させる一部の実施形態について、図63に関連して説明する。これらの実施形態では、パネルトーンカーブ1040が、例えば式49を用いて前述のように算出される。目標とするトーンカーブ1041も算出されるが、目標とするトーンカーブ1041は、低減されたバックライトレベルに対処するためにより低い黒点1045を始点としうる。目標とするトーンカーブ1041は、トーンスケールの中範囲および上部範囲における画像コード値を明るくするために上昇経路をたどりうる。バックライトレベルが低減されたディスプレイは、最大ターゲット値1042、あるいは最大パネル値1043にも達することができないため、丸めカーブ1044が使用されうる。丸めカーブ1044は、最も低減されたバックライトパネル値1046において、目標とするトーンカーブ1041を終端させうる。丸めカーブ特性を決定するために、他の実施形態に関連して前述した様々な方法が用いられうる。
本発明の一部の実施形態について、図64に関連して説明する。これらの実施形態では、複数の目標とするトーンカーブが算出され、算出されたこれらカーブから、画像特性、性能目標、または他の基準に基づいて選択が行われうる。これらの実施形態では、最大限のバックライトの明るさのために、上昇した黒レベル1120を有するパネルトーンカーブ1127が生成されうる。目標とするトーンカーブ1128および1129も生成されうる。これらの目標とするトーンカーブ1128および1129は、カーブが黒レベルポイント(例えば黒レベルポイント1121)に遷移する黒レベル遷移領域1122を含んでいる。これらのカーブは、目標とするいずれのトーンカーブからの入力点も同一の出力点にマッピングされる共通領域も含んでいる。一部の実施形態では、これらの目標とするトーンカーブは、他の実施形態に対して説明したように、カーブが最大明るさレベル1125に丸められる、明るさ丸めカーブ1126も含んでいる。目標とする複数のトーンカーブのこの集合から、画像特性に基づいてカーブが選択されうる。例えば、限定的ではない例として、非常に暗い画素を多く含む画像は、より低い黒レベルおよびカーブ1128の利点を享受し得、この画像に対してはぼやけたバックライトおよびより低い黒レベルが選択されうる。明るい画素値を多く含む画像は、より高い最大明るさ1124を有するカーブ1127の選択に影響を及ぼしうる。ビデオシーケンスの各フレームは、異なる目標とするトーンカーブ選択に影響を及ぼしうる。管理されていない場合、複数の異なるトーンカーブを用いることによって、シーケンス内にフリッカーおよび所望しないアーチファクトが生じうる。しかし、これら実施形態の目標とするトーンカーブの全てによって共有される共通領域1123は、一時的影響を安定化させ、フリッカーおよび同様のアーチファクトを軽減する機能を有する。
本発明の一部の実施形態について、図65に関連して説明する。これらの実施形態では、1セットの目標とするトーンカーブ(例えば、目標とするトーンカーブ1105)が生成されうる。これらの目標とするトーンカーブは、バックライトの複数の異なる明るさレベルに対応しうる複数の異なる黒レベル遷移領域1102を含みうる。目標とするトーンカーブのこの集合は、当該集合内の全てのカーブが同一のマッピングを共有する、強調された共通領域1101も含んでいる。一部の実施形態では、これらのカーブは、共通領域から最大輝度レベルへ遷移する明るさ丸めカーブ1103も含んでいる。典型的な強調された目標とするトーンカーブ1109では、カーブは黒レベルポイント1105を始点として、強調された共通領域1101へと遷移し、当該強調された共通領域から丸めカーブの最大明るさレベル1106へと遷移する。一部の実施形態では、明るさ丸めカーブ(brightness round-off curve)は存在していなくてもよい(1108)。これらの実施形態は、共通領域が(1104から1107まで)パネルトーンカーブ1100の上にある点において、図65を参照して説明した実施形態とは異なる。これは、入力画素値をより高い出力値にマッピングすることによって、表示される画像を明るくする。一部の実施形態では、1セットの強調された目標とするトーンカーブが生成され、画像シーケンスの複数のフレームに対して選択的に用いられる。これらの実施形態は、フリッカーおよび同様のアーチファクトを軽減する機能を有する共通領域を共有する。一部の実施形態では、1セットの目標とするトーンカーブおよび1セットの強調された目標とするトーンカーブが算出され、画像特性および/または性能目標に依存した選択的な使用のために記憶されうる。
本発明の一部の実施形態について、図66に関連して説明する。図66の方法では、目標とするトーンカーブパラメータが決定される(1050)。一部の実施形態では、これらのパラメータは、最大ターゲットパネル出力、目標とするコントラスト比、および/または目標とするパネルガンマ値を含みうる。目標とするトーンカーブを決定するために、画像を調整または補正して性能目標を実現するため用いられうる他のパラメータを用いてもよい。
これらの実施形態では、パネルトーンカーブも算出されうる(1051)。パネルトーンカーブは、典型的なパネル出力と目標とするトーンカーブとの差を示すために図示されている。パネルトーンカーブ1051は、ディスプレイのために用いられるようにディスプレイパネル特性を関連させ、誤差または歪み測定が測定されうる基準画像を生成するために用いられうる。このカーブ1051は、特定のディスプレイの最大パネル出力Mおよびパネルコントラスト比CRに基づいて算出されうる。一部の実施形態では、このカーブは、最大パネル出力M、パネルコントラスト比CR、パネルガンマ値γ、および画像コード値cに基づきうる。
目標とするトーンカーブ(target tone curve; TTC)が、1つ以上算出されうる(1052)。一部の実施形態では、各メンバーが異なるバックライトレベルに基づいているTTCのファミリーが算出されうる。別の実施形態では、他のパラメータは異なっていてもよい。一部の実施形態では、目標とするトーンカーブは、目標とする最大出力Mおよび目標とするコントラスト比CRを用いて算出されうる。一部の実施形態では、この目標とするトーンカーブは、目標とする最大出力M、目標とするコントラスト比CR、ディスプレイガンマ値γ、および画像コード値cに基づきうる。一部の実施形態では、目標とするトーンカーブは、画像への所望の修正を表しうる。例えば、目標とするトーンカーブは、より低い黒レベル、より明るい画像領域、補正された領域、および/または丸めカーブのうちの1つ以上を表しうる。目標とするトーンカーブは、参照テーブル(LUT)として表され得、ハードウェアまたはソフトウェアを介して算出され得、あるいは他の手段によって表され得る。
バックライトの明るさレベルが決定されうる(1053)。一部の実施形態では、バックライトレベル選択は、電力節減、黒レベル基準などの性能目標、あるいはその他の目標によって影響を受けうる。一部の実施形態では、バックライトレベルは、処理または強調された画像と仮想基準ディスプレイに表示される原画像との間の歪みまたは誤差を最小限にするように決定されうる。画像値の大部分が非常に暗いとき、画像表示には、より低いバックライトレベルが最適でありうる。画像値の大部分が明るいとき、画像表示には、より高いバックライトレベルが最良の選択でありうる。一部の実施形態では、パネルトーンカーブを用いて処理された画像が、様々なTTCを用いて処理された画像と比較されて、適切なTTCおよび対応するバックライトレベルが決定される。
本発明の一部の実施形態では、バックライトの選択および画像補正の選択の方法においても、特定の性能目標が考慮されうる。例えば、電力節減が性能目標として識別されたときには、画像特性の最適化よりもバックライトレベルの低減が優先しうる。反対に、画像の明るさが性能目標であるときには、バックライトレベルの低減の優先度は低くなりうる。
目標とするトーンカーブ、仮想基準ディスプレイ、または他の規格に対して画像の誤差または歪みが最小限になるように、バックライトレベルが選択されうる(1053)。一部の実施形態では、米国特許出願第11/460,768号、「歪みに関連する光源光管理のための方法およびシステム」、2006年7月28日出願、発明者Louis J. Kerofskyに開示されている方法を用いて、バックライトレベルおよび補正の方法を選択しうる(本文献は、参照によって本明細書に組み込まれるものとする)。
目標とするトーンカーブの計算後、性能目標を達成または低減されたバックライトレベルを補償する、目標とするトーンカーブを用いて、画像が調整または補正されうる(1054)。この調整または補正は、目標とするトーンカーブを参照して実施されうる。
バックライトの選択(1053)および補正または調整(1054)後、調整または補正された画像が、選択されたバックライトレベルで表示されうる(1055)。
本発明の一部の実施形態について、図67を参照しながら説明する。これらの実施形態では、画像の強調または処理目標が構築される(1060)。この目標は、電力節減、黒レベルの低減、画像の明るさ上昇、トーンスケール調整、あるいはその他の処理または強調目標を含みうる。処理または強調目標に基づいて、目標とするトーンカーブパラメータが選択されうる(1061)。一部の実施形態では、パラメータ選択を自動化して、強調または処理目標に基づいて行うことができる。一部の典型的な実施形態では、これらのパラメータは、目標とする最大出力Mおよび目標とするコントラスト比CRを含みうる。一部の典型的な実施形態では、これらのパラメータは、目標とする最大出力M、目標とするコントラスト比CR、ディスプレイガンマ値γ、および画像コード値cを含みうる。
選択された目標とするトーンカーブパラメータに基づいて、目標とするトーンカーブ(TTC)が算出されうる(1062)。一部の実施形態では、1セットのTTCが算出されうる。一部の実施形態では、上記セットは、様々なバックライトレベルに対応するカーブを含みうるが、TTCパラメータは共通である。別の実施形態では、他のパラメータは異なっていてもよい。
バックライトの明るさレベルが選択されうる(1063)。一部の実施形態では、バックライトレベルは、画像特性を参照して選択されうる。一部の実施形態では、バックライトレベルは、性能目標に基づいて選択されうる。一部の実施形態では、バックライトレベルは、性能目標および画像特性に基づいて選択されうる。一部の実施形態では、バックライトレベルは、性能目標または誤差基準をマッチングするTTCを選択し、そのTTCに対応するバックライトレベルを使用することによって選択されうる。
バックライトレベルが選択されると(1063)、そのレベルに対応する目標とするトーンカーブが関連して選択される。この目標とするトーンカーブを用いて、画像が調整、強調、または補正されうる(1064)。調整された画像は、選択されたバックライトレベルを用いてディスプレイに表示されうる(1065)。
本発明の一部の実施形態について、図68を参照しながら説明する。これらの実施形態では、画像表示性能目標が識別される(1070)。これは、ユーザが性能目標を直接選択するユーザインターフェースを用いて行われうる。これは、ユーザが優先事項を識別して性能目標が生成される、ユーザクエリを用いても行われうる。性能目標はまた、画像解析、表示装置歪み特性、デバイス使用履歴、あるいは他の情報に基づいて自動的に識別されうる。
上記性能目標に基づいて、目標とするトーンカーブパラメータが自動的に選択または生成されうる(1071)。一部の典型的な実施形態では、これらのパラメータは、目標とする最大出力Mおよび目標とするコントラスト比CRを含みうる。一部の典型的な実施形態では、これらのパラメータは、目標とする最大出力M、目標とするコントラスト比CR、ディスプレイガンマ値γ、および画像コード値cを含みうる。
上記目標とするトーンカーブパラメータから、目標とするトーンカーブが1つ以上生成されうる(1072)。目標とするトーンカーブは、1つの式、一連の式、テーブル(例えばLUT)、あるいは他の表現として表現されうる。
一部の実施形態では、各TTCはバックライトレベルに対応する。バックライトレベルは、基準を満たす対応するTTCを見つけることによって選択されうる(1073)。一部の実施形態では、他の方法によってバックライト選択を行ってもよい。バックライトがTTCに依存せずに選択された場合、そのバックライトレベルに対応するTTCが選択されうる。
最終的なTTCが選択されると(1073)、当該TTCは、ディスプレイのために画像を強調、補正、あるいは処理するために画像に適用されうる(1074)。そして、処理された画像が表示されうる(1075)。
本発明の一部の実施形態について、図69を参照しながら説明する。これらの実施形態では、画像表示性能目標が識別される(1080)。これは、ユーザが性能目標を直接選択するユーザインターフェースによって行われうる。これは、ユーザが優先事項を識別して性能目標が生成される、ユーザクエリを用いても行われうる。性能目標はまた、画像解析、表示装置歪み特性、デバイス使用履歴、あるいは他の情報に基づいて自動的に識別されうる。画像特性を識別するために、画像解析も行われうる(1081)。
上記性能目標に基づいて、目標とするトーンカーブパラメータが自動的に選択または生成されうる(1082)。直接識別されうるか、あるいは最大ディスプレイ出力値およびコントラスト比によって示唆される、バックライトレベルも選択されうる。一部の典型的な実施形態では、これらのパラメータは、目標とする最大出力Mおよび目標とするコントラスト比CRを含みうる。一部の典型的な実施形態では、これらのパラメータは、目標とする最大出力M、目標とするコントラスト比CR、ディスプレイガンマ値γ、および画像コード値cを含みうる。
上記目標とするトーンカーブパラメータから、目標とするトーンカーブが生成されうる(1083)。目標とするトーンカーブは、1つの式、一連の式、テーブル(例えばLUT)、あるいは他の表現として表現されうる。このカーブが生成されると(1083)、当該カーブは、ディスプレイのために画像を強調、補正、あるいは処理するために画像に適用されうる(1084)。そして、処理された画像が表示されうる(1085)。
(色強調および明るさ強調)
本発明の一部の実施形態は、色強調および明るさ強調または保持を含んでいる。これらの実施形態では、明るさ強調または保持と共に色形態(color aspect)を強調するために、特定の色値、色範囲、または色領域が修正されうる。一部の実施形態では、これらの修正または強調は、画像の低域(LP)バージョンで行いうる。一部の実施形態では、特定の色強調処理が用いられうる。
本発明の一部の実施形態について、図70を参照しながら説明する。これらの実施形態では、低域(LP)フィルタによって画像1130がフィルタされ(1131)、LP画像が生成される。このLP画像は、原画像1130から減算されるか(1134)、あるいは原画像1130と統合されて、高域(HP)画像1135が生成される。次に、上記LP画像は、画像特徴を明るくするために、例えば明るさ保持(BP)処理または同様の処理などのトーンスケール処理1133によって処理されうる。これによって、他の実施形態に関連して前述したように、低減されたバックライトレベルが補償されるか、あるいはLP画像が修正される。次に、得られる処理されたLP画像がHP画像1135と統合されて(1137)、トーンスケール強調された画像が生成される。次に、トーンスケール強調された上記画像は、ビット深度拡張(bit-depth extension; BDE)処理1139によって処理される。BDE処理1139では、特別に設計された雑音パターンまたはディザーパターンが画像に適用されて、画像ビット深度を縮小する後に続く処理でのコンチュアリングアーチファクト(contouring artifact)への感受性が軽減される。一部の実施形態は、米国特許出願第10/775,012号、「適応型のディザー構造のための方法およびシステム」、2004年2月9日出願、発明者Scott J. DalyおよびXiao-Fan Feng、に記載されているBDE処理を含みうる(本文献は、参照によって本明細書に組み込まれるものとする)。一部の実施形態は、米国特許出願第10/645,952号、「ディザー構造を生成および適用するシステムおよび方法」、2003年8月22日出願、発明者Xiao-Fan FengおよびScott J. Daly、に記載されているBDE処理を含みうる(本文献は、参照によって本明細書に組み込まれるものとする)。一部の実施形態は、米国特許出願第10/676,891号、「多次元ディザー構造を生成および適用するシステムおよび方法」、2003年9月30出願、発明者Xiao-Fan FengおよびScott J. Daly、に記載されているBDE処理を含みうる(本文献は、参照によって本明細書に組み込まれるものとする)。次に、これによってBDE強調された画像が、表示されるか、あるいはさらに処理されうる。BDE強調された画像は、参照によって本明細書に組み込まれる上記出願において説明されているように、そのビット深度が縮小されたときにコンチュアリングアーチファクトを示す可能性が低い。
本発明の一部の実施形態について、図71を参照しながら説明する。これらの実施形態では、画像1130が低域(LP)フィルタされて(1131)、画像のLPバージョンが生成されうる。このLPバージョンは、処理のために色強調モジュール1132に送られうる。色強調モジュール1132は、色検出機能、カラーマップ微調整機能、色領域処理機能、および他の機能を含みうる。一部の実施形態では、色強調モジュール1132は、肌色検出機能、肌色マップ微調整機能、肌色領域処理、および非肌色領域処理を含みうる。色強調モジュール1132の機能によって、画素のための色値(例えば画素強度値)が修正されうる。
色修正後、色修正されたLP画像は、明るさ保持または明るさ強調モジュール1133に送られうる。このモジュール1133は、画像値がトーンスケールカーブによって調整または修正される点において、前述した多くの実施形態および明るさ特性を改善する同様の方法と同じである。一部の実施形態では、トーンスケールカーブは、光源光またはバックライトレベルに関連しうる。一部の実施形態では、トーンスケールカーブは、低減されたバックライトレベルを補償しうる。一部の実施形態では、トーンスケールカーブは、いかなるバックライトレベルにも依存せずに画像を明るくするか、あるいは画像を修正しうる。
次に、色および明るさが強調された上記画像が、画像の高域(HP)バージョンと統合されうる。一部の実施形態では、画像のHPバージョンは、原画像1130からLPバージョンを減算する(1134)ことによって生成され、これによって画像のHPバージョン1135が生じる。色および明るさが強調された画像と、画像のHPバージョン1135との統合(1137)によって、強調された画像1138が生成される。
本発明の一部の実施形態は、画像依存性のバックライト選択、および/または、HP画像に対する別々のゲイン処理を含みうる。これら2つの追加の要素は、独立した別々の要素であるが、図72に示されているように、これら両要素を含む一実施形態に関連して説明する。典型的な本実施形態では、画像1130がフィルタモジュール1131に入力され、フィルタモジュール1131においてLP画像1145が生成されうる。次に、LP画像1145が原画像1130から減算されて、HP画像1135が生成されうる。LP画像1145はまた、色強調モジュール1132に送られうる。一部の実施形態では、原画像1130はまた、バックライトの明るさレベルの決定において用いられるよう、バックライト選択モジュール1140に送られうる。
色強調モジュール1132は、色検出機能、カラーマップ微調整機能、色領域処理機能、および他の機能を含みうる。一部の実施形態では、色強調モジュール1132は、肌色検出機能、肌色マップ微調整機能、肌色領域処理、および非肌色領域処理を含みうる。色強調モジュール1132の機能によって、画素のための色値(例えば画素強度値)が修正されうる。
明るさ保持(BP)または明るさ強調トーンスケールモジュール1141は、トーンスケール操作を用いた処理のためにLP画像1145を受け取りうる。トーンスケール操作は、バックライト選択モジュール1140から受け取ったバックライト選択情報に依存しうる。トーンスケール操作を用いて明るさ保持を達成する場合、バックライト選択情報は、トーンスケールカーブの決定に有用である。バックライト補正を行わずに明るさ強調のみが行われる場合、バックライト選択情報は不要である。
HP画像1135は、同様の実施形態に対して前述した方法を用いて、HPゲインモジュール1136内において処理されうる。HPゲインモジュール内におけるゲイン処理によって、HP画像1147が修正される。トーンスケールモジュール1141内におけるトーンスケール処理によって修正されたLP画像1146は、修正されたHP画像1147と統合されて(1142)、強調された画像1143が生成される。
次に、バックライト選択モジュール1140からバックライト選択データを受け取ったバックライト1144のバックライト調節を用いて、強調された画像1143がディスプレイに表示されうる。これによって、バックライト設定が低減または調節されているがバックライト調節を補償する修正画像値を有する画像が表示されうる。同様に、LPトーンスケール処理およびHPゲイン処理を含む、明るさが強調された画像が、最大限のバックライトの明るさで表示されうる。
本発明の一部の実施形態について、図73を参照しながら説明する。これらの実施形態では、原画像1130がフィルタモジュール1150に入力され、フィルタモジュール1150がLP画像1155を生成しうる。一部の実施形態では、フィルタモジュールは、ヒストグラム1151も生成しうる。LP画像1155は、色強調モジュール1156および減算処理1157に送られうる。減算処理1157では、LP画像1155が原画像1130から減算されて、HP画像1158が生成される。一部の実施形態では、HP画像1158はコアリング処理1159を受けて、一部の高周波成分がHP画像1158から除去される。このコアリング処理によって、コアリングされたHP画像1160が得られる。コアリングされたHP画像1160は、ゲインマップ1162を用いて処理されて(1161)、他の実施形態に対して前述した明るさ保持、強調、あるいはその他の処理が達成される。ゲインマッピング処理1161によって、HP画像1168がゲインマッピングされる。
色強調モジュール1156に送られたLP画像1155は、色強調モジュール1156の色検出機能、カラーマップ微調整機能、色領域処理機能、および他の機能によって処理されうる。一部の実施形態では、色強調モジュール1156は、肌色検出機能、肌色マップ微調整機能、肌色領域処理、および非肌色領域処理を含みうる。色強調モジュール1156の機能によって、画素の色値(例えば画素強度値)が修正され、これは色強調されたLP画像1169として記録されうる。
色強調されたLP画像1169は、BPトーンスケールまたは強調トーンスケールモジュール1163において処理されうる。明るさ保持(BP)または明るさ強調トーンスケールモジュール1163は、トーンスケール操作を用いた処理のために色強調されたLP画像1169を受け取りうる。トーンスケール操作は、バックライト選択モジュール1154から受け取ったバックライト選択情報に依存しうる。トーンスケール操作によって明るさ保持が行われる場合、トーンスケールカーブの決定においてバックライト選択情報が有用である。バックライト補正を行わずに明るさ強調のみが行われる場合、バックライト選択情報は不要である。トーンスケールモジュール1163内において行われるトーンスケール操作は、バックライト情報に関わらず、画像特性、アプリケーションの性能目標、および他のパラメータに依存しうる。
一部の実施形態では、画像ヒストグラム1151は、色強調モジュール1156およびトーンスケールモジュール1163がそれらの機能を行うための時間を確保するために遅延されうる(1152)。これらの実施形態では、バックライト選択1154に影響を与えるために、遅延されたヒストグラム1153が用いられうる。一部の実施形態では、バックライト選択1154に影響を与えるために、前のフレームからのヒストグラムが用いられうる。一部の実施形態では、バックライト選択1154に影響を与えるために、現在のフレームから戻された2つのフレームからのヒストグラムが用いられうる。バックライトの選択が行われると、トーンスケールモジュール1163によってバックライト選択データが用いられうる。
色強調されたLP画像1169がトーンスケールモジュール1163によって処理されると、色および明るさが強調されたLP画像1176が、ゲインマッピングされたHP画像1168と統合されうる(1164)。一部の実施形態では、この処理1164は加算処理でありうる。一部の実施形態では、この統合処理1164によって統合および強調された画像1167が、画像表示のための最終生成物である。この統合および強調された画像1167は、バックライト選択モジュール1154から受け取られたバックライト設定によって調節されたバックライト1166を用いて、ディスプレイに表示されうる。
本発明の一部の色強調モジュールについて、図74を参照しながら説明する。これらの実施形態では、LP画像1170が色強調モジュール1171に入力されうる。色強調モジュール1171内のLP画像1170には、様々な処理が適用されうる。LP画像1170には、肌色検出処理1172が適用されうる。肌色検出処理1172は、LP画像1170内の各画素の色の解析、および当該画素の色に基づいた肌色尤度値の割り当てを含みうる。この処理によって、肌色尤度マップが得られる。一部の実施形態では、色が肌色である尤度を決定するために参照テーブル(LUT)が用いられうる。肌色尤度を決定するために、他の方法も用いられうる。一部の実施形態は、前述した肌色検出方法、および参照によって本明細書に組み込まれる他のアプリケーションにおいて説明した肌色検出方法を含みうる。
得られた肌色尤度マップは、肌色マップ微調整処理1173によって処理されうる。LP画像1170もこの微調整処理1173に入力されるか、あるいはこの微調整処理1173によってアクセスされうる。一部の実施形態では、この微調整処理1173は、画像誘導非線形低域通過フィルタを含みうる。一部の実施形態では、微調整処理1173は、対応する画像の色値が隣り合う画素の色値との特定の色空間距離内にあるとき、および画像画素および隣り合う画素が特定の空間距離内にあるときに肌色マップ内の値に適用される、平均化処理を含みうる。次に、この処理によって修正または微調整された肌色マップは、LP画像内の肌色領域を識別するために用いられうる。肌色領域外の領域は、非肌色領域として識別されうる。
色強調モジュール1171では、肌色領域のみに色修正処理1174を適用することによって、LP画像1170が差別的に処理されうる。一部の実施形態では、非肌色領域のみに色修正処理1174が適用されうる。一部の実施形態では、肌色領域に第1の色修正処理が適用され、非肌色領域に第2の色修正処理が適用されうる。これらの各色修正処理によって、色修正または強調されたLP画像1175が生じる。一部の実施形態では、強調された上記LP画像は、トーンスケールモジュール(例えば、BPまたは強調トーンスケールモジュール1163)内においてさらに処理されうる。
本発明の一部の実施形態について、図75を参照しながら説明する。これらの実施形態では、画像1130が低域(LP)フィルタされて(1131)、当該画像のLPバージョンが生成されうる。このLPバージョンは、処理のために色強調モジュール1132に送られうる。色強調モジュール1132は、色検出機能、カラーマップ微調整機能、色領域処理機能、および他の機能を含みうる。一部の実施形態では、色強調モジュール1132は、肌色検出機能、肌色マップ微調整機能、肌色領域処理、および非肌色領域処理を含みうる。色強調モジュール1132の機能によって、画素の色値(例えば画素強度値)が修正されうる。
色修正後、色修正されたLP画像は、明るさ保持または明るさ強調モジュール1133に送られうる。このモジュール1133は、画像値がトーンスケールカーブによって調整または修正される点において、前述した多くの実施形態および明るさ特性を改善する同様の方法と同様である。一部の実施形態では、トーンスケールカーブは、光源光またはバックライトレベルに関連しうる。一部の実施形態では、トーンスケールカーブは、低減されたバックライトレベルを補償しうる。一部の実施形態では、トーンスケールカーブは、いかなるバックライトレベルにも依存せずに画像を明るくするか、あるいは画像を修正しうる。
次に、色および明るさが強調された上記画像は、画像の高域(HP)バージョンと統合されうる。一部の実施形態では、画像のHPバージョンは、原画像1130からLPバージョンを減算する(1134)ことによって生成され、これによって画像のHPバージョン1135が生じる。色および明るさが強調された画像と、画像のHPバージョン1135との統合(1137)によって、強調された画像1138が生成される。
これらの実施形態では、強調された画像1138にビット深度拡張(BDE)処理1139が行われうる。このBDE処理1139によって、ビット深度が限定的であるときに生じる可視アーチファクトが軽減されうる。一部の実施形態は、言及することによって本明細書に組み込まれる前述の特許出願に記載されているBDE処理を含みうる。
本発明の一部の実施形態について、図76を参照しながら説明する。これらの実施形態は、追加のビット深度拡張処理を含んでいることを除いて、図73を参照しながら説明した実施形態と同様である。
これらの実施形態では、原画像1130がフィルタモジュール1150に入力され、フィルタモジュール1150はLP画像1155を生成しうる。一部の実施形態では、フィルタモジュールはヒストグラム1151も生成しうる。LP画像1155は、色強調モジュール1156および減算処理1157に送られうる。LP画像1155は、減算処理1157において原画像1130から減算されて、HP画像1158が形成される。一部の実施形態では、HP画像1158にコアリング処理1159が行われて、HP画像1158から一部の高周波成分が除去される。このコアリング処理によってHP画像1160がコアリングされる。コアリングされたHP画像1160は、ゲインマップ1162によって処理されて(1161)、他の実施形態に対して前述した明るさ保持、強調、あるいはその他の処理が達成される。ゲインマッピング処理1161によって、HP画像1168がゲインマッピングされる。
LP画像1155は、色強調モジュール1156に送られ、色強調モジュール1156内において色検出機能、カラーマップ微調整機能、色領域処理機能、および他の機能によって処理されうる。一部の実施形態では、色強調モジュール1156は、肌色検出機能、肌色マップ微調整機能、肌色領域処理、および非肌色領域処理を含みうる。色強調モジュール1156の機能によって、画素の色値(例えば画素強度値)が修正され、色強調されたLP画像1169として記録されうる。
次に、色強調されたLP画像1169は、BPトーンスケールまたは強調トーンスケールモジュール1163内において処理されうる。色強調されたLP画像1169は、トーンスケール操作による処理のために、明るさ保持(BP)または明るさ強調トーンスケールモジュール1163によって受け取られうる。トーンスケール操作は、バックライト選択モジュール1154から受け取られたバックライト選択情報に依存しうる。トーンスケール操作によって明るさ保持が行われる場合、バックライト選択情報はトーンスケールカーブの決定に有用である。バックライト補正を行わずに明るさ強調のみが行われる場合、バックライト選択情報は不要である。トーンスケールモジュール1163内において行われるトーンスケール操作は、バックライト情報に関わらず、画像特性、アプリケーションの性能目標、および他のパラメータに依存性でありうる。
一部の実施形態では、画像ヒストグラム1151は、色強調モジュール1156およびトーンスケールモジュール1163がそれらの機能を行うための時間を確保するために遅延されうる(1152)。これらの実施形態では、バックライト選択1154に影響を与えるために、遅延されたヒストグラム1153が用いられうる。一部の実施形態では、バックライト選択1154に影響を与えるために、前のフレームからのヒストグラムが用いられうる。一部の実施形態では、バックライト選択1154に影響を与えるために、現在のフレームから戻された2つのフレームからのヒストグラムが用いられうる。バックライトの選択が行われると、トーンスケールモジュール1163によってバックライト選択データが用いられうる。
色強調されたLP画像1169がトーンスケールモジュール1163によって処理されると、色および明るさが強調されたLP画像1176が、ゲインマッピングされたHP画像1168と統合されうる(1164)。一部の実施形態では、この処理1164は加算処理でありうる。一部の実施形態では、この統合処理1164によって統合および強調された画像1167は、ビット深度拡張(BDE)処理1165によって処理されうる。このBDE処理1165によって、ビット深度が限定的であるときに生じる可視アーチファクトが軽減されうる。一部の実施形態は、参照によって本明細書に組み込まれる前述の特許出願に記載されているBDE処理を含みうる。
BDE処理1165後、強調された画像1177は、バックライト選択モジュール1154から受け取られたバックライト設定によって調節されたバックライト1166を用いて、ディスプレイに表示されうる。
本発明の一部の実施形態について、図77を参照しながら説明する。これらの実施形態では、画像1180が低域(LP)フィルタによってフィルタされて(1181)、LP画像1183が生成されうる。このLP画像1183は、原画像1180から減算される(1182)か、あるいは原画像1180と統合されて、高域(HP)画像1189が生成されうる。次に、LP画像は、色強調モジュール1184によって処理されうる。色強調モジュール1184では、LP画像に様々な処理が適用されうる。LP画像1183には、肌色検出処理1185が適用されうる。肌色検出処理1185は、LP画像1183の各画素の色の解析、および当該画素の色に基づいた肌色尤度値の割り当てを含みうる。この処理によって、肌色尤度マップが生じうる。一部の実施形態では、色が肌色である尤度を決定するために参照テーブル(LUT)が用いられうる。肌色尤度を決定するために、他の方法も用いられうる。一部の実施形態は、前述した肌色検出方法、および参照によって本明細書に組み込まれる他のアプリケーションにおいて説明した肌色検出方法を含みうる。
得られた肌色尤度マップは、肌色マップ微調整処理1186によって処理されうる。LP画像1183もこの微調整処理1186に入力されるか、あるいはこの微調整処理1186によってアクセスされうる。一部の実施形態では、この微調整処理1186は、画像誘導、非線形低域通過フィルタを含みうる。一部の実施形態では、微調整処理1186は、対応する画像の色値が隣り合う画素の色値との特定の色空間距離内にあるとき、および画像画素および隣り合う画素が特定の空間距離内にあるときに肌色マップ内の値に適用される、平均化処理を含みうる。次に、この処理によって修正または微調整された肌色マップは、LP画像内の肌色領域を識別するために用いられうる。肌色領域外の領域は、非肌色領域として識別されうる。
色強調モジュール1184では、肌色領域のみに色修正処理1187を適用することによって、LP画像1183が差別的に処理されうる。一部の実施形態では、非肌色領域のみに色修正処理1187が適用されうる。一部の実施形態では、肌色領域に第1の色修正処理が適用され、非肌色領域に第2の色修正処理が適用されうる。これらの各色修正処理によって、色修正または強調されたLP画像1188が生じる。
次に、強調された上記LP画像1188は、加算されるか、あるいはHP画像1189と統合されて(1190)、強調された画像1192が生成されうる。
本発明の一部の実施形態について、図78を参照しながら説明する。これらの実施形態では、画像1180が低域(LP)フィルタによってフィルタされて(1181)、LP画像1183が生成されうる。このLP画像1183は、原画像1180から減算される(1182)か、あるいは原画像1180と統合されて、高域(HP)画像1189が生成されうる。次に、LP画像は色強調モジュール1184によって処理されうる。色強調モジュール1184では、LP画像に様々な処理が適用されうる。LP画像1183には、肌色検出処理1185が適用されうる。肌色検出処理1185は、LP画像1183の各画素の色の解析、および当該画素の色に基づいた肌色尤度値の割り当てを含みうる。この処理によって、肌色尤度マップが生じうる。一部の実施形態では、色が肌色である尤度を決定するために参照テーブル(LUT)が用いられうる。肌色尤度を決定するために、他の方法も用いられうる。一部の実施形態は、前述した肌色検出方法、および参照によって本明細書に組み込まれる他のアプリケーションにおいて説明した肌色検出方法を含みうる。
得られた肌色尤度マップは、肌色マップ微調整処理1186によって処理されうる。LP画像1183もこの微調整処理1186に入力されるか、あるいはこの微調整処理1186によってアクセスされうる。一部の実施形態では、この微調整処理1186は、画像誘導、非線形低域通過フィルタを含みうる。一部の実施形態では、微調整処理1186は、対応する画像の色値が隣り合う画素の色値との特定の色空間距離内にあるとき、および画像画素および隣り合う画素が特定の空間距離内にあるときに肌色マップ内の値に適用される、平均化処理を含みうる。次に、この処理によって修正または微調整された肌色マップは、LP画像内の肌色領域を識別するために用いられうる。肌色領域外の領域は、非肌色領域として識別されうる。
色強調モジュール1184では、肌色領域のみに色修正処理1187を適用することによって、LP画像1183が差別的に処理されうる。一部の実施形態では、非肌色領域のみに色修正処理1187が適用されうる。一部の実施形態では、肌色領域に第1の色修正処理が適用され、非肌色領域に第2の色修正処理が適用されうる。これらの各色修正処理によって、色修正または強調されたLP画像1188が生じる。
次に、強調された上記LP画像1188は、HP画像1189に加算されるか、あるいはHP画像1189と統合されて、強調された画像が生成されうる。次に、強調された当該画像は、ビット深度拡張(BDE)処理1191によって処理されうる。BDE処理1191では、特別に設計された雑音パターンまたはディザーパターンが画像に適用されて、画像ビット深度を縮小する後に続く処理でのコンチュアリングアーチファクトへの感受性が軽減される。一部の実施形態は、参照によって本明細書に組み込まれる前述の特許出願に記載されているBDE処理を含みうる。次に、生じたBDE強調された画像1193が表示されるか、あるいはさらに処理されうる。BDE強調された画像1193は、言及することによって本明細書に組み込まれる上記出願において説明されているように、そのビット深度が縮小されたときにコンチュアリングアーチファクトを示す可能性が低い。
本発明の一部の実施形態は、ハードウェア実装の制限下における高品質バックライト調節および明るさ保持の実施の詳細を含んでいる。これらの実施形態について、図73および76に示されている実施形態を参照しながら説明する。
一部の実施形態は、図73および76のバックライト選択1154およびBPトーンスケール1163ブロック内に存在する要素を含んでいる。これら実施形態の一部によって、メモリ消費および実時間計算要求が減少しうる。
(ヒストグラム計算)
これらの実施形態では、輝度値ではなく画像コード値のヒストグラムが算出される。従って、色変換は不要である。一部の実施形態では、最初のアルゴリズムによって、画像の全てのサンプルのヒストグラムが算出されうる。これらの実施形態では、ヒストグラム計算は、画像の最後のサンプルが受け取られるまで完了させることはできない。全てのサンプルが取得されなければならず、また、ヒストグラムはバックライト選択および補正トーンカーブ設計前に完了させなければならない。
これらの実施形態は、いくつかの複雑な問題を有している。
・ヒストグラムが完了されるまで第1の画素を補正することができないため、フレームバッファが必要である−RAM。
・他の関数要素が結果を待ちながら膠着状態にあるため、ヒストグラムおよびバックライト選択の計算に利用できる時間がほとんどない−計算。
・全ての画像サンプルのヒストグラムを計算するために、多数の画像サンプルを処理しなければならない−計算。
・10ビットの画像データの場合、10ビットのヒストグラムがデータ保持のために必要とするメモリが比較的大きく、歪み最適化において多数のポイントが検査される−RAMおよび計算。
本発明の一部の実施形態は、これらの問題を克服する技術を含んでいる。フレームバッファの必要性を排除するために、バックライト選択アルゴリズムへの入力として、前のフレームのヒストグラムが用いられうる。フレームn+1、n+2、または後の別のフレームに対して、フレームnからのヒストグラムを入力として用いることによって、フレームバッファの必要性が排除される。
計算時間を確保するために、1つまたは1つ以上の追加のフレーム分、ヒストグラムが遅延され、フレームn+2、n+3等のバックライトの選択に対してフレームnからのヒストグラムが入力として用いられる。これによって、フレームnの最後から後のフレーム(例えばn+2)の始めまでのバックライト選択アルゴリズム時間を算出することができる。
一部の実施形態では、入力フレームに対して、バックライト選択におけるこのフレーム遅延への感受性を低減するために、バックライト選択アルゴリズムの出力への時間フィルタが用いられうる。
各ヒストグラムの計算において処理しなければならないサンプルの数を減らすために、一部の実施形態は、個々の画素ではなくブロックを用いうる。各色平面および各ブロックに対して、最大サンプルが計算される。ヒストグラムは、これらのブロック最大値に対して計算されうる。一部の実施形態では、各色平面の最大値が計算される。従って、Mブロックを含む画像は、ヒストグラムへの入力は3−Mである。
一部の実施形態では、小さいビット範囲(すなわち6ビット)に量子化された入力データのヒストグラムが計算されうる。これらの実施形態では、ヒストグラムを保持するために必要なRAMが小さくなる。また、歪みに関連する実施形態では、歪み探索に必要な操作も少なくなる。
典型的なヒストグラム計算の実施形態について、関数1としてコード形式で以下に説明する。
関数1
/***************************************************************************************/
//
ComputeHistogram
// Comutes histogram based on maximum on block
// block size and histogram bitdepth set in defines
// Relevant Globals
// gHistogramBlockSize
// gN_HistogramBins
// N_PIPELINE_CODEVALUES
/***************************************************************************************/
void ComputeHistogram(SHORT *pSource[NCOLORS],IMAGE_SIZE size,UINT32 *pHistogram)
{
SHORT cv;
SHORT bin;
SHORT r,c,k;
SHORT block;
SHORT cvMax;
SHORT BlockRowCount;
SHORT nHistogramBlocksWide;
nHistogramBlocksWide=size.width/gHistogramBlockSize;
/*Clear histogram */
for(bin=0;bin<gN_HistogramBins;bin++)
pHistogram[bin]=0;
// use max over block for histogram don't mix colors
// track max in each scan line of block and do max over scanlines
// initialize
BlockRowCount=0;
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
MaxBlockCodeValue[k][block]=0;
for(r=0;r<size.height;r++)
{
// single scan line
for(c=0;c<size.width;c++)
{
block=c/gHistogramBlockSize;
for(k=0;k<NCOLORS;k++)
{
cv=pSource[k][r*size.width+c];
if(cv>MaxBlockCodeValue[k][block])
MaxBlockCodeValue[k][block]=cv;
}
}
// Finished line of blocks?
if(r==(gHistogramBlockSize*(BlockRowCount+1)-1))
{
// update histogram and advance BlockRowCount
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
{
cvMax=MaxBlockCodeValue[k][block];
bin=(SHORT)((cvMax*(int)gN_HistogramBins+(N_パイプライン_CODEVALUES/2))/((SHORT)N_パイプライン_CODEVALUES));
pHistogram[bin]++;
}
BlockRowCount=BlockRowCount+1;
// reset maximums
for(k=0;k<NCOLORS;k++)
for(block=0;block<nHistogramBlocksWide;block++)
MaxBlockCodeValue[k][block]=0;
}
}
return;
}
(目標とするディスプレイモデルおよび実際のディスプレイモデル)
一部の実施形態では、歪みおよび補正アルゴリズムは、目標とするディスプレイおよび基準ディスプレイを説明するために用いられる、べき関数に依存する。このべき関数すなわち「ガンマ」は、整数表現でオフラインで算出されうる。一部の実施形態では、この実時間計算は、ガンマべき関数の事前計算された整数値を用いうる。関数2として以下に列挙されたサンプルコードは、典型的な一実施形態を説明する。
関数2
void InitPowerOfGamma(void)
{
int i;
//Init ROM table here
for(i=0;i<N_PIPELINE_CODEVALUES;i++)
{
PowerOfGamma[i]=pow(i/((double)N_パイプライン_CODEVALUES-1),GAMMA);
IntPowerOfGamma[i]=(UINT32)((1<<N_BITS_INT_GAMMA)*PowerOfGamma[i]+0.5);
}
return;
}
一部の実施形態では、目標とするディスプレイおよび実際のディスプレイの両方が、2つのパラメータGOG−Fモデルによってモデリングされうる。当該モデルは、歪みに基づくバックライト選択処理およびバックライト補正アルゴリズムを制御するために実時間で用いられる。一部の実施形態では、目標とする(基準)ディスプレイおよび実際のパネルの両方は、ガンマ値2.2に対して、付加的なオフセットを加えたべき法則でモデリングされうる。当該付加的なオフセットは、ディスプレイのコントラスト比を決定しうる。
(歪み重みの計算)
一部の実施形態では、各バックライトレベルおよび入力画像に対して、所望の出力画像と特定のバックライトレベルでの出力との間における歪みが計算されうる。結果は、各ヒストグラムビンおよび各バックライトレベルに対する重みである。必要なバックライトレベルの歪み重みを計算することによって、用いられるRAMのサイズを最小レベルまたは微細なレベルに保持される。これらの実施形態では、オンライン計算によって、基準ディスプレイまたは目標とするディスプレイの複数の異なる選択に上記アルゴリズムを適応させることができる。この計算は、画像ヒストグラムおよび1セットの歪み重みという2つの要素を含んでいる。別の実施形態では、全ての可能なバックライト値に対する歪み重みがオフラインで計算され、ROM内に記憶された。ROM要件を軽減するために、注目する各フレームのための各バックライトレベルに対して歪み重みを算出することができる。所望のディスプレイモデル、パネルディスプレイモデル、およびバックライトレベルのリストにおいて、これらバックライトレベルに対する歪み重みが各フレームに対して計算されうる。以下には、典型的な一実施形態におけるサンプルコードが関数3として示されている。
関数3
/****************************************************************************************
// void ComputeBackLightDistortionWeight
// computes distoriton needs large bitdepth
// comutes distortion weights for a list of selected backlight levels and panel parameters
// Relevant Globals
// MAX_BACKLIGHT_SEARCH
// N_BITS_INT_GAMMA
// N_PIPELINE_CODEVALUES
// IntPowerOfGamma
// gN_HistogramBins
***************************************************************************************/
void ComputeBackLightDistortionWeight(SHORT nBackLightsSearched,
SHORT BlackWeight,
SHORT WhiteWeight,
SHORT PanelCR,
SHORT TargetCR,
SHORT BackLightLevelReference,
SHORT BackLightLevelsSearched[MAX_BACKLIGHT_SEARCH])
{
SHORT b;
SHORT bin;
SHORT cvL,cvH;
__int64 X,Y,D,Dmax;
Dmax=(1<<30);
Dmax=Dmax*Dmax;
for(b=0;b<nBackLightsSearched;b++)
{
SHORT r,q;
r=N_PIPELINE_CODEVALUES/gN_HistogramBins;
// find low and high code values for each backlight searched
// PanelOutput=BackLightSearched*((1-PanelFlare)*y^Gamma+PanelFlare)
// TargetOutput=BackLightLevelReference*((1-TargetFlare)*x^Gamma+TargetFlare)
// for cvL, find x such that minimum paneloutput is achieved on targetoutput
// TargetOutput(cvL)=min(PanelOutput)=BackLightSearched*PanelFlare
// BackLightLevelReference*((1-TargetFlare)*cvL^Gamma+TargetFlare)=BackLightSearched/PanelCR
// BackLightLevelReference/TargetCR*((TargetCR-1)*cvL^Gamma+1)=BackLightSearched/PanelCR
// PanelCR*BackLightLevelReference*((TargetCR-1)*cvL^Gamma+1)=TargetCR*BackLightSearched
// PanelCR*BackLightLevelReference*((TargetCR-1)*IntPowerOfGamma[cvL]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearched*(1<<N_BITS_INT_GAMMA))
X=TargetCR;
X=X*BackLightLevelsSearched[b];
X=X*(1<<N_BITS_INT_GAMMA);
for(cvL=0;cvL<N_パイプライン_CODEVALUES;cvL++)
{
Y=IntPowerOfGamma[cvL];
Y=Y*(TargetCR-1);
Y=Y+(1<<N_BITS_INT_GAMMA);
Y=Y*BackLightLevelReference;
Y=Y*PanelCR;
if(X<=Y)
break;
}
// for cvH, find x such that maximum paneloutput is achieved on targetoutput
// TargetOutput(cvH)=max(PanelOutput)=BackLightSearched*1
// BackLightLevelReference*((1-TargetFlare)*cvH^Gamma+TargetFlare)=BackLightSearched
// BackLightLevelReference/TargetCR*((TargetCR-1)*cvH^Gamma+1)=BackLightSearched
// BackLightLevelReference((TargetCR-1)*cvH^Gamma+1)=TargetCR*BackLightSearched
// BackLightLevelReference((TargetCR-1)*IntPowerOfGamma[cvH]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearched*(1<<N_BITS_INT_GAMMA)
X=TargetCR;
X=X*BackLightLevelsSearched[b];
X=X*(1<<N_BITS_INT_GAMMA);
for(cvH=(N_パイプライン_CODEVALUES-1);cvH>=0;cvH--)
{
Y=IntPowerOfGamma[cvH];
Y=Y*(TargetCR-1);
Y=Y+(1<<N_BITS_INT_GAMMA);
Y=Y*BackLightLevelReference;
if(X>=Y)
break;
}
// build distortion weights
for(bin=0;bin<gN_HistogramBins;bin++)
{
SHORT k;
D=0;
for(q=0;q<r;q++)
{
k=r*bin+q;
if(k<=cvL)
D+=BlackWeight*(cvL - k)*(cvL - k);
else if(k>=cvH)
D+=WhiteWeight*(k-cvH)*(k-cvH);
}
if(D>Dmax)
D=Dmax;
gBackLightDistortionWeights[b][bin]=(UINT32)D;
}
}
return;
}
(バックライトのサブサンプリングされる探索)
一部の実施形態では、バックライト選択アルゴリズムは、目標とするディスプレイ出力と各バックライトレベルでのパネル出力との歪みを最小化する処理を含みうる。評価しなければならないバックライトレベルの数と、計算および記憶しなければならない歪み重みの数との両方を減らすために、探索においてバックライトレベルのサブセットが用いられうる。
一部の実施形態では、探索をサブサンプリングする2つの典型的な方法が用いられうる。第1の方法では、バックライトレベルの可能な範囲が、例えば4ビットに粗く量子化される。この量子化されたレベルのサブセットの最小歪みが探索される。一部の実施形態では、完全性のために絶対最小値および絶対最大値も用いられうる。第2の方法では、最後のフレームに対して発見されたバックライトレベル周辺の複数の値の範囲が用いられる。例えば、最後のフレームのバックライトレベルからの+−4、+−2、+−1、および+0が、絶対最小レベルおよび絶対最大レベルと共に探索される。後者の方法では、探索範囲の制限によって、選択されるバックライトレベルの変動に一部の制限が加えられる。一部の実施形態では、サブサンプリングを制御するためにシーンカット検出が用いられる。シーン内では、BL探索は、最後のフレームのバックライト周辺の小さな探索窓に集中する。シーンカット境界では、探索によって可能なBL値の範囲全体に少数のポイントが割り当てられる。同一シーン内の後のフレームは、別のシーンカットが検出されない限りは、前のフレームのBL周辺に探索を集中させる前の方法を用いる。
(単一BP補正カーブの計算)
一部の実施形態では、動作中にいくつかの異なるバックライトレベルが用いられうる。別の実施形態では、包括的なセットのバックライトレベルのための補正カーブがオフラインで計算されて、画像補正のためにROM内に実時間で記憶された。このメモリ必要量は、各フレーム内において必要とされる補正カーブは1つのみであることに留意することによって低減することができる。このようにして、補正トーンカーブが計算され、各フレームのRAM内に保存される。一部の実施形態では、補正カーブの設計はオフライン設計において用いられる。一部の実施形態は、前述したように最大忠実度(MFP)へ線形ブーストされた後に平滑なロールオフされるカーブを含みうる。
(時間フィルタ)
バックライト調節を行うシステムにおける懸念事項として、フリッカーがある。これは、画像処理補正技術を用いることによって軽減することができる。しかし、バックライトの変動が急速である場合には、補正にわずかな制限が加わり、これによってアーチファクトが生じうる。一部の状況では、黒点および白点がバックライトの後を追い、全ての場合において補正することができない。また一部の実施形態では、バックライト選択は、遅延されたフレームからのデータに基づきうるため、実際のフレームデータとは異なる場合がある。黒/白レベルフリッカーを調整し、バックライト計算においてヒストグラムを遅延させるために、バックライト制御ユニットに送られる実際のバックライト値および対応する補正を平滑化するために時間フィルタが用いられうる。
(明るさ変化の組み込み)
ユーザは、様々な理由により、ディスプレイの明るさの変更を望む。これをバックライト調節環境内においてどのように行うかという問題がある。従って、一部の実施形態は、バックライト調節成分および明るさ補正成分を変更させずに基準ディスプレイの明るさを操作しうる。関数4として記載されている下記のコードは、典型的な一実施形態を示している。本実施形態では、基準バックライト指標が、最大値、あるいは平均画像レベル(average picture level; APL)を用いてディスプレイの最大明るさが変更される場合には当該APLに応じた値のいずれかにセットされる。
関数4
/****************************************************************************************
if(gStoredMode)
{
BackLightIndexReference=N_BACKLIGHT_VALUES-1;
}
else
{
APL=ComputeAPL(pHistogram);
// temporal filter APL
if(firstFrame)
{
for(i=(APL_FILTER_LENGTH-1);i>=0;i--)
{
APL_History[i]=APL;
}
}
for(i=(APL_FILTER_LENGTH-1);i>=1;i--)
{
APL_History[i]=APL_History[i-1];
}
APL_History[0]=APL;
APL=0;
for(i=0;i<APL_FILTER_LENGTH;i++)
APL=APL+APL_History[i]*IntAplFilterTaps[i];
APL=(APL+(1<<(APL_FILTER_SHIFT-1)))>>APL_FILTER_SHIFT;
BackLightIndexReference=APL2BackLightIndex[APL];
}
(重み付き誤差ベクトルの実施形態)
本発明の一部の実施形態は、バックライトまたは光源光照明レベルを選択するために重み付き誤差ベクトルを用いる方法およびシステムを含んでいる。一部の実施形態では、複数の光源光照明レベルが選択され、これらの光源光照明レベルから、目標とする画像の照明が最終的に選択されうる。次に、各光源光照明レベルに対するディスプレイ出力を算出するために、パネルディスプレイモデルが用いられうる。一部の実施形態では、ディスプレイ出力レベルを決定するために、前述の実施形態に関連して説明した基準ディスプレイモデルまたは実際のディスプレイモデルが用いられうる。目標とする出力カーブも生成されうる。次に、パネル出力を目標とする出力カーブと比較することによって、各光源光照明レベルの誤差ベクトルが決定されうる。
目標とする画像に係る、画像のヒストグラム、または複数の画像値を列挙する同様の構成物も生成されうる。次に、特定の画像の誤差ベクトルに重みを付けるために、画像ヒストグラムまたは構成物内の各画像コード値に対応する値が用いられうる。一部の実施形態では、特定のコード値に対応するヒストグラムビン内のヒット数が、当該コード値の誤差ベクトル値によって乗算され、これによって重み付きの画像特異的な誤差ベクトル値が生成される。重み付き誤差ベクトルは、画像内の各コード値の誤差ベクトル値を含みうる。次に、この画像特異的かつ光源光照明レベル特異的な誤差ベクトルが、特定の画像に対する特定の光源光照明レベルの使用によって生じる誤差の表示として用いられうる。
各光源光照明レベルの誤差ベクトルデータの比較は、いずれの照明レベルを用いれば特定の画像誤差が最小となるのかを示しうる。一部の実施形態では、重み付き誤差ベクトルコード値の和は、重み付き画像誤差と称される場合がある。一部の実施形態では、特定の画像の最小誤差または最小重み付き画像誤差に対応する光源照明レベルが、当該画像を表示するために選択されうる。この処理は、ビデオシーケンス内において各ビデオフレームに対して行われ、各フレームに対して異なる動的光源光照明レベルが生じる。
本発明の一部の典型的な実施形態の形態について、図79に関連して説明する。図79は、目標とする出力カーブ2000およびいくつかのディスプレイ出力カーブ2002〜2008を示している。目標とする出力カーブ2000は、(水平軸上に示されている)画像コード値と(垂直軸上に示されている)ディスプレイ出力との間の所望の関係を示している。ディスプレイ出力カーブ2002〜2008は、25%〜100%の光源光照明レベルに対して示されている。25%のバックライトに対するディスプレイ出力カーブは2002で示されている。50%のバックライトに対するディスプレイ出力カーブは、2004で示されている。75%のバックライトに対するディスプレイ出力カーブは、2006で示されている。100%のバックライトに対するディスプレイ出力カーブは、2008で示されている。一部の実施形態では、ディスプレイ出力カーブ2002〜2008と目標とする出力カーブ2000との垂直方向における差は、その位置におけるコード値に対応する誤差値を示しうるか、あるいは、その位置におけるコード値に対応する誤差値に比例する。一部の実施形態では、1セットのコード値のこれら誤差値の累積が誤差ベクトルと称されている。
本発明の一部の典型的な実施形態の形態について、図80に関連して説明する。図80は、特定のディスプレイ光源照明レベルに対する誤差ベクトルのプロットを示している。この図の誤差ベクトルプロットは、図79の目標とするディスプレイ出力カーブおよびディスプレイ出力カーブ2000〜2008に対応している。25%のバックライトに対する誤差ベクトルプロットは、2016で示されている。50%のバックライトに対する誤差ベクトルプロットは、2014で示されている。75%のバックライトに対する誤差ベクトルプロットは、2012で示されている。100%のバックライトに対する誤差ベクトルプロットは、2010で示されている。図80に示されているこれらの典型的な実施形態では、二乗誤差値が用いられて全ての誤差値が正数となる。別の実施形態では、他の方法によって誤差値を決定することができ、また、場合によっては負の誤差値が存在しうる。
本発明の一部の実施形態では、画像特異的な誤差値を生成するために、誤差ベクトルが画像データと統合されうる。一部の実施形態では、ヒストグラム−重み付き誤差値を生成するために、画像ヒストグラムが1つ以上の誤差ベクトルと統合されうる。一部の実施形態では、特定のコード値に対するヒストグラムビン数は、そのコード値に対応する誤差値によって乗算され、これによってヒストグラム−重み付き誤差値が生成されうる。特定のバックライト照明レベルにおける画像に対する全てのヒストグラム−重み付きコード値の和は、ヒストグラム−重み付き誤差と称されうる。複数の各バックライト照明レベルに対してヒストグラム−重み付き誤差が決定されうる。バックライト照明レベルの選択は、そのバックライト照明レベルに対応するヒストグラム−重み付き誤差に基づいて行われうる。
本発明の一部の実施形態の形態について、図81に関連して説明する。図81は、様々なバックライト照明レベルに対するヒストグラム−重み付き誤差のプロットを含んでいる。第1の画像のヒストグラム−重み付き誤差プロット2020は、誤差の大きさが、照明レベル86%付近の最小値2021まで安定的に小さくなり、その後はバックライト値の増大に伴ってプロットが上昇している。この特定の画像では、照明レベルが約86%であるときに誤差が最小となる。第2の画像の別のプロット2022は、照明レベル95%付近の第2の最小値2023まで安定的に減少し、その後バックライト値の増大に伴って上昇している。この第2の画像では、照明レベルが約95%であるときに誤差が最小となる。このように、様々な光源光レベルまたはバックライト照明レベルに対してヒストグラム−重み付き誤差が一旦決定されると、特定の画像に対してバックライト照明レベルが選択されうる。
本発明の一部の実施形態の形態について、図82に関連して説明する。これらの実施形態では、画像2030がヒストグラム計算処理2031に入力され、ヒストグラム計算処理2031は画像ヒストグラム2032を生成する。ディスプレイパネルが解析されて、複数のバックライト照明レベルに対して誤差ベクトルデータ2033が決定される。次に、ヒストグラムデータ2032を重み付き誤差ベクトルデータ2033と統合することによって、重み付き誤差2035が生成されうる(2034)。一部の実施形態では、この統合は、或るコード値に対応する誤差ベクトル値を当該コード値に対応するヒストグラム数で乗算し、これによってヒストグラム−重み付き誤差ベクトル値を生成することによって行われうる(2034)。画像内の全コード値に対する全ヒストグラム−重み付き誤差ベクトル値の和は、ヒストグラム−重み付き誤差2035と称されうる。
各バックライト照明レベルに対する誤差ベクトルを適切なヒストグラム数の値と統合することによって、複数の各バックライト照明レベルに対するヒストグラム−重み付き誤差が決定されうる。この処理によって、複数のバックライト照明レベルのためのヒストグラム−重み付き誤差値を含む、ヒストグラム−重み付き誤差配列(histogram-weighed error array)が生じうる。次に、いずれのバックライト照明レベルが画像表示に最適であるかを決定するために、上記ヒストグラム−重み付き誤差配列内の値が解析されうる。一部の実施形態では、画像表示用に最小ヒストグラム−重み付き誤差2036に対応するバックライト照明レベルが選択されうる。一部の実施形態では、他のデータがバックライト照明レベルの決定に影響を及ぼしうる。例えば、一部の実施形態では、省電力目標が上記決定に影響を及ぼしうる。一部の実施形態では、最小ヒストグラム−重み付き誤差値に近いが他の基準も満たすバックライト照明レベルが選択されうる。バックライト照明レベル2037が選択されると、このレベルがディスプレイに信号送信されうる。
本発明の一部の実施形態の形態について、図83に関連して説明する。これらの実施形態では、特定の表示装置に対する目標とする出力カーブまたはディスプレイ特性が生成される(2040)。このカーブまたはそれに付随するデータは、ディスプレイの所望の出力を表す。様々なバックライトまたは光源光照明レベルに対するディスプレイ出力カーブも生成される(2041)。例えば、一部の実施形態では、ディスプレイ出力カーブは、10%または5%のバックライト照明レベルに対して0%から100%までインクリメントさせて生成されうる。
目標とする出力カーブおよびディスプレイまたはパネル出力カーブに基づいて、照明レベル特異的な誤差ベクトルが算出されうる(2042)。これらの誤差ベクトルは、目標とする出力カーブ値と、対応する画像コード値におけるディスプレイまたはパネル出力カーブ値との差を決定することによって算出されうる。誤差ベクトルは、画像の各コード値に対する誤差値、あるいは目標とするディスプレイのダイナミックレンジ内の各コード値を含みうる。誤差ベクトルは、複数の光源光照明レベルに対して算出されうる。例えば、誤差ベクトルは、ディスプレイに対して生成された各ディスプレイ出力カーブに対して算出されうる。画像表示中の「実時間」計算に用いられるために、あるいは他の計算に用いられるために、1セットの誤差ベクトルが予め算出されて記憶されうる。
光源光照明レベルを特定の画像または画像特性に調整するために、画像ヒストグラムが生成され(2043)、照明レベル選択処理において用いられうる。一部の実施形態では、特定の画像内に画像コード値が生じる周波数と識別するために、他のデータ構造が用いられうる。これら他の構造は、本明細書においてはヒストグラムと称されうる。
一部の実施形態では、ディスプレイ誤差を画像に関連付けるために、様々な光源光照明レベルに対応する誤差ベクトルがヒストグラム値によって重み付けされうる(2044)。これらの実施形態では、誤差ベクトル値は、対応するコード値に対するヒストグラム値によって乗算されるか、あるいは対応するコード値に対するヒストグラム値に関連付けられうる。言い換えると、特定の画像コード値に対応する誤差ベクトル値が、特定のコード値に対応するヒストグラムビン数の値によって乗算されうる。
重み付き誤差ベクトル値が決定されると、当該誤差ベクトルに対応する照明レベルに対するヒストグラム−重み付き誤差値を生成するために、特定の誤差ベクトルに対する全ての重み付き誤差ベクトル値が加算されうる(2045)。ヒストグラム−重み付き誤差値は、誤差ベクトルが算出された各照明レベルに対して算出されうる。
一部の実施形態では、セット特性を決定するために、ヒストグラム−重み付き誤差値のセットが検査されうる(2046)。一部の実施形態では、このセット特性は最小値でありうる。一部の実施形態では、このセット特性は他の制限内の最小値でありうる。一部の実施形態では、このセット特性は電力制限を満たす最小値でありうる。一部の実施形態では、線、カーブ、あるいはその他の構成物がヒストグラム−重み付き誤差値のセットに適応されて、既知の誤差値と誤差値とを補間するために用いられるか、あるいはヒストグラム−重み付き誤差値のセットを表すために用いられうる。光源光照明レベルは、ヒストグラム−重み付き誤差値およびセット特性あるいはその他の制限に基づいて選択されうる。一部の実施形態では、最小ヒストグラム−重み付き誤差値に対応する光源光照明レベルが選択されうる。
光源光照明レベルが選択されると、ディスプレイが、選択された当該照明レベルを用いて目標とする画像を表示できるように、上記選択がディスプレイ(2047)に信号送信されるか、あるいは表示時に画像と共に記録されうる。
(シーンカットに応答するディスプレイ光源信号フィルタ)
光源光調節は、動的コントラストを改善し、ディスプレイの電力消費を低減することができるが、表示輝度の厄介な変動を生じさせうる。前述したように、画像データを修正して光源光の変化を補償することができるが、この方法は、ダイナミックレンジの端部における光源光の変化を完全に補償することはできない。この厄介な変動は、光源光信号を時間的に低域フィルタして、大幅な光源光レベル変化および関連する変動を低減することによって低減することができる。この方法は、黒レベルの変動を制御するのに効果的であり、また、十分に長いフィルタを用いることによって黒レベルの変動を効果的に知覚不可能とすることができる。
しかし、ビデオシーケンスのいくつかのフレームに及びうる長いフィルタは、シーンの遷移において問題となりうる。例えば、暗いシーンから明るいシーンへのカットでは、低い黒レベルから高い明るさへ行くために光源光レベルの急速な上昇が必要となる。光源光またはバックライト信号の単純な時間フィルタリングは、ディスプレイの応答性を制限し、暗いシーンから明るいシーンへの遷移後に画像の明るさが厄介にも徐々に上昇する結果となる。この上昇を本質的に不可視にするほど長いフィルタを用いることによって、遷移後に明るさが低減する。
従って本発明の一部の実施形態は、シーンカット検出を含みうる。また、一部の実施形態は、ビデオシーケンス内のシーンカットの存在に応答するフィルタを含みうる。
本発明の一部の実施形態について、図84を参照しながら説明する。これらの実施形態では、画像2050または画像データがシーンカット検出器2051および/またはバッファ2052に入力される。一部の実施形態では、これらモジュール2051および2052のうちの1つまたは両方が、画像ヒストグラムを生成しうる。当該画像ヒストグラムは、他のモジュール2051および2052に送られうる。次に、画像2050および/または画像データが光源光レベル選択モジュール2053に送られうる。画像ヒストグラムにおいて、適切な光源光レベルが決定または選択されうる。この選択または決定は、前述したように様々な方法で実施しうる。次に、選択された光源光レベルが時間フィルタモジュール2054に信号送信される。シーンカット検出器モジュール2051は、現在のフレームに隣接するビデオシーケンス内、または現在のフレームにある程度近接するビデオシーケンス内にシーンカットが存在するかを決定するために、画像データまたは画像ヒストグラムを用いうる。シーンカットが検出された場合、その存在は、時間フィルタモジュール2054に信号送信されうる。時間フィルタモジュール2054は、光源光レベル信号のシーケンスがフィルタされるように、光源光信号バッファを含みうる。時間フィルタモジュール2054は、光源光信号をフィルタする複数のフィルタまたは1つ以上の可変フィルタも含んでいる。一部の実施形態では、時間フィルタモジュール2054は、無限インパルス応答(infinite impulse response; IIR)フィルタを含みうる。一部の実施形態では、IIRフィルタの係数は、複数の異なるフィルタ応答および出力を達成するために変動させることができる。
時間フィルタモジュール2054の1つ以上のフィルタは、シーンカット依存性であってよく、これによってシーンカット検出器2051からのシーンカット信号がフィルタの特性に影響を及ぼしうる。一部の実施形態では、現在のフレーム付近においてシーンカットが検出されたときにフィルタは完全に回避されうる。別の実施形態では、シーンカット検出に応答してフィルタ特性のみが変更されうる。別の実施形態では、現在のフレーム付近におけるシーンカット検出に応答して、複数の異なるフィルタが適用されうる。時間フィルタモジュール2054が必要なフィルタリングを行った後、光源光レベル信号が光源光操作モジュール2055に送信されうる。
本発明の一部の実施形態について、図85を参照しながら説明する。これらの実施形態では、シーンカット検出機能および関連する時間フィルタ機能が画像補正モジュールと統合されうる。一部の実施形態では、画像2060または画像データが、シーンカット検出器モジュール2061、バッファ2062、および/または画像補正モジュール2066に入力される。一部の実施形態では、これらモジュール2061および2062のうちの1つ以上は、画像ヒストグラムを生成しうる。当該画像ヒストグラムは、別のモジュール2061または2062に送られうる。次に、画像2060および/または画像データは、光源光レベル選択モジュール2063に送られ、光源光レベル選択モジュール2063において適切な光源光レベルが決定または選択されうる。この選択または決定は、前述したように様々な方法で実施しうる。次に、選択された光源光レベルは、時間フィルタモジュール2054に信号送信されうる。シーンカット検出器モジュール2061は、現在のフレームに隣接するビデオシーケンス内または現在のフレームにある程度近接するビデオシーケンス内にシーンカットが存在するかを決定するために、画像データまたは画像ヒストグラムを用いうる。シーンカットが検出された場合、その存在は、時間フィルタモジュール2064に信号送信されうる。時間フィルタモジュール2064は、光源光レベル信号のシーケンスがフィルタされるように、光源光信号バッファを含みうる。時間フィルタモジュール2064は、光源光信号をフィルタする複数のフィルタまたは1つ以上の可変フィルタも含んでいる。一部の実施形態では、時間フィルタモジュール2064は、無限インパルス応答(IIR)フィルタを含みうる。一部の実施形態では、IIRフィルタの係数は、複数の異なるフィルタ応答および出力を達成するために変動させることができる。
時間フィルタモジュール2064の1つ以上のフィルタは、シーンカット依存性であってよく、これによってシーンカット検出器2061からのシーンカット信号がフィルタの特性に影響を及ぼしうる。一部の実施形態では、現在のフレーム付近においてシーンカットが検出されたときにフィルタは完全に回避されうる。別の実施形態では、シーンカット検出に応答してフィルタ特性のみが変更されうる。別の実施形態では、現在のフレーム付近におけるシーンカット検出に応答して、複数の異なるフィルタが適用されうる。時間フィルタモジュール2064が必要なフィルタリングを行った後、光源光レベル信号が光源光操作モジュール2065および画像補正モジュール2066に送信されうる。画像補正モジュール2066は、画像2060に対する適切な補正アルゴリズムを決定するために光源光レベル信号を用いうる。この補正は、前述の様々な方法によって決定されうる。画像補正が決定されると、当該画像補正は画像2060に適用され、光源光操作モジュール2065に送られた光源光レベルを用いて修正画像2067が表示されうる。
本発明の一部の実施形態について、図86を参照しながら説明する。これらの実施形態では、入力画像2070が画像補正モジュール2081および画像処理モジュール2071に入力されうる。画像処理モジュール2071内では、これら実施形態の他の要素の機能を有効にするために、画像データが抽出され、ダウンサンプリングされ、あるいは他の処理が行われうる。一部の実施形態では、画像処理モジュール2071はヒストグラムを生成しる。当該ヒストグラムは、ヒストグラムバッファモジュール2073と、シーンカット検出器モジュール2084と、歪みモジュール2074と、時間フィルタモジュール2075とを含むバックライト選択モジュール(BL)2072に送られうる。
ヒストグラムバッファモジュール2073内では、画像フレームのシーケンスからのヒストグラムが比較および解析されうる。シーンカット検出器モジュール2084は、現在のフレーム付近におけるシーンカットの存在を決定するために、解析ヒストグラムも比較しうる。ヒストグラムデータは、歪みモジュール2074に送信されうる。歪みモジュール2074において、1つ以上の光源光またはバックライト照明レベルに対して歪み特性(2076)が計算されうる(2077)。歪み特性を最小化する(2078)ことによって、特定の光源光照明レベルが決定されうる。
次に、この選択された照明レベルが時間フィルタモジュール2075に送られうる。当該時間フィルタモジュールは、シーンカット検出器モジュール2084からシーンカット検出信号を受け取りうる。当該シーンカット検出信号に基づいて、時間フィルタ2079が光源光照明レベル信号に適用されうる。一部の実施形態では、現在のフレーム付近においてシーンカットが検出されたときにフィルタは適用されえない。別の実施形態では、シーンカットが存在しているときに適用されるフィルタは、シーンカットが付近にないときに適用されるフィルタとは異なる。
フィルタされた光源光照明レベル信号は、光源光操作モジュール2080および画像補正モジュール2081へ送られうる。当該画像補正モジュールは、光源光照明レベルのあらゆる変化を補償するための適切なトーンスケール修正カーブまたは別の修正アルゴリズムを決定するために、フィルタされた光源光照明レベルを用いうる。一部の実施形態では、この目的のためのために、トーンスケール修正カーブまたはガンマ補正カーブ2082が生成されうる。次に、修正画像2083を生成するために、上記修正カーブが入力画像2070に適用されうる。次に、修正画像2083が、光源光操作モジュール2080に送られた光源光照明レベルで表示されうる。
本発明の一部の実施形態について、図87を参照しながら説明する。これらの実施形態では、入力画像2090または入力画像2090から得られたデータが、空間低域通過フィルタ2096、バッファ/プロセッサ2092、シーンカット検出器モジュール2091、およびアナログ加算器2098に入力される。空間低域通過フィルタ2096は、低域画像2097を生成しうる。低域画像2097は、明るさ保持トーンスケール生成モジュール2101に送信されうる。低域画像2097は、入力画像2090と統合されて高域画像2099を形成するためにアナログ加算器2098にも送られうる。
シーンカット検出器モジュール2091は、シーンカットが現在のフレーム付近にあるかを決定するために、入力画像または当該入力画像からのデータ(例えばヒストグラム)、およびバッファ/プロセッサ2092内に記憶されたデータを用いうる。シーンカットが検出された場合、時間フィルタモジュール2094に信号が送られうる。入力画像2090または入力画像2090から得られたデータは、バッファ/プロセッサ2092に送られ、バッファ/プロセッサ2092において画像、画像データ、およびヒストグラムが記憶および比較されうる。このデータは、適切な光源光照明レベルの算出において考慮するために、光源光レベル選択モジュール2093に送られうる。光源光レベル選択モジュール2093によって算出されたレベルは、フィルタリングのために時間フィルタモジュール2094に送られうる。この処理のために用いられる典型的なフィルタについては、本明細書中において後に説明する。光源光レベル信号のフィルタリングは、現在のフレーム付近におけるシーンカットの存在に適応しうる。後述するように、時間フィルタモジュール2094は、シーンカットが付近にないときに、より積極的にフィルタしうる。
フィルタリング後、光源光レベルは、入力画像または当該入力画像に基づく修正画像の表示時に用いられるために、光源光操作モジュール2095に送られうる。時間フィルタモジュール2094の出力も明るさ保持トーンスケール生成モジュール2101に送られうる。次に、明るさ保持トーンスケール生成モジュール2101は、トーンスケール修正カーブを生成し、当該修正カーブを低域画像2097に適用する。次に、この修正された低域画像は、強調画像2102を形成するために高域画像2099と統合されうる(2100)。一部の実施形態では、高域画像2099は、修正された低域画像との統合前にゲインカーブで処理されうる。
本発明の一部の実施形態の形態について、図88を参照しながら説明する。これらの実施形態では、現在のフレームのための光源光照明レベルが決定される(2110)。現在のフレーム付近におけるシーンカットの存在も決定される(2111)。シーンカットが付近にある場合、現在のフレームの光源光照明レベル信号に第2の時間フィルタリング処理が適用される(2112)。シーンカットが現在のフレーム付近にない場合、現在のフレームの光源光照明レベル信号に第1の時間フィルタリング処理2113が適用される。フィルタリングが行われた後、上記光源光照明レベル信号はディスプレイに送られて、現在のフレームに対して照明レベルを指定する(2114)。一部の実施形態では、第2のフィルタリング処理2112は、シーンカットが付近にあるときには、単純にあらゆるフィルタリングを回避しうる。
本発明の一部の実施形態の形態について、図89を参照しながら説明する。これらの実施形態では、光源光レベル選択に関連するデータを決定するために、画像が解析される(2120)。この処理は、ヒストグラム生成および比較を含みうる。画像データに基づいて、適切な光源光レベルが選択される(2121)。次に、1つ以上の前のフレームからの画像データと現在のフレームからの画像データとの比較(2122)によって、シーンカットの存在が決定されうる。一部の実施形態では、この比較は、ヒストグラム比較を含みうる。シーンカットが存在しない場合(2123)、現在のフレームの光源光レベルに第1のフィルタリング処理が適用されうる(2125)。この処理は、前のフレームに用いられたレベルに基づいて、現在のフレームの光源光レベル値を調整しうる。シーンカットが検出された場合(2123)、光源光照明レベルに第2のフィルタリング処理2124が適用されうる。一部の実施形態では、この第2のフィルタリング処理は、第1のフィルタリング処理の省略、または積極性の低いフィルタリング処理の使用を含みうる。フィルタリング後、上記光源光照明レベルは、現在のフレームの表示に用いられるためにディスプレイに送られうる。
本発明の一部の実施形態の方法およびシステムについて、テストビデオシーケンスを用いた典型的なシナリオを参照しながら説明する。上記シーケンスは、白い物体が現れたり消えたりする黒い背景からなる。黒い値および白い値は両方とも、画像補正に関わらずバックライトに追随する。フレーム毎に選択されるバックライトは、黒いフレームでのゼロから、白を達成するために高い値へと進み、そしてゼロに戻る。図90には、光源光またはバックライトレベル対フレーム番号のプロットが示されている。生じる画像は、黒レベルの変動による影響を被る。ビデオシーケンスは、白い正方形が表れている黒い背景である。最初は、バックライトが低く黒いシーンが非常に暗い。白い正方形が表れると、バックライトが上昇して、低いグレーへの黒レベルの増加が顕著になる。正方形が消えると、バックライトが低下して背景が再び非常に暗くなる。この黒レベルの変動は妨害となりうる。この黒レベル変動を除去する方法は2つある。人工的に暗いシーン内の黒を上昇させるか、あるいはバックライトの変動を制御する方法である。黒レベルの上昇は好ましくないため、本発明の方法およびシステムは、バックライト変動が劇的または顕著にならないようにバックライト変動を制御する。
(時間フィルタリング)
これらの実施形態の解決法は、バックライト信号の変動を制御することによってこの黒レベルの変動を制御することである。人間の視覚系は、輝度の低周波数変動に非感受性である。例えば、太陽が昇っている間、空の明るさは絶えず変化しているが、この変化は感知できないほどゆっくりである。図91には、定量的測定が時間コントラスト感度関数(Contrast Sensitivity Function; CSF)で概略的に示されている。一部の実施形態では、この概念を用いて、黒レベルの変動を制限するフィルタを設計しうる。
一部の典型的な実施形態では、バックライト信号を「平滑化する」ために単極IIRフィルタが用いられうる。当該フィルタは、バックライト信号の履歴値に基づきうる。これらの実施形態は、その後の値が利用不可能であるときに良好に機能する。
IIRフィルタ
Figure 2009265678
ここで、BL(i)は画像内容に基づくバックライト値であり、S(i)は現在の値および履歴に基づいて平滑化されたバックライト値である。このフィルタは、極がαであるIIRフィルタである。このフィルタの伝達関数は、次式のように表されうる。
フィルタの伝達関数
Figure 2009265678
図92には、この関数のボード線図が示されている。この周波数応答図は、フィルタが低域通過フィルタであることを示している。
本発明の一部の実施形態では、フィルタは、現在のフレーム付近におけるシーンカットの存在に基づいて変動しうる。これら実施形態の一部では、極アルファに対して2つの値が用いられうる。これらの値は、シーンカット検出信号に応じて切り替えられうる。典型的な一実施形態では、シーンカットが検出されない場合の推奨値は1000/1024である。一部の典型的な実施形態では、1と1/2との間の値が推奨される。しかし、シーンカットが検出された場合、この値は128/1024と置き換えられうる。一部の実施形態では、この係数に対して1/2と0との間の値が用いられうる。これらの実施形態は、シーンカット全体に渡ってより限定的な量の平滑化を行う。そしてこれは、有用であることが分かっている。
図93のプロットは、2141におけるフレーム60と2143におけるフレーム120との間において黒い背景に白い領域が出現している図90に示されているシーケンスに対して、時間バックライトフィルタリングを採用した典型的なシステムの応答を示している。フィルタされていないバックライトは、白い領域の出現前におけるゼロ2140aから、白い領域が出現したときの安定した高い値2140bまで増加する。その後、フィルタされていないバックライトは、白い領域が消えたときに、2143におけるシーケンスから2140cにおいて再びゼロまで急激に低下する。これは、明るく白い領域を明るくする効果があるが、黒い背景を低いグレーまで増加させる副次効果もある。従って背景は、白い領域の出現および消失に伴って変動する。フィルタされたバックライト2142a、b、およびcは、バックライトの変動が感知できないように制限する。フィルタされたバックライトは、2141での白い領域の出現前におけるゼロ値2142aを始点として、経時的によりゆっくりと増加する(2142b)。白い領域が消えると、バックライト値は、制御された割合で低下が許容される(2142c)。フィルタされたシステムの白い領域は、フィルタされていないシステムよりもわずかにぼやけているが、背景の変動は極めて感知しにくい。
一部の実施形態では、時間フィルタの応答性が問題となりうる。これは、バックライトの応答性にそのような制限が行われないシステムの並列比較(side-by-side comparison)において特に顕著である。例えば、シーンカット全体をフィルタリングするとき、バックライトの応答は、黒レベルの変動を制御するために用いられるフィルタによって制限される。この問題は、図94に示されている。図94のプロットは、2150での黒から白への急激なカット後におけるシステムの出力をシミュレートしている。フィルタされていないシステム2151は、バックライトをゼロ2151aから上昇レベル2151bまで上昇させて明るい白を得ることによってすぐに応答する。フィルタされたシステムは、黒から白へのカット後にカーブ2152bに沿ってゼロ2152aからゆっくりと上昇する。フィルタされていないシステムでは、画像はすぐにグレー値に変化する。フィルタされたシステムでは、グレーは、バックライトがゆっくりと増加するのに伴ってゆっくりと白へ上昇する。従って、フィルタされたシステムの急速なシーン変化への応答性が低減される。
(シーンカット検出)
本発明の一部の実施形態は、シーンカット検出処理を含んでいる。シーンカットが検出されたとき、バックライトを迅速に応答させるために時間フィルタリングが修正されうる。シーン内では、黒レベルの変動を制御するために、バックライトの変動がフィルタリングによって限定される。シーンカットでは、ビデオ信号内のわずかなアーチファクトおよび変動は、人間の視覚系のマスク効果によって感知されない。
シーンカットは、現在のフレームが前のフレームと大幅に異なるときに存在する。シーンカットが生じないときには、連続する複数のフレーム間における差が小さい。シーンカット検出を助けるために、シーンカットとシーンカットとを差別化するために2つの画像間における差の測定を定義し、閾値を設定しうる。
一部の実施形態では、シーンカット検出方法は、ヒストグラム差の相関に基づきうる。具体的には、2つの連続または近接したフレームHおよびHのヒストグラムが算出されうる。2つの画像間の差は、ヒストグラム距離として定義しうる。
典型的なヒストグラム距離の測定基準
Figure 2009265678
ここで、iおよびjはビンインデックスであり、Nはビン数であり、H(i)はヒストグラムのi番目のビン値である。ヒストグラムは、ビン値の総和が1と等しくなるように正規化される。一般的に、各ビンの差が大きい場合は距離Dcorが大きい。aijは、ビンインデックス間の距離の二乗と等しい相関重み(correlation weight)である。これは、2つのビンが互いに近接している場合(例えばi番目のビンおよび(i+1)番目のビン)、これらビンの乗算の寄与は非常に小さいか、あるいは大きいことを示している。直感的に、純粋な黒色の画像および純粋な白色の画像では、2つの大きいビン差は第1のビンおよび最後のビンにある。これは、ビンインデックスの距離が大きく、ヒストグラムの最終的な距離が大きいからである。しかし、黒い画像へのわずかな輝度変化では、ビン差も大きいが、互いに近接しており(i番目のビンおよび(i+1)番目のビン)、従って最終的な距離は小さい。
シーンカットを分類するために、画像距離測定に加えて閾値を決定する必要がある。一部の実施形態では、この閾値は実験的に決定され、0.001に設定されうる。
一部の実施形態では、シーン内において、黒レベルの変動を制限するように上記において適応されたフィルタリングが用いられうる。これらの実施形態は、シーンカットに応答しない固定フィルタシステムのみを採用している。黒レベルの可視変動は生じないが、応答は制限される。
一部の実施形態では、シーンカットが検出されたとき、フィルタは、より迅速に応答するフィルタに切り替えられうる。これによって、バックライトが、黒から白へのカット後に急速に上昇するが、フィルタされていない信号ほどは劇的に上昇しない。図95に示されているように、フィルタされていない信号はゼロから最大値2161まで急激に変化し、白い領域が現れた(2160)後も最大値に留まる。シーン内において用いられるより積極的なフィルタ2163は、シーンカット遷移に対して過度にゆっくりと遷移するが、シーンカット位置において用いられる修正フィルタ2162によって、急速に上昇した後に最大値に向かって漸次的な上昇することができる。
シーンカット検出、および黒レベルの変動を感知不可能にするように設計された適応型時間フィルタリングを含む本発明の実施形態は、シーン内に積極的に適用することができる一方、大きな明るさ変化を伴うバックライトのシーンカットへの応答性を、適応型フィルタへの変更によって保持する。
(低複雑性Y−ゲインの実施形態)
本発明の一部の実施形態は、複雑性が低いシステム内において機能するように設計される。これらの実施形態では、光源光またはバックライトレベル選択は、輝度ヒストグラムおよび当該ヒストグラムに基づく歪み測定基準の最小化に基づきうる。一部の実施形態では、補正アルゴリズムはY−ゲイン特性を用いうる。一部の実施形態では、画像補正は、Y−ゲイン処理を制御するためのパラメータの操作を含みうる。一部の状況では、Y−ゲイン処理は、光源光の低減およびグレースケール画像を完全に補償しうるが、飽和画像上の色を非飽和にする。一部の実施形態は、過度の非飽和を防ぐためにY−ゲイン特性を制御しうる。一部の実施形態は、非飽和を制御するためにY−ゲイン強度パラメータを採用しうる。一部の実施形態では、25%のY−ゲイン強度が効果的であることを証明されている。
本発明の一部の実施形態について、図96を参照しながら説明する。これらの実施形態では、様々なバックライト照明レベルに対する歪み重み2174が算出され、オンライン処理中のアクセスのために(例えばROM内に)記憶されうる。一部の実施形態では、他のフィルタ特性またはパラメータのフィルタ係数2175が、処理中の選択のために(例えばROM内に)記憶されうる。
これらの実施形態では、入力画像2170がヒストグラム計算処理2171に入力され、ヒストグラム計算処理2171は画像ヒストグラムを算出し、画像ヒストグラムはヒストグラムバッファ2172内に記憶されうる。一部の実施形態では、現在のフレームのバックライトレベルを決定するために、前のフレームのヒストグラムが用いられうる。一部の実施形態では、歪みモジュール2176は、様々なバックライト照明レベルに対する歪み特性2177を決定するために、ヒストグラムバッファ2172からのヒストグラム値2173および歪み重み2174を用いうる。次に、歪みモジュール2176は、算出された歪みを低減または最小化する(2178)バックライト照明レベルを選択する。一部の実施形態では、歪み値を決定するために式54が用いられうる。
典型的な歪み測定基準
Figure 2009265678
ここで、BLはバックライト照明レベルを表し、Weightはバックライト照明レベルおよびヒストグラムビンに関連する歪み重み値であり、Hはヒストグラムビン値である。
バックライト照明レベルの選択後、フィルタモジュール2179内の時間フィルタ2180によってバックライト信号がフィルタされうる。フィルタモジュール2179は、事前に決定および記憶されたフィルタ係数または特性2175を用いうる。フィルタリングが行われた後、フィルタされた最終的なバックライト信号が、ディスプレイまたはディスプレイバックライト制御モジュール2181に送られうる。
上記フィルタされた最終的なバックライト信号は、Y−ゲイン設計モジュール2183にも送られ、ここで画像補正処理2186の決定のために用いられうる。一部の実施形態では、この補正処理は、画像の輝度チャンネルへのトーンスケールカーブの適用を含みうる。このY−ゲイントーンスケールカーブ2184は、1つ以上のポイントによって特定されうる。これらポイント間において補間が行われうる。一部の実施形態では、Y−ゲイントーンスケール処理は、それより上側においてロールオフカーブが用いられうる最大忠実度(MFP)を含みうる。これらの実施形態では、1つ以上の線形セグメントがMFPより下側のトーンスケールカーブを定義し、丸めカーブ関係がMFPより下側のカーブを定義しうる。一部の実施形態では、丸めカーブ部分は式55によって定義されうる。
丸めカーブのための典型的な傾き定義
Figure 2009265678
これらの実施形態は、輝度チャンネルのみにおいて画像補正を行い、グレースケール画像に対して完全な補正を提供するが、この処理によってカラー画像が非飽和になりうる。カラー画像の過度の非飽和を防ぐために、一部の実施形態は、強度制御モジュール2182内において決定されうる補正強度因子を含みうる。Y−ゲイン設計モジュール2183は輝度データのみに機能するため、色特性は未知であり、強度制御モジュールは実際の色飽和レベルの知識なしに動作しなければならない。一部の実施形態では、強度因子またはパラメータを、式55に示されているようにトーンスケールカーブ定義と一体化することができる。
トーンスケールカーブのための典型的な傾き定義
Figure 2009265678
ここで、Sは強度因子であり、BLはバックライト照明レベルであり、γはディスプレイガンマ値である。典型的なトーンスケールカーブは図97に示されている。
(効果的な計算の実施形態)
本発明の一部の実施形態では、バックライトまたは光源光の選択は、理想的なディスプレイと有限コントラスト比ディスプレイ(例えばLCD)との間の誤差の最小化に基づきうる。理想的なディスプレイおよび有限CRディスプレイは、モデル化される。理想的なディスプレイと有限CRディスプレイとの間の各グレーレベルにおける誤差は、各バックライト値に対する誤差ベクトルを定義する。画像の歪みは、各バックライトレベルにおける誤差ベクトルによって画像ヒストグラムを重み付けすることによって定義される。
一部の実施形態では、べき関数、ガンマ、さらに付加的な項を用いて、式56に表されている有限CR LCD内のフレアを考慮することによってディスプレイがモデリングされうる。これは、ディスプレイのコントラスト比CRを用いて表されるオフセットゼロ有するガンマオフセットゲインフレアモデルである。
ディスプレイモデル
Figure 2009265678
ディスプレイモデルは、図98にプロットされている。理想的なディスプレイ2200と、25%のバックライト2201および75%のバックライト2202の有限CRディスプレイとが示されている。
有限CR LCDの最大値および最小値は、理想的なディスプレイの上限xmaxおよび下限xminを定義する。これらの値は、画像補正によって達成することができる。これらの制限は、バックライトbl、ガンマγ、およびコントラスト比CRに依存する。モデルによって定義されるこれらクリッピング制限は、式57に集約される。
モデルクリッピング制限
Figure 2009265678
一部の実施形態では、各バックライトレベルに対する誤差ベクトルを定義するために最大および最小制限が用いられうる。以下に示されている典型的な誤差は、クリッピングによって生じる二乗誤差に基づいている。誤差ベクトルの成分は、理想的なディスプレイ出力と特定のバックライトレベルにある有限コントラスト比ディスプレイでの最も近い出力との間における誤差である。これらは、代数的に式58に定義される。
ディスプレイ誤差ベクトル
Figure 2009265678
サンプル誤差ベクトルは、図99にプロットされている。100%のバックライト3010は、理想的なディスプレイと比較して上昇した黒レベルによって生じる誤差を低いコード値において有していることに留意されたい。これらは、バックライトレベルおよびコード値のみに依存する画像データに依存しない。
一部の実施形態では、バックライト調節および画像補正を有する有限CR LCDの性能は、上記において定義されているように、各バックライトに対する誤差ベクトルのセットによって集約されうる。各バックライト値における画像の歪みは、式59のように、画像画素値の歪みの和として表されうる。図示されているように、これらの実施形態では、これは画像ヒストグラムから計算することができる。画像歪みは、blに対する誤差ベクトルを画像ヒストグラムによって重み付けすることによって、各バックライトBLに対して算出されうる。この結果は、各バックライトレベルにおける画像歪みの測度である。
画像歪み対バックライト
Figure 2009265678
TV電力測定のための最近のIEC規格から3つのフレームを用いて、典型的な一実施形態を示す。画像ヒストグラムは、図100に示されている。図100の画像ヒストグラムの歪み対バックライトカーブおよび図99のディスプレイ誤差ベクトルは、図101に示されている。
一部の実施形態では、理想的なディスプレイと有限CRディスプレイとの間の画像の歪みを最小化することによって、バックライト選択アルゴリズムが機能しうる。
本発明の一部の実施形態は、ディスプレイのコントラスト比と複数の異なる誤差測定基準を有する能力との両方を含む、歪みのフレームワークを含んでいる。一部の実施形態は、バックライト選択処理の全部または一部において、クリッピングされる画素数を最小限にすることによって機能しうる。図102は、典型的な誤差二乗和(Sum of Squared Error; SSE)歪みと、IEC試験セットの一フレーム上においてクリッピングされる画素数(クリッピングされる数)とを比較する。SSEは、クリッピングされる画素数に加えて誤差の大きさを計上し、画像ハイライトを保持する。この画像では、SSE最小値は、クリッピングされる画素数の最小値よりも遥かに高いバックライトにおいて生じる。この差は、クリッピングされる画素数に加えてクリッピングエラーの大きさを計上するSSEに起因して生じる。クリッピングされる画素数を表すカーブは平滑ではなく、多くの極小値を有している。SSEカーブは、平滑であり、その極小値は、最小効果SSEをサブサンプルサーチする、全体の最小値である。
この歪みのフレームワークを用いた計算は、最初の印象ほど困難ではない。一部の実施形態では、バックライト選択はフレーム毎に一回行われ、画素レートでは行われない。前述したように、ディスプレイ誤差重みは、ディスプレイパラメータおよびバックライトのみに依存し、画像内容には依存しない。従って、ディスプレイモデリングおよび誤差ベクトル計算は、必要に応じてオフラインで行うことができる。オンライン計算は、ヒストグラム計算、画像ヒストグラムによる誤差ベクトルの重みを付け、および最小歪みの選択を含みうる。一部の実施形態では、歪み最小化に用いられるバックライト値のセットは、サブサンプリング可能であり、また歪み最小値を効果的に配置することができる。典型的な一実施形態では、17のバックライトレベルが試験される。
本発明の一部の実施形態では、ディスプレイモデリング、誤差ベクトル計算、ヒストグラム計算、画像ヒストグラムによる誤差ベクトルの重みを付け、最小歪みのためのバックライト選択は、オンラインで行われうる。一部の実施形態では、ディスプレイモデリングおよび誤差ベクトル計算は、実際の画像処理前にオフラインで行うこともでき、ヒストグラム計算、画像ヒストグラムによる誤差ベクトルの重みを付け、および最小歪みのためのバックライト選択は、オンラインで行われる。一部の実施形態では、各バックライトレベルのためのクリッピングポイントがオフラインで算出されうる。一方、誤差ベクトル計算、ヒストグラム計算、画像ヒストグラムによる誤差ベクトルの重みを付け、および最小歪みのためのバックライト選択は、オンラインで行われる。
本発明の一部の実施形態では、画像のためのレベルを選択する時のことを考慮して、光源光照明レベルの全範囲のサブセットが選択されうる。一部の実施形態では、このサブセットは、レベルの全範囲の量子化によって選択されうる。これらの実施形態では、サブセット内のレベルのみが選択時に考慮される。一部の実施形態では、照明レベルの上記サブセットのサイズは、メモリ制限または他のリソース制限によって決定され得る。
一部の実施形態では、この光源光照明レベルのサブセットは、選択が行われるサブセットを、前のフレームに対して選択されたレベルに関連する範囲に制限することによって、処理中にさらに制限されうる。一部の実施形態では、制限される上記サブセットは、最後のフレームに対して選択されたレベルの特定の範囲内の値に制限されうる。例えば、一部の実施形態では、光源光照明レベルの選択は、前に選択されたレベルのいずれかの側における7つの値の制限された範囲に制限されうる。
本発明の一部の実施形態では、光源光照明レベルの範囲の制限はシーンカット検出に依存しうる。一部の実施形態では、光源光照明レベル探索アルゴリズムは、現在のフレーム付近にシーンカットが検出されない場合に、複数のレベルのサブセット内から制限範囲を探索しうる。上記アルゴリズムは、シーンカットが検出された場合には、複数の照明レベルのサブセット全体を探索しうる。
本発明の一部の実施形態について、図103を参照しながら説明する。これらの実施形態では、当初の入力画像フレーム2250からの画像データが、シーンカット検出モジュール2251に入力されて、現在の入力フレーム2250付近にシーンカットがあるかが決定される。現在のフレームに隣接するフレームに関連する画像データも、シーンカット検出モジュール2251に入力される。一部の実施形態では、この画像データはヒストグラムデータを含みうる。次に、上記シーンカット検出モジュールは上記画像データを処理して、シーンカットが現在のフレーム付近にあるかを決定する。一部の実施形態では、シーンカットは、前のフレームのヒストグラムと現在のフレームのヒストグラムとが閾値量において異なるときに検出されうる。次に、シーンカット検出処理の結果が歪みモジュール2252に入力される。歪みモジュール2252において、いずれの光源光照明値が光源光照明レベル選択処理において考慮されるのかを決定するために、シーンカットの存在が用いられうる。一部の実施形態では、シーンカットが付近にあるときには、より広い範囲の照明レベルが考慮されうる。一部の実施形態では、選択処理において、最後の画像フレームに対して選択されるレベルに関連する照明レベルの制限されたサブセットが用いられうる。このように、シーンカット検出処理は、光源光照明処理において考慮される値の範囲に影響を及ぼす。一部の実施形態では、シーンカットが検出されたとき、現在のフレームに対する選択処理において、より大きい範囲の照明レベルが考慮される。一部の実施形態では、シーンカットが検出されたとき、前のフレームに対して選択されたレベルに関連しない照明レベルの範囲が、現在のフレームに対する選択処理において用いられる。シーンカットが検出されないときは、前のフレームに対して選択されたレベル周辺にまとめられる照明レベルの範囲が選択処理に用いられる。
候補となる照明レベル範囲またはサブセットが、シーンカットの存在を参照して決定されると、候補となる各照明レベルに対する歪み値が決定されうる(2253)。次に、最小歪み値または他の基準に基づいて、照明レベルのうちの1つが選択されうる(2254)。次に、選択された照明レベルが、現在のフレームの表示に使用するために光源光またはバックライト制御モジュール2255に伝達される。選択された照明レベルは、トーンスケールカーブまたは同様の補正手段の計算のために、画像補正処理2256への入力としても用いられうる。次に、上記処理によって生じた補正または強調された画像2257が表示されうる。
本発明の一部の実施形態について、図104を参照しながら説明する。これらの実施形態では、現在のフレーム付近におけるシーンカット2261の存在を決定するために、画像または画像シーケンスが解析される(2260)。シーンカットが検出された場合(2263)は、光源光照明レベル選択処理において、より大きいセットの光源光照明レベルが考慮されうる。このより大きいセットは、シーンカットが検出されないときに用いられうるサブセットとのサイズにおける比較である。一部の実施形態では、このより大きいセットは、前のフレームに対して用いられた値には関連していない。シーンカットが検出されない場合(2262)、選択処理において照明レベルの制限されたサブセットが用いられうる。一部の実施形態では、この制限されたサブセットは、前のフレームに対して用いられた値に関連しうる。例えば、一部の実施形態では、この制限されたサブセットは、前のフレームに対して用いられた値周辺にまとめられるサブセットでありうる。照明レベル範囲への制限が決定されると、適切な範囲またはサブセットから光源光照明レベルが選択されうる(2264)。
(マッピングモジュールの実施形態)
本発明の一部の実施形態は、1つ以上の画像特性をディスプレイモデル属性に関連付けるマッピングモジュールを含みうる。一部の実施形態では、これらの画像特性のうちの1つは、画像の平均画素レベル(Average Pixel Level; APL)でありうる。これは、画像ファイルから、画像ヒストグラムから、あるいは他の画像データから、直接決定されうる。一部の実施形態では、上記マッピングモジュールは、画像のAPLを、ディスプレイモデルスケーリング因子へ、ディスプレイモデル最大出力値へ、特定のディスプレイモデルへ、あるいは他のディスプレイモデル属性へマッピングしうる。一部の実施形態では、ディスプレイモデル属性を決定するために、APLまたは別の画像特性に加えて他の入力が用いられうる。例えば、一部の実施形態では、周辺光レベル、ユーザ明るさ選択、またはユーザが選択できるマップ選択も、上記マッピングモジュールによって選択されるディスプレイモデル属性に影響を及ぼしうる。
本発明の一部の実施形態について、図105を参照しながら説明する。これらの実施形態では、画像2270または画像データがマッピングモジュール2271に入力されうる。上記マッピングモジュールは、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける、1つ以上のマップまたは相関構成(correlation construct)を含みうる。一部の実施形態では、マッピングモジュール2271は、画像のAPLを、理想的なディスプレイの最大出力値に関連する理想的なディスプレイの最大出力値またはスケーリング係数に関連付けうる。例えば、マッピングモジュール2271は、画像のAPL値または別の画像特性を、式56に記載されている理想的なディスプレイモデルの出力に適用されうるスケーリング係数に関連付けうる。
このディスプレイモデル属性が決定されると、他のディスプレイモデルパラメータがディスプレイモデリングモジュール2272内に構築されうる。ディスプレイモデリングモジュール2272は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されたときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。次に、性能測定基準または歪みモジュール2273は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。一部の実施形態では、性能測定基準または歪みモジュール2273は、性能測定基準の決定において用いるために画像データ(例えば画像ヒストグラム)も受け取りうる。一部の実施形態では、歪みモジュール2273は、特定の光源光照明レベルに対する歪み値を決定するために、画像ヒストグラムデータを、モデリングモジュール2272において決定された重み付け値と統合しうる。
次に、光源光レベル選択モジュール2274が、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる。次に、選択された当該光源光照明レベルは、画像が光源光照明レベルのいかなる変化に対しても補正されうるように、画像補正モジュール2275に伝達されうる。上記照明レベルは、ディスプレイ光源光制御モジュール2276にも送られうる。次に、画像補正処理2275によって補正された画像がディスプレイ2277に送られ、ここで、その画像のために選択された光源光照明レベルを用いて表示されうる。
本発明の一部の実施形態について、図106を参照しながら説明する。これらの実施形態では、画像2280または画像データがマッピングモジュール2281に入力されうる。上記マッピングモジュールは、図105に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、手動マップ選択モジュール2288もマップ選択に影響を及ぼしうる。複数のマップまたは相関が定義されるとき、ユーザは、手動マップ選択モジュール2288によって好ましいマップを選択しうる。この選択されたマップは、デフォルトマップとは異なる相関、あるいは自動的に選択される相関に影響を及ぼしうる。一部の実施形態では、マップは、特定の視認状態(例えば、店頭での表示、低い周辺光、または高い周辺光)、あるいは特定の視認内容(例えば、テレビの視聴、映画の視聴、またはゲームプレー)のために記憶および設計されうる。マップまたは相関が選択されると、マッピングモジュール2281は、画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデリングモジュール2282に送りうる。
このディスプレイモデル属性が決定されると、他のディスプレイモデルパラメータがディスプレイモデリングモジュール2282内に構築されうる。ディスプレイモデリングモジュール2282は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。次に、性能測定基準または歪みモジュール2283は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。一部の実施形態では、性能測定基準または歪みモジュール2283は、性能測定基準の決定において用いるために画像データ(例えば画像ヒストグラム)を受け取りうる。一部の実施形態では、歪みモジュール2283は、特定の光源光照明レベルに対する歪み値を決定するために、画像ヒストグラムデータを、モデリングモジュール2282において決定された重み付け値と統合しうる。
次に、光源光レベル選択モジュール2284が、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる。次に、選択された当該光源光照明レベルは、画像が光源光照明レベルのいかなる変化に対しても補正されうるように、画像補正モジュール2285に伝達されうる。上記照明レベルは、ディスプレイ光源光制御モジュール2286にも送られうる。次に、画像補正処理2285によって補正された画像はディスプレイ2287に送られ、その画像のために選択された光源光照明レベルを用いて表示されうる。
本発明の一部の実施形態について、図107を参照しながら説明する。これらの実施形態では、マッピングモジュール2291に画像2290または画像データが入力されうる。上記マッピングモジュールは、図105に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、周辺光モジュール2298もマップ選択に影響を及ぼしうる。周辺光モジュール2298は、周辺光状態(例えば、周辺光の強度、周辺光の色、または周辺光特性の変動)を決定するための1つ以上のセンサを含みうる。この周辺光データは、マッピングモジュール2291に送信されうる。
複数のマップまたは相関が定義されるとき、マッピングモジュールは、周辺光モジュール2298から受け取られたデータに基づいてマップを選択しうる。この選択されたマップは、デフォルトマップとは異なる相関、あるいは自動的に選択される相関に影響を及ぼしうる。一部の実施形態では、マップは、特定の視認状態(例えば、低い周辺光、高い周辺光、または様々な周辺光パターン)に合わせて記憶および設計されうる。マップまたは相関が選択されると、マッピングモジュール2291は、画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデリングモジュール2292に送りうる。
このディスプレイモデル属性が決定されると、ディスプレイモデリングモジュール2292内に他のディスプレイモデルパラメータが構築されうる。ディスプレイモデリングモジュール2292は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。性能測定基準または歪みモジュール2293は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。一部の実施形態では、性能測定基準または歪みモジュール2293はまた、性能測定基準の決定に用いるために画像データ(例えば画像ヒストグラム)を受け取りうる。一部の実施形態では、歪みモジュール2293は、特定の光源光照明レベルに対する歪み値を決定するために、画像ヒストグラムデータを、モデリングモジュール2292において決定された重み付け値と統合しうる。
次に、光源光レベル選択モジュール2294が、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる。次に、選択された当該光源光照明レベルは、画像が光源光照明レベルのいかなる変化に対しても補正されうるように、画像補正モジュール2295に伝達されうる。上記照明レベルは、ディスプレイ光源光制御モジュール2296にも送られうる。次に、画像補正処理2295によって補正された画像はディスプレイ2297に送られ、その画像のために選択された光源光照明レベルを用いて表示されうる。
本発明の一部の実施形態について、図108を参照しながら説明する。これらの実施形態では、画像2300または画像データがマッピングモジュール2301に入力されうる。上記マッピングモジュールは、図105に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、ユーザ明るさ選択モジュール2308もマップ選択に影響を及ぼしうる。ユーザ明るさ選択モジュール2308は、ディスプレイの明るさを指定するユーザ入力を受け入れ、また、ユーザインターフェースまたはユーザ選択を受け入れる他の手段を含みうる。一部の実施形態では、ユーザ明るさ選択入力は、マッピングモジュール2301に送られ、ここで、マップを選択または修正するため、あるいはマップからの出力を修正するために用いられうる。次に、この修正された出力は、モデリングモジュール2302に送られうる。別の実施形態では、ユーザ明るさ選択入力は、モデリングモジュール2302に直接送られ、ここで、マッピングモジュール2301から受け取られたデータを修正するために用いられうる。
ユーザ明るさ入力に準拠するディスプレイモデル属性が決定されると、ディスプレイモデリングモジュール2302内に他のディスプレイモデルパラメータが構築されうる。ディスプレイモデリングモジュール2302は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。性能測定基準または歪みモジュール2303は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。一部の実施形態では、性能測定基準または歪みモジュール2303はまた、性能測定基準の決定に用いるために画像データ(例えば画像ヒストグラム)を受け取りうる。一部の実施形態では、歪みモジュール2303は、特定の光源光照明レベルに対する歪み値を決定するために、画像ヒストグラムデータを、モデリングモジュール2302において決定された重み付け値と統合しうる。
次に、光源光レベル選択モジュール2304は、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる。次に、選択された当該光源光照明レベルは、画像が光源光照明レベルのいかなる変化に対しても補正されうるように、画像補正モジュール2305に伝達される。上記照明レベルは、ディスプレイ光源光制御モジュール2306にも送られうる。次に、画像補正処理2305によって補正された画像はディスプレイ2307に送られ、その画像のために選択された光源光照明レベルを用いて表示されうる。
本発明の一部の実施形態について、図109を参照しながら説明する。これらの実施形態では、画像2310または画像データがマッピングモジュール2311に入力されうる。上記マッピングモジュールは、図105に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、ユーザ明るさ選択モジュール2318もマップ選択に影響を及ぼしうる。ユーザ明るさ選択モジュール2308は、好ましいディスプレイの明るさを指定するユーザ入力を受け入れ、また、ユーザインターフェースまたはユーザ選択を受け入れる他の手段を含みうる。一部の実施形態では、ユーザ明るさ選択入力はマッピングモジュール2311に送られ、ここで、マップを選択または修正するため、あるいはマップからの出力を修正するために用いられうる。次に、この修正された出力は、モデリングモジュール2312に送られうる。別の実施形態では、ユーザ明るさ選択入力は、モデリングモジュール2312に直接送られ、ここで、マッピングモジュール2311から受け取られたデータを修正するために用いられうる。これらの実施形態では、ユーザ明るさ選択またはユーザ明るさ選択が行われたインジケータが、時間フィルタモジュール2318に送られうる。
ユーザ明るさ入力に準拠するディスプレイモデル属性が決定されると、ディスプレイモデリングモジュール2312内に他のディスプレイモデルパラメータが構築されうる。ディスプレイモデリングモジュール2312は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。性能測定基準または歪みモジュール2313は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。一部の実施形態では、性能測定基準または歪みモジュール2313はまた、性能測定基準の決定に用いるために、画像データ(例えば画像ヒストグラム)を受け取りうる。一部の実施形態では、歪みモジュール2313は、特定の光源光照明レベルに対する歪み値を決定するために、画像ヒストグラムデータを、モデリングモジュール2312において決定された重み付け値と統合しうる。
次に、光源光レベル選択モジュール2314は、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる。
これらの実施形態では、選択された上記光源光照明レベルは、次に、ユーザ明るさ選択2318に応答する時間フィルタモジュール2319に送られうる。一部の実施形態では、上記フィルタモジュールは、ユーザ明るさ選択を受け取るときに異なるフィルタを適用しうる。一部の実施形態では、フィルタは、ユーザ明るさ選択が受け取られなかったときには選択的に適用され、ユーザ明るさ選択が受け取られたときには適用されえない。一部の実施形態では、フィルタは、ユーザ明るさ選択の受け取りに応答して修正されうる。
光源光照明レベル信号のフィルタリング後、フィルタされた信号は、画像が光源光照明レベルのいかなる変化に対しても補正されうるように、画像補正モジュール2315に伝達されうる。フィルタされた照明レベルは、ディスプレイ光源光制御モジュール2316にも送られうる。次に、画像補正処理2315によって補正された画像はディスプレイ2317に送られ、当該画像に対して選択されてフィルタされた光源光照明レベルを用いて表示されうる。
本発明の一部の実施形態について、図110を参照しながら説明する。これらの実施形態では、画像2330または画像データがマッピングモジュール2331に入力されうる。上記マッピングモジュールは、図105に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、ユーザ明るさ選択モジュール2338もマップ選択に影響を及ぼしうる。ユーザ明るさ選択モジュール2338は、ディスプレイの明るさを指定するユーザ入力を受け入れ、また、ユーザインターフェースまたはユーザ選択を受け入れる他の手段を含みうる。一部の実施形態では、ユーザ明るさ選択入力はマッピングモジュール2331に送られ、ここで、マップを選択または修正するため、あるいはマップからの出力を修正するために用いられうる。次に、この修正された出力は、モデリングモジュール2332に送られうる。別の実施形態では、ユーザ明るさ選択入力は、モデリングモジュール2332に直接送られ、ここで、マッピングモジュール2331から受け取られたデータを修正するために用いられうる。
これらの実施形態は、周辺光モジュール2198をさらに含みうる。周辺光モジュール2198は、周辺光状態(例えば、周辺光の強度、周辺光の色、または周辺光特性の変動)を決定するための1つ以上のセンサを含みうる。この周辺光データは、マッピングモジュール2331に送信されうる。
複数のマップまたは相関が定義されるとき、上記マッピングモジュールは、周辺光モジュール2338から受け取られたデータに基づいてマップを選択しうる。この選択されたマップは、デフォルトマップとは異なる相関、あるいは自動的に選択される相関に影響を及ぼしうる。一部の実施形態では、マップは、特定の視認状態(例えば、低い周辺光、高い周辺光、または様々な周辺光パターン)のために記憶および設計されうる。
これらの実施形態は、マップ選択に影響を及ぼしうる、手動マップ選択モジュール2340をさらに含みうる。複数のマップまたは相関が定義されるとき、ユーザは、手動マップ選択モジュール2340によって好ましいマップを選択しうる。この選択されたマップは、デフォルトマップとは異なる相関、あるいは自動的に選択される相関に影響を及ぼしうる。一部の実施形態では、マップは、特定の視認状態(例えば、店頭での表示、低い周辺光、または高い周辺光)または特定の視認内容(例えば、テレビの視聴、映画の視聴、またはゲームプレー)のために記憶および設計されうる。
これらの実施形態では、マップを選択するため、マップを修正するため、あるいはマップから得られた結果を修正するために、ユーザ明るさ選択モジュール2338、手動マップ選択モジュール2340、および周辺光モジュール2339から受け取られたデータが用いられうる。一部の実施形態では、これらモジュールのうちの1つからの入力は、他のモジュールよりも優先度が高い。例えば、一部の実施形態では、ユーザ入力から受け取られた手動マップ選択は、周辺光状態に基づく自動マップ選択処理よりも優位である。一部の実施形態では、マップまたはマップ出力を選択および修正するために、マッピングモジュール2331への複数の入力が統合されうる。
マップまたは相関が選択されると、マッピングモジュール2331は、画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデリングモジュール2332に送りうる。
マッピングモジュール2331内の制限に準拠するディスプレイモデル属性が決定されると、ディスプレイモデリングモジュール2332内に他のディスプレイモデルパラメータが構築されうる。ディスプレイモデリングモジュール2332は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。性能測定基準または歪みモジュール2333は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。一部の実施形態では、性能測定基準または歪みモジュール2333はまた、性能測定基準の決定に用いるために画像データ(例えば画像ヒストグラム)を受け取りうる。一部の実施形態では、歪みモジュール2333は、特定の光源光照明レベルに対する歪み値を決定するために、画像ヒストグラムデータを、モデリングモジュール2332において決定された重み付け値と統合しうる。
次に、光源光レベル選択モジュール2334は、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる。次に、選択された当該光源光照明レベルは、画像が光源光照明レベルのいかなる変化に対しても補正されうるように、画像補正モジュール2335に伝達されうる。上記照明レベルは、ディスプレイ光源光制御モジュール2336にも送られうる。次に、画像補正処理2335によって補正された画像はディスプレイ2337に送られ、当該画像のために選択された光源光照明レベルを用いて表示されうる。
本発明の一部の実施形態について、図111を参照しながら説明する。これらの実施形態では、画像ヒストグラムを生成するために、画像2357または画像データがヒストグラムモジュール2355によって処理されうる。一部の実施形態では、輝度ヒストグラムが生成されうる。別の実施形態では、カラーチャンネルヒストグラムが生成されうる。次に、画像ヒストグラムがヒストグラムバッファ2356内に記憶されうる。一部の実施形態では、ヒストグラムバッファ2356は、複数のヒストグラム(例えば、前のビデオシーケンスフレームからのヒストグラム)を調整する容量を有しうる。次に、これらヒストグラムは、いくつかの目的のために上記システムの様々なモジュールによって用いられうる。
一部の実施形態では、シーンカットモジュール2359がヒストグラムバッファにアクセスして、ビデオシーケンス内にシーンカットが存在するかを決定するためにヒストグラムデータを用いうる。次に、このシーンカット情報は時間フィルタモジュール2364に送られて、フィルタまたはフィルタパラメータを切り替えまたは修正するために用いられうる。マッピングモジュール2353もヒストグラムバッファ2356にアクセスして、APLまたは別の画像特性を算出するためにヒストグラムデータを用いうる。
上記マッピングモジュールは、図105に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、ユーザ明るさ選択モジュール2351もマップ選択に影響を及ぼしうる。ユーザ明るさ選択モジュール2351は、ディスプレイの明るさを指定するユーザ入力を受け入れ、また、ユーザインターフェースまたはユーザ選択を受け入れる他の手段を含みうる。一部の実施形態では、ユーザ明るさ選択入力はマッピングモジュール2353に送られ、ここで、マップを選択または修正するため、あるいはマップからの出力を修正するために上記入力が用いられうる。次に、この修正された出力は、モデリングモジュール2354に送られうる。別の実施形態では、ユーザ明るさ選択入力は、モデリングモジュール2354に直接送られ、ここで、マッピングモジュール2353から受け取られたデータを修正するために用いられうる。
これらの実施形態は、周辺光モジュール2350をさらに含みうる。周辺光モジュール2350は、周辺光状態(例えば、周辺光の強度、周辺光の色、または周辺光特性の変動)を決定するための1つ以上のセンサを含みうる。この周辺光データは、マッピングモジュール2353に送信されうる。
これらの実施形態は、マップ選択に影響を及ぼしうる手動マップ選択モジュール2352をさらに含みうる。複数のマップまたは相関が定義されるとき、ユーザは、手動マップ選択モジュール2352によって好ましいマップを選択しうる。
これらの実施形態では、マップを選択するため、マップを修正するため、あるいはマップから得られた結果を修正するために、ユーザ明るさ選択モジュール2351、手動マップ選択モジュール2352、および周辺光モジュール2350から受け取られたデータが用いられうる。一部の実施形態では、これらモジュールのうちの1つからの入力は、他のモジュールよりも優先度が高い。例えば、一部の実施形態では、ユーザ入力から受け取られた手動マップ選択は、周辺光状態に基づく自動マップ選択処理よりも優位である。一部の実施形態では、マップまたはマップ出力を選択および修正するために、マッピングモジュール2353への複数の入力が統合されうる。
マップまたは相関が選択されると、マッピングモジュール2353は、画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデリングモジュール2354に送りうる。
マッピングモジュール2353内の制限に準拠するディスプレイモデル属性が決定されると、ディスプレイモデリングモジュール2354内に他のディスプレイモデルパラメータが構築されうる。ディスプレイモデリングモジュール2354は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。あるいは、性能測定基準モジュール2363内に1つ以上のディスプレイモデルパラメータ2362が構築されうる。性能測定基準モジュール2363は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。
性能または歪みモジュール2360は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。次に、光源光レベル選択モジュール2361は、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる。次に、選択された当該光源光照明レベルは、時間フィルタモジュール2364に伝達されうる。
時間フィルタモジュール2264は、システム内の他のモジュールからの入力に応答しうる。具体的には、シーンカットモジュール2359およびユーザ明るさ選択モジュール2351は、シーンカットが生じるとき、およびユーザが手動明るさ選択を選択したときを示すために、時間フィルタモジュール2364と通信しうる。これらの事象が生じるとき、時間フィルタ2366モジュールは、シーンカット応答の実施形態に関連して前述したように、フィルタ処理を切り替え(2365)または修正することによって応答しうる。
次に、フィルタされた光源光照明レベルは、ディスプレイ光源光制御2367および画像補正計算モジュール2368に送られうる。次に、画像補正計算モジュール2368は、様々な実施形態に対して前述したように、補正カーブの算出または別の補正処理において、フィルタされた上記光源光照明レベルを用いうる。次に、この補正カーブまたは処理が画像補正モジュール2358に示されて、ここで、強調された画像2369を生成するために上記カーブまたは処理が原画像2357に適用されうる。次に、強調された画像2369がディスプレイ2370に送られて、フィルタされた光源光照明レベルと共に表示されうる。
(間色および色差ヒストグラムの実施形態)
本発明の一部の実施形態は、限定的なリソースおよび制限的なパラメータを有するシステム内で機能するように調整することができる。一部の実施形態では、画像情報は、各カラーチャンネルに対して完全な画像データを提供しない回路、チップ、または処理から取得されうる。一部の実施形態では、後段処理は、処理のために特定の形式に変換されるデータを必要としうる。
一部の実施形態では、画像から間色または色差ヒストグラムが生成され、さらなる処理に画像データを提供するために用いられる。一部の実施形態では、色差ヒストグラムは、輝度値および色差値を含む2次元のヒストグラムでありうる。典型的な一実施形態では、ヒストグラム輝度値は式60を用いて得られうる。
ヒストグラム輝度値
Figure 2009265678
ここで、Yはヒストグラム輝度値、Rは赤のカラーチャンネル値、Gは緑のカラーチャンネル値、Bは青のカラーチャンネル値である。
典型的な一実施形態では、ヒストグラム色差値は式61を用いて得られうる。
ヒストグラム色差値
Figure 2009265678
ここで、R、G、およびBはカラーチャンネル値、Yは式60または別の式から得られる輝度値、Cはヒストグラム内の色差値である。
一部の実施形態では、例えば式60によって得られる輝度値、および例えば式61によって得られる色差値を用いて、2次元の色差ヒストグラムが生成されうる。しかし一部の実施形態では、2次元のヒストグラムを構成するために、他の方法によって得られる輝度値および色値が用いられうる。輝度チャンネルと入力画像内の複数のカラーチャンネルを表すカラーチャンネルとによって生成されているが、色差値によっては生成されていないヒストグラムは、間色ヒストグラムと称されうる。カラーチャンネルデータを追加、増加、あるいは統合することによって、単一の間色チャンネル(compound color channel)内に複数のカラーチャンネルデータを統合することで、間色チャンネルが生成されうる。
本発明の一部の実施形態は、入力として1次元のヒストグラムを必要とする処理を含みうる。これらの実施形態では、2次元の色差ヒストグラムまたは別の2次元の色−輝度ヒストグラムが1次元のヒストグラムに変換されうる。このヒストグラム変換処理は、複数の2−Dヒストグラムビンを単一の1−Dヒストグラムビンに加算するステップを含みうる。一部の典型的な実施形態について、図112を参照しながら説明する。これらの実施形態では、テーブル2400内に様々なビン値2401を有する2−Dヒストグラムビンが示されている。2−Dヒストグラムテーブル2400内の各ビンは、輝度および色ビン番号に対応する座標で表されている。これらのビン番号は、第1のビンが左下にあり、右および最上部に向かって大きくなる。例えば、左下の2−Dビン2402は、最も低い輝度ビンおよび最も低い色ビンであるためH(1,1)と称されうる。同様に、第2の輝度ビンおよび第3の色ビンである2−Dビン2403はH(2,3)と称されうる。
2−Dヒストグラムを1−Dヒストグラムに変換または集約するために、可能な限り多くの情報を保存し、2−Dヒストグラムの生成に影響を及ぼした因子を考慮に入れるように、加算処理を設計しうる。典型的な一実施形態では、一定の(Y+c)値を有する複数の2−Dヒストグラムビンを加算して新しい1−Dヒストグラムビンを生成しうる。例えば、第1の1−DビンはY+C=2に対応し、これは、他のいずれのビン座標の総和も2にならない場合にのみ2−DビンH(1,1)2402を含んでいる。次の1−DビンはY+C=3に対応し、これは2−DビンH(1,2)およびH(2,1)を含んでいる。第3の1−DビンはY+C=4に対応し、これは2−DビンH(1,3)、H(2,2)、およびH(3,1)を含んでいる。この処理は各Y+C値に対して続けられるものであり、個々のY+C値に対応する全ての2−Dビンが加算され、新しい1−Dヒストグラムビン値となる。加算線2404は相関を示している。この処理は、2−Dヒストグラムへの輝度および色の影響が実質的に等しいと考えられるときによく機能するが、常にそうであるとは限らない。
場合によっては、2−D色差ヒストグラムあるいはその他の色/輝度ヒストグラムにおける輝度および色の値は、複数の異なる量子化係数、複数の異なるビット深度、あるいは、対応する輝度成分とは異なる重みを色成分に与える他の係数を用いて得られる。色または輝度が結果に与える影響がより大きい処理の場合には、結果として得られた1−Dヒストグラムが用いられうる。これらの場合、実施形態は、加算処理に影響を及ぼす色重み値を含みうる。一部の実施形態では、加算線2404の傾斜を変動させることによって、新しい1−Dビンを生成するために加算されるビンを変更するために、上記色重み値が用いられうる。例えば、色重み値4を用いて、2−DビンH(1,2)およびH(4,1)の総和が第2の1−Dビン値となるように加算線の傾斜を1:4に変更しうる。
1−Dヒストグラムが生成されると、ヒストグラムまたは関連するデータが他のシステムモジュールに送られうる。一部の実施形態では、1−Dヒストグラムまたは関連するデータが、マッピングモジュール、ディスプレイモデリングモジュール、または性能測定基準モジュール(例えば歪みモジュール)に送られうる。1−Dヒストグラムはシーンカット検出モジュールによっても用いられうる。
一部の典型的な本発明の実施形態について、図113を参照しながら説明する。これらの実施形態では、色差ヒストグラム生成器2421への入力として画像2420が用いられうる。次に、ヒストグラム生成器2421によって生成された色差ヒストグラムが、ヒストグラム変換モジュール2423に送られうる。ヒストグラム変換モジュール2423は、色重みパラメータ2422を受け取りうる。ヒストグラム変換モジュール2423は、色重みパラメータ2422に基づいて、2−D色差ヒストグラムを1−Dヒストグラム2424に変換するための加算線の傾斜または同様の変換パラメータを決定しうる。パラメータがセットされると、前述したように変換が行われて1−Dヒストグラムが生成されうる。次に、この1−Dヒストグラムは、さらなる処理のために様々なモジュール(例えば性能測定基準モジュール2425)に送信され、そのようなヒストグラムは誤差ベクトルによって重みを付けられる。
本発明のさらなる実施形態について、図114を参照しながら説明する。これらの実施形態では、2−D色差ヒストグラムを生成するために、画像2430または画像データが色差ヒストグラムモジュール2431によって処理されうる。次に、この2−D色差ヒストグラムは、ヒストグラム変換モジュール2432内において1−Dヒストグラムに変換されうる。次に、この1−Dヒストグラム2433はヒストグラムバッファ2434内に記憶されうる。一部の実施形態では、ヒストグラムバッファ2434は、複数のヒストグラム(例えば、前のビデオシーケンスフレームからのヒストグラム)を調整する容量を有しうる。次に、これらヒストグラムは、いくつかの目的のために上記システムの様々なモジュールによって用いられうる。
一部の実施形態では、シーンカットモジュール2435がヒストグラムバッファにアクセスして、ビデオシーケンス内にシーンカットが存在するかを決定するためにヒストグラムデータを用いうる。次に、このシーンカット情報が時間フィルタモジュール2445に送られて、フィルタまたはフィルタパラメータを切り替えまたは修正するために用いられうる。マッピングモジュール2436もヒストグラムバッファ2434にアクセスして、APLまたは別の画像特性を算出するためにヒストグラムデータを用いうる。
上記マッピングモジュールは、図105および他の図に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、ユーザ明るさ選択モジュール2439もマップ選択に影響を及ぼしうる。ユーザ明るさ選択モジュール2439は、ディスプレイの明るさを指定するユーザ入力を受け入れ、また、ユーザインターフェースまたはユーザ選択を受け入れる他の手段を含みうる。一部の実施形態では、ユーザ明るさ選択入力は、マッピングモジュール2436に送られ、ここで、マップを選択または修正するため、あるいはマップからの出力を修正するために用いられうる。次に、この修正された出力は、モデリングモジュール2437に送られうる。別の実施形態では、ユーザ明るさ選択入力は、モデリングモジュール2437に直接送られ、ここで、マッピングモジュール2346から受け取られたデータを修正するために用いられうる。
これらの実施形態は、周辺光モジュール2438をさらに含みうる。周辺光モジュール2438は、周辺光状態(例えば、周辺光の強度、周辺光の色、または周辺光特性の変動)を決定するための1つ以上のセンサを含みうる。この周辺光データは、マッピングモジュール2436に送信されうる。
これらの実施形態は、マップ選択に影響を及ぼしうる手動マップ選択モジュール2440をさらに含みうる。複数のマップまたは相関が定義されるとき、ユーザは、手動マップ選択モジュール2440を用いて好ましいマップを選択しうる。
これらの実施形態では、ユーザ明るさ選択モジュール2439、手動マップ選択モジュール2440、および周辺光モジュール2438から受け取られたデータが、マップを選択するため、マップを修正するため、あるいはマップから得られた結果を修正するために用いられうる。一部の実施形態では、これらモジュールのうちの1つからの入力は、他のモジュールよりも優先度が高い。例えば、一部の実施形態では、ユーザ入力から受け取られた手動マップ選択は、周辺光状態に基づく自動マップ選択処理よりも優位である。一部の実施形態では、マップまたはマップ出力を選択および修正するために、マッピングモジュール2436への複数の入力が統合されうる。
マップまたは相関が選択されると、マッピングモジュール2436は、画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデリングモジュール2437に送りうる。
マッピングモジュール2436内の制限に準拠するディスプレイモデル属性が決定されると、ディスプレイモデリングモジュール2437内に他のディスプレイモデルパラメータが構築されうる。ディスプレイモデリングモジュール2437は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。あるいは、性能測定基準モジュール2441内に1つ以上のディスプレイモデルパラメータが構築されうる。性能測定基準モジュール2441は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる(2442)。
性能または歪みモジュール2443は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。次に、光源光レベル選択モジュール2444は、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる。次に、選択された当該光源光照明レベルは、時間フィルタモジュール2445に伝達されうる。
時間フィルタモジュール2445は、システム内の他のモジュールからの入力に応答しうる。具体的には、シーンカットモジュール2435およびユーザ明るさ選択モジュール2439は、時間フィルタモジュール2445と通信しうる。これにより、シーンカットが生じるとき、および、ユーザが手動明るさ選択を選択したときが示される。これらの事象が生じるとき、時間フィルタ2447モジュールは、シーンカット応答の実施形態に関連して前述したように、フィルタ処理を切り替え2446または修正することによって応答しうる。
次に、フィルタされた光源光照明レベルが、ディスプレイ光源光制御2448および画像補正計算モジュール2449に送られうる。次に、画像補正計算モジュール2449が、様々な実施形態に対して前述したように、補正カーブ算出または別の補正処理において上記フィルタされた光源光照明レベルを用いうる。次に、この補正カーブまたは処理が画像補正モジュール2450に示されて、ここで、強調された画像2451を生成するために上記カーブまたは処理が原画像2430に適用されうる。次に、強調された画像2369は、ディスプレイ2452に送られて、フィルタされた光源光照明レベルと共に表示されうる。
(ヒストグラム操作)
現在のビデオ処理システムおよびプロトコルは、自身が送信する画像データに制約を設ける。場合によっては、プロトコルは、ビデオシーケンスと共に追加のデータ(例えば、メタデータおよび同期化データ)が送信されることを必要とする。この追加のオーバーヘッドは、実際のビデオ内容を送信するために用いることのできる帯域幅を制限する。場合によっては、このオーバーヘッドは、ビデオ内容のビット深度がより低くなることを必要とする。例えば、8ビットの色または輝度チャンネルデータは、送信のための7ビットに制限される。しかし多くの表示装置および処理は、全8ビットのダイナミックレンジを処理する機能を有している。一部の実施形態では、ヒストグラムは、より低いダイナミックレンジで生成または送信されたときには、受け取りデバイスまたはモジュールにおいて受け取られるときにより高いダイナミックレンジに拡大されうる。
一部の実施形態では、ヒストグラムモジュールによってより低いダイナミックレンジのヒストグラムが生成されて、別のモジュール(例えば性能測定基準モジュール)に送信されうる。上記別のモジュールは、歪み計算の一部として上記ヒストグラムに重みを付けるために誤差ベクトルを用いうる。しかしこの処理は、ヒストグラム範囲が、画像の全ダイナミックレンジを有する誤差ベクトルのヒストグラム範囲と合致するときには、より容易である。従って、性能測定基準モジュールは、重み付け処理前に画像の全ダイナミックレンジにヒストグラムを拡大しうる。
本発明の一部の実施形態の形態について、図115を参照しながら説明する。これらの実施形態では、当初のダイナミックレンジ線2460が画像の全ダイナミックレンジを表している。この場合、上記レンジは、低いポイント2461(値0)から高いポイント2462(値255)までの全8ビットのレンジである。しかし、このダイナミックレンジを有する画像およびこのような画像から生成されるヒストグラムは、処理制限または送信制限ゆえに、制限されたダイナミックレンジに強いられうる。この制限されたダイナミックレンジは、典型的な一実施形態では低いポイント2464(値0)から高いポイント2465(値235)に及ぶ、制限されたダイナミックレンジ線2463によって表されうる。ヒストグラムが生成され、あるいはこの制限されたダイナミックレンジに変換され、そしてこのダイナミックレンジ制限を含まない処理に送信されると、当該ヒストグラムは、画像の全ダイナミックレンジまたは後の処理への制限を満たす別のダイナミックレンジに再び変換されうる。典型的な本実施形態では、線2463によって表される制限されたダイナミックレンジは、低いポイント2467(値0)から高いポイント2468(値255)に及ぶレンジ線2466によって表される画像の全ダイナミックレンジに再び変換されうる。全ダイナミックレンジへの変換は、低いポイントおよび高いポイントに新しい値を割り当て、線形スケーリングを用いて任意の中間的なポイントを決定するステップを含みうる。
本発明のさらなる実施形態について、図116を参照しながら説明する。これらの実施形態では、2−D色差ヒストグラムを生成するために、画像2470または画像データが色差ヒストグラムモジュール2471によって処理されうる。次に、この2−D色差ヒストグラムが、ヒストグラム変換モジュール2472内において1−Dヒストグラムに変換されうる。次に、上記1−Dヒストグラムが、上記1−Dヒストグラムのダイナミックレンジを変化させうるヒストグラム範囲変換器2493によってさらに変換されうる。一部の実施形態では、ヒストグラム範囲変換器2493は、1−Dから2−Dへのヒストグラム変換器2473から受け取ったヒストグラムを、異なるダイナミックレンジ(例えば、誤差ベクトルまたは画像のダイナミックレンジ)に変換しうる。
次に、変換されたダイナミックレンジを有する上記1−Dヒストグラム2473が、ヒストグラムバッファ2474内に記憶されうる。一部の実施形態では、ヒストグラムバッファ2474は、複数のヒストグラム(例えば、前のビデオシーケンスフレームからのヒストグラム)を調整する容量を有しうる。これらヒストグラムは、いくつかの目的のために上記システムの様々なモジュールによって用いられうる。
一部の実施形態では、シーンカットモジュール2475がヒストグラムバッファにアクセスして、ビデオシーケンス内にシーンカットが存在するかを決定するためにヒストグラムデータを用いうる。次に、このシーンカット情報が時間フィルタモジュール2485に送られて、フィルタまたはフィルタパラメータを切り替えまたは修正するために用いられうる。マッピングモジュール2476もヒストグラムバッファ2474にアクセスして、APLまたは別の画像特性を算出するためにヒストグラムデータを用いうる。
上記マッピングモジュールは、図105および他の図に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、ユーザ明るさ選択モジュール2479もマップ選択に影響を及ぼしうる。ユーザ明るさ選択モジュール2479は、ディスプレイの明るさを指定するユーザ入力を受け入れ、また、ユーザインターフェースまたはユーザ選択を受け入れる他の手段を含みうる。一部の実施形態では、ユーザ明るさ選択入力はマッピングモジュール2476に送られ、ここで、マップを選択または修正するため、あるいはマップからの出力を修正するために用いられうる。次に、この修正された出力は、モデリングモジュール2477に送られうる。別の実施形態では、ユーザ明るさ選択入力は、モデリングモジュール2477に直接送られ、ここで、マッピングモジュール2476から受け取られたデータを修正するために用いられうる。
これらの実施形態は、周辺光モジュール2478をさらに含みうる。周辺光モジュール2478は、周辺光状態(例えば、周辺光の強度、周辺光の色、または周辺光特性の変動)を決定するための1つ以上のセンサを含みうる。この周辺光データは、マッピングモジュール2476に送信されうる。
これらの実施形態は、マップ選択に影響を及ぼしうる手動マップ選択モジュール2480をさらに含みうる。複数のマップまたは相関が定義されるとき、ユーザは、手動マップ選択モジュール2480を用いて好ましいマップを選択しうる。
これらの実施形態では、ユーザ明るさ選択モジュール2479、手動マップ選択モジュール2480、および周辺光モジュール2478から受け取られたデータが、マップを選択するため、マップを修正するため、あるいはマップから得られた結果を修正するために用いられうる。一部の実施形態では、これらモジュールのうちの1つからの入力は、他のモジュールよりも優先度が高い。例えば、一部の実施形態では、ユーザ入力から受け取られた手動マップ選択は、周辺光状態に基づく自動マップ選択処理よりも優位である。一部の実施形態では、マップまたはマップ出力を選択および修正するために、マッピングモジュール2476への複数の入力が統合されうる。
マップまたは相関が選択されると、マッピングモジュール2476は、画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデリングモジュール2477に送りうる。
マッピングモジュール2436内の制限に準拠するディスプレイモデル属性が決定されると、ディスプレイモデリングモジュール2477内に他のディスプレイモデルパラメータが構築されうる。ディスプレイモデリングモジュール2477は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。一部の実施形態では、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータが、性能測定基準/歪みモジュール2481(例えば、重み計算モジュール2482)内において決定されうる。
性能または歪みモジュール2481は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。次に、光源光レベル選択モジュール2484は、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる(2483)。次に、選択された当該光源光照明レベルが時間フィルタモジュール2485に伝達されうる。
時間フィルタモジュール2485は、システム内の他のモジュールからの入力に応答しうる。具体的には、シーンカットモジュール2475およびユーザ明るさ選択モジュール2439が、時間フィルタモジュール2485と通信しうる。これにより、シーンカットが生じるとき、およびユーザが手動明るさ選択を選択したときが示される。これらの事象が生じるとき、時間フィルタ2487モジュールは、シーンカット応答の実施形態に関連して前述したように、フィルタ処理を切り替え2486または修正することによって応答しうる。次に、フィルタされた光源光照明レベルが、ディスプレイ光源光制御2488および画像補正計算モジュール2489に送られうる。次に、画像補正計算モジュール2489は、様々な実施形態に対して前述したように、補正カーブの算出または別の補正処理において上記フィルタされた光源光照明レベルを用いうる。次に、この補正カーブまたは処理が画像補正モジュール2490に示されて、ここで、強調された画像2491を生成するために上記カーブまたは処理が原画像2470に適用されうる。次に、強調された画像2491がディスプレイ2492に送られて、フィルタされた光源光照明レベルと共に画像が表示されうる。
(追加の処理のための画像補正設計)
前述したシステムの多くにおいて、画像補正は、表示前に画像に行われる最後の処理である。しかし一部のシステムでは、補正後処理を行う必要がありうる。これは、チップまたは処理のアーキテクチャ、あるいは画像補正前にこの処理の性能を妨害するシステムへの他の制限によるものである。さらに、場合によっては、画像補正前に画像に処理を行うことによって、画像内にアーチファクトまたは誤差が生じうる。このようなアーチファクトまたは誤差は、画像補正後に処理を行った場合には見られない。
画像補正後に処理を行うとき、画像補正アルゴリズムは、補正後処理の影響を考慮しなければならない。そうでない場合、特定の光源光照明レベルあるいはその他の状態において、画像が過剰修正されるか、あるいは修正が不十分となりうる。従って事後処理が行われるとき、本発明の一部の実施形態は、画像補正アルゴリズムまたは処理の設計における処理を考慮する。
図117には、典型的な画像補正および光源光照明レベル選択システムが示されている。このシステムは、画像補正前トーンスケール処理2501において入力画像2500を受け取る処理を含んでいる。最初の処理2501後、修正画像または修正画像データは、画像に関連するバックライト選択のためにバックライト選択モジュール2502に送られる。修正画像は、明るさ保持/画像補正(BP/IC)モジュール2503にも送られる。明るさ保持/画像補正モジュール2503は、バックライト選択モジュール2502から生成されたバックライト選択を受け取る。明るさ保持または画像補正モジュール2503は、BP/ICトーンスケールまたは同様の処理を生成して、バックライト選択処理によって生じるバックライト変化に対して画像を補正する。次に、このBP/ICトーンスケールまたは同様の処理が修正画像に適用されて、補正された画像2505が生じる。上記バックライト選択は、バックライト2504にも送られて、バックライト2504の照明レベルが制御される。次に、補正された画像2505が、選択されたバックライト照明レベルを用いて表示されうる。この典型的なシステムでは、バックライト選択処理2502は、明るさ保持/画像補正処理2503と同一の画像上に作用する。これらの実施形態は、補正後処理および修正された補正処理の基準として機能しうる。
図118には、別の典型的なシステムが示されている。このシステムでは、入力画像2510が画像補正トーンスケール処理2513に入力される。この入力画像は、バックライト選択モジュール2512にも入力される。バックライト選択処理2512によって生じる選択は、明るさ保持/画像補正処理2513およびディスプレイバックライト2514に送られる。明るさ保持/画像補正処理2513は画像を受け取り、画像補正のために明るさ保持/画像補正トーンスケールまたは同様の処理を生成する。次に、この明るさ保持/画像補正処理は修正画像に送られて、補正された画像が生じる。この補正された画像は、補正後処理2511に送られる。次に、補正後処理2511は、補正された画像を、別のトーンスケール操作または別の処理によってさらに処理しうる。
次に、補正後された画像2515は、選択されたバックライト照明レベルでディスプレイ上に表示されうる。画像の補正後処理によって、画像補正が不適切となりうる。また、この典型的なシステムでは、補正トーンスケール処理2513において導入されるあらゆる誤差が、補正後処理2511において増幅されうる。場合によっては、増幅されたこれら誤差は、このシステムの使用が不適切であることを示しうる。
図119には、さらに別の典型的なシステムが示されている。このシステムでは、入力画像2520は、バックライト選択処理2522および修正された明るさ保持/画像補正処理2521に入力される。修正された明るさ保持/画像補正処理2521は、画像補正後処理2523を考慮して修正される。バックライト選択処理2522によって生じたバックライト選択も、修正された明るさ保持/画像補正処理2521に送られる。修正された明るさ保持/画像補正処理2521は画像補正後処理2523を認識しており、その画像への影響を考慮することができる。従って、修正された明るさ保持/画像補正処理2521は、画像に対して選択されたバックライト2524照明レベルを補償すると共に画像補正後処理2523の影響を補償する処理を生成し、これを画像2520に適用することができる。次に、この処理は、画像が画像補正後処理2523に送られる前に当該画像に適用される。次に、この画像は、画像補正後処理2523によって処理されて、補正および修正された画像2525が生じる。画像2525は、選択されたバックライト照明レベルで表示されうる。このシステムでは、画像補正後処理2523の使用によって、画像補正前処理からの誤差を増幅することによって生じる問題が回避される。
本発明の一部の実施形態は、修正された明るさ保持/画像補正処理後に適用される別のトーンスケール処理の影響を考慮する、修正された明るさ保持/画像補正処理を含んでいる。この追加のトーンスケール処理は、補正後処理と称されうる。これらの修正された処理は、別のトーンスケール処理TS(x)が後に行われる修正された明るさ保持/画像補正処理MBP(x)が、当初の明るさ保持/画像補正処理BP(x)が後に行われるトーンスケール処理TS(x)と同一の結果を有するという原理に基づきうる。この原理は、式62のような方程式で表されうる。
典型的な修正されたBP/IC処理
Figure 2009265678
この原理は、図120に図で表されている。図120では、第1のトーンスケール処理TS(x)が第1のトーンスケールカーブ2530によって表されている。この処理は、入力画像コード値x2531に対して出力値w2532をもたらす。次に、第1のトーンスケールカーブの出力wは、第2のトーンスケールカーブ2534によって表されるBP/IC処理BP(w)のための入力として用いられうる。w2532をBP/IC処理への入力として用いることによって、この処理は出力値z2536をもたらす。次に、値z2536を用いて、トーンスケール処理TS()2538への入力値y2540が決定され、これによって出力z2536が生じる。この結果はy2540である。一部の実施形態では、この最終的な処理は、所望の公知の出力をもたらす入力を求めることによって行われうる。別の実施形態では、逆トーンスケール操作TS−1が得られ、最終的な値y2540を決定するためにz2536を用いて使用されうる。
これらの処理、あるいは数学的または機能的に同等の処理を用いることによって、入力コード値x2531と最終的な値y2540との関係が決定およびマッピングされうる(2541)。一部の実施形態では、最終的な値y2540と当初の入力x2531との関係は、修正された明るさ保持/画像補正カーブMBP(x)を生成するために、当該関係に適応する複数のポイントを決定し、これらのポイント間を補間することによって伝達されうる。
(可変遅延の実施形態)
本発明の一部の実施形態では、画像は、補正後に実質的な処理を必要とする場合がある。別の実施形態では、光源光照明レベル処理は、一部の画像に対しては他の画像に対してよりも時間がかかる場合がある。一部の実施形態では、任意の処理(例えばフレームレート変換)が選択される場合と選択されない場合とがあり、これによって画像処理のための処理時間に差が生じる。従って、本発明の一部の実施形態は、光源光照明レベル信号(バックライト信号)のための可変遅延を含みうる。
本発明の一部の実施形態は、光源光照明レベル選択処理とディスプレイにおける光源光制御との間の可変遅延を含んでいる。一部の実施形態では、この遅延は選択的であり、特定の処理(例えばフレームレート変換)、あるいは画像補正パイプラインの処理時間に影響を及ぼす他の処理を用いることによってトリガーされうる。
本発明の一部の実施形態では、遅延モジュール、遅延デバイス、または遅延処理は、複数の画像フレームのために複数の照明レベル信号を記憶する光源光照明レベル信号バッファを含みうる。一部の実施形態では、このバッファは、事後処理モジュールまたは処理に応答する可変出力を有しうる。
本発明の一部の実施形態について、図121を参照しながら説明する。これらの実施形態では、画像2550は、画像およびデバイスに適した光源光照明レベル、視認状態、あるいはその他の要素の選択のための光源光照明レベル選択モジュール2552に入力される。画像2550は、光源光照明レベル補正モジュール2551にも送られうる。光源光照明レベル補正モジュール2551は、光源光照明レベル選択モジュール2552内で選択された光源光照明レベルを受け取りうる。次に、補正モジュール2551は、補正カーブを生成して当該補正カーブを画像に適用するために、上記画像および光源光情報を用いうる。次に、補正された画像が選択器またはスイッチ2557に出力されうる。選択器またはスイッチ2557は、画像特性、表示装置の特性、ユーザの嗜好、または他のパラメータに基づいて、手動または自動選択によってセットしうる。上記補正された画像は、スイッチ2557の位置に基づいて、任意の補正後処理2554に向けられるか、あるいは任意の処理を回避して表示装置2556に直接送られうる。任意の補正後処理2554が選択された場合、画像は実質的な遅延を受ける処理に送られる。処理2554が選択された場合、処理2554または関連する処理は、遅延が生じるであろうことを遅延モジュール2553に信号伝達する。次に、遅延モジュール2553は、遅延される画像に関連する光源光制御信号を遅延させる。これによって当該制御信号は、事後処理された画像がディスプレイ2556に送られるときにディスプレイ光源光2555に到達する。
本発明の一部の実施形態について、図122を参照しながら説明する。これらの実施形態では、画像2560が光源光照明レベル補正レベルモジュール2564に入力され、ヒストグラムモジュール2561にも入力される。ヒストグラムモジュール2564は、画像2560からヒストグラムを生成しうる。次に、このヒストグラムは光源光照明レベル選択モジュール2562に送られ、ここで、画像ヒストグラムおよび他のパラメータに基づいて光源光照明レベルが選択されうる。次に、選択された光源光2568照明レベルが補正モジュール2564に信号送信されうる。光源光照明レベルが知られ、画像が受け取られた状態で、補正モジュール2564は、光源光照明レベルを補償するために画像を処理しうる。次に、補正された画像はフレームレート変換モジュール2565に送られ、ここで画像(例えば画像シーケンス)は、必要に応じて異なるフレームレートに変換されうる。様々なフレームレート変換アルゴリズムが用いられ、また一部の実施形態では、各アルゴリズムが特定の処理遅延に関連する複数のアルゴリズムが採用されうる。一部の実施形態では、フレームレート変換モジュールは、あらゆるフレームレート変換および関連する遅延を省略する回避設定(bypass setting)を含みうる。
選択された光源光照明レベルは、照明レベル信号のためのバッファを含みうる遅延モジュール2563にも送られる。フレームレート変換アルゴリズムが選択された場合、フレームレート変換モジュール2565は、選択的または可変遅延モジュール2563に遅延信号を送りうる。この遅延信号は、遅延モジュール2563に対して、画像処理パイプラインが遅延されること、および、画像をそれと関連する光源光照明レベル信号と同期させるために同様の遅延が必要となるであろうことを示しうる。フレームレート変換処理が選択された場合、フレームレート変換モジュール2565は画像または画像シーケンスを処理し、変換されたフレームレート画像2567、2566を表示装置へ出力する。また、適切な時間において、遅延モジュール2563は、変換されたフレームレート画像2567、2566に関連する光源光照明レベル信号を出力する。
本発明のさらなる実施形態について、図123を参照しながら説明する。これらの実施形態では、2−D色差ヒストグラムを生成するために、画像2577または画像データが色差ヒストグラムモジュール2592によって処理されうる。次に、この2−D色差ヒストグラムは、ヒストグラム変換モジュール2593内において1−Dヒストグラムに変換されうる。次に、この1−Dヒストグラム2575はヒストグラムバッファ2576内に記憶されうる。一部の実施形態では、ヒストグラムバッファ2576は、複数のヒストグラム(例えば、前のビデオシーケンスフレームからのヒストグラム)を調整する容量を有しうる。次に、これらヒストグラムは、いくつかの目的のために上記システムの様々なモジュールによって用いられうる。
一部の実施形態では、シーンカットモジュール2579がヒストグラムバッファにアクセスして、ビデオシーケンス内にシーンカットが存在するかを決定するためにヒストグラムデータを用いうる。次に、このシーンカット情報が時間フィルタモジュール2584に送られて、フィルタまたはフィルタパラメータを切り替えまたは修正するために用いられうる。マッピングモジュール2573もヒストグラムバッファ2576にアクセスして、APLまたは別の画像特性を算出するためにヒストグラムデータを用いうる。
上記マッピングモジュールは、図105および他の図に示されている実施形態に関連して前述したように、1つ以上の画像特性を1つ以上のディスプレイモデル属性に関連付ける1つ以上のマップまたは相関構成を含みうる。一部の実施形態では、ユーザ明るさ選択モジュール2571もマップ選択に影響を及ぼしうる。ユーザ明るさ選択モジュール2571は、ディスプレイの明るさを指定するユーザ入力を受け入れ、また、ユーザインターフェースまたはユーザ選択を受け入れる他の手段を含みうる。一部の実施形態では、ユーザ明るさ選択入力はマッピングモジュール2573に送られ、ここで、マップを選択または修正するため、あるいはマップからの出力を修正するために用いられうる。次に、この修正された出力は、モデリングモジュール2574に送られうる。別の実施形態では、ユーザ明るさ選択入力は、モデリングモジュール2574に直接送られ、ここで、マッピングモジュール2573から受け取られたデータを修正するために用いられうる。
これらの実施形態は、周辺光モジュール2570をさらに含みうる。周辺光モジュール2570は、周辺光状態(例えば、周辺光の強度、周辺光の色、または周辺光特性の変動)を決定するための1つ以上のセンサを含みうる。この周辺光データは、マッピングモジュール2573に送信されうる。
これらの実施形態は、マップ選択に影響を及ぼしうる手動マップ選択モジュール2572をさらに含みうる。複数のマップまたは相関が定義されるとき、ユーザは、手動マップ選択モジュール2572を用いて好ましいマップを選択しうる。
これらの実施形態では、マップを選択するため、マップを修正するため、あるいはマップから得られた結果を修正するために、ユーザ明るさ選択モジュール2571、手動マップ選択モジュール2572、および周辺光モジュール2570から受け取られたデータが、用いられうる。一部の実施形態では、これらモジュールのうちの1つからの入力は、他のモジュールよりも優先度が高い。例えば、一部の実施形態では、ユーザ入力から受け取られた手動マップ選択は、周辺光状態に基づく自動マップ選択処理よりも優位である。一部の実施形態では、マップまたはマップ出力を選択および修正するために、マッピングモジュール2573への複数の入力が統合されうる。
マップまたは相関が選択されると、マッピングモジュール2573は、画像特性をディスプレイモデル属性に相関させ、この属性をディスプレイモデリングモジュール2574に送りうる。
マッピングモジュール2573内の制限に準拠するディスプレイモデル属性が決定されると、ディスプレイモデリングモジュール2574内に他のディスプレイモデルパラメータが構築されうる。ディスプレイモデリングモジュール2574は、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータを決定しうる。一部の実施形態では、モデルクリッピング制限、ディスプレイ誤差ベクトル、ヒストグラム重み付け値、および、特定の光源光照明レベルで表示されるときの画像の差、誤差、歪み、または他の性能測定基準を決定するための他のデータが、性能測定基準/歪みモジュール2583(例えば重み計算モジュール2582)内において決定されうる。
性能または歪みモジュール2583は、ヒストグラムのダイナミックレンジを変更するためのヒストグラム範囲変換器2594も含んでいる。一部の実施形態では、ヒストグラム範囲変換器2594は、ヒストグラムバッファ2576から受け取られたヒストグラムを異なるダイナミックレンジ(例えば、誤差ベクトルのダイナミックレンジ)に変換しうる。性能または歪みモジュール2583は、様々な光源光照明レベルに対する性能測定基準を決定するために上記データを用いうる。次に、光源光レベル選択モジュール2581は、性能測定基準(例えば歪み)に基づいて適切な光源光照明レベルを選択しうる(2580)。次に、選択された当該光源光照明レベルは、時間フィルタモジュール2584に伝達されうる。
時間フィルタモジュール2584は、システム内の他のモジュールからの入力に応答しうる。具体的には、シーンカットモジュール2579およびユーザ明るさ選択モジュール2571は、時間フィルタモジュール2584と通信しうる。これにより、シーンカットが生じるとき、およびユーザが手動明るさ選択を選択したときが示される。これらの事象が生じるとき、時間フィルタ2586モジュールは、シーンカット応答の実施形態に関連して前述したように、フィルタ処理を切り替え(2585)または修正することによって応答しうる。次に、フィルタされた光源光照明レベルは遅延モジュール2587に送られうる。フィルタ処理は、照明レベル信号を、画像処理パイプライン内において例えば補正後処理2495によって遅延されうる、その関連する画像と同期して遅延またはバッファしうる。一部の実施形態では、補正後処理2495は任意であり、遅延モジュール2587を選択的に作動させうる。遅延モジュール2587内での遅延後、照明レベル信号がディスプレイ光源光制御2591に送られうる。フィルタされた光源光照明レベルは、フィルタモジュール2584から画像補正計算モジュール2588へも送られうる。次に、画像補正計算モジュール2588は、様々な実施形態に対して前述したように、補正カーブの算出または別の補正処理において、フィルタされた光源光照明レベルを用いうる。次に、この補正カーブまたは処理は画像補正モジュール2578に示され、ここで、強調された画像2589を生成するために原画像2577に上記カーブまたは処理が適用されうる。次に、強調された画像2589は補正後処理2595(例えばフレームレート変換処理)に送られうる。補正後処理2595は、遅延処理を選択的に作動または調節するために遅延モジュール2582と通信しうる。補正後処理後、処理された画像はディスプレイ2590に送られ、必要なときに適切に遅延されたフィルタされた光源光照明レベルと共に画像が表示されうる。
(低周波数ゲインマップ平滑化)
前述した本発明の多くの実施形態および他の実施形態は、空間的に平滑化された低周波数ゲインマップを用いて改善されうる。一部の状況では、トーンマップが当初の画素強度に対して画素値を増加させるとき、空間的に近接する画素の値が不均衡に増加しうる。これによって、調整された画像内の細部が失われうる。しかし一部の実施形態では、この問題は、空間的に近接する値と値との間における不均衡なゲインを低減する、空間的に平滑化された低周波数ゲインマップの適用によって、緩和することができる。
本発明の一部の実施形態について、図124に関連して説明する。これらの実施形態では、画像が2つ以上の周波数範囲に分割されて、低域または低周波数(LF/LP)画像2640および高域または高周波(HF/HP)画像2641が生じる。一部の実施形態では、この処理は、原画像2649を低域フィルタリングして低域画像2640を生成することによって、および、原画像から当該低域画像を減算して高域画像2641を生成することによって行われうる。別の実施形態では、原画像2648から低域画像2640および高域画像2641を生成するための他の方法が用いられうる。
これらの実施形態では、ゲイン関数または処理2642も生成されうる。ゲイン処理2642は、ゲインマップ、または、画像値を操作するための別の数学的または論理的処理の生成を含みうる。ゲイン処理842は、原画像2647の1つ以上の特性、低域画像2640の1つ以上の特性、および/または他の情報に基づきうる。ゲイン処理2642が生成されると、ゲイン画像2643が生成されうる。ゲイン画像2643は、画像内の各画素またはサブ画素のためのゲイン値を含みうる。次に、公知の多くの方法のうちの1つまたは1つ以上を用いて、ゲイン画像2643が空間的に平滑化されうる(2644)。次に、この平滑化されたゲイン画像は、強調された低域画像を生成するために低域画像2640と統合されうる(2645)。一部の実施形態では、この統合ステップは、平滑化されたゲイン画像値を低域画像2640値によって乗算するステップを含みうる。平滑化されたゲイン画像を低域画像2640と統合する(2645)ことによって、強調された低域画像が生成されうる。次に、この強調された低域画像は、高域画像2641と統合されうる(2647)。強調された低域画像および高域画像の統合(2647)によって、強調された出力画像2646が生じうる。
本発明の一部の実施形態について、図125に関連して説明する。これらの実施形態では、原入力画像2650が2つ以上の周波数範囲に分割されて、低域または低周波数画像2651および高域または高周波画像2652が生じる。一部の実施形態では、この処理は、原画像2650を低域フィルタリングして低域画像2651を生成することによって、および、原画像から当該低域画像を減算して高域画像2652を生成することによって行われうる。別の実施形態では、原画像2650から低域画像2651および高域画像2652を生成するための他の方法が用いられうる。
これらの実施形態では、ゲイン処理2653も生成されうる。ゲイン処理2653は、原画像2650の1つ以上の特性、低域画像2651の1つ以上の特性、および/または他の情報に基づきうる。前述した方法のうちの任意の方法によって、トーンマップ2653も生成されうる。トーンマップ2653が生成されると、ゲイン画像2654が生成されうる。ゲイン画像2654は、画像内の各画素またはサブ画素のためのゲイン値を含みうる。次に、公知の多くの方法のうちの1つまたは1つ以上を用いて、ゲイン画像2654が空間的に平滑化されうる(2655)。次に、この平滑化されたゲイン画像2656は、強調された低域画像を生成するために低域画像2651と統合されうる(2657)。一部の実施形態では、この統合ステップ2657は、平滑化されたゲイン画像値を低域画像値によって乗算するステップを含みうる。平滑化されたゲイン画像を低域画像と統合する(2657)ことによって、強調された低域画像が生成されうる。
これらの実施形態では、高域画像2652が修正されうる。高域ゲイン処理2660は、強調された高域画像を生成するために高域画像2652に適用されうる(2658)。一部の実施形態では、高域ゲイン処理は、全ての高域画素に対して一定の利得係数を含みうる。別の実施形態では、高域ゲイン処理によって可変利得関数が生じうる。別の実施形態では、ゲイン関数およびアプリケーションの他のバリエーションが適用されうる。
次に、これら強調された低域画像および強調された高域画像は、強調された出力画像2661を生成するために統合されうる(2659)。一部の実施形態では、この処理は、これら2つの画像の加算を含みうる。
本発明の一部の実施形態について、図126に関連して説明する。これらの実施形態では、原入力画像2670がLF/LPゲイン処理2671への入力として機能する。これらの実施形態では、LF/LPゲイン処理が入力画像2671の特性との関連において生成または修正されうる。次に、LF/LPゲイン処理は、LF/LPゲイン画像2674を生成するために、入力画像2670、入力画像のLF/LPバージョン、または入力画像の別の変動に適用されうる。次に、このLF/LPゲイン画像2674は、平滑化されたLF/LPゲイン画像を生成するために空間的に平滑化されうる(2675)。
入力画像2670は、フィルタモジュール2673への入力として機能しうる。これは、入力画像2670をLF/LPゲイン処理モジュール2671を介して送るか、あるいは入力画像2670がフィルタモジュール2673へ直接送られる(2681)ことによって行われうる。一部の実施形態では、上記フィルタモジュールは、低域通過フィルタを含みうる。当該低域通過フィルタは、入力画像2670に適用されるときに、低周波数または低域(LF/LP)画像を生成する。次に、このLF/LP画像は、強調されたLF/LP画像を生成するために、平滑化されたゲイン画像と統合されうる(2676)。
入力画像2670は、HF/HPゲイン処理2672への入力としてとしても機能し、これによって高周波または高域(HF/HP)ゲイン処理が生成される。HF/HP画像は、原入力画像2670からLF/LP画像を減算することによって(2677)、あるいは他の処理によっても生成されうる。一部の実施形態では、HF/HP画像は、LF/LP画像とは独立して生成されうる。次に、強調されたHF/HP画像を生成するために、HF/HPゲイン処理がHF/HP画像に適用されうる(2678)。一部の実施形態では、HF/HPゲインマップをHF/HP画像へ適用するステップは、対応する画像値によってゲインマップ値を乗算するステップを含みうる。
次に、出力画像2680を生成するために、強調された上記HF/HP画像が強調された上記LF/LP画像と統合されうる(2679)。
本発明の一部の実施形態について、図127に関連して説明する。これらの実施形態では、原入力画像2690が周波数分解処理2691への入力として機能する。一部の実施形態では、LF/LP画像を生成するために低域通過フィルタ2692が用いられうる。次に、このLF/LP画像を用いて、入力画像2690からの減算または他の方法によってHF/HP画像が生成されうる(2693)。
一部の実施形態では、色解析処理2696も用いられうる。この処理は、入力画像またはLF/LP画像の個々のカラーチャンネルの解析を含みうる。ゲイン処理を決定するために、1つ以上のカラーチャンネルの特性が用いられうる。上記ゲイン処理は、LF/LPゲイン画像2694を生成するためにLF/LP画像に適用されうる。次に、平滑化されたLF/LPゲイン画像2695を生成するために、上記LF/LPゲイン画像2694が平滑化されうる。次に、強調されたLF/LP画像を生成するために、平滑化された上記LF/LPゲイン画像がLF/LP画像に適用されうる(2697)。
HF/HPゲイン処理2700も用いられうる。この処理は、画像特性とは独立しているか、あるいは画像を解析して当該画像に適応させうる。強調されたHF/HP画像を生成するために、HF/HP画像にHF/HPゲインが適用されうる(2699)。強調された周波数特異的な画像が生成されると、これらの画像は、強調された出力画像2701を生成するために統合されうる(2698)。この統合は、2つの強調された画像の加算を含みうる。
本発明の一部の実施形態について、図128を参照しながら説明する。これらの実施形態では、入力画像2710はフィルタモジュール2730に入力されうる。フィルタモジュール2730は、画像周波数分解のための1つ以上のフィルタあるいはその他の要素を含んでいる。フィルタモジュール2730処理によって、第1の周波数範囲画像2732および第2の周波数範囲画像2734が生じうる。一部の実施形態では、上記第1の周波数範囲画像は、別々のカラーチャンネルコード値2736へのアクセスを可能にするために変換されうる。一部の実施形態では、上記入力画像は、何らの変換もなしにカラーチャンネルコード値へのアクセスを可能にしうる。第1の周波数範囲の第1のカラーチャンネル2738のためのコード値が決定されうる。また、第1の周波数範囲の第2のカラーチャンネル2740のためのコード値が決定されうる。
これらのコード値は、コード値特性を決定しうるコード値特性解析器2742に入力されうる。次に、コード値選択器2744が、コード値解析に基づいてコード値のうちの1つを選択しうる。次に、この選択は、調整モデル選択器または生成器2745に入力されうる。調整モデル選択器または生成器2745は、上記コード値選択に基づいて、ゲイン値またはゲイン処理を生成または選択しうる。
これらの実施形態では、次に、第1の周波数範囲ゲイン画像2746を取得するために、選択された上記ゲイン値または処理が、入力画像2710または第1の周波数範囲画像2732に適用されうる。第1の周波数範囲ゲイン画像2746は、ゲイン処理を機能させるために画像値によって乗算されるゲイン値を表しうる。次に、第1の周波数範囲平滑化されたゲイン画像を生成するために、第1の周波数範囲ゲイン画像2746が空間的に平滑化されうる(2747)。
次に、平滑化された第1の周波数範囲ゲイン画像が第1の周波数範囲コード値に適用されうる(2748)。第2の周波数範囲画像2734には、ゲインマップ(2752)が適用されうる(2753)。一部の実施形態では、第2の周波数範囲画像内の全ての画素に対して一定の利得係数が適用されうる。一部の実施形態では、第2の周波数範囲画像は、入力画像2710の高域バージョンでありうる。調整された出力画像2756を生成するために、調整された第1の周波数範囲画像2750および調整された第2の周波数範囲画像2753は、加算または統合されうる(2754)。
本発明の一部の実施形態について、図129を参照しながら説明する。これらの実施形態では、入力画像2710は、当該画像を複数の周波数範囲画像に分割するためのフィルタ2760または他のプロセッサに送られうる。一部の実施形態では、フィルタ2760は、LPフィルタで生成されたLP画像を入力画像から減算して高域(HP)画像を生成するための、低域(LP)フィルタおよびプロセッサを含みうる。フィルタモジュール2760は、それぞれが特定の周波数範囲を有する2つ以上の周波数特異的な画像2762、2764を出力しうる。第1の周波数範囲画像2762は、第1のカラーチャンネル2766および第2のカラーチャンネル2768のためのカラーチャンネルデータを含みうる。これらカラーチャンネルのためのコード値は、コード値特性評価器2770および/またはコード値選択器2772に送られうる。この処理によって、カラーチャンネルコード値のうちの1つが選択される。一部の実施形態では、特定の画素位置のためのカラーチャンネルデータから最大コード値が選択される。この選択されたコード値は、調整モード生成器2773に送られ、調整モード生成器2773は、コード値調整モデルを生成する。一部の実施形態では、この調整モデルは、ゲインマップまたはゲイン値を含みうる。
次に、第1の周波数範囲ゲイン画像2774を生成するために、上記ゲインマップまたはゲイン値が入力画像2710または第1の周波数範囲画像2762に適用されうる。第1の周波数範囲ゲイン画像2774は、各画素位置のための値を表しうる。これらの値によって、ゲイン処理を機能させるために、対応する画像値が乗算されうる。次に、第1の周波数範囲平滑化された画像2775を生成するために、上記ゲイン画像2774が空間的に平滑化されうる。
次に、第1の周波数範囲調整された画像2778を生成するために、第1の周波数範囲平滑化されたゲイン画像2775が、入力画像2710または第1の周波数範囲画像2762に適用されうる(2776)。
第2の周波数範囲画像2764は、必要に応じて、そのコード値をブーストするために別々のゲイン関数2765によって調整されうる。一部の実施形態では、調整は適用されない。別の実施形態では、第2の周波数範囲画像内の全てのコード値に対して一定の利得係数が適用されうる。この第2の周波数範囲画像は、調整および統合された画像2781を形成するために、調整された第1の周波数範囲画像2778と統合されうる(2780)。
一部の実施形態では、第1の周波数範囲画像への調整モデルの適用、および/または、第2の周波数範囲画像へのゲイン関数の適用によって、一部の画像コード値が表示装置または画像形式の範囲を超える場合がある。このような場合、コード値を必要な範囲に「クリッピングする」必要がありうる。一部の実施形態では、色保持クリッピング処理2782が用いられうる。これらの実施形態では、特定範囲外のコード値は、色値と色値との間の関係を保持する方法でクリッピングされうる。一部の実施形態では、解析下にある画素のための最大カラーチャンネルコード値で除算された、必要とされる最大範囲値よりも大きくない乗数が算出されうる。これによって、1より小さく、かつ「特大」コード値を必要な範囲の最大値まで小さくする、「ゲイン」因子が生じる。この「ゲイン」またはクリッピング値は、画素の色を保持するために全てのカラーチャンネルコード値に適用される一方で、全てのコード値が、最大値または特定範囲以下の値まで下げられうる。このクリッピング処理を適用することによって、全てのコード値が特定範囲内にあると共にコード値の色関係を維持する、調整された出力画像2784が生じる。
(周辺状態の補正)
本発明の一部の実施形態は、周辺光状態を補償する方法およびシステムを含んでいる。これら実施形態の一部について、図130を参照しながら説明する。これらの実施形態は、画像を強調するために用いられるトーンスケールの導出に関連するレチナールモデルを含んでいる。一部の実施形態は、バックライト変動を補償するための画像強調のための方法およびシステムも含んでいる。一部の実施形態は、レチナールモデルを採用し、2つの異なる適応輝度レベルにおいてレチナール応答(retina response)を実質的に等しく維持するために必要とされる輝度の変化を調べる。一部の実施形態では、レチナールモデルは、必要とされる輝度変化が倍数的に増加するためバックライトの変化と等しくなるという特性を有している。等しいレチナール応答を維持するためには、バックライトの相対変化が必要とされる。必要とされるバックライトの増加は、明るさ保持アルゴリズムを用いてエミュレートすることができる。
図130に示されている典型的なシステムでは、レチナールモデル2802への標準的な入力として周辺基準2800が選択されて、様々な強度レベルに対するレチナール応答が決定される。ディスプレイを囲む周辺照明の強度を測度するために、周辺照明センサ2801も用いられる。周辺センサ2801からの出力はレチナールモデル2803に入力されて、周辺レベルにおけるレチナール応答が決定される。次に、画像補正処理を決定するために、基準周辺レチナールモデル2802および周辺センサレチナールモデル2803からのレチナール応答が補正計算機2804内において用いられる。一部の実施形態では、補正計算機2804は、原画像が基準周辺レベルにおいて生成する周辺照明レベルにおいて実質的に同一のレチナール応答を生成する画像補正値を決定しうる。一部の実施形態では、実質的に同一の応答を生成しないが、画像強調との組み合わせによって実質的に同一のレチナール応答を生成する画像補正値が決定されうる。場合によって、画像強調はレチナール応答値の差を補償しうる。他の場合では、基準周辺レベルにおいて達成されるレチナール応答は、合致はしないが補正バックライト値の算出に用いられうる。
画像補正値が決定された後、この値は、トーンスケールカーブまたは画像を強調する他の修正機構の決定のために画像強調モジュール2807に送られうる。一部の実施形態では、画像強調モジュール2807は、画像を補正するトーンスケール修正カーブを生成しうる。一部の実施形態では、画像強調モジュール2807は、補正計算機2804と共に機能して所望の画像処理結果を達成しうる。例えば、一部の実施形態および状況では、トーンスケール修正処理は、周辺光状態ゆえにレチナール応答の損失を完全に補償しない場合がある。これらの実施形態では、周辺光状態を部分的に補償するバックライトレベルが補正計算機2804によって選択され、画像強調モジュール2807は、バックライトの部分的な補正を補う画像強調処理を生成しうる。
一部の実施形態では、画像強調モジュール2807が補正計算機2804からの入力によって画像強調処理(例えばトーンスケール処理)を生成すると、原画像2805のコード値2806に強調処理が適用される。この処理によって、強調された画像2809のための強調されたコード値2808が生じる。次に、この強調されたコード値2808はディスプレイ2810に送られうる。
図131に示されている別の典型的なシステムでは、様々な強度レベルに対するレチナール応答を決定するために、レチナールモデル2822への標準的な入力として周辺基準2820が選択される。ディスプレイを囲む周辺照明の強度を測度するために、周辺照明センサ2821も用いられる。周辺センサ2821からの出力はレチナールモデル2823に入力されて、周辺レベルにおけるレチナール応答が決定される。次に、画像補正処理を決定するために、基準周辺レチナールモデル2822および周辺センサレチナールモデル2823からのレチナール応答が、補正計算機2824内において用いられる。基準ディスプレイモデル2831は、補正計算機2824へ入力を与えうる。反射成分を有するディスプレイの反射力および/または他の特性を表すディスプレイ反射率モデル2832は、補正計算機2824へ入力を与えうる。
一部の実施形態では、補正計算機2824は、標準的な画像値が基準周辺レベルにおいて生成する周辺照明レベルにおいて実質的に同一のレチナール応答を生成する1つまたは複数の画像補正値を決定しうる。場合によって、画像強調はレチナール応答値の差を補償しうる。他の場合では、基準周辺レベルにおいて達成されるレチナール応答は、合致はしないが補正バックライト値の算出に用いられうる。
レチナール応答補正値が決定された後、この値は、トーンスケールカーブまたは画像を強調する他の修正機構の決定のために、画像強調モジュール2827に送られうる。一部の実施形態では、画像強調モジュール2807は、周辺状態に合わせて画像を補正するトーンスケール修正カーブを生成しうる。
一部の実施形態では、画像強調モジュール2827が補正計算機2824からの入力によって画像強調処理(例えばトーンスケール処理)を生成すると、原画像2825のコード値2826に強調処理が適用される。この処理によって、強調された画像2829のための強調されたコード値2828が生じる。次に、この強調されたコード値2808はディスプレイ2830に送られうる。
図132に示されている別の典型的なシステムでは、様々な強度レベルに対するレチナール応答を決定するために、レチナールモデル2842への標準的な入力として周辺基準2840が選択される。ディスプレイを囲む周辺照明の強度を測度するために、周辺照明センサ2841も用いられる。周辺センサ2841からの出力はレチナールモデル2843に入力されて、周辺レベルにおけるレチナール応答が決定される。次に、レチナール応答補正処理を決定するために、基準周辺レチナールモデル2842および周辺センサレチナールモデル2843からのレチナール応答が、補正計算機2844内において用いられる。基準ディスプレイモデル2851は、補正計算機2844へ入力を与えうる。反射成分を有するディスプレイの反射力および/または他の特性を表すディスプレイ反射率モデル2852は、補正計算機2844へ入力を与えうる。
一部の実施形態では、補正計算機2844は、標準的な画像が基準周辺レベルにおいて生成する周辺照明レベルにおいて実質的に同一のレチナール応答を生成する1つまたは複数のレチナール応答補正値を決定しうる。場合によって、画像強調はレチナール応答値の差を補償しうる。他の場合では、基準周辺レベルにおいて達成されるレチナール応答は、周辺状態と基準状態との間におけるレチナール応答の差を部分的にのみ補償しうる。
一部の実施形態では、補正計算機2844によってレチナール応答補正値が決定された後、このレチナール応答補正値は、ゲイン参照テーブル(LUT)モジュール2853に送られて、ゲインLUTを選択または生成するために用いられうる。原画像または画像データ2845およびゲインLUT選択は、色ゲイン画像の生成のために色ゲイン画像生成器2854に送られうる。次に、この色ゲイン画像は、MinGain()関数2856を用いて修正されうる。一部の実施形態では、このMinGain()関数2856は、前述のように色保持処理を行いうる。次に、生じるMinGain画像が平滑化されうる(2857)。一部の実施形態では、この平滑化は、前述のように行われうる。
次に、強調された出力画像2850を定義する強調されたコード値2848を生成するために、平滑化されたゲイン画像2846が当初の画像コード値2646と統合されうる(2847)。
上記方法は、図144に示されているように、周辺照明に合わせて画像を補正するディスプレイシステム内に組み込むことができる。このシステムは、基準周辺照明レベルのためのストレージ(2900)と、ディスプレイ付近における実際の周辺照明レベルを決定するセンサ(2901)と、上記実際の周辺照明レベルおよび上記基準周辺照明レベルに基づいて画像補正スケーリング関数を決定する補正計算機(2902)と、当該画像補正スケーリング関数によって画像コード値を調整する画像プロセッサ(2903)とを含んでいる。
一部の実施形態は、式63に記載されている典型的なレチナールモデルを含みうる。
典型的なレチナールモデルの式
Figure 2009265678
図133には、異なる複数の適応された輝度レベルにおけるサンプルレチナール応答カーブが示されている。刺激輝度100cd/mによる応答は、破線2864で示されている。低い適応輝度2860(30cd/m)では、この刺激輝度によって比較的大きい応答0.50が得られる。この刺激輝度への応答は、適応輝度が増加して(2861、2862)、適応輝度3000cd/m2863において値0.05に達するときに低下する。
このモデルを数学的に逆にして、レチナール応答および適応パラメータアルファαの関数として刺激輝度を求めることができる。この逆相関は、式64の逆レチナールモデルに示されている。
逆レチナールモデル
Figure 2009265678
図134には、逆レチナール応答がプロットされている。
式65には、レチナールモデルの等価形式(equivalent form)が示されている。これらの実施形態では、この形式により、モデルレチナール出力が、パラメータアルファに対するYの比率のみに依存することが明らかである。
等価のレチナールモデル
Figure 2009265678
パラメータアルファは、次式66において、適応輝度に依存するものとしてモデリングされる。これをグラフ化すると、図135に示されているように、log-logプロットで直線として表される。
シグマのためのモデル
Figure 2009265678
一部の実施形態では、等しいレチナール応答のための条件は、輝度とパラメータアルファとの比率が一定であることである。一部の実施形態では、これによって、適応輝度レベルのみに依存する定数が定義される。この関係によって、式67に示されているように、適応の1つのレベルにおける輝度値が適応の第2のレベルにおける輝度レベルに対してスケーリングされて、レチナール応答が同一に維持される。
等しいレチナール応答のための典型的な条件
Figure 2009265678
前述した実施形態の解析は、複数の異なる周辺光レベルでのディスプレイ視認時におけるレチナール応答の保持が、適応レベルによって決定された定数で輝度をスケーリングすることによって達成されることを示している。相対比率は式68のように表すことができる。適応輝度およびパラメータbのみに依存しており、c1には依存していない点に留意されたい(c2はゼロであると仮定する)。適応輝度値の比率は、周囲の反射率が一定であると仮定して、周辺強度の比率と等しい。この態様(development)では、周辺強度と基準周辺強度との比率のみが必要であって、絶対数は必要ではない。絶対周辺強度レベル(lux)から、これと対応する周囲輝度に変換するために絶対数が必要である場合、我々は、反射面が理想的なランバート反射器であると仮定することができる。これは、周囲輝度(cd/m)が、周辺強度(lux)をpiで除算した値と等しいことを示唆している。
Figure 2009265678
相対比率
Figure 2009265678
前述の他の実施形態は、画像処理を用いてどのようにバックライトの変化をエミュレートし、従ってどのように輝度をスケーリングするのかを示している。輝度は、ディスプレイから発せられた光とフレア光に依存する周辺光との両方からなることに留意されたい。本明細書の残りの部分において、我々は、式67の基本的なレチナール応答マッチング結果に複数の異なるディスプレイモデルを適用して、適応に起因するレチナール応答の変化を補償するための必要な画像処理を決定する。
(透過型ディスプレイモデルの実施形態)
フレアの項を無視し、ディスプレイ出力を純粋な透過性として概算することによって、ディスプレイ出力輝度を式69によってモデリングすることができる。
LCDディスプレイモデル
Figure 2009265678
従って、ディスプレイの反射はゼロであると仮定される。透過反射型ディスプレイに関する以下の記載は、非ゼロのディスプレイ反射の問題に対処する。我々は解析において、最大限のバックライトでのLCDの最大輝度が100cd/mであると仮定し、ディスプレイ上の画像に起因するレチナール応答への適応輝度の影響を調べる。図136には、複数の異なる適応輝度レベルにけるディスプレイのレチナール応答が示されている。
この解析では、適応輝度の上昇に伴ってレチナール応答値の範囲が小さくなる。画像コード値の全範囲は、レチナール応答値の可能な範囲にマッピングされる。レチナール応答値の範囲が小さくなるにつれ、画像値間の可視コントラストが低下して画質が低下する。
(補正)
式67に示されている複数の異なる適応レベルにおける一定の神経応答(neural response)に必要とされる輝度のスケーリングは、式70に示されているように、バックライトの差によって生じるスケーリングと数学的に等価である。
輝度マッチングの条件
Figure 2009265678
従って、バックライトの低下を補償するために用いられる画像処理を、適応レベルの変化に適用することができる。等価のバックライト変化は式71によって表される。
等価のバックライト変化
Figure 2009265678
このバックライトレベル変化を補償するために必要な画像処理を決定するために、従来の輝度マッチングを用いることができる。例えば、前述の輝度マッチングの導出において用いられたような単純なガンマディスプレイモデルが用いられる場合、コード値は、この比率によって1/ガンマの累乗にスケーリングされる。すなわち式72に示されているようにスケーリングされる。
典型的なスケーリング比率
Figure 2009265678
ここで、cは当初の画像コード値であり、cは補正された画像コード値であり、Y Adaptedは基準周辺照明レベルであり、Y Adaptedは実際の周辺照明レベルであり、bは0.5から1の間で変動しうる定数であり、γはディスプレイガンマ値である。この関係は、大きいコード値に対してクリッピングされなければならない。図137には、適応補正トーンスケールが示されている。本実施例では、ディスプレイの最大輝度は100cd/mであり、基準適応輝度は30cd/mが選択された。
図138には、補正トーンスケールが用いられるときの複数の異なる適応レベル下における、上記ディスプレイのレチナール応答が示されている。各適応輝度において、より低い範囲のコード値によってレチナール応答が適応輝度変化と同一になることが観察される。従って、この範囲において画像コントラストが保持される。より高い範囲のコード値は、バックライト補正の場合と同様にクリッピングされる。バックライト補正の適用において明るい細部を保持するために用いられる技術を、クリッピングされる領域内の細部を保持するためにここで適用することができることに留意されたい。後述の透過反射型ディスプレイの記載も参照されたい。
本実施例におけるトーンスケールの目標は、可能な限りレチナール応答を回復することである。この結果、補正は、画像の下方値を完全に回復するが、より高いレチナール応答値を達成することはできず、可能な限り高いレチナール応答を単に用いるにすぎない。実際は、バックライト補正において用いる平滑なトーンスケール設計のように、ソフトクリッピングを用いることによってハードクリッピング結果を低減することができる。さらに、クリッピングは、補正をわずかに不十分にすることによって、つまり、高い値のクリッピングを低減するために低い値における厳密なレチナール応答補正をトレードオフすることによって、低減することができる。
(フレアの包含)
周辺依存性フレア光を含ませる場合であっても、レチナール応答マッチングに必要な輝度は、式67に記載されているように比率またはモデルパラメータアルファでスケーリングするが、全体的な輝度は、式73に示されているように、表示される画像輝度とフレア光との和となる。
フレアを含む全体的な輝度
Figure 2009265678
2つの周辺レベルA1およびA2でのレチナール応答マッチングのための条件は、以下の通りとなる。
フレアを含む等しいレチナール応答
Figure 2009265678
ディスプレイがガンマべき関数でモデリングされ、ディスプレイ外のフレアが周辺光と比例する場合、上記のように補正トーンカーブを決定するために、レチナール応答をマッチングするための条件を用いることができる。この場合、補正トーンカーブは周辺光レベルおよびディスプレイ反射力の両方に依存する。
Figure 2009265678
ここで、c1は当初の画像コード値であり、cは補正された画像コード値であり、I Ambientは基準周辺照明レベルであり、I Ambientは実際の周辺照明レベルであり、bは0.5から1の間で変動しうる定数であり、Bはバックライト強度値であり、rはディスプレイの反射率値であり、γはディスプレイガンマ値である。フレアの影響を示すために、図139および図140にそれぞれ示されているように、補正結果を複数の異なる周辺光レベルにおいて2つの異なるディスプレイ反射力値0.1%および1.0%に対してプロットすることができる。周辺レベルおよび適応輝度は、前述のように完璧なランバート反射の仮定によって関連付けられる。反射力は、ディスプレイの暗レベルに影響を与える。ディスプレイの明るい縁におけるレチナール応答は、前述の透過型の場合と同様に適応に起因して低減される。
(透過反射型LCD)
透過反射型LCDは、高い周辺環境において用いられる場合が多い。我々は後述の実施形態において、透過反射型LCDのためのモデルを導入し、これを前述の神経応答マッチングの態様に適用する。一部の実施形態では、透過反射型ディスプレイは、透過性成分および反射性成分の両方に対して等しいガンマ値を有するものと仮定される。透過性成分および反射性成分は、説明および導出をより簡素にするために等しい値で示されるものと仮定する。しかし、これらの仮定をすることなく、バリエーションを同様に示すことができる。
透過反射型ディスプレイのためのモデル
Figure 2009265678
このモデルは、周辺の項または反射性の項がゼロであるときに、我々の従来の純然たる透過型モデルに帰着することに言及しておく。我々は式を簡素化し、さらなる解析においてバックライトは一定であると仮定する。
簡素化された透過反射型モデル
Figure 2009265678
上記式には、付加的なフレアの項を含ませることができる。
我々は、反射率Rが10である透過反射型ディスプレイを選択し、適応輝度の関数としてレチナール応答を決定する。図141には、複数の異なる適応下にあるレチナール応答が示されている。
バックライトは等しいが適応輝度レベルは異なると仮定した神経応答のマッチングのための条件は、以下のように導かれる。
等しい神経応答:
フレアを含む等しいレチナール応答を有する透過反射型ディスプレイ
Figure 2009265678
透過反射型LCDの補正
Figure 2009265678
ここで、c1は当初の画像コード値であり、cは補正された画像コード値であり、I Ambientは基準周辺照明レベルであり、I Ambientは実際の周辺照明レベルであり、bは0.5から1の間で変動しうる定数であり、Bはバックライト強度値であり、rはディスプレイの反射率値であり、Rはディスプレイの反射力であり、γはディスプレイガンマ値である。図142には、R=10%、スクリーン反射率に起因するフレアが1.0%である透過反射型ディスプレイの補正結果が示されている。図143には、サンプル透過反射型ディスプレイで補正トーンスケールを用いた場合のレチナール応答結果が示されている。
一部の実施形態では、我々は明るさまたは輝度の補正に焦点を合わせた。これらの実施例は、補正トーンスケールの導出のみを示している。一部の実施形態では、これらから得られる単純な補正トーンスケールに加えて、周辺照明レベルおよび実際の周辺照明レベルに基づくバックライト補正値を用いることができる。LCDバックライトを低減し、このバックライト低減を補償するために当該LCDに送られるデータを同時に修正することによって得られるバックライト補正値の使用によって、動的コントラストを改善することができ、節電をさらに改善することができる。追加の形態は、反射性の原色(primary)と透過反射性の原色との間における色ガモットの変動である。
ディスプレイシステムは、コンピュータシステム上に、周辺照明に合わせて画像を補正するために用いられるコンピュータプログラムを有することもできる。このコンピュータプログラムは、光ディスクまたは磁気ディスクなどの記憶装置に記憶される。
コンテンツデータおよびコンテンツ処理デバイスの機能を行うコンピュータプログラムを含む記憶装置は、CD−ROM(コンパクトディスク読み出し専用メモリ)、MO(光磁気ディスク)、MD(ミニディスク)、またはDVD(デジタル多用途ディスク)などの光ディスク、あるいはFD(フレキシブルディスク)またはハードディスクなどの磁気ディスクに限定されるものでは決してない。このような記憶装置の例としては、磁気テープおよび書き込みセットテープなどのテープ、IC(集積回路)カード光カードなどのカード記憶媒体、およびマスクROM、EPROM(消去可能プログラマブルROM)、EEPROM(電気的消去可能プログラマブルROM)、およびフラッシュROMなどの半導体メモリが含まれる。しかしコンピュータシステムは、これらの記憶媒体からの検索のために読み出し装置を備えている必要がある。
本明細書において使用されている用語および表現は、説明するための用語として用いられているのであって、限定するための用語として用いられているのではない。このような用語および表現の使用にあたり、説明および図示されている特徴およびその一部の均等物を排除する意図はない。本発明の範囲は、特許請求の範囲のみによって定義および限定されるものと認識されたい。

Claims (20)

  1. 画像補正方法を決定する方法であって、
    a)基準周辺照明レベルを選択するステップと、
    b)上記基準周辺照明レベルに基づいて、第1レチナールモデルを用いて、基準レチナール応答を決定するステップと、
    c)ディスプレイ付近における実際の周辺照明レベルを決定するステップと、
    d)上記実際の周辺照明レベルに基づいて、第2レチナールモデルを用いて、実際のレチナール応答を決定するステップと、
    e)上記基準レチナール応答および上記実際のレチナール応答に基づいて、画像補正値を決定するステップと、を含む方法。
  2. 上記第1レチナールモデルおよび上記第2レチナールモデルのうちの少なくとも1つは、以下の式に記載されている関係を用いる、請求項1に記載の方法。
    Figure 2009265678
    ここで、R(Y,α)はレチナールモデル、Yは測定されたディスプレイ輝度値、Yadaptedは周辺輝度値、nはレチナール応答指数、c、b、およびcはここで示されるように、定数である。
  3. 上記画像補正値に基づいて画像強調トーンスケールカーブを決定するステップをさらに含む、請求項1に記載の方法。
  4. 画像補正値を決定する上記ステップは、ディスプレイモデルにも基づいている、請求項1に記載の方法。
  5. 画像補正値を決定する上記ステップは、ディスプレイ反射率モデルにも基づいている、請求項1に記載の方法。
  6. 画像強調トーンスケールカーブを決定する上記ステップは、原入力画像にも基づいている、請求項3に記載の方法。
  7. 画像強調トーンスケールカーブを決定する上記ステップは、原入力画像のための色値にも基づく、請求項3に記載の方法。
  8. 周辺照明に合わせて画像を補正する方法であって、
    a)基準周辺照明レベルを選択するステップと、
    b)ディスプレイ付近における実際の周辺照明レベルを決定するステップと、
    c)上記実際の周辺照明レベルおよび上記基準周辺照明レベルに基づいて、画像補正スケーリング関数を決定するステップと、
    d)上記画像補正スケーリング関数を用いて画像コード値を調整するステップと、を含む方法。
  9. 上記画像補正スケーリング関数は、ディスプレイモデルに関連している、請求項8に記載の方法。
  10. 上記画像補正スケーリング関数は、ディスプレイ反射率モデルに関連している、請求項8に記載の方法。
  11. 上記画像補正スケーリング関数は、透過反射型ディスプレイモデルに関連している、請求項8に記載の方法。
  12. 上記画像補正スケーリング関数は以下によって定義される、請求項8に記載の方法。
    Figure 2009265678
    ここで、cvは当初の画像コード値、cvは補正された画像コード値、YReferenceは上記基準周辺照明レベル、YAmbientは上記実際の周辺照明レベル、bは0.5から1の間で変動しうる定数、およびγはディスプレイガンマ値である。
  13. 上記画像補正スケーリング関数は以下によって定義される、請求項8に記載の方法。
    Figure 2009265678
    ここで、cvは当初の画像コード値、cvは補正された画像コード値、IReferenceは上記基準周辺照明レベル、IAmbientは上記実際の周辺照明レベル、bは0.5から1の間で変動しうる定数、Bはバックライト強度値、rはディスプレイ反射率値、およびγはディスプレイガンマ値である。
  14. 上記画像補正スケーリング関数は以下によって定義される、請求項8に記載の方法。
    Figure 2009265678
    ここで、cvは当初の画像コード値、cvは補正された画像コード値、IReferenceは上記基準周辺照明レベル、IAmbientは上記実際の周辺照明レベル、bは0.5から1の間で変動しうる定数、Bはバックライト強度値、rはディスプレイ反射率値、Rはディスプレイ反射力、およびγはディスプレイガンマ値である。
  15. 上記基準周辺照明レベルおよび上記実際の周辺照明レベルに基づいて、ディスプレイのバックライト補正値を決定するステップをさらに含む、請求項8に記載の方法。
  16. 周辺照明に合わせて画像を補正するシステムであって、
    a)基準周辺照明レベルのためのストレージと、
    b)ディスプレイ付近における実際の周辺照明レベルを決定するセンサと、
    c)上記実際の周辺照明レベルおよび上記基準周辺照明レベルに基づいて画像補正スケーリング関数を決定する補正計算機と、
    d)上記画像補正スケーリング関数を用いて画像コード値を調整する画像プロセッサと、を含むシステム。
  17. 上記画像補正スケーリング関数は以下によって定義される、請求項16に記載のシステム。
    Figure 2009265678
    ここで、cvは当初の画像コード値、cvは補正された画像コード値、YReferenceは上記基準周辺照明レベル、YAmbientは上記実際の周辺照明レベル、bは0.5から1の間で変動しうる定数、およびγはディスプレイガンマ値である。
  18. 上記画像補正スケーリング関数は以下によって定義される、請求項16に記載のシステム。
    Figure 2009265678
    ここで、cvは当初の画像コード値、cvは補正された画像コード値、IReferenceは上記基準周辺照明レベル、IAmbientは上記実際の周辺照明レベル、bは0.5から1の間で変動しうる定数、Bはバックライト強度値、rはディスプレイ反射率値、およびγはディスプレイガンマ値である。
  19. 上記画像補正スケーリング関数は以下によって定義される、請求項16に記載のシステム。
    Figure 2009265678
    ここで、cvは当初の画像コード値、cvは補正された画像コード値、IReferenceは上記基準周辺照明レベル、IAmbientは上記実際の周辺照明レベル、bは0.5から1の間で変動しうる定数、Bはバックライト強度値、rはディスプレイ反射率値、Rはディスプレイ反射力、およびγはディスプレイガンマ値である。
  20. 上記補正計算機は、上記基準周辺照明レベルおよび上記実際の周辺照明レベルに基づいてディスプレイのバックライト補正値を決定する、請求項16に記載のシステム。
JP2009109972A 2008-04-28 2009-04-28 周辺状態に合わせた画像補正のための方法およびシステム Pending JP2009265678A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/111,113 US8531379B2 (en) 2008-04-28 2008-04-28 Methods and systems for image compensation for ambient conditions

Publications (1)

Publication Number Publication Date
JP2009265678A true JP2009265678A (ja) 2009-11-12

Family

ID=41214509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009109972A Pending JP2009265678A (ja) 2008-04-28 2009-04-28 周辺状態に合わせた画像補正のための方法およびシステム

Country Status (2)

Country Link
US (1) US8531379B2 (ja)
JP (1) JP2009265678A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112726A (ja) * 2009-11-24 2011-06-09 Funai Electric Co Ltd 画像表示装置およびテレビジョン
JP2011128325A (ja) * 2009-12-17 2011-06-30 Sharp Corp 表示装置
JP2011242460A (ja) * 2010-05-14 2011-12-01 Canon Inc 液晶表示装置
CN108009993A (zh) * 2016-10-31 2018-05-08 乐金显示有限公司 处理高动态范围图像的方法和模块以及使用其的显示设备
JP2019053711A (ja) * 2017-09-15 2019-04-04 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4552986B2 (ja) * 2007-08-31 2010-09-29 ソニー株式会社 画像表示装置
JP5321032B2 (ja) * 2008-12-11 2013-10-23 ソニー株式会社 表示装置、輝度調整装置、輝度調整方法及びプログラム
JP5304211B2 (ja) * 2008-12-11 2013-10-02 ソニー株式会社 表示装置、輝度調整装置、バックライト装置、輝度調整方法及びプログラム
CN101901581A (zh) * 2009-05-31 2010-12-01 鸿富锦精密工业(深圳)有限公司 液晶显示器及其显示参数调节方法
KR101356370B1 (ko) * 2009-07-31 2014-01-27 엘지디스플레이 주식회사 데이터 보정방법 및 이를 이용한 액정표시장치
TWI424417B (zh) * 2009-09-03 2014-01-21 Chunghwa Picture Tubes Ltd 顯示裝置及其背光控制方法
US20110074803A1 (en) * 2009-09-29 2011-03-31 Louis Joseph Kerofsky Methods and Systems for Ambient-Illumination-Selective Display Backlight Modification and Image Enhancement
US8279349B2 (en) * 2009-11-17 2012-10-02 Nice Systems Ltd. Automatic control of visual parameters in video processing
TWI517126B (zh) * 2009-12-16 2016-01-11 杜比實驗室特許公司 使用影像資料區段統計屬性之背光控制方法與系統
WO2011106247A2 (en) * 2010-02-24 2011-09-01 Dolby Laboratories Licensing Corporation Display management methods and apparatus
TWI444987B (zh) * 2010-07-09 2014-07-11 Realtek Semiconductor Corp 對比調變裝置及其方法
WO2012030622A1 (en) 2010-08-31 2012-03-08 Dolby Laboratories Licensing Corporation Ambient black level
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
KR101778997B1 (ko) * 2011-05-02 2017-09-18 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20140110071A (ko) 2011-05-27 2014-09-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
TW201305998A (zh) * 2011-07-20 2013-02-01 Hon Hai Prec Ind Co Ltd 調整背光亮度的電子裝置及其背光亮度調整方法
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
US10242650B2 (en) 2011-12-06 2019-03-26 Dolby Laboratories Licensing Corporation Perceptual luminance nonlinearity-based image data exchange across different display capabilities
CN106095358B (zh) 2011-12-06 2019-05-14 杜比实验室特许公司 改进不同显示能力之间基于感知照度非线性的图像数据交换的装置和方法
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
JP5085793B1 (ja) * 2012-02-08 2012-11-28 シャープ株式会社 映像表示装置およびテレビ受信装置
US20130271437A1 (en) * 2012-04-13 2013-10-17 Qualcomm Mems Technologies, Inc. Color performance of reflective-displays using environmental spectral sensing
JP6021916B2 (ja) * 2012-07-19 2016-11-09 富士フイルム株式会社 画像表示装置及び方法
CN103024320B (zh) * 2012-12-14 2015-08-19 四川长虹电器股份有限公司 一种液晶电视动态背光下的图像亮度自动补偿方法及装置
US9552781B2 (en) * 2013-03-15 2017-01-24 Intel Corporation Content adaptive LCD backlight control
GB2521866A (en) * 2014-01-07 2015-07-08 Nokia Technologies Oy An apparatus and/or method and/or computer program for creating images adapted for transflective displays
US9799257B2 (en) * 2014-06-02 2017-10-24 Samsung Display Co., Ltd. Hierarchical prediction for pixel parameter compression
EP3086311A4 (en) * 2015-01-15 2017-09-27 Xiaomi Inc. Method and device for adjusting display brightness
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
AU2015207818A1 (en) * 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
US9648261B2 (en) 2015-08-26 2017-05-09 Apple Inc. Account for clipped pixels in auto-focus statistics collection
US9997137B2 (en) 2015-09-30 2018-06-12 Apple Inc. Content-based statistics for ambient light sensing
KR102423234B1 (ko) * 2015-10-22 2022-07-22 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 휘도 보정 시스템
CN105898174A (zh) * 2015-12-04 2016-08-24 乐视网信息技术(北京)股份有限公司 用于提高视频清晰度的方法及设备
EP3552178B1 (en) 2016-12-12 2022-06-01 Dolby Laboratories Licensing Corporation Systems and methods for adjusting video processing curves for high dynamic range images
EP3559933A1 (en) 2016-12-22 2019-10-30 Dolby Laboratories Licensing Corporation Ambient light-adaptive display management
US10170063B2 (en) * 2017-05-03 2019-01-01 Shenzhen China Star Optoelectronics Technology Co., Ltd Mura compensation method for display panel and display panel
JP6978634B1 (ja) 2018-09-17 2021-12-08 ドルビー ラボラトリーズ ライセンシング コーポレイション パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング
CN111951745A (zh) * 2019-05-16 2020-11-17 钰纬科技开发股份有限公司 一种显示器的影像调校装置及其校正方法
CN110211070B (zh) * 2019-06-05 2023-04-14 电子科技大学 一种基于局部极值的低照度彩色图像增强方法
US10937358B2 (en) * 2019-06-28 2021-03-02 Intel Corporation Systems and methods of reducing display power consumption with minimal effect on image quality
CN110473499B (zh) * 2019-07-18 2023-11-21 武汉天马微电子有限公司 用于显示面板的伽马电压调试方法、显示面板及显示装置
CN114556907A (zh) * 2019-10-10 2022-05-27 麦克赛尔株式会社 影像显示装置以及投影仪
CN110767170B (zh) * 2019-11-05 2020-11-10 深圳市华星光电半导体显示技术有限公司 画面显示方法及画面显示装置
KR20230003002A (ko) 2020-04-28 2023-01-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 Hdr 디스플레이들을 위한 이미지 의존적 콘트라스트 및 밝기 제어
CN111883070B (zh) * 2020-07-30 2021-09-10 重庆惠科金渝光电科技有限公司 一种显示面板的驱动方法、驱动模块和显示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3550202B2 (ja) * 1993-12-27 2004-08-04 株式会社東芝 表示装置

Family Cites Families (193)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4020462A (en) 1975-12-08 1977-04-26 International Business Machines Corporation Method and apparatus for form removal from contour compressed image data
JPH0143510B2 (ja) 1978-09-28 1989-09-21 Eastman Kodak Co
US4196452A (en) 1978-12-01 1980-04-01 Xerox Corporation Tone error control for image contour removal
US4223340A (en) 1979-05-11 1980-09-16 Rca Corporation Image detail improvement in a vertical detail enhancement system
US4268864A (en) 1979-12-05 1981-05-19 Cbs Inc. Image enhancement system for television
US4402006A (en) 1981-02-23 1983-08-30 Karlock James A Image enhancer apparatus
US4549212A (en) 1983-08-11 1985-10-22 Eastman Kodak Company Image processing method using a collapsed Walsh-Hadamard transform
US4553165A (en) 1983-08-11 1985-11-12 Eastman Kodak Company Transform processing method for reducing noise in an image
GB8329109D0 (en) 1983-11-01 1983-12-07 Rca Corp Perceived signal-to-noise ratio of displayed images
US4709262A (en) 1985-04-12 1987-11-24 Hazeltine Corporation Color monitor with improved color accuracy and current sensor
US4847603A (en) 1986-05-01 1989-07-11 Blanchard Clark E Automatic closed loop scaling and drift correcting system and method particularly for aircraft head up displays
JP2543567B2 (ja) 1988-04-07 1996-10-16 株式会社日立製作所 ダイナミックノイズリダクション回路及びこれを用いたテレビジョン受信機
DE3918990A1 (de) 1989-06-10 1990-12-13 Zeiss Carl Fa Mikroskop mit bildhelligkeitsabgleich
US5176224A (en) 1989-09-28 1993-01-05 Donald Spector Computer-controlled system including a printer-dispenser for merchandise coupons
US5025312A (en) 1990-03-30 1991-06-18 Faroudja Y C Motion-adaptive video noise reduction system using recirculation and coring
EP0454355B1 (en) 1990-04-27 1996-12-27 Canon Kabushiki Kaisha Image signal processing apparatus for edge enhancement
US5218649A (en) 1990-05-04 1993-06-08 U S West Advanced Technologies, Inc. Image enhancement system
JPH04100487A (ja) 1990-08-20 1992-04-02 Ikegami Tsushinki Co Ltd 輪郭補正方法
US5081529A (en) 1990-12-18 1992-01-14 Eastman Kodak Company Color and tone scale calibration system for a printer using electronically-generated input images
JP3102579B2 (ja) 1991-05-31 2000-10-23 川崎製鉄株式会社 高炉装入原料の粒度別分級装置
US5235434A (en) 1991-06-27 1993-08-10 Polaroid Corporation Method and apparatus for selectively adjusting the brightness of large regions of an image
US5526446A (en) 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
KR960004130B1 (ko) 1992-02-29 1996-03-26 삼성전자주식회사 영상신호의 노이즈 제거회로
US5260791A (en) 1992-06-04 1993-11-09 David Sarnoff Research Center, Inc. Method and apparatus for the spatio-temporal coring of images
US5270818A (en) 1992-09-17 1993-12-14 Alliedsignal Inc. Arrangement for automatically controlling brightness of cockpit displays
JP3346843B2 (ja) 1993-06-30 2002-11-18 株式会社東芝 液晶表示装置
US6573961B2 (en) 1994-06-27 2003-06-03 Reveo, Inc. High-brightness color liquid crystal display panel employing light recycling therein
US5651078A (en) 1994-07-18 1997-07-22 Thomson Consumer Electronics, Inc. Method and apparatus for reducing contouring in video compression
US5956014A (en) 1994-10-19 1999-09-21 Fujitsu Limited Brightness control and power control of display device
US6184969B1 (en) 1994-10-25 2001-02-06 James L. Fergason Optical display system and method, active and passive dithering using birefringence, color image superpositioning and display enhancement
US6560018B1 (en) 1994-10-27 2003-05-06 Massachusetts Institute Of Technology Illumination system for transmissive light valve displays
JP3284791B2 (ja) 1994-11-10 2002-05-20 株式会社明電舎 ブレーキ制御方式
US6683594B1 (en) 1995-04-20 2004-01-27 Canon Kabushiki Kaisha Display apparatus and assembly of its driving circuit
JP3501252B2 (ja) 1995-06-16 2004-03-02 三菱電機株式会社 階調補正装置
US5760760A (en) 1995-07-17 1998-06-02 Dell Usa, L.P. Intelligent LCD brightness control system
KR100207660B1 (ko) 1996-03-09 1999-07-15 윤종용 양자화된 평균 분리 히스토그램 등화를 이용한 화질 개선 방법 및 그 회로
JP3348167B2 (ja) 1996-03-26 2002-11-20 シャープ株式会社 画像2値化装置
JP3829363B2 (ja) 1996-06-14 2006-10-04 コニカミノルタホールディングス株式会社 電子カメラ
US5920653A (en) 1996-10-22 1999-07-06 Hewlett-Packard Company Multiple spatial channel printing
JP2900997B2 (ja) 1996-11-06 1999-06-02 富士通株式会社 表示ユニットの消費電力制御のための方法と装置、それを備えた表示システム及びそれを実現するプログラムを格納した記憶媒体
US6055340A (en) 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US6249315B1 (en) 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
US7014336B1 (en) 1999-11-18 2006-03-21 Color Kinetics Incorporated Systems and methods for generating and modulating illumination conditions
JPH11175027A (ja) 1997-12-08 1999-07-02 Hitachi Ltd 液晶駆動回路および液晶表示装置
JP4057147B2 (ja) 1998-06-16 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置
US6809717B2 (en) 1998-06-24 2004-10-26 Canon Kabushiki Kaisha Display apparatus, liquid crystal display apparatus and driving method for display apparatus
US6285798B1 (en) 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
US6317521B1 (en) 1998-07-06 2001-11-13 Eastman Kodak Company Method for preserving image detail when adjusting the contrast of a digital image
JP2000075802A (ja) 1998-08-26 2000-03-14 Matsushita Electric Ind Co Ltd バックライト装置およびバックライト素子
JP3724263B2 (ja) 1998-09-11 2005-12-07 セイコーエプソン株式会社 液晶パネルの駆動装置及び液晶装置
DE19842572B4 (de) 1998-09-17 2005-03-24 Heidelberger Druckmaschinen Ag Verfahren zur automatischen Entfernung von Bildfehlern
JP3333138B2 (ja) 1998-09-25 2002-10-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 液晶表示装置の駆動方法
US6516100B1 (en) 1998-10-29 2003-02-04 Sharp Laboratories Of America, Inc. Method for image characterization using color and texture statistics with embedded spatial information
US6424730B1 (en) 1998-11-03 2002-07-23 Eastman Kodak Company Medical image enhancement method for hardcopy prints
KR100322596B1 (ko) 1998-12-15 2002-07-18 윤종용 입력 영상의 밝기를 유지하는 화질 개선 장치 및 그 방법
TWI285872B (en) 1999-05-10 2007-08-21 Matsushita Electric Ind Co Ltd Image display device and method for displaying image
JP2001126075A (ja) 1999-08-17 2001-05-11 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP4688246B2 (ja) 1999-08-17 2011-05-25 株式会社ニコン 画像処理パラメータの受け渡し方法、画像入力装置、画像入力システム、および情報処理装置の画像処理パラメータ受け渡しプログラムを記憶した記憶媒体
JP4773594B2 (ja) 1999-08-30 2011-09-14 エーユー オプトロニクス コーポレイション カラー画像処理方法、カラー画像処理装置、液晶表示装置
JP2001086393A (ja) 1999-09-10 2001-03-30 Canon Inc 移動体通信装置
US6618042B1 (en) 1999-10-28 2003-09-09 Gateway, Inc. Display brightness control method and apparatus for conserving battery power
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
AU2054401A (en) 1999-12-17 2001-06-25 Applied Science Fiction, Inc. Method and system for selective enhancement of image data
US6618045B1 (en) 2000-02-04 2003-09-09 Microsoft Corporation Display device with self-adjusting control parameters
JP3697997B2 (ja) 2000-02-18 2005-09-21 ソニー株式会社 画像表示装置と階調補正データ作成方法
JP2001257905A (ja) 2000-03-14 2001-09-21 Sony Corp 映像処理方法および映像処理装置
JP2001298631A (ja) 2000-04-17 2001-10-26 Seiko Epson Corp 画像処理制御プログラムを記録した記録媒体、画像処理方法および画像処理装置
US7289154B2 (en) 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
US6594388B1 (en) 2000-05-25 2003-07-15 Eastman Kodak Company Color image reproduction of scenes with preferential color mapping and scene-dependent tone scaling
JP2001350134A (ja) 2000-06-07 2001-12-21 Sanyo Electric Co Ltd 液晶表示装置
US6546741B2 (en) 2000-06-19 2003-04-15 Lg Electronics Inc. Power-saving apparatus and method for display portion of refrigerator
CN1237791C (zh) 2000-07-03 2006-01-18 图象公司 用于增强透射系统动态范围的设备和技术
JP2003032542A (ja) 2001-07-19 2003-01-31 Mitsubishi Electric Corp 撮像装置
JP3807205B2 (ja) * 2000-07-31 2006-08-09 富士ゼロックス株式会社 コレステリック液晶表示装置
JP3971892B2 (ja) 2000-09-08 2007-09-05 株式会社日立製作所 液晶表示装置
US7317439B2 (en) 2000-10-30 2008-01-08 Matsushita Electric Industrial Co., Ltd. Electronic apparatus and recording medium therefor
US6593934B1 (en) 2000-11-16 2003-07-15 Industrial Technology Research Institute Automatic gamma correction system for displays
JP2002189450A (ja) 2000-12-20 2002-07-05 Mk Seiko Co Ltd 表示装置
US7088388B2 (en) 2001-02-08 2006-08-08 Eastman Kodak Company Method and apparatus for calibrating a sensor for highlights and for processing highlights
US6956975B2 (en) 2001-04-02 2005-10-18 Eastman Kodak Company Method for improving breast cancer diagnosis using mountain-view and contrast-enhancement presentation of mammography
CN1307608C (zh) 2001-04-25 2007-03-28 松下电器产业株式会社 图象显示装置及图象显示方法
TWI231701B (en) 2001-06-14 2005-04-21 Matsushita Electric Ind Co Ltd Automatic tone correction device, automatic tone correction method, and tone correction program recording medium
US7119786B2 (en) 2001-06-28 2006-10-10 Intel Corporation Method and apparatus for enabling power management of a flat panel display
US7006688B2 (en) 2001-07-05 2006-02-28 Corel Corporation Histogram adjustment features for use in imaging technologies
US6826310B2 (en) 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
GB0120489D0 (en) 2001-08-23 2001-10-17 Eastman Kodak Co Tone scale adjustment of digital images
EP1292113A3 (en) 2001-08-23 2005-03-23 Eastman Kodak Company Tone scale adjustment
US20030051179A1 (en) 2001-09-13 2003-03-13 Tsirkel Aaron M. Method and apparatus for power management of displays
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
TW575849B (en) 2002-01-18 2004-02-11 Chi Mei Optoelectronics Corp Thin film transistor liquid crystal display capable of adjusting its light source
US7283181B2 (en) 2002-01-31 2007-10-16 Hewlett-Packard Development Company, L.P. Selectable color adjustment for image display
US7098927B2 (en) 2002-02-01 2006-08-29 Sharp Laboratories Of America, Inc Methods and systems for adaptive dither structures
JP3923335B2 (ja) 2002-02-26 2007-05-30 株式会社メガチップス データ転送システム、データ転送方法およびデジタル・カメラ
JP3758591B2 (ja) 2002-03-14 2006-03-22 松下電器産業株式会社 ディスプレイ
CN1445696A (zh) 2002-03-18 2003-10-01 朗迅科技公司 自动检索图像数据库中相似图象的方法
JP2004004532A (ja) 2002-03-25 2004-01-08 Sharp Corp 映像表示装置
US6870529B1 (en) * 2002-03-28 2005-03-22 Ncr Corporation System and method for adjusting display brightness levels according to user preferences
JP4082076B2 (ja) 2002-04-22 2008-04-30 ソニー株式会社 画像表示装置及びその方法
EP1367558A3 (en) 2002-05-29 2008-08-27 Matsushita Electric Industrial Co., Ltd. Image display method and apparatus comprising luminance adjustment of a light source
JP2004007076A (ja) 2002-05-30 2004-01-08 Mitsubishi Electric Corp 映像信号処理方法および映像信号処理装置
US7035460B2 (en) 2002-05-31 2006-04-25 Eastman Kodak Company Method for constructing an extended color gamut digital image from a limited color gamut digital image
US7113649B2 (en) 2002-06-24 2006-09-26 Eastman Kodak Company Enhancing the tonal characteristics of digital images
EP1777097B1 (en) 2002-08-19 2014-02-26 Koninklijke Philips N.V. A display system for displaying images within a vehicle
KR100736498B1 (ko) 2002-08-22 2007-07-06 엘지전자 주식회사 컴퓨터 시스템에서의 다종 엘시디 구동방법 및 장치
US7158686B2 (en) 2002-09-19 2007-01-02 Eastman Kodak Company Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
JP4265195B2 (ja) 2002-10-09 2009-05-20 セイコーエプソン株式会社 半導体装置
WO2004034711A1 (ja) 2002-10-11 2004-04-22 Seiko Epson Corporation 光源の種類に応じた画質の自動調整
US7116838B2 (en) 2002-10-25 2006-10-03 Eastman Kodak Company Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
JP2004177547A (ja) 2002-11-26 2004-06-24 Mitsubishi Electric Corp 液晶ディスプレイ用バックライトの制御方法及びその制御装置
US7176878B2 (en) 2002-12-11 2007-02-13 Nvidia Corporation Backlight dimming and LCD amplitude boost
US6857751B2 (en) 2002-12-20 2005-02-22 Texas Instruments Incorporated Adaptive illumination modulator
US6967647B2 (en) 2003-01-02 2005-11-22 Fujitsu Limited Method of controlling display brightness of portable information device, and portable information device
US7348957B2 (en) 2003-02-14 2008-03-25 Intel Corporation Real-time dynamic design of liquid crystal display (LCD) panel power management through brightness control
US7283666B2 (en) 2003-02-27 2007-10-16 Saquib Suhail S Digital image exposure correction
US7433096B2 (en) 2003-02-28 2008-10-07 Hewlett-Packard Development Company, L.P. Scanning device calibration system and method
TWI241080B (en) 2003-02-28 2005-10-01 Ttp Communications Ltd Application of spreading codes to signals
EP1455337A1 (en) 2003-03-05 2004-09-08 Matsushita Electric Industrial Co., Ltd. Control method for a backlight arrangement, display controller using this method and display apparatus
JP4559099B2 (ja) 2003-03-05 2010-10-06 パナソニック株式会社 表示方法、表示制御装置及び表示装置
JP2004272156A (ja) 2003-03-12 2004-09-30 Sharp Corp 画像表示装置
US20040208363A1 (en) 2003-04-21 2004-10-21 Berge Thomas G. White balancing an image
JP3909595B2 (ja) 2003-04-23 2007-04-25 セイコーエプソン株式会社 表示装置、及びその調光方法
JP3858850B2 (ja) 2003-05-06 2006-12-20 セイコーエプソン株式会社 表示装置、及び表示方法、並びにプロジェクタ
TWI246048B (en) 2003-06-17 2005-12-21 Au Optronics Corp Driving method of liquid crystal display
US7394448B2 (en) 2003-06-20 2008-07-01 Lg. Display Co., Ltd Method and apparatus for driving liquid crystal display device
US7663597B2 (en) 2003-07-16 2010-02-16 Honeywood Technologies, Llc LCD plateau power conservation
US7221408B2 (en) 2003-08-15 2007-05-22 Samsung Electronics Co., Ltd. Adaptive contrast enhancement method for video signals based on time-varying nonlinear transforms
US20050057484A1 (en) 2003-09-15 2005-03-17 Diefenbaugh Paul S. Automatic image luminance control with backlight adjustment
KR100561648B1 (ko) 2003-11-17 2006-03-20 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100570966B1 (ko) 2003-11-17 2006-04-14 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100588013B1 (ko) 2003-11-17 2006-06-09 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100580552B1 (ko) 2003-11-17 2006-05-16 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
WO2005052673A2 (en) 2003-11-21 2005-06-09 Sharp Laboratories Of America, Inc. Liquid crystal display with adaptive color
US20050117798A1 (en) 2003-12-02 2005-06-02 Eastman Kodak Company Method and apparatus for modifying a portion of an image frame in accordance with colorimetric parameters
KR100525739B1 (ko) 2003-12-22 2005-11-03 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
US7424168B2 (en) 2003-12-24 2008-09-09 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
KR100989159B1 (ko) 2003-12-29 2010-10-20 엘지디스플레이 주식회사 액정표시장치와 그 제어방법
US7375719B2 (en) 2003-12-29 2008-05-20 Lg. Philips Lcd. Co., Ltd Method and apparatus for driving liquid crystal display
KR101030544B1 (ko) 2003-12-29 2011-04-26 엘지디스플레이 주식회사 액정표시장치의 구동방법 및 구동장치
US7400779B2 (en) 2004-01-08 2008-07-15 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
JP2005202562A (ja) 2004-01-14 2005-07-28 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP4628770B2 (ja) 2004-02-09 2011-02-09 株式会社日立製作所 照明装置を備えた画像表示装置及び画像表示方法
US20070126757A1 (en) 2004-02-19 2007-06-07 Hiroshi Itoh Video display device
JP4096892B2 (ja) 2004-02-19 2008-06-04 セイコーエプソン株式会社 カラーマッチングプロファイル作成装置、カラーマッチングシステム、カラーマッチング方法、カラーマッチングプログラム及び電子機器
JP4341495B2 (ja) 2004-03-02 2009-10-07 セイコーエプソン株式会社 画像に付与する色調の設定
JP2005293555A (ja) 2004-03-10 2005-10-20 Seiko Epson Corp 画像における肌領域の特定
USRE45209E1 (en) 2004-03-26 2014-10-28 Koninklijke Philips N.V. Display device comprising an adjustable light source
JP2005286413A (ja) 2004-03-26 2005-10-13 Toshiba Corp ノイズ低減装置及びテレビジョン受像機
US7612757B2 (en) 2004-05-04 2009-11-03 Sharp Laboratories Of America, Inc. Liquid crystal display with modulated black point
JP4603382B2 (ja) 2004-05-06 2010-12-22 シャープ株式会社 画像表示装置
KR100621577B1 (ko) 2004-07-15 2006-09-13 삼성전자주식회사 휴대용 컴퓨터 시스템의 전원 관리방법 및 장치
US7372597B2 (en) 2004-07-27 2008-05-13 Eastman Kodak Company Tonescales for geographically localized digital rendition of people
JP2006042191A (ja) 2004-07-29 2006-02-09 Sony Corp 表示装置および方法、表示システム、並びにプログラム
US20060061563A1 (en) 2004-09-17 2006-03-23 Fleck Rod G Power-management method and system for electronic appliances
US8462384B2 (en) 2004-09-29 2013-06-11 Apple Inc. Methods and apparatuses for aesthetically enhanced image conversion
US8111265B2 (en) 2004-12-02 2012-02-07 Sharp Laboratories Of America, Inc. Systems and methods for brightness preservation using a smoothed gain image
US8004511B2 (en) * 2004-12-02 2011-08-23 Sharp Laboratories Of America, Inc. Systems and methods for distortion-related source light management
US7961199B2 (en) * 2004-12-02 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for image-specific tone scale adjustment and light-source control
US8947465B2 (en) * 2004-12-02 2015-02-03 Sharp Laboratories Of America, Inc. Methods and systems for display-mode-dependent brightness preservation
US7782405B2 (en) * 2004-12-02 2010-08-24 Sharp Laboratories Of America, Inc. Systems and methods for selecting a display source light illumination level
US7768496B2 (en) 2004-12-02 2010-08-03 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale adjustment to compensate for a reduced source light power level
US9083969B2 (en) * 2005-08-12 2015-07-14 Sharp Laboratories Of America, Inc. Methods and systems for independent view adjustment in multiple-view displays
US7924261B2 (en) * 2004-12-02 2011-04-12 Sharp Laboratories Of America, Inc. Methods and systems for determining a display light source adjustment
KR100611512B1 (ko) 2004-12-07 2006-08-11 삼성전자주식회사 적응 주파수 조절기, 적응 주파수 조절기를 포함한 위상고정 루프
KR100611304B1 (ko) 2005-01-27 2006-08-10 삼성전자주식회사 기 입력된 버튼의 코드값을 이용하여 1회용 비밀키를생성하는 제어기기, 상기 1회용 비밀키를 이용하여 상기제어기기를 인증하는 홈서버, 및, 상기 1회용 비밀키를이용한 제어기기 인증방법
JP2006276677A (ja) 2005-03-30 2006-10-12 Toshiba Corp 表示装置と表示装置の駆動方法
JP4432818B2 (ja) 2005-04-01 2010-03-17 セイコーエプソン株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP2006303899A (ja) 2005-04-20 2006-11-02 Fuji Photo Film Co Ltd 画像処理装置、画像処理システム、および画像処理プログラム
JP2006317757A (ja) 2005-05-13 2006-11-24 Matsushita Electric Ind Co Ltd 液晶表示装置、それを備えた携帯端末機器、及び液晶表示方法
US7609244B2 (en) 2005-06-30 2009-10-27 Lg. Display Co., Ltd. Apparatus and method of driving liquid crystal display device
JP4432933B2 (ja) 2005-07-08 2010-03-17 セイコーエプソン株式会社 画像表示装置および画像表示方法
WO2007029420A1 (ja) 2005-09-08 2007-03-15 Sharp Kabushiki Kaisha 画像表示装置
JP2007093990A (ja) 2005-09-28 2007-04-12 Sanyo Epson Imaging Devices Corp 液晶表示装置
KR100735283B1 (ko) * 2005-09-29 2007-07-03 삼성전자주식회사 영상 보상 방법
JP4991212B2 (ja) 2005-10-13 2012-08-01 ルネサスエレクトロニクス株式会社 表示駆動回路
JP3953507B2 (ja) 2005-10-18 2007-08-08 シャープ株式会社 液晶表示装置
JP2007133051A (ja) 2005-11-09 2007-05-31 Hitachi Displays Ltd 画像表示装置
KR101006385B1 (ko) 2005-11-16 2011-01-11 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2007081340A1 (en) 2006-01-11 2007-07-19 Tte Technology , Inc. Contrast ratio enhancement system using asymmetrically delaying illumination control
JP5228278B2 (ja) 2006-02-08 2013-07-03 セイコーエプソン株式会社 画像表示制御装置及びその方法
JP3983276B2 (ja) 2006-02-08 2007-09-26 シャープ株式会社 液晶表示装置
JP2007299001A (ja) 2006-02-08 2007-11-15 Sharp Corp 液晶表示装置
JP4071800B2 (ja) 2006-02-13 2008-04-02 シャープ株式会社 動画像再生装置および階調補正装置
US7564438B2 (en) 2006-03-24 2009-07-21 Marketech International Corp. Method to automatically regulate brightness of liquid crystal displays
JP2007272023A (ja) 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd 映像表示装置
JP4198720B2 (ja) 2006-05-17 2008-12-17 Necエレクトロニクス株式会社 表示装置、表示パネルドライバ、及び表示パネルの駆動方法
KR100827237B1 (ko) 2006-08-10 2008-05-07 삼성전기주식회사 다색 광원의 전력 제어를 지원하는 영상 표시 장치 및 방법
US8872753B2 (en) 2006-08-31 2014-10-28 Ati Technologies Ulc Adjusting brightness of a display image in a display having an adjustable intensity light source
JP4203090B2 (ja) 2006-09-21 2008-12-24 株式会社東芝 画像表示装置および画像表示方法
JP4475268B2 (ja) 2006-10-27 2010-06-09 セイコーエプソン株式会社 画像表示装置、画像表示方法、画像表示プログラム、及び画像表示プログラムを記録した記録媒体、並びに電子機器
US7826681B2 (en) 2007-02-28 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for surround-specific display modeling
JP5127321B2 (ja) 2007-06-28 2013-01-23 株式会社東芝 画像表示装置、画像表示方法、及び、画像表示プログラム
JP5072087B2 (ja) 2007-10-31 2012-11-14 パナソニック株式会社 液晶表示装置および液晶表示方法
US8223113B2 (en) 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3550202B2 (ja) * 1993-12-27 2004-08-04 株式会社東芝 表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112726A (ja) * 2009-11-24 2011-06-09 Funai Electric Co Ltd 画像表示装置およびテレビジョン
JP2011128325A (ja) * 2009-12-17 2011-06-30 Sharp Corp 表示装置
JP2011242460A (ja) * 2010-05-14 2011-12-01 Canon Inc 液晶表示装置
CN108009993A (zh) * 2016-10-31 2018-05-08 乐金显示有限公司 处理高动态范围图像的方法和模块以及使用其的显示设备
CN108009993B (zh) * 2016-10-31 2022-07-05 乐金显示有限公司 处理高动态范围图像的方法和模块以及使用其的显示设备
JP2019053711A (ja) * 2017-09-15 2019-04-04 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7051536B2 (ja) 2017-09-15 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
US8531379B2 (en) 2013-09-10
US20090267876A1 (en) 2009-10-29

Similar Documents

Publication Publication Date Title
JP5081973B2 (ja) ヒストグラムの操作によるディスプレイ光源管理の為の方法およびシステム
JP2009265678A (ja) 周辺状態に合わせた画像補正のための方法およびシステム
JP5336165B2 (ja) 映像表示システム
JP5358002B2 (ja) ディスプレイの光源照度レベルを選択する方法
JP5411848B2 (ja) 画像トーンスケール設計のための方法及びシステム
JP5432889B2 (ja) シーンカット検出によるバックライト変調の為の方法
JP5213641B2 (ja) 映像表示システム
JP4956668B2 (ja) 画像特性マッピングによるバックライト変調の為の方法
US8416179B2 (en) Methods and systems for color preservation with a color-modulated backlight
US9330630B2 (en) Methods and systems for display source light management with rate change control
JP5053441B2 (ja) 重み付け誤差ベクトルに基づく光源光選択のための方法、システム、プログラム、および記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111011

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120221