JP2016505884A - カラー画像を生成する方法及び当該方法を使用した画像化装置 - Google Patents

カラー画像を生成する方法及び当該方法を使用した画像化装置 Download PDF

Info

Publication number
JP2016505884A
JP2016505884A JP2015545505A JP2015545505A JP2016505884A JP 2016505884 A JP2016505884 A JP 2016505884A JP 2015545505 A JP2015545505 A JP 2015545505A JP 2015545505 A JP2015545505 A JP 2015545505A JP 2016505884 A JP2016505884 A JP 2016505884A
Authority
JP
Japan
Prior art keywords
color
image
white
display
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015545505A
Other languages
English (en)
Other versions
JP2016505884A5 (ja
Inventor
サリヴァン,ジェイムズ,アール.
ヘッカマン,ロドニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ENTERTAINMENT EXPERIENCE LLC
Original Assignee
ENTERTAINMENT EXPERIENCE LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/692,066 external-priority patent/US8860751B2/en
Application filed by ENTERTAINMENT EXPERIENCE LLC filed Critical ENTERTAINMENT EXPERIENCE LLC
Publication of JP2016505884A publication Critical patent/JP2016505884A/ja
Publication of JP2016505884A5 publication Critical patent/JP2016505884A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)
  • Control Of Gas Discharge Display Tubes (AREA)

Abstract

赤、緑及び青の原色のサブピクセルを含むピクセルから成るディスプレイを使用してカラー画像を生成する方法が提供される。方法は、基準レベルに対して色域を低減させて画像の輝度を増大させる工程と、画像の輝度を低減させるため、ディスプレイへの電力を減少させる工程と、出力画像ピクセルデータを生成するため、三次元のルックアップテーブルを使用して画像ピクセルデータを変更することによって、おおよそ基準レベルまで画像の色を回復する工程と、出力画像ピクセルデータをディスプレイに伝送する工程とを含む。ディスプレイは、LCDディスプレイ、LEDディスプレイ、OLEDディスプレイ、プラズマディスプレイ及びDMDプロジェクタであってよい。色域を低減させて画像の輝度を増大させる工程は、画像に白を追加することによって実現され得る。白は、彩度の増大と共に白の追加量が減少するアルゴリズムに従って順応可能に追加され得る。【選択図】図16

Description

カラー写真に関する言明
この国際出願ファイルは、本出願における図面としてカラーレンダリングされた所定の写真を包含し、それは、カラー写真は本発明の理解を容易にするからである。
カラー画像の処理、及び、表面上、テレビ上、ゲームディスプレイ上、コンピュータ上へのカラー画像の投影若しくは表示、又は、他の電子ディスプレイ媒体によるカラー画像の投影若しくは表示。具体的には、ディスプレイ節電のための方法及びシステム、並びに、カラー画像品質を低下させない一方で色出力を管理することによってカラー画像ディスプレイ装置のバッテリの寿命を延ばす方法及びシステム。
カラー画像の投影及び/又は表示は商業的な研究開発の盛んな分野である。新しい画像ディスプレイ、テレビ、ゲーム、コンピュータ及び投影製品と鑑賞体験とが定期的に市場に送り出されている。市場の一場面において、画像化用の原色のソースとしてカラーの発光ダイオード(LED)を利用するデジタルシネマ又はビデオプロジェクタのテクノロジーが、かなりの長寿命、低熱照明に加えて極限に広い色域を約束する。しかしながら、LEDの輝度は現在制限されており、そのことにより、最も明るい画像のために、3つの光学系及び3つの画像変調器、すなわち、赤、緑、及び青(RGB)の色チャンネルの各々に1つ、を必要とする。現在のプロジェクタの照明テクノロジーは、高輝度を有しており、及び、フルカラーディスプレイを提供するために複雑なカラーフィルタホイールを使用する単一の光学系と単一の画像変調器とを活用することができる。市場の第2の場面においては、液晶ディスプレイ(LCD)といったテレビ、ゲームディスプレイ及びコンピュータディスプレイに、現在、LEDの極限に広い色域、長寿命及び低熱出力をこの場合も活用するためにバックライトの光源としてLEDが導入されている。市場の第3の場面においては、プロジェクタ、テレビ、ゲームディスプレイ及びコンピュータディスプレイに、輝度を改善して色域を拡張するために代表的な3色(RGB)よりも多くの色が導入されている。こうした製品は、広い色域を最大限に使用する方法を保証するとともにその技術的課題を提供する。
カラー画像プロジェクタでは、LED照明の利用可能な広い色域、長寿命、低熱の利点を得るために、並びに、単一の光学系及び単一の画像変調器によって最大輝度を実現するために、画像フレームの間の時間の一部に対して複数のRGBチャンネルを結合してピクセルの間の白色露光を生成してよく、又は、画像ピクセル領域の一部が、4番目の白のサブピクセルに対してLCDバックライトスペクトルのすべてを透過させるクリアフィルタ領域を有してよい。画像フレームのデューティサイクル又は領域の間にこれらの複数のRGBチャンネルを追加することは、輝度を増大させるものの、きれいなRGBカラーの彩度を減ずることによって彩度を低減させる。
さらに、従来技術のプロジェクタでは、行列演算子によって又は一次元のカラールックアップテーブルによってRGBチャンネルの各々を独立して処理することによってカラーレンダリングが実現される。いくつかのプロジェクタでは、RGBの色と2色及び3色との結合が独立して制御され得る。しかしながら、こうした制御はフル3Dのカラー処理を提供しない。これらの制限された処理の選択肢によれば、人間の視覚系(HVS)の知覚の限界において最適に画像を表示することができない。例えば、色相及び彩度のいずれか一方又は両方に影響を与えることなく視覚明度コントラストをレンダリングすることができない。最も明るく最も色彩に富んだ画像を提供するものの、知覚色の精度を保持する最適な視覚処理を実現することは三次元カラー処理を必要とする。
人間の観察者による鑑賞のための任意のカラー画像を提供する際、それが、基板上、電子ディスプレイ上、テレビ上に表示された画像、又は、画面上への投影であるかどうかに拘わらず、人間の観察者による色刺激の知覚はいくつかの要因に依存している。Commission Internationale de l’eclairage(国際照明委員会:CIE)によって1987年に発行されたInternational Lighting Vocabulary(国際照明用語集)には、「知覚色は、色刺激のスペクトル分布に依存しており、刺激領域のサイズ、形状、構造、及び周囲に依存しており、観察者の知覚系の順応の状態に依存しており、及び、観察の有力な同様の条件の観察者の経験に依存している」と記されている。
さらに、シャルトルの大聖堂のステンドグラスの窓の学術論文では、ランダムハウスが1965年に発行したThe Radiance of Chartres: Studies in the Early Stained Glass of the Cathedral(Columbia University Studies in Art History and Archaeology, No. 4)の第1版で、著者のジェームス・ロッサー・ジョンソン(James Rosser Johnson)は、「これらの窓を見る経験は...知覚の多くの態様に及ぶ...非常に複雑な経験である」と書いている。さらに基本的には、「...見物人が明るい太陽光から大聖堂に入るとき、...訪問者は、彼らの目が部分的に暗順応をなすまで注意して一歩を踏み出さなければならず...その後、内部の詳細がより明るく及びより鮮明に見えるとともに、同時に、(ステンドグラスの)窓がより鮮やかにより濃くなる」。
順応は、ジョンソンの物語で描写された例では効果的な役割を担っている。1991年に発行されたSt. Martin’s PressのArchitecture 、The Natural and Manmadeのヴィンセント・スカリー(Vincent Scully)の言葉「...建物の主要部の静力学を超越し、この世界の現実が...巨大なステンドグラスの窓の神々しい光によって及び光のために形作られる幻想世界を作り出す」によれば、大聖堂の内部の暗さ又はより低く知覚された乱反射した白に順応することによって、窓の色は、過度に明るく見え、知覚を呼び起こす。こうした知覚経験は、確実に複雑であり、人間の視覚系(HVS)の多くの特性によって影響を受ける一方で、知覚体験の鮮やかさは、広い範囲に及ぶHVSの感度及びその周囲に順応する先天的な能力によって十分に単純に可能となる。
HVSは、極端な範囲の輝度に順応することができる。例えば、HVSは、例えば約0.0001カンデラ毎平方メートル(cd/m2)の輝度を有する星明かり、月明かりの夜から、約600〜10000cd/mの明るく照らされた夏の日まで、約8桁の等級の範囲にわたってその光感受性に順応し得る。同様に優れているのは、HVSが、日常的に経験される複雑な視野の知覚のためのある所定の瞬間で5桁の等級にわたって順応し得ることである。この順応は、散乱した白に対して、すなわち、白に見える場面の領域に対して生じる。明度及び彩度の知覚はこの白に対してである。知覚された白の輝度が高くなるにつれて、その場面で同様に照らされた物体の輝度及び彩度が観察者に低く見え、その反対に、その輝度が低くなるにつれて、そうした物体はより明るくより色彩に富んで見える。
これは、白に見える刺激を変化させることがその場面のすべての他の刺激の見かけに影響を及ぼすことを意味する。画像の表示又は投影に関して、これらの順応の力は、知覚の媒体の全範囲を拡張するために活用され得る。任意の画像ディスプレイに関して、及び特に、例えばデジタルマイクロミラーデバイス(DMD)を使用するものなどの単一変調LEDディスプレイに関して、投影画像は、画像フレーム時間の一部のためにRGBカラーを結合することからの光の追加によってより明るく見えるようになされ得る。そうする際、HVSの順応の力は、表示画像の見かけの輝度及び明度のコントラストを増大させるために利用される。赤、緑、及び青のLEDによって照らされるディスプレイに関して、追加された光は、「LEDの原色」によって提供される実際のディスプレイ色域を低減させるものの、LEDのR、G、及びBの原色は、例えば高解像度のテレビのフォーマット及び消費者のデジタル媒体に関する米国の標準であるITU無線通信部門(ITU Radiocommunication Sector:ITU−R)の提案(Recommendation)BT.709といった現在のビデオ標準をしばしば超える。従って、R、G、及びBのLEDによって、又は3つを超える色及び拡張された色域を有するディスプレイによって、出力することが可能ないくつかの色は、こうした標準に従って表示用の入力色データに符号化されることに有効ではない。これらの拡張された色の最適な使用は、フル三次元のカラー処理を必要とし、及び、HVSの知識を使用してさらに最適化され得る。例えば一次元のカラー処理及びカラー行列によって、又は、HVSモデルを使用せずに、現在のビデオ標準を処理するための従来の試みは、不十分な結果に終わっており、及び、非現実的な表示画像及び消費者による製品の高い返品率を生じさせている。
これらの試みのいくつかの例示として、図1A〜図1Dは、カラー画像のレンダリング用の出力色データを生成するために入力色データを処理する従来の様々な方法の二次元の概略図である。図1Aは、色の色相/彩度/コントラスト/輝度の方法を示しており、色相を回転させ、彩度及びコントラストを伸展させ、及び輝度を上昇させる包括的制御を描いている。肌のトーンなどの所定の色又は色領域を決して孤立させずにこれらの制御によってすべての色が変化させられる。Rin/Gin/Winは、入力HD709標準色であり、及びRout/Gout/Woutは、よりきれいな出力LED色である。4つの制御があり、及び、各制御が例えば20の設定を備えている場合、80の包括的選択肢がある。
図1Bは、色の軸を回転させて調整する線形行例の包括的制御を描写するカラー行列法を示している。すべての色は、肌のトーンなどの局所の色を決して孤立させずに包括的に変化させられる。Rin/Gin/WinはHD709標準色であり、及びRout/Gout/Woutは、よりきれいな出力LED色である。3×3行列が使用される場合、9の包括的選択肢がある。
図1Cは、例えばコントラストを増大させるために非線形に各入力色を独立してマッピングするガンマ包括的制御を描写する色ガンマテーブル法を示している。例えば赤の変化はすべての緑の値の場合と同一であることが分かる。同じ関係は原色の他の結合によって生じる。従って、ガンマ補正は包括的であり、例えば肌のトーンなどの色を局所的に決して孤立させない。Rin/Gin/Winは入力HD709標準色であり、及びRout/Gout/Woutは、よりきれいな出力LED色である。3つの原色が4096の設定を有しているので、12288の包括的選択肢がある。
図1Dは、RGBCYMWの七色のマッピング法の2Dの例を示している。この7色の四面体処理の単純な例では、RBG/RGWの三角形が、各頂点で入力/出力制御値の線形補間を使用して独立して処理される。これは包括的制御であり、肌のトーンなどの局所の色又は領域を決して孤立させない。Rin/Gin/Winは入力HD709標準色であり、及びRout/Gout/Woutは、よりきれいな出力LED色である。14の入力色/出力色がある状態では、14の包括的選択肢がある。Rin/Gin/Winは入力HD709標準色であり、及びRout/Gout/Woutは、よりきれいな出力LED色である。
デジタル・シネマ・イニシアティブズ・エルエルシー(DCI)は、画像キャプチャ及び投影を含む、デジタルシネマシステム用の標準を作り出すために2002年に設立された主要なモーションピクチャスタジオのジョイントベンチャーである。DCIフォーマットでの専門の映画の公開のためにスタジオによって採用されるデジタル色標準は、原色ごとに12ビットであり、非線形のCIE XYZ刺激値である。このとき初めて、視覚色空間で符号化されて及び従って任意の画像化装置から独立したデジタル標準が確立された。例えば、この標準を使用すると、テレビ又はプリンタ上で特定の色を生成するために同一のデジタルファイルを表示することが可能である。このデジタル色標準の色域は任意のあり得るディスプレイよりも大きい。
図3は、DCI及びHD709標準の色域、並びに、様々な媒体及び/画像化装置の色域を含む、色域の図である。図表400では、様々な画像化装置の色域406、408、410、及び412が、HD709標準404よりも実質的に大きいことが分かる。従って、これらの画像化装置406〜412の色の性能の利点を十分に活用するために、肌のトーン及び他の記憶色を同時に保持して、及び特定の環境で鑑賞するために特定の装置を最適化するとともに、より大きな色域のフルカラーをレンダリングするために、HD709標準の色域は上方にマッピングされなければならない。
DCI標準を表す大きな三角形の境界線402は、HD709標準404の色域に加えて、媒体及び/又は画像化装置の色域のすべてを包含することが分かる。従って、デジタル色標準の入力色域402は、例えばテレビ又はプロジェクタなどの物理的なディスプレイの色域内に適合するように制限され又は低減されなければならない。ディスプレイ装置の色域の境界線の外側にあるDCI標準のそれらの入力デジタル色値を切り取る又は削り取ることは、色の彩度及び細部の損失を引き起こし、及び、視覚的に準最適な表示画像を作り出す。一次元のカラーテーブル及び線形行列を使用する従来のビデオ処理はまた、準最適な表示画像を生成する。これらの制限された色の最適な表示は、フル三次元の色処理を必要とし、HVSの知覚及び特定の鑑賞環境における視覚順応の状態を使用してさらに最適化されることが可能である。
また、画像及びビデオ媒体の製品は現在、サイズが小さくされている。こうした製品の例は、新しい小型のピコプロジェクタ、及び、例えばiPod(登録商標)又はiPad(登録商標)などのポータブルで小型のディスプレイである。電力、熱、及びサイズの制約のため、これらのディスプレイは概して、低減されたコントラスト又は低減された彩度に起因して低減された色域を有している。これらはまた、室内及び室外の両方の大きく異なる鑑賞環境でたいてい使用される。従来の画像及びビデオ入力を有するこれらの小さな色域のディスプレイの全般的な品質の改善は、製品の価値にとって重要である。一次元のカラーテーブル及び線形行列を使用する従来のビデオ処理はまた、準最適な表示画像を生成する。これらの制約された色の最適な表示は、フル三次元の色処理を必要とし、HVSの知覚及び特定の鑑賞環境における視覚順応の状態を使用してさらに最適化されることが可能である。
さらに、HVS順応の能力は鑑賞環境によって影響を受ける。暗い室内では、通常の室内光を有する室内に比べて又は明るい室外の光において同じ画像を鑑賞することに比べて、同等の知覚鑑賞経験のための投影画像又は表示画像においてより高いコントラストが必要とされる。明るい室外の光に関連して、知覚された画像コントラストを低減させるために暗い室内に対するHVS順応と画像全体のより低い輝度とが結合する。明るく照らされた室内では、輝度順応に起因してより小さいコントラストが必要とされ、及び、表示画像の暗い領域を照明する室内光からの鑑賞フレアに起因してより大きなコントラストが必要とされる。
高輝度の光源又は拡張された若しくは低減された色域を使用する画像ディスプレイ、テレビ、及び/又はプロジェクタでは、従って、画像を表示する及び/又は投影する際に、例えば肌のトーンなどの表示画像の予測される記憶色を保持するとともに、知覚された輝度、コントラスト、及び彩度の増大を最適化する必要がある。こうした最適化は、すべての色が同じ方法で同程度に調節されるべきではないことを考慮に入れるべきである。そうすることは、人間の観察者に不十分に見える所定の詳細を包含する画像を生じさせる。例えば、画像中の顔の肌のトーンが、画像中の別の物体の相対的に色彩に富んだ色と同じ方法で修正される場合、顔は、観察者によって「ピンク」、「オレンジ」、又は、「日焼けしている」として知覚され、及び従って、不十分なものとして知覚される。従って、例えば肌のトーン、グレートーンなどの所定の既知の色、名前を有する色(例えば商業的な「ブランド」色)、及び、画像中の他の「記憶」色を保持するとともに、この最適化を達成することが必要である。そうした拡張された輝度、コントラスト又は色域の表示のための一次元の色処理及び色行列によってビデオ入力を処理する従来の試みは、不十分で非現実的な表示画像、及び、消費者による高い返品率を結果として生じさせる。
正確な比色分析の色の再現と多少なりとも異なる処理によって、知覚色の品質を向上させる又は改善することを試みる現在のプロジェクタ、テレビ又はディスプレイは、背景の記憶色を保存しない。記憶色は、本願明細書で以下に説明されるように、色空間の局所容積として特徴付けられ得る。現在の画像ディスプレイ、テレビ及びプロジェクタに使用されるアルゴリズムは、三次元の色空間内で容積を固有に保持することができない一方で、3D空間のすべての色に適用される一次元のテーブル、又は行列、又は拡張を使用して三次元の色空間内で異なる容積に変化させる。例えば、ある画像プロジェクタでは、色の拡張は、7つの入力色RGBCMYW(赤−緑−青−シアン−マゼンタ−黄−白)の出力色の定義を使用して試みられる。これは、例えば赤を変化させずに画像中に明るい白を提供することを可能にするものの、その記憶色を保持することが必要な3D色空間の記憶色の任意のポイント又は局所容積を特定することができない。その結果、現在の画像ディスプレイ、テレビ及びプロジェクタが、高められた色を提供する時、典型的な人間の観察者がそれらを不十分で知覚的に最適でないと見出すように、色域全体にわたって高められた色を提供し、例えば肌のトーンなどの所定の記憶色を向上させる。こうした画像装置では、色の拡張はいくらか恣意的であり、記憶色を保持することも、より良好な鑑賞環境のために現実的である知覚ディスプレイ画像を生成することもない。
より一般的には、本出願人らが知り得る限り、ビデオ画像用の画像の品質を改善するための3D色処理において、又は、特定の画像標準よりも大きな色域のディスプレイに対する色域のマッピングのための3D色処理において、又は、特定の画像標準よりも小さな色域のディスプレイに対する色域のマッピングにおいて、又は、第2の色能力及び、原色又は第2である4色以上の色を有するディスプレイに対する3D色マッピングにおいて、人間の視覚系他の視覚モデルを使用して、三次元のカラーテーブルを使用した人はいない。現在では、ディスプレイ用の標準色処理は、一次元のテーブル、3×3行列又はRGBCYMWなどの少ない色の数の出力の定義を可能にする行列数学を使用している。
3Dのカラーテーブルは色較正のために実行されているものの、こうした状況では、テーブルは小さい(例えば7×7×7)。精度をいくらか失うものの、小さな3Dのルックアップテーブルが概してより速いので、一次元のテーブル及び3×3行列の代わりに、これらの3Dのルックアップテーブルが使用される。いずれの場合でも、色の「様子」、又は、色域マッピング又はそうした小さなテーブルを有する第2の又は4色以上の原色を有するディスプレイに対するマッピングを伝達するための顕著な色の改善又は拡張は不可能である。
あるタイプの画像レンダリング装置の別の課題は、原色の光源の出力が安定しないことである。これは、原色の赤、緑、及び青のソースとして有機発光ダイオード(OLED)を使用する画像レンダリング装置に特に当てはまる。OLEDディスプレイの既知の課題は、青のOLEDが一般的に、赤及び緑のOLEDよりもかなり短い寿命を有していたことである。OLEDの寿命の1つの尺度は、元の輝度の値を半分にする輝度の減少である。現在市販されている青のOLEDの輝度は、赤又は緑のOLEDよりもはるかに短い時間で輝度を半分に減少させる。OLEDのディスプレイの作動中、青のOLEDと赤及び緑のOLEDとの間の特異な色変化はディスプレイの色バランスを変化させる。この変化は、ディスプレイの全般的な輝度の減少よりも視聴者に対してはるかに好ましくない。
本出願人らが知り得る限り、OLEDディスプレイの全寿命を管理することの課題は、十分に解決されておらず、市場における製品の導入において顕著な遅延をもたらしている。従って、ディスプレイ装置における赤、緑及び青のOLEDの相対的な輝度の全般的な品質及び寿命を管理する解決策を提供する必要がある。
あるタイプの画像レンダリング装置の別の課題は、装置のバッテリの寿命がユーザの必要性を満たすほど十分ではないことである。無線通信技術が進歩するにつれ、消費者は、こうした装置が表示するカラー画像における品質の向上を要求すると同時に、こうした装置の使用にますます時間を費やしている。モバイルディスプレイは、テレビや映画などの長期媒体を含むすべてのタイプの娯楽媒体においてますます使用されている。これらの使用は多様な照明環境で起こり、その使用寿命は消費者にとって重要な特性である。典型的なハンドヘルド装置では、デューティサイクルの増加と、ディスプレイの最大知覚画像品質に対する需要の増加の両方とも、こうした装置への給電に使用されるバッテリに重い負担をかけた。
消費者は、特定の装置のバッテリの寿命が販売文献及び/又は取扱説明書で述べられるよりも少ないことにしばしば気付いている。また、消費者は、12ボルトの自動車ジャッキ、120VACの差込み口又はUSBポートに接続するある種の充電コード及びプラグを持ち運ぶことなく、消費者が望むほど頻繁に(場合によっては1日中ほぼ連続的に)彼らの装置を使用できないことにも気付いている。これは大きな頭痛の種であり、装置メーカーは課題全体を認識している。
一解決策は、装置のバッテリの全体としてのサイズを増加させることであろう。しかしながら、これらの装置のいずれかの装置内の空間が異常に高い値段であり、優先度の等しい又は大きな他の多くの目的で必要とされる際に製造業者が追加のボリュームをバッテリに割り当てることを望まないため、これは明確に満足のいくものではない。
バッテリの寿命を増加させる別の対策は、画像ディスプレイに伝達される電力を低減させることであり、画像ディスプレイは、プラズマディスプレイ、液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)ディスプレイであってよい。これは、一般的に、ディスプレイの輝度の低減をもたらし、これもやはり、白昼にディスプレイを閲覧する際は特に、消費者にとって満足のいくものではない。画像品質に対する彼らの期待は絶えず高まっている。例えば、2012年3月に発売されたAppleの最近のiPad(登録商標)製品は、http://www.apple.com/ipad/features/:「新しいiPadのRetinaディスプレイは、同じ9.7インチの空間における、2048×1536の解像度、44パーセント優れた彩度、驚異的な310万のピクセルを特徴とする。すなわち、iPad 2のピクセル数の4倍に値し、HDTVより100万多い。」に記載されるような、そのディスプレイにおける「画期的な技術」を提供する。一般的に、市販の最新の最も望ましい画像ディスプレイは、通常、より少ないよりむしろ、より多くのバッテリパワーを必要とする。
消費者は、バッテリの寿命と引き換えに画像品質を得ることを望まない。消費者需要を満たすため、十分長いバッテリの寿命を提供すると同時に、最も高い画像品質を提供できるカラーディスプレイ装置がますます必要となっている。この必要性を満たすことができる製品が、市場における重要な競争上の優位性を持つことになる。
所定の既知の色を維持するとともに彩度及びコントラストを最適化する、色を鮮やかにした画像ディスプレイ、テレビ、又は投影は、入力RGB色が間接的に独立して処理されるレンダリングが実現される場合及び実現される場合のみ、最も高い視覚品質を有している。これは、3D LUTとして本願明細書で参照される三次元のカラールックアップテーブルの使用を必要とする。色を鮮やかにすることは、特定の画像ディスプレイ又はプロジェクタに応じて、増大した輝度及び/又はより大きな若しくはより小さな色域を必要とし得る。従来の行列及び一次元のカラーテーブルがRGB入力色で独立して機能する従来技術の画像ディスプレイ及びプロジェクタでは、より明るいディスプレイは、色相に影響を与えずには不可能である。例えば、特定の表示画像/投影画像の内容に応じて、青い空は紫に向かってシフトされ、肌のトーンは予測不可能な方法で変更され、及び、多くの他の色の中間生成物が存在し得る。3Dのカラールックアップテーブルの使用は、色の中間生成物なしで、より明るくより高いコントラスト及びより色彩に富んだ画像の表示及び投影を可能にする。本発明の方法を使用すると、所定の色標準のものとほぼ同一の、又は、標準よりも大きな、又は、標準よりも小さな、色域を有する画像のディスプレイ又はプロジェクタのためにこれが実現され得る。こうした画像ディスプレイ又はプロジェクタのカラーレンダリングは、各容積において異なる方法を有する及び視覚モデルを有する三次元のテーブルを使用して高められることが可能である。
本発明の一態様では、カラー画像を生成する第1の方法が提供され、当該方法は、例えばカメラなどの画像ソースからの入力画像のデータを用意する工程と、入力色及び出力色の値の少なくとも三次元のルックアップテーブルを生成する工程であって、ルックアップテーブルの値が、画像レンダリングユニットにおいて入力画像の色データを出力画像の色データに変換する、工程と、画像カラーレンダリングコントローラに少なくとも三次元のルックアップテーブルをロードする工程と、画像化カラーレンダリングコントローラに入力画像のデータをロードする工程と、少なくとも三次元のルックアップテーブルのアドレスに記憶された出力色の値を生成するために少なくとも三次元のルックアップテーブルを通じて入力画像のデータを処理する工程と、入力画像に比べて、高められた輝度、高められたコントラスト、及び高められた彩度の少なくとも1つを有するように知覚される出力画像を生成するために画像レンダリングユニットに出力色の値を出力する工程と、を備える。
ルックアップテーブルの値は、人間の視覚系の視覚モデルに基づき計算されてよく、及び、それらは、様々な鑑賞環境に対して知覚された輝度又はコントラスト又は彩度を改善するためのモデリングを有してよい。少なくとも三次元のルックアップテーブルによって導入された高められた輝度、高められたコントラスト、又は高められた彩度の少なくとも1つは、出力画像における選択された芸術的知覚を生成し得る。画像レンダリングユニットは、入力画像のデータの色域よりも大きな拡張された色域を有してよく、画像レンダリングユニットへの出力色は、拡張された色域を利用し、又は、画像レンダリングユニットは、入力画像のデータの色域よりも小さな低減された色域を有してよく、画像レンダリングユニットへの出力色はより小さな色域を利用する。入力画像データは、記憶色及び非記憶色を包含してよく、及び、方法は、入力画像データの記憶色が実質的に保持されることを特定する工程と、それらの色度に関して記憶色及び非記憶色を特徴付ける工程と、画像レンダリングユニットを使用して実質的に保持された記憶色を有する画像を生成する工程と、を有してよい。こうした状況では、非記憶色の知覚された彩度、輝度、及びコントラストは、記憶色の知覚された彩度、輝度、及びコントラストと異なるように変更される。それらは、記憶色の知覚された彩度、輝度、及びコントラストよりもさらに増大させられ得る。一実施形態では、非記憶色の知覚された彩度、輝度、及びコントラストは、記憶色の知覚された彩度、輝度、及びコントラストよりもさらに増大させられる。少なくとも三次元のルックアップテーブルを生成することは、非線形拡張関数を使用して記憶色に関して高められた輝度、彩度、及び色相を計算する工程を有してよい。拡張関数はシグモイド関数であってよい。非記憶色及び記憶色の色変換のための2つ以上の少なくとも三次元のルックアップテーブルが生成されて使用されてよい。少なくとも三次元のルックアップテーブルの各々は、画像レンダリングユニットの様々な鑑賞環境のために最適化されてよい。方法は、鑑賞環境における周辺光を測定するセンサを提供する工程をさらに有してよい。
入力画像のデータは第1色標準を有してよく、及び方法は、三次元のルックアップテーブルに入力するために第1入力色標準の入力画像のデータを入力色表示に変換する工程をさらに有してよい。少なくとも三次元のルックアップテーブルは、少なくとも3つの入力色及び/又は少なくとも3つの出力色を有してよい。少なくとも3つの出力色は、原色の結合として定義される独立した光源又は第2色としての原色の任意の結合であってよい。少なくとも三次元のルックアップテーブルは、画像カラーレンダリングコントローラの記憶において記憶装置の使用を低減させるために可逆圧縮で圧縮されてよい。方法は、画像レンダリングユニットの色応答を測定することによって画像レンダリングユニットを較正する工程と、及びその後に、少なくとも三次元のルックアップテーブルの後に追加で処理することによって、又は、少なくとも三次元のルックアップテーブルにおいて必要とされる較正を含むことによって、のいずれかで出力画像のデータを修正する工程と、をさらに有してよい。
画像カラーレンダリングコントローラは、画像レンダリングユニット内に包含されてよく、又は、画像レンダリングユニットの外部にあってよい。補助画像化装置コントローラは、画像カラーレンダリングコントローラ及び画像レンダリングユニットと通信してよい。画像レンダリングユニットは、限定されないものの、プロジェクタ、テレビ、コンピュータディスプレイ、及びゲームディスプレイから選択されてよく、及び、DMD、プラズマ、液晶、液晶オンシリコン変調、又は光源の直接変調を使用してよい。光源は、LED、OLED、レーザ、又はランプ光源であってよい。限定しないものの、画像カラーレンダリングコントローラは、ケーブルテレビセットトップボックス、ビデオゲームコンソール、パーソナルコンピュータ、コンピュータグラフィックカード、DVDプレーヤ、ブルーレイプレーヤ、放送局、アンテナ、衛星、放送受信機及びプロセッサ、並びに、デジタルシネマの少なくとも1つと通信してよい。
画像レンダリングユニットは、色変換のためのアルゴリズムを有してよく、少なくとも三次元のルックアップテーブルは、画像レンダリングユニットによって実行される色変換を補償するために入力画像のデータを処理する工程をさらに備える。画像レンダリングユニットは、原色から第2色を作り出すためのアルゴリズムを有してよく、及び、少なくとも三次元のルックアップテーブルは、画像レンダリングユニットの第2色の追加によって実行される色変換を補償する工程をさらに備える。
少なくとも三次元のルックアップテーブルは、画像レンダリングユニットの色変換のためのアルゴリズムによって生じる知覚された色、輝度、及びコントラストの減少を補償するため、知覚された色、輝度、及びコントラストを増大させるために入力画像のデータを処理する工程をさらに有してよい。少なくとも三次元のルックアップテーブルは、準最適な鑑賞環境から、人間の視覚系の視覚順応を有する改善された鑑賞環境への変換を包含してよい。少なくとも三次元のルックアップテーブルは、第2色の定義を包含してよく、及び、画像レンダリングユニットによる第2色の追加に起因して、知覚された彩度、コントラスト、又は輝度の損失を補償するために、知覚された彩度、コントラスト、又は輝度を増大させるために、高められた輝度、彩度、及び色相をさらに包含してよい。少なくとも三次元のルックアップテーブルは、画像レンダリングユニットの輝度を増大させる特定の白色点に対する人間の視覚系の色相順応を含むために入力画像のデータを処理する工程をさらに有してよい。
当該方法は、二次元(2D)画像又は「三次元」(3D)画像の表示又は投影に使用されてよい。3D画像は、観察者に奥行き知覚の幻想を提供するために、2つの視点から得られる2Dの立体画像を同時に又は間断なく提供することによって典型的に生成される。画像レンダリングユニットは「3D」ユニットであってよい。例として、及び限定ではなく、ユニットは、例えばオートステレオスコピックディスプレイであってよく、又は、偏光グラスを使用する観察者の目に投影されて向けられる2D立体画像を切り離す偏光フィルタを有してよく、又は、同期化されたシャッター目鏡を使用する観察者の目に投影されて向けられる2D立体画像を切り離すシャッター機構を有してよい。いずれの場合でも、両方のセットの2D画像の両方が、高められた輝度、及び/又は、高められたコントラスト、及び/又は、高められた彩度を有するように、観察者によって知覚される3D画像を伝達するために、当該方法によって処理されてよい。
本発明の別の態様では、カラー画像を生成するさらなる方法が提供され、当該方法は、第1色域の入力画像のデータ、及び、第2の拡張された又は低減された色域の画像レンダリングユニットを用意する工程と、入力色及び出力色の値の少なくとも三次元のルックアップテーブルを生成する工程であって、画像レンダリングユニットの第2色域を包含するようにルックアップテーブルの値が入力画像のデータを拡張させる又は低減させる、工程と、画像カラーレンダリングコントローラに少なくとも三次元のルックアップテーブルをロードする工程と、画像化カラーレンダリングコントローラに入力画像のデータをロードする工程と、少なくとも三次元のルックアップテーブルのアドレスに記憶された出力色値から出力画像データを生成するために少なくとも三次元のルックアップテーブル内へのアドレスとしての入力画像データを使用して、少なくとも三次元のルックアップテーブルを通じて入力画像データを処理する工程と、入力画像に比べて高められた輝度、高められたコントラスト、及び高められた彩度の少なくとも1つを有するように知覚される出力画像を生成するために画像レンダリングユニットに出力画像のデータを出力する工程と、を備える。この方法は、第1の方法に関して上述した様々な態様及び/又は工程を有してもよい。
本発明の別の態様では、モデルは、より最適で十分に明るい鑑賞環境であるように見える投影画像又は表示画像を生成するために、HVS知覚順応の視覚モデルを有してよい。画像処理は、表示画像に追加される周囲の環境の低レベルの照明及び/又は室内若しくは室外の周辺光を補正する工程を有してよい。より具体的には、準最適な鑑賞環境において画像レンダリングユニットによってカラー画像を生成する方法が提供され、当該方法は、入力色及び出力色の値の少なくとも三次元のルックアップテーブルを生成する工程であって、テーブルは、準最適な鑑賞環境から改善された鑑賞環境への変換を包含する、工程と、画像カラーレンダリングユニットコントローラに少なくとも三次元のルックアップテーブルをロードする工程と、少なくとも三次元のルックアップテーブルのアドレスに記憶された出力色の値から出力画像のデータを生成するために少なくとも三次元のルックアップテーブル内へのアドレスとしての入力画像のデータを使用して、少なくとも三次元のルックアップテーブルを通じて入力画像データを処理する工程と、画像レンダリングユニットに出力画像のデータを出力する工程と、を備える。この方法は、第1の方法に関して上述した様々な態様及び/又は工程をさらに有してよい。改善された鑑賞環境は、観察者が、カラー画像をさらなる色、コントラスト、又は輝度を有するものとして知覚し得るようなものであってよい。
本発明のさらに別の態様では、画像レンダリングユニットによってカラー画像を生成する方法が提供され、当該方法は、入力色及び出力色の値の少なくとも三次元のルックアップテーブルを生成する工程であって、当該三次元のルックアップテーブルは、第2色又は4色以上の原色の定義を包含する、工程と、画像カラーレンダリングコントローラに少なくとも三次元のルックアップテーブルをロードする工程と、画像カラーレンダリングコントローラに入力画像のデータをロードする工程と、少なくとも三次元のルックアップテーブルのアドレスに記憶された出力カラー値から出力画像のデータを生成するために少なくとも三次元のルックアップテーブル内へのアドレスとしての入力画像のデータを使用して、少なくとも三次元のルックアップテーブルを通じて入力画像データを処理する工程と、入力画像に比べて高められた輝度、高められたコントラスト、及び高められた彩度の少なくとも1つを有するように知覚される出力画像を生成するために画像レンダリングユニットに出力画像のデータを出力する工程と、を備える。この方法は、第1の方法に関して上述された様々な態様及び/又は工程を有してもよい。
第2色又は4色以上の原色は明確に定義されてよく、又は、第2色又は4色以上の原色は、2つの条件のための3入力3出力のルックアップテーブルの設計内に包含される。いずれの例でも、画像レンダリングユニットの測定された応答が、三次元のルックアップテーブルを定義するために使用されてよく、又は、画像レンダリングユニットの製造業者によって提供される数学が、三次元のルックアップテーブルを定義するために使用されてよい。代替的に、第2色又は4色以上の原色がどのように使用されるかのオープン定義が提供されてよい。この方法は、第1の方法に関して上述された様々な態様及び/又は工程を有してもよい。
本発明の別の態様では、周辺光及び画像の背景の環境とは無関係に人間の知覚の条件が最適である画像を表示する又は投影する課題が、画像の知覚された彩度、コントラスト、又は輝度を高めるための視覚モデルを使用することによって解決され、それによって画像の知覚品質を改善する。人間の知覚の視覚モデルは、表示されるべき画像を処理するために少なくとも三次元のルックアップテーブルを作り出すために使用されてよい。画像の記憶色は保持されてよい。方法は、人間の観察者の民族性への彩度、コントラスト、又は輝度の基準の依存性を特定するために経験的な視覚研究を実行する工程と、人間の観察者の各国籍に対する画像の知覚品質を定義する工程と、をさらに有してよい。方法は、人間の観察者の民族性の1つに基づき画像の彩度、コントラスト、又は輝度を調節する工程をさらに有してよい。方法は、入力色及び出力色の値の少なくとも三次元のルックアップテーブルを生成する工程をさらに有してよく、三次元のルックアップテーブルは、アナログフィルムシステ又はシネマのために設計されたデジタルシステムの高められた見かけに一致させるために画像の彩度、コントラスト、又は輝度を調節する。方法は、画像の選択された芸術的知覚を生成するために画像の彩度、コントラスト、又は輝度を調節する工程をさらに有してよい。
本発明の別の態様では、ディスプレイの赤、緑及び青のOLEDの相対的な輝度の全般的な品質及び寿命を管理する、OLEDディスプレイによってカラー画像を生成する方法が提供される。方法は、入力画像のデータを用意するとともに、少なくとも3つのOLEDを有するOLEDディスプレイを用意する工程であって、各OLEDは、異なる原色を有する、工程と、入力色及び出力色の値の少なくとも三次元のルックアップテーブルを生成する工程であって、ルックアップテーブルの値が、入力画像のデータを、画像の品質及び少なくともOLEDの寿命を最適に管理する方法でOLEDディスプレイの出力画像の色データに変換する工程と、画像カラーレンダリングコントローラに少なくとも三次元のルックアップテーブルをロードする工程と、画像化カラーレンダリングコントローラに入力画像のデータをロードする工程と、少なくとも三次元のルックアップテーブルのアドレスに記憶された出力色の値を生成するために少なくとも三次元のルックアップテーブルを通じて入力画像のデータを処理する工程と、OLEDディスプレイによって画像を生成するために出力画像のデータを出力する工程と、を備える。ルックアップテーブルの値は、人間の視覚系の視覚モデルに基づき計算されてよい。この方法は、第1の方法に関して上述された様々な態様及び/又は工程をさらに有してよい。
少なくとも3つのOLEDは、赤のOLED、緑のOLED、及び青のOLEDであってよい。こうした例では、画像の品質及びOLEDの寿命を管理する工程は、白の原色を追加して、RGBの使用量を減少させるとともに赤、緑、及び青のOLEDの寿命を延ばすために白の原色に対して既定量のRGBピクセル値のグレー成分をマッピングする工程をさらに有してよい。代替的に、画像の品質及びOLEDの寿命を管理する工程は、他の原色を追加して、RGBの使用量を減少させるとともに赤、緑、及び青のOLEDの寿命を延ばすために白の原色に対して既定量のRGBピクセル値のグレー成分をマッピングする工程と、をさらに備えてよい。方法は、第1OLEDが他のOLEDよりも早く寿命の末期に到達しないように、及び、OLEDの各々の画像品質が、OLEDの色の1つの大部分の知覚された中間生成物又は見かけなしで、ほぼ同等にゆっくり時間をかけて低減させられる。
方法は、OLEDの少なくとも1つの出力の変化に起因して画像品質を制御して低下させる工程をさらに備えてよく、所定のいずれかの時点での品質の変化が、知覚された品質の最小の損失を有している。制御された低下は、すべてのOLEDに関する使用量のデータを蓄積して使用することによって監視されてよい。制御された低下は、ゆっくりと時間をかけて画像全体に実行されてよく、又は、ゆっくりと時間をかけて画像の少なくとも一部に実行されてよい。制御された低下は、ゆっくりと時間をかけて画像の彩度を徐々に低減させるとともに画像の輝度を実質的に維持することによって、又は、高い彩度の画像ピクセル内よりも低い彩度の画像ピクセル内で画像の彩度を大きく低減させることによって、又は、原色の各々上の順応可能な一次元のテーブルを使用して彩度を徐々に減少させるとともに画像の輝度を実質的に維持することによって、実行されてよい。
各原色上の一次元のテーブルは、品質低下モデルを使用して計算されてよい。品質低下モデルは、特定のOLEDの寿命で目的の画像品質を提供するために予め設計された一次元のテーブルの間で平均化してよい。一次元のテーブルは、OLEDが最初に作動される時のための一次元のテーブルと、OLEDがそれらの有効な寿命の末期にある時のための一次元のテーブルとの間の補間によって生成されてよい。
本発明の別の態様では、画像ディスプレイ、テレビ、又はプロジェクタにおいて、彩度が飽和したきれいなR、G、及びBの色を維持するとともに輝度を増大させるために、画像フレームのデューティサイクルの間でR、G、及びBを一時的に結合することによって拡張された又は最大の色域を実現することの課題は、所定の鑑賞環境において物理的な又は知覚された入力色を維持するR、G、及びBの結合を計算して、それによって、物理的な又は知覚された彩度を維持して増大させられた輝度を達成することによって解決される。計算された結合は3Dルックアップテーブルに実装される。
本発明の上の態様のいずれにおいても、生成されるべきカラー画像は、本願明細書で定義されるような「記憶色」、及び非記憶色を包含してよい。概して、生成される画像の記憶色は保持される。方法は、入力画像のデータの記憶色が実質的に維持されることを特定する工程と、画像レンダリングユニットのそれらの色度に関して記憶色及び非記憶色を特徴付ける工程と、画像レンダリングユニットを使用して人間の知覚系の知覚的に正確な記憶色を備える画像を生成する工程と、を有してよい。非記憶色の知覚された彩度、輝度及びコントラストは、記憶色の知覚された輝度及びコントラストよりも増大させられる。一実施形態では、少なくとも三次元のルックアップテーブルを生成する工程は、S字状の拡張関数を使用して記憶色に関する高められた明度、彩度、及び色相を計算する工程を有してよい。2つ以上の少なくとも三次元のルックアップテーブルは、非記憶色及び記憶色の色変換に関して生成されてよい。少なくとも三次元のルックアップテーブルの一部又はすべては、画像レンダリングユニットの様々な鑑賞環境に対して最適化されてよい。こうした例では、方法は、画像レンダリングユニットの鑑賞環境に基づき画像カラーレンダリングコントローラにロードするために少なくとも三次元のルックアップテーブルの1つを選択する工程をさらに有してよい。鑑賞環境の周辺光を測定するセンサが提供されてよい。
本発明の関連する態様では、実際の「記憶色」を維持する一方で高い輝度及び高い彩度の大部分の色(及び、特定の高い彩度の色)を同時に有する画像を表示することの課題は、追加する色結合の失われた彩度を置換すると同時に肌のトーン及び他の公知の記憶色を保持する3Dルックアップテーブルによって、画像投影時間のデューティサイクルの一部に対してR、G、及びBを結合することによって白色光又は複数のR、G、B色の任意の結合を追加することによって解決される。画像データは、肌のトーン及び他の公知の記憶色を保持する一方で知覚された彩度、輝度、及びコントラストを増大させる方法で3Dのルックアップテーブルによって処理される。3Dのルックアップテーブルは、改善された画像品質を生成するために作り出される。視覚モデルは、画像処理を実行するために使用されてよい。
本発明の上の態様のいずれにおいても、方法は、三次元のルックアップテーブルに入力するための入力色表示に第1入力色標準の入力画像のデータを変換する工程をさらに備えてよい。
上の課題に対する解決策は、一例である三次元のルックアップテーブルを有する多次元のルックアップテーブルを必要とし得る。少なくとも三次元のルックアップテーブルは、3色以上の入力色と3色以上の出力色とを有してよい。例えばRGBテーブルでRGBCYMW(赤−緑−青−シアン−マゼンタ−黄−白)の出力値を有するように、すなわち、入力の3値と出力の7値とを有するように、出力次元は入力次元と異なってよい。出力の数は、4色以上の物理色、すなわち、例えばR、G、及びBなどの4色以上の原色を有するディスプレイによって、3より大きくてもよい。そうした例では、従って、出力色は、原色又は4色以上の色の結合であってよい。概して、3色の又は4色以上の出力色は、独立した光源としての原色の任意の結合又は原色の結合として定義される第2色である。少なくとも三次元のルックアップテーブルは、画像カラーレンダリングコントローラのメモリ内の記憶装置の使用を減少させるために可逆圧縮で圧縮されてよい。
より具体的には、本開示によれば、記憶色及び彩度が飽和した色を包含する画像を表示する方法が提供され、当該方法は、入力画像のデータの記憶色が実質的に維持されることを特定する工程と、それらの色度に関して記憶色を特徴付ける工程と、彩度が飽和した記憶色の色変換のための三次元のルックアップテーブルを生成する工程と、を備えている。三次元のルックアップテーブルは画像化装置コントローラにロードされ、及び、入力画像のデータは画像化装置コントローラにロードされる。入力画像のデータは、出力画像のデータを生成するために三次元のルックアップテーブルを使用するアルゴリズムによって処理される。出力画像のデータは、画像レンダリング装置に出力され、及び、人間の視覚系の知覚的に正確な記憶色を備える高明度、高コントラストの画像が表示又は投影される。
一実施形態では、方法は、予備処理する工程を有しており、様々な可能な入力色標準を3D又はより高次元のカラールックアップテーブルへの好適な色入力に変換するために一次元のテーブル及び行列が提供される。これは、様々なビデオ標準に適合可能な単一の又は低減された数の3D又はより高次元のカラールックアップテーブルを形成する目的のためになされる。別の実施形態では、3D又はより高次元の数学を包含するアルゴリズムは、3Dカラーテーブルに対する要求を不要にするように画像表示装置又は投影装置内にコンピュータの中央演算処理ユニットによってリアルタイムで実行される。これは、装置のコンピュータが、適切なコンピュータによる処理能力及びメモリを備える場合になされてよい。
別の実施形態では、方法は、様々な可能な入力色標準を、様々なビデオ標準に適合させるために3D又はより高次元のカラールックアップテーブルの形成に直接的に組み込む工程を有している。
ある状況では、画像レンダリングユニット(例えばディスプレイ装置又は投影装置など)は、「内蔵」されるいくつかの色変換能力を備えている。例えば、装置は、白又は第2色を追加するためのアルゴリズムを備えてよく、その結果、彩度の損失、及び、記憶色の見かけの歪みを生じさせる。こうした状況では、少なくとも三次元のルックアップテーブルの出力値は、画像レンダリングユニットによって実行される色変換を補償するために入力画像のデータが処理されるように特定される。方法は、従って、画像レンダリングユニットによって実行される内蔵色変換を補償する色空間内で所定の方向に色データをシフトさせるように、色データを調節するために少なくとも3Dのカラーテーブルを提供する工程を有してよい。少なくとも三次元のルックアップテーブルはさらに、画像レンダリングユニットの色変換のためのアルゴリズムによって生じる知覚された色、輝度、及びコントラストの低減を補償するために、知覚された色、輝度、及びコントラストを増大させるために入力画像のデータを処理する工程をさらに備えている。原色から第2色を作り出すアルゴリズムを画像レンダリングユニットが有するより具体的な例では、少なくとも三次元のルックアップテーブルは、画像レンダリングユニットの第2色の追加によって実行される色変換を補償する工程をさらに備えてよい。少なくとも三次元のルックアップテーブルの値は、少なくとも三次元のルックアップテーブルが、画像レンダリングユニットの輝度を増大させる特定の白色点に対する人間の視覚系の色彩順応を有するために、入力画像データを処理する工程をさらに備えるように特定されてもよい。少なくとも三次元のルックアップテーブルは、アナログフィルムシステム又はシネマ用に設計されたデジタルシステムの高められた見かけに一致するために生成されるべき画像の彩度、コントラスト、又は輝度を調節してもよい。
本開示によれば、カラー画像を生成する装置がさらに提供される。装置は、システムバスを通じて中央演算処理ユニット及びメモリを有するコンピュータを備えてよい。メモリは、ランダムアクセスメモリ又はコンピュータ読み取り可能な記憶媒体であってよい。メモリは、少なくとも三次元のルックアップテーブルを包含する。
本発明の一態様では、少なくとも三次元のルックアップテーブルは、入力色及び出力色の値を包含しており、ルックアップテーブルの値は、入力画像の色データのセットを、装置に接続可能な画像レンダリングユニットの出力画像の色データに変換する。
本発明の別の態様では、記憶色及び非記憶色を備える入力画像のデータを視覚色空間に変換して、視覚色空間の記憶色及び非記憶色の高められた明度、彩度、及び色相を計算するためのアルゴリズムによって少なくとも三次元のルックアップテーブルが生成されてよい。少なくとも三次元のルックアップテーブルを生成するためのアルゴリズムはメモリに格納されてよい。
本発明の別の態様では、少なくとも三次元のルックアップテーブルは、入力色及び出力色の値を有しており、ルックアップテーブルの値は、装置に接続可能な画像レンダリングユニットの第2の拡張された又は低減された色域を包含するために入力画像データセットの第1の色域を変換する。
本発明の別の態様では、少なくとも三次元のルックアップテーブルは、準最適な鑑賞環境から、人間の視覚系の視覚及び色彩の順応を有する改善された鑑賞環境への変換を包含する。
本発明の別の態様では、少なくとも三次元のルックアップテーブルは、装置に接続可能な画像レンダリングユニットに起因した第2色の追加に対する知覚された彩度、コントラスト、又は輝度の損失を補償するために、知覚された彩度、コントラスト、又は輝度を増大させるため、第2色の定義、並びに、高められた明度、彩度、及び色相を包含する。
画像が人間の観察者によって知覚される本発明の別の態様では、メモリは、画像の知覚された彩度、コントラスト、又は輝度を高めるための視覚モデルを包含してよい。
本発明の上の態様のいずれにおいても、装置は、コンピュータと通信する画像レンダリングユニットをさらに有してよい。画像レンダリングユニットは、プロジェクタ、テレビ、コンピュータディスプレイ、及びゲームディスプレイから選択されてよく、及び、DMD、プラズマ、液晶、液晶オンシリコン変調(LCOS)、又は、光源及びLEDの直接変調、有機発光ダイオード(OLED)、レーザ、又は、ランプ光源を使用してよい。装置は、ケーブルテレビセットトップボックス、ビデオゲームコンソール、パーソナルコンピュータ、コンピュータグラフィックカード、DVDプレーヤ、ブルーレイプレーヤ、放送局、アンテナ、衛星、放送受信機及びプロセッサ、及びデジタルシネマの少なくとも1つを有する補助画像化装置をさらに備えてよい。液晶ディスプレイ、プラズマディスプレイ、及びDMDプロジェクタの1つは補助装置と通信してよい。装置は、入力画像データのソースに対する通信リンクをさらに備えてよい。
少なくとも三次元のルックアップテーブルは、第2色の定義を有しており、及び、画像レンダリングユニットによる第2色の追加に起因して、知覚された彩度、コントラスト、又は輝度の損失を補償するために、知覚された彩度、コントラスト、又は輝度を増大させるために、高められた明度、彩度、及び色相を包含している。代替として又は追加として、少なくとも三次元のルックアップテーブルは、準最適な鑑賞環境から、人間の視覚系の視覚及び色相の順応を有する改善された鑑賞環境への変換を包含してよい。
装置のメモリは、少なくとも三次元のルックアップテーブルのセットを包含してよく、各セットのテーブルは、画像レンダリングユニットの様々な鑑賞環境のために最適化されてよい。装置は、鑑賞環境の周辺光を測定するセンサを備えてよい。
本発明の別の態様では、ディスプレイの電力消費量を低減させる一方で、高品質のカラー画像を表示するための方法が提供される。ディスプレイは、表示画面を有してよく、又は、ディスプレイは、画像を表面上に投影してよい。方法は、入力ピクセルの色の値の関数として、異なる量の白の追加又は輝度を各ピクセルに提供する工程を有してよい。入力彩度がより良好に保持されるように、より高い彩度を有するピクセルには、より少ない量の白が追加され、よりニュートラルなグレー色のピクセルには、黒白ピクセルに対する輝度をより増大させるため、より多くの白が追加され得る。これは、入力彩度を高度に維持することを可能にし、従って、観察者によって知覚される彩度(従って、画像品質)を維持することを可能にする。さらに、最も高い入力彩度に対して白の追加量がごくわずかな量まで低減される場合は、ディスプレイの完全な入力色域を維持することができる。
彩度の増大と共に白の追加を低減させる様々な方法が企図される。例えば、完全な入力色域より小さな1つのシグマ(1つの標準偏差)幅を有する入力彩度のガウス関数が使用され得る。ピクセルに白を順応可能に追加するこの方法は、画像に依存する輝度の追加及び対応する節電効果をもたらす。より黒白の、従って、彩度が低い画像に対して、節電効果は最も高くなり、高度に色彩に富んだ画像に対して、節電効果は最も低くなる。このタイプの処理は、画像データに対してリアルタイムで実装されてよく、従って、画像依存の節電効果は、画像ごとに変化し得る。彩度における損失は画像彩度の中程度であり、この発明の色処理はこの範囲の入力彩度において最も高い彩度回復を有するため、この方法は、この発明の色処理に従う。さらに、ほとんどの画像が低度から中程度の彩度を有するため、及び、それらのタイプの画像ピクセルに対して節電効果がより大きいため、所定の画像セット(映画又はビデオなど)に対して結果として生じる平均節電効果は、黒白画像に対する最大節電効果に近い。
本発明の別の態様では、延長時間にわたってポータブルなディスプレイ装置上に高品質の画像を表示するという課題は、結果として生じる新しい原色がより効率的であるように、ディスプレイ装置の原色を変更することによって解決される。これは、低電力光源(液晶ディスプレイ用の)を使用することによって、又は、低電力ランプ若しくは低電力白色OLEDを使用することによってなど、装置への電力を低減させることを可能にする。これは、熱生成をより少なくし、他のディスプレイ管理コストをより少なくする。
しかしながら、原色へのこうした変更は、その白色点を含むディスプレイの色域を変更する。これにより、是正措置なしでは、色は、ディスプレイによってレンダリングされる可能性があり、これは視聴者にとって満足のいくことではない。本発明のさらなる態様では、この課題は、色を美学的に見て美しいものに補正する本出願人らの三次元のカラールックアップテーブル(3DLUT)の使用によって解決される。
従って、結果として生じる新しい原色がより効率的であるようにディスプレイ装置の原色を変更する工程と、三次元のカラールックアップテーブルの使用によって色域において結果として生じるシフトを補正する工程との組み合わせは、延長時間にわたってポータブルなディスプレイ上に高品質の画像を表示するという課題を解決する。電力消費量を低下させることにより、ポータブルなディスプレイのバッテリの寿命が増加する。
本発明によれば、この総合的な課題を解決するための複数の選択肢がある。本発明の一態様によれば、赤、緑及び青の原色のサブピクセルを含むピクセルから成るディスプレイを使用してカラー画像を生成する方法が提供される。方法は、基準レベルに対して色域を低減させて画像の輝度を増大させる工程と、画像の輝度を低減させるため、ディスプレイへの電力を減少させる工程と、出力画像ピクセルデータを生成するため、三次元のルックアップテーブルを使用して画像ピクセルデータを変更することによって、おおよそ基準レベルまで画像の色を回復する工程と、カラー画像を生成するため、出力画像ピクセルデータをディスプレイに伝送する工程とを含む。ディスプレイは、LCDディスプレイ、LEDディスプレイ、OLEDディスプレイ、プラズマディスプレイ及びDMDプロジェクタの1つであってよい。
色域を低減させて画像の輝度を増大させる工程は、画像に白を追加することによって実現され得る。白は、画像の各ピクセルに白のサブピクセルを追加することによって、又は、画像の各ピクセルの原色のサブピクセルの少なくとも1つに白を追加することによって、追加され得る。白は、原色のサブピクセルの2つ又は3つのすべてに追加され得る。白は、異なる量で原色のサブピクセルに追加され得る。
ある実施形態では、白は、彩度の増大と共に白の追加量が減少するアルゴリズムに従って順応可能に追加され得る。ガウス関数は、彩度の増大に伴う白の減少を定義するため、アルゴリズムで使用され得る。アルゴリズムは、三次元のルックアップテーブルの値を決定するために使用され得る。
複数の画像は、ディスプレイを使用して生成されてよく、アルゴリズムは、各画像ピクセルに追加する白の量と、各画像に対する電力の減少量とを決定する工程を含む。アルゴリズムは、個々のピクセルの各々への白の追加量、さらに、個々の赤、緑及び青の原色のサブピクセルの各々への白の追加量を決定する工程を含み得る。白は、ピクセル露光時間の一部の間にサブピクセルに追加され得る。
白は、赤、緑及び青の原色のサブピクセルを提供する第1のソースとは別の第2のソースから追加され得る。ディスプレイがLCDディスプレイである実施形態では、第1のバックライトは、第1のソースであってよく、第2のバックライトは、第2のソースであってよい。代替的に、白は、白のサブピクセルによって各ピクセルに追加され得る。
ある実施形態では、ディスプレイへの電力の減少は、おおよそ基準レベルまで画像の輝度を低減させる。他の実施形態では、ディスプレイへの電力の減少は、基準レベルより明るいレベルまで画像の輝度を低減させる。すなわち、より明るいディスプレイを提供すると同時に、ディスプレイへのある程度の電力の低減が実現される。
ある実施形態では、画像の色を回復する工程は、IPT色空間で実行される。三次元のルックアップテーブルの値は、人間の視覚系の視覚モデルを使用することによって決定されてよく、視覚モデルは、人間の視覚系の色彩順応のモデルを含み得る。画像の色を回復する工程は、ディスプレイの白色点を色標準の白色点に補正する工程を含み得る。
ある実施形態では、記憶色は、カラー画像に保持される。
本開示は、同様の符号が同様の要素を参照する以下の図面を参照して提供される。
図1Aは、カラー画像のレンダリング用の出力色データを生成するために入力色データを処理する様々な従来技術の例示の二次元の概略図である。 図1Bは、カラー画像のレンダリング用の出力色データを生成するために入力色データを処理する様々な従来技術の例示の二次元の概略図である。 図1Cは、カラー画像のレンダリング用の出力色データを生成するために入力色データを処理する様々な従来技術の例示の二次元の概略図である。 図1Dは、カラー画像のレンダリング用の出力色データを生成するために入力色データを処理する様々な従来技術の例示の二次元の概略図である。 図2は、カラー画像のレンダリング用の出力色データを生成するために入力色データを処理する当該方法の態様の概略図である。 図3は、DCI及びHD709の色域、並びに、様々な媒体及び/又は画像化装置の色域を示す色度図である。 図4は、R、G、及びBの原色に白を追加することによって色域が連続的に低減された画像ディスプレイ、プロジェクタ、又はテレビの一連の色域を示す三次元色空間の斜視図である。 図5は、カラー画像を生成する装置の概略図である。 図6は、本発明の目的のために三次元のルックアップテーブルを生成する1つのアルゴリズムの工程を示すフローチャートである。 図7は、本開示によるカラー画像を生成する1つの方法を示すフローチャートである。 図8は、色出力較正を含む、本発明によるカラー画像を生成する1つの数学のフローチャートの概略図である。 図9は、本発明による、ディスプレイによる電力消費量の低減を可能にする第1の色域変換を含む、色度図のグラフ表示である。 図10は、図9で描写される第1の色域変換における三次元色ボリュームの二次元「スライス」である。 図11は、本発明による、ディスプレイによる電力消費量の低減を可能にする第2の色域変換を含む、図9の色度図のグラフ表示である。 図12は、本発明による、第3の色域変換から生じた三次元色ボリュームの二次元「スライス」である。 図13は、本発明による、原色の彩度又は輝度が低減され、ディスプレイによる電力消費量の低減を可能にする、色域変換のセットのグラフ表示である。 図14Aは、本出願人らのカラー画像を表示する方法の一実施形態から生じた画像シミュレーションを示す。 図14Bは、本出願人らのカラー画像を表示する方法の一実施形態から生じた画像シミュレーションを示す。 図14Cは、本出願人らのカラー画像を表示する方法の一実施形態から生じた画像シミュレーションを示す。 図15は、順応する方法で画像へのピクセル依存の白の追加量を計算するために使用され得るピクセル彩度の二次元ガウス関数の斜視図である。 図16は、図15の様々なガウスσ値に対して実現されたCieLUV色空間における全色域ボリューム、相対輝度の増大及び節電効果の依存性について描写する。 図17は、色域内の色度範囲、すなわち、二次元ガウス関数の選ばれたσとσ値から生じた色度範囲について描写する。 図18は、本出願人らのカラー画像処理の一実施形態が使用される場合及び使用されない場合の彩度尺度の比較について描写する。 図19Aは、元の画像の例示的な画像について描写する。 図19Bは、元の画像への本出願人らのカラー画像処理なしでの白の追加から生じた例示的な画像について描写する。 図19Cは、元の画像への本出願人らのカラー画像処理ありでの白の追加から生じた例示的な画像について描写する。 図19Dは、輝度増大を示すグレースケール輝度画像の例示的な画像について描写する。 図20Aは、元の画像の例示的な画像について描写する。 図20Bは、元の画像への本出願人らのカラー画像処理なしでの白の追加から生じた例示的な画像について描写する。 図20Cは、元の画像への本出願人らのカラー画像処理ありでの白の追加から生じた例示的な画像について描写する。 図20Dは、輝度増大を示すグレースケール輝度画像の例示的な画像について描写する。
本発明は、好適な実施形態に関連して説明されるものの、説明された実施形態に本発明を限定する意図はないことが理解されよう。その一方で、添付の特許請求の範囲によって定義されるような本発明の精神及び範囲内に含まれ得るすべての代替例、変形例、及び均等物をカバーすることが意図される。
本発明の全般的な理解のために図面を参照する。図面では、同様の要素を指し示すために同様の参照符号が終始使用されている。本発明を説明するにあたって、明細書では様々な用語が使用される。画像処理、表示、及び投影の技術における標準的な用語が広く使用される。例えば、色彩科学及び画像化の分野における標準用語の定義に関する、Commission Internationale de l’eclairage(国際照明委員会:CIE)によって1987年に発行されたInternational Lighting Vocabulary(国際照明用語集)を参照し得る。John Wiley & Sons, Inc.によって2000年に発行されたロイ・バーンズ(Roy S. Berns)の「Billmeyer and Saltzman’s PRINCIPLES OF COLOR TECHNOLOGY」の第3版と、イギリスのチチェスターでWiley−IS&Tによって2005年に発行されたマーク・D.フェアチャイルド(Mark D. Fairchild)の「Color Appearance Models」と、をまた参照し得る。
本発明を十分に説明するため、本開示で使用されるように、所定の用語を以下のように定義する。
輝度−視覚の特性、それによって、所定の領域がおおよそ光を放射する又は反射するように見える。
BT.709−ITU 無線通信部門(ITU−R)のRecommendation BT.709、高解像度テレビのフォーマットに関する基準に対する短縮表示。
色度−例えば図3に示すもののように、色度図において装置の色域を視覚化するためにしばしば使用される規格化されたCIEの三刺激値。
CIECAM02−国際照明委員会によって採用された、又は、2002年にCommission Internationale de l’eclairage(国際照明委員会:CIE)によって発行された最新の色モデル。
色−例えば三刺激値などの、運用上の規定値に関する色刺激の仕様。
色空間−各点が色に対応する三次元空間。
彩度−知覚色による視覚の特性、それによって、所定の領域がおおよそ色彩であるように見える。
コントラスト−知覚において、同時に又は連続的に見える視野の2つ以上の部分の見かけの差の評価。
DCI標準−2002年に設立された主要な動画スタジオのジョイントベンチャーであるデジタル・シネマ・イニシアティブズ・エルエルシー(Digital Cinema Initiatives, LLC)によって作り出されたデジタルシネマ用の色標準。標準は、2008年3月7日にデジタル・シネマ・イニシアティブズ・エルエルシーによって認証されたバージョン1.2の刊行物「デジタルシネマシステム仕様書(Digital Cinema System Specification)」に含まれている。
ディスプレイ−その表面で別個に照らされた要素から画像を形成する画像化装置。
色域−インク、光又は他の着色剤のセットによって生産可能な色の範囲。色域は、色空間の特定の領域に関して説明され得る。
色相−知覚の特性、それによって、所定の領域が、赤、黄、緑、及び青の色の1つと同様であるように見える、又は、閉リングで考慮されるこれらの色の隣接する対の結合に見える。
記憶色−観察者が、物体を観察した以前の経験の観察者の記憶に基づき、意識的に又は無意識に観察する、及び、物体の色が正確であるかどうかについて観察者が判断を下す、画像中の物体の色。記憶色の例は、肌(人間の皮膚)のトーン、草の緑、空の青、バナナの黄、りんごの赤、及び、グレースケールである。商品、及び、例えば「コダックイエロー」、「IBMブルー」及び「ジョンディアー(John Deere)グリーン」などの登録商標に関連した色の正確なレンダリングは、画像の一部の見る人/ユーザにとって重要であり、及び、記憶色の例でもある。記憶色の知覚された見かけは、観察者が見る状況によって影響を受け得ることにさらに留意されたい。
原色−画像レンダリングユニットにおいてカラー画像を作り出すために使用される、すべてのカラーフィルタを含む、個々の光源の色。
プロジェクタ−例えば壁又はスクリーンなどの遠くの別個の表面上に光を伝達させることによって、場合によっては表面上に光の焦点を合わせることによって、画像を形成する画像化装置。
RGBCYMW−本願明細書で組み合わせてこれらの頭文字のいずれかの使用において、赤、緑、青、シアン、黄、マゼンタ、及び白それぞれを表す。
画像のレンダリング−その表面で別個の照らされた要素から画像を形成する画像ディスプレイ、若しくは、例えば壁又はスクリーンなどの遠くの別個の表面上に光を伝達させる及び場合によっては焦点を合わせることによって画像を形成する画像プロジェクタ、のいずれかを介して、観察のために画像を提供すること。
彩度−その輝度に比例して判断される領域の色彩。
第2色−原色から独立して制御されることが可能な画像レンダリングユニットの原色の線形又は非線形の結合。
刺激値−考慮される刺激の色と一致することが必要される、所定の三色表色系における、3つの標準色刺激の量。
白−画像の一部の色に追加され得る通常は赤、緑、及び青である原色の3つの値のセットであって、それによって、色を明るくするために色に白を効果的に加える。
本願明細書で使用されるように、三次元のルックアップテーブル又は3DLUTに対する参照は、そうでないと示されない限り、少なくとも三次元のテーブルを示すことを意味していることにさらに留意されたい。ルックアップテーブルは、多次元であってよく、すなわち、3色以上の入力色及び3色以上の出力色を有し得る。
図2は、カラー画像をレンダリングする出力色を生成するために入力色データを処理する際に使用される少なくとも三次元のカラーテーブル54の完全な多次元性能を示す例示の二次元の概略図である。例示の単純化のため、図2の図表420は、本発明の少なくとも3Dのカラーテーブル54の2Dの演出のみを描いている。完全な色空間における任意の点及び/又は任意の領域は独立して変更されることが可能である。小さな四角422は、色が変化しない色空間における位置を表している。これらの位置は、例えば肌のトーンなどの記憶色の位置であり得る。
他の領域424では、コントラスト、彩度、及び輝度の選択的増加がなされてよい。これらの領域424の大きな四角426は、彩度、コントラスト、及び輝度が増大する位置を表している。例えば肌のトーンの領域などの固有色又は色領域はいずれも、固有の色処理のために選択されることが可能である。一実施形態では、3Dのカラーテーブルは、色毎の12ビットに対して4096×4096×4096の独立した色であるすべての入力RGB色に関する出力値を包含してよく、それによって、687億の固有色の選択肢を提供する。別の実施形態では、3Dのカラーテーブルのサイズは、3Dのカラーテーブルの位置を定義するために入力色の最大ビットを使用することによって、及び、入力色の最小ビットを使用する多重線形又は他の多次元補間を実行することによって、低減されることが可能である。
四角422及び426は様々な色領域を示すことが意図されているものの、四角の境界は、そうした領域のはっきりとした規定の限界を示すことを意味していないことが理解されよう。前に説明したように、これらの領域は、四角によって規定される領域の外側にある色空間の領域からの滑らかな移行を提供する確率分布を使用して作られてよい。
例えば、様々な領域は、確率関数によって滑らかに接続されるガウス分布の限界によって規定されてよい。少なくとも3D LUT54の色出力値を規定する際、様々な量の色(R、G、B)ベクトルを変位させる体積導関数が使用されてよい。記憶色の領域内では、色ベクトルが、より小さな変位を有しており、又は、全く変位を有していないことがあり得る一方で、他の色領域が、それらのコントラスト、彩度、及び輝度を増大させるためにより大きな変位を有している。
完全なテーブルは非常に大きくてよい。例えば、入力色が24ビット(すなわち、R、G、及びBの各々に対して8ビット)であれば、及び、出力が白を含み、かつ、32ビット(すなわち、R、G、B、及びWの各々に対して8ビット)であれば、大きなテーブルが結果として生じる。図5を参照すると、画像カラーレンダリングコントローラのメモリ36が十分に大きく、かつ、最速の色処理を生じさせる場合に、この大きな3D LUT54が使用されてよい。しかしながら、メモリ36のサイズを制限される場合、十分な計算能力がCPU34で有効であるものの、多次元の補間が、3D LUT54のサイズを減少させるために使用されてよい。この特定の例では、各それぞれの入力原色には、3D LUT54を規定して記憶装置の特定位置に入れるために3〜8ビットが使用されてよい。3〜8ビットによって規定される3D LUT54の立方体の8つの頂点と関連した出力色同士の間で生じる出力色を規定するために1ビット及び2ビットを有する多次元補間が使用されてよい。
例えばディスプレイ、テレビ、及び/又はプロジェクタなどの画像レンダリングユニットの色域は、その原色の結合を有する画像レンダリングユニットによって生成されることが可能な最大色によって規定される。図3は、CCIR709色標準404及びDCI色標準402と対比される様々な画像レンダリングテクノロジーの色域を示している。図3は、例えばLEDプロジェクタ(色域406)、OELDディスプレイ(色域408)、デジタルシネマプロジェクタ(色域410)及び4色以上の原色を有するテレビ(色域412)などのディスプレイが、デジタルメディア分布に関するCCIR709色標準(色域404)よりも大きな色域を有していることを示しており、従って、これらのディスプレイタイプのより大きな色域に対してより小さなCCIR色標準709をマッピングする必要があることを示している。消費者のデジタルカラー媒体のためのすべての他の国際的な色標準は、CCIR709と類似しており、及び従って、図3のディスプレイタイプのより大きな色域に対してこれらの標準をマッピングすることが同様に必要であることを表している。本発明の方法では、これは、記憶色を同時に保持し、特定の環境で見るための特定の装置を最適化し、及び、人間の視覚系の順応を考慮に入れる間に、なされる。図3はまた、DCI「ハリウッド」色基準が、レーザの無限集合の色域414よりもかなり大きく、及び従って、任意のあり得るディスプレイ又は画像レンダリングユニットよりも大きいことを示しており、従って、プロフェッショナルなデジタルシネマプロジェクタを含む任意のディスプレイタイプのより小さな色域に対するより大きな入力をマッピングすることが必要であることを示している。
例えばディスプレイ、テレビ、及び/又はプロジェクタなどのカラー画像レンダリングユニットでは、単一の光学系及び単一の画像変調器によって最大輝度を実現するために、複数のRGBチャンネルが、画像フレームの間の時間の一部に対して結合されてよい。画像フレームのデューティサイクルの間にこれらの複数のRGBチャンネルを追加することは、画像の輝度を増大させるものの、きれいなRGB色の彩度を減ずることによって彩度を減少させる。図4は、そのR、G、及びBの原色に対する白の追加によって色域が連続的に減少させられた画像ディスプレイ、プロジェクタ、又はテレビの一連の色域を描く三次元のCIECAM02J Lの対抗する色空間10の斜視図である。外側(最も粗い四角)の色域12は、赤、緑、及び青のLEDによって生成される原色を有する一例の画像プロジェクタの色域である。ワイヤーフレームの色域11は、CCIR709のビデオ色標準を表している。連続的に細かくなる四角の立体14、16、18、及び20は、それぞれ、6.25%、12.5%、25%、及び50%の白の追加から生じる色域を表している。例示の単純化のため、色域11〜20の2Dの投影は、それぞれの閉カーブ11A〜20Aとしてa平面上に設けられている。LEDの原色の色域12/12Aには白が追加されていない。3Dの斜視の演出及び2Dの投影から、白の追加が常に画像装置の色域を減少させることが概して分かる。
しかしながら、このことは、装置の画像に対する白の追加が有益であり得ないことを意味するものではない。立体14及び閉カーブ14Aによって示されるような6.25%のレベルの白の追加は、CCIR709の色ビデオ標準とほぼ同様の色域を生じさせるものの、同時に、知覚された画像をより明るくする。画像レンダリングユニットでは、及び特に、例えばデジタルマイクロミラーデバイス(DMD)を採用するもののような単一の変調LEDディスプレイでは、画像は、RGB色を結合させることからの白の追加によってより明るく見えるようにされる。デジタルシネマでは、これは、画像フレーム時間の一部に対してなされてよい。人間の視覚系の順応の能力は、それによって、表示画像の明らかな輝度及び明度のコントラストを増大させるように利用される。
本発明の一態様では、画像の色に対して追加するために白の最適な量を特定する際に、人間の視覚系による視覚の視覚モデルが使用される。画像の知覚された彩度、コントラスト、及び/又は輝度が高められ、それによって、画像の知覚品質を改善する。人間の視覚の視覚モデルは、表示されるべき画像を処理するために少なくとも三次元のルックアップテーブルを作り出すために使用されてよい。本発明の方法は、人間の観察者の民族性上への彩度、コントラスト、又は輝度の好みの依存性を特定するために経験的な視覚研究を実行する工程と、人間の観察者の各国民性に対する知覚画像の質を規定する工程と、を有してよい。画像の彩度、コントラスト、又は輝度は、人間の観察者の民族性の1つの好みに基づき調節されてよい。
図5は、人間の観察者によって観察され得る、カラー画像を生成する装置の概略図である。画像化装置は、例えばテレビ、ディスプレイ、プロジェクタ、又は別のユニットなどの画像レンダリングユニットを有してよい。図5を参照すると、画像化装置30は、中央演算処理ユニット34及びメモリ36を備える画像カラーレンダリングコントローラ32又はコンピュータ32又は他のプロセッサを有してよい。代替のメモリとして、又は、メモリ36に追加して、コントローラ32は、例えばハードディスクなどのコンピュータ読み取り可能な記憶媒体38を有してよい。これらの構成要素は、システムバス39を通じて通信する。装置39は、例えば液晶ディスプレイ42などの画像ディスプレイ又は画像プロジェクタであり得る画像レンダリングユニット40と、プラズマディスプレイ44と、DMD80、ランプ82、及びカラーホイール84を有するデジタルミラーデバイス(DMD)46と、又は、DMD80、並びに赤、緑、及び青のLED、OLED、又はレーザ86、87、及び88を有するデジタルミラーデバイス48と、をさらに備えてよい。
画像化装置30は、記憶媒体38に記憶される入力画像データを処理してよく、又は、画像化装置30は、外部装置又は外部ソース50から入力データを受け取ってよい。外部ソース50は、インターネット接続又は他のネットワーク又は電気通信接続を備えてよく、その結果、入力画像データがそうした接続を通じて伝送される。
画像化装置30は、特定の用途に応じて、様々な方法で画像を表示する又は投影するためのシステムに適合されてよい。ある実施形態では、画像化装置30は、コントローラ32と、画像レンダリングユニット(ディスプレイ又はプロジェクタ)40と、を備える統合システムとして設けられてよく、画像入力データのソース50に接続されることのみが必要である。別の実施形態では、画像化装置30は、画像レンダリングユニット40と切り離されてよく、及び、上述したように、ネットワーク又は電気通信接続を通じて画像レンダリングユニット40と通信してよい。画像化装置30は、画像カラーレンダリングコントローラ32と、画像入力データのソース50への接続のための第1ポート(図示せず)と、画像レンダリングユニット40との接続のための第2ポート(図示せず)と、を備えるように設けられてよい。この構成は、画像入力データの放送ソース(例えば「ケーブルテレビの番組」)に接続されるケーブルを介して信号を受信する投影又はフラットスクリーンテレビに対する更新に特に有益である。こうした状況では、入力画像データ50を運ぶケーブルは画像レンダリングユニット40から切断され、及び、画像化装置30は、本発明の画像処理を実行するためにそれらの間に直列に配置され得る。
他の実施形態では、画像化装置30は、画像レンダリングユニット40と通信する補助装置60又は補助画像化装置コントローラ60と通信してよく又は統合されてよい。画像化装置コントローラ60は、限定しないものの、音響/ビデオプロセッサ、ケーブルテレビセットトップボックス、ビデオゲームコンソール、パーソナルコンピュータ(PC)、PCのコンピュータグラフィックカード、又は、DVDプレーヤ又はブルーレイプレーヤのコンピュータグラフィックカードであってよい。別の実施形態では、画像化装置30は、放送局の電子及び処理構成要素、放送アンテナ、受信機又はプロセッサ、又はデジタルシネマシアター内に統合されてよい。別の実施形態では、装置30は、例えば映画及びテレビ番組のDVDの制作又はシアターへの配給のためのデジタルシネマの制作に使用される設備などの、媒体のハードウェア及びソフトウェアの創作、準備、及び製造の設備に組み込まれてよい。放送局、デジタルシネマシアター、及び、媒体製造設備はすべて、補助画像化装置コントローラ60を備えてよい。
装置30のメモリ36は、少なくとも三次元のルックアップテーブル54のセットを包含してよく、セットの各テーブルは、画像レンダリングユニット40の様々な鑑賞環境に対して最適化されてよい。装置30は、画像レンダリングユニット40の鑑賞環境における、又は、プロジェクタ46又は48の場合には、投影画像の鑑賞環境における、周辺光を測定するセンサ70を備えてよい。メモリ36は、生成画像の知覚された彩度、コントラスト、又は輝度を高めるために使用され得る人間の視覚系の知覚の視覚モデルを包含してよい。
図6は、非記憶色の知覚された彩度、コントラスト又は輝度を改善するために三次元のルックアップテーブルを生成する一方で、記憶色の色精度をより高い段階に保持するアルゴリズムを示すフローチャートである。図6のアルゴリズム100は、図7の方法200の工程210を実行するために使用されてよい。さらに、アルゴリズム100は、DMD、プラズマ、液晶、液晶オンシリコン変調、又は、光源の直接変調を使用する、及び、LED、OLED、レーザ、又はランプ光源を使用する他の画像レンダリング装置に適用可能である。
図6を参照すると、工程110では、入力画像データのRGB入力値は、このデータの非直線性を補償するために補正される「逆ガンマ」であり、それによって、線形化されたスカラーRGB値を生成する(元の入力データは、例えば約2.2のガンマ値を有し得るディスプレイ又はプロジェクタに使用されるという見込みで供給される)。工程120では、CIE XYZ刺激値として入力画像データを表すために、スカラーRGB値及びプロジェクタの行列の外積が取られる。工程130では、刺激値は視覚色空間に変換される。色、コントラスト、及び輝度の相互依存性を特徴付ける、及び、記憶色の知覚が保持されることを可能にする、視覚色空間への変換は、知覚モデリングが実行されることを可能にする。視覚色空間は、一定の知覚色相の正確なモデリングする、及び、明度、黄−青、及び赤−緑の次元を有する逆色空間であってよい。
工程140では、明度、彩度、及び色相の視覚色空間の予測見かけ特性が計算される。工程150では、レンダリングされるべき色に関する高められた明度、彩度、及び色相が計算される。工程150は、画像のレンダリングにおいて記憶色を維持するためにステップ152、154、及び156を有してよい。
保持されるべき特定の記憶色がある場合には、方法100の工程150は、ステップ152、154、及び156を有してよい。より具体的には、方法100は、実質的に維持されるべき入力画像データ50内で記憶色を特定する工程152を有してよい。これは、直感及び経験並びに/又は市場調査データに基づきなされてよい。(例えば映画又はテレビ番組などの)人間の主題を描く画像の観察者は、画像中の人間の肌の色、及び特に顔の色が、人間がどのように見るべきかの彼らのそれぞれの記憶に有しているそれらの色と一致しない場合に、それを好ましくないと見出すことが知られている。彼らは、彼らがピンク過ぎる、オレンジ過ぎる、暗過ぎる、明る過ぎるなどである場合に、「まともに見えていない」ものとして人間を知覚する。同様の方法で、例えば「草の緑」及び「空の青」などの所定の他の記憶色は、経験からそれらを観察者が覚えているように見えるようにレンダリングされなければならない。画像中の他の色がどの程度満足に見えているかに拘わらず、観察者は、知覚的に最適ではないように正確に記憶色をレンダリングしない製品を見出し、及び、製品が例えばテレビ又はシアターで見られるべき映画であろうとなかろうと、製品を買わないであろう。
記憶色が選択されると、記憶色は、それらが見られる経験的なデータ及び知覚的な状況の両方から、ステップ154で、それらの色度に関して特徴付けられる。例えば、人間は、実際の刺激よりも彩度上飽和したように緑の草及び青い空を覚えていることが十分理解されよう。また、理にかなった範囲で、発光体の色を問わず、人間は、バナナが(記憶色であり得る)所定の黄であるように見えることを覚えている。さらに、これらの記憶色は、任意の系統立てた方法で知覚色の度合いを横切って分布されない。従って、それらの描写は、多変位で三次元の統計的な意味で、及び、色空間に基づくきれいな見かけ又は視野で達成されるそれらのレンダリングで必ずなされなければならない。記憶色が知覚色に関して特定されることを保証する視覚数学を使用するアルゴリズムが採用されてよい。
ステップ156では、非記憶色及び記憶色に関して高められた明度、彩度、及び色相も計算される。入力画像データの色空間では、所定の記憶色が空間内の単一の点ではないことに留意されたい。その反対に、記憶色は、高められた画像を生成するために当該方法の色変換の間に、少なくとも知覚的に変化しないまま、又は、ほとんど変化しないままであるような色空間内の領域である。例として、記憶色「肌のトーン」は、とても浅黒い肌を有するアフリカの人々の民族性の色に対応する色から非常に色白のカフカス人又はアジア人に対応する色まで様々な色がある。従って、記憶色は、この領域内の色が色変換で変化しないまま又は最小に変化したままであるように特定され特徴付けられる。
さらに、これらの記憶色は、固定した不連続の限界を有しないように特徴付けられてよく、これは、実行されるべき色変換において、図2を参照して前述したように、記憶色の限界で色の変化の度合いの不連続性がないように、なされる。一実施形態では、記憶色は、非記憶色である色空間の領域から特定の記憶色として定義される領域まで、滑らかな移行を提供する確率分布を使用してモデリングされてよい。局所的な多次元の導関数を滑らかに変化させる任意の平滑化関数が申し分ないであろう。確率分布は、非線形の拡張関数を使用してよい。使用され得る例示の全般的な非線形関数は、
Figure 2016505884
である。
工程160では、視覚色空間の高められた明度、彩度、及び色相は、高められたCIE XYZ刺激値に変換される。工程170では、高められたCIE XYZ刺激値は、「白チャンネル」を有する高められたRGBスカラー値に変換される。工程180では、高められたRGBスカラー値のガンマ補正は、白チャンネルを有する高められたRGB値を包含する3DLUTを生成するために実行される。3DLUTはその後、図7の方法200で使用されてよい。
図6は、工程110〜180の正味の影響の単純ステートメント101で結論づける。少なくとも三次元である3DLUTは、視覚モデル及びコントラスト/色/輝度のHVSの知覚的な改善数学の別個のサンプリングとして形成され、及び、記憶色の保持を有してよい。また図5を参照すると、少なくとも3DLUT54は、メモリ36又は読み取り可能な記憶媒体38に記憶されたアルゴリズム52によって画像化システム30のCPU34によって生成されてよい。代替として、少なくとも3DLUT54は、別の計算システムによって生成されてよく、及び、システムコンピュータ32にアップロードされてよい。少なくとも3DLUT54を生成するための図5のアルゴリズム52は図6のアルゴリズム100であってよい。
図7は、本開示に係るカラー画像をレンダリングする1つの方法を示すフローチャートである。方法は、図5に示す画像化システム30を使用して実行されてよい。図5及び図7を再び参照すると、ステップ210では、図6のアルゴリズム100によって生成され得る3DLUT54は、画像化装置30のメモリ36又は読み取り可能記憶媒体38内にロードされてよい。ステップ220では、ソース50からの入力画像データがCPU34に伝送される。入力画像データは、第1入力色標準を有してよく、及び、少なくとも三次元のルックアップテーブルに入力するための入力色表示に変換されてよい。ステップ230では、入力画像データは、レンダリングされた画像データを生成するために少なくとも三次元のルックアップテーブル54を使用して、メモリ36に記憶され得るアルゴリズム56によって処理される。ステップ240では、レンダリングされた画像データは、画像ディスプレイ/投影装置40に出力され、及び、高い輝度、高いコントラスト、及び高い彩度の画像がステップ250で表示される又は投影される。画像は、人間の視覚系の知覚的に正確な記憶色を有してよい。方法100は、例えばデジタルシネマで使用される24又は48「フレーム毎秒」の割合、又は、消費者のディスプレイで使用される30、60、120又は240フレーム毎秒の割合などの画像入力データのシーケンス上の高い率で、繰り返し実行されてよい。
再び図5を参照すると、及び、一実施形態では、入力色及び出力色の3DLUT54は、画像レンダリングユニット40によって、第2色の追加による知覚された彩度、コントラスト、又は輝度の損失を補償するために、知覚された彩度、コントラスト、又は輝度を増大させるため、第2色の定義、及び高められた明度、彩度、及び色相の定義を包含してよく、又は、その値がその定義から特定されてよい。別の実施形態では、入力色及び出力色の3DLUT54は、準最適な鑑賞環境から、人間の視覚系の視覚順応を含む改善された鑑賞環境への変換を包含してよく、又は、その変換から特定されてよい。
別の実施形態では、方法は、第1色域の入力画像データ50を提供する工程を有してよく、及び、画像レンダリングユニット40は、第2の拡張された又は低減された色域を有している。入力色及び出力色の値の3DLUT54が生成され、3DLUT54の値は、人間の視覚系の視覚モデルに基づき計算され、それによって、画像レンダリングユニット40の第2色域を包含するために入力画像データ50を拡張させる。
本発明の別の態様では、画像レンダリングユニット40は、ハードウェア又はソフトウェア内に構築される又は組み込まれるいくらかの色の変更の性能を備えてよい。例えば、装置は、白又は第2色を追加するためにアルゴリズムを備えてよく、それによって、彩度の損失、又は、記憶色の見かけの歪み、を生じさせる。こうした環境では、画像レンダリングユニット40によって実行される色変換を補償するために入力画像データ50が処理されるように、3DLUT54の出力値が特定されてよい。方法は、従って、画像レンダリングユニット40によって実行される組み込まれた色の変更を補償する色空間内で所定の方向に色データをずらす方法で、色データを調節するために3DLUT54を提供する工程を有してよい。3DLUT54はさらに、画像レンダリングユニット40の色の変更のためのアルゴリズムによって生じる知覚された色、輝度、及びコントラストの低減を補償するため、知覚された色、輝度、及びコントラストを増大させるために入力画像データを処理する工程をさらに備える。
原色から第2色を作り出すアルゴリズムを画像レンダリングユニット40が有するさらに特定の例では、3DLUT54は、画像レンダリングユニット40の第2色の追加によって実行される色の変更を補償する工程をさらに備えてよい。3DLUT54の値はまた、画像レンダリングユニット40の輝度を増大させる特定の白色点に人間の視覚系の色相順応を有するために入力画像データ50を処理する工程をさらに備えるように、特定されてよい。
本発明の別の態様では、画像レンダリングユニット40は、ユニット40の1つ以上のパラメータの変動から生じるいくつかの色の変更の性能を意図せず包含し得る。例えば、画像レンダリングユニット40はOLEDディスプレイであり、その後、ディスプレイの寿命にわたって、色変換は、本願明細書で前述したように、ディスプレイの青のOLED並びに赤及び緑のOLEDの間における異なる寿命に起因して生じ得る。OLEDディスプレイの作動中、青のOLED並びに赤及び緑OLEDの間の差動色変化は、対抗措置が策定されない場合にディスプレイの色バランスを変化させる。
こうした状況では、3DLUT54の出力値は、青のOLEDの輝度の見込みの減少を補償するために入力画像データ50が処理されるように、特定されてよい。方法は、従って、減少する青のOLEDの輝度を補償する色空間内で所定の方向に色データをシフトさせる方法で色空間を調節するために3DLUTを提供する工程を有してよい。3DLUT54は、青のOLEDの輝度の継続的な損失によって生じる知覚された色、輝度、及びコントラストの低減を補償するため、知覚された色、輝度、及びコントラストを増大させるために入力画像データを処理する工程をさらに備える。
3DLUT54は、アナログフィルムシステム又は映画で使用されるデジタルシステムからの画像内にあるように見えるように生成されるために画像の彩度、コントラスト、又は輝度を調整してもよい。フィルムは、撮影場所で目がその色を見るような色を再現するように概して設定されていないことが知られている(フィルムに関する色域416は図3に示されている)。代わりに、フィルム画像の色は、フィルム画像が観察される鑑賞環境の予測において、増大したコントラスト及び増大した彩度を有している。デジタルシステムは、フィルム画像の見た目に一致することを目的としていることも知られている。従って、3DLUT54は、シネマで同様の効果を提供するように設計されてもよい。
3DLUT54の生成は、図6のアルゴリズム100のみに限定されない。本願明細書で説明するようなビット深度の変更及び補間は、3DLUTの使用を含む本願明細書のすべての用途に適用されてもよい。3DLUTは、メモリ32の容量及びCPU34の処理能力に応じて、ビット深度を変更してよい。一実施形態では、3DLUTは、既定のビット精度の3色以上の色値を包含する4096×4096×4096分離アドレスを有する12ビットのテーブルであってよい。別の実施形態では、テーブルの一部のビットは、隣接する値の間の補間のために使用されてよい。例えば、それぞれ隣接するテーブルの値の最後の2ビットは、それらの間の色を補間することに使用されてよい。多次元補間の他の方法が知られており、3DLUTを実行する実施形態に含まれている。さらに、入力データは、例えばRGBなどの4色以上の原色を包含してよい。例えば、入力データは、RGBCMY(Cはシアン、Mはマゼンタ、及びYは黄)を包含してよく、又は、例えばRGBCMなどのより少ない組み合わせを包含してよい。こうした例では、3DLUTは、RGBCMYWの出力を有することができる。
特定の用途に応じて、ビット深度の変更及び補間をさらに有し得るアルゴリズム100又は他のアルゴリズムが、2つ以上の3DLUTを生成するために使用されてよい。3DLUTの値を特定するために使用され得る1つの要因はディスプレイ装置又は投影装置の一連の特性である。図5を参照すると、異なる3DLUT54が、例えば、LCDディスプレイ42、ランプ及びカラーホイールDMDプロジェクタ44、及びLED DMDプロジェクタ46といった異なる画像出力装置のために生成されてよい。ディスプレイ装置又は投影装置40の特性は、原色としてのRGBのみを有するかどうかに拘わらず、又は、4色以上有するかどうかに関わらず、装置の「カラーエンジン」を有している。3DLUT54は、画像カラーレンダリングコントローラ30のメモリ36の記憶装置の使用を低減させるために可逆圧縮で圧縮されてよい。
他の要因は、「サラウンド」、すなわち、表示又は投影が発生する室内の周辺照明などのディスプレイ装置又は投影装置40の鑑賞環境、及び、ディスプレイ/投影スクリーンにすぐ接して取り囲む照明及び/又は表面、に関連する。概して、3DLUTの値は、任意の「サラウンド」、すなわち、例えば、特定の部屋の照明、及び、室内照明から改善された室内照明への任意の変換といった鑑賞環境、のためのさらなるコントラスト、輝度、及び彩度を有する表示画像/投影画像を提供する。室内照明が、所望のレベルよりも暗い又は明るい場合、3DLUT54の生成は、改善された鑑賞環境の知覚を生成するために視覚順応の変形を含んでよい。視覚順応の変形は、鑑賞環境への人間の視覚の順応のモデルを含み得る視覚モデルに基づいている。
例えば、暗い部屋では(最小限の安全及び出口の照明以外に)本質的に周辺光がないものの、観察者に改善された鑑賞環境の知覚を提供するために、モーションピクチャプリントフィルムに使用されるものに類似した方法で、コントラスト及び彩度を増大させるために視覚順応の変形を使用する。室内照明が増大すると画像の輝度がほぼ同レベルまで増大するので、室内照明は依然として昼間の室外光と同様に明るくないために順応の変形が依然として必要とされる一方で、周辺照明は補償されなければならない。要約すると、3DLUT54に実装される視覚順応の変形は、改善された鑑賞環境の効果を生成するために視覚順応モデルを使用する。
3DLUT54を生成する際の1つの要因は、例えば、プレイされるビデオゲームにおいて見られる画像、又は、映画若しくはテレビ番組として見られる画像であるかに関わらず、様々な世界の領域における彩度への様々な感度の認識、又は、表示画像/投影画像の意図的な使用、を含んでよい。
これらの複数の3DLUT54、又は、それらの部分集合は、装置30のコンピュータ32のメモリ36に記憶されてよい。さらに、鑑賞環境の要因58上のデータはメモリに記憶されてよい。画像装置30は、ディスプレイ又はプロジェクタ40(又は他のユーザインターフェーススクリーン)上に表示され得るユーザインターフェース(図示せず)にアクセスするためにキーボード(図示せず)又は他の入力装置を有してよい。ユーザインターフェースは、特定のディスプレイ又はプロジェクタ40及び鑑賞環境のための記憶された3DLUT54から最適な3DLUTが選択されるように、鑑賞環境の要因58及び/又は他の要因上の入力データの性能を提供し得る。そのようにして、最も知覚的に最適な画像はシステム30によってユーザに提供される。3DLUT54は、限定されないものの、ゲーム、映画、又は個人の写真を含む様々な画像の画質向上に有用である。さらに、グレースケール画像のいくつかの改善が、結果として生じるそのコントラスト及び輝度の向上によって達成される。
3DLUT54は、追加の又は代替の特性を有するように方法200の変形例によって生成されてよい。3DLUT54の値は、装置30に接続可能な画像レンダリングユニット40の第2の拡張された又は低減された色域を包含するために入力画像データセット50の第1色域を変換するために提供されてよい。3DLUT54は、準最適な鑑賞環境から、カラー画像が観察されるべき改善された鑑賞環境への変換を包含してよく、人間の視覚系の視覚の及び色彩の順応を含んでいる。3DLUT54は、装置30に接続可能な画像レンダリングユニット40による第2色の追加に起因して、知覚された彩度、コントラスト、又は輝度の損失を補償するために、知覚された彩度、コントラスト、又は輝度を増大させるため、第2色、及び、高められた明度、彩度、及び色相の定義を包含してよい。
本発明の別の態様では、カラー画像の生成方法は、使用中の画像レンダリング装置の入力色標準変換及び色出力較正を含んでよい。これは、そうした色出力較正を含む、カラー画像を生成する代替の方法300の概略図である図8を参照して最もよく理解される。図は、色出力較正工程350、360、及び370を含んでいるものの、明確化のために、図8に示す方法のすべては、図6及び図7を参照して説明される。
工程310(「ガンマ1」)では、R、G、及びBの入力値は、この入力データ標準の非線形性を補償するために補正された逆ガンマであり、それによって、線形化されたスカラー値R、B、及びGを生成する。この補正は、それぞれ一次元のルックアップテーブル311、312、及び313を使用してなされる。R、G、及びBの入力値は8〜12ビット(図8の314)であってよい。R、G、及びBの出力値は、画像カラーレンダリングコントローラ32のアーキテクチャに応じて、及び、使用される画像化標準のより大きなビット深度の必要性に応じて、16ビットの解像度(図8の315)を有してよい。入力R、G、及びBの値は、例えば標準BT.709に従って出力を有するビデオカメラなどの様々な装置から提供されてよい。こうした状況では、補正に使用されるガンマ値は2.2であってよい。入力R、G、及びBの値は他の画像化標準に従って提供されてよく、及び、ガンマの他の値及び1Dルックアップテーブル311、312、及び313は、必要であれば逆ガンマ補正で結果として使用されてよい。
工程320(「色変換」)では、固有のR、G、及びBの組み合わせによって表される画像データストリームのすべての色値が、標準BT.709を参照した線形化されたスカラー値であるRii、Gii、及びBii値への色変換を実行するために使用される特定の画像化標準によって特定される3×3行列によって作動される。Rii、Gii、及びBiiの値は、図8に示すような16ビットまでのビット解像度を備えてよい。
工程330(「ガンマ2」)では、Rii、Gii、及びBiiの値は、処理されたデータに非線形性を再び導入するためにガンマエンコードされ、それによって、3Dカラーテーブルへの入力のためのガンマエンコード値Riii、Giii、及びBiiiを生成する。このエンコードは、一実施形態では、1/2.2のガンマエンコードの要因を使用して、それぞれの一次元のルックアップテーブル331、332、及び333を使用してなされてよい。使用される特定の画像化標準に応じて、他の要因が適切であり得る。Riii、Biii、及びGiiiの結果として生じた値は、3Dカラーテーブル54を使用して十分に高速の連続処理を可能にするために、図8に示すような10ビット解像度に減少させられてよい。ガンマエンコードは、中間生成物なしで、線形データに関する16からのビット数を、例えば10ビットなどのガンマエンコードされたデータに関してはるかに小さく減少させることを可能にする。このことは、少なくとも3Dテーブルをはるかに小さくする。目は、ガンマエンコーダと類似した方法で画像データを見るので、より小さいガンマエンコーダされたビットを使用することが有効である。
工程340では、三次元のカラーテーブル54は、表示又は投影のための出力画像Rivivivivデータを生成するためにRiiiiiiiiiを処理するために使用される。本実施形態では、テーブル54は、3D入力(RGB)及び4D出力(RGBW)である。少なくとも三次元の他のテーブル構成が特定の用途に応じて使用されてよい。さらに、図示の単純化のため、図8には1つのテーブル54しか示されていないものの、Rivを特定する第1の3D LUTと、Givを特定する第2の3D LUTと、Bivを特定する第3の3D LUTと、白チャンネルが実装される場合にはWivを特定する第4の3D LUTと、があることが理解されよう。本実施形態では、白は、OLEDディスプレイのためであることが可能であり、又は、画像レンダリング装置をより明るくするためにRGBの組み合わせを駆動する信号であることが可能である。代替的に、白は、例えば四色TVなどの四色画像レンダリング装置のシアン、又はいくつかの他の色と置換され得る。Rivivivivデータは、図8に示すような12ビット解像度で提供されてよい。
現段階で、OLED装置の増大した輝度又は色管理のために白の追加を含むRivivivivデータは、典型的な原色及び線形性を有する市販のディスプレイを表してよい。さらに、しかしながら、さらなる工程が、使用時の特定の画像レンダリングユニット(ディスプレイ又はプロジェクタ)40のための較正によってRivivivivデータをさらに最適化するために実行されてよい。この特定の画像レンダリングユニット40の測定又は仕様は、従来の線形及び原色測定ツールを有する技術者によって現場でなされる製造時になされ得る。
図8を再び参照すると、工程350(「ガンマ3」)では、Rivivivivデータは、Rを生成するために最初に逆ガンマ補正される。この補正は、それぞれの一次元のルックアップテーブル351、352、353、及び354を使用してなされてよい。R、B、G、及びWの出力値は16ビットを有してよい。補正に使用されるガンマの値は、2.2であってよく、又は、ガンマエンコーダ310に従って別の値であってよい。
工程360(「色較正」)では、固有のR、G、Bによって表される画像データストリーム359のすべての色値、及び、多くの場合、Wの組み合わせ、が4×4行列によって操作される。この4×4行列は、動いている図5の特定の画像レンダリングユニット40のために生成され、その画像レンダリングユニット40に固有である。行列は、特定の画像レンダリングユニット40の原色を定義する測定値又は特定値から計算される。操作の目的は、少なくとも3Dのカラーテーブルの推定された又は包括的な原色から、画像レンダリングユニット40の実際のものに変換することである。画像レンダリングユニットは、少なくとも3Dのテーブルを形成する際に推定された原色とわずかに異なる原色を有し得るので、視覚効果は、白及び残りの色が「色を帯び」ないように(例えばわずかに黄又は青)、白及び残りの色に関して調整することである。標準的なテレビ又はプロジェクタでは、大部分のテレビ、ディスプレイ、及びプロジェクタがこの標準を支持しているので、これらの推定は前述のBT.709標準に従っている。所定の画像レンダリング装置は、例えばさらに黄色を帯びてよいものの、較正行列はその変動を補償する。Rvivivi、及びWviの値は、16ビットまでのビット解像度を備えてよい。
工程370(「較正」)では、Rvivivi、及びWviの値は、画像レンダリングユニット40のために処理されたデータに正しい非線形性を導入するためにガンマエンコードされ、それによって、画像を投影する又は表示するために特定の画像レンダリングユニット40によって使用される時に、3Dテーブルによって定義される選択された非線形性を生成するRviiviiviiviiの値を生成する。このエンコードは、それぞれ一次元のルックアップテーブル371、372、373、及び374を使用してなされてよい。一実施形態では、1/2.2のガンマエンコードの要因が使用されてよい。特定の画像化レンダリングユニット40に応じて他の要因が適切であり得る。結果として生じたRviiviiviiviiの値は、図8に示すような8〜12ビット解像度を有する出力であってよい。
本発明の別の態様では、延長時間にわたってポータブルなディスプレイ装置上に高品質の画像を表示するという課題は、結果として生じる新しい原色がより効率的であるように、ディスプレイ装置の原色を変更することによって解決される。これは、低電力光源(液晶ディスプレイ用の)を使用することによって、或いは、低電力ランプ又は原色若しくは白色の低電力LED若しくはOLEDを使用することによってなど、装置への電力を低減させることを可能にする。これは、熱生成をより少なくし、他のディスプレイ管理コストをより少なくする。
ある実施形態では、順応可能な色処理は、任意の周囲照明における画像品質を向上させるために使用される。ディスプレイの赤、緑及び青の原色は、効率及び輝度の増大を提供するように再設計される。これは、ディスプレイによって消費される電力を、未変更のディスプレイの初期の輝度レベルまで低減させることを可能にする。
暗闇や薄暗い照明でディスプレイの輝度が低減させると、色もまた低減されることが知られている。本出願人らが知り得る限り、これまで、その課題に対処する満足のいく方法はなかった。上で参照されるような原色の再設計には、彩度における重大な損失が伴われる。これらの損失は、三次元のルックアップテーブル(3DLUT)の使用を通じて取り戻される。本出願人らの3DLUTは、本願明細書で以前に説明されるように、異なる周囲照明における色の損失を補償するために完全に独立した出力色設計能力を提供する視覚モデルを使用して決定される。人間の視覚系のこれらのモデルは、彩度視覚順応を含む。ここでは、ディスプレイにおける節電への、3DLUTを定義して使用する本出願人らの方法の適用について説明する。
当該方法では、色の損失は、ディスプレイの輝度が低減されると補償され、より小さな色域ディスプレイに対して、色の損失は、節電のために原色がより効率的である(すなわち、より明るくなる)ように調整されると補償される。より効率的にするために、及び、輝度を増大させるために、ディスプレイの原色のソースを変更する様々な方法がある。バックライトを備えるLCDディスプレイでは、電力と輝度が直接関連するため、輝度の増大を電力の低減に直接使用することができる。例えば、100%の輝度の増大を、以下の方程式、すなわち、
PR=1−1/B
に従って、50%の電力の減少に使用することができ、式中、PRは、電力低減であり、Bは、10進数の輝度である。100%の輝度の増大(すなわち、輝度を2倍にする)に対して、B=2.0であり、PR=0.5=50%であることが分かる。
原色を変更する多くの方法が他者によってモバイル装置に対して推奨されてきたが、それらはすべて、ディスプレイの彩度を回復する方法を欠く一方で、彩度における大幅な損失及び色相誤差を生み出すため、実装が難しいものであった。
対照的に、本願明細書で開示される方法は、変更された色度色域及び彩度が減じられた原色の彩度を回復する。カラーマッピングの方法は、3DLUTを使用し、3DLUTは、視覚モデルを使用して決定され、彩度は、周囲照明における彩度損失の視覚補償に基づいて増大する。色の増加はより良い照明条件で人間の観察者が知覚する彩度を表すため、色の増加は知覚的に非常に自然なものであるため、視覚モデルの使用及び様々な周囲照明における彩度損失の補償は、原色変更で彩度を回復する好適な手法である。視覚モデルの使用は、すべての輝度レベルにおける完全な色域ボリューム全体を通じての彩度の滑らかな増大を可能にする。
3DLUTを作成する際、より多くの標準色域マッピング手法で共通の輝度及び色相変化に起因する細部の損失を避ける色域マッピング方法も使用される。変更された色度には重大な色域問題があるため、これは有益である(例えば、ダリーら(Daly,et al.)“Gamut Mapping in LCD backlight compensation”,The 16th Color Imaging Conference,2011年5月31日を参照)。
当該方法のある実施形態では、大幅な輝度の増大及び節電効果は、4番目のサブピクセルの順応可能な制御された量の白を標準バックライトLCDディスプレイの画像ディスプレイに追加することによって実現される。そしてその一方で、本出願人らの3DLUTを使用することによって彩度における対応する損失を回復する。白の追加及び輝度の増大は、所定の画像のピクセルごとに順応可能であり異なるため、輝度の増大及び結果として生じる節電効果は、画像に依存する。説明されるように、より低い彩度の及び/又はより色が少ないより黒白の画像に対して、さらなる節電効果が利用可能である。画像の輝度増大マップが提供され、平均節電効果は、(1−1/Bave)に等しく、式中、Baveは、新しい平均輝度増大である。それに従って、以前に述べられるように、100%の平均輝度増大は、Bave=2.0を有し、50%の節電効果である。実際には、所望の節電効果は、典型的な画像セットの分析を通じて選択された量に設定され得る。任意の所定の画像に対して、達成すべき選択された節電効果が高過ぎる場合は、画像はわずかに薄暗いものになり、低過ぎる場合は、画像はわずかに明るいものになる。わずかに薄暗い画像を補償するため、節電効果は、最適な利用可能な量より低い方にバイアスされ、全体的な処理及び結果として生じる画像におけるある程度の追加の輝度が提供される場合もある。
代替の方法として、本出願人らは、画像のピクセルごとに固定量の白を追加し、それにより、すべてのレベルのピクセル彩度に対して彩度を減少させることを考えた。これは、最も彩度が飽和したピクセルがかなりの量の色を失い、白が追加された色域がかなり低減させるため、最も多くの色の回復を必要とする。この手法を分析した際、より優れた手法は、より多くの白をあまり彩度が飽和していないピクセルに追加して、白及び輝度を順応可能に追加することであることが発見された。これは、出力画像を生成するために本出願人らの3DLUTを使用する前に、より高い総合的な節電効果並びにより少ない彩度及び色域の損失と共に、より多くの白及び輝度の増大をおおむね可能にする。
画像のピクセルごとに固定量の白を追加する一例からの結果は、105%の輝度増大を示し、これは、約51%の節電効果に相当する。対照的に、本出願人らの3DLUTの使用は、白の追加による色域における損失から計算された彩度(sRGB色域と比較して)を22.6から43.3まで増大した(すなわち91%の増大)。これらの結果を表1にまとめる。
Figure 2016505884
間もなく説明されるように、この彩度尺度は、画像の大きなサンプルセットに対するユーザによる彩度ランキングに線形である。節電効果は、本出願人らの3DLUT及び彩度白色点順応を使用して高い彩度で各ピクセルに白(又はLCDディスプレイにおける「オープンフィルタ」領域)を追加することによって実現され得る。図14A〜14Cは、表1にまとめられる当該方法から得られた画像処理を示す。図14Aは、所定のレベルの電力消費量で画像化装置によって表示され得る元のsRGB画像である。図14Bは、画像の各ピクセルに対して、10%の白を青に追加し、20%の白を赤に追加し、30%の白を緑に追加することから得られた画像である。LCDディスプレイでは、赤、緑及び青のサブピクセルに対するそれぞれのカラーフィルタの透過率を増加することによって、白の追加を行うことができる。増加は、既存のフィルタ波長範囲内で透過率を増加することによって、フィルタが通過するスペクトル領域を広げることによって(すなわち、「純度の低い」赤、緑及び青を透過させる)、又は、これらの組み合わせによって、実現され得る。代替的に、白のサブピクセルが各ピクセルに追加されてよく、又は、赤、緑及び/若しくは青のサブピクセルを囲む「オープンフィルタ」領域が各ピクセルに追加されてよい。14Bの画像への白の追加に加えて、LCDディスプレイのバックライトに供給される電力が低減された。これは、図14Aの画像とおおよそ同じ輝度を有するが、電力消費量がかなり低減された画像をもたらす。
しかしながら、赤、緑及び青のサブピクセルへのそれぞれの量の白の追加は、かなり彩度が減じられた図14Bの画像をもたらしたことも分かる。図14Cは、本出願人らの3DLUTの1つを使用してさらに処理された画像について描写する。図14Bの未処理の画像と比較して、色の回復はかなりのものであり、本出願人らの方法の有効性を示す。画像の全体的な彩度は、図14Aのものに匹敵するレベルまで回復されているものの、おおよそ図14Bの低減された電力消費量レベルに匹敵する。この例の総合的な節電効果は、表1に示されるように、51%である。従って、本出願人らの3DLUT及び色彩順応の使用により、高品質のカラー画像を維持する一方で、ディスプレイによる電力消費量が低減される。
上の分析は、白色LED光源を有するバックライトLCDディスプレイに対するものであるが、当該方法は、OLED、レーザ、RGB LEDディスプレイ、及び、ナノテクノロジ原色を有するものなどの本質的に大きな初期の色域を有するディスプレイなどのいかなるディスプレイ技術にも適用される。いずれの場合でも、ディスプレイの物理特性に応じて3DLUTを変更する必要があるが、上記のものと同様の結果が実現される。さらに、ディスプレイの開始色域が大きいほど、より優れた節電効果を実現することができる。上の例は、各ピクセルに対する固定量の白の追加に基づくため、彩度における損失は色空間全体を通じるものである。
本出願人らの3DLUTを用いた色処理の前後における表1の彩度値の比較から、本出願人らの方法は、CieLuvにおける50%を超えて小さな色域に対して同じ全体的なCieCam02知覚彩度ボリュームを生成できることが分かる。これは、節電効果を実現できる一方法であり、本出願人らの方法を使用することにより、はるかに小さな色域で許容できるディスプレイのコストをかなり低減できることも示す。
ディスプレイの節電効果の例
1.)例の概要−一般的な原理
ここでは、カラーディスプレイの効率を増加し、従って、電力消費量を低減させる本出願人らの方法のある態様について、例としてさらに詳細に説明する。以下の開示では、すべての例及びそれらの分析は画像シミュレーション及び視覚分析によって行われたことに留意されたい。実際のいかなるディスプレイハードウェアも変更されなかったが、本出願人らは、本願明細書で開示される分析が、ディスプレイへの変更が行われ、次いで、ディスプレイ画像データが得られた場合に至るものと同じ結論をもたらすと信じている。
LCDディスプレイの以下の例では、輝度を増大させるために所定の画像の各ピクセルに順応可能な量の白が追加された。次いで、各画像に対する平均輝度増大が計算され、その画像に対する節電効果を推定するために使用された。追加された白は、バックライトの白の完全な透過率を有する4番目のクリアフィルタ、ピクセルの露光時間の一部である時間依存白色光セグメント、又は、恐らくはピクセル露光に追加される別々の白色光源によって生成された4番目の制御可能なピクセルによって提供されたものと想定された。画像ディスプレイにおける白のサブピクセルの追加については、“Review paper;Multi−primary−color display:The latest technologies and their benefits”テラガワら(Teragawa,et all),SID20.1.1を含む様々な技術文書で開示されている。
節電効果発明の一態様では、図14Bの画像から図14Cの画像への変化によって示されるように、色を回復するために本出願人らの3DLUTが使用される。さらに、ある実施形態では、元のピクセル彩度の関数である独特のピクセル依存の白の追加が画像に適用される。ある実施形態では、元のピクセル彩度の増大と共により少ない白を追加して、ピクセル依存の白の追加量を計算するためにピクセル彩度のガウス関数が使用され得る。有利には、このピクセル依存の白の追加は、ディスプレイの元の色域の保持に役立ち、より低い元の彩度を有するピクセルのみの彩度を減ずる。
このガウスの白の値の計算は、本出願人らの3DLUTの1つを使用して画像単位で節電効果を実現できるように、画像に対してリアルタイムで実装することができる。本出願人らは、グレーのニュートラルなピクセルに対して白の追加量及び輝度増大が最も高かったため、最も少ない量の色を有するグレースケール画像が最も優れた節電効果を有することに気付いた。ガウス関数のピーク及び彩度におけるガウス関数の幅における白の最大追加量は、結果として生じる画像品質及び節電効果を研究して比較するための分析において異なっていた。1.0と2.0の2つの異なるレベルの最大の白が検査され、1.0は、白の最大追加量が、ディスプレイの赤、青及び緑の原色の結合から得られた白に等しいことを意味し、2.0は、追加された白が、ディスプレイの赤、青及び緑の原色の結合から得られた白より2倍大きいことを意味する。
他のレベルの最大の白が所望のレベルの節電効果の実現に適し得ることが明らかであろう。また、他の減少関数を使用して、満足のいく節電効果の結果を実現するピクセル依存の白の追加量を定義できることも理解されたい。本発明は、ガウス関数のみに限定されない。
LCDディスプレイのクリアフィルタは、結合された赤、緑及び青のフィルタよりはるかに高い透過率を有するため、ある実施形態では、この白の最大追加量は、2.0係数を超えても増加できることに留意されたい。より高い係数は、この順応可能な白の画像ディスプレイ及び節電方法を実装するために実際のハードウェアディスプレイが変更される際に有利であり得る。
2.)例の概要−分析された画像
この研究では10の画像が分析された。実現された節電効果範囲は、1.0の白の最大追加量に対して36%〜50%であり、2.0の白の最大追加量に対する10の画像に対して53%〜67%(平均64%)であった。後に提示される画像比較から分かるように、本出願人らの3DLUT及び色彩順応の適用後、全色域又は視覚的な色品質における損失は発生しなかった。これは、51%の節電効果を有する以前に言及された固定の白の方法よりも当該の順応可能な白の方法を使用する価値を示す。また、画像の平均視覚色を改善するために低及び中レベルの彩度が飽和したピクセルに対する彩度における最も多くの増大を提供する、カラー画像を表示するための本出願人らの以前に開示された装置及び方法にも合意している。また、一般的に、画像のピクセルが低レベルから中レベルまでの彩度を圧倒的に有することを示す画像統計とも一致している。本出願人らの節電方法は、有利には、最大の輝度増大及び最大の節電効果がほとんどの共通のピクセルで起こるという点で、画像統計によって支持されることが分かる。
本出願人らの順応可能な白の方法は、時間又は領域セグメンテーションを有する制御可能な4番目の白のサブピクセルを有するいかなるディスプレイにも、及び、いかなる開始色域にも適用され得ることに留意されたい。原色の時間依存制御を有する静的又はモバイル液晶ディスプレイ、プラズマディスプレイ、OLEDディスプレイ及びプロジェクタはすべて、本出願人らの節電方法を実装できるディスプレイ技術である。市販の製品の観点から、以下のリストに限定されないが、本出願人らの節電方法は、テレビ、コンピュータ、タブレット、携帯電話及びゲームに適用され得る。
3.)画像及び原色変更方法
ここでは、原色を変更するステップ及び後続の画像を変更する工程について説明する。これらのステップは、後に説明される例で使用され、一般的に、上で示されるディスプレイの節電効果にも適用可能である。
(a)ディスプレイの原色が定義される。ディスプレイは、sRGB原色を有し得る。
(b)輝度(以下のT)を増大させるため、ある量の白が各RGBピクセルに追加される。白の量は順応可能である。すなわち、任意の所定のピクセルに対して、その量は、そのピクセルの彩度のレベルに依存する。彩度の関数としての白の追加量は、以下の方程式から決定され得る。
=min(rgb)
=zx(T
Figure 2016505884
式中、「min(rgb)」は、最小共通値を意味し、例えば、10%の白を青に追加し、20%の白を赤に追加し、30%の白を緑に追加する前の例では、「min(rgb)」は10%であり、
xとyは、ピクセル色度値であり、
とyは、白色点の色度であり、
Aは、白色点における白の最大追加量を指定する選ばれたパラメータであり、
σとσは、色度におけるガウスの幅を指定する選ばれたパラメータである。
図15では、(0.0,0.0)の白色点(x、y)並びに1.0のσ及びσ値に対する二次元ガウスz関数が示される。1.0のσ値範囲におけるこの関数の値は0.367であり、2.0のσ値範囲におけるこの関数の値は0.0183であり、彩度においてピクセル値が外側に移動するにつれて追加される白が減少することを示す。
(c)CieLUV色空間における全色域ボリューム、相対輝度の増大及び節電効果の依存性は、様々なガウスσ値に対して分析され、図16にグラフ表示された。この図は、色域線502によって示されるように、全色域が保持されていることを示す。また、追加された輝度504及び節電効果506のほとんどが−0.6のlog10σ値(0.25のσ値に等しい)で実現されていることも分かる。
これは、図17に示されるようなsRGB色度グラフの十分内側にある色度範囲であるため、注目に値するσ値である。色域510内の円508は、表示白色点(sRGBのD65)に近いより低く彩度が飽和したピクセルに白の大部分が追加されること、及び、より彩度が飽和したピクセルには白が追加されず、従って、最大限に彩度が飽和したピクセルの彩度は減じられないことを示す。これは、画像の平均彩度を上昇させるため、低及び中レベルのピクセル彩度の増大において最も効果的であるため、一般的に、本出願人らの色処理方法に高度に一致する。
(d)各ピクセルに対する輝度の増大量を示すグレーレベルの画像が作成され、それらの画像からの平均輝度増大を使用して、平均画像節電効果が計算された。平均画像節電効果は、表2において、2つの例示的な画像に対して示される。
Figure 2016505884
(e)本出願人らの3DLUT及び色彩順応は、白が追加された画像における彩度の損失を回復するために使用された。図18は、本出願人らのカラー画像処理あり(プロット512)と本出願人らのカラー画像処理なし(プロット514)の彩度尺度を示し、全色域の半分でディスプレイの彩度を一致させる色回復能力を示す。本出願人らのカラー画像処理は、色の回復に役立てるため、画像における白及び彩度が飽和した色の輝度をより良好に一致させるように画像の白色点を低下させる工程を含む。本出願人らのカラー画像処理から得られた2つの例示的な画像については、図19C及び20Cに示され、次にさらに詳細に説明する。それらは、節電後並びに本出願人らの3DLUT及び色彩順応の使用後の各ピクセルの最終的な輝度を表す。
4.)シミュレーションの画像分析及び彩度尺度
一研究では、本出願人らの節電画像処理方法に対する失われた彩度を回復する有効性を判断するため、10の実験的な画像が処理された。さらに、ロチェスター工科大学(Rochester Institute of Technology)のマンセル色彩科学研究所(Munsell Color Science Laboratory:MCSL)によって大多数の画像タイプにわたる視覚ランキングに線形であるものとして示されている彩度尺度が計算された。これは、画像ピクセルの色度の彩度が明確に低減されているため、画像の分析における重要な因子である。画像の視聴者による好ましい知覚を実現するため、色度におけるその損失を、ユーザがどのように変更されたパネルの色品質を見るかにより関連する尺度と置換することが重要である。分析で使用される彩度尺度は、色域ではないが、むしろ、完全な色域ボリューム全体を通じてユーザにとって画像セットがどれほど色彩に富んでいるかの統計尺度である。多くの鑑賞条件の下、その分野の多くの研究者から統合された実証的な心理物理的データの長い歴史から、ほぼ線形関係の視覚ランキングの優れた尺度であることが示されている。これは、多くの人々の研究に基づく、マーク・フェアチャイルド及びRWハント(Mark Fairchild and RW Hunt)によるColor Appearance Modeling for Color Management Systems, CIE Technical Conference 9−01,2002で論じられているCIECAM02においてCIEによって開発された。一般的に、色の見え標準としても知られている。
中程度の彩度レベルの視覚モデルを使用して彩度を上昇させることができる、本出願人らの3DLUTを使用することで、いかなる色域に対してもこの平均彩度を増大させることができる。この彩度尺度の鍵は、視覚ランキングに線形であること、及び、基本的なベクトル投影境界を示す平面スライスだけでなく、三次元の視覚色空間のすべてをカバーすることである。色度色域境界よりも、システムに対する画像視聴者の色経験をはるかに良好に表すと信じられている。本出願人らは、小さな色域ディスプレイに対する彼らのカラー画像処理を含めることにより、100%のより大きな色域ディスプレイより色彩に富んだ画像結果が生み出されることに気付いた。
5.)色域マッピング方法及び色相保持
これらの分析方法は、不均一な色相色空間において、色域マッピング、彩度増大処理及び輝度を増大させるための白の追加が行われない限り、本出願人らの方法によって処理された結果として生じる画像における色相シフトをもたらし得る。色相保持を欠く色域マッピング構成要素については、“Gamut Mapping in LCD backlight compensation”,16th Color Imaging Conference,2011年5月31日にダリーら(Daly,et al)によって報告された。輝度を追加するために白の追加の使用を試みた他の者も、色相シフトに直面した。これは、XYZ色度色空間におけるI色相経路が原色とバックライトの白との間で直線ではない(実際には、全く線ではなく、むしろ湾曲経路である)ことを理由に、XYZ色度色空間における白の追加の処理が色相をかなり変更し得るためである。この理由のため、すべての色域マッピング、白の追加及び彩度を増大させるための本出願人らの3DLUTの使用は、IPTのような均一な色相色空間において行われた。この色空間は、最初に、The 1998 CIC Conference“Development and Testing of a color space(IPT),with Improved Hue Uniformity”においてフェアチャイルド及びエブナー(Fairchild and Ebner)によって定義された。本出願人らの3DLUTは、このIPT色空間で定義される。これは、白の追加によって失われた彩度を中間生成物なしで回復することを可能にする。
6.)ピクセル彩度のガウス関数を使用する順応可能な白−画像結果
節電効果及び結果として生じる画像品質の変化を示すため、黒白テキストから非常に色彩に富んだ画像までの10の画像が分析された。これは、1.0と2.0の両方の表示白色点における白の最大追加量に対して行われた。節電効果は、図16に示されている。研究の10の画像からの2つの例示的な画像セットは、図19A〜19D及び20A〜20Dに示されている。画像セットでは、2.0の白の最大追加量の値に対する回復された画像結果のみが示されているが、その理由は、それらが1.0の白の最大追加量の値に対する回復画像と視覚的に同等であるためである。
分析に含まれた10の画像の中の2つの例示的な画像の各々に対して、4つの画像のセットが示されている。元の画像は図19A及び20Aに示され、元の画像への本出願人らのカラー画像処理なしでの白の追加は図19B及び20Bに示され、元の画像への本出願人らのカラー画像処理ありでの白の追加は図19C及び20Cに示され、輝度増大を示すグレースケール輝度画像は図19D及び20Dに示されている。特に、1組の元の画像19A及び20Aのそれぞれと、本出願人らの3DLUTでの処理を含む図19C及び20Cの画像との比較から、後者の画像は、以前に説明された節電効果を実現する一方で、高度に彩度が飽和したもの、及び、優れた画像品質のものであることが分かる。
7.)追加のディスプレイ変更及び例
ある実施形態では、ディスプレイは、電力消費量を低減させるか、又は、同じ量の電力を使用するが結果として生じるより小さな色域を有する一方で、より明るくするように変更され得る。行われる変更は、ディスプレイのタイプに依存する。以前に説明されたように、液晶ディスプレイでは、赤、緑及び青のカラーフィルタを変更して、より透過し易くする(すなわち、波長範囲又はスペクトルのより広い部分内でより多くの光を通過させる)ようにしてよい。代替として又は追加として、ピクセルのより少ない領域をカバーするようにカラーフィルタのサイズを低減させてよく、それにより、より多くの白色光を通過させることができる。これは、赤、緑及び青が有色のサブピクセルであるという状態で、4番目の白のサブピクセルを有するという効果を有し得る。代替として又は追加として、ピクセルの操作のデューティサイクルの間、そのデューティサイクルの一部を使用して、白の追加を生み出すためにすべての3つの原色を有するようにしてよい。
代替として又は追加として、原色光源の操作から独立している白色光源を追加してよい。LEDディスプレイに対して、これは、単に、各ピクセルに白色LEDを追加することであり得る。カラーフィルタを備える白のバックライトを有するLCDディスプレイに対して、これは、原色光がフィルタを通過できるようにするか、又は、フィルタ処理される光を増大させる第2の光路を提供することによって行われ得る。
代替として又は追加として、より多くの原色光がディスプレイを通過して放出されるように、ディスプレイの変調器が変更されてよい。これは、ディスプレイの色域を変更するように結合し得る、赤、緑及び青の原色へのカラークロストークの導入を代償にして行われ得る。これは、例えば、赤の原色を緑の方向へ移動させる(色域を縮めることになる)ことによって対処され得る。
代替として又は追加として、ディスプレイ変調器を通じてより多くの光を外側にそらす、ディスプレイ光学における材料の変更が行われ得る。しかし、これは、初期のRGB原色の「純度」を低くするある程度のカラークロストークをもたらし得る。
代替として又は追加として、LCDディスプレイでは、原色が変更され、それらの輝度が増大するように、LCD変調器の線形性を超えて白のバックライトの電力を増加してよい。
述べられた目的のためのディスプレイへの変更に関する上の説明は、例示を意図し、制限することを意図しない。ディスプレイへの他の変更も企図される。
これらのディスプレイ変更の効果は、以前に説明されるように、及び、ある追加の例を使用してここでさらに示されるように、三次元カラーテーブルを使用することによって補償され得る。
図9及び10は、バッテリの寿命の制約内で延長時間にわたってポータブルなディスプレイ装置上に高品質の画像を表示するという課題を解決するための1つの選択肢について描写する。より具体的には、図9は、本発明による、ディスプレイによる電力消費量の低減を可能にする第1の色域変換を含む、色度図のグラフ表示である。ディスプレイがバッテリによって給電される場合、バッテリの寿命は、電力消費量の低減の結果として延長される。
最初に図9を参照すると、ディスプレイ装置の色域430が示されている。ディスプレイによって使用される電力を低減させる第1のステップでは、色域変換は、色域430の原色431、432及び433を、新しい色域440を定義する新しい原色441、442及び443に変更することによって実行され得る。ある実施形態では、変換は、新しい色域440を生成するため、アーチ状の矢印434によって示されるように、色域430を「回転」させることによって実行され得る。ある実施形態では、色域430は、白色点(D65であり得る)を中心に回転させてよい。色域430を、原色441、442及び443を有する色域440に変換することには、原色441、442及び443の最適な選択をすると、新しい色域440の白色点を増加させるという効果がある。
一般的に、色域を回転させると、伝送される波長が拡張されることに留意されたい。例えば、時計回りの回転を通じて赤を青の方向へ移動させた場合、赤の原色に青が追加され、より明るくなる。青や緑の原色に対しても同様である。この点についてさらに示すため、シアン、マゼンタ及び黄色の「中間点」色は、赤、緑及び青より明るいことに留意されたい。さらに、色域を回転させることによって白色点を増加する場合、白の色は、変化し得る(すなわち、色を帯びたものになる)。本願明細書で説明される本出願人らの方法は、こうした変化に対応し、画像の色を所望の見かけに補正する。
この色変換に加えて、ディスプレイ装置(LCDディスプレイなど)の画面の透過率が増加される。所定の画像の表示に対して、色補正は、以前にこの明細書で説明された方法に従って入力画像データに適用される。色補正は、2つの異なる手順に従って実行され得る。第1の手順では、画面の透過率の増加から生じるディスプレイの追加の輝度が維持され、出力色データを新しい色域440の新しい白色点に調整するため、少なくとも三次元のルックアップテーブルを使用する視覚的な色順応が実行される。画像は、色補正出力画像色データから表示される。
新しい色域440の新しい白色点がD65白とはかなり異なる場合は、新しい色域内の結果として生じる色は、ディスプレイの観察者には色を帯びたように見える。こうした状況では、色補正のための第2の手順が使用され得る。この第2の手順では、新しい色域440の白色点は、元のD65標準にマッピングされる。これは、ある程度(しかし、観察者が知覚できる程度には至らない)の輝度の損失をもたらす。第1の手順と同様に、色補正は、出力色データを、D65白に新しい色域440の白色点をマッピングしたものに相当するように調整するため、少なくとも三次元のルックアップテーブルを使用して実行される。出力色データは、ディスプレイの観察者には新しい白色点に関して正しく見えるようにシフトされる。例えば、新しい白色点が黄色を帯びている場合、それに応じて黄色の方向に色をシフトさせる(すなわち、黄色と同等の赤と緑の結合)。
図10を参照すると、これらの選択肢は、図9で描写された色域変換における三次元色ボリュームの2Dスライスで示されている。スライスは、赤及び緑の原色について描写する。元の色域430の色の値は、4つの線セグメント435〜438によって境界される。緑の原色Gは、線セグメント435と436の交差点にあり、赤の原色Rは、線セグメント437と438の交差点にある。白色点W(D65白であり得る)は、線セグメント436と437の交差点にある。
図9に示されるように、色域430は色域440に変換され、上で説明されるように、ディスプレイの輝度は増加され、新しい色域440の新しい色の値をもたらす。新しい色の値は、新しい最大輝度の白色点W+を含み、元の色域430の白色点Wは、新しい色の値の中にある。また、新しい色の値は、R’における新しい赤の原色や、新しい緑の原色G+も含み、それらは、ディスプレイの輝度の増大に部分的に起因して、より明るい。LCDディスプレイでは、それぞれの原色の輝度の増大は、以前に説明されるように、ディスプレイのバックライトをフィルタ処理するためのより透過し易いフィルタを使用することによって達成され得る。
新しい白色点W+の輝度の増大により、ディスプレイのバックライトへの電力が低減され、それにより、ディスプレイの電力消費量が低減され得る。これが行われると、新しい赤の原色R+の結果及び新しい色の値は、線セグメント445〜448によって境界される。例示の単純化のため示されていないが、緑の原色Gに対しても同様の効果が起こることに留意されたい。以前に説明された第1及び第2の手順は、色補正を実行するために実行され得る。
第1の手順では、最大輝度の白W+は、ディスプレイにおける使用に対して維持され、出力色データを新しい白色点W+に調整するため、少なくとも三次元のルックアップテーブルを使用する視覚的な色順応が実行される。領域における新しい色の値442は、ディスプレイの色域に追加される。
第2の手順では、最大の白W+を元のD65白Wにマッピングするためのカラーマッピングが行われる。さらに、三次元のルックアップテーブルは、線セグメント441及び444によって示されるように、新しいR+及びG+原色と共に元のD65白への円滑なカラーマッピングを得るために使用される。
上の第1及び第2の手順の両方に対して、これらの変換において、色域449の小さな領域が失われることに留意されたい。この色域の損失は、ディスプレイのユーザによる知覚に関して重要ではない。
図11は、本発明による、ディスプレイによる電力消費量の低減を可能にする第2の色域変換を含む、図9の色度図のグラフ表示である。ディスプレイの色域450が示されている。さらに、それぞれの原色452、454及び456の近くの領域451、453及び455が示され、楕円によって示される。
新しい色域への色変換では、新しい原色が選択され、新しい原色の各々は、領域451、453及び455内に選択される。例えば、新しい原色462、464及び466を含む新しい色域460が示されている。新しい原色は、より明るい新しい原色が選ばれるという点で、効率を高めるために選ばれる。こうしたより明るい原色を選ぶことによって、ディスプレイへの電力が低減され得る。領域451、453及び455は、図11に示されるものより大きいものであってよく、又は、異なって成形されてよい。さらに、青などの単一の原色のさらなる彩度低減が使用され得る。彩度が減じられた色はより明るく、従って、ディスプレイへの電力が低減され得る。
図10で描写される以前の実施形態と同様に、新しい色域450がsRGBのRGB値を包み込む状態に近い場合、それは有益である。また、さらなる彩度も有益であるが、効率を代償にして起こり得る。言い換えれば、できる限り彩度を保持することと、電力消費量の低減を可能にする最も明るい原色を得ることとの間にはトレードオフがある。3DLUTを使用する本出願人らの順応可能な方法は、電力消費量を低減させながら輝度を維持するために多量の白を平均的なピクセルに追加する一方で、最も彩度が飽和したピクセルに白を追加せず、それにより、原色及び全体的な色域を保持するため、効果的である。
新しい色域460内のいかなる色の値も、以前にこの明細書で説明された方法に従って三次元のルックアップテーブルを使用することによって補正され得る。新しい白色点及び輝度の増大に関して図10で説明され、示される方法は、色域460にも適用可能である。以前に説明されるように、新しい色域460の原色はより明るいため、ディスプレイの元の輝度を維持する一方で、ディスプレイへの電力が低減され得る。
図12は、本発明による、第3の色域変換から生じた三次元色ボリュームの二次元「スライス」である。この変換では、ディスプレイにおける一原色の透過率が増加される。言い換えれば、一原色の輝度が増大される。LCDディスプレイでは、原色の輝度の増大は、ディスプレイのバックライトをフィルタ処理するためのより透過し易いフィルタを使用することによって達成され得る。
図12を参照すると、図中で描写される例では、ディスプレイの色域の元の色の値は、D65白色点と共に、線セグメント471、472、473及び474によって境界される。赤の原色の輝度は、矢印475によって示されるように、RからR’に向けて増大する。これは、より明るいがディスプレイの観察者には赤色を帯びたように見える新しい白色点476をもたらす。
現段階で、いくつかの色補正の1つを実行してよい。第1の補正では、ディスプレイのバックライトが低減され、それにより、ディスプレイの電力が低減される。さらに、人間の視覚系の視覚モデルからの色彩順応を使用して、少なくとも三次元のルックアップテーブルが生成され、出力色データをディスプレイの新しい色域の新しい白色点477に調整するために使用される。この色補正によって生成された新しい色域の「スライス」は、線セグメント478、479、480及び481によって境界され、赤及び緑の原色は、R’’及びG’である。
第2の色補正では、元のD65白は、矢印483によって示されるように、新しいより薄暗い白482にマッピングしてよい。この色補正では、新しい最大輝度は、白色点の低減と同様であり得る赤みがかった白として残り得る(すなわち、赤の最大輝度は、極めて赤く見える)。白色点に対するわずかに赤みがかった白は、すべての色を赤の方向にシフトすることにより、観察者によって知覚されるような画像の視覚的な色の関係を維持する、色彩順応を伴う本出願人らの3DLUTを使用することで、観察者は許容できる。
第3の色補正では、上の第1及び第2の色補正の組み合わせを実行してよい。
図13は、本発明による、原色の彩度が低減され、ディスプレイによる電力消費量の低減を可能にする、色域の例示的なセットのグラフ表示である。
参考までに、標準sRGB色域490は、粗い点線フォーマットで示され、それぞれの赤、緑及び青の原色491、492及び493を有する。sRGB色域490を有するカラーディスプレイが提供され得る。ディスプレイによって消費される電力は、実線で色域494によって示されるように、原色491〜493の彩度及び/又は輝度を低減させることによって低減され得る。しかしながら、ディスプレイ上の画像の総合的な美学的な魅力は、あまり満足のいくものではない。第1の代替例として、青及び赤の原色の彩度及び/又は輝度が低減され、sRGBの緑の原色が維持され得る。これは、細かい点線で示される色域495をもたらし、電力のかなりの低減が達成される。ディスプレイの観察者が満足のいく色を得るため、以前にこの明細書で説明されるように、出力色データを、新しい色域494の白色点をマッピングしたものに相当するように調整するため、少なくとも三次元のルックアップテーブルを使用して色補正が実行される。三次元のルックアップテーブルは、HVSの色彩順応を含む人間の視覚系の視覚モデルから決定され得る。
第2の代替例として、青の原色のみの彩度及び/又は輝度が低減され、sRGBの緑及び赤の原色が維持され得る。これは、中程度の点線で示される色域496をもたらし、依然として電力のかなりの低減が達成される。観察者が満足のいく色を得るため、色域495に対して上で示されるように、色補正が実行される。
上の代替例のすべてにおいて、本願明細書で説明される方法による輝度の増大によって、彩度の低減が実現される。その後、ディスプレイへの電力が低減され、それにより、おおよそ元のレベルまで輝度が低減される。本出願人らの3DLUTは、個々のピクセルの所望のレベルの彩度を順応可能に回復し、元の画像のものに匹敵する彩度のものであると知覚される画像をもたらすために使用される。当該方法は、すべてのタイの画像ディスプレイ及び画像プロジェクタに適用可能である。
従って、本発明によれば、カラー画像を生成する方法及び装置が提供されることが明らかである。本発明の基本概念を説明したものの、前述の詳細な開示が、ほんの一例として表されて限定的でないことを意図することが当業者にはむしろ明らかである。本願明細書で明確に述べられていないものの、様々な変更例、改善例、及び変形例が生じうるし、当業者に意図される。これらの変更例、改善例、及び変形例がここで提案されることが意図されており、本発明の精神及び範囲内にある。さらに、処理要素又はシーケンスの列挙した順番、若しくは、数、文字、又は他の呼称は従って、特許請求の範囲で特定され得るものを除いて、特許請求された処理を任意の順番に限定することを意図していない。従って、本発明は、以下の特許請求の範囲及びその均等物によってのみ限定される。

Claims (55)

  1. 赤、緑及び青の原色のサブピクセルを含むピクセルから成るディスプレイを使用してカラー画像を生成する方法において、
    a.前記ディスプレイの原色を変更することにより、前記ディスプレイの色域を変更することによって、基準レベルに対して前記画像の輝度を増大させる工程と、
    b.前記画像の前記輝度を低減させるため、前記ディスプレイへの電力を減少させる工程と、
    c.出力画像ピクセルデータを生成するため、三次元のルックアップテーブルを使用して画像ピクセルデータを変更することによって、おおよそ前記基準レベルまで前記画像の色を回復する工程と、
    d.前記カラー画像を生成するため、前記出力画像ピクセルデータを前記ディスプレイに伝送する工程と
    を含むことを特徴とする方法。
  2. 請求項1に記載の方法において、前記色域を低減させて前記画像の前記輝度を増大させるため、前記画像に白を追加する工程をさらに含むことを特徴とする方法。
  3. 請求項2に記載の方法において、白は、白のサブピクセルによって追加されることを特徴とする方法。
  4. 請求項2に記載の方法において、白は、前記原色のサブピクセルの少なくとも1つに追加されることを特徴とする方法。
  5. 請求項2に記載の方法において、白は、前記3つの原色のサブピクセルの2つに追加されることを特徴とする方法。
  6. 請求項2に記載の方法において、白は、前記3つの原色のサブピクセルに追加されることを特徴とする方法。
  7. 請求項6に記載の方法において、白は、異なる量で前記3つの原色のサブピクセルに追加されることを特徴とする方法。
  8. 請求項6に記載の方法において、白は、彩度の増大と共に前記白の追加量が減少するアルゴリズムに従って順応可能に追加されることを特徴とする方法。
  9. 請求項8に記載の方法において、彩度の増大と共に前記白の追加量が減少する前記アルゴリズムは、彩度の増大に伴う白の減少を定義するガウス関数を含むことを特徴とする方法。
  10. 請求項8に記載の方法において、前記アルゴリズムは、前記三次元のルックアップテーブルの値を決定するために使用されることを特徴とする方法。
  11. 請求項8に記載の方法において、複数の画像が、前記ディスプレイを使用して生成され、前記アルゴリズムは、各画像ピクセルに追加する白の量と、各画像ピクセルに対する電力の減少量とを決定する工程を含むことを特徴とする方法。
  12. 請求項8に記載の方法において、前記アルゴリズムは、個々のピクセルの各々への前記白の追加量を決定する工程を含むことを特徴とする方法。
  13. 請求項12に記載の方法において、前記アルゴリズムは、個々の赤、緑及び青の原色のサブピクセルの各々への前記白の追加量を決定する工程を含むことを特徴とする方法。
  14. 請求項2に記載の方法において、白は、ピクセル露光時間の一部の間に前記サブピクセルに追加されることを特徴とする方法。
  15. 請求項2に記載の方法において、白は、前記赤、緑及び青の原色のサブピクセルを提供する第1のソースとは別の第2のソースから追加されることを特徴とする方法。
  16. 請求項15に記載の方法において、前記ディスプレイは、前記第1のソースとしての第1のバックライトと、前記第2のソースとしての第2のバックライトとを備えるLCDディスプレイであることを特徴とする方法。
  17. 請求項2に記載の方法において、前記ディスプレイは、LCDディスプレイであり、前記白は、白のサブピクセルによって各ピクセルに追加されることを特徴とする方法。
  18. 請求項1に記載の方法において、前記ディスプレイは、LCDディスプレイ、LEDディスプレイ、OLEDディスプレイ、プラズマディスプレイ及びDMDプロジェクタの1つであることを特徴とする方法。
  19. 請求項1に記載の方法において、前記ディスプレイへの電力を減少させるステップは、おおよそ前記基準レベルまで前記画像の前記輝度を低減させることを特徴とする方法。
  20. 請求項1に記載の方法において、前記ディスプレイへの電力を減少させるステップは、前記基準レベルより明るいレベルまで前記画像の前記輝度を低減させることを特徴とする方法。
  21. 請求項1に記載の方法において、前記画像の前記色を回復する前記工程は、IPT色空間で実行されることを特徴とする方法。
  22. 請求項1に記載の方法において、前記三次元のルックアップテーブルの前記値は、人間の視覚系の視覚モデルを使用することによって決定されることを特徴とする方法。
  23. 請求項22に記載の方法において、前記三次元のルックアップテーブルの前記値は、前記人間の視覚系の色彩順応を使用することによって決定されることを特徴とする方法。
  24. 請求項1に記載の方法において、記憶色は、前記カラー画像に保持されることを特徴とする方法。
  25. 請求項1に記載の方法において、前記画像の前記色を回復する工程は、前記ディスプレイの白色点を色標準の白色点に補正する工程を含むことを特徴とする方法。
  26. 赤、緑及び青の原色のサブピクセルを含むピクセルから成るディスプレイを使用してカラー画像を生成する方法において、
    a.前記画像ピクセルに白を追加することによって、基準レベルに対して前記画像の輝度を増大させ、彩度を低減させる工程と、
    b.前記画像の前記輝度を低減させるため、前記ディスプレイへの電力を減少させる工程と、
    c.出力画像ピクセルデータを生成するため、三次元のルックアップテーブルを使用して画像ピクセルデータを変更することによって、おおよそ前記基準レベルまで前記画像の前記彩度を回復する工程と、
    d.前記カラー画像を生成するため、前記出力画像ピクセルデータを前記ディスプレイに伝送する工程と
    を含むことを特徴とする方法。
  27. 請求項26に記載の方法において、白は、白のサブピクセルによって追加されることを特徴とする方法。
  28. 請求項26に記載の方法において、白は、前記原色のサブピクセルの少なくとも1つに追加されることを特徴とする方法。
  29. 請求項26に記載の方法において、白は、前記3つの原色のサブピクセルの2つに追加されることを特徴とする方法。
  30. 請求項26に記載の方法において、白は、前記3つの原色のサブピクセルに追加されることを特徴とする方法。
  31. 請求項30に記載の方法において、白は、異なる量で前記3つの原色のサブピクセルに追加されることを特徴とする方法。
  32. 請求項30に記載の方法において、白は、彩度の増大と共に前記白の追加量が減少するアルゴリズムに従って順応可能に追加されることを特徴とする方法。
  33. 請求項32に記載の方法において、彩度の増大と共に前記白の追加量が減少する前記アルゴリズムは、彩度の増大に伴う白の減少を定義するガウス関数を含むことを特徴とする方法。
  34. 請求項32に記載の方法において、前記アルゴリズムは、前記三次元のルックアップテーブルの値を決定するために使用されることを特徴とする方法。
  35. 請求項32に記載の方法において、複数の画像は、前記ディスプレイを使用して生成され、前記アルゴリズムは、各画像ピクセルに追加する白の量と、各画像に対する電力の減少量とを決定する工程を含むことを特徴とする方法。
  36. 請求項32に記載の方法において、前記アルゴリズムは、個々のピクセルの各々への前記白の追加量を決定する工程を含むことを特徴とする方法。
  37. 請求項36に記載の方法において、前記アルゴリズムは、個々の赤、緑及び青の原色のサブピクセルの各々への前記白の追加量を決定する工程を含むことを特徴とする方法。
  38. 請求項26に記載の方法において、白は、ピクセル露光時間の一部の間に前記サブピクセルに追加されることを特徴とする方法。
  39. 請求項26に記載の方法において、白は、前記赤、緑及び青の原色のサブピクセルを提供する第1のソースとは別の第2のソースから追加されることを特徴とする方法。
  40. 請求項39に記載の方法において、前記ディスプレイは、前記第1のソースとしての第1のバックライトと、前記第2のソースとしての第2のバックライトとを備えるLCDディスプレイであることを特徴とする方法。
  41. 請求項26に記載の方法において、前記ディスプレイは、LCDディスプレイであり、前記白は、白のサブピクセルによって各ピクセルに追加されることを特徴とする方法。
  42. 請求項26に記載の方法において、前記ディスプレイは、LCDディスプレイ、LEDディスプレイ、OLEDディスプレイ、プラズマディスプレイ及びDMDプロジェクタの1つであることを特徴とする方法。
  43. 請求項26に記載の方法において、前記ディスプレイへの電力を減少させるステップは、おおよそ前記基準レベルまで前記画像の前記輝度を低減させることを特徴とする方法。
  44. 請求項26に記載の方法において、前記ディスプレイへの電力を減少させるステップは、前記基準レベルより明るいレベルまで前記画像の前記輝度を低減させることを特徴とする方法。
  45. 請求項26に記載の方法において、前記画像の前記色を回復する前記工程は、IPT色空間で実行されることを特徴とする方法。
  46. 請求項26に記載の方法において、前記三次元のルックアップテーブルの前記値は、人間の視覚系の視覚モデルを使用することによって決定されることを特徴とする方法。
  47. 請求項46に記載の方法において、前記三次元のルックアップテーブルの前記値は、前記人間の視覚系の色彩順応を使用することによって決定されることを特徴とする方法。
  48. 請求項26に記載の方法において、記憶色は、前記カラー画像に保持されることを特徴とする方法。
  49. 請求項26に記載の方法において、前記画像の前記色を回復する工程は、前記ディスプレイの白色点を色標準の白色点に補正する工程を含むことを特徴とする方法。
  50. 赤、緑及び青の原色のサブピクセルを含むピクセルから成るディスプレイを使用してカラー画像を生成する方法において、
    a.彩度の増大と共に白の追加量が減少するアルゴリズムに従って前記赤、緑及び青の原色のサブピクセルに順応可能に白を追加することによって、基準レベルに対して前記画像の輝度を増大させ、前記彩度を低減させる工程と、
    b.前記画像の前記輝度を低減させるため、前記ディスプレイへの電力を減少させる工程と、
    c.出力画像ピクセルデータを生成するため、三次元のルックアップテーブルを使用して画像ピクセルデータを変更することによって、おおよそ前記基準レベルまで前記画像の前記彩度を回復する工程と、
    d.前記カラー画像を生成するため、前記出力画像ピクセルデータを前記ディスプレイに伝送する工程と
    を含むことを特徴とする方法。
  51. 請求項50に記載の方法において、彩度の増大と共に前記白の追加量が減少する前記アルゴリズムは、彩度の増大に伴う白の減少を定義するガウス関数を含むことを特徴とする方法。
  52. 請求項50に記載の方法において、前記アルゴリズムは、前記三次元のルックアップテーブルの値を決定するために使用されることを特徴とする方法。
  53. 請求項50に記載の方法において、複数の画像は、前記ディスプレイを使用して生成され、前記アルゴリズムは、各画像ピクセルに追加する白の量と、各画像に対する電力の減少量とを決定する工程を含むことを特徴とする方法。
  54. 請求項50に記載の方法において、前記アルゴリズムは、個々のピクセルの各々への前記白の追加量を決定する工程を含むことを特徴とする方法。
  55. 請求項54に記載の方法において、前記アルゴリズムは、個々の赤、緑及び青の原色のサブピクセルの各々への前記白の追加量を決定する工程を含むことを特徴とする方法。
JP2015545505A 2012-12-03 2013-12-02 カラー画像を生成する方法及び当該方法を使用した画像化装置 Pending JP2016505884A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/692,066 US8860751B2 (en) 2009-09-01 2012-12-03 Method for producing a color image and imaging device employing same
US13/692,066 2012-12-03
PCT/US2013/072692 WO2014088975A1 (en) 2012-12-03 2013-12-02 Method for producing a color image and imaging device employing same

Publications (2)

Publication Number Publication Date
JP2016505884A true JP2016505884A (ja) 2016-02-25
JP2016505884A5 JP2016505884A5 (ja) 2017-01-26

Family

ID=50883906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015545505A Pending JP2016505884A (ja) 2012-12-03 2013-12-02 カラー画像を生成する方法及び当該方法を使用した画像化装置

Country Status (3)

Country Link
JP (1) JP2016505884A (ja)
KR (1) KR20150110507A (ja)
WO (1) WO2014088975A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161948A (ja) * 2017-06-09 2017-09-14 住友化学株式会社 偏光板及び液晶パネル
CN110049301A (zh) * 2019-04-23 2019-07-23 湖南科技学院 一种用于云计算的图片颜色调节系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523747B1 (ko) * 2016-05-13 2023-04-21 엘지전자 주식회사 유기발광다이오드 디스플레이 장치 및 그의 동작 방법
KR102519478B1 (ko) * 2017-12-21 2023-04-11 삼성디스플레이 주식회사 발광표시패널 및 이를 포함하는 전자장치
CN109525901B (zh) * 2018-11-27 2020-08-25 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
KR102400082B1 (ko) * 2019-07-23 2022-05-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
EP3985650A4 (en) 2019-07-23 2022-08-17 Samsung Electronics Co., Ltd. DISPLAY DEVICE AND METHOD OF CONTROL THEREOF
EP3958243A1 (en) * 2020-08-14 2022-02-23 VeriSilicon Holdings Co., Ltd. Display controller, display control method, and display control system for color space conversion
CN113066419B (zh) * 2021-03-29 2022-11-22 联想(北京)有限公司 像素补偿实现方法及相关设备
CN113556526B (zh) * 2021-07-18 2022-11-15 北京理工大学 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
CN118098176B (zh) * 2024-04-26 2024-07-05 Tcl华星光电技术有限公司 一种显示装置的图像补偿方法和显示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124063A (ja) * 1997-07-03 1999-01-29 Seiko Instr Inc 反射型液晶表示装置およびその製造方法
JPH1164842A (ja) * 1997-08-21 1999-03-05 Seiko Instr Inc 反射型カラー液晶光学装置およびその製造方法
JPH11202325A (ja) * 1998-01-08 1999-07-30 Seiko Instruments Inc 反射型液晶表示装置およびその製造方法
JP2002023259A (ja) * 2000-07-07 2002-01-23 Canon Inc 投射型画像表示装置
JP2004140800A (ja) * 2002-08-21 2004-05-13 Nec Viewtechnology Ltd 映像表示装置
JP2007163647A (ja) * 2005-12-12 2007-06-28 Mitsubishi Electric Corp 画像表示装置
WO2012049845A1 (ja) * 2010-10-12 2012-04-19 パナソニック株式会社 色信号処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018476B2 (en) * 2006-08-28 2011-09-13 Samsung Electronics Co., Ltd. Subpixel layouts for high brightness displays and systems
KR100924121B1 (ko) * 2007-12-15 2009-10-29 한국전자통신연구원 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
US20090273614A1 (en) * 2008-04-15 2009-11-05 Michael Francis Higgins Gamut mapping and subpixel rendering systems and methods
KR101651620B1 (ko) * 2009-08-11 2016-08-29 엘지이노텍 주식회사 카메라 모듈을 이용한 디스플레이 장치의 컬러 보정 방법 및 장치
CN103339944B (zh) * 2011-01-31 2016-09-07 马维尔国际贸易有限公司 在彩色显示器上执行像素的色彩调整的系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124063A (ja) * 1997-07-03 1999-01-29 Seiko Instr Inc 反射型液晶表示装置およびその製造方法
JPH1164842A (ja) * 1997-08-21 1999-03-05 Seiko Instr Inc 反射型カラー液晶光学装置およびその製造方法
JPH11202325A (ja) * 1998-01-08 1999-07-30 Seiko Instruments Inc 反射型液晶表示装置およびその製造方法
JP2002023259A (ja) * 2000-07-07 2002-01-23 Canon Inc 投射型画像表示装置
JP2004140800A (ja) * 2002-08-21 2004-05-13 Nec Viewtechnology Ltd 映像表示装置
JP2007163647A (ja) * 2005-12-12 2007-06-28 Mitsubishi Electric Corp 画像表示装置
WO2012049845A1 (ja) * 2010-10-12 2012-04-19 パナソニック株式会社 色信号処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161948A (ja) * 2017-06-09 2017-09-14 住友化学株式会社 偏光板及び液晶パネル
CN110049301A (zh) * 2019-04-23 2019-07-23 湖南科技学院 一种用于云计算的图片颜色调节系统
CN110049301B (zh) * 2019-04-23 2020-12-25 湖南科技学院 一种用于云计算的图片颜色调节系统

Also Published As

Publication number Publication date
WO2014088975A1 (en) 2014-06-12
KR20150110507A (ko) 2015-10-02

Similar Documents

Publication Publication Date Title
US9997135B2 (en) Method for producing a color image and imaging device employing same
US9418622B2 (en) Method for producing a color image and imaging device employing same
JP2016505884A (ja) カラー画像を生成する方法及び当該方法を使用した画像化装置
JP4364281B2 (ja) 表示装置
EP1407445A2 (en) System and method of data conversion for wide gamut displays
US11869408B2 (en) System and method for a multi-primary wide gamut color system
US11501419B1 (en) System and method for displaying super saturated color
US11302288B2 (en) Ambient saturation adaptation
US11817063B2 (en) Perceptually improved color display in image sequences on physical displays
US20240054624A1 (en) System and method for displaying super saturated color
Wen Color management for future video Systems
Dutta Color Primary Correction of Image and Video Between Different Source and Destination Color Spaces

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161201

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161201

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171010