JP2013519905A - 画像処理装置、表示装置および画像処理方法 - Google Patents
画像処理装置、表示装置および画像処理方法 Download PDFInfo
- Publication number
- JP2013519905A JP2013519905A JP2012535508A JP2012535508A JP2013519905A JP 2013519905 A JP2013519905 A JP 2013519905A JP 2012535508 A JP2012535508 A JP 2012535508A JP 2012535508 A JP2012535508 A JP 2012535508A JP 2013519905 A JP2013519905 A JP 2013519905A
- Authority
- JP
- Japan
- Prior art keywords
- contrast
- regions
- image processing
- image
- spatial frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title description 5
- 239000000758 substrate Substances 0.000 claims description 7
- 239000004973 liquid crystal related substance Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 11
- 238000000034 method Methods 0.000 description 28
- 238000002474 experimental method Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000006978 adaptation Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 241000607479 Yersinia pestis Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/066—Adjustment of display parameters for control of contrast
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
- G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
- G09G3/3426—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
- G09G3/3611—Control of matrices with row and column drivers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Liquid Crystal Display Device Control (AREA)
- Image Processing (AREA)
Abstract
本発明による画像処理装置（１０）は、入力画像を互いに輝度レベルの異なる複数の領域にセグメント化する輝度セグメント部（１２）と、複数の領域のそれぞれの空間周波数を算出する空間周波数算出部（１４）と、輝度レベルおよび空間周波数算出部（１４）によって算出された空間周波数に基づいて、複数の領域のそれぞれのコントラストを調整するコントラスト調整部（１６）と、コントラスト調整部（１６）によってコントラストの調整が行われた複数の領域を１つの画像にマージするマージ部（１８）とを備える。
Description
本発明は、画像処理装置に関する。また、本発明は、表示装置や画像処理方法にも関する。
近年、表示装置のダイナミックレンジを広くすることが提案されている。従来の一般的な表示装置は、「ローダイナミックレンジ（ＬＤＲ）ディスプレイ」と呼ばれる。これに対し、拡大されたダイナミックレンジを有する表示装置は、「ハイダイナミックレンジ（ＨＤＲ）ディスプレイ」と呼ばれる。ＨＤＲディスプレイは、ＬＤＲディスプレイでは再現できない、非常に低い輝度レベルおよび非常に高い輝度レベルを再現することができる。そのため、ＨＤＲディスプレイは、コントラストの強調処理が施された画像であっても好適に表示することができる。
コントラスト操作に関する画像処理方法の多くは、人間の視覚系の応答が順応輝度の変化に関して直線的に変化するという仮定（ヴェーバーの法則）に基づいている。しかしながら、人間の視覚系のコントラスト感度は、低い順応輝度レベルにおいて大きく低下する。
図９は、人間の網膜中の桿体および錐体についてのコントラスト−強度（ＣＶＩ）関数を示す。図９において、横軸は、輝度[log10cd/m2]を示し、縦軸は、閾値−強度（ＴＶＩ）関数をＴＶＩ（Ｌ）とし、順応輝度レベルをＬとしたときにＣＶＩ＝ＴＶＩ（Ｌ）／Ｌと表されるＣＶＩ関数を示す。ＴＶＩ関数は、人間に知覚される最小輝度差を示すものである。図９に示されるように、特に低い順応輝度レベルにおいては、順応輝度の低下に伴い、人間の視覚系のコントラスト感度も低下する。
そのため、画像処理の際に画像の全体に対して物理的なコントラストの変化を一定にしても、知覚コントラスト（人間に知覚されるコントラスト）の変化は、順応輝度レベルのすべてにわたって一定ではない。図１０は、輝度と知覚コントラストとの関係の例を示す。図１０に示されているように、低い輝度レベルでは、知覚コントラストの変化は一定ではない。
この問題は、そのような低い輝度レベルを再現できないＬＤＲディスプレイでは許容されるが、ＨＤＲディスプレイでは由々しい問題である。具体的には、ＨＤＲディスプレイでは、コントラストの再スケーリングを単純に行うと、画像の暗い領域では知覚コントラストが弱くなってしまう。
そこで、本願発明者は他の者とともに、ＨＤＲディスプレイに好適に用いられるコントラスト強調モデルを提案している（非特許文献１参照）。このモデルは、自然風景の画像を表示しているＨＤＲディスプレイにおける異なる順応輝度レベルについてコントラストスケーリングを評価するための精神物理学的な実験に基づく。このコントラスト強調モデルは、異なる順応輝度レベルに対して一様な知覚コントラスト変化を実現することができる。
Akiko Yoshidaおよび他３名, "Perception-based contrast enhancement model for complex images in high dynamic range", Proceedings of Human Vision and Electronic Imaging XIII, IS&T/SPIE's 20th Annual Symposium Electronic Imaging, San Jose, CA, USA, 2008
しかしながら、上記の実験は、ただ１つの風景画像を用いて行われている。さらに、このコントラスト強調モデルは、画像の空間周波数という特性を全く無視している。言い換えると、このモデルは、順応輝度レベルと空間周波数とのただ１通りの組み合わせパターンに基づいている。そのため、非特許文献１に開示されているコントラスト強調モデルは、その応用の点から一般性を欠いている。
本発明は、上記問題に鑑みてなされたものであり、その目的は、ＬＤＲディスプレイでは再現できない非常に低い輝度レベルを含む任意の順応輝度レベル、任意のタイプの画像および任意の空間周波数に関して知覚コントラストの一様な変化を実現できる画像処理装置および画像処理方法を提供することにある。
本発明による画像処理装置は、入力画像を互いに輝度レベルの異なる複数の領域にセグメント化する輝度セグメント部と、前記複数の領域のそれぞれの空間周波数を算出する空間周波数算出部と、輝度レベルおよび前記空間周波数算出部によって算出された空間周波数に基づいて、前記複数の領域のそれぞれのコントラストを調整するコントラスト調整部と、前記コントラスト調整部によってコントラストの調整が行われた前記複数の領域を１つの画像にマージするマージ部と、を備える。
ある好適な実施形態において、前記マージ部は、前記複数の領域の輪郭をぼかした後にマージを行う。
ある好適な実施形態において、前記コントラスト調整部は、前記複数の領域のそれぞれのコントラストを互いに異なる度合いで調整する。
ある好適な実施形態において、本発明による画像処理装置は、前記コントラスト調整部による調整の度合いをユーザーが設定入力するための設定入力部をさらに備える。
本発明による表示装置は、上記構成を有する画像処理装置と、前記画像処理装置から出力された画像を表示する表示パネルと、を備える。
ある好適な実施形態において、本発明による表示装置は、３ｃｄ／ｍ2未満の輝度および４００ｃｄ／ｍ2を超える輝度での表示を行い得る。
ある好適な実施形態において、前記表示パネルは、一対の基板と、前記一対の基板間に設けられた液晶層と、を有する。
ある好適な実施形態において、本発明による表示装置は、前記表示パネルに光を照射する照明装置をさらに備える。
ある好適な実施形態において、前記照明装置は、複数の発光領域を有し、前記複数の発光領域のそれぞれごとに発光輝度を制御し得る。
ある好適な実施形態において、本発明による表示装置は、周囲の照度レベルを検出する照度センサをさらに備える。
本発明による画像処理方法は、入力画像を互いに輝度レベルの異なる複数の領域にセグメント化するステップと、前記複数の領域のそれぞれの空間周波数を算出するステップと、輝度レベルおよび算出された空間周波数に基づいて、前記複数の領域のそれぞれのコントラストを調整するステップと、コントラストの調整が行われた前記複数の領域を１つの画像にマージするステップと、を包含する。
本発明によると、ＬＤＲディスプレイでは再現できない非常に低い輝度レベルを含む任意の順応輝度レベル、任意のタイプの画像および任意の空間周波数に関して知覚コントラストの一様な変化を実現できる画像処理装置および画像処理方法が提供される。
以下、図面を参照しながら本発明の好適な実施形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。
図１は、本実施形態における表示装置１００を模式的に示すブロック図である。表示装置１００は、図１に示すように、画像処理装置１０と、表示パネル２０とを備える。
表示装置１００は、ローダイナミックレンジ（ＬＤＲ）ディスプレイよりも広いダイナミックレンジを有するハイダイナミックレンジ（ＨＤＲ）ディスプレイである。ここで、「ＬＤＲディスプレイ」は、非常に低い輝度レベルおよび非常に高い輝度レベルを再現できない従来の表示装置である。ＬＤＲディスプレイは、典型的には、３ｃｄ／ｍ2未満の輝度や４００ｃｄ／ｍ2を超える輝度での表示を行うことができない。「ＨＤＲディスプレイ」は、ＬＤＲディスプレイとは反対のものである。ＨＤＲディスプレイは、典型的には、３ｃｄ／ｍ2未満の輝度および４００ｃｄ／ｍ2を超える輝度での表示を行うことができる。ＬＤＲ画像は、通常２５５階調を有する従来の画像フォーマットである。一方、ＨＤＲ画像は、より広いダイナミックレンジ、つまりより多階調をカバーするものである。従って、ＨＤＲ画像は、１０〜１６ビットというより大きなビット深度を要する。ＨＤＲ画像のためのフォーマットの実例としては、OpenEXR、RadianceHDR、Floating-point TIFFなどが挙げられる。
画像処理装置１０は、入力画像に対してコントラストの調整処理を含む画像処理を施すことができる。表示パネル２０は、画像処理装置１０から出力された画像を表示する。表示パネル２０は、例えば、液晶表示（ＬＣＤ）パネルや有機ＥＬ表示パネルである。
以下、図２を参照しながら、本実施形態における画像処理装置１０を具体的に説明する。図２は、画像処理装置１０を模式的に示すブロック図である。画像処理装置１０は、図２に示すように、輝度セグメント部１２と、空間周波数算出部１４と、コントラスト調整部１６と、マージ部１８とを備える。
輝度セグメント部１２は、入力画像を互いに輝度レベルの異なる複数の領域にセグメント化する。図３は、入力画像の一例を示す。図３に示されている入力画像は、輝度セグメント部１２によって、例えば、図４（ａ）、（ｂ）および（ｃ）に示すように３つの領域にセグメント化される。図４（ａ）に示される領域は、低い輝度レベルを有する「暗領域」である。図４（ｂ）に示される領域は、高い輝度レベルを有する「明領域」である。図４（ｃ）に示される領域は、中間的な輝度レベルを有する「中間領域」である。
輝度セグメント部１２によるセグメント化は、例えば、入力画像の輝度ヒストグラムに基づいて実行され得る。なお、入力画像は３つの画像にセグメント化される必要はなく、２つ、あるいは４つ以上の領域にセグメント化されてもよい。
空間周波数算出部１４は、複数の領域のそれぞれの空間周波数を算出する。「空間周波数」は、空間的な周期をもつ構造の性質である。ここで、単純な例を用いて画像の空間周波数を簡単に説明する。
図５（ａ）および（ｂ）は、互いに異なる空間周波数を有する画像を示している。図５（ａ）に示される画像では、輝度レベルは１０画素ごとに変化している。これに対し、図５（ｂ）に示される画像では、輝度レベルは５画素ごとに変化している。画像の空間周波数は、通常、「cycles per degree（cpd）」という単位で与えられる。これは、視角１°につき輝度変化の周期が何回発生するかを意味する。視角（Ｖ）は、視対象（表示装置）の大きさをＳ（ｍ）、その距離をＤ（ｍ）としたときに、V=2・arctan(S/2D)と規定される。
空間周波数は、単位視角当たりの周期数を示す。ある観察距離およびある表示装置について視角が計算されると、「pixels per degree（１°当たりの画素数）」も得られる。図５（ａ）および（ｂ）に示される例において、単位視角当たりの画素数が１０であると、図５（ａ）に示される例の空間周波数は０．５ｃｐｄであり、図５（ｂ）に示される例の空間周波数は１ｃｐｄである。
空間周波数算出部１４による空間周波数の算出は、公知の手法により実行されてもよい。具体的には、例えばフーリエ変換により、各領域の空間周波数を算出することができる。フーリエ変換の一般式は、以下の通りである。
コントラスト調整部１６は、輝度レベルおよび空間周波数算出部１４によって算出された空間周波数に基づいて、複数の領域のそれぞれのコントラストを調整する。より具体的には、コントラスト調整部１６は、複数の領域のそれぞれのコントラストを互いに異なる度合いで調整する。つまり、各領域（各セグメント）は、異なる物理コントラストを与えられる。コントラスト調整部１６によるコントラスト調整の具体的なモデルについては、後に詳述する。
マージ部１８は、コントラスト調整部１６によってコントラストの調整が行われた複数の領域を１つの画像にマージする。
上述したように、本実施形態の画像処理装置１０では、コントラストの調整が、輝度レベルだけでなく空間周波数にも基づいて行われる。そのため、非常に低い輝度レベルを含む任意の順応輝度レベル、任意のタイプの画像および任意の空間周波数に関して知覚コントラストの一様な変化が実現される。
画像処理装置１０が備えている構成要素は、ハードウェアによって実現され得、これらの一部または全部はソフトウェアによって実現されてもよい。これらの構成要素がソフトウェアによって実現される場合、コンピュータを用いて構成されてもよく、このコンピュータは、各種プログラムを実行するためのＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）や、それらのプログラムを実行するためのワークエリアとして機能するＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などを備えるものである。そして各構成要素の機能を実現するためのプログラムがコンピュータにおいて実行され、そのことによってコンピュータが各構成要素として動作する。
最終的な画像の不自然さを避けるためには、マージ部１８は、複数の領域の輪郭をぼかした後にマージを行うことが好ましい。
また、画像処理装置１０は、図６に示すように、設定入力部１５を任意にさらに備えてもよい。設定入力部１５は、コントラスト調整部１６による調整の度合いをユーザーが設定入力するためのものである。
図７は、ハイダイナミックレンジを実現するための具体的な構成の例を示す。図７に示される表示パネル２０は、一対の基板２１および２２と、一対の基板２１および２２間に設けられた液晶層２３とを有するＬＣＤパネルである。そのため、図７に示される表示装置１００は、表示パネル２０に光を照射する照明装置３０をさらに備える。
照明装置３０は、いわゆる「アクティブバックライト」である。照明装置３０は、複数の発光領域３０ａを有し、複数の発光領域３０ａのそれぞれごとに発光輝度を制御することができる。各発光領域３０ａは、典型的には、少なくとも１つの光源（例えば発光ダイオード）を含む。このような構成を有する照明装置３０を備えることにより、図７に示される表示装置１００は、非常に低い輝度レベルおよび非常に高い輝度レベルを再現することができる。
照明装置３０としては、公知の種々のアクティブバックライトが用いられる。例えば、国際公開第２００９／０５４２２３号に開示されているアクティブバックライトが好適に用いられる。国際公開第２００９／０５４２２３号の内容を本願明細書の一部として援用する。
また、表示装置１００は、図８に示されるように、照度センサ４０を備えてもよい。コントラスト知覚は、周囲の照度レベルにも影響されるので、照度センサ４０によって周囲の照度レベルを検出することにより、知覚コントラストのいっそう一様な変化が実現される。
続いて、コントラストの調整を好適に行うためのモデルの具体例を説明する。
人間の視覚系（ＨＶＳ）が物理コントラストの変化をどのように知覚するかの評価は、「コントラストスケーリング」の実験と「コントラスト識別閾値」の実験という２つの精神物理学的な実験を実施することにより行われ得る。
（コントラストスケーリング）
コントラストスケーリング実験の目的は、種々の順応輝度レベルおよび種々の空間周波数パターンに対して与えられた物理コントラストについて、人間の観察者にとっての知覚コントラストの均一なスケーリングを得ることである。この実験のために、異なる順応輝度レベル、異なる空間周波数パターン、異なる画像タイプをカバーするべく、複数の画像が選択される。
コントラストスケーリング実験の目的は、種々の順応輝度レベルおよび種々の空間周波数パターンに対して与えられた物理コントラストについて、人間の観察者にとっての知覚コントラストの均一なスケーリングを得ることである。この実験のために、異なる順応輝度レベル、異なる空間周波数パターン、異なる画像タイプをカバーするべく、複数の画像が選択される。
まず、各画像（刺激）は、異なる輝度レベルを有する複数の領域にセグメント化される。次に、各領域に対し、いくつかの異なる物理コントラストが与えられる。言い換えると、各セグメントから物理コントラストの異なる複数の画像が形成される。これにより、順応輝度レベルと空間周波数のいくつかの組み合わせパターンが各原画像においてカバーされる。さらに、非常に高い輝度レベルだけでなく非常に低い輝度レベルも再現できるハイダイナミックレンジ（ＨＤＲ）ディスプレイがこの実験のために用意される。
次に、各輝度レベル（つまり画像の各セグメント）について、異なる物理コントラストを有する画像のすべてのペアが被験者に次々に示される。被験者は、ペアごとに、「いずれの画像の方が着目領域において強いコントラストを有するか？」という質問に答えることを要求される。
上記の実験の結果は、各輝度レベルについてｎ×ｎ行列（マトリクス）Ｆの形で得られる（ｎは物理コントラストの数である）。マトリクスＦにおけるｉ行ｊ列の要素ｆijは、刺激（画像）ｊが刺激（画像）ｉと比較されたときにｆij回被験者たちに選択されたことをあらわす。言うまでもなく、ｆjiとｆijの和は、刺激ｉと刺激ｊのペアについての比較の総回数に等しい。マトリクスＦの対角セルは、空のままである。
なお、この手順、いわゆる一対比較法あるいは二肢強制選択法（２ＡＦＣ法）は、他の実験手法である順序尺度法に置き換えることもできる。順序尺度法では、被験者は、各ペアの比較の代わりに、刺激の全部または一部を並べ替えることを要求される。２ＡＦＣ法および順序尺度法のどちらでも、同じｎ×ｎマトリクスが得られる。
ｎ×ｎマトリクスＦにおける結果は、L.L. Thurstone, "Law of comparative judgment", Psychological Review 34, pp.273-286, 1927 に開示されている比較判断の法則によって解析される。マトリクスＰがマトリクスＦから構築される。要素ｐijは、刺激ｊが刺激ｉよりも大きいと判断された回数の観察比である。マトリクスＰの対角セルは、空のままである。マトリクスＰの対称セルは、合計すると１になる（つまりｐij＋ｐji＝１）。
マトリクスＰから、基礎変換マトリクスＸが構築される。マトリクスＸにおける要素ｘijは、要素ｐijに対応する標準正規偏差である。要素ｘijは、要素ｐijの０．５０を上回る値に対して正であり、要素ｐijの０．５０を下回る値に対して負である。１．００および０．００という比率は、用いられない。なぜなら、それらの比率に対応するｘの値は無限に大きいからである。そのような比率が生じた場合、マトリクスＸの対応するセルは、空のままにされる。マトリクスＸの対角セルには、０が入る。結局、マトリクスＸは、歪対称となる（つまりｘij＝−ｘji）。マトリクスＦの各列を平均することにより、スケーリングの最小二乗推定という最終結果が得られる。このようにして、各輝度レベルに対するコントラストスケーリングが得られる。
（コントラスト識別閾値）
上述したようにして、コントラストスケーリング実験の結果が得られるけれども、それは任意単位で与えられるものである。コントラストスケーリングの結果を丁度可知差異（ＪＮＤ）に変換するために、コントラスト識別閾値を測定するもう１つの精神物理学的実験が行われる。
上述したようにして、コントラストスケーリング実験の結果が得られるけれども、それは任意単位で与えられるものである。コントラストスケーリングの結果を丁度可知差異（ＪＮＤ）に変換するために、コントラスト識別閾値を測定するもう１つの精神物理学的実験が行われる。
画像の各輝度レベル（つまり各セグメント）に対し、いくつかの物理コントラストが基準として選択される。各基準コントラストにおいて、被験者は、コントラスト識別閾値を明らかにすることを要求される。この実験は、増減（increment/decrement）法、段階法、連続試験によるパラメータ推定法（ＰＥＳＴ法）、ＱＵＥＳＴ法などのような閾値測定手法の１つを用いて行うことができる。この実験もまた、コントラストスケーリング実験と同様に、ＨＤＲディスプレイで行われる。
増減法は、識別閾値を測定するもっとも単純な方法である。基準刺激と目標刺激のペアが人間の被験者に呈示される。目標刺激は、基準刺激と同じ強度に設定される（ケース１）か、著しく異なる強度に設定される（ケース２）。被験者は、違いが見え始めるか（ケース１）、刺激が同じであるように見え始める（ケース２）まで、目標刺激の強度を変えることを要求される。
段階法は、T.N. Cornsweet, "The staircase-method in psychophysics", the American Journal of Psychology, 75(3), pp.485-491, 1962 に開示されている。段階法では、増減法と同様に、基準刺激と目標刺激のペアが被験者に呈示される。基準刺激の強度は、基準刺激と目標刺激との差が識別されないときは増やされ、差が知覚されないときは減らされる。
ＰＥＳＴ法は、M.M. TaylorおよびC.D. Creelman, "PEST: Efficient estimates on probability functions", J. of Acoustical Society of America 41(4), pp.782-787, 1967 に開示されている。ＰＥＳＴ法では、目標刺激は、実験プログラムにより変化させられる。また、基準刺激と目標刺激のペアが被験者に呈示される。目標刺激は、基準刺激と著しく異なるレベルに設定される。各ステップにおいて、被験者は「違いが見えるか？」という質問に答えなければいけない。
答えがイエスの場合、目標刺激の強度は基準刺激付近まで飛ばされる。一般に、最初のジャンプ幅は、基準刺激の強度と目標刺激の当初強度との差に等しい。実験は、基本的には上記のステップを繰り返すことにより行われる。被験者が前回と違う答えをする度に、目標刺激の強度変化の方向が反転されるとともに、ジャンプ幅が半減される。これに対し、被験者が前回と同じ答えをした場合には、目標刺激の強度は同じ方向に同じジャンプ幅で変化する。被験者の応答が十分に一定になり始めたら、１試行を終了することができる。
ＱＵＥＳＴ法は、A.B. WatsonおよびD.G. Pelli, "QUEST: A Bayesian adaptive psychometric method", Perception and Psychophysics 33(2), pp.113-120, 1983 に開示されている。ＱＵＥＳＴ法は、ＰＥＳＴ法を改良したものである。ＱＵＥＳＴ法は、ＰＥＳＴ法において単純にジャンプを継続するか（ジャンプ幅を半減した）反転ジャンプをするのに代えて、次の刺激レベルを選択するために人間の心理測定関数を用いる。
（コントラストスケーリングの結果のＪＮＤ単位への変換）
コントラストスケーリングおよびコントラスト識別閾値の２つの実験の後、コントラストスケーリング実験の結果が丁度可知差異（ＪＮＤ）単位に変換される。コントラスト識別閾値実験の結果が、各順応輝度レベルおよび各空間周波数について１ＪＮＤとみなされる。コントラスト識別閾値の結果（＝１ＪＮＤ）に基づいて、コントラストスケーリングの結果がリスケールされる。
コントラストスケーリングおよびコントラスト識別閾値の２つの実験の後、コントラストスケーリング実験の結果が丁度可知差異（ＪＮＤ）単位に変換される。コントラスト識別閾値実験の結果が、各順応輝度レベルおよび各空間周波数について１ＪＮＤとみなされる。コントラスト識別閾値の結果（＝１ＪＮＤ）に基づいて、コントラストスケーリングの結果がリスケールされる。
（モデル）
コントラストスケーリングの結果のＪＮＤへのリスケールの後、それらのデータは非線形関数にフィッティングされ、それらの非線形関数が多次元モデルにまとめられる。まず、データの各セットに対して、コントラスト−強度（ＣＶＩ）関数により計算されるコントラスト検出閾値を用いて開始点が計算され、設定される。ＣＶＩ関数は、閾値−強度（ＴＶＩ）関数をＴＶＩとし、順応輝度レベルをＬとしたときに、ＣＶＩ＝ＴＶＩ（Ｌ）／Ｌと表される。いくつかのＴＶＩ関数が、S. Daly, "The visible differences predictor: An algorithm for the assessment of image fidelity", Digital Images and Human Vision, MIT Press, A.B. Watson, Ed., pp.179-206, 1993； J.A. Ferwerdaら, "A model of visual adaptation for realistic image synthesis", Proceedings of ACM SIGGRAPH 1996, pp.249-258, 1996； P.G.J. Barten, "Contrast sensitivity of the human eye and its effects on image quality", SPIE Optical Engineering Press, 1999； M. Ashikhmin, "A tone mapping algorithm for high contrast images", Proceedings of the 13th Eurographics Workshop on Rendering, pp.145-155, 2002 に開示されている。コントラスト検出閾値を計算するために、これらのいずれを用いてもよい。データの各セットは、開始点について再配置され、多次元モデルに補間される。
コントラストスケーリングの結果のＪＮＤへのリスケールの後、それらのデータは非線形関数にフィッティングされ、それらの非線形関数が多次元モデルにまとめられる。まず、データの各セットに対して、コントラスト−強度（ＣＶＩ）関数により計算されるコントラスト検出閾値を用いて開始点が計算され、設定される。ＣＶＩ関数は、閾値−強度（ＴＶＩ）関数をＴＶＩとし、順応輝度レベルをＬとしたときに、ＣＶＩ＝ＴＶＩ（Ｌ）／Ｌと表される。いくつかのＴＶＩ関数が、S. Daly, "The visible differences predictor: An algorithm for the assessment of image fidelity", Digital Images and Human Vision, MIT Press, A.B. Watson, Ed., pp.179-206, 1993； J.A. Ferwerdaら, "A model of visual adaptation for realistic image synthesis", Proceedings of ACM SIGGRAPH 1996, pp.249-258, 1996； P.G.J. Barten, "Contrast sensitivity of the human eye and its effects on image quality", SPIE Optical Engineering Press, 1999； M. Ashikhmin, "A tone mapping algorithm for high contrast images", Proceedings of the 13th Eurographics Workshop on Rendering, pp.145-155, 2002 に開示されている。コントラスト検出閾値を計算するために、これらのいずれを用いてもよい。データの各セットは、開始点について再配置され、多次元モデルに補間される。
上述したモデルに基づいて、コントラスト調整部１６によるコントラスト調整を行うことができる。
なお、本発明は、画像処理装置１０に静止画が入力される構成に限定されるものではない。画像処理装置１０には、動画が入力されてもよい。動画の場合、もっとも単純には、各フレームにおいてすべてのステップを実行すればよい。モーションベクトル解析（例えばオプティカルフローを用いる）を画像処理装置１０（表示装置１００）に導入すると、各フレームにおいて全ステップを実行する場合よりも計算コストを大幅に削減することができる。
本発明によると、ＬＤＲディスプレイでは再現できない非常に低い輝度レベルを含む任意の順応輝度レベル、任意のタイプの画像および任意の空間周波数に関して知覚コントラストの一様な変化を実現できる画像処理装置および画像処理方法が提供される。本発明は、ＨＤＲディスプレイ用の画像処理装置全般に好適に用いられる。
１０ 画像処理装置
１２ 輝度セグメント部
１４ 空間周波数算出部
１５ 設定入力部
１６ コントラスト調整部
１８ マージ部
２０ 表示パネル
２１、２２ 基板
２３ 液晶層
３０ 照明装置
３０ａ 発光領域
１００ 表示装置
１２ 輝度セグメント部
１４ 空間周波数算出部
１５ 設定入力部
１６ コントラスト調整部
１８ マージ部
２０ 表示パネル
２１、２２ 基板
２３ 液晶層
３０ 照明装置
３０ａ 発光領域
１００ 表示装置
Claims (11)
- 入力画像を互いに輝度レベルの異なる複数の領域にセグメント化する輝度セグメント部と、
前記複数の領域のそれぞれの空間周波数を算出する空間周波数算出部と、
輝度レベルおよび前記空間周波数算出部によって算出された空間周波数に基づいて、前記複数の領域のそれぞれのコントラストを調整するコントラスト調整部と、
前記コントラスト調整部によってコントラストの調整が行われた前記複数の領域を１つの画像にマージするマージ部と、を備える画像処理装置。 - 前記マージ部は、前記複数の領域の輪郭をぼかした後にマージを行う請求項１に記載の画像処理装置。
- 前記コントラスト調整部は、前記複数の領域のそれぞれのコントラストを互いに異なる度合いで調整する請求項１または２に記載の画像処理装置。
- 前記コントラスト調整部による調整の度合いをユーザーが設定入力するための設定入力部をさらに備える請求項１から３のいずれかに記載の画像処理装置。
- 請求項１から４のいずれかに記載の画像処理装置と、
前記画像処理装置から出力された画像を表示する表示パネルと、
を備える表示装置。 - ３ｃｄ／ｍ2未満の輝度および４００ｃｄ／ｍ2を超える輝度での表示を行い得る請求項５に記載の表示装置。
- 前記表示パネルは、一対の基板と、前記一対の基板間に設けられた液晶層と、を有する請求項５または６に記載の表示装置。
- 前記表示パネルに光を照射する照明装置をさらに備える請求項７に記載の表示装置。
- 前記照明装置は、複数の発光領域を有し、前記複数の発光領域のそれぞれごとに発光輝度を制御し得る請求項８に記載の表示装置。
- 周囲の照度レベルを検出する照度センサをさらに備える請求項５から９のいずれかに記載の表示装置。
- 入力画像を互いに輝度レベルの異なる複数の領域にセグメント化するステップと、
前記複数の領域のそれぞれの空間周波数を算出するステップと、
輝度レベルおよび算出された空間周波数に基づいて、前記複数の領域のそれぞれのコントラストを調整するステップと、
コントラストの調整が行われた前記複数の領域を１つの画像にマージするステップと、を包含する画像処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US30350010P | 2010-02-11 | 2010-02-11 | |
| US61/303,500 | 2010-02-11 | ||
| PCT/JP2011/053316 WO2011099644A1 (en) | 2010-02-11 | 2011-02-09 | Image processor, display device, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013519905A true JP2013519905A (ja) | 2013-05-30 |
| JP5337310B2 JP5337310B2 (ja) | 2013-11-06 |
Family
ID=44367905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012535508A Expired - Fee Related JP5337310B2 (ja) | 2010-02-11 | 2011-02-09 | 画像処理装置、表示装置および画像処理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20120308155A1 (ja) |
| EP (1) | EP2534653A1 (ja) |
| JP (1) | JP5337310B2 (ja) |
| CN (1) | CN102763158A (ja) |
| RU (1) | RU2012138705A (ja) |
| WO (1) | WO2011099644A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5397190B2 (ja) | 2009-11-27 | 2014-01-22 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| GB201116092D0 (en) * | 2011-09-16 | 2011-11-02 | Bioceros B V | Antibodies and uses thereof |
| CN103631552B (zh) * | 2012-08-28 | 2021-05-07 | 刘彬 | 一种实现显示模块节能和精细控制的方法和装置 |
| RU2767328C2 (ru) * | 2013-11-04 | 2022-03-17 | Долби Лэборетериз Лайсенсинг Корпорейшн | Одно- и многомодуляторные проекционные системы с глобальным регулированием яркости |
| CN104036474B (zh) * | 2014-06-12 | 2017-12-19 | 厦门美图之家科技有限公司 | 一种图像亮度和对比度的自动调节方法 |
| US10186034B2 (en) * | 2015-01-20 | 2019-01-22 | Ricoh Company, Ltd. | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium |
| US10810455B2 (en) * | 2018-03-05 | 2020-10-20 | Nvidia Corp. | Spatio-temporal image metric for rendered animations |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03146996A (ja) * | 1989-11-02 | 1991-06-21 | Nec Off Syst Ltd | 画像処理装置 |
| JPH07210669A (ja) * | 1994-01-20 | 1995-08-11 | Canon Inc | 画像処理装置及びその制御方法 |
| JPH11134491A (ja) * | 1997-10-31 | 1999-05-21 | Victor Co Of Japan Ltd | 画像処理装置及びその方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4663660A (en) * | 1986-06-20 | 1987-05-05 | Rca Corporation | Compressed quantized image-data transmission technique suitable for use in teleconferencing |
| US5012333A (en) * | 1989-01-05 | 1991-04-30 | Eastman Kodak Company | Interactive dynamic range adjustment system for printing digital images |
| US5450216A (en) * | 1994-08-12 | 1995-09-12 | International Business Machines Corporation | Color image gamut-mapping system with chroma enhancement at human-insensitive spatial frequencies |
| US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
| US6809741B1 (en) * | 1999-06-09 | 2004-10-26 | International Business Machines Corporation | Automatic color contrast adjuster |
| US7064740B2 (en) * | 2001-11-09 | 2006-06-20 | Sharp Laboratories Of America, Inc. | Backlit display with improved dynamic range |
| US7652794B2 (en) * | 2004-06-28 | 2010-01-26 | International Paper Co. | Prepress workflow methods for generating images with improved misregistration tolerance utilizing global and/or local processing techniques |
| TWI308315B (en) * | 2005-12-23 | 2009-04-01 | Innolux Display Corp | Liquid crystal display and method for adjusting it |
| KR100763239B1 (ko) * | 2006-06-27 | 2007-10-04 | 삼성전자주식회사 | 디스플레이되는 영상의 시인성 향상을 위한 영상 처리 장치및 방법 |
| CN101132500A (zh) * | 2006-08-23 | 2008-02-27 | 乐金电子（南京）等离子有限公司 | 图像显示设备的对比度调整装置及方法 |
| US8941580B2 (en) * | 2006-11-30 | 2015-01-27 | Sharp Laboratories Of America, Inc. | Liquid crystal display with area adaptive backlight |
-
2011
- 2011-02-09 CN CN201180008972XA patent/CN102763158A/zh active Pending
- 2011-02-09 US US13/578,024 patent/US20120308155A1/en not_active Abandoned
- 2011-02-09 WO PCT/JP2011/053316 patent/WO2011099644A1/en active Application Filing
- 2011-02-09 EP EP11742382A patent/EP2534653A1/en not_active Withdrawn
- 2011-02-09 JP JP2012535508A patent/JP5337310B2/ja not_active Expired - Fee Related
- 2011-02-19 RU RU2012138705/08A patent/RU2012138705A/ru not_active Application Discontinuation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03146996A (ja) * | 1989-11-02 | 1991-06-21 | Nec Off Syst Ltd | 画像処理装置 |
| JPH07210669A (ja) * | 1994-01-20 | 1995-08-11 | Canon Inc | 画像処理装置及びその制御方法 |
| JPH11134491A (ja) * | 1997-10-31 | 1999-05-21 | Victor Co Of Japan Ltd | 画像処理装置及びその方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5337310B2 (ja) | 2013-11-06 |
| RU2012138705A (ru) | 2014-03-20 |
| CN102763158A (zh) | 2012-10-31 |
| EP2534653A1 (en) | 2012-12-19 |
| WO2011099644A1 (en) | 2011-08-18 |
| US20120308155A1 (en) | 2012-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5337310B2 (ja) | 画像処理装置、表示装置および画像処理方法 | |
| JP6019087B2 (ja) | 高ブライトネスで高ダイナミックレンジのディスプレイのための画像処理における適応ガンマの適用のためのシステムおよび方法 | |
| CN109979401B (zh) | 驱动方法、驱动装置、显示设备和计算机可读介质 | |
| KR102255590B1 (ko) | 표시장치의 동적 범위 확장 방법 및 장치 | |
| TWI426481B (zh) | Display device and display device | |
| US8610654B2 (en) | Correction of visible mura distortions in displays using filtered mura reduction and backlight control | |
| EP3516646B1 (en) | Apparatus for enhancing brightness uniformity of displayed image, display apparatus, and method for displaying image | |
| TWI439996B (zh) | 調整顯示器背光的方法及相關裝置 | |
| US20100013750A1 (en) | Correction of visible mura distortions in displays using filtered mura reduction and backlight control | |
| US20130287313A1 (en) | Method and system for improving the visibility of features of an image | |
| US20110193895A1 (en) | High Dynamic Range Display with Rear Modulator Control | |
| CN103295542A (zh) | 背光调光方法和使用该方法的液晶显示器 | |
| US11030971B2 (en) | Display device and image processing method for color correction based on image type | |
| EP2612319A1 (en) | Method and apparatus for adjusting drive values for dual modulation displays | |
| US20110025725A1 (en) | Backlight unit and control method for the same | |
| KR20150020906A (ko) | 표시 장치 및 그 구동 방법 | |
| JP2011039451A (ja) | 表示装置、輝度ムラ補正方法、補正データ作成装置、および補正データ作成方法 | |
| Trentacoste et al. | Photometric image processing for high dynamic range displays | |
| Zerman et al. | Effects of display rendering on HDR image quality assessment | |
| Ahn et al. | Backlight dimming based on saliency map acquired by visual attention analysis | |
| Choi et al. | 60.2: Minimizing Veiling Glare in the High‐Luminance‐Range Visualization of Medical Images | |
| Guarnieri et al. | Gray-level mapping in advanced medical displays: Determining the collective and individual visual response of the users | |
| Liang et al. | Assessment of temporal display using observers | |
| Kim et al. | Visibility improvement based on gray matching experiment between dark and ambient condition in mobile display | |
| Kuepper et al. | High Dynamic Range imaging: is the game worth the candle? |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130802 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |