JP2013210773A - イプシロンフィルタの閾値決定装置およびローパスフィルタの係数決定方法 - Google Patents

Abstract

【課題】 ハローとレティネックス演算による効果の双方を満足させる階調補正をする。
【解決手段】 得られたパネルの単位階調における輝度値について、対応するJND値を求める。JND値に対応する画素値をパネルの単位階調ごとに求める（図３Ｂ）。パネルの単位階調毎の識別可能なJND値に、パネルの最大出力値との比率に逆ガンマ補正することにより、閾値εを求める（図３Ｃ）。さらに、最小２乗法を用いて、１次関数による近似結果を算出する（図３Ｄ）。許容するＪＮＤステップ数から、閾値εが画素値の増加関数として特定される。かかる関数を用いて、閾値εを変更する。閾値εを中央画素値に応じて変動させることができる。
【選択図】 図３

Description

この発明は、レティネックス処理に関し、特に、ハローアーチファクトとレティネックス処理によるバランスがとれる階調補正に関する。

画像処理によってダイナミックレンジを圧縮する手法として、レティネックス処理（Ｒｅｔｉｎｅｘ処理）が知られている。レティネックス処理では、元の画像を、ローパスフィルタを用いて反射光成分と照明光成分に分け、照明光成分を補正する処理を行い、補正後の照明光成分と反射光成分とを合成したものを出力する。

前記ローパスフィルタのフィルタサイズを小さくすると、エッジ再現は良好となる。一方、ローパスフィルタのフィルタサイズを大きくすると、エッジ部分との境界にハローアーチファクトが発生する場合がある。

上記ハローアーチファクトを防止するために、エッジ保存型ローパスフィルタが提言され、その一つにεフィルタが知られている。εフィルタは、予め閾値εを設けておき、前記一定領域内の全画素のうち、前記一定領域内の中心画素との差分が閾値ε以内の画素値の画素だけを演算対象として採用する。

かかる閾値εを小さくすればハローアーチファクトを少なくすることはできるが、一方、レティネックス処理の効果である立体感も損なわれる。

このように、従来は、ローパスフィルタとしての効果を維持しつつ、かつ、ハローアーチファクトを視覚的には認識ができない程度に、調整することはできなかった。

なお、特許文献１には、対象領域内のエッジ強度により、閾値εを変動させる技術が開示されているが、これは、ハローアーチファクトが発生するエッジ部分に着目して閾値εを決定するものにすぎない。

KONICA MINOLTA TECHNOLOGY REPORT. VOL.4,「広ダイナミックレンジ画像の高コントラスト化画像処理」http://www.konicaminolta.jp/about/research/technology_report/2007/pdf/introduce_011.pdf 特開２００３−８９３５号公報

この発明は、上記問題を解決し、視感度特性に基づく、又は/及び環境光の影響を考慮したイプシロンフィルタの閾値決定装置またはその方法、さらに、階調補正方法を提供することを目的とする。

(1)本発明にかかる階調補正方法は、表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正方法であって、表示装置ごとの最大輝度および最小輝度に基づいて、各処理単位階調に割り当てられる割り当て輝度値を求め、前記各処理単位階調における弁別可能な輝度差に基づき、前記各割り当て輝度値と単調増加の関係となるようイプシロンフィルタにおける閾値を決定し、前記イプシロンフィルタに所定領域の入力画像データが与えられると、この入力画像データの中央代表値に対応するイプシロンフィルタの閾値を用いて、階調補正を行う。

このように、前記各処理単位階調におけるイプシロンフィルタにおける閾値を決定することにより、領域毎に適切な階調補正が可能となる。また、前記識別可能輝度差は、前記輝度毎の弁別可能な輝度差対応データに基づいて決定されている。したがって、人間の識別能力に応じた階調補正が可能となる。

(2)本発明にかかる階調補正方法は、前記最大輝度および前記最小輝度に加えて環境光に基づいて、各処理単位階調の前記割り当て輝度値を求める。したがって、環境光を考慮した階調補正が可能となる。

(3)本発明にかかる階調補正方法は、環境光検出手段によって検出された環境光に基づいて、前記各処理単位階調における前記イプシロンフィルタにおける閾値の関係式を動的に変動させる。したがって、環境光が変動しても、これに応じた階調補正が可能となる。

(4)本発明にかかる階調補正装置は、表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正装置であって、前記イプシロンフィルタに入力される所定領域の入力画像データが与えられると、イプシロンフィルタ演算で用いる周辺画素領域の中央近辺に位置する中央代表値を抽出する抽出部、前記中央代表候補値とイプシロンフィルタの閾値との対応関係を記憶しており、前記中央代表値が与えられると、前記対応関係に基づき、対応する閾値を決定する閾値決定部、入力された所定領域の入力画像データについて、前記閾値決定部で決定された閾値を用いて、平滑化演算を行うイプシロンフィルタ、前記イプシロンフィルタの出力値を照明光成分として、階調補正を行う階調補正を行う階調補正部、を備えている。

このように、前記各処理単位階調におけるイプシロンフィルタにおける閾値を前記中央代表値によって変動させることにより領域毎に適切な階調補正が可能となる。また、前記識別可能輝度差は、前記輝度毎の弁別可能な輝度差対応データに基づいて決定されている。したがって、人間の識別能力に応じた階調補正が可能となる。

(5)本発明にかかるイプシロンフィルタの閾値決定装置は、イプシロンフィルタ演算で用いる周辺画素領域の中央近辺に位置する中央代表値を抽出する抽出部、前記中央代表候補値とイプシロンフィルタの閾値との対応関係を記憶しており、前記中央代表値が与えられると、前記対応関係に基づき、対応する閾値を出力する閾値決定部、を備え、前記中央代表候補値とイプシロンフィルタの閾値との対応関係は、特定の輝度値において弁別可能な輝度差に基づいて決定された単純増加関係である。

したがって、前記中央代表値が大きい場合には、大きな閾値に、小さい場合には小さい閾値に変動させることができる。これにより、領域毎に適切なε演算が可能となる。

(6)本発明にかかるイプシロンフィルタの閾値決定装置においては、前記中央代表値は、イプシロンフィルタ演算で用いる周辺画素領域における中央画素の輝度である。したがって、中央代表輝度に基づいて、イプシロンフィルタリング演算に用いる周辺画素を動的に変更することができる。

(7)本発明にかかるイプシロンフィルタの閾値決定装置においては、前記中央代表候補値とイプシロンフィルタの閾値との対応関係は、下記式で表される。

ε＝（中央代表値＊α）＋β
αおよびβは、0から１の小数であり、前記中央代表値は０〜１に正規化されている。

したがって、領域の画素特性に応じてイプシロンフィルタリング演算に用いる周辺画素を動的に変更することができる。

(8)本発明にかかるイプシロンフィルタの閾値変動装置においては、環境光を検出する環境光検出部を備え、前記閾値決定部は、前記環境光の値に応じた、前記中央代表候補値とイプシロンフィルタの閾値との対応関係を複数記憶しており、前記検出された環境光に基づいて、いずれかの複数の対応関係のうちのいずれかを選択して、対応する閾値を出力する。したがって、環境光が変化にあわせて、前記閾値を変動させることができる。

(9)本発明にかかるイプシロンフィルタの閾値決定方法は、割り当てられた各処理単位階調の割り当て輝度値について、輝度毎の弁別可能な輝度差対応データに基づき、前記処理単位階調毎の弁別可能な輝度差を求め、前記処理単位階調毎の弁別可能な輝度差に基づいて、前記イプシロンフィルタに与えられる中央代表値との関係が単純増加関係となるように、処理単位階調毎の割り当て輝度と前記イプシロンフィルタの閾値を決定する。

したがって、前記中央代表値が大きい場合には、大きな閾値に、小さい場合には小さい閾値に変動させることができる。これにより、前記閾値が比較的大きくても、ハローアーチファクトを感じやすい高輝度領域は前記閾値を大きく、前記閾値が小さくないとハローアーチファクトを感じやすい低輝度領域と、閾値を変動させることができる。

(10)本発明にかかる階調補正方法は、表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正方法であって、表示装置ごとの最大輝度および最小輝度に基づいて、各処理単位階調に割り当てられる割り当て輝度値を求め、輝度毎の弁別可能な輝度差対応データに基づき、前記各処理単位階調における、前記各割り当て輝度値について弁別可能な輝度差を求め、前記各処理単位階調における弁別可能な輝度差を、前記表示装置の最大輝度と最小輝度の差で正規化して正規化弁別可能輝度差を求め、これにより、前記各処理単位階調における正規化弁別可能輝度差を求め、前記各処理単位階調における前記正規化弁別可能輝度差に基づき、前記各処理単位階調におけるイプシロンフィルタにおける閾値を決定し、前記イプシロンフィルタに所定領域の入力画像データが与えられると、この入力画像データの中央代表値に対応するイプシロンフィルタの閾値を用いて、階調補正を行う。

このように、前記各処理単位階調におけるイプシロンフィルタにおける閾値として、前記正規化識別可能輝度差を採用することにより、領域毎に適切な階調補正が可能となる。また、前記識別可能輝度差は、前記輝度毎の弁別可能な輝度差対応データに基づいて決定されている。したがって、人間の識別能力に応じた階調補正が可能となる。

本明細書において「輝度値」とはHSV色空間におけるV値を採用したが、V値そのものだけでなく、バックライトによる輝度変化、およびまたは、周囲照明光等を考慮にいれるようにしてもよい。

「中央代表値」とは、イプシロンフィルタにおける周辺画素領域の中央近傍で得られる画素の明るさの値をいう。下記実施形態においては、明るさを示す値として、輝度を採用したが、これに限定されない。また、下記実施形態では、中心画素の輝度値を採用したが、これに限定されず、中央画素に加えて、その周辺画素の輝度をさらに考慮する場合も含む。さらに、単純平均でなく、重み付け平均で求める場合も含む。

「輝度毎の弁別可能な輝度差」とは、平均的観察者が丁度（最小）識別可能である輝度差をいい、ＪＮＤ（Just-NoticeableDifference）」を含む概念である。

「ＪＮＤインデックス（以下、ＪＮＤＩという。）」とは、ＪＮＤＩにおける１ステップがＪＮＤである輝度差に帰着するように求められた知覚指数をいう。すなわち、平均的観察者が等間隔の「明るさ」として認識する指標をいう。ＤＩＣＯＭ（DigitalImagingandCommunicationsinMedicine）（PS3.14-1999；巻１４）ではBartenモデルを採用し、グレースケール標準表示関数（GrayscaleStandardDisplayFunction；以下、GSDFという。）として定義されている。

「JNDを基準にして許容値を決定」とは、弁別できる輝度差であるJND値を基準として、どこまで許容するかを示し、下記実施形態では１０JNDとしたが、これに限定されるわけではない。

「単位階調」とは、各階調を構成する1単位をいう。たとえば、２５６階調における1階調をいう。「処理単位階調」とは、本件ε値と単位階調との対応を求める階調をいい、本実施形態においては、処理単位階調として１単位階調を採用したが、複数単位階調を採用してもよい。

「単調増加の関係」とは、実施形態のように線形である場合はもちろん、図３Ｂに示すような非線形も含む概念である。

画像階調調整装置のブロック図である。 照明光分離部２３の詳細ブロック図である。 JNDと画素値との関係を説明するための図である。 閾値ε＝０．７の場合の、入出力データを示す図である。 閾値ε＝０．３の場合の、入出力データを示す図である。 閾値ε＝０．１の場合の、入出力データを示す図である。 閾値εを入力画素値によって変動させた場合の、入出力データを示す図である。 閾値εを入力画素値によって変動させた場合の、入出力データを示す図である。 環境光センサを設けた場合の照明光分離部２３の詳細ブロック図である。

以下、本発明における実施形態について、図面を参照して説明する。

（１．概要）
図１に、本発明にかかる階調補正装置を含む画像階調調整装置の概要図を示す。この実施形態においては、照明光分離部２３が階調補正装置に該当する。

HSV色空間変換部２１は、RGB色空間からHSV色空間への変換を行う。HSV色空間からRGB色空間 変換については、通常の変換式で行う。HSV色空間を用いることにより、YUV色空間による明るさ調整による彩度減少効果をなくし、視覚的に良好な明るさ補正を実現することができる。

照明光分離部２３は、エッジ保存型LPFであり、局所的な明るさの加重平均値、すなわち、照明光成分の算出を行う。ヒストグラム解析部３７は、HSV空間における入力画像と出力画像のV成分に基づいた３２分割の階調ヒストグラムを生成し、画像全体の特徴量を計算する。パラメータ自動調整部３９は、ヒストグラム解析の結果得られた画像特徴量に基づき、照明光補正量のパラメータを決定する。

照明光補正部２５は、パラメータ自動調整部３９から与えられた照明光補正量のパラメータ値および、照明光分離部２３から与えられる照明光成分Ｌから、照明光成分の低階調領域を補正する。

反射率算出部２７は、照明光分離部２３が求めた照明光成分および反射光成分（入力V値）の対数差分から、反射率を求め、出力する。

画像再合成部２９は、照明光補正部２５が演算した補正照明光成分と、反射率算出部２７が算出した反射率成分から、補正画像を演算する。レンジ補正部３１は、レンジ補正量のパラメータ値に基づき、画素のV成分のレンジ補正を行う。照明光補正部２５は局所的な明るさの補正を行い、レンジ補正部３１は画像全体に対する明るさの補正を行う。これより、画像全体におけるコントラストを最適化できる。

ヒストグラム解析部３７は、レンジ補正部３１による補正後のV値から３２分割の階調ヒストグラムを生成し、画像全体の特徴量を計算し、パラメータ自動制御部３９に与える。パラメータ自動調整部３９は、与えられた特徴量に基づきレンジ補正量のパラメータを決定する。

彩度補正部３５は、低階調領域における彩度を補正する。かかる低階調領域における彩度補正として、本実施形態においては、強調または低減のいずれかを選択させるようにした。

RGB色空間変換部３３は、HSV色空間からRGB色空間への変換を行う。

（２．詳細）
図２を用いて、照明光分離部２３の詳細について説明する。

ラインメモリ３は、HSV入力値を格納し、対象画素を中心とした抽出範囲M＊M画素のHSV値を出力する。注目画素輝度算出器５は、抽出範囲における中央代表値を抽出して、閾値決定器７に与える。本実施形態においては、中央代表値として、抽出範囲における中心ピクセルのV値をそのまま用いた。

閾値決定器７は、前記中央代表値を受けて、下記式（１）により、閾値εを決定する。

閾値ε＝（中央代表値＊α）＋β・・・式（１）
中央代表値は、HSV色空間のＶ値なので、0〜１である。本実施形態においては、下記に説明するようにして、α＝０．７、β＝０．３とした。

イプシロンフィルタ１２は、ラインメモリ３から与えられたＭ＊Ｍ画素のV値と、閾値決定器７から与えられた閾値εを用いて、対象中心ピクセルとの画素差分値がε未満の画素だけを抽出して、フィルタリング処理を行う。

上記式（１）の意義について、説明する。

人が輝度の違いを認識できる閾値として、JNDが知られている。JNDの値（以下ＪＮＤ値という）より輝度差が小さい場合には、複数画素間の輝度差は、ほとんど気づかない。かかるJND値は、低輝度では小さく、高輝度では大きくなる。これは、輝度差に対して低輝度では敏感に、高輝度では鈍感となるという人間の視覚特性によるものである。

本件発明者は、各装置の光学特性から決定される各単位階調について、画素輝度に対するJND値を求め、かかるJND値から、中央代表値と閾値εとの関係を決定すれば、ハローアーチファクトとレティネックス処理による補正のバランスがとれると考えた。

具体的に説明する。例えば、液晶およびバックライトの光学特性として、パネルの最大輝度Lmax = 300 [cd/m^2]、パネルの最小輝度Lmin = 0.1 [cd/m^2]、ガンマ = 2.2、バックライト強度BL＝１（０〜１に正規化）で、かつ、パネルの表面反射輝度（環境光）Latm = 30 [cd/m^2]と仮定すると、パネルの階調（X)（０〜１に正規化）と単位階調ごとの輝度Lは、下記式（２）で求められる。

L＝BL＊（Lmax−Lmin）＊（X)^2.2+Lmin+Latm ・・式（２）
得られたパネルの単位階調（X)（０〜１）ごとに、対応する輝度Lの関係を、図３Ａに示す。

つぎに、得られたパネルの単位階調（X)（０〜１）における輝度値について、対応するJND値（識別可能な輝度差）を求める。

このように、各単位階調の輝度について、当該輝度におけるJNDIに対応する輝度と、次のJNDIに対応する輝度との差分を計算することにより、このパネルの単位階調（X)（０〜１）ごとに、対応する識別可能な輝度が得られる。

本実施形態においては、式（３）により輝度に対応するＪＮＤＩを、式（４）によりＪＮＤＩに対応する輝度を求めた。

JNDI→輝度Lへの関係は下式の値を元に10のべき乗で求めることができる。

これをj2v(JNDI）と表す。

このとき、対象JNDIに対応する輝度と、次のJNDIに対応する輝度との差分、すなわち、対象輝度におけるJND値は、下記式（５）で求められる。

JND値 = j2v(JND_INDEX+1) ? j2v(JND_INDEX）・・・式(５)
なお、JNDあるいはJNDIに関するモデルとしては、Bartenモデル、Weberモデル（中輝度領域で適用可能）、DeVries-Roseモデル（低輝度領域で適用可能）、あるいはT．Jiモデル等、様々な数理モデルが提案されている。Bartenモデルは、数学的記述によって構築された視覚系の生理学モデルである。輝度からBarten−JNDIへの変換式はBlumeらによる近似式を用いることができる。また、JNDIは、数理モデルによるものでも、官能評価等によって実験的又は経験的に見出された数値でもよい。さらに、特定のJNDIのみを用いるのではなく、より視覚特性に適合したモデルを用いるようにしてもよい。

単位階調毎のJND値（輝度差）を図３Ｂに示す。

つぎに、JND値に対応する画素値をパネルの単位階調ごとに求め、これを単位階調毎の閾値εとする。本実施形態においては、JND値に対応するパネルの単位階調を、下記式（６）（７）で求めた。

ε_luminance = JND / (Lmax-Lmin) ・・・式（６）
ε = ε_luminance ^ (1/2.2) ・・・式（７）
なお、パネルの光学特性がγ=2.2とした場合の変換であり、かかるγについてはこれに限定されない。

このように、パネルの単位階調（X)（０〜１）毎の識別可能なJND値に、パネルの最大出力値との比率に逆ガンマ補正することにより、閾値εが求められる。これより図３Ｃに示すような関係が得られる。

つぎに、ここから、最小２乗法を用いて、１次関数による近似結果を算出したものが、図３Ｄである。

前記環境下において、1JNDを許容する場合、閾値εと単位階調毎の輝度の関係を示す一次関数は、α = 0.071, β = 0.031となる。

かかる値を採用すると、領域毎に確実にハローアーチファクトを除去することはできる。

ただ、本実施形態においては、後述するように、ほんの少しハローアーチファクトを残すことにより、視覚的には立体感が得られる階調補正が可能となるよう、10JNDを許容するとした。したがって、α=0.7、β= 0.3となる。

図２に示すイプシロンフィルタ１２における平滑化処理は、従来と同様であるが、本実施形態においては、下記式（８）により、加重平均を求めるようにした。

式１において、Σはローパスフィルタのサイズの画素（例えば、Ｍ＊Ｍ画素のブロック全体に対する演算を意味し、f(x), k(x)は式（９）、式（１０）で表される。

すなわち、画素x_i,jの輝度と中央画素値CENTERの輝度との差の絶対値が、閾値よりも小さければ、f（x_i,j)は画素x_i,j の輝度となり、そうでなければ、f（x_i,j)＝０となる。

また、画素x_i,jの輝度と中央画素値CENTERとの差の絶対値が、閾値よりも小さければ、k（x_i,j)＝１とし、そうでなければ、k（x_i,j)＝０となり、当該画素x_i,jは、ローパスフィルタの演算対象とはならない。

なお、f（x_i,j)＊F_i,j 、k（x_i,j)＊F_i,jはそれぞれたたみ込み演算を意味する。また、ガウシアンフィルタ係数 F(i,j) は任意に定めればよい。

このように、本実施形態においては、数（１）のように、閾値εを、抽出範囲の中央代表値に基づいて変動させる変動型の値とした。すなわち、本実施形態において採用したεガウシアンフィルタは、中央代表値による適応型εガウシアンフィルタといえる。

以下、閾値εを中央代表値に基づいて変動させた場合の効果について図４〜図８を用いて説明する。

図４〜図８は、閾値εを変動させた場合の、入力画素値Ｉ、照明光成分Ｌ（εフィルタの出力値）、反射率Ｒ（＝Ｉ／Ｌ）、補正照明光成分Ｌ’、出力画素値Ｉ’（＝ＲＬ’）を、それぞれ示す図である。横軸が画素位置であり縦軸が画素値である。なお、これらの図では１次元で示しているが、２次元でも同様である。図４から図８において、入力画素値Ｉは、画素位置０〜３５０に交流成分を含んでいる。特に、画素位置５０〜１００，１５０〜２００，２５０〜３００に、大きな交流成分が含まれている。なお、画素位置５０〜１００，１５０〜２００，２５０〜３００については、周辺輝度値が高いほど、大きな振幅をもつ交流成分を有する。すなわち、画素位置５０〜１００のあたりが一番大きな振幅を有する。このような場合でも、JNDを用いた閾値が変動するフィルタを採用することにより、これらの交流成分（反射率成分）と直流成分（照明光成分）とを効果的に分離することができる。

図４は、閾値ε＝０．７（固定値）とした場合である。この場合、図４Ｂに示すように、照明光成分Lは、画素位置５０〜１００，１５０〜２００，２５０〜３００といずれも交流成分は、ほぼ取り去られている。これに対して、反射率Ｒについて、図４Ｃに示すように、画素位置５０〜１００の端部についてはリップルは生じていないが、画素位置１５０〜２００，２５０〜３００の端部にはリップルが生じている。そして、この結果、図４Ｅに示すように、照度差の最も大きい部分のハローアーチファクトは軽減されたが、照度差が小さい部分に関してはハローアーチファクトが生じる 。

図５は、閾値ε＝０．３（固定値）とした図４と比べて閾値を少し小さくした場合である。この場合、図４と同様に、照明光成分Lは、画素位置５０〜１００，１５０〜２００，２５０〜３００といずれも交流成分は、ほぼ取り去られている。また、反射率Ｒについて、図５Ｃに示すように、画素位置５０〜１００、１５０〜２００についてはリップルは無しであるが、画素位置２５０〜３００に多少、リップルが生じている。

このように、閾値εの値を小さくすることにより、ハローが除去される照度差を小さくすることができる。

図６は、閾値ε＝０．１（固定値）とした場合である。この場合、図４および図５と比べると、反射率Ｒについて、図６Ｃに示すように、リップルが存在しない。しかし、図６Ｂに示すように、照明光成分Lは、画素位置５０〜１００について、大きな振幅をもつ交流成分を除去できていない。その結果、図６Ｅに示すように、輝度値が高くかつ振幅の大きな画素位置５０〜１００において、出力データがなまっている。

このように、閾値εを小さくしすぎると、本来のローパスフィルタとしての効果も低下する。

図７に、中央代表値の一次関数ε＝０．５＊（中央画素値）として、閾値εを変化させた場合を示す。このように、中央代表値に応じて閾値εを変化させることにより、画素位置５０〜１００、１５０〜２００、２５０〜３００について、リップルもなく、かつ、画素位置５０〜１００のように振幅の大きな領域でも、補正照明光成分の分離を行うことができる。これによりローパスフィルタとしての効果を維持しながら、ハローアーチファクトをほぼ取り去ることができる。

図８は、中央代表値の一次関数として、ε＝０．７＊（中央画素値）＋０．３とした場合である。図８Ｃに示すように、画素位置５０〜１００、１５０〜２００，２５０〜３００の端部に多少のリップルが生じている。この結果、図８Ｅに示すように、多少のハローが生じている。これは、この程度であれば、立体感を強調でき、かつ、既に説明したように人間はほとんど感じないからである。

このように、本実施形態においては、前記閾値εを中央画素値に対する単純増加関数としている。したがって、前記多少ハローアーチファクトが存在しても、人間がそれを感じにくい高輝度領域は前記閾値を大きく、前記閾値が小さくないとハローアーチファクトを感じやすい低輝度領域は、前記閾値を小さくすることができる。

以上、説明したように、ローパスフィルタの中央画素のV値に基づいて上記閾値εを変更することにより、領域毎に異なる閾値εを採用することができる。また、ローパスフィルタの中央画素のV値が、大きくなれば大きく、小さくなれば小さくように線形に、閾値εを変動させている。これにより、ＪＮＤの技術的性質に応じた変動が可能となる。

また、上記許容するJNDステップ数（本実施形態においては10JND）に応じて、上記式（１）を決定することにより、ハローアーチファクトとレティネックス処理のバランスのとれた階調補正が可能となる。また、閾値εと単位階調毎の輝度の関係を示す一次関数で定義することにより、α＝０、β＝１とすると、通常のガウシアンフィルタとなり、α＝１、β＝０とすると、中央画素の輝度値に応じて閾値εが動的に変化するのでローパスフィルタとしての効果を維持しつつ、ハローアーチファクトを軽減できる。

このように、許容するJNDステップ数に応じて、前記補正後の識別可能輝度差に所定の係数をかけた値を、前記各単位階調におけるイプシロンフィルタの閾値とすればよい。

（３.他の実施形態）
本実施形態においては、画素値として HSV色空間における明度を採用したが、HLS色空間における輝度を採用してもよい。また、ＲＧＢ値、ＹＵＶ値を採用してもよい。

本実施形態においては、ローパスフィルタの中央画素の輝度で前記閾値を変動させるようにしたが、中央画素の輝度だけでなく、その周辺画素の輝度をさらに考慮するようにしてもよい。例えば、２０＊２０画素のサイズのローパスフィルタの場合に、中央画素を含む３＊３画素の平均値を中央代表値として、採用してもよい。この場合、中央に位置するほど重みを大きくした重み付け平均で求めるようにしてもよい。また、例えば、前記２０＊２０画素のローパスフィルタの全領域の重み付け平均であってもよい。

なお、本実施形態においては、パネルの最大輝度および最小輝度に加えて、環境光を仮定することにより、前記画素に割り当てる割り当て輝度値と、各単位階調の対応を決定した。すなわち、環境光を仮定の固定値として、上記式（１）を求めて、閾値εを決定している。しかし、これに限定されず、図９に示すような、環境光を計測する環境光センサ９を設けて、閾値決定部７に与えるようにしてもよい。このように環境光検出部による検出値を用いることにより、単位階調輝度における閾値εとの関係式を動的に変更することもできる。

この場合、その都度、図３における演算を行ってもよく、また、予め、環境光が、最小想定値から最大想定値まで変動した場合の、ε値を予め計算しておき、この対応テーブルを参照するようにしてもよい。

上記各部については、ハードウェア、ソフトウェアのいずれで実現するようにしてもよい。

また、本実施形態においては、前記画素に割り当てる割り当て輝度値と、各単位階調の対応を求める時に、さらに、γ特性を考慮して、画素に割り当てる割り当て輝度値と、各単位階調の対応を求めるとともに、前記識別可能輝度差に前記γ特性補正を取り除く補正を行い、この補正後の識別可能輝度差と前記各単位階調との対応を求めている。これは、JNDIがかかるγ特性を考慮して、前記特定の輝度と、その輝度におけるJNDの対応がモデルとして既に求められているので、一旦、γ補正してから、前記逆γ補正を行っている。したがって、かかる処理は任意である。

本実施形態においては、図３Ｃに示すような前記補正後の識別可能輝度差と前記各単位階調における輝度値と、その輝度値における識別可能輝度差に基づいて決定したε値の関係から、両者の一次関数による近似式を求めている。しかし、かかる近似式ではなく、図３Ｃに示す関係を採用してもよい。具体的には、両者の関係を、ルックアップテーブル形式で記憶しておき、読み出すようにすればよい。このように閾値εを線形に変動させる場合に限られず、図３Ｃのようなεと単位階調輝度とが、単調増加関数の関係であればよい。その際、本実施形態においては、(Lmax-Lmin)で正規化したが、かかる正規化については限定されない。また、逆γ補正についても同様である。

３ ラインメモリ
５ 注目画素輝度算出器
７ 閾値決定器
９ 環境光センサ
１２ イプシロンフィルタ

JND値 = j2v(JND_INDEX+1)−j2v(JND_INDEX）・・・式(５)
なお、JNDあるいはJNDIに関するモデルとしては、Bartenモデル、Weberモデル（中輝度領域で適用可能）、DeVries-Roseモデル（低輝度領域で適用可能）、あるいはT．Jiモデル等、様々な数理モデルが提案されている。Bartenモデルは、数学的記述によって構築された視覚系の生理学モデルである。輝度からBarten−JNDIへの変換式はBlumeらによる近似式を用いることができる。また、JNDIは、数理モデルによるものでも、官能評価等によって実験的又は経験的に見出された数値でもよい。さらに、特定のJNDIのみを用いるのではなく、より視覚特性に適合したモデルを用いるようにしてもよい。

Claims (10)

1. 表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正方法であって、
   表示装置ごとの最大輝度および最小輝度に基づいて、各処理単位階調に割り当てられる割り当て輝度値を求め、
   輝度毎の弁別可能な輝度差対応データに基づき、前記各処理単位階調における、前記各割り当て輝度値について弁別可能な輝度差を求め、
   前記各処理単位階調における弁別可能な輝度差に基づき、前記各割り当て輝度値と単調増加の関係となるようイプシロンフィルタにおける閾値を求め、
   前記イプシロンフィルタに所定領域の入力画像データが与えられると、この入力画像データの中央代表値に対応するイプシロンフィルタの閾値を用いて、階調補正を行うこと、
   を特徴とする階調補正方法。
2. 請求項１の階調補正方法において、
   前記最大輝度および前記最小輝度に加えて環境光に基づいて、各処理単位階調の前記割り当て輝度値を求めること、
   を特徴とする階調補正方法。
3. 請求項２の階調補正方法において、
   環境光検出手段によって検出された環境光に基づいて、前記各処理単位階調における前記イプシロンフィルタにおける閾値の関係式を動的に変動させること、
   を特徴とする階調補正方法。
4. 表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正装置であって、
   前記イプシロンフィルタに入力される所定領域の入力画像データが与えられると、イプシロンフィルタ演算で用いる周辺画素領域の中央近辺に位置する中央代表値を抽出する抽出部、
   前記中央代表候補値とイプシロンフィルタの閾値との対応関係を記憶しており、前記中央代表値が与えられると、前記対応関係に基づき、対応する閾値を決定する閾値決定部、
   入力された所定領域の入力画像データについて、前記閾値決定部で決定された閾値を用いて、平滑化演算を行うイプシロンフィルタ、
   前記イプシロンフィルタの出力値を照明光成分として、階調補正を行う階調補正を行う階調補正部、
   を備えた特徴とする階調補正装置。
5. レティネックス処理におけるイプシロンフィルタの閾値決定装置であって、
   イプシロンフィルタ演算で用いる周辺画素領域の中央近辺に位置する中央代表値を抽出する抽出部、
   前記中央代表候補値とイプシロンフィルタの閾値との対応関係を記憶しており、前記中央代表値が与えられると、前記対応関係に基づき、対応する閾値を出力する閾値決定部、
   を備え、
   前記中央代表候補値とイプシロンフィルタの閾値との対応関係は、特定の輝度値において弁別可能な輝度差に基づいて決定された単調増加関係であること、
   を特徴とするイプシロンフィルタの閾値決定装置。
6. 請求項５のイプシロンフィルタの閾値変動装置において、
   前記中央代表値は、イプシロンフィルタ演算で用いる周辺画素領域における中央画素の輝度であること、
   を特徴とするイプシロンフィルタの閾値変動装置。
7. 請求項５または請求項６のイプシロンフィルタの閾値変動装置において、
   前記中央代表候補値とイプシロンフィルタの閾値との対応関係は、下記式で表されること、
   ε＝（中央代表値＊α）＋β
   αおよびβは、0から１の小数であり、前記中央代表値は０〜１に正規化されている、
   を特徴とするイプシロンフィルタの閾値変動装置。
8. 請求項５〜７のいずれかのイプシロンフィルタの閾値変動装置において、
   環境光を検出する環境光検出部を備え、
   前記閾値決定部は、前記環境光の値に応じた、前記中央代表候補値とイプシロンフィルタの閾値との対応関係を複数記憶しており、前記検出された環境光に基づいて、いずれかの複数の対応関係のうちのいずれかを選択して、対応する閾値を出力すること、
   を特徴とするイプシロンフィルタの閾値変動装置。
9. レティネックス処理におけるイプシロンフィルタの閾値決定方法であって、
   割り当てられた各処理単位階調の割り当て輝度値について、輝度毎の弁別可能な輝度差対応データに基づき、前記処理単位階調毎の弁別可能な輝度差を求め、
   前記処理単位階調毎の弁別可能な輝度差に基づいて、前記イプシロンフィルタに与えられる中央代表値との関係が単純増加関係となるように、処理単位階調毎の割り当て輝度と前記イプシロンフィルタの閾値を決定すること、
   を特徴とするイプシロンフィルタの閾値決定装置。
10. 表示装置における、レティネックス理論に基づく階調補正をおこなう階調補正方法であって、
    表示装置ごとの最大輝度および最小輝度に基づいて、各処理単位階調に割り当てられる割り当て輝度値を求め、
    輝度毎の弁別可能な輝度差対応データに基づき、前記各処理単位階調における、前記各割り当て輝度値について弁別可能な輝度差を求め、
    前記各処理単位階調における弁別可能な輝度差を、前記表示装置の最大輝度と最小輝度の差で正規化して正規化弁別可能輝度差を求め、これにより、前記各処理単位階調における正規化弁別可能輝度差を求め、
    前記各処理単位階調における前記正規化弁別可能輝度差に基づき、前記各処理単位階調におけるイプシロンフィルタにおける閾値を決定し、
    前記イプシロンフィルタに所定領域の入力画像データが与えられると、この入力画像データの中央代表値に対応するイプシロンフィルタの閾値を用いて、階調補正を行うこと、
    を特徴とする階調補正方法。

Images