以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。
図1Aは、本発明による映像表示装置の一実施例を示す構成図である。映像表示装置100は、映像処理部101と映像表示部102を備え、映像処理部101には、入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、映像補正部19を有し、映像表示部102には、タイミング制御部21と液晶ディスプレイ22を有する。液晶ディスプレイ22は映像表示素子である液晶パネルとローカルディミングを行うバックライトを含む。映像処理部101は映像表示部102に対し、入力映像信号10に応じてバックライト輝度を制御する調光値14を送る。また、調光値14に応じて入力映像信号10に対する補正ゲイン16を決定し、補正した補正映像信号20を供給する。映像表示部102の液晶ディスプレイ22は、調光値14によりバックライトの輝度を設定し、補正映像信号20により液晶パネルを駆動し、映像を表示する。
図2は、液晶ディスプレイ22のパネル構成を示す概略図である。1は液晶パネル、2は拡散シート、3はバックライトである。バックライト3からの照明光は拡散シート2で広がり液晶パネル1を背面から照射し、液晶パネル1の透過率を変えることで照明光の透過量を調整して映像を表示する。なお、液晶パネル1には3原色カラーフィルタ層を設けて、これによりカラー映像を表示する。液晶パネル1の透過率は補正映像信号20により制御され、バックライト3の明るさ(輝度)は調光値14により制御される。
図3Aは、ローカルディミングを行なう液晶ディスプレイ22の例を示す。ここには、直下方式のバックライト構造で、画面を4×4のエリアに分割した場合を示す。各エリア4には光源として1個の発光ダイオード(LED)5を配設している。図3Bは、1個のLED光源5を点灯したときの輝度分布の例を示す。エリア境界では輝度が徐々に低下し、隣接エリアに照明光が漏れ出す分布となっている。
液晶ディスプレイ22の各エリアにおいて、入力する映像信号のRGB値をXとし、液晶パネル1の透過率をαとし、バックライト3による輝度値をBLとすると、表示される映像の輝度(RGB値)f(X)は数式1となる。
このように、液晶ディスプレイ22は液晶パネル1の透過率αによって階調表現を行うものであり、表示映像の輝度値f(X)は、透過率αとバックライト3の輝度値BLの乗算で決まる。なお、入力映像信号のRGB値Xと透過率αとの関係は、表示映像の輝度特性がブラウン管を用いたディスプレイ(CRT)と同様になるように補正を行う。
以下、映像処理装置101の各部の動作を詳細に説明する。
入力信号処理部11では、入力映像信号10の形式を映像表示部102に対応した形式の信号に変換し、例えばRGB3原色の液晶パネルであればRGBへの変換処理を行う。また入力映像信号10はガンマ補正されているため、ガンマ特性に適用する処理(以下、逆ガンマ補正と呼ぶ)を行い、逆ガンマ補正映像信号12を出力する。
図4Aと図4Bは、ガンマ特性とガンマ補正を説明する図である。この図を用いて液晶ディスプレイの調整方法を説明する。CRTの持つ入出力特性は、入力値である入力映像のRGB値と出力値である表示映像の輝度値との関係は、比例関係ではなく入力値のべき乗で近似され、この特性をガンマ特性と呼ぶ。ここで、入力値Xとし入力値に対する指数をγ(ガンマ)とすると、出力値G(X)は数式2のように表される。一般に、γは1.8または2.2で設定されることが多い。
図4Aは、γが2.2の場合のガンマ特性を示し、横軸は入力する映像階調、縦軸は出力する表示映像階調である。入力値の映像階調の小さい領域すなわち暗い領域では、出力階調が潰れてしまう。この階調潰れの問題を解消するためにガンマ補正を行う。
ガンマ補正は入力値Xに対し、数式2の逆関数を用いて補正し、その出力値g(X)は数式3となる。
図4Bは、γが2.2の場合のガンマ補正を示す。ガンマ特性を持つディスプレイにガンマ補正をした映像信号を入力すると、出力値はG(g(X))=Xとなり、入力値と出力値が比例関係となるため階調潰れが解消される。
以上のように、入力データについてCRTとの整合性を保つために、液晶ディスプレイ22はガンマ特性を持つように設計されている。ガンマ補正は、入力映像階調の値と表示映像の輝度値とを比例関係にし、入力階調が階調潰れなく表示するための補正である。なお、以下の説明ではガンマ特性を持つディスプレイに対し常にガンマ補正が行われていると考え、液晶ディスプレイでの入出力特性は、γ=1、すなわち入力映像階調の値と液晶パネルの輝度値とは比例関係が成り立つとして説明を行う。
調光値算出部13は、逆ガンマ補正映像信号12を入力し、バックライト(LED光源)の各エリアの輝度を設定する調光値14を出力する。ここでバックライトの調光は、例えば入力映像信号の階調を調光の階調数で均等に分割し、調光の1階調エリア内の入力映像信号の最大値により調光階調の値(調光値)を選択する。
図5は、バックライトの調光階調と入力映像階調の関係を示す。横軸はバックライトの調光階調で16階調とし、縦軸は表示映像の輝度値で16階調とした場合である。図中の上側の点線で表した直線は、バックライトの各調光階調において、入力映像の最大値を与えた場合の輝度(白輝度レベル)で、下側の点線で表した直線は、入力映像の最小値を与えた場合の輝度(黒輝度レベル)を示す。点線間の実線直線群は、それぞれの調光階調において、映像信号が16階調ずつ割り当てられることを示す。また、エリア調光値の選定は、エリア内の入力映像の最大値が、例えば、表示映像の輝度値の約94%(全体の15/16)以上に存在する調光値を選べばよい。このようにして、最大輝度エリアを設定した後に順次隣接エリアの輝度を求めていく。
なお、調光値算出部13は、ルックアップテーブルを用いて調光値を求めることができる。この場合は、画面全体のエリアに渡り調整するため、調光値算出部13で算出される調光値14は、映像補正部19で算出される補正映像信号20に比べ1フレーム分遅延する。この1フレーム遅延を解消するため、図1Bに示すようにメモリ23を設け、調光値算出部13以外の逆ガンマ補正映像信号12の入力を1フレーム分遅延させ、タイミングを合わせた後に各処理部へ入力すればよい。
図6Aと図6Bは、全面白色の映像を入力した場合の入力映像階調(図6A)とバックライトの輝度(図6B)を示す図である。図中の横軸は図3Aにおけるディスプレイを横断する水平位置であり、エリアに分割して示している。図6Bの台形型の点線は、図3Bにて示した輝度分布を持つLED光源が4個並んでいることを示す。また、全面白色のため4個とも同じ輝度ピークで発光しており、これらを重ね合わせた加算値は実線で示す一定の輝度レベルとなる。
図7Aと図7Bは、グラデーション映像を入力した場合の入力映像階調(図7A)とバックライトの輝度値(図7B)の分布を示す図である。図7Aには、映像階調が水平方向に緩やかに変化するグラデーション映像を示している。この場合のバックライト輝度値は、前記図5を用いて各エリアの入力映像の最大値から求める。図7Bの点線は各エリアの輝度値を示し、4個のLED光源が異なる輝度値で発光し、これらを重ね合わせた加算値は実線で示すように折れ線状の輝度分布を示している。
次に、本実施例の特徴である低周波検出部17と補正ゲイン算出部15について説明する。
低周波検出部17は、逆ガンマ補正映像信号12を入力して平坦な低周波映像領域を検出し、注目画素に対して映像の平坦度を示すゲイン値(以下、低周波ゲインと呼ぶ)18を算出して出力する。低周波ゲインの算出方法は、例えばFFT(First Fourier Transform)やDCT(Discrete Cosine Transform)等の周波数変換を利用して平坦な低周波映像を検出し、低周波領域のスペクトラムに応じて低周波ゲイン18を算出する。
図8は、周波数変換による低周波領域の検出方法を説明する図である。図中の映像空間(x,y)は注目画素を中央に含む8×8画素範囲を示し、周波数変換により8×8の周波数空間(u,v)に変換する。また、図中の閾値FTHにより、低周波側の周波数領域(領域a)と高周波側の周波数領域(領域b)に分割する。すなわち、低周波領域aに属する周波数空間(u,v)は、閾値FTHにより数式4で表される。
次に低周波ゲインの算出方法を説明する。周波数(u,v)におけるスペクトルをs(u,v)とし、閾値FTH内の絶対値スペクトルの合計をSとすると、合計スペクトルSを数式5から求める。
絶対値スペクトルの合計Sは映像の平坦度の大きさを示しており、Sの値を0〜1の値で規格化して低周波ゲインGainfreqとする。得られたS値に対して、低周波領域として判定する閾値をS0、後述する平滑化処理を適用する限界値をS1とすると、低周波ゲインGainfreqを数式6から求める。
その他の低周波ゲインの算出方法として、DoG(Difference of Gaussian)フィルタを用いてエッジを算出し、エッジの大きさに応じてゲインを決めることもできる。例えばN×N(Nは正数)画素範囲におけるDoGフィルタは、分散値をσとし、スケール因子をkとし、映像座標(x,y)の映像信号(ここでは逆ガンマ補正映像信号)をX(x,y)とすると、数式7で表わされる。
また、エッジ検出は、単純にX(x,y)に隣接する画素差に対する絶対値の合計値を用いてもよい。エッジ算出結果をエッジとしてEで表し、低周波領域として判定するエッジ閾値をE0、後述する平滑化処理を適用する限界値をE1とすると、低周波ゲインGainfreqを数式8から求める。
補正ゲイン算出部15は、逆ガンマ補正映像信号12、調光値14、および低周波ゲイン18を入力し、映像補正部19に対して補正ゲイン信号16を出力する。まず、逆ガンマ補正映像信号12と調光値14により、理論的な表示目標である表示映像階調(以下、目標表示映像階調と呼ぶ)を作成する。次に、目標表示映像階調に対して本実施例の特徴である平滑化処理を施す。そして、平滑化処理された目標表示映像階調から補正ゲインを求めるとともに、低周波ゲイン18の大きさに応じてこれを適用する。
入力映像のRGB値をXとし、固定バックライト値をBL0とすると、目標表示映像階調f(X)は、数式9で表わされる。
次に、目標表示映像階調f(X)の平滑化処理では、例えば、注目画素を中心に含むN×N(Nは正数)画素範囲で平滑化フィルタfilter(x,y)を用いる。ここで平滑化フィルタとして、数式10で表わされる平均値フィルタを用いることができる。また図9は、平均値フィルタによる平滑化処理を説明する図で、ここでは、周囲7×7画素の範囲で平均化する処理を示す。
映像座標(x,y)の映像信号をX(x,y)、目標表示映像階調をf(X)とすると、平滑化処理後の目標表示映像階調fflt(X(x、y))は数式11で表わされる。なお、添え字fltは平滑化フィルタ適用後の値であることを示す。
その他の平滑化フィルタとして、数式7中のガウシアンフィルタGaussや加重平均フィルタを用いることもできる。
また、平滑化処理として、周波数変換を利用したLPF(ローパスフィルタ)を用いてもよい。この時のLPFは、図8の領域aのみ通過させるようなフィルタである。領域aのみ通過させるフィルタをfilterLPFとし、DCTと逆DCT(DCT−1)を用いると数式12のようになる。
次に、平滑化処理後の目標表示映像階調fflt(X(x、y))とバックライトの調光輝度値BL(X(x、y))から、平滑化時の補正ゲインGainBLfltを数式13により算出する。ここの添え字fltも、平滑化フィルタ適用後の値であることを示す。
さらに、映像補正部19に出力する補正ゲイン信号16は、低周波ゲイン18に応じて平滑化時の補正ゲインGainBLfltと平滑化なしの補正ゲインGainBLとを使い分けて適用する。すなわち、低周波ゲインGainfreqが1に近い場合(映像の平坦度が大きい場合)には平滑化時の補正ゲインGainBLfltを適用し、低周波ゲインGainfreqが0に近い場合(映像の平坦度が小さい場合)には平滑化なしの補正ゲインGainBLを適用する。これを式で表わすと、低周波ゲインGainfreqに対し、最終的に出力する補正ゲイン信号Gainは数式14のように決定する。
映像補正部19は、補正ゲイン算出部15から補正ゲイン信号16を入力し、逆ガンマ補正映像信号Xと補正ゲイン信号Gainとの乗算にて補正映像階調F(X)を作成する。そして、補正映像階調F(X)を補正映像信号20として映像表示部102へ出力する。
映像表示部102のタイミング制御部21は、入力した補正映像信号20と水平・垂直同期信号に基づいて表示制御信号を生成し、液晶ディスプレイ22に対して映像表示信号と走査信号を送出する。液晶ディスプレイ22では、表示信号と走査信号を受けて、対応する画素領域の液晶パネルに映像階調に対応した電圧を印加し、透過率を制御することで映像を表示する。
次に、ローカルディミング方式における階調段差の発生と本実施例による階調段差の低減機能について説明する。
図10から図14は、図7Aに示すグラデーション映像が入力した場合に、エリア1とエリア2の境界付近における入力映像階調とこれに対するバックライト輝度値、補正ゲイン、表示映像階調などを示している。
図10A、図10B、図10Cは、入力映像信号に対してゲイン補正を行わない場合であって、入力映像階調(図10A)と、バックライト輝度値(図10B)と表示映像階調(図10C)を拡大して示したものである。表示映像階調は、入力映像階調とバックライトの輝度値との乗算となるが、エリア1とエリア2のバックライトの輝度値(調光輝度値)に差があるため、境界付近で大きな階調段差ができる。これは、エリア毎に調光を行うためにできた階調段差であり、この階調段差を除くために、次に述べるように入力映像信号にゲイン補正を施して補正映像階調を作成する。
図11A、図11B、図11Cは、入力映像信号に対してゲイン補正を行う場合(ただし平滑化処理なし)であって、目標表示映像階調(図11A)と、補正ゲイン(図11B)と補正映像階調(図11C)を示す。図10Aの入力映像階調に対し、図11Bの補正ゲインを乗算して図11Cの補正映像階調を生成する。これに図10Bのバックライト輝度値を適用することで、実際に表示される表示映像階調が得られる。
補正ゲインは、目標となる表示映像階調(目標表示映像階調)を設定し、該目標表示映像階調をバックライトの輝度値と入力映像階調で除算することで求まる。図11Aは目標表示映像階調を示し、入力映像階調を固定輝度値のバックライトで表示した場合から設定したものである。図11Bはこれに対する補正ゲインを示し、結果的にはバックライトの固定の輝度値と調光された輝度値との比(バックライト比)として求まる。図11Cの補正映像階調に図10Bのバックライト輝度値を適用すれば、図11Aと同様の表示映像階調が得られる。
これらの関係を演算式で示すと次のようになる。入力映像のRGB値をXとし、目標表示映像階調をf(X)、固定バックライト値をBL0、バックライトの調光輝度値をBL(X)とすると、補正ゲインGainBLと補正映像階調F(X)は数式15のようになる。
また、目標表示映像階調を算出する方法は、例えば図5の黒輝度と白輝度間の映像信号階調特性において、エリア1の調光値における黒輝度値からエリア2の調光値における白輝度値までを表示映像階調として扱い、入力映像階調をこの表示映像の輝度値にマッピングすることで求まる。しかし、調光階調の分割の仕方によっては、エリア1とエリア2との調光階調差が大きい場合に、入力映像階調をマッピングできない領域ができるため、エリア1とエリア2の輝度値を正しく補間できない。
この課題を解決するため、図5を用いた前記エリア内の入力映像の最大値を用いた調光値算出方法に、以下の条件を加えればよい。その条件は、全エリアすなわち画面全体で入力映像の最大値を持つエリアに対し、前記調光値算出方法にて選択する。該エリアを仮に最大輝度エリアと呼ぶ。次に、最大輝度エリアに隣接するエリアの調光値を求める。隣接エリアの調光階調は、最大輝度エリアの調光値における約6%(1/16)の輝度値以上で、隣接エリア内の入力映像の最大値における輝度が最小となる調光階調を選択すればよい。
入力映像のRGB値をXとし、バックライトの調光輝度値をBL(X)とし、表示映像階調f(X)は入力映像階調がルックアップテーブルTblを用いてマッピングされたとしてTbl(X)とすると、補正ゲインGainBLと補正値F(X)は数式16のようになる。
本実施例では補正ゲインの算出方法を2通り示したが、本例限らない。バックライトの調光輝度値と目標表示映像階調を作成できれば、他方式でもよい。
前記図11A〜11Cによる補正映像階調の作成方法では、図11Cに示すようにエリア1に小さな階調段差が見られる。この階調段差はエリア間のバックライトの輝度差に比例して大きくなる。以下に、階調段差が生じる理由を説明する。
図13A、図13B、図13Cは、入力映像階調に補正ゲインが適用された場合(平滑化処理なし)の階調段差の課題を説明する図である。横軸は、エリア1の中央部分の水平位置である。また、このエリア内において、バックライト輝度分布は図10Bのように平坦であるとする。図13Aは入力映像階調を示し、水平位置とともに緩やかに変化するグラデーション映像であり、例えばエリア内で3画素進む毎に映像階調が1階調上がる勾配となっている。これに対しローカルディミングにより、図13Bに示すような補正ゲイン(Gain=3)が適用されたとする。その結果補正映像階調は、図13Cのように変化し、3画素進む毎に3階調上がる階段状となる。このエリア内におけるバックライトの輝度は一定なため、表示されるグラデーション映像には階調段差が残ったままとなる。
この階調段差は、仮に表示階調数を増やしても、図13Cで示すように階調段差の階調数が増すだけで段差が減ることはない。例えば、図13Aの階調数を2倍にしたとすると、図13Cの3階調の段差が6階調の段差となるだけである。
これに対し図12A、図12B、図12Cは、本実施例の平滑化処理(例えば、図9の平均値フィルタ)を施した場合を示す図であって、目標表示映像階調(図12A)と、補正ゲイン(図12B)と補正映像階調(図12C)を示す。図12Aは、目標表示映像階調に対して平滑化処理を施したもので、前記図11Aの平滑化処理を行わない場合と比較して映像階調の変化が滑らかになっている。次に図12Bの補正ゲインは、図12Aの目標表示映像階調(平滑化処理あり)をバックライトの輝度値と入力映像階調で除算することで、画素単位で補正ゲインが細かに変化するようになる。図10Aの入力映像階調に対し図12Bの補正ゲインを乗算すると、図12Cの滑らかな補正映像階調が得られる。図12Cの補正映像階調では、図11Cで見られた階調段差は解消されている。
図14A、図14B、図14Cは、平滑化処理による効果を説明する図である。図14Aは入力映像階調を示し前記図13Aと同様である。これに対する目標表示映像階調に平滑化処理を施すことで、図12Aのように滑らかな勾配とする。図14Bは補正ゲインを拡大して示したもので、エリア内で一定ではなく、画素ごとに異なる値を持つようになる。その結果補正映像階調は、図14Cのように1画素進む毎に1階調上がる階段状となる。すなわち前記13Cと比較して、階調段差の変化幅を3階調から最小幅の1階調に低減することができる。
なお、図14Aにおいて入力映像に対し平滑化処理を施しても、階調段差が1階調であるため効果はない。入力映像階調は、ディザ処理等を施すと入力映像自体の階調感は上がるが、補正ゲイン乗算後は3倍の階調段差となるため、ノイズとして視覚されることになる。
本実施例の技術は、調光されたバックライトと、補正映像信号によって設定された透過率の液晶パネルを組み合わせて表示される映像を想定し、目標表示映像階調を作成する。そして視覚対象である目標表示映像階調に対し平滑化処理を行うため、図12Cまたは図14Cのように階調段差のない滑らかな信号を作成することができる。
図15は、本実施例の効果を映像表示画面で説明する図である。例えば表示画面として、夕空を背景に草原や木立を写した映像を想定する。バックライトの輝度はほぼ夕空の明るさのグラデーションに沿って調光される。この時、従来技術によるグラデーション表示では、図11Cで述べたように小さな階調段差ができ、拡大映像では斑模様となって表示されてしまう。これに対し本実施例の平滑化処理を導入することで、図12Cで述べたようにグラデーション部分の階調段差が滑らかになり、拡大映像で生じた斑模様は見られなくなる。
また本実施例では、入力映像を周波数変換し、低周波領域の映像に対して平滑化処理を適用するようにしている。図15の周波数領域可視化映像において、白い領域(夕空の背景映像)は低周波領域、黒い領域(草原や木立の映像や夕日の輪郭)は高周波領域と判定される。低周波領域の程度は、前記数式6や数式8の低周波ゲインとして表わしている。そして、前記数式14で示したように、低周波領域の程度(低周波ゲイン)に応じて平滑化処理を適用し、高周波領域では平滑化処理による補正を行わないように制御する。これにより高周波領域に含まれる輪郭などのシャープな映像を保持した状態で、低周波領域から高周波領域に渡り滑らかに補正することができる。
本実施例では、映像表示部の液晶ディスプレイに用いるバックライトは、画面を複数のエリアに分割してエリアごとに輝度を調整するローカルディミング方式を採用するものとした。しかしながら本実施例による階調段差の低減効果は、画面全体の輝度を一斉に調整するグローバルディミング方式においても有効である。すなわち、画面全体が暗い映像でバックライト輝度を下げる場合、グラデーション部分の階調段差を滑らかにする効果がある。
実施例1では、映像処理部と映像表示部(ディスプレイ)を備える映像表示装置について説明した。実施例2では、映像表示部(ディスプレイ)を外部装置として接続する映像処理装置について説明する。
図16は、本発明による映像処理装置103の一実施例を示し、外部にディスプレイ装置104を接続したシステムとして示す。ここでディスプレイ装置104は液晶ディスプレイ22を搭載し、実施例1で説明した通り、CRTと入力データの整合性を保つためにガンマ特性を持つように調整されているものとする。よってディスプレイ装置104には、ガンマ補正された信号が入力される必要がある。
映像処理装置103は、入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、映像補正部19の他に、出力信号処理部24を追加して構成される。映像処理装置103では、実施例1と同様の方法にて調光値14と補正映像信号20を生成する。さらに出力信号処理部24は、補正映像信号20に対してガンマ補正を行い、ディスプレイ装置104に対してガンマ補正映像信号25を出力する。
ディスプレイ装置104には、調光値14とガンマ補正映像信号25が入力される。入力信号処理部26は、ガンマ補正映像信号25を逆ガンマ補正し、逆ガンマ補正映像信号27をタイミング制御部21を介して液晶ディスプレイ22に供給する。また調光値14は、液晶ディスプレイ22のバックライトに供給される。
以上より本実施例の映像処理装置103は、ガンマ特性を持つディスプレイ装置104との整合性を維持することができる。
実施例1および2では、低周波領域を平滑化するシステムについて説明した。実施例3では、ローカルディミング時の低輝度階調の視認性向上を行う映像処理装置の構成を説明する。
実施例1で説明した通り、液晶ディスプレイは、CRTと入力データの整合性を保つために、ガンマ特性を持つように調整されている。以下の実施例に於いて、液晶ディスプレイでは、ガンマ補正された信号が入力されることを想定する。
本発明の実施例3に係る映像処理装置の例を、図21の構成図を用いて説明する。
本実施例の映像処理装置は、入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、映像補正部19、タイミング制御部21と液晶ディスプレイ22で構成される。ここで、入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、低輝度検出部40、映像補正部19という1つの映像処理部105や、タイミング制御部21と液晶ディスプレイ22という1つの映像表示部101を構成してもよい。
また、液晶ディスプレイは、図2に示す通り、液晶パネル1、拡散シート2、バックライト3により構成されるが、映像補正信号20により液晶パネルの透過率は制御され、調光値14によりバックライトは調光される。尚、本発明では、液晶パネルの透過率と映像補正信号20は比例するように、すなわちγ=1で設定する。
低輝度検出部40は、逆ガンマ補正映像信号12を入力とし、輝度ゲイン41を出力する。輝度ゲインは、低輝度階調から高輝度階調に向けて小さくなるような値を取る。例えば図23のように、閾値1までは1.0、閾値2までに線形に0.0となり、以降は0.0となるような特性曲線で表される。
補正ゲイン算出部15は、本発明の主たる要素の一つで、調光値14、低周波ゲイン18、低輝度ゲイン41および逆ガンマ補正映像信号12を入力とし、調光補正ゲイン16を出力する。調光補正ゲインは、例えば実施例1のように、逆ガンマ補正映像信号と調光値より理想の調光階調を求め、基本となる目標表示映像階調を作成する。次に、本発明の主たる要素の一つである目標表示映像階調に対する陰影強調処理を行い、補正ゲインを求める。
陰影強調処理について図20および図17を用いて説明する。図20Aは、本実施例における入力映像の一例を示す図である。背景がグラデーションの映像に、円形模様が描かれている。円形模様の輝度が、相対的に低い場合は、バックライトは殆どグラデーションのみの映像と同様用に調光される。図20Bの左図は、該円形模様とグラデーションで構成される入力映像の階調分布を示し、右図はバックライト調光の輝度値を示している。
図17Aは、該バックライト調光の輝度値と入力映像階調を用いて、実施例1に記載した操作により作成された目標表示映像階調を示している。本発明は、該目標表示映像階調に対して陰影強調する。
陰影強調処理は、映像中の局所的な画素値の起伏に対し、該起伏を強調することにより求まる。例えば、対象画素値とその周囲の画素値の分布との相対差により対象画素に対する補正ゲインを求める方式がある。該方式の一例として、Edwin H.Landが提唱したRetinex理論に基づく数式にて説明する。
該理論は、映像の画素値が照明光成分と反射光成分の積で表されるという理論であり、一般的に照明光成分を周囲画素値の分布とし、反射光成分は相対的な反射率として周囲画素値の分布と対象画素との対数差を用いる。ここで、入力映像のRGB値もしくは輝度値をX、目標表示映像階調をf(X)、照明光成分をI(x,y)、反射率r(x,y)とし、バー記号を分布関数による加重平均とする。分布関数にガウシアンフィルタを用いると数式17となる。尚、添え字のrtはRetinex適用後の値であることを示す。
ここで、反射率r(x,y)、すなわちR(x,y)を調整することで、陰影を強調することができる。例えば、調整方法としてはR(x,y)にゲインを掛けるとよい。
次に、該数式を用いて得られた値より、補正ゲインを求める。バックライトの調光輝度値をBL(X)とすると、補正ゲインGainBLrtおよび補正値Frt(X)は、数式18で表される。
以上により、Retinex理論適用後の補正ゲインが求まるが、補正ゲイン算出方法は、Retinex理論に限らない。補正ゲイン算出は、映像全体の値ではなく局所的な値として補正ゲインを決めることができればよく、例えば、数式17にて対数関数の代わりに指数関数を用いてもよい。
出力される調光補正ゲインには、低輝度ゲインおよび低周波ゲインが適用される。低周波ゲインは、低周波検出部17で、数式8または数式6のように作成される。陰影強調適用の判断は、低周波でないか否かで決まる。陰影強調なしの調光補正ゲインGainBLとし、低輝度ゲインGainint、低周波ゲインGainfreqとすると、出力される調光補正ゲインGainは、数式19のようになる。
数式19は、低周波領域以外に対し陰影強調処理を施し、それ以外の領域は陰影強調を行わないことを示している。
以上により、調光補正ゲインが作成される。
図17Bは、図17Aに示す目標表示映像階調を入力とした陰影強調処理後の出力階調となり、円形模様が入力階調よりも出力階調の起伏が大きくなり、陰影が強調されていることが分かる。また、図17Cは左図に調光補正ゲインを示し、右図に補正映像階調を示しており、バックライトの輝度値を含んだ補正量にてゲインおよび階調が作成されることを示す。
以上説明した本発明の実施例3に係る映像処理装置および映像表示処理装置の画像処理の効果を、図15を用いて従来技術に比して説明する。
例えば、図15のように、夕空を背景に草原や木立を映した映像では、バックライトは夕空のグラデーションにほぼ沿って調光される。従来技術では、日陰となる草原や木立はバックライトの減光により暗くなり、視認しづらくなる。また、本映像処理装置の前段にてコントラスト補正処理や陰影強調処理を行うことで、木立等の輝度値に起伏をつけようとすると、バックライトの調光値が上がり、暗部輝度全体があがってしまう。さらに、コントラスト補正処理の場合は、木立の輝度値域と夕空の輝度値域が重なると、夕空のグラデーションに影響し、不自然な階調となる。
本発明では、目標表示映像階調に対し陰影強調処理を行うため、表示階調の陰影を直接強調することができるため、自然な陰影を表現できる。また、調光値の演算後に陰影強調処理を行うため、バックライトの減光に影響することなく、好適に低輝度階調の視認性を向上することができる。
実施例3では、目標表示映像階調に対し、ローカルディミング時の低輝度階調の視認性向上を行う映像処理装置の構成を説明した。実施例4では、実施例3と同様に、調光値に影響なく低輝度部の陰影強調を行う映像処理装置の構成を、図22を用いて説明する。
本実施例の映像処理装置は、図22の入力信号処理部11、調光値算出部13、補正ゲイン算出部15、低周波検出部17、低輝度検出部40、陰影強調70、映像補正部19、出力信号処理部20、およびの映像表示部101で構成される。図21と同じ符号が付された構成については、図21ですでに説明したとおりであるため詳細な説明を省略する。
陰影強調70は、低周波ゲイン18、輝度ゲイン41および逆ガンマ補正信号12を入力信号とし、陰影強調補正信号71を出力する。
陰影強調処理は、実施例3と同様に映像中の局所的な画素値の起伏に対し、該起伏を強調することにより求まる。一例として、Retinex理論に基づく数式にて説明する。
入力映像のRGB値もしくは輝度値をX、照明光成分をI(x,y)、反射率r(x,y)とし、バー記号を分布関数による加重平均とする。分布関数にガウシアンフィルタを用いると数式20となる。尚、添え字のrtはRetinex適用後の値であることを示す。
出力される陰影強調補正信号は、低輝度ゲインGainint、低周波ゲインGainfreqとすると、数式21式のようになる。
補正ゲイン算出部15は、調光値14および陰影強調補正信号71を入力とし、調光補正ゲイン16を出力する。調光補正ゲインは、例えば実施例1のように、逆ガンマ補正映像信号と調光値より理想の調光階調を求め、基本となる目標表示映像階調を作成し、例えば数式15で表される補正ゲインを求める。
以上により、本発明によれば、調光値の演算後に陰影強調処理を行うため、バックライトの減光に影響することなく、低輝度階調の視認性を向上することができる。
実施例3および4では、目標表示映像階調に対し、ローカルディミング時の低輝度階調の視認性向上を行う映像処理装置の構成を説明した。実施例5では、視聴環境に応じて陰影強調のゲインを調整するシステムの構成を、図24を用いて説明する。
本実施例に係るシステムの構成は、受像部107、映像処理部108、映像表示部101、色温度センサ80、および陰影強調制御部82で構成される。
受像部107は、放送信号を受信してパネルの解像度に応じたサイズの映像信号10を出力する。
映像処理部108は、映像信号10および陰影強調ゲイン83を入力とし、陰影強調を施した補正映像信号20およびバックライトの調光値14を出力する。
図26は、映像処理部108の構成の一例を示す図である。映像処理部108は、図21の映像処理部105に対し、陰影強調ゲイン入力83を追加したブロックであり、該入力は補正ゲイン算出部84に於いて、陰影強調処理の強度を調整することができる。
ここで、図26の一例である映像処理部108を、映像処理部105を改良した構成として説明した。しかし、映像処理部108を、図22の映像処理部106に対し、陰影強調ゲイン処理の追加した構成としてもよい。この場合、陰影強調70に於いて、陰影強調処理の強度を調整する構成とすればよい。
陰影強調処理は、実施例3と同様に映像中の局所的な画素値の起伏に対し、該起伏を強調することにより求まる。一例として、Retinex理論に基づく数式17を用いる。
陰影強調処理の強度の調整は、例えば、R(x,y)にゲインを掛ければよいので、陰影強調制御部から出力されたゲインをGainlxとし、数式17に於いて調整前のR(x,y)値をR0(x,y)と置き換え、r(x,y)を調整後の反射率と見立てると、数式22となる。
以上により、陰影強調処理の強度が調整される。
色温度センサ80は、外光を取り込み、周囲の明るさ、例えば、照度(単位:lx)を計測し、照度81を出力する。
陰影強調制御部82は、照度81を入力とし、陰影強調のゲイン83を出力する。
陰影強調の制御は、例えば、暗い室内では低輝度階調部は視認しやすいが、明るい室内では周囲の映り込みが強くなるため、低輝度階調が視認しづらくなる。そこで、視聴環境が暗い場合は陰影の強調を弱めに、明るい場合は強めに設定することが好ましい。
図25は、周囲の明るさを入力と陰影強調のゲインを出力とした入出力特性の一例を示す図である。該入出力特性図は、例えば周囲の明るさを照度とし、縦軸と横軸の交点を0[lx]とすると、0[lx]でゲイン値が1.0、すなわち基準値となり、周囲が明るくなるにつれ、線形的にゲイン値が増すことを表す。
以上により、本発明によれば、視聴環境に応じて好適に陰影強調処理を行うことができる。
実施例6では、実施例1の平滑化方法および実施例3の陰影強調方法を含む映像処理装置の構成を説明する。
本発明の実施例6に係る映像処理装置は、実施例3で説明した図21に示す映像処理装置で構成される。以下、実施例3とは異なる処理、動作について説明する。
補正ゲイン算出部15は、本発明の主たる要素の一つで、調光値14、低周波ゲイン18、低輝度ゲイン41および逆ガンマ補正映像信号12を入力とし、調光補正ゲイン16を出力する。調光補正ゲインは、例えば実施例1のように、逆ガンマ補正映像信号と調光値より理想の調光階調を求め、基本となる目標表示映像階調を作成する。次に、本発明の主たる要素の一つである目標表示映像階調に対する陰影強調処理と平滑化処理を行い、補正ゲインを求める。
図19は補正ゲイン算出処理の構成を説明するブロック図である。補正ゲイン算出処理部は、表示階調算出51、平滑化52、低周波ゲイン適用53、陰影強調54、低輝度低周波ゲイン適用55、およびゲイン算出56で構成される。
表示階調算出部51は、逆ガンマ補正映像信号12および調光値14を入力とし、目標表示映像階調57を出力とする。目標表示階調は、実施例1で説明した通り、数式15や数式16のように算出される。
平滑化52は、目標表示階調57を入力とし、平滑化後の階調58を出力とする。平滑化処理は、数式11に於けるffltのよう計算される。
低周波ゲイン適用53は、低周波ゲイン18、および目標表示階調57と平滑化後の階調58とを入力とし、低周波に適応した平滑化後の階調59が出力される。低周波に適応した平滑化処理後の階調をfadj_fltとすると、数式23のように求められる。
数式23は、低周波領域を平滑化し、それ以外の領域は目標表示階調となることを示している。
陰影強調54は、低周波に適応した平滑化処理後の階調59を入力とし、陰影強調後の階調60を出力とする。陰影強調処理は、数式17に於けるfrtのよう計算される。
低輝度低周波ゲイン適用55は、低周波ゲイン18、輝度ゲイン18、および低周波に適応した平滑化処理後の階調59と陰影強調後の階調60とを入力とし、低輝度低周波に適応した陰影強調後の階調61が出力される。低輝度低周波に適応した陰影強調後の階調をfadjとすると、数式24のように求められる。
数式24は、低輝度かつ低周波領域以外に対し陰影強調し、それ以外は低周波に適応した平滑化処理後の階調となることを示している。
ゲイン算出56は、逆ガンマ補正映像信号12、調光値14、輝度低周波に適応した陰影強調後の階調61を入力とし、調光補正ゲイン出力16を出力とする。調光補正ゲインは、バックライトの調光輝度値をBL(X)とすると、補正ゲインGainBLadjおよび補正値Fadj(X)は、数式25で表される。
以上説明した本発明の補正算出部の効果を、図20、図17、図18を用いて説明する。
図20Aは、本実施例における入力映像の一例を示す図である。背景がグラデーションの映像に、円形模様が描かれている。円形模様の輝度が、相対的に低い場合は、バックライトは殆どグラデーションのみの映像と同様用に調光される。図20Bの左図は、該円形模様とグラデーションで構成される入力映像の階調分布を示し、右図はバックライト調光の輝度値を示している。
図17Aは、目標表示映像階調57を表している。該図の通り、低輝度のグラデーション部は滑らかでないことが分かる。
図18Aは、低周波に適応した平滑化処理後の階調59を表している。該図の通り、図17Aの信号が平滑化されており、円形模様には大きく影響しないことが分かる。
図18Bは、低輝度低周波に適応した陰影強調後の階調61を表している。該図の通り、円形模様の起伏を大きくすることで、陰影を強調していることが分かる。
図18Cは、左図に調光補正ゲインを示し、右図に補正映像階調を示しており、バックライトの輝度値を含んだ補正量にてゲインおよび階調が作成されることを示す。
以上により、本発明によれば、低周波および低輝度領域を適応的に切換えて陰影強調処理および平滑化処理を制御することで、好適に映像のグラデーションの階調感や低輝度階調部の視認性を向上することができる。
以上の各実施例では液晶ディスプレイを用いる場合を説明したが、映像表示素子は液晶パネル以外でも良く、照明用のバックライトを調光する方式に対応したディスプレイであれば良い。また、バックライトの光源はLED以外でも良く、その構造は導光板を用いるサイドライト方式でも良い。