<実施の形態1>
図1はこの発明の実施の形態1である画像表示装置の構成を示すブロック図である。同図に示すように、実施の形態1に係る画像表示装置は、入力端子1、受信部2、画像処理装置7、及び表示部8から構成される。
入力端子1には、テレビやコンピューター等で用いられている所定の形式の画像信号Daが入力される。受信部2は、画像信号Daを入力端子1を介して受信し、画像信号Daを画像処理装置7で処理可能な形式に変換して画像信号Dbとして出力する。例えば受信部2は、画像信号Daを、輝度信号Yを含むいくつかのデジタル形式の画像信号に変換した後、画像信号Dbとして出力する。上述した動作を行う受信部2は、画像信号Daがアナログ形式の信号の場合にはA/D変換器などで構成され、画像信号Daがデジタル形式の信号の場合にはその形式に適合した所定の復調器等などで構成される。
画像処理装置7は、輝度情報検出部9、コンテンツ特徴検出部10(特徴判定部)、複数コンテンツ特徴検出部11(複数特徴検出部)及び階調補正部6から構成され、階調補正部6は、補正制御部4及び補正実行部5を有している。受信部2より得られる画像信号Dbは、画像処理装置7内の輝度情報検出部9及び補正実行部5にそれぞれ入力される。
輝度情報検出部9は、画像信号Dbに含まれる輝度信号Yから、各画素における輝度関連情報値である輝度情報値Yiを検出して、コンテンツ特徴検出部10に出力する。コンテンツ特徴検出部10は、輝度情報値Yiをもとに1フレーム分の映像コンテンツの特徴を判定し、コンテンツ特徴判定情報値Ji(特徴判定値)を複数コンテンツ特徴検出部11に出力する。
複数コンテンツ特徴検出部11はコンテンツ特徴判定情報値Jiをもとに複数フレーム分の映像コンテンツの特徴を検出し、複数コンテンツ特徴判定情報値Fiを階調補正部6内の補正制御部4に出力する。
補正制御部4は、補正実行部5が画像信号Dbに対する階調補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴情報Fiに基づいて算出し、補正実行部5に出力する。
一方、補正実行部5は、入力された補正パラメータPiを用いて画像信号Dbに対して階調補正を行い、階調補正後の信号を画像信号Dcとして表示部8に出力する。表示部8は、入力された画像信号Dcに基づいて画像を表示する。表示部8は、例えば、液晶ディスプレイ、DMD(Digital Micromirror Device)ディスプレイ、EL(Electro Luminescence)ディスプレイ、あるいはプラズマディスプレイ等が考えられ、反射型、透過型、あるいは自発光デバイスなどのあらゆる表示手段を適応できる。
図2は図1で示した輝度情報検出部9の一内部構成例を詳細に示すブロック図である。図2に示すように、実施の形態1の画像表示装置における輝度情報検出部9は、ヒストグラム生成部91と、最大階調検出部92、中間階調検出部93、最小階調検出部94、及び平均輝度階調検出部95とを備えている。
図2で示した例では、受信部2から得られ、輝度信号Yを含む画像信号Dbは、ヒストグラム生成部91に入力される。ヒストグラム生成部91は、1フレーム分の画像信号Dbにおける輝度信号Yのヒストグラムを生成する。以下、ヒストグラム生成部91により生成された画像信号Dbにおける輝度信号Yのヒストグラムを規定した情報を輝度ヒストグラム情報Dbyと呼ぶ。
最大階調検出部92は、ヒストグラム生成部91で生成された輝度ヒストグラム情報Dbyから、1フレーム分の画像信号Dbにおける輝度信号最大階調値を検出して、当該輝度信号最大階調値を規定した最大階調情報値Yimaxを出力する。
中間階調検出部93は、ヒストグラム生成部91で生成された輝度ヒストグラム情報Dbyから、1フレーム分の画像信号Dbにおける輝度信号中間階調値を検出して、当該輝度信号中間階調値を規定した中間階調情報値Yimidを出力する。
最小階調検出部94は、ヒストグラム生成部91で生成された輝度ヒストグラム情報Dbyから、1フレーム分の画像信号Dbにおける輝度信号最小階調値を検出して、当該輝度信号最小階調値を規定した最小階調情報値Yiminを出力する。
平均輝度階調検出部95は、ヒストグラム生成部91で生成された輝度ヒストグラム情報Dbyから、1フレーム分の画像信号Dbにおける輝度信号平均階調値を検出して、当該輝度信号平均階調値を規定した平均階調情報値Yiaveを出力する。
図3は、ヒストグラム生成部91が生成する輝度ヒストグラム情報Dbyの一例を示す図である。図中の横軸は階調値(階級)を示し、縦軸は度数、つまり1フレーム分の画像信号Dbの輝度に対する画素数を示している。なお以下の説明では、画像信号Dbの輝度信号Yは、例えば8ビットのデータで構成されており、その階調値が“0”から“255”までの値を採り、その階調数は“256”とする。
実施の形態1に係るヒストグラム生成部91は、例えば256の階調数を8階調ごとに32の領域に分割し、当該32の領域をヒストグラムの階級としている。そして、各階級での中心値付近の値、本例では、当該中心値に最も近くそれよりも大きい整数値を当該階級の代表値としている。例えば、階調値“0”から“7”までで構成される階級では、中心値は“3.5”となるため、当該階級の代表値は“4”となる。図3の横軸の数字は各階級の代表値を示している。
なお、階級の中心値が整数であれば、当該中心値を当該階級の代表値としても良い。また、本例のように階級の中心値が整数でなく小数の場合であっても、階級の代表値として当該階級の中心値を採用しても良い。階級の中心値が小数の場合には、本例のように、階級の代表値として当該階級の中心値付近の整数を採用することによって、演算量を低減できる。
このように、実施の形態1の画像表示装置におけるヒストグラム生成部91では、8つの連続する階調値からなる領域を一つの階級としているため、図3に示されるヒストグラムの各度数は、8階調分の信号の総和となる。例えば、横軸の数値4に示された度数は、1フレーム分の輝度信号Dbに含まれる、階調値0から階調値7までの信号の総和に相当する。
なお、図3のヒストグラムとは異なり、各階調値ごとに度数を計数してヒストグラムを生成してもよい。つまり、各階級を一つの階調値で構成するようにしても良い。この場合には、各階級の代表値は当該階級を構成する階調値そのものとなる。また、階調数を分割する場合には、その分割数は32以外でも良く、当該分割数を減らすことによって、ヒストグラム生成部91での演算量を低減することができる。分割数は、処理可能な演算量と、階調補正部6で必要とされる階調補正精度とに基づいて予め決定される。
最大階調検出部92は、以上のようにして生成されたヒストグラムにおいて、階級の最大から最小に向かって度数を累積し、それによって得られる累積度数HYWが所定の閾値YAよりも初めて大きくなる階級の代表値を抽出する。そして最大階調検出部92は、抽出した値を最大階調情報値Yimaxとして出力する。
一方、最小階調検出部94は、ヒストグラム生成部91で生成されたヒストグラムにおいて、階級の最小から最大に向かって度数を累積し、それによって得られる累積度数HYBが所定の閾値YBよりも初めて大きくなる階級の代表値を抽出する。そして最小階調検出部94は、抽出した代表値を最小階調情報値Yiminとして出力する。
また、中間階調検出部93は、以上のようにして生成されたヒストグラムにおいて、階級の最小から最大に向かって度数を累積し、それによって得られる累積度数HYBが所定の閾値YC(たとえば画素数全体の半分)よりも初めて大きくなる階級の代表値を抽出する。そして中間階調検出部93は、抽出した代表値を中間輝度階調Yimidとして出力する。なお、中間階調の検出を累積度数HYWを用いて行ってもよい。
図3に示されるヒストグラム例では、累積度数HYWが閾値YAよりも初めて大きくなる階級の代表値は“188”であるため、この“188”が最大階調情報値Yimaxとなる。この最大階調情報値Yimaxは、1フレーム分の画像信号Dbにおける最大階調値ではなく、累積度数HYW及び閾値YAを用いて検出された最大階調値に準ずる値である。
また図3の例では、累積度数HYBが閾値YBよりも初めて大きくなる階級の代表値が“20”であるため、この“20”が最小階調情報値Yiminとなる。この最小階調情報値Yiminは、1フレーム分の画像信号Dbにおける最小階調値ではなく、累積度数HYB及び閾値YBを用いて検出された、最小階調値に準ずる値となる。
そして、累積度数HYBが閾値YCよりも初めて大きくなる階級の代表値は“76”であるため、この“76”が中間階調情報値Yimidとなる。通常、この中間階調情報値Yimidは、1フレーム分の画像信号Dbにおける全体の画素数の半分(50%)に達しうたときの階調値となる。
平均輝度階調検出部95は、1フレーム分の画像信号Dbから得られる輝度ヒストグラム情報Dbyから、1フレーム分の輝度信号Dbyにおける平均輝度階調情報値を演算してこれを輝度信号平均階調情報値Yiaveとして出力する。具体的には、輝度信号階調数を"Yi"、その輝度信号階調の画素数を"nYi"として、以下の式(1)計算する。
輝度信号平均=Σ(Y×nYi)/ΣnYi…(1)
上記式(1)の輝度信号平均を含む平均輝度信号階調数を輝度信号平均階調情報値Yiaveとして出力する。
なお、上記した例では、累積度数HYW,HYB等は、ヒストグラム生成部91で生成していたが、最大階調検出部92及び中間階調検出部93、最小階調検出部94、平均輝度階調検出部95内でそれぞれ生成しても良い。
上記のように、輝度情報値Yi、輝度ヒストグラム情報Dbyより統計的に分類される最大階調情報値Yimax等の情報値を含むため、1フレーム毎に統計的に分類された精度の高い輝度情報値を得ることができる。
さらに、輝度情報値Yiは、画像信号Dbにおける輝度信号Yの平均階調値を示す平均平均階調情報値Yiaveをさらに含むことにより、より精度の高い輝度情報値Yiを得ることができる。
また、上記した例では、ヒストグラム生成部91により、ヒストグラムを均等に分割しているが、ヒストグラムを不均等に分割し、度数を計数する対象となる階調値の範囲を自由に設定できるように構成してもよい。これにより、演算量を低減することと、最小輝度情報値と最大輝度情報値条件が細かく設定できることができる。
例えば、最小輝度情報値条件を16階調、最大輝度情報値条件を160階調と設定した場合を想定する。均等分割をする場合には、最小輝度情報値条件に合致させるべく16階調ごとに分割を行うことで16個の領域に分割することが考えられる。一方、不均等に分割できるな場合、最低限0から16、16から160、160から255の3個の領域分割で上記した最小輝度情報値条件及び最大輝度情報値条件を満足させながら、分割数軽減に伴う大幅な演算量低減を図ることができる。
ここで作成されるヒストグラムの階調の範囲は、最小輝度情報値のみの階調の刻みを小さくしてもよいし、中間輝度情報値のみの階調の刻みを小さくしてもよいし、最大輝度情報値のみの階調の刻みを小さくしてもよい。刻み値の選定は、検出したいコンテンツの特徴に合わせて選択してもよい。
図2で示した構成は、輝度情報検出部9の一構成例であり、輝度情報検出部9は、画像信号Dbに含まれる輝度信号Yを基にして、輝度情報値Yiが出力可能な構成であればどのようなものでもよい。
図4はコンテンツ特徴検出部10の一構成例を詳細に示すブロック図である。同図に示すように、実施の形態1の画像表示装置におけるコンテンツ特徴検出部10は、最大輝度判定部101、中間輝度判定部102、最小輝度判定部103、及び平均輝度判定部104と、コンテンツ特徴判定部105とを備えている。
輝度情報検出部9から出力された最大階調情報値Yimax、中間階調情報値Yimid、最小階調情報値Yimin及び平均階調情報値Yiaveに関し、最大階調情報値Yimaxは最大輝度判定部101に入力され、中間階調情報値Yimidは中間輝度判定部102に入力され、最小階調情報値Yiminは最小輝度判定部103に入力され、平均階調情報値Yiaveは平均輝度判定部104に入力される。
最大輝度判定部101は、最大階調情報値Yimaxから最大輝度の大きさを分類して、その分類情報を規定した最大輝度情報値D101(Yimax情報値)を生成する。中間輝度判定部102は、中間階調情報値Yimidから中間輝度の大きさを分類して、その分類情報を規定した中間輝度情報値D102(Yimid情報値)を生成する。最小輝度判定部103は、最小階調情報値Yiminから最小輝度の大きさを分類して、その分類情報を規定した最小輝度情報値D103(Yimin情報値)を生成する。平均輝度判定部104は、平均階調情報値Yiaveから平均輝度の大きさを分類して、その分類情報を規定した平均輝度情報値D104(Yiave情報値)を生成する。
最大輝度判定部101は、最大階調情報値Yimaxの値が、所定の最大輝度判定閾値Ymaxaより小さい値であるか、所定の閾値Ymaxa値より大きな所定の閾値であるYmaxb値と閾値Ymaxaとの間の値であるか、最大輝度判定閾値Ymaxbより大きい値であるかを判定し、3つの分類情報値であるYimax低、Yimax中、及びYimax高のうち、いずれか一を指示する最大輝度情報値D101をコンテンツ特徴判定部105に出力する。
図5は最大輝度判定部101による最大輝度情報値D101の生成例を示す説明図である。同図に示すように、最大階調情報値Yimaxは、所定の閾値Ymaxa値と、閾値Ymaxaより大きな所定の閾値であるYmaxb値との間の値であるため、「Yimax中」を指示する最大輝度情報値D101が出力され、コンテンツ特徴判定部105に入力される。
図4に戻って、中間輝度判定部102は、中間階調情報値Yimidの値が、所定の中間輝度判定閾値Ymidaより小さい値であるか、所定の閾値Ymida値とそれより大きな所定の閾値であるYmidb値との間の値であるか、中間輝度判定閾値Ymidbより大きい値であるかを判定し、3つの分類情報値(Yimid低、Yimid中、Yimid高)のいずれか一を規定した中間輝度情報値D102をコンテンツ特徴判定部105に出力する。
図6は中間輝度判定部102による中間輝度情報値D102の生成例を示す説明図である。同図に示すように、中間階調情報値Yimidは、所定の閾値Ymida値とそれより大きな所定の閾値であるYmidb値との間の値であるため、「Yimid中」を指示する中間輝度情報値D102が、コンテンツ特徴判定部105に入力される。
図4に戻って、最小輝度判定部103は、最小階調情報値Yiminの値が、所定の最小輝度判定閾値Yminaより小さい値であるか、所定の閾値Ymina値とそれより大きな所定の閾値であるYminb値との間の値であるか、最小輝度判定閾値Yminbより大きい値であるかを判定し、3つの分類情報値(Yimin低、Yimin中、Yimin高)のいずれか一を指示する最小輝度情報値D103をコンテンツ特徴判定部105に出力する。
図7は最小輝度判定部103による最小輝度情報値D103の生成例を示す説明図である。同図に示すように、最小階調情報値Yiminは、所定の閾値Yimina値より小さい値であるため、「Yimin低」を指示する最小輝度情報値D103が出力され、コンテンツ特徴判定部105に入力される。
図4に戻って、平均輝度判定部104は、式(1)より計算された平均階調情報値Yiaveの値が、所定の平均輝度判定閾値Yaveaより小さい値であるか、所定の閾値Yavea値とそれより大きな所定の閾値であるYaveb値との間の値であるか、平均輝度判定閾値Yavebより大きい値であるかを判定し、3つの分類情報値(Yiave低、Yiave中、Yiave高)のいずれか一を指示する平均輝度情報値D104をコンテンツ特徴判定部105に出力する。
コンテンツ特徴判定部105は、4つの輝度情報値D101〜D104の組み合わせ内容にも基づきコンテンツ特徴判定情報値Jiを判定して、複数コンテンツ特徴検出部11に出力する。
図8はコンテンツ特徴判定部105によるコンテンツ特徴判定情報値Jiの判定内容を表形式で示す説明図である。同図に示すように、輝度情報値D101〜D104による81通り(3×3×3×3)の組合せにより、81種類のコンテンツ特徴判定情報値Jiが判定される。
なお、コンテンツ特徴判定部105によるコンテンツ特徴判定の組み合わせ内容は、観視者の好みや映像データベースを元に任意に作成することが出来る。図8の例では、平均輝度判定値Yiaveが「低」、最小階調情報値Yiminが「低」、中間階調情報値Yimidの値が「低」、最大階調情報値Yimaxが「低」であれば、判定種別であるコンテンツ特徴J1を指示するコンテンツ特徴判定情報値Jiが複数コンテンツ特徴検出部11に出力される。
また、コンテンツ特徴判定部105は、4つの輝度情報値D101〜D104のうちの3つ以下の情報のみを使用して判定してもよい。例えば平均輝度情報値D104のみでコンテンツ特徴を分類する、平均輝度情報値D104と最大輝度情報値D101との2つの組合せで分類する、など情報値を選択できる。このように、輝度情報値D101〜D104内の情報量を減らすことによって、特徴検出の速度を速め、必要なメモリー容量を減らすことができる。
図4で示したコンテンツ特徴検出部10は一例にすぎず、コンテンツ特徴検出部10は、輝度情報値Yiを基づき、コンテンツ特徴情報値Jiを決定できる構成であればどのような構成でもよい。
輝度情報値D101〜D104を基にして、コンテンツ特徴情報値Jiを出力する手法の一例として輝度情報値D101〜D104の尤度を計算し、統計上の処理からコンテンツ特徴情報値Jiを出力する方法などが考えられる。
複数コンテンツ特徴検出部11は、入力されたコンテンツ特徴情報値Jiにもとにして算術演算を行い、後述する第1〜第3の判断基準等に基づき複数フレーム分のコンテンツ特徴情報値Jiに対する解析処理を行い、複数のコンテンツ特徴判定情報値Jiを反映した、複数コンテンツ特徴情報値Fiを求める。これにより、複数フレームのコンテンツ特徴情報値Jiと比較して、より精度が高く、安定したコンテンツ判定を行うことができる。
複数コンテンツ特徴検出部11における算術演算の手法のひとつとして、複数コンテンツ特徴検出部11は、順次入力されるコンテンツ特徴判定情報値Jiにもとに、1フレーム分の特徴判定値Ji(判定種別)を加算し、同一の特徴判定値(判定種別)が一定判断数N(所定の出現する)に達した場合に、複数特徴判定値Fiとして判断する手法(第1の判断基準)が挙げられる。
具体的には、例えば一定判断数Nが“10”である場合、図9に示すように1フレーム毎のコンテンツ特徴判定情報値Jiを、複数フレーム分加算する。本例において、最も早く一定判断数“10”に達したコンテンツ特徴判定値種別は、「J3」であるため、複数コンテンツ特徴判定値Fiは、「J3」であると検出され、特徴判定値J3を指示する複数コンテンツ特徴情報値Fiが階調補正部6内の補正制御部4に出力される。
このように、実施の形態1の複数コンテンツ特徴検出部11は、順次得られるコンテンツ特徴判定情報値Jiが指示する判定種別を計数し、計数結果が最も早く一定判断数Nに達した種別を認識し、当該種別を指示する複数コンテンツ特徴情報値Fiを得る第1の判断基準を有することにより、比較的精度の高い複数コンテンツ特徴情報値Fiを比較的早期に得ることができる。
また、他の手法として、複数コンテンツ特徴検出部11は、順次入力されるコンテンツ特徴判定情報値Jiにもとに、1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が連続して一定判断数M(所定の連続出現数)に達した場合に、複数特徴判定値Fiとして判断する手法(第2の判断基準)が挙げられる。
具体的には、例えば一定判断数Mが“10”である場合、図10に示すように1フレーム毎のコンテンツ特徴判定情報値Jiを、複数フレーム分加算する。本例において、4フレーム目から13フレーム目まで連続してコンテンツ特徴判定値は「J3」である。そのため、最も早く連続して一定判断数10に達したコンテンツ特徴判定値種別は「J3」となる。複数コンテンツ特徴判定値Fiは、特徴判定値J3であると判定され、特徴判定値J3を指示する複数コンテンツ特徴情報値Fiが補正制御部4に出力される。
このように、実施の形態1の画像表示装置の複数コンテンツ特徴検出部11は、順次得られるコンテンツ特徴判定情報値Jiが指示する種別を計数し、計数結果が最も早く、連続して一定判断数Mに達した種別を認識し、当該種別を指示する複数コンテンツ特徴情報値Fiを得る第2の判断基準を有することにより、第1の基準以上に精度の高い複数特徴判定値を得ることができる。
また、他の手法として、複数コンテンツ特徴検出部11は、入力されたコンテンツ特徴判定情報値Jiにもとに、1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が一定判断フレーム数K内(所定期間内)において最大の出現度を持つ場合に、複数特徴判定値Fiとして判断する手法(第3の判断基準)が挙げられる。
具体的には、例えば一定判断フレーム数Kが“15”である場合、図11に示すように1フレーム毎のコンテンツ特徴判定情報値Jiを、一定判定フレーム数である15フレーム分加算する。本例において、15フレーム内における、各コンテンツ特徴判定情報値の出現度は、J1が0回、J2が7回、J3が6回、J4,J5が各1回となる。最大の出現度を持つ特徴判定値は、7回の判定が行われている特徴判定値種別は「J2」である。そのため、複数コンテンツ特徴判定値Fiは、特徴判定値J2を指示する複数コンテンツ特徴情報値Fiが補正制御部4に出力される。
このように、実施の形態1の画像表示装置の複数特徴判定部は、順次得られるコンテンツ特徴判定情報値Jiが指示する種別を計数し、一定判断フレーム数内における計数値が最も多い種別を認識し、当該種別を指示する複数コンテンツ特徴情報値Fiを得る第3の判断基準を有する、比較的精度の高い複数特徴判定値を一定判断フレーム数内に必ず得ることができる。
実施の形態1に係る複数コンテンツ特徴検出部11は、複数コンテンツ特徴判定値Fiとして、コンテンツ特徴判定情報値Ji自体を出力してもよい。すなわち、複数コンテンツ特徴検出部11を省略してコンテンツ特徴検出部10から出力されるコンテンツ特徴判定情報値Jiがそのまま補正制御部4に取り込まれる構成を採用することもできる。
また、実施の形態1に係る複数コンテンツ特徴検出部11は、上記3手法(第1〜第3の判断基準)に代表される算術演算の組み合わせにより、複数個組み合わせて実施してもよい。
たとえば、一定判断数Naとして1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が一定判断数Naに達した後、一定判断数Nbのとして1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が連続して一定判断数Nbに達した場合に、複数コンテンツ特徴判定値Fiとして判断するなどの組み合わせが考えられる。
また、他の組み合わせの手法として、一定判断数Naとして1フレーム分の特徴判定値Jiを加算し、複数コンテンツ特徴判定値Faiを求めた後、複数コンテンツ特徴判定値Faiを加算し、複数コンテンツ特徴判定値Fiを求めてもよい。本例では2回の組み合わせであるが、2回以上の組み合わせを行ってもよい。
具体的には、図12のように一定判断数Naを“10”、Nbを“3”とした場合、まず1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が一定判断数10回に達した、複数特徴判定値Faiを決定する。次に同様の方法で特徴判定値Jiから複数コンテンツ特徴判定値Fai、最も早く一定判断数3回に達するまで判定を行う。本例では、複数コンテンツ特徴判定値Faiは順に、J3・J3・J2・J3となる。そのため、最も早く複数コンテンツ特徴判定値Faiが3回に達するのはJ3となり、複数コンテンツ特徴判定値Fiは、特徴判定値J3であると判定され、特徴判定値J3を指示する複数コンテンツ特徴情報値Fiが補正制御部4に出力される。
このように、コンテンツ特徴判定情報値Jiに基づく、上述した第1〜第3の判断基準に少なくとも一つの判断基準を含む複数種の組み合わせで複数コンテンツ特徴情報値Fiを求めることにより、複複数コンテンツ特徴情報値Fiを決定する際、決定するまでの速度や精度の調節が可能となり、階調補正部6による順応性に富んだ階調補正が可能となる。
実施の形態1に係る複数コンテンツ特徴検出部11により、ある1フレームにおいてコンテンツの内容が大幅に変わった場合においても、当該フレームにおけるコンテンツ特徴情報値Jiの判定種別は複数コンテンツ特徴検出部11における解析処理により自動的に除去されるため、極端な階調補正が行われることを防ぐことができる。また。1フレーム毎に変化する可能性があるコンテンツ特徴判定情報値Jiに基づき階調補正が行われるわけではないので、階調補正の頻度が少なくなり、処理速度が向上する。
また、コンテンツ特徴検出部11は、輝度情報値から、映像コンテンツの特徴量をより正確に判定する手法として、画像表示装置に限らず映像に関わる他分野での利用も考えられる。
他の分野での利用として、例えば、HDや種々の映像レコーダーを含む映像記憶装置が挙げられる。データ記録する際に、複数フレームのコンテンツ検出を利用することにより、ジャンルの判定を行い、その判定結果を記憶媒体に記憶する方法が考えられる。また、キーワードとして利用し、検索を行うなどの場合の目印にすることなどが考えられる。
補正制御部4は、入力された複数コンテンツ特徴判定情報値Fiに基づいて、コンテンツ特徴に対応した補正パラメータPiを選択して、補正実行部5に出力する。図13は、補正制御部4の動作を説明するための図である。図13に示すように、補正制御部4は、x軸は入力信号(画像信号Db)の階調値を表し、y軸は出力される階調値(画像信号Dc)を示すxy座標系において、複数コンテンツ特徴情報値Fiで指示するコンテンツ特徴判定情報値Jiに対応した変換式(補正パラメータPi)を選択する。具体的には、複数コンテンツ特徴情報値Fiが、図8で示した輝度情報値D101〜D104の組み合わせによって特徴判定値J1を指示するときは、特徴判定値J1に対応する補正パラメータPiが選定される。なお、図13の補正パラメータPiは例として示したに過ぎず、図8で示した特徴判定値J1〜J81と、図13で示した補正パラメータP1〜P81とが対応関係になっているのではない。すなわち、図13は81通りのコンテンツ特徴判定情報値Jiに1対1に対応すべく、81通りの補正パラメータPiが設けられている例を示したにすぎない。
例えば、映画のような全体的に暗い画面の多いジャンルに関しては、特徴判定値J1のような、全体的に輝度の低い(暗い)画像になる。このため、特徴判定値J1に対応する補正パラメータPiとして、低階調部分の輝度を上げるような特性の補正パラメータPiを採用することにより処理を行うことで、暗くて見づらかった部分を見えるようにするという処理を可能とする。したがたって、特徴判定値J1に対応する補正パラメータPiとしては、図13の補正パラメータP81のように、原点付近が急勾配、x軸が増加する従い緩やかになるような補正パラメータPiが望ましい。
このように、実施の形態1の画像表示装置の画像補正部6は、複数コンテンツ特徴情報値Fiが指示する種別に1対1に対応した補正パラメータPiを用いて階調補正を行うため、画像信号Dbの特性に適応した精度の高い階調補正を行うことができる。
ここで、準備される補正パラメータPiは、輝度情報値による組み合わせの数だけ配備(この例の場合は81通り)してもよいし、コンテンツ特徴の種類の数と同じ数であってもよい。
補正実行部5は、当該補正パラメータPiに基づいて階調補正を行う。この階調補正は、1フレームごとに行う。また、実施の形態1に係る補正制御部4は、入力された複数コンテンツ特徴情報値Fiに基づいて、コンテンツ特徴に対応したその他のパラメータを、補正実行部5に出力してもよい。その他のパラメータの例として、シャープネスや、色調整、ノイズ処理などのパラメータが考えられる。
以上のように、実施の形態1に係る画像表示装置では、輝度情報値D101〜D104から判定された1フレーム分のコンテンツ特徴判定情報値Jiに基づいて、複数フレーム分の特徴量よりコンテンツの特徴を複数コンテンツ特徴情報値Fiとして判定しているため、コンテンツの特性をより正確に判定することができる。また上記判定結果に基づき、画像信号Dbに対して階調補正を行っているため、階調補正を頻繁に行うことがなくなり、最適なコントラスト調整が可能になる。
一方、本実施の形態と同様なことを、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行う場合、コンテンツを特徴付けるためのキーフレームを識別し、その情報を元にキーフレームと関連するフレーム番号を処理の間中に保持する必要がある。
しかしながら、実施の形態1に係る画像処理装置では、フレーム毎に特徴を抽出しコンテンツ特徴を判定し、画像信号Dbに対して階調補正を行っているため、リアルタイムにコンテンツ特徴判定を行い、フレーム毎に最適なコントラスト調整が可能である。
上記のように、実施の形態1の画像表示装置における複数コンテンツ特徴検出部11は、コンテンツ特徴検出部10から出力されるコンテンツ特徴判定情報値Jiを、複数フレーム分相当量解析することにより、複数コンテンツ特徴情報値Fiを求めるため、画像信号Dbより得られるコンテンツの特性を正確に判定することができる。
そして、階調補正部6によって、複数コンテンツ特徴情報値Fiに基づき、新しく得られる1フレーム分の画像信号Dbに対して階調補正を行われるため、別途階調補正操作を行うことなく自動的に階調補正を行うことができる。
さらに、コンテンツ特徴検出部10は1フレーム分の画像信号Dbにおける輝度情報値Yiに基づきコンテンツ特徴判定情報値Jiを得ることにより、比較的高速にコンテンツ特徴判定情報値Jiを得ることができる。
<実施の形態2>
図14は、この発明の実施の形態2である画像表示装置の構成を示すブロック図である。実施の形態2の画像表示装置は、上述の実施の形態1の画像処理装置における画像処理装置7の替わりに画像処理装置17を備えて構成される。
実施の形態2の画像表示装置における画像処理装置17は、輝度情報検出部9、複数輝度情報検出部12、コンテンツ特徴検出部20、複数コンテンツ特徴検出部11、及び階調補正部6を備えている。
受信部2から出力された画像信号Dbは、画像処理装置17の輝度情報検出部9及び補正実行部5に入力される。輝度情報検出部9は、入力された画像信号Dbに含まれる輝度信号Yから、各画素における輝度情報値Yiを検出して、複数輝度情報検出部12に出力する。
複数輝度情報検出部12は、輝度情報値Yiをもとに複数フレーム分の積算および平均を計算し、その計算結果を複数輝度情報値Yicalとしてコンテンツ特徴検出部20に出力する。
コンテンツ特徴検出部20は、複数輝度情報値Yicalをもとに映像コンテンツの特徴Jiを判定し、コンテンツ特徴判定情報値JMiを複数コンテンツ特徴検出部11に出力する。このように、複数輝度情報検出部12及びコンテンツ特徴検出部20によって複数フレーム分の画像信号Dbに対する映像コンテンツの特徴判定を行いコンテンツ特徴判定情報値JMiを得る特徴判定部を構成する。
複数コンテンツ特徴検出部11はコンテンツ特徴判定情報値JMiをもとに複数フレーム分の映像コンテンツの特徴を判定し、特徴判定関連値である複数コンテンツ特徴判定情報値Fiを補正制御部4に出力する。
補正制御部4は、補正実行部5が画像信号Dbに対する階調補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴情報Fiに基づいて算出し、補正実行部5に出力する。
実施の形態2の画像表示装置における輝度情報検出部9は、実施の形態1と同一構成であり、その動作も同様であるため、輝度情報検出部9に関する詳細な動作説明は省略する。
複数輝度情報検出部12は、輝度情報値Yiをもとにして、複数フレーム分の積算および平均を計算し、その計算結果を複数輝度情報値Yicalとしてコンテンツ特徴検出部20に出力する。具体的な例として、輝度情報検出部9から出力された最大階調情報値Yimaxを、一定フレーム数m個分演算し平均を求め、Yicmaxとしてコンテンツ特徴検出部20に出力する。また中間階調情報値Yimidを、一定フレーム数m個分演算し平均を求め、Yicmidとしてコンテンツ特徴検出部20に出力する。さらに、最小階調情報値Yiminを、一定フレーム数m個分演算し平均を求め、Yicminとしてコンテンツ特徴検出部20に出力する。加えて、平均階調情報値Yiaveを、一定フレーム数m個分演算し平均を求め、Yicaveとしてコンテンツ特徴検出部20に出力する。
なお、一定フレーム数mの輝度情報値Yiが入力後は、最新のmフレーム分の輝度情報値Yiを演算対象とすることにより、複数輝度情報検出部12は複数輝度情報値Yicalを1フレーム毎に順次出力することができる。
なお、最大階調情報値Yimax、中間階調情報値Yimid、最小階調情報値Yimin、平均階調情報値Yiave、すべての演算を行うことで平均値を求めるのではなく、一部の情報値に対する演算のみ行って平均値を求めてもよい。
また、実施の形態2の画像表示装置における複数輝度情報検出部12では、平均値を求めることで最大階調情報値Yicmax、中間階調情報値Yicmid、最小階調情報値Yicmin、平均階調情報値Yicaveを求めているが、複数フレーム分を利用して算術演算を行い、結果をコンテンツ特徴検出部20に出力するものであれば、平均値に限定されない。一例として、平均値の代わりに中間値を利用する方法などが考えられる。
図15はコンテンツ特徴検出部20の詳細な構成を示すブロック図の一例である。図15に示されるように、実施の形態2におけるコンテンツ特徴検出部20は、最大輝度判定部201、中間輝度判定部202、最小輝度判定部203、及び平均輝度判定部204と、コンテンツ特徴判定部205とを備えている。
複数輝度情報検出部12から出力された最大輝度情報値Yicmaxは最大輝度判定部201に入力され、中間輝度情報値Yicmidは中間輝度判定部202に入力され、最小輝度情報値Yicminは最小輝度判定部203に入力され、平均輝度情報値Yicaveは平均輝度判定部204に入力される。
最大輝度判定201は、最大輝度情報値Yicmaxから最大輝度の大きさを分類して、その分類情報を規定した最大輝度情報値D201(Yicmax情報値)を生成する。中間輝度判定部202は、中間輝度情報値Yicmidから中間輝度の大きさを分類して、その分類情報を規定した中間輝度情報値D202(Yicmid情報値)を生成する。最小輝度判定部203は、最小輝度情報値Yicminから最小輝度の大きさを分類して、その分類情報を規定した最小輝度情報値D203(Yicmin情報値)を生成する。平均輝度判定部204は、平均輝度情報値Yicaveから平均輝度の大きさを分類して、その分類情報を規定した平均輝度情報値D204(Yicave情報値)を生成する。
最大輝度判定部201、中間輝度判定部202、最小輝度判定部203、及び平均輝度判定部204は、それぞれ実施の形態1における最大輝度判定部101、中間輝度判定部102、最小輝度判定部103、及び平均輝度判定部104と、同様な動作を行うため、各判定部201〜204の詳細な動作説明は省略する。
なお、図15で示した構成は、コンテンツ特徴検出部20は一構成例であり、コンテンツ特徴検出部20は、複数輝度情報値Yicalを基にして、コンテンツ特徴情報値Jiを出力する構成であれば多様な構成が考えられる。輝度情報値Yicalを基にして、コンテンツ特徴情報値Jiを出力する手法の一例として、輝度情報値Yicalの尤度を計算し、統計上の処理からコンテンツ特徴情報値Jiを出力する方法などが考えられる。
実施の形態2による複数コンテンツ特徴検出部11は、実施の形態1の複数コンテンツ特徴検出部11と同一構成であり、その動作も同様であるため、複数コンテンツ特徴検出部11の詳細な動作説明は省略する。
なお、実施の形態1と同様、実施の形態2においても、複数コンテンツ特徴検出部11を省略してコンテンツ特徴検出部20から出力されるコンテンツ特徴判定情報値JMiがそのまま補正制御部4に取り込まれる構成を採用することができる。
複数コンテンツ特徴検出部11を省略した場合、コンテンツ特徴検出部20より得られるコンテンツ特徴判定情報値JMi自体が特徴判定関連値として用いられ、階調補正部6はコンテンツ特徴判定情報値JMiに基づき画像信号Dbに対して、階調補正を行うことができるため、複数コンテンツ特徴検出部11を省略する分、比較的簡単な回路構成で画像表示装置を構成することができる。この際、コンテンツ特徴判定情報値JMiは複数輝度情報検出部12及びコンテンツ特徴検出部20によって複数フレーム分の統計処理によって得られた値となっているため、複数コンテンツ特徴検出部11を省略することに伴う判定精度劣化を最小限に抑えることができる。
階調補正部6は、実施の形態1の階調補正部6と同様、補正制御部4及び補正実行部5を備えている。実施の形態2における補正制御部4は、実施の形態1の補正制御部4と同一であり、階調補正部6及び表示部8は、実施の形態1で説明した動作と同様な動作を行うため、それらの詳細な動作説明は省略する。ただし、図8で示したコンテンツ特徴判定情報値JMiの代わりにコンテンツ特徴判定情報値JMiが用いられる。
以上のように、実施の形態2の画像表示装置においては、輝度情報値から、複数フレーム分の積算を行い、平均を求めることにより、複数フレーム分の特徴量よりコンテンツの特徴を判定しているため、コンテンツ特徴判定情報値JMi段階でコンテンツの特性をより正確に判定することができる。またコンテンツ特徴判定情報値JMiに基づく複数コンテンツ特徴検出部11の検出結果(複数コンテンツ特徴情報値Fi)に基づき、画像信号Dbに対して階調補正を行っているため、階調補正を頻繁に行うことなくなり、最適なコントラスト調整が可能になる。
実施の形態2の画像表示装置に対応すべく、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行うには、コンテンツを特徴付けるためのキーフレームを識別し、その情報を元にキーフレームと関連するフレーム番号を処理の間中に保持する必要がある。
しかしながら、実施の形態2の画像処理装置では、複数輝度情報検出部12より一度、複数輝度情報値Yicalが求められた後は、1フレーム毎にコンテンツ特徴検出部20よりコンテンツ特徴判定情報値JMiが出力可能になることから、コンテンツ特徴判定情報値JMiに基づく複数コンテンツ特徴検出部11による複数コンテンツ特徴情報値Fiの検出時間は実施の形態1と大きな差異は生じない。したがって、実施の形態1と同様、階調補正部6の画像信号Dbに対する階調補正を行うことにより、リアルタイム性を維持しつつコンテンツ特徴判定を行いながら、フレーム毎に最適なコントラスト調整が可能である。
すなわち、コンテンツ特徴検出部10はコンテンツ特徴判定情報値JMiを最初に得た後は、1フレーム毎にコンテンツ特徴判定情報値JMiを取得可能であるため、階調補正部6が複数コンテンツ特徴検出部11から出力される複数コンテンツ特徴情報値Fiに基づき階調補正を行っても、階調補正のリアルタイム性が失われることはない。
上記のように、実施の形態2の画像表示装置のおいて、複数輝度情報検出部12及びコンテンツ特徴検出部10よりなる特徴判定部によって、複数フレーム分の画像信号Dbに対する映像コンテンツの特徴判定を行ったコンテンツ特徴判定情報値JMiを得るため、より精度の高い特徴判定値を得ることができる。
そして、階調補正部6によって、複数コンテンツ特徴情報値Fiに基づき、新しく得られる1フレーム分の画像信号に対して階調補正を行われることにより、別途階調補正操作を行うことなく自動的に階調補正を行うことができる。
さらに、実施の形態2の画像表示装置における複数コンテンツ特徴検出部11は、コンテンツ特徴検出部20から出力されるコンテンツ特徴判定情報値JMiを解析することにより、複数コンテンツ特徴情報値Fiを求めるため、画像信号Dbより得られるコンテンツの特性をより正確に判定することができる。
なお、階調補正のリアルタイム性を少し失わすことになるが、複数輝度情報検出部12は複数輝度情報値Yicalをmフレーム毎に順次出力する対応も考えられる。
<実施の形態3>
図16は、この発明の実施の形態3である画像表示装置の構成を示すブロック図である。実施の形態3に係る画像表示装置は、上述の実施の形態1の画像処理装置における画像処理装置7の替わりに画像処理装置27を備えるものである。
実施の形態3の画像表示装置における画像処理装置27は、輝度情報検出部19、コンテンツ特徴検出部30(特徴判定部)、複数コンテンツ特徴検出部21(複数特徴検出部)、及び階調補正部6を備えて構成される。
輝度情報検出部19は、受信部2から出力される画像信号Dbに含まれる輝度信号が入力され、当該輝度信号から各画素における輝度情報を検出して、輝度ヒストグラム情報Dbyを作成し、輝度ヒストグラム情報Dbyから得られる輝度関連情報値である画素数情報値Niを出力する。
図17は輝度情報検出部19の一構成例を詳細にを示すブロック図である。同図に示すように、実施の形態3の画像表示装置における輝度情報検出部19は、ヒストグラム生成部191と、最大輝度画素数検出部192n、中間輝度画素数検出部193n、最小輝度画素数検出部194n、及び平均輝度画素数検出部195nとを備えている。
受信部2から出力され、輝度信号Yが含まれる画像信号Dbがヒストグラム生成部191に入力される。
ヒストグラム生成部191は、1フレーム分の画像信号Dbに基づき輝度信号のヒストグラムを生成して、輝度ヒストグラム情報Dbyを得る。最大輝度画素数検出部192は、ヒストグラム生成部191で生成された輝度ヒストグラム情報Dby、1フレーム分の画像信号Dbにおける最大輝度信号画素数を検出して最大輝度画素数情報値Nimaxを出力する。中間輝度画素数検出部193nは、ヒストグラム生成部191で生成された輝度ヒストグラム情報Dbyから、1フレーム分の画像信号Dbにおける中間輝度画素数を検出して、中間輝度画素数情報値Nimidを出力する。最小輝度画素数検出部194は、ヒストグラム生成部191で生成された輝度ヒストグラム情報Dbyから、1フレーム分の画像信号Dbにおける最小輝度信号画素数を検出して最小輝度画素数情報値Niminを出力する。平均輝度検出部195は、ヒストグラム生成部191で生成された輝度ヒストグラム情報Dbyから、1フレーム分の画像信号Dbにおける平均輝度画素数を検出して、平均輝度画素数情報値Yiaveを出力する。
図18は、ヒストグラム生成部191が生成するヒストグラムの一例を示す図である。図中の横軸は階調値(階級)を示し、縦軸は度数、つまり1フレーム分の画像信号Dbの輝度に対する画素数を示している。なお以下の説明では、画像信号Dbの輝度信号Yは、例えば8ビットのデータで構成されており、その階調値が“0”から“255”までの値を採り、その階調数は“256”とする。
実施の形態3におけるヒストグラム生成部191は、例えば256の階調数を51階調ごとに5つの領域に分割し、当該5の領域をヒストグラムの階級としている。そして、各階級での中心値付近の値、本例では、当該中心値に最も近くそれよりも大きい整数値を当該階級の代表値としている。例えば、階調値“0”から“50”までで構成される階級では、中心値は“24.5”となるため、当該階級の代表値は“25”となる。図18の横軸の数字は各階級の代表値を示している。この例では階調を5段階に分けて、最小の階調25を含む区域を最小輝度区域とし、中間の階調122を含む区域を中間輝度区域とし、最大の階調224を含む区域を最大輝度区域として予め設定している。
このように、実施の形態3の画像表示装置において、画素数情報値Niは、最大輝度区域等における輝度ヒストグラム情報Dbyの度数である最大輝度画素数情報値Nimax等を含むため、1フレーム毎に各区域における画素数に応じた精度の画素数情報値Niを得ることができる。
なお、図18の例では階調を5段階に分けてヒストグラムを生成したが、これとは異なり、5以外の領域に分割してもよい。例えば3つや7つの領域に分割し、それぞれの数の領域を構成するようにしても良い。これによって、より高速演算が可能なる、あるいはより細かな特徴検出が可能になる。
最大輝度画素数検出部192は、以上のようにして生成された輝度ヒストグラム情報Dbyに基づき、階級の最大値の画素数、もしくは画素数に相当する画素数情報値を抽出する。そして最大輝度画素数検出部192は、抽出した画素数情報値を最大輝度画素数情報値Nimaxとして出力する。
中間輝度画素数検出部193は、以上のようにして生成された輝度ヒストグラム情報Dbyに基づき、階級の中間値の画素数、もしくは画素数に相当する画素数情報値を抽出する。そして中間輝度画素数検出部193は、抽出した画素数情報値を中間輝度画素数情報値Nimidとして出力する。
最小輝度画素数検出部194は、以上のようにして生成された輝度ヒストグラム情報Dbyに基づき、階級の最小値の画素数、もしくは画素数に相当する画素数情報値を抽出する。そして最小輝度画素数検出部194は、抽出した画素数情報値を最小輝度画素数情報値Niminとして出力する。
平均輝度検出部195は、1フレーム分の画像信号Dbから得られる輝度信号Yから、1フレーム分の輝度信号Yにおける平均輝度階調情報値を演算してこれを輝度信号平均階調情報値Yiaveとして出力する。この動作は、実施の形態1の平均輝度階調検出部95と同じであるので、説明を省略する。
また、図18で示したヒストグラム生成部191による輝度ヒストグラムの構成例では、ヒストグラムを均等に分割しているが、ヒストグラムを不均等に分割し、度数を計数する対象となる階調値の範囲を自由に設定できるように構成してもよい。
図17で示した構成の輝度情報検出部19は一例であり、輝度情報検出部17は、画像信号Dbに含まれる輝度信号Yを基にして、輝度画素数情報値に相当する値を出力可能な構成であればどのようなものでもよい。
図19はコンテンツ特徴検出部30の構成例を詳細に示すブロック図である。同図に示すように、実施の形態3による画像表示装置のコンテンツ特徴検出部30は、最大輝度判定部301、中間輝度判定部302、最小輝度判定部303、及び平均輝度判定部304と、コンテンツ特徴判定部305とを備えている。
輝度情報検出部19から出力された最大輝度画素数情報値Nimaxは最大輝度判定部301に入力され、中間輝度画素数情報値Nimidは中間輝度判定部302に入力され、最小輝度画素数情報値Niminは最小輝度判定部303に入力され、平均階調情報値Yiaveは平均輝度判定部304に入力される。
最大輝度判定部301は、最大輝度画素数情報値Nimaxから最大輝度の画素数の大きさを分類して、その分類情報を規定した最大輝度数情報値D301(Nimax情報値)を生成する。中間輝度判定部302は、中間輝度情報値Nimidから中間輝度の大きさを分類して、その分類情報を規定した中間輝度数情報値D302(Nimid情報値)を生成する。最小輝度判定部303は、最小輝度情報値Niminから最小輝度の大きさを分類して、その分類情報を規定した最小輝度数情報値D303(Nimin情報値)を生成する。平均輝度判定部304は、平均階調情報値Yiaveから平均輝度の大きさを分類して、その分類情報を規定した最小輝度数情報値D303(Yiave情報値)を生成する。
図20は最大輝度判定部301の動作説明用の輝度ヒストグラムを示す説明図である。最大輝度判定部301は、図20に示すように、最大輝度情報値Nmaxの値が、所定の最大輝度画素数判定閾値Nmaxaより小さい値であるか、所定の閾値Nmaxa値とそれより大きな所定の閾値であるNmaxb値との間の値であるか、最大輝度判定閾値Nmaxbより大きい値であるかを判定し、3つの分類情報値であるNimax低、Nimax中、またはNimax高のいずれかを指示する最大輝度数情報値D301を出力して、コンテンツ特徴判定部305に入力される。具体的には、図20の例の場合は、所定の閾値Nmaxb値よりも大きいため、Nimax高を指示する最大輝度数情報値D301が出力され、コンテンツ特徴判定部305に入力される。
図21は中間輝度判定部302の動作説明用の輝度ヒストグラムを示す説明図である。中間輝度判定部302は、図21に示すように、中間輝度画素数情報値Nmidの値が、所定の中間輝度画素数判定閾値Nmidaより小さい値であるか、所定の閾値Nmida値とそれより大きな所定の閾値であるNmidb値との間の値であるか、中間輝度判定閾値Nmidbより大きい値であるかを判定し、3つの分類情報値であるNimid低、Nimid中、Nimid高のいずれかを指示する中間輝度数情報値D302を出力して、コンテンツ特徴判定部305に入力される。具体的には、図21の例の場合は、所定の閾値Nimidb値より大きな値であるため、Nimid高を指示する中間輝度数情報値D302が出力され、コンテンツ特徴判定部305に入力される。
図22は最小輝度判定部303の動作説明用の輝度ヒストグラムを示す説明図である。最小輝度判定部303は、図22に示すように、最小輝度情報値Niminの値が、所定の最小輝度画素数判定閾値Nminaより小さい値であるか、所定の閾値Nmina値とそれより大きな所定の閾値であるNminb値の間の値であるか、最小輝度判定閾値Nminbより大きい値であるかを判定し、3つの分類情報値であるNimin低、Nimin中、Nimin高のいずれかを指示する最小輝度数情報値D303を出力して、コンテンツ特徴判定部205に入力される。具体的には、図22の例の場合は、所定の閾値Nmina値とNminbの間であるため、Nimin中を指示する最小輝度数情報値D303が出力され、コンテンツ特徴判定部305に入力される。
また、平均輝度判定部304は、式(1)より計算された平均階調情報値Yiaveの値が、所定の平均輝度判定閾値Yaveaより小さい値であるか、所定の閾値Yavea値とそれより大きな所定の閾値であるYaveb値との間の値であるか、平均輝度判定閾値Yavebより大きい値であるかを判定し、3つの分類情報値Yiave低、Yiave中、Yiave高のいずれかを指示する平均輝度数情報値D304を出力して、コンテンツ特徴判定部305に入力される。
コンテンツ特徴判定部305は、4つの輝度数情報値D301〜D304の組み合わせから、図23に示すような組み合わせをもとにコンテンツ特徴判定を行う。コンテンツ特徴判定部305は、コンテンツ特徴判定情報値Jiを出力し、複数コンテンツ特徴検出部21に入力する。なお、コンテンツ特徴判定の組み合わせ表は、実施の形態1同様に、観視者の好みや映像データベースを元に任意に作成することができる。例えば、平均輝度判定値Yiaveが「低」、最小輝度情報値Niminが「低」、中間輝度情報値Nimidの値が「低」、最大輝度情報値Nimaxが「低」であれば、特徴判定値J1と判断して複数コンテンツ特徴検出部21へ出力する。
また、コンテンツ特徴判定部305は、4つの輝度情報値D301〜D304のうちの3つ以下の情報のみを使用して判定してもよい。例えば、平均輝度数情報値D304のみでコンテンツ特徴を分類する、平均輝度数情報値D304と最大輝度数情報値D301の2つで分類するなど情報を選択できる。このように、コンテンツ特徴判定情報値Jiを求めるための情報量を減らすことによって、特徴検出の速度を速め、必要なメモリー容量を減らすことができる。
図19で示したコンテンツ特徴検出部30は構成例は一例であり、コンテンツ特徴検出部30は、画素数情報値Niを基にして、コンテンツ特徴情報値Jiを出力可能な構成であればどのようなものでもよい。
画素数情報値Niを基にして、コンテンツ特徴情報値Jiを出力する手法の一例として画素数情報値Niの尤度を計算し、統計上の処理からコンテンツ特徴情報値Jiを出力する方法などが考えられる。
実施の形態3における複数コンテンツ特徴検出部21は、実施の形態1の複数コンテンツ特徴検出部11と同一構成であり、実施の形態1で説明した動作と同じ動作を行うため、複数コンテンツ特徴検出部11に関する詳細な動作説明は省略する。
階調補正部6内の補正制御部4及び補正実行部5は、上述した実施の形態1における補正制御部4及び補正実行部5と同一構成である。階調補正部6及び表示部8も、実施の形態1で説明した階調補正部6及び表示部8を同様な動作を行うため、それらの詳細な動作説明は省略する。
以上のように、実施の形態3による画像表示装置では、画素数情報値から判定された1フレーム分のコンテンツ特徴情報に基づいて、複数フレーム分の特徴量よりコンテンツの特徴を判定しているため、コンテンツの特性をより正確に判定することができる。また上記判定結果に基づき、画像信号Dbに対して階調補正を行っているため、階調補正を頻繁に行うことなくなり、最適なコントラスト調整が可能になる。
実施の形態3の画像表示装置に相当するコンテンツ特徴判定を、上述の特許文献2に記載の技術を用いて行うには、コンテンツを特徴付けるためのキーフレームを識別し、その情報を元にキーフレームと関連するフレーム番号を処理の間中に保持する必要がある。
しかしながら、実施の形態3による画像処理装置では、フレーム毎に特徴(コンテンツ特徴判定情報値Ji)を抽出しコンテンツ特徴を判定し、最終的に複数コンテンツ特徴検出部21によって得られた複数コンテンツ特徴情報値Fiに基づき階調補正部6により画像信号Dbに対して階調補正を行っているため、リアルタイム性を維持したコンテンツ特徴判定を行いながら、フレーム毎に最適なコントラスト調整が可能である。
<実施の形態4>
図24は、この発明の実施の形態4である画像表示装置の構成を示すブロック図である。実施の形態4による画像表示装置は、上述の実施の形態2による画像処理装置(図14参照)において、画像処理装置17の替わりに画像処理装置37を備えるものである。
実施の形態4による画像処理装置37は、輝度情報検出部19、複数輝度情報検出部22、コンテンツ特徴検出部40、及び複数コンテンツ特徴検出部21、階調補正部6とを備えている。階調補正部6は実施の形態1と同様、補正制御部4及び補正実行部5を内部に有している。
輝度情報検出部19は、受信部2から出力される画像信号Dbに含まれる輝度信号Yが入力され、当該輝度信号Yから各画素における輝度情報を検出して、ヒストグラムを作成し、ヒストグラムから得られる画素数情報値Niを出力する。
受信部2から出力された画像信号Dbは、画像処理装置37の輝度情報検出部19及び補正実行部5に入力される。輝度情報検出部19は、入力された画像信号Dbに含まれる輝度信号Yから、各画素における画素数情報値Niを検出して、複数輝度情報検出部22に出力する。
複数輝度情報検出部22は、画素数情報値Niをもとに複数フレーム分の積算および平均を計算し、複数画素数情報値Nicalとしてコンテンツ特徴検出部40に出力する。コンテンツ特徴検出部40は、複数画素数情報値Nicalをもとに映像コンテンツの特徴Jiを判定し、コンテンツ特徴判定情報値JMiを複数コンテンツ特徴検出部21に出力する。複数輝度情報検出部22及びコンテンツ特徴検出部40によって特徴判定部を構成する。
複数コンテンツ特徴検出部21はコンテンツ特徴判定情報値JMiをもとに複数フレーム分の映像コンテンツの特徴を判定し、複数コンテンツ特徴判定情報値Fiを補正制御部4に出力する。補正制御部4は、補正実行部5が画像信号Dbに対する階調補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴情報Fiに基づいて算出し、補正実行部5に出力する。
実施の形態4に係る輝度情報検出部19は、実施の形態3の輝度情報検出部19と同一構成であり(図17参照)、実施の形態3で説明した動作と同様な動作を行うため、輝度情報検出部19に関する詳細な動作説明は省略する。
複数輝度情報検出部22は、画素数情報値Niをもとにして、複数フレーム分の積算および平均を計算し、複数画素数情報値Nicalとしてコンテンツ特徴検出部20に出力する。具体的な例として、輝度情報検出部19から出力された最大輝度画素数情報値Nimaxを、一定フレーム数m個分演算し平均を求め、最大輝度画素数情報値Nicmaxとしてコンテンツ特徴検出部40に出力する。また中間輝度画素数情報値Nimidを、一定フレーム数m個分演算し平均を求め、中間輝度画素数情報値Nicmidとしてコンテンツ特徴検出部40に出力する。また最小輝度画素数情報値Niminを、一定フレーム数m個分演算し平均を求め、最小輝度画素数情報値Nicminとしてコンテンツ特徴検出部40に出力する。また平均階調情報値Yiaveを、一定フレーム数m個分演算し平均を求め、Yicaveとしてコンテンツ特徴検出部40に出力する。
なお、一定フレーム数mの輝度情報値Yiが入力後は、最新のmフレーム分の輝度情報値Yiを演算対象とすることにより、複数輝度情報検出部22は複数画素数情報値Nicalを1フレーム毎に順次出力することができる。
なお、最大輝度画素数情報値Nimax、中間輝度画素数情報値Nimid、最小輝度画素数情報値Nimin、及び平均階調情報値Yiave、すべての演算を行うことで平均値を求めるのではなく、一部の情報値に対してのみ演算のみ行って平均値を求めてもよい。
図25はコンテンツ特徴検出部40の構成例を詳細に示すブロック図である。図25に示すように、実施の形態4によるコンテンツ特徴検出部40は、最大輝度判定部401、中間輝度判定部402、最小輝度判定部403、及び平均輝度判定部404と、コンテンツ特徴判定部405とを備えている。
複数輝度情報検出部22から出力された最大輝度画素数情報値Nicmaxは最大輝度判定部401に入力され、中間輝度画素数情報値Nicmidは中間輝度判定部402に入力され、最小輝度画素数情報値Nicminは最小輝度判定部403に入力され、平均輝度情報値Yicaveは平均輝度判定部404に入力される。
最大輝度判定401は、最大輝度画素数情報値Nicmaxから最大輝度の大きさを分類して、その分類情報を規定した最大輝度数情報値D401(Nicmax情報値)を生成する。中間輝度判定部402は、中間輝度画素数情報値Nicmidから中間輝度の大きさを分類して、その分類情報を規定した中間輝度数情報値D402(Nicmid情報値)を生成する。最小輝度判定部403は、最小輝度画素数情報値Nicminから最小輝度の大きさを分類して、その分類情報を規定した最小輝度数情報値D403(Nicmin情報値)を生成する。平均輝度判定部404は、平均輝度情報値Yicaveから平均輝度の大きさを分類して、その分類情報を規定した平均輝度数情報値D404(Yicave情報値)を生成する。
最大輝度判定部401、中間輝度判定部402、最小輝度判定部403、及び平均輝度判定部404は、それぞれ実施の形態3における最大輝度判定部301、中間輝度判定部302、最小輝度判定部303及び平均輝度判定部304と同様な動作を行うため、これらの判定部401〜104に関する詳細な動作説明は省略する。
コンテンツ特徴判定部405は、実施の形態3のコンテンツ特徴判定部305と同様、4つの輝度数情報値D401〜D404の組み合わせから、図23に示すような組み合わせをもとにコンテンツ特徴判定を行い、コンテンツ特徴判定情報値JMiを出力する。ただし、図23におけるコンテンツ特徴判定情報値Jiはコンテンツ特徴判定情報値JMiに置き換えられる。
図25で示した構成のコンテンツ特徴検出部40は一例であり、コンテンツ特徴検出部40は、画素数情報値Nicalを基にして、コンテンツ特徴判定情報値JMiを出力可能な構成であればであればどのようなものでもよい。
画素数情報値Nicalを基にして、コンテンツ特徴判定情報値JMiを出力する手法の一例として画素数情報値Nicalの尤度を計算し、統計上の処理からコンテンツ特徴情報値Jiを出力する方法などが考えられる。
実施の形態4に係る複数コンテンツ特徴検出部21は、実施の形態1の複数コンテンツ特徴検出部11と同一構成のであり、その動作も実施の形態1で説明した動作と同様であるため、複数コンテンツ特徴検出部21に関する詳細な動作説明は省略する。
階調補正部6は、上述の実施の形態1による画像表示装置の階調補正部6と同様、同一構成の補正制御部4及び補正実行部5を備えている。実施の形態4による補正制御部4は、実施の形態1と同一構成であり、階調補正部6及び表示部8は、実施の形態1で説明した動作と同様な動作を行うため、これらに関する詳細な動作説明は省略する。
以上のように、実施の形態4に係る画像表示装置では、画素数情報値から、複数フレーム分の積算を行い平均を求めることにより、コンテンツ特徴判定情報値JMi段階で複数フレーム分の特徴量よりコンテンツの特徴を判定しているため、コンテンツの特性をより正確に判定することができる。また、最終的にコンテンツ特徴判定情報値JMiを解析対象として検出された複数コンテンツ特徴情報値Fiに基づき、階調補正部6により画像信号Dbに対して階調補正を行っているため、階調補正を頻繁に行うことなくなり、最適なコントラスト調整が可能になる。
実施の形態4の画像表示装置に相当するコンテンツ特徴判定を、上述の特許文献2に記載の技術を用いて行うには、コンテンツを特徴付けるためのキーフレームを識別し、その情報を元にキーフレームと関連するフレーム番号を処理の間中に保持する必要がある。
しかしながら、実施の形態4による画像処理装置では、一度、コンテンツ特徴判定情報値JMiが得られた後は、フレーム毎に特徴を抽出しコンテンツ特徴を判定することができるため、コンテンツ特徴判定情報値JMiより検出された複数コンテンツ特徴情報値Fiに基づき、画像信号Dbに対して階調補正を行うことにより、リアルタイム性を維持しながらコンテンツ特徴判定を行い、フレーム毎に最適なコントラスト調整が可能である。
なお、階調補正のリアルタイム性を少し失わすことになるが、複数輝度情報検出部22は複数画素数情報値Nicalをmフレーム毎に順次出力する対応も考えられる。
1 入力端子、2 受信部、4 補正制御部、5 補正実行部、6 階調補正部、7,17,27,37 画像処理装置、8 表示部、9,19 輝度情報検出部、10,20,30,40 コンテンツ特徴検出部、11,21 複数コンテンツ特徴検出部、12M22 複数輝度情報検出部、91,191 ヒストグラム生成部、92,192 最大階調検出部、93,193 中間階調検出部、94,194 最小階調検出部、95,195 平均輝度階調検出部、101,201,301,401 最大輝度判定部、102,202,302,402 中間輝度判定部、103,203,303,403 最小輝度判定部、104,204,304,404 平均輝度判定部、105,205,305,405 コンテンツ特徴判定部、192 最大輝度画素数検出部、193 中間輝度画素数検出部、194 最小輝度画素数検出部、195 平均輝度検出部。