JP2008166901A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2008166901A
JP2008166901A JP2006351023A JP2006351023A JP2008166901A JP 2008166901 A JP2008166901 A JP 2008166901A JP 2006351023 A JP2006351023 A JP 2006351023A JP 2006351023 A JP2006351023 A JP 2006351023A JP 2008166901 A JP2008166901 A JP 2008166901A
Authority
JP
Japan
Prior art keywords
value
luminance
determination
feature determination
content feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006351023A
Other languages
English (en)
Other versions
JP4298743B2 (ja
Inventor
Nobuhiko Yamagishi
宣比古 山岸
Hochi Nakamura
芳知 中村
Hironobu Yasui
裕信 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006351023A priority Critical patent/JP4298743B2/ja
Priority to US11/822,967 priority patent/US8558772B2/en
Publication of JP2008166901A publication Critical patent/JP2008166901A/ja
Application granted granted Critical
Publication of JP4298743B2 publication Critical patent/JP4298743B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】リアルタイム性を維持し、かつ、画像信号より得られるコンテンツの特徴を正確に認識し、階調補正を行うことができる画像処理装置を得る。
【解決手段】コンテンツ特徴判定部10は、輝度情報値Yiをもとに1フレーム分の映像コンテンツの特徴を判定し、コンテンツ特徴判定情報値Jiを得る。複数コンテンツ特徴検出部11は、判断速度情報値Siに基づく判断速度で、所定クレーム相当量のコンテンツ特徴判定情報値Jiを解析処理して複数コンテンツ特徴判定値Fiを得る。判断速度調整部3は、コンテンツ特徴判定値Ji及び複数コンテンツ特徴判定値Fiに基づき、コンテンツやジャンルの変化過程に最適と思われる判断速度情報値Siを算出する。補正制御部4は、補正実行部5が画像信号Dbに対する画像補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴情報Fiに基づいて算出し、補正実行部5に出力する。
【選択図】図1

Description

この発明は、デジタルテレビ放送受信機等の画像表示装置に関する。
従来の画像表示装置として例えば特許文献1に開示されているデジタルテレビ放送受信機がある。特許文献1に記載のデジタルテレビ放送受信機では、デジタル放送コンテンツとともに放送局から送られてくるジャンル情報を元に、出力映像特性及び出力音声特性をジャンル別にユーザの好みに応じて設定している。
また、ビデオコンテンツを特徴付ける方法が例えば特許文献2に開示されている。特許文献2に記載のビデオコンテントのヒストグラム式特徴付け方法では、ビデオコンテント内のキーフレームを識別することにより、そのキーフレームからヒストグラムを作成し、そのヒストグラムを分類することで番組の境界線とビデオコンテントの検索をつけている。
さらに、特許文献3に記載の画像処理装置では、入力された映像信号における輝度信号の累積ヒストグラムから輝度信号と出現頻度との関係を求め、映像に合わせて適切な階調パターンを選択し、映像信号を補正することで、高画質にしている。
特開平10−322622号公報 特表2002−520747号公報 特開2004−7301号公報
特許文献1において、ジャンル情報は、CS放送のようなデジタル放送の場合に、コンテンツ情報と同時に送られてくるものである。すなわち、ジャンル情報を含むこれらのコンテンツ情報は、従来のアナログ放送や、DVDなどの録画された映像には含まれていない情報である。また、送られてくる映像のジャンルが必ずしも視聴者が分類するジャンルに正しく分かれているわけではない。例えば、そのコンテンツがアニメであるのか映画であるのかという判断は、放送局から送られてくる情報により判定されているため、視聴者の分類と異なる場合がある。
特許文献2において、ジャンルはキーフレームを識別し、これをもとにヒストグラムに分解し、そのヒストグラムの分類からジャンルを判定し、番組の境界線と番組の検索をするために、映像をリアルタイムにジャンル別に判定することは出来ないという問題点があった。
すなわち、キーフレームが所定数のフレームの一の限定された特殊なフレームである関係上、そのようなキーフレームからジャンルを判定すると、必然的に映像をリアルタイムにジャンル別に判定することはできないという問題があった。
上記特許文献2の問題点を考慮した場合、例えば、入力された映像信号の輝度ヒストグラム等により映像の特徴量を抽出し、コンテンツの特徴に適応した画像処理を行うという一般的な手法が考えられるが、1フレーム分の画像信号から得られる特徴量は同一ジャンルであっても定まりにくく、画像処理を行った場合、不具合が生じることがあるという問題点があった。
また、特許文献3において、輝度の累積ヒストグラムから判定される階調補正カーブで映像信号の階調を補正しているが、コンテンツの特徴やジャンルの判定は行われていない。また映像の途中に階調補正パターンが切り替わることも考えられ、画質の変化が目立ちやすいという問題点があった。
この発明は上記問題点を解決するためになされたもので、リアルタイム性を維持し、かつ、画像信号より得られるコンテンツの特徴を正確に認識し、コンテンツの特徴あるいは特徴の変化過程に順応させて画像補正を行うことにより、画質の変化を抑えた画像補正を行うことができる画像処理装置を得ることを目的とする。
この発明に係る請求項1記載の画像表示装置は、画像信号を受け、1フレーム分の前記画像信号から得られる輝度信号に関するヒストグラムを作成し、当該ヒストグラムから、輝度関連情報値を出力する輝度情報検出部と、前記輝度情報検出部から出力される輝度関連情報値に基づいて、1フレーム分の前記画像信号に対する映像コンテンツの特徴判定を行い、特徴判定値を得るコンテンツ特徴判定部と、前記特徴判定値を所定フレーム分相当量解析することにより、複数特徴判定値を求める複数コンテンツ特徴判定部と、コンテンツ判定速度が可変設定可能な判断速度調整部とを備え、前記複数コンテンツ特徴判定部による前記複数特徴判定値を求めるための判定速度は前記コンテンツ判定速度に基づき決定され、前記複数特徴判定値に基づいて、1フレーム分の画像信号に対して画像補正を行う画像補正部をさらに備える。
この発明に係る請求項5記載の画像表示装置は、画像信号を受け、1フレーム分の前記画像信号から得られる輝度信号に関するヒストグラムを作成し、当該ヒストグラムから、輝度関連情報値を出力する輝度情報検出部と、前記輝度情報検出部から出力される輝度関連情報値に基づいて、1フレーム分の前記画像信号に対する映像コンテンツの特徴判定を行い、特徴判定値を得るコンテンツ特徴判定部と、前記特徴判定値を所定フレーム分相当量解析することにより、複数特徴判定値を求める複数コンテンツ特徴判定部と、前記複数特徴判定値に基づく補正パラメータによって、1フレーム分の画像信号に対して画像補正処理を行う画像補正部とを備え、前記画像補正部は、前記複数特徴判定値の入力から前記補正パラメータによる画像補正処理を行うまでの補正タイミングを可変設定可能な速度可変補正制御部を含む。
この発明に係る請求項1記載の画像表示装置における複数コンテンツ特徴判定部は、コンテンツ特徴判定部から出力される特徴判定値を、所定フレーム分相当量解析することにより、複数特徴判定値を求めるため、画像信号より得られるコンテンツの特性を正確に判定することができる。
そして、画像補正部によって、前記複数特徴判定値に基づき、1フレーム分の画像信号に対して画像補正が行われるため、別途画像補正操作を行うことなく自動的に画像補正を行うことができる。
加えて、複数コンテンツ特徴判定部は、判断速度調整部により得られるコンテンツ判定速度に基づいて、上記判定速度を決定するため、複数特徴判定値を求めるタイミングを適宜調整することができる。
この発明に係る請求項5記載の画像表示装置における複数コンテンツ特徴判定部は、コンテンツ特徴判定部から出力される特徴判定値を、所定フレーム分相当量解析することにより、複数特徴判定値を求めるため、画像信号より得られるコンテンツの特性を正確に判定することができる。
そして、画像補正部によって、複数特徴判定値に基づき、1フレーム分の画像信号に対して画像補正処理が行われるため、別途画像補正操作を行うことなく自動的に画像補正を行うことができる。
加えて、請求項5記載の画像表示装置において、画像補正部内の速度可変補正制御部は、複数特徴判定値の入力から上記画像補正処理が行われるまでの補正タイミングを適宜変更することができる。
<実施の形態1>
図1はこの発明の実施の形態1である画像表示装置の構成を示すブロック図である。同図に示すように、実施の形態1に係る画像表示装置は、入力端子1、受信部2、画像処理装置7、及び表示部8から構成される。
入力端子1には、テレビやコンピューター等で用いられている所定の形式の画像信号Daが入力される。受信部2は画像信号Daを、入力端子1を介して受信し、画像信号Daを画像処理装置7で処理可能な形式に変換して画像信号Dbとして出力する。例えば受信部2は、画像信号Daを、輝度信号Yを含むいくつかのデジタル形式の画像信号に変換した後、画像信号Dbとして出力する。上述した動作を行う受信部2は、画像信号Daがアナログ形式の信号の場合にはA/D変換器などで構成され、入力された画像信号Daがデジタル形式の信号の場合にはその形式に適合した所定の復調器等で構成される。
画像処理装置7は、輝度情報検出部9、コンテンツ特徴判定部10、複数コンテンツ特徴判定部11、判断速度調整部3及び画像補正部6から構成され、画像補正部6は、補正制御部4及び補正実行部5を有している。受信部2から得られる画像信号Dbは、画像処理装置7の輝度情報検出部9及び補正実行部5にそれぞれ入力される。
輝度情報検出部9は、画像信号Dbに含まれる輝度信号Yから、各画素における輝度関連情報値である輝度情報値Yiを検出して、コンテンツ特徴判定部10に出力する。コンテンツ特徴判定部10は、輝度情報値Yiをもとに1フレーム分の映像コンテンツの特徴を判定し、コンテンツ特徴判定値Ji(特徴判定値)を複数コンテンツ特徴判定部11及び判断速度調整部3にそれぞれ出力する。
複数コンテンツ特徴判定部11は判断速度情報値Siで指示する判定速度で、通常、複数フレーム分のコンテンツ特徴判定値Jiを解析して映像コンテンツの特徴を判定し、複数コンテンツ特徴判定値Fi(複数特徴判定値)を画像補正部6内の補正制御部4及び判断速度調整部3にそれぞれ出力する。
判断速度調整部3は、コンテンツ特徴判定部10により出力されるコンテンツ特徴判定値Ji、及び複数特徴判定部11により出力される複数コンテンツ特徴判定値Fiに基づき、コンテンツやジャンルの変化過程に最適と思われる判断速度情報値Siを算出し、複数特徴判定部11に出力する。
補正制御出力部4は、補正実行部5が画像信号Dbに対する画像補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴判定値Fiに基づいて算出し、補正実行部5に出力する。
一方、補正実行部5は、入力された補正パラメータPiを用いて、1フレーム分の画像信号Dbに対して階調補正等の画像補正処理を行い、画像補正後の信号を画像信号Dcとして表示部8に出力する。表示部8は、入力された画像信号Dcに基づいて画像を表示する。表示部8は、例えば、液晶ディスプレイ、DMD(Digital Micromirror Device)ディスプレイ、EL(ElectoroLuminescence)ディスプレイ、プラズマディスプレイ、CRT(Cathode-Ray Tube)ディスプレイであって、反射型、透過型、あるいは自発光デバイスなどのあらゆる表示手段を適応できる。
図2は図1で示した輝度情報検出部9の一内部構成例の詳細を示すブロック図である。図2に示されるように、実施の形態1の画像表示装置における輝度情報検出部9は、ヒストグラム生成部91、最大階調検出部92、中間階調検出部93、最小階調検出部94、及び平均輝度階調検出部95を備えている。
図2で示した例では、受信部2から得られ、輝度信号Yを含む画像信号Dbは、ヒストグラム生成部91に入力される。ヒストグラム生成部91は、1フレーム分の画像信号Dbにおける輝度信号Yのヒストグラムを生成する。以下、ヒストグラム生成部91により生成された画像信号Dbにおける輝度信号Yのヒストグラムを規定した情報を輝度ヒストグラム情報Dbyと呼ぶ。
図2で示した例において、入力映像信号である画像信号Dbがインターレス信号の場合は、2フィールド分を1フレーム分の映像信号として、ヒストグラム生成部91により変換を行い、輝度ヒストグラム情報Dbyを求める。このようにヒストグラム生成部91において、輝度ヒストグラム情報Dbyを求めるための前処理を行っても良い。
最大階調検出部92は、輝度ヒストグラム情報Dbyに基づき、ヒストグラム生成部91で生成されたヒストグラムから、1フレーム分の画像信号Dbにおける輝度信号最大階調値を検出して最大階調情報値Yimaxを出力する。
中間階調検出部93は、輝度ヒストグラム情報Dbyに基づき、ヒストグラム生成部91で生成されたヒストグラムから、1フレーム分の画像信号Dbにおける輝度信号中間階調値を検出して、中間階調情報値Yimidを出力する。
最小階調検出部94は、輝度ヒストグラム情報Dbyに基づき、ヒストグラム生成部91で生成されたヒストグラムから、1フレーム分の画像信号Dbにおける輝度最小階調値を検出して最小階調情報値Yiminを出力する。
平均輝度階調検出部95は、輝度ヒストグラム情報Dbyに基づき、ヒストグラム生成部91で生成されたヒストグラムから、1フレーム分の画像信号Dbにおける輝度信号平均階調値を検出して、平均階調情報値Yiaveを出力する。
図2で示し輝度情報検出部9の例では、輝度情報検出部9は最大階調情報値Yimax、中間階調情報値Yimid、最小階調情報値Yimin、及び平均階調情報値Yiaveの4通りの検出を行っているが、より詳しい検出値区分を設けても良いし、逆に検出区分を簡略化しても良い。
図3は、ヒストグラム生成部91が生成するヒストグラムの一例を示す図である。図中の横軸は階調値(階級)を示し、縦軸は度数、つまり1フレーム分の画像信号Dbの輝度に対する画素数を示している。なお以下の説明では、画像信号Dbの輝度信号Yは、例えば8ビットのデータで構成されており、その階調値が“0”から“255”までの値を採り、その階調数は“256”とする。映像信号Dbは本例では8ビットで表しているが、例えば10ビット、6ビットのような他の階調数で表しても良い。
実施の形態1に係るヒストグラム生成部91は、例えば256の階調数を8階調ごとに32の領域に分割し、当該32の領域をヒストグラムの階級としている。そして、各階級での中心値付近の値、本例では、当該中心値に最も近くそれよりも大きい整数値を当該階級の代表値としている。例えば、階調値“0”から“7”までで構成される階級では、中心値は“3.5”となるため、当該階級の代表値は“4”となる。図3の横軸の数字は各階級の代表値を示している。
なお、階級の中心値が整数であれば、当該中心値を当該階級の代表値としても良い。また、本例のように階級の中心値が整数でなく小数の場合であっても、階級の代表値として当該階級の中心値を採用しても良い。階級の中心値が小数の場合には、本例のように、階級の代表値として当該階級の中心値付近の整数を採用することによって、演算量を低減できる。
このように、実施の形態1に係るヒストグラム生成部91では、8つの連続する階調値からなる領域を一つの階級としているため、図3に示されるヒストグラムの各度数は、8階調分の信号の総和となる。例えば、横軸の数値4に示された度数は、1フレーム分の輝度信号Dbに含まれる、階調値0から階調値7までの信号の総和に相当する。
なお、図3のヒストグラムとは異なり、各階調値ごとに度数を計数してヒストグラムを生成してもよい。つまり、各階級を一つの階調値で構成するようにしても良い。この場合には、各階級の代表値は当該階級を構成する階調値そのものとなる。
また、階調数を分割する場合には、その分割数は32以外に設定しても良く、ヒストグラムの分割数や範囲を自由に設定しても良い。例えば、階調数が“256”の場合、階調値“0”から“32”と“200”から“255”の範囲を4階調刻み、その他を24刻みとすることもできる。このように当該分割数を変化させることによって、ヒストグラム生成部91での演算量や、ヒストグラムの精度を調節することができる。
最大階調検出部92は、以上のようにして生成されたヒストグラムにおいて、階級の最大から最小に向かって度数を累積し、それによって得られる累積度数HYWが所定の閾値YAよりも初めて大きくなる階級の代表値を抽出する。そして最大階調検出部92は、抽出した値を最大階調情報値Yimaxとして出力する。
一方、最小階調検出部94は、ヒストグラム生成部91で生成されたヒストグラムにおいて、階級の最小から最大に向かって度数を累積し、それによって得られる累積度数HYBが所定の閾値YBよりも初めて大きくなる階級の代表値を抽出する。そして最小階調検出部94は、抽出した代表値を最小階調情報値Yiminとして出力する。
また、中間階調検出部93は、以上のようにして生成されたヒストグラムにおいて、階級の最小から最大に向かって度数を累積し、それによって得られる累積度数HYBが所定の閾値YC(たとえば画素数全体の半分)よりも初めて大きくなる階級の代表値を抽出する。そして中間階調検出部93は、抽出した代表地を中間輝度階調Yimidとして出力する。尚、中間階調の検出は、累積度数HYWを用いてもよい。
図3に示されるヒストグラムでは、累積度数HYWが閾値YAよりも初めて大きくなる階級の代表値は“188”であるため、この“188”が最大階調情報値Yimaxとなる。このように、最大階調情報値Yimaxは1フレーム分の映像信号Dbにおける最大階調値“204”とは異なり、累積度数HYW及び閾値YAを用いて検出された最大階調値に準ずる値である。なお、処理の軽減のため最大階調値自体を最大階調情報値として用いてもよい。これは以下の最小階調情報値についても同様である。
また図3の例では、累積度数HYBが閾値YBよりも初めて大きくなる階級の代表値が“20”であるため、この“20”が最小階調情報値Yiminとなる。この最小階調情報値Yiminは、1フレーム分の画像信号Dbにおける最小階調値ではなく、累積度数HYB及び閾値YBを用いて検出された、最小階調値に準ずる値となる。
そして、累積度数HYBが閾値YCよりも初めて大きくなる階級の代表値は“76”であるため、この“76”が中間階調情報値Yimidとなる。通常、この中間階調情報値Yimidは、1フレーム分の画像信号Dbにおける全体の画素数の半分(50%)に達したときの階調値となる。
平均輝度階調検出部95は、1フレーム分の画像信号Dbから得られる輝度信号Dbyから、1フレーム分の輝度信号Dbyにおける平均輝度階調情報値を演算してこれを輝度信号平均階調情報値Yiaveとして出力する。具体的には、輝度信号階調数をYi、その輝度信号階調の画素数を“nYi”として以下の式(1)で計算する。
(輝度信号平均階調数)=Σ(Y×nYi)/ΣnYi…(1)
この平均輝度信号階調数を輝度信号平均階調情報値Yiaveとして出力する。
なお、上記した例では、累積度数HYW,HYB等は、ヒストグラム生成部91で生成していたが、最大階調検出部92、中間階調検出部93、最小階調検出部94、及び平均輝度階調検出部95内でそれぞれ生成しても良い。
上記のように、輝度情報値Yi、輝度ヒストグラム情報Dbyより統計的に分類される最大階調情報値Yimax等の情報値を含むため、1フレーム毎に統計的に分類された精度の高い輝度情報値を得ることができる。
さらに、輝度情報値Yiは、画像信号Dbにおける輝度信号Yの平均階調値を示す平均階調情報値Yiaveをさらに含むことにより、より精度の高い輝度情報値Yiを得ることができる。
また上記した例では、ヒストグラム生成部91により、ヒストグラムを均等に分割しているが、ヒストグラムを不均等に分割し、度数を計数する対象となる階調値の範囲を自由に設定できるように構成してもよい。これにより、演算量を低減することと、最小輝度情報値と最大輝度情報値条件が細かく設定できる。
例えば、最小輝度情報値条件を16階調、最大輝度情報値条件を160階調と設定した場合を想定する。均等分割をする場合には、最小輝度情報値条件に合致させるべく16階調ごとに分割を行うことで、16個の領域に分割することが考えられる。一方、不均等に分割できる場合、最低限0から16階調、16から160階調、160から255階調の3個の領域分割で上記した最小輝度情報値条件及び最大輝度情報条件値を満足させながら、分割数軽減に伴う大幅な演算量低減を図ることができる。
ここで作成されるヒストグラムの階調の範囲は、最小輝度情報値のみの階調の刻みを小さくしてもよいし、中間輝度情報値のみの階調の刻みを小さくしてもよいし、最大輝度情報値のみの階調の刻みを小さくしてもよい。刻み値の選定は、検出したいコンテンツの特徴やコンテンツのジャンルに合わせて選択してもよい。
図2で示した構成は、輝度情報検出部9の一構成例であり、輝度情報検出部9は、画像信号Dbに含まれる輝度信号Yあるいはそれに順ずる値を基にして、輝度情報値Yiが出力可能な構成であれば他にも多様な構成が考えられる。
図4はコンテンツ特徴判定部10の一構成例を詳細に示すブロック図である。同図に示すように、実施の形態1の画像表示装置におけるコンテンツ特徴判定部10は、最大輝度判定部101、中間輝度判定部102、最小輝度判定部103、平均輝度判定部104、及びコンテンツ特徴判定主要部105を備えている。
輝度情報検出部9から出力された最大階調情報値Yimax、中間階調情報値Yimid、最小階調情報値Yimin及び平均階調情報値Yiaveに関し、最大階調情報値Yimaxは最大輝度判定部101に入力され、中間階調情報値Yimidは中間輝度判定部102に入力され、最小階調情報値Yiminは最小輝度判定部103に入力され、平均階調情報値Yiaveは平均輝度判定部104に入力される。なお、輝度情報検出部9において新しい検出区分を設けた場合、コンテンツ特徴判定部10においても、新しい判定区分を設けてもよく、逆に輝度情報検出部9において検出区分を簡単化した場合は判定区分を簡単化しても良い。
最大輝度判定部101は、最大輝度情報値Yimaxから最大輝度の大きさを分類して、その分類情報を規定した最大輝度情報値D101(Yimax情報値)を生成する。中間輝度判定部102は、中間輝度情報値Yimidから中間輝度の大きさを分類して、その分類情報を規定した中間輝度情報値D102(Yimid情報値)を生成する。最小輝度判定部103は、最小輝度情報値Yiminから最小輝度の大きさを分類して、その分類情報を規定した中間輝度情報値D103(Yimin情報値)を生成する。平均輝度判定部104は、平均輝度情報値Yiaveから平均輝度の大きさを分類して、その分類情報を規定した平均輝度情報値D104(Yiave情報値)を生成する。
最大輝度判定部101は、最大輝度情報値Yimaxの値が、所定の最大輝度判定閾値Ymaxaより小さい値であるか、所定の閾値Ymaxa値とそれより大きな所定の閾値であるYmaxb値との間の値であるか、最大輝度判定閾値Ymaxbより大きい値であるかを判定する。そして、最大輝度判定部101は、3つの分類情報値Yimax小、Yimax中、及びYimax大のうち、いずれか一を指示する最大輝度情報値D101をコンテンツ特徴判定主要部105に出力する。
図5は最大輝度判定部101による最大輝度情報値D101の生成例を示す説明図である。同図に示すように、最大階調情報値Yimaxは、所定の閾値Ymaxa値と、閾値Ymaxaより大きな所定の閾値であるYmaxb値との間の値であるため、「Ymax中」を指示する最大輝度情報値D101が出力され、コンテンツ特徴判定主要部105に入力される。
図4に戻って、中間輝度判定部102は中間階調情報値Yimidの値が、所定の中間輝度判定閾値Ymidaより小さい値であるか、所定の閾値Ymida値とそれより大きな所定の閾値であるYmidb値との間の値であるか、最大輝度判定閾値Ymidbより大きい値であるかを判定する。そして、中間輝度判定部102は、3つの分類情報値Yimid小、Yimid中、及びYimid大のうち、いずれか一を規定した中間輝度情報値D102をコンテンツ特徴判定主要部105に出力する。
図6は中間輝度判定部102による中間輝度情報値D102の生成例を示す説明図である。同図に示すように、中間輝度情報値Yimidは、所定の閾値Ymida値とそれより大きな所定の閾値であるYmidb値との間の値であるため、「Yimid中」を指示する中間輝度情報値D102が、コンテンツ特徴判定主要部105に入力される。
図4に戻って、最小輝度判定部103は最小階調情報値Yiminの値が、所定の最小輝度判定閾値Yminaより小さい値であるか、所定の閾値Ymina値とそれより大きな所定の閾値であるYminb値との間の値であるか、最小輝度判定閾値Yminbより大きい値であるかを判定する。そして、最小輝度判定部103は、3つの分類情報値Yimin小、Yimin中、及びYimin大のうち、いずれか一を規定した中間輝度情報値D102をコンテンツ特徴判定主要部105に出力する。
図7は最小輝度判定部103による最小輝度情報値D103の生成例を示す説明図である。同図に示すように、最小階調情報値Yiminは、所定の閾値Yminaより小さい値であるため、「Yimin小」を指示する最小輝度情報値D103が出力されコンテンツ特徴判定主要部105に入力される。
図4に戻って、平均輝度判定部104は、式(1)より計算された平均輝度情報値Yiaveの値が、所定の平均輝度判定閾値Yaveaより小さい値であるか、所定の閾値Yavea値とそれより大きな所定の閾値であるYaveb値との間の値であるか、平均輝度判定閾値Yavebより大きい値であるかを判定する。そして、平均輝度判定部104は、3つの分類情報値Yiave小、Yiave中、Yiave大のいずれか一を指示する平均輝度情報値D104をコンテンツ特徴判定主要部105に出力する。
コンテンツ特徴判定主要部105は、4つの輝度情報値D101〜D104の組み合わせ内容に基づきコンテンツ特徴判定値Jiを判定して、複数コンテンツ特徴判定部11及び判定速度調整部3にそれぞれ出力する。
図8はコンテンツ特徴判定主要部105によるコンテンツ特徴判定値Jiの判定内容(その1)を表形式で示す説明図である。同図に示すように、輝度情報値D101〜D104による81通り(3×3×3×3)の組み合わせにより81種類のコンテンツ特徴判定値Jiが判定される。
なお、コンテンツ特徴判定主要部105によるコンテンツ特徴判定の組み合わせ内容は、観視者の好みや映像データベースを元に任意に作成することが出来る。図8の例では、平均輝度判定値Yiaveが「小」、最小階調情報値Yiminが「小」、中間階調情報値Yimidが「小」、最大階調情報値Yimaxが「小」であれば、判定種別であるコンテンツ特徴J1を指示するコンテンツ特徴判定値Jiが複数コンテンツ特徴判定部11及び判定速度調整部3にそれぞれ出力される。
また、コンテンツ特徴判定主要部105は、4つの輝度情報値D101〜D104のうちの3つ以下の情報のみを使用して判定してもよい。例えば平均輝度情報値D104のみでコンテンツ特徴を分類する、平均輝度情報値D104と最大輝度情報値D101の2つの組み合わせで分類する、など情報値を選択できる。このように、輝度情報値D101〜D104内の情報量を減らすことによって、特徴検出の速度を速め、必要なメモリー容量を減らすことが出来る。また、輝度判定値D101〜D104をそれぞれ閾値により大中小の3通りに分類したが、3通り以外に分類してもでもよい。
図4で示したコンテンツ特徴判定部10は一構成例であり、コンテンツ特徴判定部10は、輝度情報値Yiに基づき、コンテンツ特徴判定値Jiを決定できる構成であれば他にも多様な構成が考えられる。
輝度情報値D101〜D104を基にして、コンテンツ特徴判定値Jiを出力する手法の一例として輝度情報値D101〜D104の尤度を計算し、統計上の処理からコンテンツ特徴判定値Jiを出力する方法などが考えられる。
また、輝度情報値Yiに基づき、コンテンツ特徴判定値Jiを求める手法の例として以下の態様が考えられる。すなわち、1フレーム分の画像信号から得られる輝度信号に関するヒストグラムを作成し、該当ヒストグラムから出力される輝度情報値Yiに基づいて、複数フレーム分の平均値を求めるという、コンテンツ特徴判定部10の他の態様が考えられる。このように、コンテンツ特徴判定部10の他の態様として、複数フレーム分相当の新しい輝度情報値(複数フレーム分の平均値)を算出し、画像信号に対する映像コンテンツの特徴判定を行いコンテンツ特徴判定値Jiを得る構成が考えられる。
このようなコンテンツ特徴判定部10の他の構成のように、1フレーム分の画像信号Dbから得られる輝度情報値Yiを、複数フレーム分の演算により新しい輝度情報値Yiを求め、画像信号に対する映像コンテンツの特徴判定を行ってもよい。
上記したコンテンツ特徴判定部10の他の態様は、複数フレーム分の画像信号Db対する映像コンテンツの特徴判定を行い特徴判定値を得るため、より精度の高い特徴判定値を得ることができる。
図9はコンテンツ特徴判定主要部105によるコンテンツ特徴判定値Jiの判定内容(その1)を表形式で示す説明図である。図9で示す判定内容では、輝度情報値D101〜D104による81通り(3×3×3×3)の組み合わせに基づき、映像ジャンルごとに5種類のコンテンツ特徴判定値Jiに分類した判定内容例である。
図9で示される分類は、様々なジャンルの映像コンテンツを調査し、統計的に分布特徴を分類することでデータベース化し、各コンテンツ特徴判定値Jiとの対応付けを行っている。本例ではジャンルを5種類に分類しているが、分類を行う種類はいくつでもよい。図9に示すように、コンテンツ特徴判定部10のコンテンツ特徴判定主要部105から、コンテンツの特徴情報値Jiとして、J1〜J5のいずれかが出力される。例えば、平均輝度情報値Yiaveが「小」、最小階調情報値Yiminが「小」、中間階調情報値Yimidの値が「小」、最大階調情報値Yimaxが「小」あれば、コンテンツ特徴判定値Jiは「J4(映画)」と判断され出力される。
上記した例では、5つの映像ジャンルで分類したため、分類名を代表的なジャンル名で呼ぶこととする。図9の分類で、スポーツ(コンテンツ特徴判定値J1)は、主にスポーツや自然画のジャンルで、サッカーや野球の芝生のグリーンのあるような映像でヒストグラム分布はガウス分布または平均的に全ての階調に広がっている特徴を持つ。
一方、音楽(コンテンツ特徴判定値J2)は、主に音楽のミュージッククリップ等のジャンルで、明暗を使った映像で、白側と黒側に高い分布がある特徴を持つ。
スタジオ(コンテンツ特徴判定値J3)は、主にバラエティや報道のジャンルで、スタジオ内撮影の映像で、平均輝度が高く白側に高い分布がある特徴を持つ。
映画(コンテンツ特徴判定値J4)は主にジャンルは映画で、暗いシーンが多く、黒側に高い分布がある特徴を持つ。
ドラマ・アニメ(コンテンツ特徴判定値J5)は、主にドラマやアニメのジャンルで、黒が少ないが低い輝度に高い分布がある特徴を持つ。
このように、図9で示したコンテンツ特徴判定値Jiの判定内容を有するコンテンツ特徴判定部10(コンテンツ特徴判定主要部105)は、輝度情報値D101〜D104の組合せに基づき、5つの映像ジャンルのいずれかを指示するコンテンツ特徴判定値Jiを出力することができる。
図9で示した判定内容で判定するコンテンツ特徴判定部10(コンテンツ特徴判定主要部105)より判別されたジャンルは、映像の画像信号Daを基にして判断しているため、各コンテンツの特徴判定値Jiは、それぞれ代表的なジャンルの映像特徴に近いということを示している。例えば、入力映像がスポーツをテーマにした映画であった場合、映画(J4)ではなく、スポーツ(J1)に分類される。
コンテンツ特徴検出において、ジャンル判別の精度を上げるために、既知の他手法と併用しても良い。他手法の例としては、特許文献1にあるようなデジタル番組表のジャンル情報などが挙げられる。
このように、コンテンツ特徴判定部10では、映像信号から得られた1フレーム分の輝度ヒストグラムを基にして、統計的に特徴を分類することで、映像のコンテンツ特徴やジャンルを判定することができる。
なお、コンテンツ特徴判定部10は1フレーム分の画像信号Dbに対する映像コンテンツの特徴判定を行ってコンテンツ特徴判定値Jiを判定したが、コンテンツ特徴判定部10に代えて上述したコンテンツ特徴判定部10の他の態様を設けることも考えられる。すなわち、コンテンツ特徴判定部10に代えて、複数フレーム分の画像信号Dbに対する映像コンテンツの特徴判定を行いコンテンツ特徴判定情報値Jiを得るコンテンツ特徴判定部10の他の態様を用いる構成も考えられる。
複数コンテンツ特徴判定部11は、入力されたコンテンツ特徴判定値Jiに基づき、通常は複数クレーム相当量の解析処理を行い、判断速度調整部3より出力される判断速度情報値Siに基づく判断速度で上記解析処理を行い、複数のコンテンツ特徴値Jiを反映した複数コンテンツ特徴判定値Fiを求める。これにより、複数フレームのコンテンツ特徴判定値Jiと比較して、より精度の高く、安定したコンテンツ判定を行うことができる。
また、複数コンテンツ特徴判定部11は、判断速度調整部3により得られる判断速度情報値Siに基づき判定速度が決定されるため、コンテンツの特徴に合わせてコンテンツの判断を行うタイミングを調整することができる。以下、この点を詳述する。
判断速度調整部3は、コンテンツ特徴判定値Ji及び複数コンテンツ特徴判定値Fiに基づいて判断速度情報値Siを可変設定する。このため、判断速度情報値Siに基づく判定速度で判定処理を行う複数コンテンツ特徴判定部11は、コンテンツ特徴判定値Ji及び複数コンテンツ特徴判定値Fiの組合せ内容によって指示される映像コンテンツの特徴に適合した判定速度で判定処理を行うことができる。
なお、実施の形態1では判断速度調整部3はコンテンツ特徴判定値Ji及び複数コンテンツ特徴判定値Fiに基づき判断速度情報値Siを決定しているが、判断速度調整部3は、コンテンツ特徴判定値Jiあるいは複数コンテンツ特徴判定値Fiに基づき判断速度情報値Siを決定しても良い。この場合、コンテンツ特徴判定値Jiあるいは複数コンテンツ特徴判定値Fiのいずれかの値によって指示される映像コンテンツの特徴に適合した判定速度で判定処理を行うことができる効果を奏する。
複数コンテンツ特徴判定部11における解析処理の手法のひとつの例として、複数コンテンツ特徴判定部11は、順次入力されたコンテンツ特徴判定値Jiもとに、1フレーム分の特徴判定値Ji(判定種別)を加算する手法(第1の判断例)が挙げられる。この第1の判断例は、加算時に同一のコンテンツ特徴判定値Ji(判定種別)が判断速度調整部3により出力される判断速度情報値Siに基づいた一定判断数N1(所定の出現数,所定フレーム相当量)に達した場合に、複数コンテンツ特徴判定値Fiとして判断する手法である。
具体的には、例えば一定判断数N1が“10”である場合、図10に示すように1フレーム毎のコンテンツ特徴判定値Jiを、複数フレーム分加算する。本例において、最も早く一定判断数N1の“10”に達したコンテンツ特徴判定値は、「J3」であるため、複数コンテンツ特徴判定値Fiは、「J3」であると検出され、特徴判定値J3を指示する複数コンテンツ特徴判定値Fiが判断速度調整部3及び画像補正部6内の補正制御部4に入力される。
また、他の手法の例として、複数コンテンツ特徴判定部11は、順次入力されるコンテンツ特徴判定値Jiをもとに、1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が連続して、判断速度調整部3により出力される判断速度情報値Siに基づいた一定判断数N2(所定の連続出現数,所定フレーム相当量)に達した場合に、複数特徴判定値Fiとして判断する手法(第2の判断例)が挙げられる。
具体的には、例えば一定判断数N2が“10”である場合、図11に示すように1フレーム毎のコンテンツ特徴判定値Jiを、複数フレーム分加算する。本例において、4フレーム目から13フレーム目まで連続してコンテンツ特徴判定値は「J3」である。そのため、最も早く連続して一定判断数N2の“10”に達したコンテンツ特徴判定値は「J3」となる。複数コンテンツ特徴判定値Fiは「J3」であると判定され、特徴判定値J3を指示する複数コンテンツ特徴判定値Fiが、判断速度調整部3及び画像補正部6内の補正制御部4に入力される。
また、他の手法として、複数コンテンツ特徴判定部11は、入力されたコンテンツ特徴判定値Jiにもとに、1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が判断速度調整部3により出力される判断速度情報値Siに基づいた一定判断数N3内(所定期間内;所定フレーム相当量)において最大の出現度を持つ場合に、複数特徴判定値Fiとして判断する手法(第3の判断例)が挙げられる。
具体的には、例えば一定判断数N3が“15”である場合、図12に示すように1フレーム毎のコンテンツ特徴判定値Jiを、一定判断数N3である15フレーム分加算する。本例において、15フレーム内における、各コンテンツ特徴判定値の出現度は、J1が0回、J2が7回、J3が6回、J4,J5が各1回となる。最大の出現度を持つ特徴判定値は、7回の判定が行われている特徴判定値種別は「J2」である。そのため、特徴判定値J2を指示する複数コンテンツ特徴判定値Fiが、判断速度調整部3及び画像補正部6内の補正制御部4に入力される。
このように実施の形態1の映像表示装置の複数コンテンツ特徴判定部11の第1〜第3の判断例によれば、順次得られるコンテンツ特徴判定値Jiが指示する判定種別を計算し、コンテンツ特徴判定値Jiを複数フレーム分相当量解析することにより、コンテンツ特徴判定値Jiに比べて精度の高い複数コンテンツ特徴判定値Fiを得ることができる。
また、本実施の形態1に係る複数コンテンツ特徴判定部11は、上記3手法(第1〜第3の判断例)に代表される解析処理の組み合わせにより、複数個組み合わせて実施してもよい。
たとえば、一定判断数Naとして1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が一定判断数Naに達した後、一定判断数Nbとして1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が連続して一定判断数Nbに達した場合に、複数コンテンツ特徴判定値Fiとして判断するなどの組み合わせが考えられる。
また、他の組み合わせの手法として、一定判断数Naとして1フレーム分の特徴判定値Jiを加算し、複数コンテンツ特徴判定値Faiを求めた後、複数コンテンツ特徴判定値Faiを加算し、複数コンテンツ特徴判定値Fiを求めてもよい。本例では2回の組み合わせであるが、2回以上の組み合わせを行ってもよい。
このように、コンテンツ特徴判定値Jiに基づく、上述した第1〜第3の判断基準に少なくとも一つの判断基準を含む複数種の組み合わせで複数コンテンツ特徴判定値Fiを求めることにより、複数コンテンツ特徴判定値Fiを決定する際、決定するまでの速度や精度の調節が可能となり、順応性に富んだ階調補正が可能となる。
実施の形態1に係る複数コンテンツ特徴判定部11は、複数コンテンツ特徴判定値Fiとして、コンテンツ特徴判定値Jiをそのまま出力してもよい。すなわち、複数コンテンツ特徴判定部11を省略してコンテンツ特徴判定部10から出力されるコンテンツ特徴判定値Jiがそのまま判断速度調整部3及び補正制御部4に取り込まれる構成を採用することもできる。すなわち、所定フレーム相当量が1フレームの複数コンテンツ特徴判定部11によってコンテンツ特徴判定値Jiをそのまま複数コンテンツ特徴判定値Fiとして出力する構成も考えられる。
その結果、複数コンテンツ特徴判定部11の構成を簡略化できる分、装置構成の簡略化を図ることができる。
複数コンテンツ特徴判定部11において、電源を入れた直後等、複数コンテンツ特徴判定値Fiが定まっていない際には、複数コンテンツ特徴判定値Fiが不定であることを意味する、例えばノーマルなどのジャンルを独自に設定しても良い。
本実施の形態1に係る複数コンテンツ特徴判定部11により、同一ジャンル内で、ある1フレームのみコンテンツの内容が大幅に変わった場合においても、当該フレームにおけるコンテンツ特徴判定値Jiの判定種別は、複数コンテンツ特徴判定部11における解析処理により自動的に除去され、極端な画質補正が行われることを防ぐことができる。すなわち、1フレーム毎に映像コンテンツが切り替わるような映像の場合に、複数コンテンツ特徴判定部11により、1フレームごとに画質が切り替わることを防止でき、不自然な映像になることを防止することができる。
複数コンテンツ特徴判定部11(及びコンテンツ特徴判定部10)は、輝度情報値Yiから、映像コンテンツの特徴量をより正確に判定する手法として、映像表示装置に限らず映像に関わる他分野での利用も考えられる。他の分野での利用として、例えば、ハードディスクやDVD等の映像レコーダー等の映像記録装置が上げられる。
前述したように、判断速度調整部3は、コンテンツ特徴判定部10により出力されるコンテンツ特徴判定値Ji及び、複数特徴判定部11により出力される複数コンテンツ特徴判定値Fiを基にして、コンテンツやジャンルの変化過程に最適と思われる判断速度情報値Siを算出し、複数特徴判定部11に出力する。
図13は判断速度調整部3による判断速度情報値Siの調整内容の一例を示す説明図である。同図に示すように、コンテンツ特徴判定値Jiと複数コンテンツ特徴判定値Fiとの組み合わせに対して、それぞれ対応した判断速度情報値Si(S01〜S05,S11〜S15,S21〜S25,S31〜S35,S41〜S45,S51〜S55)を求める。
具体的には、例えばコンテンツ特徴判定値Jiが特徴判定値J3、複数コンテンツ特徴判定値Fiが複数特徴判定値F4を指示する値であった場合に、判断速度情報値S43を指示する判断速度情報値Siが決定され、複数特徴判定部11に出力される。
これにより、例えば図9で利用した例を用いて説明すると、複数特徴判定値(F4)が示す映画のような全体的に暗いシーンが多いジャンルから、特徴判定値(J3)が示すバラエティや報道などの平均輝度が高く明るいシーンが多いジャンルに変化した瞬間には、画像補正部6において行われる画像補正は、現在の判定コンテンツである複数特徴判定値(F4)により行われているため、画像補正の特徴が正反対のものになっている。そのため、判断速度情報値S43を比較的高速判断を指示する内容に設定することで、不自然な画像補正が行われる期間を限りなく短く設定し、不自然な画像補正が目立たないようにすることができる。
高速判断を指示する判断速度情報値S43を受けた複数コンテンツ特徴判定部11は、比較的高速な判断速度で複数コンテンツ特徴判定値Fiを判定する。例えば、上述した第1〜第3の判断例で行う場合、比較的低速判断を指示する判断速度情報値Siを受けた場合に比べ、所定フレーム相当量である一定判断数N1〜N3の値を小さい値に設定する等の対応を行う。なお、複数コンテンツ特徴判定部11が上述した第1〜第3の判断例以外の判断を行う場合は、より高速に判断可能な他の手法によって高速判断を行うことになる。
このように、複数コンテンツ特徴判定部11は、判断速度情報値Siに基づき、所定フレーム分相当量である一定判断数N1〜N3の値を決定することにより、複数コンテンツ特徴判定値Fiを求めるタイミングを適宜調整することができる。判断速度情報値Siは前述したように、判断速度調整部3によって、コンテンツ特徴判定値Ji及び複数コンテンツ特徴判定値Fiに基づき決定される。
その結果、複数コンテンツ特徴判定部11は、コンテンツ特徴判定値Ji及び複数コンテンツ特徴判定値Fiで指示されるジャンル等の映像コンテンツの特徴に合致する判定速度(一定判断数N1〜N3に基づく判断等)で複数コンテンツ特徴判定値Fiを得ることができる。
判断速度調整部3による判断速度情報値Si決定の他の例について説明する。複数コンテンツ特徴情報値Fiが定まっていない際(もしくはこれといった特徴がない場合)に設定されるノーマルなどのジャンルであった場合には、複数コンテンツ特徴判定値Fiとして「F0」が決定する。このように、ジャンルが決まっていない場合、効果的な画像補正を行うことができない。このため、ジャンルを判断するための基準を満たした場合には、比較的早期に新しい複数コンテンツ特徴判定値Fi判断する必要がある。したがって、図13で示した判断速度情報値Siのうち、判断速度情報値S0i(S00,S01,S02,S03,S04,S05)の値を高速判断を指示する内容に設定することにより、複数コンテンツ特徴判定部11による初回の判断速度、特徴のない画像からの判断速度を向上させることができる効果を奏する。
上記した例では、判断速度調整部3はコンテンツ特徴判定値Ji及び複数コンテンツ特徴判定値Fiに基づき判断速度情報値Siを求めているが、前述したように、複数コンテンツ特徴判定値Fiのみ、あるいはコンテンツ特徴判定値Jiのみを利用して判断速度情報値Siを調整してもかまわない。
また判断速度調整部3による判断速度情報値Siを決定する情報としては、コンテンツ特徴判定値Ji、複数コンテンツ特徴判定値Fi以外の情報も考えられる。すなわち、判断速度調整部3は、画像信号Da(Db)に含まれる特徴に関するあらゆる情報に基づき、断速度情報値Siを調整できる構成であれば他にも多様な構成が考えられる。また、音声信号などのように画像信号以外の信号により調整を行ってもよい。
補正制御部4は、複数コンテンツ特徴判定値Fiに対応した補正パラメータPiを選択して、補正実行部5に出力する。具体的には、コンテンツ特徴判定値Jiが図8で示した輝度情報値D101〜D104の組み合わせによって特徴判定値J1を指示するときには、複数コンテンツ特徴判定値Fiは複数特徴判定値F1を指示し、複数特徴判定値F1対応する補正パラメータP1が選定される。補正パラメータPiは、ジャンルの傾向や特性を基に、視観者の好みやシステムに応じ、自由に調整可能である。
補正制御部4から補正実行部5に出力される、複数コンテンツ判定値Fiに対する映像補正値Piは、例えば、映像コントラストによる輝度制御、シャープネスによる鮮鋭度制御、色の濃さ、3次元(3D)ノイズリダクションによるノイズ除去制御、ガンマ補正による輝度補正等である。
図14は、5つのジャンルに分類された複数コンテンツ特徴判定値Fiに対する補正制御部4の出力の一例である。補正制御部4の補正パラメータPiの設定は、例えば、複数コンテンツ特徴判定値Fiが指示する値がスポーツ(F1)の場合、本映像の特徴として輝度は中間調の多い、平均的に全ての階調に広がっていることが挙げられるため、ガンマ補正は、x軸が入力信号(画像信号Db)の階調値、y軸は出力される階調値(画像信号Dc)として直線型になり、コントラストは「中」とする。自然画のため、シャープネスは「低」、色の濃さは「中」とする。スポーツであるため激しい動きに対応すべく、3次元処理の3Dノイズリダクションは動画では尾引きする場合があるため「低」とするなどの設定が可能である。
ここで、準備される補正パラメータPiは、輝度情報値による組み合わせの数だけ配備してもよいし、コンテンツ特徴の種類の数と同じ数であってもよい。
補正実行部5は、当該補正パラメータPiに基づいて階調補正等の画像補正を行う。この画像補正は、1フレームごとに行う。
補正実行部5は、フレームバッファ等を利用することにより、映像信号Dbを遅らせることで、複数コンテンツ特徴判定値Fiを求めた際に解析した映像信号Dbから画像補正を開始してもよい。また、複数コンテンツ特徴判定値Fiを求めた際に解析した映像信号Dbの後、新しく得られるフレームの画像信号Dbから画像補正を開始してもよい。
以上のように、本実施の形態1に係る画像表示装置では、輝度情報値から判定された1フレーム分のコンテンツ特徴情報(コンテンツ特徴判定値Ji)に基づいて、複数フレーム分の特徴量よりコンテンツの特徴(複数コンテンツ特徴判定値Fi)を判定しているため、コンテンツの特性をより正確に判定することができる。
また、複数コンテンツ特徴判定部11は判断速度情報値Siに基づいて、複数コンテンツ特徴判定値Fiの判定速度を適宜変更することができるため、コンテンツの特徴変化に合致させてコンテンツ特徴の判断を行うタイミングを調整し、画像補正を行うタイミングを調整することができる。これにより画質の変化が目立たない画像補正を行うことができる。
一方、本実施の形態と同様なことを、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行うには、コンテンツを特徴付けるためのキーフレームを識別し、その情報を元にキーフレームと関連するフレーム番号を処理の間中に保持する必要がある。
特許文献3では、映像信号のコンテンツ特徴やジャンルは判別していない。本実施の形態1に係る画像処理装置では、映像の特徴に合わせてジャンルに基づくき判定速度を変更すると共に、コンテンツ特徴やジャンルが判別できるため、輝度補正のみならず、コンテンツ特徴やジャンルに適応した色やシャープネス、動画応答、デバイスの制御などの様々な画像補正が行える。
<実施の形態2>
図15は、この発明の実施の形態2である画像表示装置の構成を示すブロック図である。実施の形態2に係る画像表示装置は、上述の実施の形態1に係る画像処理装置において、画像処理装置7の替わりに画像処理装置17を備えるものである。
実施の形態2に係る画像処理装置17は、輝度情報検出部9、コンテンツ特徴判定部10、複数コンテンツ特徴判定部21、及び速度可変画像補正部16を備えている。
受信部2から出力された画像信号Dbは、画像処理装置17の輝度情報検出部9及び速度可変画像補正部16内の補正実行部5に入力される。輝度情報検出部9は、入力された画像信号Dbに含まれる輝度信号Yから、各画素における輝度情報値Yiを検出して、コンテンツ特徴判定部10に出力する。
コンテンツ特徴判定部10は、輝度情報値Yiをもとに1フレーム分の映像コンテンツの特徴を判定し、コンテンツ特徴判定値Jiを複数コンテンツ特徴判定部21に出力する。
複数コンテンツ特徴判定部21はコンテンツ特徴判定値Jiに基づき複数フレーム分の映像コンテンツの特徴を判定し、複数コンテンツ特徴判定値Fiを速度可変画像補正部16内の速度可変補正制御部14に出力する。
速度可変補正制御部14は、補正実行部5が画像信号Dbに対する階調補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴判定値Fiに基づいて算出し、複数コンテンツ特徴判定値Fiに基づいて、補正パラメータPiによる補正の開始時間、すなわち、複数コンテンツ特徴判定値Fiの受信時を基準とした補正パラメータPiの適用タイミングを調整し、調整したタイミングで補正パラメータPiを補正実行部5に出力する。
実施の形態2に係る輝度情報検出部9は、実施の形態1と同様な構成であり、実施の形態1で説明した動作と同じ動作を行うため、それらの詳細な動作説明は省略する。
実施の形態2に係るコンテンツ特徴判定部10は、実施の形態1と同様な構成であり、それらの詳細な動作説明は省略する。ただし、実施の形態1とは異なり、コンテンツ特徴判定部10は、コンテンツ特徴判定値Jiを複数コンテンツ特徴判定部21のみに出力する。
複数コンテンツ特徴判定部21は、入力されたコンテンツ特徴判定値Jiに基づき、複数フレーム分のコンテンツ特徴判定値Jiに対する解析処理を行い、複数のコンテンツ特徴値Jiを反映した複数コンテンツ特徴判定値Fiを求める。これにより、複数フレームのコンテンツ特徴判定値Jiと比較して、より精度の高く、安定したコンテンツ判定を行うことができる。
複数コンテンツ特徴判定部21における解析処理の手法のひとつの例として、複数コンテンツ特徴判定部21は、順次入力されたコンテンツ特徴判定値Jiもとに、1フレーム分のコンテンツ特徴判定値Ji(判定種別)を加算し、同一の特徴判定値(判定種別)が一定判断数N1(所定の出現数;所定フレーム分相当量)に達した場合に、複数コンテンツ特徴判定値Fiとして判断する手法(第1の判断例)が挙げられる。なお、第1の判断例の詳細は、図10で示した実施の形態1の複数コンテンツ特徴判定部11の判断内容と同様である。
また、他の手法の例として、複数コンテンツ特徴判定部21は、順次入力されるコンテンツ特徴判定値Jiをもとに、1フレーム分のコンテンツ特徴判定値Jiを加算し、同一の特徴判定値が連続して、一定判断数N2(所定の連続出現数;所定フレーム分相当量)に達した場合に、複数コンテンツ特徴判定値Fiとして判断する手法(第2の判断例)が挙げられる。なお、第2の判断例の詳細は、図11で示した実施の形態1の複数コンテンツ特徴判定部11の判断内容と同様である。
また、他の手法として、複数コンテンツ特徴判定部21は、入力されたコンテンツ特徴判定値Jiにもとに、1フレーム分のコンテンツ特徴判定値Jiを加算し、同一の特徴判定値が一定判断数N3内(所定期間内;所定フレーム分相当量)において最大の出現度を持つ場合に、複数特徴判定値Fiとして判断する手法(第3の判断例)が挙げられる。なお、第3の判断例の詳細は、図12で示した実施の形態1の複数コンテンツ特徴判定部11の判断内容と同様である。
このように実施の形態2の映像表示装置の複数コンテンツ特徴判定部21の第1〜第3の判断例によれば、実施の形態1の複数コンテンツ特徴判定部11と同様、順次得られるコンテンツ特徴判定値Jiが指示する判定種別を計算し、コンテンツ特徴判定値Jiを、原則、複数フレーム分相当量解析することにより、コンテンツ特徴判定値Jiに比べて精度の高い複数コンテンツ特徴判定値Fiを得ることができる。
また、実施の形態2による複数コンテンツ特徴判定部21においても、実施の形態1の複数コンテンツ特徴判定部11と同様、上記3手法(第1〜第3の判断例)に代表される解析処理の組み合わせにより、複数個組み合わせて実施してもよい。
たとえば、一定判断数Naとして1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が一定判断数Naに達した後、一定判断数Nbとして1フレーム分の特徴判定値Jiを加算し、同一の特徴判定値が連続して一定判断数Nbに達した場合に、複数コンテンツ特徴判定値Fiとして判断するなどの組み合わせが考えられる。
また、他の組み合わせの手法として、一定判断数Naとして1フレーム分の特徴判定値Jiを加算し、複数コンテンツ特徴判定値Faiを求めた後、複数コンテンツ特徴判定値Faiを加算し、複数コンテンツ特徴判定値Fiを求めてもよい。本例では2回の組み合わせであるが、2回以上の組み合わせを行ってもよい。
このように、実施の形態2の複数コンテンツ特徴判定部21は、コンテンツ特徴判定値Jiに基づく、上述した第1〜第3の判断基準に少なくとも一つの判断基準を含む複数種の組み合わせで複数コンテンツ特徴判定値Fiを求めることにより、複数コンテンツ特徴判定値Fiを決定する際、決定するまでの精度の調節が可能となり順応性に富んだ階調補正が可能となる。
実施の形態2の画像処理装置17内の複数コンテンツ特徴判定部21は、複数コンテンツ特徴判定値Fiとして、コンテンツ特徴判定値Jiをそのまま出力してもよい。すなわち、複数コンテンツ特徴判定部21を省略してコンテンツ特徴判定部10から出力されるコンテンツ特徴判定値Jiがそのまま速度可変補正制御部14に取り込まれる構成を採用することもできる。この場合、複数コンテンツ特徴判定部21における所定フレーム分相当量は1フレーム分となる。
複数コンテンツ特徴判定部21において、電源を入れた直後等、複数コンテンツ特徴判定値Fiが定まっていない際には、複数コンテンツ特徴判定値Fiが不定であることを意味する、例えばノーマルなどのジャンルを独自に設定しても良い。
実施の形態2における複数コンテンツ特徴判定部21により、実施の形態1の複数コンテンツ特徴判定部11と同様、同一ジャンル内で、ある1フレームのみコンテンツの内容が大幅に変わった場合においても、当該フレームにおけるコンテンツ特徴判定値Jiの判定種別は、複数コンテンツ特徴判定部21における所定フレーム分相当量の解析処理により自動的に除去され、極端な画質補正が行われることを防ぐことができる。
すなわち、1フレーム毎に映像コンテンツが切り替わるような映像の場合に、複数コンテンツ特徴判定部21により、1フレームごとに画質が切り替わることを防止でき、不自然な映像になることを防止することができる。
複数コンテンツ特徴判定部21(コンテンツ特徴判定部10)は、輝度情報値Yiから、映像コンテンツの特徴量をより正確に判定する手法として、映像表示装置に限らず映像に関わる他分野での利用も考えられる。他の分野での利用として、例えば、ハードディスクやDVD等の映像レコーダー等の映像記録装置が上げられる。
階調補正部6は、速度可変補正制御部14と上述の実施の形態1に係る補正実行部5を備えている。本実施の形態2に係る補正実行部5は、実施の形態1と同様な構成であり、画像補正部5及び表示部8は、実施の形態1で説明した動作と同じ動作を行うため、それらの詳細な動作説明は省略する。
速度可変補正制御部14は、複数コンテンツ特徴判定部21により複数コンテンツ特徴判定値Fiが出力された後、複数コンテンツ特徴判定値Fiを受信を基準とした、補正の開始時間(補正タイミング)にて、対応する補正パラメータPiを補正実行部5に出力する。
補正制御部4から補正実行部5に出力される、複数コンテンツ判定値Fiに対する映像補正値Piは、例えば、映像コントラストによる輝度制御、シャープネスによる鮮鋭度制御、色の濃さ、3次元(3D)ノイズリダクションによるノイズ除去制御、ガンマ補正による輝度補正等である。
ここで、準備される補正パラメータPiは、輝度情報値による組み合わせの数だけ配備してもよいし、コンテンツ特徴の種類の数と同じ数であってもよい。
図16は速度可変補正制御部14の動作を示す説明図である。同図に示すように、複数コンテンツ特徴判定部21により複数コンテンツ特徴判定値Fiが速度可変補正制御部14に付与された時点(TF)を基準とし、複数コンテンツ特徴判定値Fiに対応する補正パラメータPiを、補正パラメータPiに適合した開始時間(補正タイミング)に出力する。
例えば、図16に示すように、複数コンテンツ特徴判定値Fiが、「F3(スタジオ)」を指示する値であった場合に、複数コンテンツ特徴判定値Fiが出力されたタイミングTF受信時(1フレーム目)を基準として、補正時間を2フレーム目とした場合、タイミングTF後の1フレーム期間f1後を補正開始時間として、2フレームの開始タイミングT2から、対応する補正パラメータP3が出力される。
一方、複数コンテンツ特徴判定値Fiが「F4(映画)」を指示する値であった場合では、対応する補正パラメータP4は、複数コンテンツ特徴判定値Fiが出力されたタイミングTFを基準として6フレーム目の開始タイミングT6時に出力される。
また、速度可変補正制御部14は、補正パラメータPiにより行われる画像補正を複数の段階に分けて行っても良い。すなわち、図16に示すように、たとえば複数コンテンツ特徴判定値Fiが「F5(ドラマ・アニメ)」を指示する値であった場合に、複数コンテンツ特徴判定値Fiが出力されたタイミングTFを基準として、3フレーム目の開始タイミングT3時にまず準補正パラメータP5_1を出力し、7フレーム目の開始タイミングT7時に補正パラメータP5_2(P5)を出力するようにしても良い。この場合、タイミングT3からの補正パラメータP5_1、タイミングT7からの補正パラメータP5_2による2段階に変化する補正パラメータP5による画像補正を行うことができる。
このように、補正パラメータPiを2段階に変化させる利点について説明する。補正パラメータPiを変える際に、その値を大きく変えてしまうと画像変化が目立つ場合がある。その原因は、補正された画像が一度に変化することが考えられる。画像が一度に変化する割合を減らすために、上述したように、まず、補正後の画像変化が目立たない補正パラメータP5_1を経由して、最終的に補正パラメータP5_2(P5)にするという2段階補正を行うことが有効である。
図16で示した複数コンテンツ特徴判定値Fiが「F5」の例では、一段階の中間補正パラメータ(補正パラメータP5_1)しか間に挟んでいないため、二段目の補正パラメータP5_2=P5となるが、2段階以上の中間パラメータ(P5_3、P5_4)を設定することにより、補正される画像の変化をより小さくすることができる効果を奏する。
このように、補正パラメータPiを複数段階に変化させることにより、補正パラメータPiの変化後の画像に大きな変化をもたらすことなく、複数コンテンツ特徴判定値Fiが設定したジャンルに最適な画像に補正することができる効果を奏する。
このように、速度可変補正制御部14は、複数コンテンツ特徴判定値Fiに基づいて、補正パラメータPiの開始時間、すなわち、補正パラメータPiを適用するタイミングを調整している。例えば、複数コンテンツ特徴判定値Fiが、ジャンルが、全体的に明るい画像であるスタジオ(F3)であると指示した場合に、補正パラメータP3を比較的高速に出力し、明るさを抑えるような、複数コンテンツ特徴判定値Fi(F3)で規定された映像コンテンツのジャンルや特徴に合わせた適切な補正処理を行うことができる。
速度可変補正制御部14は、複数コンテンツ特徴判定値Fiの変化過程を保持して、その変化過程に基づき開始時間あるいはタイミングを調整してもよい。例えば図16で利用した例を用いて説明すると、複数コンテンツ特徴判定値Fiが「F4(映画)」のような全体的に暗いシーンが多いジャンルを指示している際に、複数コンテンツ特徴判定値Fiが「F3(スタジオ)」のように、バラエティや報道などの平均輝度が高く明るいシーンが多いジャンルに変化したことを指示した場合には、補正パラメータP43を利用するというような補正を行っても良い。
補正パラメータP43は、補正パラメータP3及び補正パラメータP4とは独立した新しい補正パラメータである。ただし、補正パラメータP43を補正パラメータP3と補正パラメータP4との中間の値に決定しても良く、補正パラメータP3あるいは補正パラメータP4そのものを用いてもよい。
複数コンテンツ特徴判定値Fiの変化過程を考慮しない場合、複数コンテンツ特徴判定値Fiが「F4」のジャンルに変化したため補正パラメータP4を利用する、「F3」のジャンルに変化したため補正パラメータP3を利用するという、最新の複数コンテンツ特徴判定値Fiに基づき補正パラメータPiが決定されることになる。
したがって、補正パラメータP3が決定された場合は常に(事前の複数コンテンツ特徴判定値Fiが「F4」の判定が行われた場合を含む)、直前に判別されたジャンル種類に関係なく、補正パラメータP3に決定されている。
一方、上述したように、判別されたジャンル変化を考慮した補正パラメータP43を利用することを考えた場合、以下の対応が可能となる。例えば、全体的に暗いシーンが多いジャンル(F4)の後、明るいシーンが多いジャンル(F3)が続いた場合に、通常利用する補正パラメータP3ではなく、補正パラメータP3より軽めに設定したような補正パラメータP43を利用することができる。その結果、本例では、視聴者の目にかかる負担を少なくするような設定を行うことができるという効果を奏する。
このように、実施の形態2の画像表示装置において、速度可変補正制御部14は、複数コンテンツ特徴判定値Fiに基づき、複数コンテンツ特徴判定値Fiの入力時(TF)を基準とした補正パラメータによる画像補正処理を行うまでの補正タイミングを可変設定することができる。その結果、速度可変補正制御部14は、複数コンテンツ特徴判定値Fiで指示されるジャンル等の映像コンテンツの特徴に合致し画質の変化が目立たないように、上記補正タイミングを変更することができる効果を奏する。
なお、図16で示した速度可変補正制御部14の動作は一例であり、速度可変補正制御部14は、画像信号Daに含まれる特徴により、開始時間あるいはタイミングを調整できる構成であれば他にも多様な構成が考えられる。
補正実行部5は、当該補正パラメータPiに基づいて画像補正を行う。この画像補正は、1フレームごとに行う。
補正実行部5は、フレームバッファ等を利用することにより、映像信号Dbを遅らせることで、複数コンテンツ特徴判定値Fiを求めた際に解析した映像信号Dbから画像補正を開始してもよい。また、複数コンテンツ特徴判定値Fiを求めた際に解析した映像信号Dbの後、新しく得られるフレームの画像信号Dbから画像補正を開始してもよい。
以上のように、実施の形態2による画像表示装置では、輝度情報値から判定された1フレーム分のコンテンツ特徴情報に基づいて、複数フレーム分の特徴量よりコンテンツの特徴を判定しているため、実施の形態1と同様、コンテンツの特性をより正確に判定することができる。
加えて、速度可変画像補正部16により補正の開始時間あるいはタイミングを調整し、画像補正を行っているため、画質の変化が目立たない画像補正を行うことができるという、効果を奏する。
さらに、上述したように、判別されたジャンル変化を考慮した補正パラメータP43を利用する画像表示装置について詳述する。
コンテンツ特徴判定部10及び複数コンテンツ特徴判定部21からなる構成を、画像信号Dbに基づき映像コンテンツの特徴判定を行い、映像コンテンツ特徴値(コンテンツ特徴判定値Ji,あるいは複数コンテンツ特徴判定値Fi)を得る映像コンテンツ特徴判定部として考えた場合、実施の形態2の画像表示装置は以下の特徴を有する。
速度可変画像補正部16は、映像コンテンツ特徴値に基づく補正パラメータPiによって、画像信号Dbに対して画像補正処理を行う。この際、速度可変画像補正部16内の速度可変補正制御部14は、映像コンテンツ特徴値(上記例では複数コンテンツ特徴判定値Fi)の変化(上記例では「F4」から「F3」の変化)に基づき、映像コンテンツ特徴値の入力から補正パラメータPi(上記例では「補正パラメータP43」)による画像補正処理を行うまでの補正タイミング可変設定可能な構成を呈する。その結果、上述した、視聴者の目にかかる負担をより少なくするような画像補正処理や画質の変化が目立たないような画像補正処理など、設定した補正タイミングや補正パラメータにより様々な効果を奏することができる。
一方、実施の形態2と同様なことを、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行うには、コンテンツを特徴付けるためのキーフレームを識別し、その情報を元にキーフレームと関連するフレーム番号を処理の間中に保持する必要がある。
また、特許文献3では、映像信号のコンテンツ特徴やジャンルは判別していない。実施の形態2に係る画像処理装置では、映像の特徴に合わせて上記補正タイミングを調整しており、コンテンツ特徴やジャンルが判別できるため、輝度補正のみならず、コンテンツ特徴やジャンルに適応した色やシャープネス、動画応答、デバイスの制御などの様々な画像補正が行える。
<実施の形態3>
図17は、この発明の実施の形態3である画像表示装置の構成を示すブロック図である。実施の形態3の画像表示装置は、上述の実施の形態1に係る画像処理装置における画像処理装置7の替わりに画像処理装置27を備えるものである。
実施の形態3による画像処理装置27は、輝度情報検出部19、コンテンツ特徴判定部20、複数コンテンツ特徴判定部11、判断速度調整部3、及び画像補正部6を備えている。
輝度情報検出部19は、受信部2から出力される画像信号Dbに含まれる輝度信号が入力され、当該輝度信号から各画素における輝度情報を検出して、輝度ヒストグラム情報Dbyを作成し、輝度ヒストグラム情報Dbyから得られる輝度関連情報値である画素数情報値Niを出力する。
図18は輝度情報検出部19の一構成例の詳細を示すブロック図である。同図に示すように、実施の形態3の画像表示装置における輝度情報検出部19は、ヒストグラム生成部191、最大輝度画素数検出部192、中間輝度画素数検出部193、最小輝度画素数検出部194、及び平均輝度検出部195とを備えている。
受信部2から出力され、輝度信号Yが含まれる画像信号Dbが、ヒストグラム生成部191に入力される。
図18で示した例において、入力映像信号Dbがインターレス信号の場合は、2フィールド分を1フレーム分の映像信号として、ヒストグラム生成部191により変換を行い、輝度ヒストグラム情報Dbyを求める。このようにヒストグラム生成部191において、輝度ヒストグラム情報Dbyを求めるための前処理を行っても良い。
ヒストグラム生成部191は、1フレーム分の画像信号Dbに基づき輝度信号のヒストグラムを作成して、輝度ヒストグラム情報Dbyを得る。最大輝度画素数検出部192は、ヒストグラム生成部191で生成された輝度ヒストグラム情報Dbyに基づき、1フレーム分の画像信号Dbにおける最大輝度信号画素数を検出して最大輝度画素数情報値Nimaxを出力する。
中間輝度画素数検出部193は、ヒストグラム生成部191で生成された輝度ヒストグラム情報Dbyに基づき、1フレーム分の画像信号Dbにおける中間輝度画素数を検出して、中間輝度画素数情報値Nimidを出力する。
最小輝度画素数検出部194は、ヒストグラム生成部191で生成された輝度ヒストグラム情報Dbyに基づき、1フレーム分の画像信号Dbにおける最小輝度信号画素数を検出して最小輝度画素数情報値Niminを出力する。
平均輝度検出部195は、ヒストグラム生成部191で生成された輝度ヒストグラム情報Dbyに基づき、1フレーム分の画像信号Dbにおける平均輝度画素数を検出して、平均輝度画素数情報値Yiaveを出力する。
図18で示した構成では、輝度情報検出部19は、最大輝度画素数情報値Nimax、中間輝度画素数情報値Nimid、最小輝度画素数情報値Nimin、及び平均輝度画素数情報値Yiaveの4通りの検出を行っているが、詳しい検出値区分を設けても良いし、逆に検出区分を簡略化しても良い。
図19は、ヒストグラム生成部191が生成するヒストグラムの一例を示す図である。図中の横軸は階調値(階級)を示し、縦軸は度数、つまり1フレーム分の画像信号Dbの輝度に対する画素数を示している。なお以下の説明では、画像信号Dbの輝度信号Yは、例えば8ビットのデータで構成されており、その階調値が“0”から“255”までの値を採り、その階調数は“256”とする。映像信号Dbは本例では8ビットで表しているが、例えば10ビット、6ビットのような他の階調数で表しても良い。
実施の形態3におけるヒストグラム生成部191は、例えば256の階調数を32階調ごとに8個の領域に分割し、当該8個の領域をヒストグラムの階級としている。そして、各階級での中心値付近の値、本例では、当該中心値に最も近くそれよりも大きい整数値を当該階級の代表値としている。例えば、階調値“0”から“31”までで構成される階級では、中心値は“15.5”となるため、当該階級の代表値は“16”となる。図19の横軸の数字は各階級の代表値を示している。この例では階調を8段階に分けて、最小の階調16を含む区域を最小輝度区域とし、中間の階調144(128)を含む区域を中間輝度区域とし、最大の階調240を含む区域を最大輝度区域としてあらかじめ設定している。
なお、階級の中心値が整数であれば、当該中心値を当該階級の代表値としても良い。また、本例のように階級の中心値が整数でなく小数の場合であっても、階級の代表値として当該階級の中心値を採用しても良い。階級の中心値が小数の場合には、本例のように、階級の代表値として当該階級の中心値付近の整数を採用することによって、演算量を低減できる。
このように、実施の形態3の画像表示装置において、画素数情報値Niは、最大輝度区域等における輝度ヒストグラム情報Dbyの度数である最大輝度画素数情報値Nimax等を含むため、1フレーム毎に各区域における画素数に応じた精度の画素数情報値Niを得ることができる。
なお、図19のヒストグラムとは異なり、8個以外の領域に分割してもよい。例えば3つや7つの領域に分割し、それぞれの数の領域を構成するようにしても良い。これによって、より細かい特徴検出が可能になる。
最大輝度画素数検出部192は、以上のようにして生成されたヒストグラム情報Dbyに基づき、階級の最大値の画素数、もしくは画素数に相当する画素数情報値を抽出する。そして最大輝度画素数検出部192は、抽出した画素数情報値を最大輝度画素数情報値Nimaxとして出力する。
中間輝度画素数検出部193は、以上のようにして生成されたヒストグラム情報Dbyに基づき、階級の中間値の画素数、もしくは画素数に相当する画素数情報値を抽出する。そして中間輝度画素数検出部193は、抽出した画素数情報値を中間輝度画素数情報値Nimidとして出力する。
最小輝度画素数検出部194は、以上のようにして生成されたヒストグラム情報Dbyに基づき、階級の最小値の画素数、もしくは画素数に相当する画素数情報値を抽出する。そして最小輝度画素数検出部194は、抽出した画素数情報値を最小輝度画素数情報値Niminとして出力する。
平均輝度検出部195は、1フレーム分の画像信号Dbから得られる輝度信号Yから、1フレーム分の輝度信号Yにおける平均輝度階調情報値を演算してこれを輝度信号平均階調情報値Yiaveとして出力する。この動作は、実施の形態1の平均輝度階調検出部95と同じであるので、説明を省略する。
また、図19で示したヒストグラム生成部191による輝度ヒストグラムの構成例では、ヒストグラムを均等に分割しているが、ヒストグラムを不均等に分割し、度数を計数する対象となる階調値の範囲を自由に設定できるように構成してもよい。これにより、演算量を低減することと、条件が細かく設定できる。
図18で示した構成の輝度情報検出部19は一例であり、輝度情報検出部19は、画像信号Dbに含まれる輝度信号Yを基にして、輝度画素数情報値に相当する値を出力可能な構成であれば他にも多様な構成が考えられる。
図20はコンテンツ特徴判定部20の構成例を詳細に示すブロック図である。同図に示すように、実施の形態3の画像表示装置におけるコンテンツ特徴判定部20は、最大輝度画素数判定部201、中間輝度画素数判定部202、最小輝度画素数判定部203、平均輝度判定部204、及びコンテンツ特徴判定主要部205を備えている。
輝度情報検出部19から出力された最大輝度画素数情報値Nimax、中間輝度画素数情報値Nimid、最小輝度画素数情報値Nimin及び輝度信号平均階調情報値Yiaveの入力について説明する。最大輝度画素数情報値Nimaxは最大輝度画素数判定部201に入力され、中間輝度画素数情報値Nimidは中間輝度画素数判定部202に入力され、最小輝度画素数情報値Niminは最小輝度画素数判定部203に入力され、輝度信号平均階調情報値Yiaveは平均輝度判定部204に入力される。なお、輝度情報検出部19において新しい検出区分を設けた場合、コンテンツ特徴判定部20においても、新しい判定区分を設けてもよく、逆に判定区分を簡単化しても良い。
最大輝度画素数判定部201は、最大輝度画素数情報値Nimaxの大きさを分類して、その分類情報を規定した最大輝度画素数情報値D201(Nimax情報値)を生成する。中間輝度画素数判定部202は、中間輝度画素数情報値Nimidの大きさを分類して、その分類情報を規定した中間輝度画素数情報値D202(Nimid情報値)を生成する。最小輝度画素数判定部203は、最小輝度画素数情報値Niminの大きさを分類して、その分類情報を規定した中間輝度画素数情報値D203(Nimin情報値)を生成する。平均輝度判定部204は、輝度信号平均輝度情報値Yiaveの大きさを分類して、その分類情報を規定した平均輝度情報値D204(Yiave情報値)を生成する。
最大輝度画素数判定部201は、最大輝度画素数情報値Nimaxの値が、所定の最大輝度画素数判定閾値Nmaxaより小さい値であるか、所定の閾値Nmaxa値とそれより大きな所定の閾値であるNmaxb値との間の値であるか、最大輝度画素数判定閾値Nmaxbより大きい値であるかを判定する。そして、最大輝度画素数判定部201は、3つの分類情報値Nimax小、Nimax中、及びNimax大のうち、いずれか一を指示する最大輝度画素数情報値D201をコンテンツ特徴判定主要部205に出力する。
図21は最大輝度画素数判定部201の動作説明用の輝度ヒストグラムを示す説明図である。同図に示すように、最大輝度画素数情報値Nimaxは、所定の閾値Nmaxbより大きな値であるため、「Nimax大」を指示する最大輝度画素数情報値D201が出力され、コンテンツ特徴判定主要部205に入力される。
図20に戻って、中間輝度画素数判定部202は中間輝度画素数情報値Nimidの値が、所定の中間輝度画素数判定閾値Nmidaより小さい値であるか、所定の閾値Nmida値とそれより大きな所定の閾値であるNmidb値との間の値であるか、最大輝度画素数判定閾値Nmidbより大きい値であるかを判定する。そして、中間輝度画素数判定部202は、3つの分類情報値Nimid小、Nimid中、及びNimid大のうち、いずれか一を規定した中間輝度画素数情報値D202をコンテンツ特徴判定主要部205に出力する。
図22は中間輝度画素数判定部202の動作説明用の輝度ヒストグラムを示す説明図である。同図に示すように、中間輝度画素数情報値Nimidは、所定の閾値Nmidbより大きな値であるため、「Nimid大」を指示する中間輝度情報値D202が、コンテンツ特徴判定主要部205に入力される。
図20に戻って、最小輝度画素数判定部203は最小輝度画素数情報値Niminの値が、所定の最小輝度画素数判定閾値Nminaより小さい値であるか、所定の閾値Nmina値とそれより大きな所定の閾値であるNminb値との間の値であるか、最小輝度画素数判定閾値Nminbより大きい値であるかを判定する。そして、最小輝度画素数判定部203は、3つの分類情報値Nimin小、Nimin中、及びNimin大のうち、いずれか一を規定した中間輝度画素数情報値D202をコンテンツ特徴判定主要部205に出力する。
図23は最小輝度画素数判定部203による最小輝度画素数情報値D203の生成例を示す説明図である。同図に示すように、最小輝度画素数情報値Niminは、所定の閾値Nminaより大きく、所定の閾値Nminbより小さい値であるため、「Nimin中」を指示する最小輝度画素数情報値D203が出力されコンテンツ特徴判定主要部205に入力される。
また、平均輝度判定部204は、実施の形態1の平均輝度判定部104に関し説明した式(1)より計算された平均輝度情報値Yiaveの値が、所定の平均輝度判定閾値Yaveaより小さい値であるか、所定の閾値Yavea値とそれより大きな所定の閾値であるYaveb値との間の値であるか、平均輝度判定閾値Yavebより大きい値であるかを判定する。そして、平均輝度判定部204は、3つの分類情報値Yiave小、Yiave中、Yiave大のいずれか一を指示する平均輝度情報値D204をコンテンツ特徴判定主要部205に出力する。
コンテンツ特徴判定主要部205は、4つの輝度情報値D201〜D204の組み合わせ内容に基づきコンテンツ特徴判定値Jiを判定して、複数コンテンツ特徴判定部11及び判定速度調整部3にそれぞれ出力する。
図24はコンテンツ特徴判定主要部205によるコンテンツ特徴判定値Jiの判定内容を表形式で示す説明図である。同図に示すように、輝度情報値D201〜D204による81通り(3×3×3×3)の組み合わせにより81種類のコンテンツ特徴判定値Jiが判定される。
なお、コンテンツ特徴判定主要部205によるコンテンツ特徴判定の組み合わせ内容は、観視者の好みや映像データベースを元に任意に作成することが出来る。図24の例では、平均輝度判定値Yiaveが「小」、最小輝度画素数情報値Niminが「小」、中間輝度画素数情報値Nimidが「小」、最大輝度画素数情報値Nimaxが「小」であれば、判定種別であるコンテンツ特徴J1を指示するコンテンツ特徴判定値Jiが複数コンテンツ特徴判定部11及び判定速度調整部3にそれぞれ出力される。
また、コンテンツ特徴判定主要部205は、4つの輝度情報値D201〜D204のうちの3つ以下の情報のみを使用して判定してもよい。例えば平均輝度情報値D204のみでコンテンツ特徴を分類する、平均輝度情報値D204と中間輝度画素数情報値D202の2つの組み合わせで分類する、など情報値を選択できる。このように、輝度情報値D201〜D204内の情報量を減らすことによって、特徴検出の速度を速め、必要なメモリー容量を減らすことが出来る。また、輝度情報値D201〜D204をそれぞれ閾値により大中小の3通りに分類したが、3通り以外に分類してもでもよい。
図20で示した構成はコンテンツ特徴判定部20の一例であり、コンテンツ特徴判定部20は、画素数情報値Niに基づき、コンテンツ特徴判定値Jiを決定できる構成であれば他にも多様な構成が考えられる。
輝度情報値D201〜D204を基にして、コンテンツ特徴判定値Jiを出力する手法の一例として輝度情報値D201〜D204の尤度を計算し、統計上の処理からコンテンツ特徴判定値Jiを出力する方法などが考えられる。
また、画素数情報値Niに基づき、コンテンツ特徴判定値Jiを求める手法の例として、すなわち、コンテンツ特徴判定部20の他の態様として、1フレーム分の画像信号から得られる輝度信号に関するヒストグラムを作成し、該当ヒストグラムから出力される画素数情報値Niに基づいて、複数フレーム分の平均値を求めることで、新しい画素数情報値Niを算出し、画像信号に対する映像コンテンツの特徴判定を行う構成が考えられる。
このように、1フレーム分の画像信号Dbから得られる画素数情報値Niを、複数フレーム分の演算により新しい画素数情報値Niを求め、画像信号に対する映像コンテンツの特徴判定を行ってもよい。
実施の形態3に係るコンテンツ特徴判定部20においても、実施の形態1のコンテンツ特徴判定部10と同様に、81種類のコンテンツ特徴判定値Jiの組み合わせに対し、全ての場合において、映像ジャンルごとに分類することができる。
コンテンツ特徴検出において、ジャンル判別の精度を上げるために、既知の他手法と併用しても良い。他手法の例としては、特許文献1にあるようなデジタル番組表のジャンル情報などが挙げられる。
このように、コンテンツ特徴判定部20では、映像信号から得られた輝度ヒストグラムを基にして、統計的に特徴を分類することで、映像のコンテンツ特徴やジャンルを判定することができる。
実施の形態3における複数コンテンツ特徴判定部11及び判断速度調整部3は、実施の形態1と同様な構成であり、実施の形態1で説明した動作と同じ動作を行うため、それらの詳細な動作説明は省略する。
階調補正部6は、実施の形態1と同様な構成であり、実施の形態1で説明した動作と同じ動作を行うため、それらの詳細な動作説明は省略する。
以上のように、本実施の形態3による画像表示装置では、輝度情報値、画素数情報値Niから判定された1フレーム分のコンテンツ特徴情報(コンテンツ特徴判定値Ji)に基づいて、複数フレーム分の特徴量よりコンテンツの特徴(複数コンテンツ特徴判定値Fi)を判定しているため、コンテンツの特性をより正確に判定することができる。
一方、実施の形態3と同様なことを、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行うには、コンテンツを特徴付けるためのキーフレームを識別し、その情報を元にキーフレームと関連するフレーム番号を処理の間中に保持する必要がある。
また、特許文献3では、映像信号のコンテンツ特徴やジャンルは判別していない。実施の形態3による画像処理装置では、映像の特徴に合わせてジャンルの判定速度を変更し、コンテンツ特徴やジャンルが判別できるため、輝度補正のみならず、コンテンツ特徴やジャンルに適応した色やシャープネス、動画応答、デバイスの制御などの様々な画像補正が行える。
<実施の形態4>
図25は、この発明の実施の形態4である画像表示装置の構成を示すブロック図である。実施の形態4による画像表示装置は、上述の実施の形態2に係る画像処理装置において、画像処理装置17の替わりに画像処理装置37を備えるものである。
本実施の形態4に係る画像処理装置37は、輝度情報検出部19、コンテンツ特徴判定部20、複数コンテンツ特徴判定部21、及び速度可変判断速度調整部16を備えている。
実施の形態4における輝度情報検出部19は、実施の形態3と同様な構成であり、実施の形態3で説明した動作と同じ動作を行うため、それらの詳細な動作説明は省略する。
実施の形態4におけるコンテンツ特徴判定部20は、実施の形態3と同様な構成であり、それらの詳細な動作説明は省略する。ただし、実施の形態3とは異なり、コンテンツ特徴判定部20は、コンテンツ特徴判定値Jiを複数コンテンツ特徴判定部21のみに出力する。
実施の形態4における複数コンテンツ特徴判定部21は、実施の形態2と同様な構成であり、実施の形態2で説明した動作と同じ動作を行うため、それらの詳細な動作説明は省略する。
実施の形態4における速度可変画像補正部16は、実施の形態2と同様な構成であり、実施の形態2で説明した動作と同じ動作を行うため、それらの詳細な動作説明は省略する。
以上のように、本実施の形態4に係る画像表示装置では、輝度関連情報値である画素数情報値Niから判定された1フレーム分のコンテンツ特徴情報(コンテンツ特徴判定値Ji)に基づいて、複数フレーム分の特徴量よりコンテンツの特徴(複数コンテンツ特徴判定値Fi)を判定しているため、コンテンツの特性をより正確に判定することができる。
また、実施の形態2と同様、速度可変補正制御部14により補正タイミングを調整し、画像補正を行っているため、画質の変化が目立たない画像補正を行うことができる。
一方、実施の形態4と同様なことを、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行うには、コンテンツを特徴付けるためのキーフレームを識別し、その情報を元にキーフレームと関連するフレーム番号を処理の間中に保持する必要がある。
また、特許文献3では、映像信号のコンテンツ特徴やジャンルは判別していない。実施の形態4による画像処理装置では、映像の特徴に合わせて上記補正タイミングを調整しており、コンテンツ特徴やジャンルが判別できるため、輝度補正のみならず、コンテンツ特徴やジャンルに適応した色やシャープネス、動画応答、デバイスの制御などの様々な画像補正が行える。
この発明の実施の形態1による画像表示装置の構成を示すブロック図である。 図1で示した輝度情報検出部の構成を示すブロック図である。 図2で示したヒストグラム生成部で生成される輝度ヒストグラムに基づく輝度情報値の検出条件を示す説明図である。 図1で示したコンテンツ特徴判定部の構成を示すブロック図である。 図4で示した最大輝度判定部による最大輝度情報の閾値条件を示す説明図である。 図4で示した中間輝度判定部による中間輝度情報の閾値条件を示す説明図である。 図4で示した最小輝度判定部による最小輝度情報の閾値条件を示す説明図である。 図1で示したコンテンツ特徴判定部によるコンテンツ特徴判定内容(その1)を表形式で示す説明図である。 図1で示したコンテンツ特徴判定部によるコンテンツ特徴判定内容(その2)を表形式で示す説明図である。 図1で示した複数コンテンツ特徴判定部によるで判定される複数コンテンツ特徴判定値の例を表す説明図(その1)である。 図1で示した複数コンテンツ特徴判定部によるで判定される複数コンテンツ特徴判定値の例を表す説明図(その2)である。 図1で示した複数コンテンツ特徴判定部によるで判定される複数コンテンツ特徴判定値の例を表す説明図(その3)である。 図1で示した判断速度調整部による判断速度情報値の調整内容の一例を示す説明図である。 図1で示した補正制御部の動作を説明するための説明図である。 この発明の実施の形態2による画像表示装置の構成を示すブロック図である。 図15で示した速度可変補正制御部の動作を示す説明図である。 この発明の実施の形態3による画像表示装置の構成を示すブロック図である。 図17で示した輝度情報検出部の内部構成を示すブロック図である。 図17で示したヒストグラム生成部で生成されるヒストグラムを示す説明図である。 図17で示したコンテンツ特徴判定部の構成を示すブロック図である。 図20で示した最大輝度判定部による最大輝度画素数情報の閾値条件を示す説明図である。 図20で示した中間輝度判定部による中間輝度画素数情報の閾値条件を示す説明図である。 図20で示した最小輝度判定部による最小輝度画素数情報の閾値条件を示す説明図である。 図17で示したコンテンツ特徴判定部によるコンテンツ特徴判定内容を表形式で示す説明図である。 この発明の実施の形態4による画像表示装置の構成を示すブロック図である。
符号の説明
1 入力端子、2 受信部、3 判断速度調整部、4 補正制御部、5 補正実行部、6 画像補正部、7,17,27,37 画像処理装置、8 表示部、9,19 輝度情報検出部、10,20 コンテンツ特徴判定部、11,21 複数コンテンツ特徴判定部、91,191 ヒストグラム生成部、92,192 最大階調検出部、93,193 中間階調検出部、94,194 最小階調検出部、95,195 平均輝度階調検出部、101,201 最大輝度判定部、102,202 中間輝度判定部、103,203 最小輝度判定部、104,204 平均輝度判定部、105,205 コンテンツ特徴判定主要部。

Claims (11)

  1. 画像信号を受け、1フレーム分の前記画像信号から得られる輝度信号に関するヒストグラムを作成し、当該ヒストグラムから、輝度関連情報値を出力する輝度情報検出部と、
    前記輝度情報検出部から出力される輝度関連情報値に基づいて、1フレーム分の前記画像信号に対する映像コンテンツの特徴判定を行い、特徴判定値を得るコンテンツ特徴判定部と、
    前記特徴判定値を所定フレーム分相当量解析することにより、複数特徴判定値を求める複数コンテンツ特徴判定部と、
    コンテンツ判定速度が可変設定可能な判断速度調整部とを備え、前記複数コンテンツ特徴判定部による前記複数特徴判定値を求めるための判定速度は前記コンテンツ判定速度に基づき決定され、
    前記複数特徴判定値に基づいて、1フレーム分の画像信号に対して画像補正を行う画像補正部をさらに備える、
    画像表示装置。
  2. 請求項1記載の画像表示装置であって、
    前記判断速度調整部は、前記特徴判定値及び前記複数特徴判定値のうち、少なくとも一つの判定値に基づいて前記コンテンツ判定速度を可変設定する、
    画像表示装置。
  3. 請求項2記載の画像表示装置であって、
    前記判断速度調整部は、前記特徴判定値及び前記複数特徴判定値に基づいて前記コンテンツ判定速度を可変設定する、
    画像表示装置。
  4. 請求項1ないし請求項3記載の画像表示装置のうち、いずれか1項に記載の画像表示装置であって、
    前記複数コンテンツ特徴判定部は、前記コンテンツ判定速度に基づき、前記所定フレーム分相当量を決定する、
    画像表示装置。
  5. 画像信号を受け、1フレーム分の前記画像信号から得られる輝度信号に関するヒストグラムを作成し、当該ヒストグラムから、輝度関連情報値を出力する輝度情報検出部と、
    前記輝度情報検出部から出力される輝度関連情報値に基づいて、1フレーム分の前記画像信号に対する映像コンテンツの特徴判定を行い、特徴判定値を得るコンテンツ特徴判定部と、
    前記特徴判定値を所定フレーム分相当量解析することにより、複数特徴判定値を求める複数コンテンツ特徴判定部と、
    前記複数特徴判定値に基づく補正パラメータによって、1フレーム分の画像信号に対して画像補正処理を行う画像補正部とを備え、
    前記画像補正部は、前記複数特徴判定値の入力から前記補正パラメータによる画像補正処理を行うまでの補正タイミングを可変設定可能な速度可変補正制御部を含む、
    画像表示装置。
  6. 請求項5記載の画像表示装置であって、
    前記速度可変補正制御部は、前記複数特徴判定値に基づき、前記補正タイミングを可変設定する、
    画像表示装置。
  7. 請求項1ないし請求項6のうち、いずれか1項に記載の画像表示装置であって、
    前記輝度関連情報値は、前記ヒストグラムより統計的に分類される最大階調情報値、中間階調情報値、最小階調情報値及び平均輝度階調情報値のうち少なくとも一つの情報値を有する輝度情報値を含む、
    画像表示装置。
  8. 請求項1ないし請求項6のうち、いずれか1項に記載の画像表示装置であって、
    前記ヒストグラムは、最大輝度区域、中間輝度区域及び最小輝度区域が予め分類され、
    前記輝度関連情報値は、前記最大輝度区域、前記中間輝度区域及び前記最小輝度区域における前記ヒストグラムの度数である最大輝度画素数情報値、中間輝度画素数情報値、及び最小輝度画素数情報値のうち少なくとも一つの情報値を有する画素数情報値を含む、
    画像表示装置。
  9. 請求項1ないし請求項8のうち、いずれか1項に記載の画像表示装置であって、
    前記特徴判定部は、前記輝度情報検出部から出力される前記輝度関連情報値に基づいて、複数フレーム分の前記画像信号に対する映像コンテンツの特徴判定を行い、前記特徴判定値を得る、
    画像表示装置。
  10. 請求項1ないし請求項8のうち、いずれか1項に記載の画像表示装置であって、
    前記複数特徴判定値は、前記特徴判定値を含み、前記所定フレーム相当量は1フレームを含む、
    画像表示装置。
  11. 画像信号を受け、該画像信号に基づき映像コンテンツの特徴判定を行い、映像コンテンツ特徴値を得る映像コンテンツ特徴判定部と、
    前記映像コンテンツ特徴値に基づく補正パラメータによって、画像信号に対して画像補正処理を行う画像補正部とを備え、
    前記画像補正部は、前記映像コンテンツ特徴値の変化に基づき、前記映像コンテンツ特徴値の入力から前記補正パラメータによる画像補正処理を行うまでの補正タイミングを可変設定可能な速度可変補正制御部を含む、
    画像表示装置。
JP2006351023A 2006-08-02 2006-12-27 画像表示装置 Expired - Fee Related JP4298743B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006351023A JP4298743B2 (ja) 2006-12-27 2006-12-27 画像表示装置
US11/822,967 US8558772B2 (en) 2006-08-02 2007-07-11 Image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006351023A JP4298743B2 (ja) 2006-12-27 2006-12-27 画像表示装置

Publications (2)

Publication Number Publication Date
JP2008166901A true JP2008166901A (ja) 2008-07-17
JP4298743B2 JP4298743B2 (ja) 2009-07-22

Family

ID=39695798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006351023A Expired - Fee Related JP4298743B2 (ja) 2006-08-02 2006-12-27 画像表示装置

Country Status (1)

Country Link
JP (1) JP4298743B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283790A (ja) * 2009-06-08 2010-12-16 Sharp Corp コンテンツ再生装置
JP2011166315A (ja) * 2010-02-05 2011-08-25 Sharp Corp 表示装置、表示装置の制御方法、プログラム及び記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283790A (ja) * 2009-06-08 2010-12-16 Sharp Corp コンテンツ再生装置
JP2011166315A (ja) * 2010-02-05 2011-08-25 Sharp Corp 表示装置、表示装置の制御方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP4298743B2 (ja) 2009-07-22

Similar Documents

Publication Publication Date Title
JP4279318B2 (ja) 映像表示装置
US8558772B2 (en) Image display apparatus
US9992445B1 (en) Systems and methods for identifying a video aspect-ratio frame attribute
US7003153B1 (en) Video contrast enhancement through partial histogram equalization
JP5492087B2 (ja) コンテンツベースの画像調整
US8334931B2 (en) Image processing apparatus and image processing method for performing correction processing on input video
KR101114865B1 (ko) 화면 적응형 동적 3d 컬러 조절을 위한 방법 및 시스템
KR101318459B1 (ko) 수신기 상에서 오디오비주얼 문서를 시청하는 방법 및이러한 문서를 시청하기 위한 수신기
US20070110332A1 (en) Flicker correction for moving picture
JP4267025B2 (ja) 映像表示装置
JP2007511159A (ja) 周囲のビデオコンテンツに基づくクローズキャプション・テキストの適合
CN110679153B (zh) 用于提供重新缓冲事件的时间放置的方法
US11704780B2 (en) Display apparatus and control method thereof
JP4165615B2 (ja) 画像表示装置、画像表示方法、プログラム、及び記録媒体
JP2003123072A (ja) 画像種別識別方法および装置と画像処理プログラム
JP5084615B2 (ja) 画像表示装置
JP4298743B2 (ja) 画像表示装置
JP4311395B2 (ja) 画像表示装置および画像表示方法
JP2011223054A (ja) 画像処理装置および画像処理方法
US20060221244A1 (en) Image-quality adjusting apparatus, image-quality adjusting method, and display apparatus
JP4684966B2 (ja) 画像表示装置
JP2010258996A (ja) ノイズリダクション装置、ノイズリダクション方法、および動画再生装置
US7932936B2 (en) System that automatically adjusts threshold value of cross color suppression and method thereof
CN115398880A (zh) 影像处理设备、影像处理设备的工作方法以及非易失性存储介质
JP2011014949A (ja) 表示装置及び表示方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081224

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

R150 Certificate of patent or registration of utility model

Ref document number: 4298743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees