JP2009093012A - 画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体 - Google Patents
画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2009093012A JP2009093012A JP2007264728A JP2007264728A JP2009093012A JP 2009093012 A JP2009093012 A JP 2009093012A JP 2007264728 A JP2007264728 A JP 2007264728A JP 2007264728 A JP2007264728 A JP 2007264728A JP 2009093012 A JP2009093012 A JP 2009093012A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- luminance value
- luminance
- subframe
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims description 81
- 230000033001 locomotion Effects 0.000 claims abstract description 193
- 238000006243 chemical reaction Methods 0.000 claims description 269
- 238000001514 detection method Methods 0.000 claims description 63
- 230000010354 integration Effects 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 4
- 208000012661 Dyskinesia Diseases 0.000 abstract description 23
- 230000015654 memory Effects 0.000 description 46
- 238000000605 extraction Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Liquid Crystal Display Device Control (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】ホールドぼけを改善できるだけでなくジャーキネスを目立たなくして動画品質を向上させる。
【解決手段】第1輝度変換部21は、画像信号DVinの輝度値が閾値以下のとき、信号DVinの表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号DVsf,DVsbの少なくとも1つを最小輝度値あるいは第1所定輝度値以下の輝度値とする。第2輝度変換部33は、輝度値が閾値を超えるとき、動き補償部32で生成した動き補償画像信号であるサブフレーム画像信号DVsbmを、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値に輝度値変換する。出力切換部62は、輝度値が閾値以下のとき第1輝度変換部21からの信号、輝度値が閾値を超えるとき第2輝度変換部33からの信号を選択して出力する。
【選択図】 図1
【解決手段】第1輝度変換部21は、画像信号DVinの輝度値が閾値以下のとき、信号DVinの表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号DVsf,DVsbの少なくとも1つを最小輝度値あるいは第1所定輝度値以下の輝度値とする。第2輝度変換部33は、輝度値が閾値を超えるとき、動き補償部32で生成した動き補償画像信号であるサブフレーム画像信号DVsbmを、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値に輝度値変換する。出力切換部62は、輝度値が閾値以下のとき第1輝度変換部21からの信号、輝度値が閾値を超えるとき第2輝度変換部33からの信号を選択して出力する。
【選択図】 図1
Description
この発明は、画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体に関する。詳しくは、複数のサブフレーム画像信号に対して、フレーム期間分のサブフレーム画像信号に基づく表示画像の時間積分によって入力画像信号に基づく表示画像の輝度を得る輝度値変換処理を行い出力画像信号を生成するとき、動き補償画像信号をサブフレーム画像信号として用い、この動き補償画像信号を用いることによって生じるジャーキネスを目立たないように、輝度値変換を行うものである。
従来の画像表示装置では、CRT(陰極線管)等のインパルス型表示素子や液晶表示素子やEL表示素子等のホールド型表示素子が用いられている。
インパルス型表示素子を用いた画像表示装置(以下「インパルス型画像表示装置」という)では、図28示すインパルス発光動作が行われて、画像が表示される点灯期間Tonと画像が表示されない非点灯期間Toffが交互に繰り返される。なお、図28において、横軸は時間の経過、縦軸は出力輝度を示しており、点灯期間Tonと非点灯期間Toffを加算した期間が1フレーム期間Tfrに相当する。
このインパルス型画像表示装置で、静止した背景BG上を動物体OBが水平に動くような画像の表示を行う場合、画面内の1水平ライン上での時間経過に伴う動物体の表示位置の変化は図29示すものとなる。なお、図29において、横軸は画面上で水平方向の水平画素位置を示しており、縦軸は時間の経過を示している。
ここで、動物体OBを観察するときには、注視する方向が矢印Aに示すように移動することとなり、動物体OBが動いてきた軌跡方向の輝度変化の時間積分値が明るさとして人の目に感じられる。また、インパルス型画像表示装置では、あるフレームの画像更新から次のフレームの画像更新までの殆どの期間が非点灯期間Toffであり、輝度の時間積分の値に寄与しない。その結果、観察者には、静止する背景と動物体との境界において明るさの差が明瞭となり、背景BGと動物体OBとがくっきりと見分けられる。
一方、ホールド型表示素子を用いた画像表示装置(以下「ホールド型画像表示装置」という)では、図30に示すホールド発光動作が行われて、画像が表示される点灯期間Tonが1フレーム期間Tfrとされている。なお、図30において横軸は時間の経過を示しており縦軸は出力輝度を示している。
このホールド型画像表示装置で、静止した背景BG上を動物体OBが水平に動くような画像の表示を行う場合、画面内の1水平ライン上での時間経過に伴う動物体の表示位置の変化は図31に示すものとなる。なお、図31において、横軸は画面上で水平方向の水平画素位置を示しており、縦軸は時間の経過を示している。
ここで、動物体OBを観察するときには、注視する方向が矢印Aに示すように移動することとなり、動物体OBが動いてきた軌跡方向の輝度変化の時間積分値が明るさとして人の目に感じられる。また、点灯期間Tonが1フレーム期間Tfrであるため、動物体OBが1フレーム期間留まって表示される。このため、動物体OBが動いてきた軌跡方向の輝度変化の時間積分には、静止する背景BGと動物体OBとの境界において明るさの差がはっきりと現れず、観察者の目には画像のぼけ(以下「ホールドぼけ」という)として見えてしまう。
このため、ホールド型画像表示装置における動画品質の劣化を改善するため、図32に示す疑似インパルス法の発光動作が行われて、画像が表示される点灯期間Tonを1フレーム期間Tfrの半分程度に減らして非点灯期間Toffが設けられている。この疑似インパルス法では、例えば黒画像挿入や間欠バックライト駆動を行うことで非点灯期間Toffが設けられている。なお、図32において横軸は時間の経過を示しており縦軸は出力輝度を示している。
疑似インパルス法を用いたホールド型画像表示装置で、静止した背景BG上を動物体OBが水平に動くような画像の表示を行う場合、画面内の1水平ライン上での時間経過に伴う動物体OBの表示位置の変化は図33に示すものとなる。したがって、点灯期間Tonが1/2フレーム期間程度となるため、ホールドぼけを改善することができる。しかし、疑似インパルス法を採用したホールド型画像表示装置では、点灯期間Tonが半分程度されていることから、例えばバックライトの輝度が疑似インパルス法を用いていないホールド型画像表示装置と等しいものとすると、疑似インパルス法を用いていないホールド型画像表示装置に比べて、表示される画像の輝度が低下したものとなってしまう。
そこで、特許文献1の発明では、1フレーム分の入力画像信号に対して、前半および後半の2つのサブフレーム期間を用いて画像表示を行うことにより、疑似インパルス法を用いていないホールド型画像表示装置と同程度の最大輝度を確保しつつ、可能な範囲でホールドぼけの改善など動画品質の改善を図ることが開示されている。例えば特許文献1の発明では、入力される画像信号の階調レベルが0%以上50%未満である場合には、前半のサブフレーム期間において0%〜100%の階調レベルの画像信号を供給し、後半のサブフレーム期間において0%の階調レベルの画像信号を供給する。また、入力階調レベルが50%以上100%以下である場合には、前半のサブフレーム期間において0%〜100%の階調レベルの画像信号を供給し、後半のサブフレーム期間において100%の階調レベルの画像信号を供給する。このような画像表示方法によって、従来と同程度の最大輝度やコントラストを確保しつつ、入力される画像信号の階調レベルがある程度以上小さい場合には、動画品質の向上を図ることができる。
また、特許文献2には、特許文献1の場合と同様に、疑似インパルス法を用いた画像表示装置における輝度低下を抑制するために、フレーム期間に複数のサブフレーム期間を設けて、後続するサブフレーム期間の輝度を、入力画像信号の輝度値に応じて所定割合で減衰させる方法が開示されている。これにより、後続するサブフレームの輝度値が、先行するサブフレームの輝度値に対して所定割合で減衰されているので、一般的なホールド型表示装置における視覚的な動画像の流れによる不鮮明化を防止することができる。また、後続するサブフレーム期間では、入力画像信号の輝度値に応じて所定割合で減衰させており、0%ではない輝度値で表示されているので、非点灯期間を設ける画像表示装置に比べて輝度低下を抑制することができる。
さらに、特許文献3には、連続して入力された2つのフレームの画像に対して時間的に中間状態のフレーム画像を推定して、2サブフレーム期間における一方のサブフレームα期間において、入力される画像信号の階調レベルが一意的に定められている閾値以下の場合には、入力される画像信号の階調レベルに応じて増減される階調レベルの画像信号を画像表示部に供給し、入力される画像信号の階調レベルが閾値よりも大きい場合には最大または所定値より大きい階調レベルの画像信号を画像表示部に供給することが開示されている。また、他方のサブフレームβ期間において、中間状態のフレーム画像における画像信号の階調レベルが閾値以下の場合には最小または所定値より小さい階調レベルの画像信号を画像表示部に供給し、中間状態のフレームの画像における階調レベルが閾値よりも大きい場合には、中間状態のフレームの画像における画像信号の階調レベルに応じて増減される階調レベルの画像信号を画像表示部に供給することが開示されている。
このように、サブフレーム期間を設けてサブフレーム期間の輝度値を調整することで、表示される画像の輝度を低下させることなく、動画品質の向上を図ることができる。なお、サブフレーム期間を設けてサブフレーム期間の輝度値を調整する方法を以下サブフレーム法と呼ぶものとする。
ところで、上述のサブフレーム法は、出力輝度が低輝度〜中輝度の範囲であるときは、1個以上のサブフレームが黒表示になるため、動画品質を向上させることができる。しかし、画像の輝度が高輝度領域であるときは、いずれのサブフレームも黒表示とならない。
図34は、例えばフレーム期間Tfrを2つのサブフレーム期間Tf,Tbに分割した場合のサブフレーム法の発光動作を示している。出力輝度が低輝度〜中輝度の範囲であるときは、1つのサブフレーム期間が非点灯期間Toffとなる。この場合、疑似インパルス法と同様な動作となり、1つのサブフレームが黒表示になるため、ホールドぼけが抑制されて動画品質を向上させることができる。しかし、出力輝度が高輝度となると、いずれのサブフレーム期間Tf,Tbも黒表示とならず、疑似インパルス法と同様な動作とならない。さらに、画像が「白」となり出力輝度が最大となると、2つのサブフレーム期間Tf,Tbの輝度も最大となり、サブフレームを設けていない場合と同等の動作となってしまう。
このように、サブフレーム法では、出力輝度が高輝度であるときホールドぼけが抑制されなくなり、動画品質を向上させることができなくなってしまう。
また、動き補償を行い新たなフレームを生成する方法では、動き補償で誤りを生じたとき、この誤りによって表示画像にジャーキネス(動き劣化)を招いてしまう。
例えば図35に示すように、フレームFnとフレームF(n+1)の画像から動く字幕「ABC」である動物体OBの動き補償を行ったサブフレームFnsbの画像を生成する場合、動きを求めるため全画面をブロックに分割したとき、動物体OBのブロックに背景BGaが混入して、動物体OBとともに背景BGaが動いているものと誤って検出されると、サブフレームFnsbの画像では動物体OBとともにブロック内に含まれた背景BGaも動いてしまう。このため、入力された画像信号に基づくフレームFn,F(n+1)の背景の位置と、新たに生成したサブフレームFnsbにおける背景の位置が異なるものとなり、ジャーキネスを生じたものとなってしまう。
そこで、この発明では、ホールドぼけを改善できるだけでなくジャーキネスを目立たなくして動画品質を向上させるものである。
この発明の概念は、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う。また、入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行い、入力画像信号の輝度値が閾値以下であるとき、第1輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第2輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とするものである。
この発明の画像信号処理装置は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理装置において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換部と、入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換部と、入力画像信号の輝度値が閾値以下であるとき、第1輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第2輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部を有するものである。
この発明の画像信号処理方法は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理方法において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換ステップと、入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第1輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第2輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを設けたものである。
この発明に係る画像表示装置は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成して、この出力画像信号に基づいて画像表示を行う画像表示装置において、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換部と、入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換部と、入力画像信号の輝度値が閾値以下であるとき、第1輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第2輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部と、出力切換部から出力される出力画像信号に基づいて画像表示を行う表示部を有するものである。
この発明に係るプログラムは、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムにおいて、画像信号処理プログラムには、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換ステップと、入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第1輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第2輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有するものである。
この発明に係る記録媒体は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムが記録された記録媒体において、画像信号処理プログラムは、入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、入力画像信号の輝度値が閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換ステップと、入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、動き補償画像信号をサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換ステップと、入力画像信号の輝度値が閾値以下であるとき、第1輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、入力画像信号の輝度値が閾値を超えるとき、第2輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有するものである。
さらに、この発明に係る記録媒体は、入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、複数のサブフレーム画像信号に基づく画像の時間積分によって入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行って生成された出力画像信号が記録された記録媒体において、出力画像信号は、入力画像信号の輝度値が予め設定された閾値以下であるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする第1輝度値変換と、入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号の輝度値が閾値を超えるとき、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする第2輝度値変換が行われて、入力画像信号の輝度値が閾値以下であるとき、第1輝度値変換で得られたサブフレーム画像信号とされて、入力画像信号の輝度値が閾値を超えるとき、第2輝度値変換で得られた動き補償画像信号とサブフレーム画像信号とされた信号である。
この発明によれば、入力画像信号の輝度値が閾値以下であるとき、出力画像信号は、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする第1輝度値変換が行われたサブフレーム画像信号とされる。また、入力画像信号の輝度値が閾値を超えるとき、出力画像信号は、入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の動き補償画像信号を、最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換が行われた動き補償画像信号とサブフレーム画像信号とされる。
このため、出力画像信号に基づく表示画像を、ホールドぼけが改善されているだけでなくジャーキネスを目立たなくして動画品質を向上させるものとすることができる。
以下、図を参照しながら、この発明の実施の一形態について説明する。本願発明では、入力画像の画像信号における1フレーム期間をn(nは2以上の整数)個のサブフレーム期間に分割して、サブフレーム周期のサブフレーム画像信号を生成する。また、入力画像の輝度値が低輝度〜中輝度であるときは、疑似インパルス法やサブフレーム法のように非点灯期間Toffを設けることでホールドぼけを改善する。さらに、高輝度であるとき、疑似インパルス法では高輝度で画像表示を行うことができず、サブフレーム法では各サブフレームの出力輝度が高くなりホールドぼけを抑制できない。このため、入力画像の輝度値が高輝度であるときは、動き補償を行うことにより得られた動き補償画像をサブフレーム画像として用いることで時間解像度を向上させてホールドぼけを抑制する。さらに、動き補償画像をサブフレーム画像として用いるものとしても、ジャーキネスが目立たないように輝度値変換を行うものである。なお、以下の説明では、発明の理解を容易とするため、1フレーム期間を2つのサブフレーム期間に分割した場合を示している。
図1は、画像信号処理装置の構成を示している。入力画像信号DVinは、画像信号処理装置10aの輝度値判定部11とFIFO型メモリ12に供給される。また、入力画像信号DVinの同期信号SYinは制御部81に供給される。
輝度値判定部11は、入力画像信号DVinの輝度値が予め設定されている閾値RL以下であるか否かを判別して、判別結果を示す判定信号JAをFIFO型メモリ12に供給する。例えば、画像表示を行う表示素子において、入力信号の輝度値に対する表示輝度が図2に示す特性であるとき、表示輝度が最大輝度BRmaxの1/2となる入力信号の輝度値を閾値RLに予め設定して、入力画像信号DVinの輝度値が閾値RL以下であるか否かを示す判定信号JAを画素毎に生成して、FIFO型メモリ12に供給する。
FIFO型メモリ12は、入力画像信号DVinを順次記憶する。また、FIFO型メモリ12は、入力画像信号DVinの各画素の輝度値判定結果を示す判定信号JAを入力画像信号DVinと関係付けて順次記憶する。例えば入力画像信号DVinが8ビットの信号で判定信号JAが1ビットの信号であるとき、8ビットの画像信号に1ビットの判定信号JAを付加して9ビットの信号として順次記憶する。また、FIFO型メモリ12は、記憶した入力画像信号DVinを、フレーム毎に入力画像信号DVinの2倍の速度で繰り返し読み出すことで前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbを生成して、第1輝度値変換部21とフレームメモリ31に供給する。なお、FIFO型メモリ12は、読み出した画像信号に付加されている判定信号JAも、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbとともに第1輝度値変換部21とフレームメモリ31に供給する。
第1輝度値変換部21は、入力画像信号DVinの輝度値が閾値RL以下である画像に対して輝度値変換を行うものである。第1輝度値変換部21は、入力画像信号DVinの1フレーム期間分のサブフレーム画像信号で入力画像信号DVinの1フレーム期間の表示輝度が得られるように、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbに対して輝度値変換を行う。
ここで、第1輝度値変換部21は、輝度値変換を容易に行うことができるように、図2に示す特性に応じたルックアップテーブルを予め設けておき、このルックアップテーブルを用いて輝度値変換を行う。
図3は、第1輝度値変換部21の第1輝度値変換特性を示している。第1輝度値変換部21は、輝度値変換後の前サブフレーム画像信号DVslfによって、1フレーム期間の表示輝度が得られるように、前サブフレーム画像信号DVsfの表示輝度を2倍とする変換特性TCaで輝度値変換を行う。例えば、前サブフレーム画像信号DVsfの輝度値が閾値RLとなったとき、表示画像の輝度値が最大輝度BRmaxとなるように、前サブフレーム画像信号DVsfの輝度値を「Lmax」に変換する。
また、第1輝度値変換部21は、前サブフレーム画像信号DVslfによって、入力画像信号DVinの1フレーム期間の表示輝度を得られることから、後サブフレームの画像は黒画像となるように、後サブフレーム画像信号DVsbの輝度値を変換特性TCbで輝度値変換して後サブフレーム画像信号DVslbを生成する。すなわち、後サブフレーム画像信号DVsbの輝度値に拘わらず後サブフレーム画像信号DVslbの輝度値を最小輝度値あるいは第1所定輝度値以下とする。例えば図3では、後サブフレーム画像信号DVslbの輝度値を最小輝度値「0」としている。第1所定輝度値は、値を大きくすると黒画面表示を行うことができなくなることから、所望の最低輝度が得られるように値を設定する。
なお、第1輝度値変換部21は、入力画像信号DVinの輝度値が閾値RL以下である画像に対して輝度値変換を行うものである。このため、入力画像信号DVinの輝度値が閾値RLを超えるときには、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbの輝度値に拘わらず、前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbの輝度値を最小輝度値「0」、あるいは前サブフレーム画像信号DVslfの輝度値を最大輝度値「Lmax」、後サブフレーム画像信号DVslbの輝度値を最小輝度値「0」とする。
このように、第1輝度値変換部21は、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbに対して輝度値変換を行い、輝度値変換によって得られた前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを遅延部61に供給する。
フレームメモリ31は、動き補償画像を生成するためにFIFO型メモリ12から供給された前サブフレーム画像信号DVsf(あるいは後サブフレーム画像信号DVsb)を記憶するものである。このフレームメモリ31には動き補償部32が接続されている。
動き補償部32は、フレームメモリ31に記憶されている前サブフレーム画像信号DVsf(あるいは後サブフレーム画像信号DVsb)を用いて動き補償を行い、動き補償画像信号を生成する。例えば時間的に連続する2つの前サブフレーム画像信号DVsfを用いて動き補償を行い、2つの前サブフレーム画像の時間的中間位置となる画像を示す動き補償画像信号を生成する。さらに、動き補償部32は、生成した動き補償画像信号を後サブフレーム画像信号DVsbmとして、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbmを第2輝度値変換部33に供給する。
第2輝度値変換部33は、入力画像信号DVinの輝度値が閾値RLよりも高い画像に対して輝度値変換を行うものである。第2輝度値変換部33は、入力画像信号DVinの1フレーム期間分のサブフレーム画像信号で入力画像信号DVinの1フレーム期間の表示輝度が得られるように、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbmに対して輝度値変換を行う。
ここで、第2輝度値変換部33は、第1輝度値変換部21と同様に、図2に示す特性に応じたルックアップテーブルを予め設けておき、このルックアップテーブルを用いて輝度値変換を行う。
図4は、第2輝度値変換部33の第2輝度値変換特性を示している。第2輝度値変換部33は、輝度値変換後の後サブフレーム画像信号DVshbによって、入力画像信号DVinの輝度値が閾値RLであるときの1フレーム期間の表示輝度が得られるように、後サブフレーム画像信号DVsbmに対して変換特性TCdで輝度値変換を行う。すなわち、後サブフレーム画像信号DVsbmの輝度値に拘わらず後サブフレーム画像信号DVshbの輝度値を最高輝度値あるいは第1所定輝度値よりも高い第2所定輝度値以上とする。例えば図4では、後サブフレーム画像信号DVshbの輝度値を最高輝度値「Lmax」としている。第2所定輝度値は、値を小さくすると白画面で輝度が低下することから所望の最高輝度が得られるように値を設定する。
また、第2輝度値変換部33は、後サブフレーム画像信号DVshbによって、入力画像信号DVinの輝度値が閾値RLであるときの1フレーム期間の表示輝度が得られることから、前サブフレーム画像で閾値RLの超過分について1フレーム期間の表示輝度を得られるように、前サブフレーム画像信号DVsfに対して変換特性TCcで輝度値変換を行い、前サブフレーム画像信号DVshfを生成する。なお、第2輝度値変換部33は、入力画像信号DVinの輝度値が閾値RLを超える画像に対して輝度値変換を行うものである。このため、入力画像信号DVinの輝度値が閾値RL以下であるときには、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbmの輝度値に拘わらず、前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbの輝度値を最小輝度値「0」、あるいは前サブフレーム画像信号DVshfの輝度値を最小輝度値「0」、後サブフレーム画像信号DVshbの輝度値を最高輝度値「Lmax」とする。
このように、第2輝度値変換部33は、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbmに対して輝度値変換を行い、輝度値変換によって得られた前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを出力切換部62に供給する。
遅延部61は、前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbの生成に要する時間だけ、前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを遅延させて、第2輝度値変換部33から出力切換部62に供給される前サブフレーム画像信号DVslfに同期して、前サブフレーム画像信号DVslfを出力切換部62に供給する。また、第2輝度値変換部33から出力切換部62に供給される後サブフレーム画像信号DVslbに同期して後サブフレーム画像信号DVslbを出力切換部62に供給する。なお、出力切換部62に供給されるサブフレーム画像信号には、判定信号JAを付加しておくものとする。
出力切換部62は、判定信号JAに基づき輝度値が閾値RL以下であることを判別したとき、前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを選択して出力画像信号DVoaとする。また、出力切換部62は、判定信号JAに基づき輝度値が閾値RLを超えることを判別したとき、前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを選択して出力画像信号DVoaとする。この出力画像信号DVoaを例えば表示装置100に供給して画像表示を行う。また、出力画像信号DVoaを、光ディスクや半導体メモリあるいは磁気テープ等の記録媒体101に記録して頒布等を行えるようにしてもよい。
制御部81には、入力画像信号DVinの同期信号SYinが供給される。制御部81は、同期信号SYinに同期して制御信号CTa,CTb,CTcを生成する。制御部81は、生成した制御信号CTaをFIFO型メモリ12に供給することで、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbを生成される。また、制御部81は、生成した制御信号CTbを動き補償部32に供給することで、後サブフレーム画像信号DVsbmを生成させる。さらに、aをFIFO型メモリ12に供給することで、制御部81は、生成した制御信号CTcを遅延部61に供給して、遅延部61の遅延時間を制御する。
次に、図5〜図11を用いて動作について説明する。図5は入力画像信号DVinに基づく入力画像を示しており、図5の(A)は、文字「ABC」が動物体OBであって、動物体OBの輝度値「Lob」と背景BGの輝度値「Lbg」がともに閾値RL以下であるときの画像を示している。また、図5の(B)は、動物体OBの輝度値「Lob」が閾値RLを超えており、背景BGの輝度値「Lbg」が閾値RL以下である場合を示している。さらに、図5の(C)は、動物体OBの輝度値「Lob」と背景BGの輝度値「Lbg」がともに閾値RLを超えている場合を示している。
図6の(A)は入力画像信号DVinを示している。なお、図6の(A)におけるフレームF1,F2は図5の(A)に示す輝度値のフレーム、フレームF11,F12は図5の(B)に示す輝度値のフレームとする。また、フレームF21,F22は図5の(C)に示す輝度値のフレームとする。また、各フレームおよび後述するサブフレームでは動物体OBと背景BGの輝度値をそれぞれ示している。
入力画像信号DVinをFIFO型メモリ12に書き込み、書き込まれた画像信号を2倍のフレームレートで読み出すことで、図6の(B)に示すように前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbを生成できる。例えば、入力画像信号DVinのフレームF1から前サブフレームF1fの画像信号と,後サブフレームF1bの画像信号が生成される。また、入力画像信号DVinの他のフレームでも同様にして、前サブフレームF1fと後サブフレームF1bの画像信号が生成される。
図6の(C)は、第1輝度値変換部21からの輝度値変換後の前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを示している。また、図6の(D)は、第2輝度値変換部33からの輝度値変換後の前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを示している。図6の(D)は、出力切換部62から出力される出力画像信号DVoaを示している。
なお、図6では、動作の理解が容易となるように、入力画像信号のフレームとサブフレーム画像信号のサブフレームを同期させて図示している。また、入力画像信号の輝度値が閾値RLを超えているときの前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslb、および入力画像信号の輝度値が閾値RL以下であるときの前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbの輝度値は、「0」としている。
ここで、例えば動物体OBの輝度値「Lob」と背景BGの輝度値「Lbg」がともに閾値RL以下であるフレームF1から生成されたサブフレームF1f,F1bにおいて、第1輝度値変換部21は、前サブフレームF1fに対して図3に示す変換特性TCaで輝度値変換を行うことから、前サブフレームF1fにおける動物体OBは輝度値「Lobl」、背景BGは輝度値「Lbgl」に変換される。また、第1輝度値変換部21は、後サブフレームF1bに対して図3に示す変換特性TCbで輝度値変換を行うことから、動物体OBと背景BGの輝度値が「0」に変換される。なお、動物体OBの輝度値「Lob」と背景BGの輝度値「Lbg」がともに閾値RL以下であることから、第2輝度値変換部33から出力される前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbは「0」となる。また、フレームF2から生成されたサブフレームF2f,F2bについても同様に処理される。
次に、動物体OBの輝度値「Lob」が閾値RLを超えており、背景BGの輝度値「Lbg」が閾値RL以下であるフレームF11から生成されたサブフレームF11f,F11bにおいて、第1輝度値変換部21は、前サブフレームF11fに対して図3に示す変換特性TCaで輝度値変換を行うことから、前サブフレームF11fにおける背景BGは輝度値「Lbgl」に変換される。なお、動物体OBの輝度値は閾値RLを超えていることから変換後の輝度値は「0」となる。また、第1輝度値変換部21は、後サブフレームF11bに対して図3に示す変換特性TCbで輝度値変換を行うことから、背景BGの輝度値が「0」に変換される。なお、動物体OBの輝度値は閾値RLを超えていることから変換後の後サブフレームの輝度値も「0」となる。第2輝度値変換部33は、前サブフレームF11fに対して図4に示す変換特性TCcで輝度値変換を行うことから、前サブフレームF11fにおける動物体OBは輝度値「Lobh」に変換される。なお、背景BGの輝度値は閾値RL以下であることから変換後の輝度値は「0」となる。また、第2輝度値変換部33は、後サブフレームF11bに対して図4に示す変換特性TCdで輝度値変換を行うことから、動物体OBの輝度値が「Lmax」に変換される。なお、背景BGの輝度値は閾値RL以下であることから変換後の後サブフレームの輝度値も「0」となる。また、フレームF12から生成されたサブフレームF12f,F12bについても同様に処理される。
動物体OBの輝度値「Lob」と背景BGの輝度値「Lbg」がともに閾値RLを超えるフレームF21から生成されたサブフレームF21f,F21bにおいて、第2輝度値変換部33は、前サブフレームF21fに対して図4に示す変換特性TCcで輝度値変換を行うことから、前サブフレームF21fにおける動物体OBは輝度値「Lobh」、背景BGは輝度値「Lbgh」に変換される。また、第2輝度値変換部33は、後サブフレームF2bに対して図4に示す変換特性TCdで輝度値変換を行うことから、動物体OBと背景BGの輝度値が「Lmax」に変換される。なお、動物体OBの輝度値「Lob」と背景BGの輝度値「Lbg」がともに閾値RLを超えていることから、第1輝度値変換部21から出力される前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbは「0」となる。また、フレームF22から生成されたサブフレームF22f,F22bについても同様に処理される。
出力切換部62は、入力画像信号の輝度値が閾値RL以下であるとき、前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを選択する。また、輝度値が閾値RLを超えるとき、前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを選択する。したがって、出力切換部62から出力される出力画像信号DVoaは図6の(E)に示すようになる。
出力切換部62から出力される出力画像信号DVoaに基づいて画像表示を行う場合、動物体OBと背景BGの輝度値がともに閾値RL以下であるときは、図7の(A)に示すように表示が行われる。すなわち、サブフレーム法と同様な画像表示が行われる。また、動物体OBの輝度値が閾値RLを超えて、背景BGの輝度値が閾値RL以下であるときは、図7の(B)に示すように、後サブフレームで動物体OBについて動き補償がなされた画像が表示されることとなり、ホールドぼけを軽減することができる。また、動物体OBと背景の輝度値が閾値RLを超えるときは、図7の(C)に示すように、後サブフレームで動物体OBについて動き補償がなされた画像が表示されることとなり、ホールドぼけを軽減することができる。
図8は、背景BGの輝度値が閾値RL以下で動物体OBの輝度値が閾値RLを超えるときの表示画像を示しており、図8の(A)は入力画像信号DVinに基づく画像、図8の(B)は出力画像信号DVoaに基づく表示画像を示している。また、図8の(C)〜(F)は、従来の方法を用いて生成された画像信号に基づく表示画像を示しており、図8の(C)はサブフレーム法を用いたときの表示画像、図8の(D)はフレームを繰り返してフレームレートを2倍としたときの表示画像である。また、図8の(E)は疑似インパルス法を用いたときの表示画像、図8の(F)は動き補償を行うことにより得られた動き補償画像のフレームを用いてフレームレートを2倍としたときの表示画像である。
図8の(B)において、前サブフレームF11f,12fでは、図6の(E)から明らかなように、動物体OBが輝度値「Lobh」,背景BGが輝度値「Lbgl」で表示される。次に、後サブフレームF11b,12bでは、動物体OBが輝度値「Lmax」,背景BGが輝度値「0」で表示される。また、後サブフレームF11b,12bで表示される動物体OBは動き補償を行うことにより得られた画像であり、前サブフレームF11fと前サブフレームF12fの時間的中間の位置に表示される。
このため、図8の(C)や図8の(D)に比べてホールドぼけを改善して動画品質を向上できる。また、図8の(E)に示すように表示画像が暗くなってしまうこともない。さらに、図8の(F)に示す場合には、動き補償を行うときに動物体OBのブロックに背景BGが含まれて、動物体OBの動きが背景BGの動きとして誤って検出されると、動物体OBとともに背景BGも動いてしまいジャーキネスを生じるおそれがある。しかし、出力画像信号DVoaにおいて、動き補償画像を示す後サブフレームF11b,12bでは、背景BGが含まれていないことから、図8の(F)に示す場合に生じるジャーキネスを防止できる。
図9は、背景BGの輝度値と動物体OBの輝度値が閾値RLを超えるときの表示画像を示しており、図9の(A)は入力画像信号DVinに基づく画像、図9の(B)は出力画像信号DVoaに基づく表示画像を示している。また、図9の(C)〜(F)は、従来の方法を用いて生成された画像信号に基づく表示画像を示しており、図9の(C)は、サブフレーム法を用いたときの表示画像、図9の(D)はフレームを繰り返してフレームレートを2倍としたときの表示画像である。また、図9の(E)は疑似インパルス法を用いたときの表示画像、図9の(F)は動き補償を行うことにより得られた動き補償画像のフレームを用いてフレームレートを2倍としたときの表示画像である。
図9の(B)において、前サブフレームF21f,22fでは、図6の(E)から明らかなように、動物体OBが輝度値「Lobh」、背景BGが輝度値「Lbgh」で表示される。次に、後サブフレームF21b,22bでは、背景BGと動物体OBが輝度値「Lmax」で表示される。また、後サブフレームF21b,22bで表示される動物体OBは動き補償を行うことにより得られた画像であり、前サブフレームF21fと前サブフレームF22fの時間的中間の位置に表示される。
このため、図9の(C)や図9の(D)に比べてホールドぼけを改善して動画品質を向上できる。また、図9の(E)に示すように表示画像が暗くなってしまうこともない。さらに、図9の(F)に示す場合には、動き補償を行うときに動物体OBのブロックに背景BGが含まれて、動物体OBの動きが背景BGの動きとして誤って検出されると、動物体OBとともに背景BGも動いてしまいジャーキネスを生じるおそれがある。しかし、出力画像信号DVoaにおいて、動き補償画像を示す後サブフレームF21b,22bでは、背景BGが輝度値「Lmax」とされているので、図9の(F)に示す場合に生じるジャーキネスを防止できる。
ここで、動き補償において生じたジャーキネスが表示画像に現れてしまうことを防止できることについて図10と図11を用いて説明する。
例えば、ブロックマッチング法で動きベクトルを求めて、この動きベクトルを利用して動き補償画像を生成する場合、図10の(A)に示す画像に対してブロック化を行ったときに動物体OBのブロック内に背景BGが含まれると、動きベクトルに基づいて動物体OBのブロックを移動させると、動き補償画像では図10の(B)に示すように、背景BGも移動されてしまう現象を生じてしまう。このため、例えば移動された背景にエッジが含まれていると、サブフレーム周期でエッジの位置が振動してジャーキネスを生じてしまう。しかし、図10の(A)に示す画像の前サブフレーム画像と図10の(B)に示す動き補償画像である後サブフレーム画像に対して輝度値変換を行うと、背景BGの輝度値が閾値RL以下であって動物体OBの輝度値が閾値RLを超えている場合、輝度値変換後の前サブフレーム画像は図10の(C)、輝度値変換後の後サブフレーム画像は図10の(D)に示すものとなる。
同様に、図11の(A)が前サブフレーム画像であり、動物体OBのブロック内に背景BGが含まれて動き補償が行われると、動き補償画像である後サブフレーム画像は、図11の(B)に示すようにエッジの巻き込みを生じた画像となる。しかし、図11の(A)に示す画像の前サブフレーム画像と図11の(B)に示す動き補償画像である後サブフレーム画像に対して輝度値変換を行うと、動物体OBと背景BGの輝度値が閾値RLを超えている場合、輝度値変換後の前サブフレーム画像は図11の(C)、輝度値変換後の後サブフレーム画像は図11の(D)に示すものとなる。
したがって、動き補償画像であるサブフレーム画像では、輝度値変換によってエッジの巻き込みが除去されることから、ジャーキネスが表示画像に現れてしまうことを防止できる。
このように、図1に示す画像信号処理装置10aによれば、従来のサブフレーム方式で効果のなかった、高輝度かつエッジのくっきりとした動物体である、動物体(テロップ等)に対し、確実にホールドぼけを軽減できる。さらに、ホールドぼけ対策として、フレーム倍速で動き補償を行った際に生じるジャーキネスについても目立たなくすることができる。また、従来の方法に比べて画像信号処理装置の処理規模もそれほど大きくならず、コストアップを抑えて、動画品質を向上させることが可能となる。
ところで、上述の画像信号処理はハードウェアだけでなくソフトウェアで実現するものとしてもよい。この場合の構成を図12に示す。コンピュータは、CPU(Central Processing Unit)901を内蔵しており、このCPU901にはバス920を介してROM(Read Only Memory)902,RAM(Random Access Memory)903,ハードディスクドライブ(HDD)904,入出力インタフェース905が接続されている。さらに、入出力インタフェース905には入力部911や記録媒体ドライブ912,通信部913,画像入力部914,画像出力部915が接続されている。
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部911から命令が入力されると、この命令が入出力インタフェース905を介してCPU901に供給される。
CPU901は、ROM902やRAM903あるいはハードディスクドライブ904に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ROM902やRAM903あるいはHDD904には、上述の画像信号処理装置10aと同様な処理をコンピュータで実行させるための画像処理プログラムと画像データベースを予め記憶させて、画像入力部914に入力された入力画像信号DVinに基づき、画像信号処理を行い、ホールドぼけの軽減やジャーキネスが防止された出力画像信号DVoaを生成して画像出力部915から出力する。また、出力画像信号DVoaを通信部913から出力したり、記録媒体ドライブ912によって、光ディスクや半導体メモリあるいは磁気テープ等の記録媒体に記録する。
また、画像信号処理プログラムを上述のような記録媒体に記録しておき、記録媒体ドライブ912によって、画像信号処理プログラムを記録媒体から読み出してコンピュータで実行して画像信号処理を行うものとしてもよい。さらに、通信部913によって、伝送路を介して画像処理プログラムの通信を行うものとし、受信した画像信号処理プログラムをコンピュータで実行するものとしてもよい。
図13は、画像信号処理動作を示すフローチャートである。ステップST1でCPU901は輝度値判定処理を行う。CPU901は、画像入力部914から入力された入力画像信号DVinの画素毎の輝度値と閾値を比較して輝度値が閾値RL以下であるか否かを示す判定信号JAを生成する。さらに、生成した判定信号JAと入力画像信号DVinを関係付けてメモリ例えばRAM903に記憶させてステップST2に進む。
ステップST2でCPU901は、サブフレーム画像信号の生成処理を行いステップST4に進む。CPU901は、メモリに記憶された入力画像信号DVinを、フレーム毎に入力画像信号DVinの2倍の速度で繰り返し読み出して前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbを生成してステップST3に進む。
ステップST3でCPU901は、輝度値が閾値RL以下であるか否かを判別する。CPU901は、画像信号とともに読み出された判定信号JAによって、輝度値が閾値RL以下であることが示されているときステップST4に進む。また、CPU901は、判定信号JAによって輝度値が閾値RLを超えていることが示されているときステップST5に進む。
ステップST4でCPU901は第1輝度値変換処理を行う。CPU901は、上述の第1輝度値変換部と同様にして前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbの輝度値変換を行い、得られた前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを出力画像信号DVoaとして画像出力部915から出力する。あるいは、記録媒体ドライブ912に装着されている記録媒体に出力画像信号DVoaを記録する。
ステップST5でCPU901は、動き補償処理を行う。CPU901は、前サブフレーム画像信号DVsf(あるいは後サブフレーム画像信号DVsb)をメモリに記憶して、入力画像信号DVinの連続する2フレームのサブフレーム画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像の画像信号を生成する。さらに、生成した動き補償画像の画像信号を後サブフレーム画像信号DVsbとしてステップST6に進む。
ステップST6でCPU901は第2輝度値変換処理を行う。CPU901は、上述の第2輝度値変換部33と同様にして前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbの輝度値変換を行い、得られた前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを出力画像信号DVoaとして画像出力部915から出力する。あるいは、記録媒体ドライブ912に装着されている記録媒体に出力画像信号DVoaを記録する。
この図13に示す画像信号処理を、入力画像信号DVinの各フレームに対して行うものとすれば、ホールドぼけを軽減させることができる。また、ジャーキネスを防止することができる。
ところで、図1に示す画像信号処理装置10aでは、2つのメモリを用いるものとしたが、メモリを1つに集約するものとしてもよい。図14は、画像信号処理装置の他の構成として、メモリを1つに集約した場合を示している。なお、図14において、図1と対応する部分については同一符号を付し、詳細な説明は省略する。
図14において、画像信号処理装置10bのフレームメモリブロック12aには、入力画像信号DVinと判定信号JAを関係付けて順次記憶する。また、記憶した入力画像信号DVinを、フレーム毎に入力画像信号DVinの2倍の速度で繰り返し読み出して、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbを生成して第1輝度値変換部21に供給する。さらに、動き補償部32は、フレームメモリブロック12aに記憶されている画像信号を用いて動き補償画像信号を生成して後サブフレーム画像信号DVsbmとし、この後サブフレーム画像信号DVsbmと前サブフレーム画像信号DVsfを第2輝度値変換部33に供給する。
このようにすれば、FIFO型メモリ12とフレームメモリ31を個々に設けなくとも、上述のように第1輝度値変換部21と第2輝度値変換部33で輝度値変換を行うことで、ホールドぼけを軽減できるので、より安価に画像信号処理装置を構成することができる。
ところで上述の実施形態は、サブフレーム画像信号を用いて動き補償を行うものとしたが、入力画像信号DVinを用いて動き補償を行い、生成された動き補償画像の輝度値変換を行って後サブフレーム画像信号として用いるものとしても同様の作用効果を得ることができる。この場合の構成を図15に示す。なお、図15に示す画像信号処理装置10cおいて、図1や図14と対応する部分については同一符号を付し、詳細な説明は省略する。
第1輝度値変換部21は、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbに対して、図3に示す第1輝度値変換特性で輝度値変換を行い、輝度値変換後の前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを出力切換部62に供給する。
第2輝度値変換部33は、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbに対して、図4に示す第2輝度値変換特性で輝度値変換を行い、輝度値変換後の前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを出力切換部63に供給する。
入力画像信号DVinが記憶されるフレームメモリ41には、動き補償部42が接続されている。動き補償部42は、フレームメモリ41に記憶されている入力画像信号DVinを用いて動き補償を行い、動き補償画像信号DVmcを生成する。例えば連続する2つのフレーム画像を用いて動き補償を行い、2つのフレーム間の時間的中間位置である画像を示す動き補償画像信号DVmcを生成する。さらに、動き補償部42は生成した動き補償画像信号DVmcを第2輝度値変換部43に供給する。
第2輝度値変換部43は、図4に示す第2輝度値変換特性における変換特性TCdで輝度値変換を行い、輝度値変換後の画像信号を後サブフレーム画像信号DVsbmとして出力切換部65に供給する。
出力切換部63は、入力画像信号DVinの輝度値が閾値RL以下であるとき、前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを選択する。また、入力画像信号DVinの輝度値が閾値RLを超えるとき、前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを選択する。この出力切換部63で選択された前サブフレーム画像信号DVsf-cと後サブフレーム画像信号DVsb-cを遅延部64に供給する。
遅延部64は、出力切換部63から供給された前サブフレーム画像信号DVsf-cと後サブフレーム画像信号DVsb-cを遅延させることで、第2輝度値変換部43から供給された後サブフレーム画像信号DVsbmと出力切換部63から供給された後サブフレーム画像信号DVsb-cを同期させる。
出力切換部65は、遅延部64から供給された前サブフレーム画像信号DVsf-cを出力画像信号DVoaとして出力する。また、入力画像信号DVinの輝度値が閾値RL以下であるときは、遅延部64から供給された後サブフレーム画像信号DVsb-cを出力画像信号DVoaとして出力する。さらに、入力画像信号DVinの輝度値が閾値RLを超えるときは、第2輝度値変換部43から供給された後サブフレーム画像信号DVsbmを出力画像信号DVoaとして出力する。
このように画像信号処理装置10cを構成すれば、輝度値が閾値RLを超えるサブフレーム画像に対して動き補償を行った図1の画像信号処理装置10aや図14に示す画像信号処理装置10bと同様な出力画像信号を、出力切換部65から出力させることができる。
図16は、ソフトウェアで処理を行う場合の動作を示すフローチャートである。ステップST11でCPU901は輝度値判定処理を行う。CPU901は、入力画像信号DVinの輝度値と閾値RLを比較して輝度値が閾値RL以下であるか否かを示す判定信号JAを生成する。さらに、生成した判定信号JAと入力画像信号DVinを関係付けてメモリ例えばRAM903に記憶させてステップST12に進む。
ステップST12でCPU901は、動き補償処理を行う。CPU901は、メモリに記憶されている入力画像信号DVinの連続する2フレームの画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像信号DVmcを生成してステップST13に進む。
ステップST13でCPU901は、輝度値変換処理を行う。CPU901は、メモリに記憶されている入力画像信号DVinを、フレーム毎に入力画像信号DVinの2倍の速度で繰り返し読み出して、前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbを生成して、図3に示す第1輝度値変換特性と図4に示す第2輝度値変換特性で輝度値変換を行い、前サブフレーム画像信号DVslf,DVshfと後サブフレーム画像信号DVslb,DVshbを生成する。また、CPU901は、動き補償画像信号DVmcに対して図4に示す第2輝度値変換特性の変換特性TCdで輝度値変換を行い、後サブフレーム画像信号DVsbmを生成する。
図17は、輝度値変換処理を示すフローチャートである。ステップST21でCPU901は輝度値判定処理を行う。CPU901は、入力画像信号DVinの輝度値と閾値RLを比較して輝度値が閾値RL以下であるか否かを示す判定信号JAを生成する。さらに、生成した判定信号JAと入力画像信号DVinを関係付けてメモリに記憶させてステップST22に進む。
ステップST22でCPU901は、サブフレーム画像信号の生成処理を行いステップST23に進む。CPU901は、メモリに記憶された入力画像信号DVinを、フレーム毎に入力画像信号DVinの2倍の速度で繰り返し読み出して前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbを生成してステップST23に進む。
ステップST23でCPU901は、輝度値が閾値RLを超えているか否かを判別する。CPU901は、画像信号とともに読み出された判定信号JAによって、輝度値が閾値RLを超えていないことが示されているときステップST24に進む。また、輝度値が閾値RLを超えていることが示されているときステップST25に進む。
ステップST24でCPU901は、第1輝度値変換処理を行う。CPU901は、上述の第1輝度値変換部21と同様にして前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbの輝度値変換を行い、前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを生成してステップST26に進む。
ステップST25でCPU901は、第2輝度値変換処理を行う。CPU901は、上述の第2輝度値変換部33と同様にして前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbの輝度値変換を行い、前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを生成してステップST26に進む。
ステップST26でCPU901は、動き補償画像信号に対する第2輝度値変換処理を行う。CPU901は、上述の第2輝度値変換部33と同様にして変換特性TCdで動き補償画像信号DVmcの輝度値変換処理を行い、輝度値変換処理後の画像信号を後サブフレーム画像信号DVsbmとする。
CPU901は、図17に示す輝度変換処理を行ったのち図16のステップST14に進む。ステップST14でCPU901は、輝度値が閾値RL以下であるか否かを判別する。CPU901は、画像信号とともに読み出された判定信号JAによって、輝度値が閾値RL以下であることが示されているときステップST15に進む。また、CPU901は、判定信号JAによって輝度値が閾値RLを超えていることが示されたときステップST16に進む。
ステップST15でCPU901は、第1輝度値変換処理後の画像信号の選択処理を行う。すなわち、CPU901は、図3に示す第1輝度値変換特性で輝度値変換を行うことにより得られた前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを選択して、出力画像信号DVoaとする。
ステップST16でCPU901は、第2輝度値変換処理後の画像信号の選択処理を行う。すなわち、CPU901は、図4に示す第2輝度値変換特性で輝度値変換を行うことにより得られた前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを選択してステップST17に進む。
ステップST17でCPU901は、動き補償画像信号の選択処理を行う。CPU901は、ステップST16で選択した後サブフレーム画像信号DVshbに代えて、動き補償画像信号に対して輝度値変換を行うことにより得られた後サブフレーム画像信号DVsbmを選択して、前サブフレーム画像信号DVshfと後サブフレーム画像信号DVsbmを出力画像信号DVoaとする。
このような処理を行うものとすれば、図15に示す画像信号処理装置10cと同様な処理が行われて出力画像信号DVoaを出力できる。
また、上述の実施の形態では、動き補償画像の生成においてブロックマッチング法を用いる場合、動き量を正確に求めるためには、ブロックサイズを小さくしなければならず、処理規模が増大してしまう。一方、実際の表示画像においてホールドぼけが顕著となる画柄は、動く字幕やテロップ等の高輝度動物体である。そこで、高輝度動物体を検出して、高輝度動物体ついて動き補償を行うものとすれば、動き補償処理を簡易とすることができる。
次に、高輝度動物体の動き補償を行う場合について図18を用いて説明する。なお、図18に示す画像信号処理装置10dにおいて、図15と対応する部分については同一符号を付し、詳細な説明は省略する。
入力画像信号DVinは、高輝度動物体検出部45に供給される。高輝度動物体検出部45は、入力画像信号DVinを用いて検出処理を行い、入力画像に含まれた高輝度動物体を検出して、検出結果を示す検出信号JBと入力画像信号DVinを動き補償部46に供給する。
図19は、高輝度動物体検出部45の構成を示している。高輝度動物体検出部45は、高輝度動物体であるか否かの判定に用いる信号を生成するためのエッジ検出部451と動き検出部452とレベル検出部453、および高輝度動物体であるか否かの判定を行う判定部455を有している。なお、高輝度動物体検出部45には、遅延部454が設けられており、高輝度動物体の検出結果を示す検出信号JBと入力画像信号DVinが同期して動き補償部46に供給されるように構成されている。
エッジ検出部451は、入力画像のエッジ抽出処理を行う。例えば入力画像信号DVinの微分処理等を行い、エッジ部分を示すエッジ抽出信号を生成する。さらに、エッジ抽出信号に基づいてエッジの急峻度を検出して、検出結果を示すエッジ急峻度検出信号EJを判定部455に供給する。
動き検出部452は、入力画像信号DVinを用いて例えば連続する2フレーム間で画像比較を行い、動きの生じている部分を検出する。例えば2フレーム間で画素毎の輝度値の差を検出して、輝度値の差が所定値よりも大きくなる画素が連続する領域を動き領域と検出して、この領域を示す動き検出信号MJを判定部455に供給する。
また、動き検出部452は入力画像信号DVinに対して、動き補償画像信号を生成する場合よりも粗くブロック化を行い、入力画像を複数のブロックに分割する。さらに、現在のフレームのブロック(参照ブロック)と前フレーム候補ブロックとの間で評価値を算出する。例えば、参照ブロックと候補ブロックとの間で画素毎に輝度値の差分を算出して、差分絶対値をブロック内で積算して評価値とする。この評価値に基づき、参照ブロックが動きを生じているか否かを検出して、この検出結果を示す動き検出信号MJを判定部455に供給するものとしてもよい。
レベル検出部453は、入力画像信号DVinと閾値RH(≧RL)を比較することで、輝度値の高い画像領域を示す高輝度検出信号HJを生成して判定部455に供給する。
判定部455は、エッジ急峻度検出信号EJと動き検出信号MJと高輝度検出信号HJに基づき、高輝度動物体の検出結果を示す検出信号JBを生成する。具体的には、エッジ急峻度検出信号EJによって示されたエッジの急峻度が所定の値よりも大きく、動き検出信号MJによって動きを生じていることが示されて、高輝度検出信号HJによって輝度値が閾値RJよりも高いことが示された画像を高輝度動物体として、検出信号JBを生成する。
図18の動き補償部46は、高輝度動物体検出部45から供給された入力画像信号DVinと検出信号JBに基づき、検出信号JBで示された高輝度動物体の動き補償を行い、高輝度動物体の動き補償画像を示す動き補償画像信号DVhmを生成して第2輝度値変換部47に供給する。第2輝度値変換部47は、図15に示す第2輝度値変換部43と同様に、図4に示す第2輝度値変換特性における変換特性TCdで輝度値変換を行い、輝度値変換後の画像信号を後サブフレーム画像信号DVsbmとして出力切換部65に供給する。このように、高輝度動物体の動き補償画像を生成すれば、動き補償処理が簡易となる。
また、ソフトウェアで高輝度動物体の判定を行うには、図20〜図22の検出動作を行い、これらの検出結果を用いて図23に示す判定処理を行うものとすればよい。
図20はエッジ検出動作を示すフローチャートである。ステップST31でCPU901は、入力画像のエッジ抽出処理を行いエッジ抽出信号を生成する。例えば、上述のように入力画像信号DVinの微分処理等を行い、エッジ部分を示すエッジ抽出信号を生成してステップST32に進む。ステップST32でCPU901は、エッジの急峻度検出を行う。すなわち、CPU901は、ステップST31で抽出したエッジ抽出信号に基づいてエッジの急峻度を検出して、検出結果を示すエッジ急峻度検出信号EJを生成する。
図21は動き検出動作を示すフローチャートである。ステップST33でCPU901は、入力画像のブロック化を行う。CPU901は入力画像信号DVinに対してブロック化を行い、入力画像を複数のブロックに分割してステップST34に進む。
ステップST34でCPU901は、サーチ範囲の設定を行う。CPU901は、現在のフレームの参照ブロックに対して、前フレームの候補ブロックの範囲を設定してステップST35に進む。
ステップST35でCPU901は評価値の算出を行う。CPU901は、参照ブロックと候補ブロックから評価値を候補ブロック毎に算出してステップST36に進む。
ステップST36でCPU901は動き検出を行う。CPU901は、ステップST35で算出した評価値に基づき、候補ブロックが動きを生じているか否かを検出して、検出結果を示す動き検出信号MJを生成する。
図22はレベル検出動作を示すフローチャートである。ステップST37でCPU901は、輝度値検出を行う。すなわち、CPU901は、入力画像信号DVinと閾値RLを比較することで、輝度値の高い画像領域を示す高輝度検出信号HJを生成する。
図23は判定処理を示すフローチャートである。ステップST38でCPU901は、検出信号の取得を行う。すなわち、CPU901は、ステップST31で生成されたエッジ急峻度検出信号EJと、ステップST36で生成された動き検出信号MJと、ステップST37で生成された高輝度検出信号HJを取得してステップST39に進む。
ステップST39でCPU901は、高輝度動物体判定処理を行う。CPU901は、エッジ急峻度検出信号EJによって示されたエッジの急峻度が所定の値よりも大きく、動き検出信号MJによって動きを生じていることが示されて、高輝度検出信号HJによって輝度値が閾値RLよりも高いことが示された画像を高輝度動物体と判定して、検出信号JBを生成する。このようにすれば、図18に示す画像信号処理装置10dと同様な作用効果を得ることができる。
また、上述の実施の形態では、背景BGの輝度値が閾値RL以下であるか閾値RLを超えるかのいずれかの場合について説明したが、背景BGに閾値RLを超える領域と閾値RL以下の領域が混在する場合もある。そこで、背景BGに閾値RLを超える領域と閾値RL以下の領域が混在する場合でもジャーキネスを目立たなくすることができる画像信号処理装置につて説明する。
図24は、背景BGに閾値RLを超える領域と閾値RL以下の領域が混在している場合に対応させた画像信号処理装置10eの構成を示している。なお図24において、図1や図14と対応する部分については同一符号を付し、詳細な説明は省略する。
FIFO型メモリ12から読み出された前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbは、静止背景領域エッジ判定部14に供給される。
静止背景領域エッジ判定部14は、前サブフレーム画像信号DVsf(あるいは後サブフレーム画像信号DVsb)を用いて、入力画像の連続する2フレームの画像比較を行い静止背景領域を判別する。例えば、2フレームの画像で輝度値がほぼ一致する領域を静止背景領域として検出する。また、静止背景領域エッジ判定部14は、判別した静止背景領域において、輝度値が閾値RLを超える領域と閾値RL以下である領域とのエッジ(以下「領域エッジ」という)が生じているか検出して、領域エッジの検出結果を示す領域エッジ検出信号JC、および前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbと判定信号JAを第1輝度値変換部21とフレームメモリ31と第3輝度値変換部51に供給する。
第3輝度値変換部51は、第1輝度値変換部21における前サブフレームの変換特性で後サブフレームの輝度値変換を行い、第1輝度値変換部21における後サブフレームの変換特性で前サブフレームの輝度値変換を行う。すなわち、第3輝度値変換部51は、第1輝度値変換部21で生成される前サブフレーム画像信号DVslfを後サブフレーム画像信号DVsebとして生成し、第1輝度値変換部21で生成される後サブフレーム画像信号DVslbを前サブフレーム画像信号DVsefとして生成する。
遅延部66は、遅延部61と同様に前サブフレーム画像信号DVsefと後サブフレーム画像信号DVslbを遅延させて出力切換部67に供給する。
出力切換部67は、輝度値が閾値RLを超えるとき、前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを出力する。また、入力画像の輝度値が閾値RL以下であるとき、輝度値が閾値RLを超える領域と閾値RL以下である領域との領域エッジが検出されていない場合には、前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを出力し、領域エッジが検出されているときは前サブフレーム画像信号DVsefと後サブフレーム画像信号DVsebを出力する。
制御部81aは、制御信号CTa,CTb,CTcだけでなく制御信号CTdを生成して遅延部66に供給して、前サブフレーム画像信号DVsefと後サブフレーム画像信号DVslbの遅延量を遅延部61と同様に制御する。
このように画像信号処理装置10eを構成すると、背景BGに閾値RLを超える領域と閾値RL以下の領域が混在していない場合、図1に示す画像信号処理装置10a等と等しい動作となる。また、図25の(A)に示すように背景BGに閾値RLを超える領域BGhと閾値RL以下の領域BGlが混在している場合は、背景BGにおける閾値RL以下である領域BGlで前サブフレーム画像信号DVsefと後サブフレーム画像信号DVsebが出力される。このため、出力画像信号に基づく前サブフレームの画像は図25の(C)に示すものとなり、後サブフレームの画像は図25の(D)に示すものとなる。なお、図25の(B)は、図25の(A)の画像に対して動き補償を行って得られた画像、図25の(E)は、図1に示す画像信号処理装置10a等から出力された出力画像信号に基づく前サブフレームの画像、図25の(F)は、図1に示す画像信号処理装置10a等から出力された出力画像信号に基づく後サブフレームの画像を示している。
このように、背景BGに閾値RLを超える領域BGhと閾値RL以下の領域BGlが混在しているとき、閾値RL以下の領域BGlにおいて前サブフレームの画像と後サブフレームの画像を入れ替えて表示する。この場合、図25の(D)に示す動き補償画像を用いた後サブフレームの画像では、背景BGにおける閾値RL以下の領域BGlbが輝度値変換処理により輝度値が高められていることから、輝度の高い動物体OBすなわち文字「ABC」と背景BGの領域BGlbとの輝度差が少なくなる。したがって、背景のエッジ部分で巻き込みを生じても、ジャーキネスを目立たなくすることができる。
また、背景BGにおける閾値RL以下の領域BGlの輝度値が低い場合には輝度値変換処理により輝度値が高められても、輝度の高い動物体OBとの輝度差が大きい。このため、閾値RL以下の領域BGlの輝度値に応じて後サブフレームにおける閾値RLを超える領域の最高輝度値を適応的に低下させれば輝度差を少なくできる。例えば後サブフレームにおける領域BGlbの輝度値と動物体OBの輝度値との差が所定値よりも大きくならないように、領域BGlの輝度値に応じて動物体OBの最高輝度値を低く制限する。このようにすれば、背景BGにおける閾値RL以下の領域BGlが輝度値の低い状態となってもジャーキネスを目立たなくすることができる。
図26は、ソフトウェアによる画像処理動作を示すフローチャートである。ステップST41でCPU901は輝度値判定処理を行う。CPU901は、入力画像信号DVinの画素毎の輝度値と閾値RLを比較して輝度値が閾値RL以下であるか否かを示す判定信号JAを生成する。さらに、生成した判定信号JAと入力画像信号DVinを関係付けてメモリに記憶させてステップST42に進む。
ステップST42でCPU901は、サブフレーム画像信号生成処理を行う。CPU901は、メモリに記憶された入力画像信号DVinを、フレーム毎に入力画像信号DVinの2倍の速度で繰り返し読み出して前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbを生成してステップST43に進む。
ステップST43でCPU901は、静止背景の領域エッジ検出処理を行う。CPU901は、入力画像の連続する2フレームの画像比較を行い静止背景領域を判別する。さらに、判別した静止背景領域において、輝度値が閾値RLを超える領域と閾値RL以下である領域との領域エッジを有しているか否か検出して、検出結果を示す領域エッジ検出信号JCを生成する。
ステップST44でCPU901は、輝度値が閾値RL以下であるか否かを判別する。CPU901は、画像信号とともに読み出された判定信号JAによって、輝度値が閾値RL以下であることが示されたときステップST45に進む。また、CPU901は、判定信号JAによって輝度値が閾値RLを超えていることが示されたときステップST48に進む。
ステップST45でCPU901は、ステップST43で領域エッジが検出されているか否かを判別して、領域エッジが検出されているときにはステップST46に進み、領域エッジが検出されていないときはステップST47に進む。
ステップST46でCPU901は第3輝度値変換処理を行う。CPU901は、上述の第3輝度値変換部51と同様にして前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbの輝度値変換を行い、前サブフレーム画像信号DVsefと後サブフレーム画像信号DVsebを出力する。
ステップST47でCPU901は第1輝度値変換処理を行う。CPU901は、上述の第1輝度値変換部21と同様にして前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbの輝度値変換を行い、得られた前サブフレーム画像信号DVslfと後サブフレーム画像信号DVslbを出力する。
ステップST48でCPU901は、動き補償処理を行う。CPU901は、前サブフレーム画像信号DVsf(あるいは後サブフレーム画像信号DVsb)をフレームメモリに記憶して、入力画像信号DVinの連続する2フレームのサブフレーム画像信号を用いてブロックマッチング法等の動き補償処理を行い、動き補償画像の画像信号を生成する。さらに、生成した動き補償画像の画像信号を後サブフレーム画像信号DVsbとしてステップST49に進む。
ステップST49でCPU901は第2輝度値変換処理を行う。CPU901は、上述の第2輝度値変換部33と同様にして前サブフレーム画像信号DVsfと後サブフレーム画像信号DVsbの輝度値変換を行い、得られた前サブフレーム画像信号DVshfと後サブフレーム画像信号DVshbを出力する。
この図26に示す処理を入力画像信号DVinの各フレームに対して行うものとすれば、ホールドぼけを軽減させることができるだけでなく、背景に輝度の高い領域と輝度の低い領域が含まれても、容易にジャーキネスを目立たなくすることができる。
また、動き補償画像を生成する場合、図27に示すように、動物体OBを移動させたことにより、動物体OBで隠れていたアンカバード領域UCが背景BGに生じてしまうことが知られている。
ここで、背景BGの輝度値が閾値RL以下であるとき、アンカバード領域UCの輝度値を閾値RL以下とすれば、動き補償画像におけるアンカバード領域UCや背景BGは輝度レベルが「0」に変換されるので、表示画像にアンカバード領域UCの影響が現れることがない。
また、背景BGの輝度値が閾値RLを超えるときは、アンカバード領域UCに画像を埋め込んで輝度変換処理を行えば、表示画像にアンカバード領域UCの影響が現れることがない。
アンカバード領域UCに画像を埋め込む際には、例えば特開昭60−128791号公報に記載されている方法を用いるものとすればよい。すなわち、背景メモリを設けて背景画像信号を記憶される。さらに、背景メモリに記憶されている背景画像信号と入力画像信号との画素毎の差分絶対値が閾値を超えていないときには、差分絶対値に小さい重み係数を乗算して、乗算結果を背景画像信号に加算して、加算結果を新たな背景画像信号として記憶させる。また、差分絶対値が閾値を超えているときには、差分絶対値に大きな重み係数を乗算して、乗算結果を背景画像信号に加算して、加算結果を新たな背景画像信号として記憶させる。このようにして背景画像の更新を行うと、背景が変化していないときは、入力画像中の雑音を除去できるようになる。また、シーンチェンジ等によって背景が切り換えられたときには、重み係数が大きくされることから、記憶されている背景画像信号が新たな背景の背景画像信号に切り換えられる。このようにして、背景メモリに記憶されている背景画像信号が順次更新されることから、アンカバード領域UCの画像信号を背景メモリから読み出すものとすれば、アンカバード領域UCが生じてもこの領域の画像を補うことができるので、アンカバード領域UCの画像が補われた画像信号に対して輝度値変換を行うものとすれば、表示画像にアンカバード領域の影響が現れてしまうことを防止できる。
10a〜10e・・・画像信号処理装置、11・・・輝度値判定部、12・・・FIFO型メモリ、12a・・・フレームメモリブロック、14・・・静止背景領域エッジ判定部、21・・・第1輝度値変換部、31,41・・・フレームメモリ、32,42,46・・・動き補償部、33,43,47・・・第2輝度値変換部、45・・・高輝度動物体検出部、51・・・第3輝度値変換部、61,64,66,454・・・遅延部、62,63,65,67・・・出力切換部、81、81a・・・制御部、100・・・表示装置、101・・・記録媒体、451・・・エッジ検出部、452・・・動き検出部、453・・・レベル検出部、455・・・判定部、901・・・CPU、902・・・ROM、903・・・RAM、904・・・ハードディスクドライブ、905・・・入出力インタフェース、911・・・入力部、912・・・記録媒体ドライブ、913・・・通信部、914・・・画像入力部、915・・・画像出力部、920・・・バス
Claims (9)
- 入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理装置において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換部と、
前記入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第1輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第2輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部を有する
ことを特徴とする画像信号処理装置。 - 前記入力画像信号に基づく画像から静止背景領域を検出して、この静止背景領域から前記閾値以下の領域と前記閾値を超える領域との境界を検出する静止背景領域エッジ検出部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分の前記動き補償画像信号とは時間的に異なるサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第3輝度値変換部を有し、
前記第1輝度変換部では、前記動き補償画像信号と時間的に等しいサブフレーム画像信号を前記最小輝度値あるいは前記第1所定輝度値以下の輝度値とし、
前記出力切換部は、前記入力画像信号の輝度値が前記閾値以下であるとき、前記境界が検出されていない場合には、前記第1輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記境界が検出されている場合には、前記第3輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とする
ことを特徴とする請求項1記載の画像信号処理装置。 - 前記入力画像信号の信号レベルと信号レベル変化および前記入力画像信号を用いた動き検出結果から高輝度動物体の画像を検出する高輝度動物体検出部を有し、
前記動き補償部は、前記高輝度動物体の画像の動き補償画像信号を生成する
ことを特徴とする請求項1記載の画像信号処理装置。 - 前記1フレーム期間分に相当する複数のサブフレーム画像信号は、前サブフレーム画像信号と後サブフレーム画像信号で構成し、
前記動き補償画像信号を後サブフレーム画像信号とする
ことを特徴とする請求項1記載の画像信号処理装置。 - 入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理方法において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換ステップと、
前記入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第1輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第2輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを設けた
ことを特徴とする画像信号処理方法。 - 入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成して、この出力画像信号に基づいて画像表示を行う画像表示装置において、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換部と、
前記入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償部と、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換部と、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第1輝度値変換部で輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第2輝度値変換部で輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換部と、
前記出力切換部から出力される前記出力画像信号に基づいて画像表示を行う表示部を有する
ことを特徴とする画像表示装置。 - 入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムにおいて、
前記画像信号処理プログラムには、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換ステップと、
前記入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第1輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第2輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有する
ことを特徴とする画像信号処理プログラム。 - 入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行い出力画像信号を生成する画像信号処理をコンピュータで行わせる画像信号処理プログラムが記録された記録媒体において、
前記画像信号処理プログラムは、
前記入力画像信号の輝度値が予め設定された閾値以下であるか否かの判定を行う輝度値判定ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする輝度値変換を行う第1輝度値変換ステップと、
前記入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成する動き補償ステップと、
前記動き補償画像信号をサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする輝度値変換を行う第2輝度値変換ステップと、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第1輝度値変換ステップで輝度値変換が行われたサブフレーム画像信号を出力画像信号とし、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第2輝度値変換ステップで輝度値変換が行われた動き補償画像信号とサブフレーム画像信号を出力画像信号とする出力切換ステップを有する
ことを特徴とするコンピュータ読み取り可能な記録媒体。 - 入力画像信号のフレーム期間に相当する複数のサブフレーム画像信号に対し、前記複数のサブフレーム画像信号に基づく画像の時間積分によって前記入力画像信号に基づくフレーム画像の輝度を得る輝度値変換処理を行って生成された出力画像信号が記録された記録媒体において、
前記出力画像信号は、
前記入力画像信号の輝度値が予め設定された閾値以下であるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の少なくとも1つのサブフレーム画像信号を、最小輝度値あるいは第1所定輝度値以下の輝度値とする第1輝度値変換と、
前記入力画像信号の連続する2フレームの時間的に中間に相当する画像の動き補償画像信号を生成してサブフレーム画像信号として用い、前記入力画像信号の輝度値が前記閾値を超えるとき、前記入力画像信号に基づく表示画像の輝度を得る1フレーム期間分のサブフレーム画像信号の前記動き補償画像信号を、最高輝度値あるいは前記第1所定輝度値よりも高い第2所定輝度値以上の輝度値とする第2輝度値変換が行われて、
前記入力画像信号の輝度値が前記閾値以下であるとき、前記第1輝度値変換で得られたサブフレーム画像信号とされて、前記入力画像信号の輝度値が前記閾値を超えるとき、前記第2輝度値変換で得られた動き補償画像信号とサブフレーム画像信号とされた信号である
ことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007264728A JP2009093012A (ja) | 2007-10-10 | 2007-10-10 | 画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007264728A JP2009093012A (ja) | 2007-10-10 | 2007-10-10 | 画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009093012A true JP2009093012A (ja) | 2009-04-30 |
Family
ID=40665041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007264728A Withdrawn JP2009093012A (ja) | 2007-10-10 | 2007-10-10 | 画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009093012A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021006146A1 (ja) * | 2019-07-10 | 2021-01-14 | ソニー株式会社 | 画像処理装置および画像処理方法 |
-
2007
- 2007-10-10 JP JP2007264728A patent/JP2009093012A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021006146A1 (ja) * | 2019-07-10 | 2021-01-14 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US11776445B2 (en) | 2019-07-10 | 2023-10-03 | Saturn Licensing Llc | Image processing device and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4181593B2 (ja) | 画像表示装置及び方法 | |
JP5212742B2 (ja) | 画像表示装置、映像信号処理装置および映像信号処理方法 | |
JP4455649B2 (ja) | 画像表示方法および画像表示装置 | |
JP4139430B1 (ja) | 画像処理装置及び方法、画像表示装置及び方法 | |
JP5024634B2 (ja) | 画像処理装置および画像表示システム | |
JP4525946B2 (ja) | 画像処理装置、画像表示装置および画像処理方法 | |
JP2007133051A (ja) | 画像表示装置 | |
WO2008035472A1 (fr) | Dispositif et procédé d'affichage d'image, et dispositif et procédé de traitement d'image | |
JP2015018219A (ja) | 画像表示装置及びその制御方法 | |
WO2008035475A1 (fr) | Afficheur d'images et procédé associé et dispositif de traitement d'images et procédé associé | |
JP2010014879A (ja) | 係数生成装置および方法、画像生成装置および方法、並びにプログラム | |
JP5005260B2 (ja) | 画像表示装置 | |
JP2009109694A (ja) | 表示装置 | |
JP2002123211A (ja) | ビデオ画像を処理する方法及び装置 | |
JP2008096521A (ja) | 映像表示装置 | |
JP2009093012A (ja) | 画像信号処理装置、画像信号生成方法、画像表示装置、画像信号処理プログラムおよび記録媒体 | |
JP4181613B2 (ja) | 画像表示装置及び方法 | |
JP2009071842A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2008111910A (ja) | 映像処理回路および映像表示装置 | |
JP2008281631A (ja) | 画像処理装置、画像表示装置および画像処理方法 | |
JP2010091711A (ja) | 表示装置 | |
JP2009258269A (ja) | 画像表示装置 | |
JP2009103889A (ja) | 画像表示装置および画像表示方法 | |
JP4181612B2 (ja) | 画像表示装置及び方法 | |
US8194185B2 (en) | Video picture display method to reduce the effects of blurring and double contours and device implementing this method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090918 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091109 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110104 |