JP2010239256A - 映像信号の動き適応走査変換装置及び方法 - Google Patents

Abstract

【課題】映像信号の動き適応走査変換装置及び方法に関し、垂直エッジ部分の映像が上下方向にゆっくり移動する場合に起こる垂直エッジ部分の映像のぼけを改善する。
【解決手段】入力されるインターレース方式の映像信号からフレーム間差分絶対値Ｓを計算するフレーム間差分絶対値計算部６−３１と、フレーム間差分絶対値Ｓから映像の緩上下動を検出する緩上下動検出部１−２と、フレーム間差分絶対値Ｓから映像の動静を判定し、かつ、緩上下動検出部１−２による緩上下動の検出時には静と判定する動静判定値計算部１−３と、動静判定値計算部１−３による動静の判定を基に、フィールド内補間とフィールド間補間の何れかを選択し、又はフィールド内補間とフィールド間補間とに重みを付けて混合する補間処理部１−４とを備える。
【選択図】図１

Description

本発明は、映像信号の動き適応走査変換装置及び方法に関する。

近年、国内外でのデジタルテレビ放送への移行時期を迎え、液晶ディスプレイやプラズマディスプレイを用いた薄型テレビ受像機が急速に普及している。前述のような薄型テレビ受像機のディスプレイパネルはプログレッシブ（順次走査）方式が採用されているため、通常のテレビジョン映像のインターレース（飛越し走査）方式の走査信号からプログレッシブ方式の走査信号への変換を行って映像を表示している。

インターレース信号からプログレッシブ信号へ変換する際に、偶数フィールド及び奇数フィールドの各フィールドの走査において、本来の映像信号の各走査ラインの間にそれぞれ補間ラインを挿入して順次走査が行われる。補間方法には、直前又は直後に走査したフィールド（前フィールド又は後フィールド）における補間ラインと同じ走査ライン上の映像信号を用いて補間する方法（フィールド間補間）と、現在走査しているフィールド（現在フィールド）内における直前又は直後の走査ライン上の映像信号を用いて補間する方法（フィールド内補間）とがある。

また、インターレース方式からプログレッシブ方式への変換において、動き適応走査変換が挙げられる。動き適応走査変換は、映像の動き検出による動静の判定結果に応じて、動いている部分はフィールド内補間により上下の画素から補間を行い、静止している部分はフィールド間補間により前後の何れかのフィールドの同位置の画素から補間を行う。このように、映像の動静の検出結果に応じて、フィールド内補間とフィールド間補間とを適応的に選択又は混合することにより、映像の解像度の低下を抑制している。

従来の動き適応走査変換機能の構成例を図６に示す。この構成例は、第１のフィールドメモリ６−１、第２のフィールドメモリ６−２、動静判定部６−３、フィールド内補間部６−４、補間選択／混合部６−５、倍速変換部６−６を備える。動静判定部６−３内には、フレーム間差分絶対値計算部６−３１、及び動静判定値計算部６−３２を備える。

第１のフィールドメモリ６−１は、インターレース方式の映像入力信号が入力され、１フィールド分遅延した補間フィールドの走査信号を出力する。第２のフィールドメモリ６−２は、第１のフィールドメモリ６−１から出力される補間フィールドの走査信号を入力し、前フィールドの走査信号を出力する。フレーム間差分絶対値計算部６−３１は、前述の映像入力信号（後フィールドの走査信号）と第２のフィールドメモリ６−２の出力信号（前フィールドの走査信号）とが入力される。

フレーム間差分絶対値計算部６−３１は、補間フィールドの前後のフィールドの各画素の差分からフレーム間差分絶対値Ｓを計算し、該フレーム間差分絶対値Ｓを動静判定値計算部６−３２に出力する。動静判定値計算部６−３２は、フレーム間差分絶対値Ｓを基に映像の動静判定値Ｂを計算し、動静判定値Ｂを補間選択／混合部６−５に出力する。

動静判定値計算部６−３２は、図７に示すとおり、フレーム間差分絶対値Ｓから動静判定値Ｂを計算する。図７はフレーム間差分絶対値Ｓと動静判定値Ｂとの関係を示し、フレーム間差分絶対値Ｓに応じた動静判定値Ｂを出力する。ここで、動静判定値Ｂは０≦Ｂ≦１とし、大きいほど静止の判定割合が大きくなるものとする。図７ではフレーム間差分絶対値がＳ１のときに動静判定値Ｂ１が計算される様子を示している。

補間選択／混合部６−５は、動静判定値Ｂを基に、動の部分はフィールド内補間部６−４から出力される補間信号を選択してフィールド内補間を行い、静の部分は映像入力信号（即ち、後フィールドの走査信号）を選択することによりフィールド間補間を行う。或いは、動静判定値Ｂを基に、フィールド内補間とフィールド間補間とに重みを付けて混合する補間処理を行う。その際に、静止の判定割合が大きいほど、フィールド間補間に大きい重みを付け、動きの判定割合が大きいほど、フィールド内補間に大きい重みを付ける。

図８に従来の動き適応走査変換による補間の一例を示す。この例は、１ピクセル／フィールドで黒いオブジェクトが画面上方へスクロールしている映像の走査ラインの画素を示している。図８において横軸は時間、縦軸は映像画面の垂直方向を示し、黒丸は低い輝度値の画素を、白丸は高い輝度値の画素を、三角は補間画素の位置を示している。また、矢印はフレーム間差分絶対値（Ｄｉｆ）の計算対象の画素の位置を示す。

図８の例の場合、フレーム間差分絶対値（Ｄｉｆ）は、高輝度画素ｂと低輝度画素ｇとの間で計算され、走査位置Ｌの画素の差分は大きな値となる。このとき動静判定値Ｂは、動と判定され、フィールド内補間が選択される。従って、三角の補間画素は、走査位置（Ｌ−１）の画素ｄと走査位置（Ｌ＋１）の画素ｅとを用いて補間され、高輝度画素ｄと低輝度画素ｅの中間の輝度の画素として補間される。

このように輝度差が大きいエッジ部分でのフィールド内補間は、縦方向に画像がぼけることになり、垂直エッジがゆっくり上下方向に動く場合、この画像のぼけが目立つことが問題点として挙げられている。この問題を解決する技術が、例えば以下の特許文献１〜３等に開示されている。

特開平４−３２６２７６号公報 特開平０８−１１１８５２号公報 特開２０００−１５２２４６号公報

図９の（ａ）は特許文献１における動静判定部の構成を示す。この動静判定部は、フィールド間差分絶対値計算部９−１と、フレーム間差分絶対値計算部９−２と、エッジ検出部９−３と、動静判定値計算部９−４とを備える。エッジ検出部９−３による垂直エッジの検出結果に応じて、フィールド間差分絶対値とフレーム間差分絶対値の混合処理を制御して動静を判定する。そして、垂直エッジ部分の信号を静止画と判定し、フィールド間補間を行い、動きの遅い垂直エッジ部分の垂直解像度の低下を改善している。しかしながら、移動速度が速い場合においても同様に静止時の処理を行うため、垂直エッジ部の画像に乱れが生じる問題があった。

図９の（ｂ）は特許文献２の動静判定部の構成を示す。この動静判定部は、画面内のエッジをライン及びカラム毎に積算し、前フィールドとの比較から、画面全体のスクロール速度を検出し、スクロール速度が遅い場合に静止時と同じ処理を行うことにより、垂直エッジ部の解像度低下を改善している。しかしながら、エッジ検出部９−３、エッジ累積メモリ９−５、エッジ比較部などを備えるため、構成が複雑になり、回路規模が大きくなるという問題があった。

図８に示したように、輝度差が大きいエッジ部分でのフィールド内補間は、縦方向に画像がぼけることになり、垂直エッジ部分がゆっくり上下方向に移動する場合、この映像のぼけが目立つようになる。本発明は、垂直エッジ部分の映像が上下方向にゆっくり移動する場合に起こる垂直エッジ部分の映像のぼけを簡素な構成により改善することを目的とする。

上記課題を解決する動き適応走査変換装置は、インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する動き適応走査変換装置において、入力されるインターレース方式の映像信号からフレーム間差分絶対値を計算するフレーム間差分絶対値計算部と、前記フレーム間差分絶対値から映像の緩上下動を検出する緩上下動検出部と、前記フレーム間差分絶対値から映像の動静を判定し、かつ、前記緩上下動検出部による緩上下動の検出時には静と判定する動静判定値計算部と、前記動静判定値計算部による動静の判定を基に、フィールド内補間とフィールド間補間の何れかを選択し、又はフィールド内補間とフィールド間補間とに重みを付けて混合する補間処理部を備えたものである。

また、動き適応走査変換方法は、入力されるインターレース方式の映像信号からフレーム間差分絶対値を計算する第１のステップと、前記フレーム間差分絶対値から映像の緩上下動を検出する第２のステップと、前記フレーム間差分絶対値から映像の動静を判定し、かつ、前記第２のステップによる緩上下動の検出時には静と判定する第３のステップと、前記第３のステップによる動静の判定を基に、フィールド内補間とフィールド間補間の何れかを選択し、又はフィールド内補間とフィールド間補間とに重みを付けて混合して補間処理を実施する第４のステップを含むものである。

垂直エッジ部分の映像のゆっくりとした上下動を、フレーム間差分絶対値の情報を用いて簡素に検出することができ、簡素な構成で、速い動きの映像に対しても悪影響を及ぼすことなく、垂直エッジ部分のゆっくりとした上下動のエッジ部分のボケを低減することができる。

動作判定部の構成を示す図である。 緩上下動検出部の構成例を示す図である。 動き適応走査変換装置の実施例を示す図である。 緩上下動検出の動作例及び補間の動作例を示す図である。 マスクサイズのフレーム間差分絶対値和の例を示す図である。 従来の動き適応走査変換装置の構成例を示す図である。 フレーム間差分絶対値Ｓと動静判定値Ｂとの関係を示す図である。 従来の動き適応走査変換による補間の一例を示す図である。 従来の動静判定部の構成例を示す図である。

図１は開示の動作判定部の構成を示す。この動き適応補間機能は、動静判定部１−１に、フレーム間差分絶対値計算部６−３１、緩上下動検出部１−２、動静判定値計算部１−３を備える。フレーム間差分絶対値計算部６−３１は、補間対象フィールドの前後のフィールドの差分値（即ち、フレーム間差分絶対値）Ｓを、飛び越し走査（インターレース）信号の入力信号から画素毎に計算する。

緩上下動検出部１−２では、フレーム間差分絶対値Ｓの大小を走査ライン毎に判定することにより、補間ラインにゆっくりとした上下動があることを検出する。即ち、緩上下動検出部１−２は、走査ライン毎のフレーム間差分絶対値Ｓについて、補間位置の下のラインのフレーム間差分絶対値Ｓが第１の閾値よりも小さく、かつ、補間位置のラインのフレーム間差分絶対値Ｓが第２の閾値より大きく、かつ、補間位置の上のラインのフレーム間差分絶対値Ｓが第３の閾値よりも小さいことを検出したときに、ゆっくりした上下動（緩上下動）として検出し、緩上下動検出信号Ｊを出力する。動静判定値計算部１−３は、フレーム間差分絶対値Ｓと緩上下動検出信号Ｊとから映像信号の動静を判定し、動静判定値Ｂを出力する。

図２に緩上下動検出部の構成例を示す。緩上下動検出部は、第１の閾値判定部２−１、第２の閾値判定部２−２、第３の閾値判定部２−３、第１のラインメモリ２−４、第２のラインメモリ２−５、論理積演算部２−６を備える。第１のラインメモリ２−４は、フレーム間差分絶対値Ｓを入力して１走査ライン分の遅延を与え、補間ラインのフレーム間差分絶対値Ｓを出力する。第２のラインメモリ２−５は、第１のラインメモリ２−４の出力信号を入力し、１走査ライン分の遅延を与え、補間ラインの上のラインのフレーム間差分絶対値Ｓを出力する。

第１の閾値判定部２−１は、補間ラインの下のラインのフレーム間差分絶対値Ｓが入力され、該フレーム間差分絶対値Ｓを第１の閾値と比較し、該フレーム間差分絶対値Ｓが第１の閾値よりも小さいとき、“１”の論理信号を出力する。第２の閾値判定部２−２は、補間ラインの画素のフレーム間差分絶対値Ｓを第２の閾値と比較し、該フレーム間差分絶対値Ｓが第２の閾値よりも大きいとき、“１”の論理信号を出力する。第３の閾値判定部２−３は、補間ラインの上のラインのフレーム間差分絶対値Ｓを第３の閾値と比較し、該フレーム間差分絶対値Ｓが第３の閾値よりも小さいとき、“１”の論理信号を出力する。そして、第１〜第３の閾値判定部２−１〜２−３の出力信号の論理積を、論理積演算部２−６により演算し、その演算結果を緩上下動検出信号Ｊとして動静判定値計算部１−３に出力する。

動静判定値計算部１−３は、緩上下動が検出された場合には静状態と判定する。これにより、補間処理部１−４では、緩上下動の画素に対してフィールド間補間を実施し、映像のぼけを防ぐ。緩上下動が検出されなかった場合には、フレーム間差分絶対値Ｓの大小に応じて動静判定を行い、動状態のときはフィールド内補間、静状態のときはフィールド間補間を行う。このように、通常の動静判定を行う際に計算するフレーム間差分絶対値Ｓを用いて緩上下動の検出を行うため、大幅な機能部の増加を行うことなく、緩上下動を検出することができる。

上述の動静判定部１−１を用いた動き適応走査変換装置の実施例を図３に示す。動静判定部１−１内のフレーム間差分絶対値計算部６−３１は、前フィールドの映像信号と後フィールドの映像信号とが入力され、各画素のフレーム間差分絶対値Ｓを計算して出力する。緩上下動検出部１−２は、フレーム間差分絶対値Ｓが入力され、それを基に緩上下動を検出し、緩上下動検出信号Ｊを出力する。動静判定値計算部１−３は、フレーム間差分絶対値Ｓ及び緩上下動検出信号Ｊが入力され、それらを基に動静判定値Ｂを計算して出力する。

緩上下動検出部１−２の動作例について図４を参照して説明する。図４は、図８と同様の１ピクセル／フィールドで黒いオブジェクトが画面上方へスクロールしている映像の走査ラインの画素の例を示している。図４の（ａ）は緩上下動検出の動作例、図４の（ｂ）は補間の動作例を示している。

図４の（ａ）において、Ｄｉｆ１は高輝度画素ａと高輝度画素ｆとのフレーム間差分絶対値、Ｄｉｆ２は高輝度画素ｂと低輝度画素ｇとのフレーム間差分絶対値、Ｄｉｆ３は低輝度画素ｃと低輝度画素ｈとのフレーム間差分絶対値である。ここで、各フレーム間差分絶対値Ｄｉｆ１，Ｄｉｆ２，Ｄｉｆ３が次の式１を満たすとき、補間画素位置ｉは緩上下動であると判定する。
（Ｄｉｆ１＜Ｃ１）＆（Ｄｉｆ２＞Ｃ２）＆（Ｄｉｆ３＜Ｃ３）・・・（式１）

ここで、Ｃ１，Ｃ２，Ｃ３は第１、第２及び第３の閾値であり、Ｃ２は動と判定する輝度差レベル、Ｃ１，Ｃ３は静と判定する輝度差レベルを設定する。第２項（Ｄｉｆ２＞Ｃ２）により、補間画素位置ｉが縦方向の動状態であることを検出し、第１項及び第３項により、補間ラインの上下のラインが静状態であることを検出する。これにより映像が縦方向に緩やかに移動していることを検出する。

動静判定値計算部１−３では、緩上下動が検出された場合には静状態と判定し、動静判定値Ｂの値を１とし、緩上下動が検出されなかった場合には、通常の動静判定と同様に、図７に示すとおり、フレーム間差分絶対値Ｓから動静判定値Ｂを算定する。垂直エッジの緩上下動のときは、静状態と判定することにより、フィールド間補間を行い、後補間フィールドの同位置の画素を用いて補間する。即ち、図４の（ｂ）に示すように、補間画素位置ｉは、後補間フィールドの同位置の画素ｇを用いて補間され、映像のボケが改善される。

なお好ましくは、緩上下動検出及び動静判定値計算におけるフレーム間差分値絶対値Ｓとして、マスクサイズと称されるブロック単位のフレーム間差分絶対値和を用いることができる。図５に、マスクサイズを横５ピクセル縦３ラインとしたときのフレーム間差分絶対値和の例を示している。

図５の（ａ）は、マスクサイズのフレーム間差分絶対値和の計算の具体例を示している。前フィールド及び後フィールドの同位置で補間画素位置を中心として、フレーム間差分絶対値和を計算する。図５の（ｂ）は、マスクサイズ内のライン毎のフレーム間差分絶対値和（ＳＡＤ）を示している。
図５の（ｂ）において、ラインＬ−２のフレーム間差分絶対値和をＳＡＤ１、ラインＬのフレーム間差分絶対値和をＳＡＤ２、ラインＬ＋２のフレーム間差分絶対値和をＳＡＤ３としている。動静判定値計算部１−３に用いるフレーム間差分絶対値和は、ＳＡＤ１＋ＳＡＤ２＋ＳＡＤ３により算定する。

一方、緩上下動検出部１−２では、ＳＡＤ１，ＳＡＤ２，ＳＡＤ３が入力され、以下の式２を満たすときに緩上下動であると判定する。
（ＳＡＤ１＜Ｃ４）＆（ＳＡＤ２＞Ｃ５）＆（ＳＡＤ３＜Ｃ６）・・・（式２）
ここで、Ｃ４，Ｃ５，Ｃ６は、閾値であり、Ｃ５は動と判定する輝度差レベル、Ｃ４，Ｃ６は静と判定する輝度差レベルである。

１−１ 動静判定部
１−２ 緩上下動検出部
１−３ 動静判定値計算部
１−４ 補間処理部
２−１ 第１の閾値判定部
２−２ 第２の閾値判定部
２−３ 第３の閾値判定部
２−４ 第１のラインメモリ
２−５ 第２のラインメモリ
２−６ 論理積演算部
６−１ 第１のフィールドメモリ
６−２ 第２のフィールドメモリ
６−３ 動静判定部
６−４ フィールド内補間部
６−５ 補間選択／混合部
６−６ 倍速変換部
６−３１ フレーム間差分絶対値計算部
６−３２ 動静判定値計算部

Claims (4)

1. インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する動き適応走査変換装置において、
   入力されるインターレース方式の映像信号からフレーム間差分絶対値を計算するフレーム間差分絶対値計算部と、
   前記フレーム間差分絶対値から映像の緩上下動を検出する緩上下動検出部と、
   前記フレーム間差分絶対値から映像の動静を判定し、かつ、前記緩上下動検出部による緩上下動の検出時には静と判定する動静判定値計算部と、
   前記動静判定値計算部による動静の判定を基に、フィールド内補間とフィールド間補間の何れかを選択し、又はフィールド内補間とフィールド間補間とに重みを付けて混合する補間処理部と、
   を備えたことを特徴とする映像信号の動き適応走査変換装置。
2. 前記緩上下動検出部は、補間ラインの画素の下のラインの画素のフレーム間差分絶対値が第１の閾値よりも小さく、かつ、補間ラインの画素のフレーム間差分絶対値が第２の閾値より大きく、かつ、補間ラインの画素の上のラインの画素のフレーム間差分絶対値が第３の閾値よりも小さいと判定することを条件に、前記映像の緩上下動を検出することを特徴とする請求項１記載の映像信号の動き適応走査変換装置。
3. インターレース方式の映像信号をプログレッシブ方式の映像信号に変換する動き適応走査変換方法において、
   入力されるインターレース方式の映像信号からフレーム間差分絶対値を計算する第１のステップと、
   前記フレーム間差分絶対値から映像の緩上下動を検出する第２のステップと、
   前記フレーム間差分絶対値から映像の動静を判定し、かつ、前記第２のステップによる緩上下動の検出時には静と判定する第３のステップと、
   前記第３のステップによる動静の判定を基に、フィールド内補間とフィールド間補間の何れかを選択し、又はフィールド内補間とフィールド間補間とに重みを付けて混合して補間処理を実施する第４のステップと、
   を含むことを特徴とする映像信号の動き適応走査変換方法。
4. 前記第２のステップにおける緩上下動の検出において、補間ラインの画素の下のラインの画素のフレーム間差分絶対値が第１の閾値よりも小さく、かつ、補間ラインの画素のフレーム間差分絶対値が第２の閾値より大きく、かつ、補間ラインの画素の上のラインの画素のフレーム間差分絶対値が第３の閾値よりも小さいと判定されることを条件に、前記映像の緩上下動を検出することを特徴とする請求項３記載の映像信号の動き適応走査変換方法。

Images