JP2001054075A

JP2001054075A - 画像信号の動き補償走査変換回路

Info

Publication number: JP2001054075A
Application number: JP11223436A
Authority: JP
Inventors: Yasuhiro Hirano; 裕弘平野; Takaaki Matono; 孝明的野; Haruki Takada; 春樹高田; Takashi Hasegawa; 敬長谷川; Kazuo Ishikura; 和夫石倉; Masahito Sugiyama; 雅人杉山; Mitsuo Nakajima; 満雄中嶋; Yasutaka Tsuru; 康隆都留
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-08-06
Filing date: 1999-08-06
Publication date: 2001-02-23
Also published as: US6509930B1

Abstract

(57)【要約】【課題】低コスト、高画質な画像信号の動き補償走査変
換回路を提供する。【解決手段】動き適応型の第１の補間信号生成部と、動
き補償型の第２の補間信号生成部と、動きベクトル検出
部と、上記第２の補間信号生成部の信号と飛び越し走査
の走査線信号との相対比較で動き補償信号処理の信頼度
を検証して上記第１、第２の補間信号生成部の信号を選
択する設定部と、上記動きベクトル検出で再探索処理し
たブロックの個数が大きくなるに従って閾値が小さくな
るように上記相対比較の閾値を設定することで、飛び越
し走査の画像信号を順次走査の画像信号に変換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、飛び越し走査の画
像信号を走査線補間処理で順次走査の画像信号に変換す
る走査変換回路に係り、特に、フリッカ妨害や解像度低
下が極めて少なく、高画質、低コストな走査変換を実現
するのに好適な画像信号の動き補償走査変換回路に関す
る。

【０００２】

【従来の技術】近年、ＰＣ画像やＴＶ画像をいずれも高
品質で表示するため、順次走査の形態で画像を表示する
機器が多くなっている。

【０００３】しかし、映像ソフトの多くは飛び越し走査
の形態で撮像された信号である。このため、飛び越し走
査の信号を順次走査の信号に変換する走査変換の信号処
理が必要になる。

【０００４】従来、この信号処理は、動き適応型による
ものが多数考案されている。これは、フィールド間の補
間処理で生成する静止画像に適した信号と、フィールド
内の補間処理で生成する動画像に適した信号とを、画像
の動きに応じてその混合比率を適応的に変化させて、飛
び越し走査で抜けた走査線の信号を生成し、順次走査化
するものである。

【０００５】しかし、動画像の補間信号の垂直解像度が
悪いため、ある種の動きではボケやフリッカ妨害の発生
が避けられないという問題を有している。

【０００６】この解決策として、最近、動き補償処理に
よる順次走査化の研究開発が進められている。これは、
前フィールドの信号を動きベクトルで現フィールドの位
置に移動させた信号と、現フィールドの信号とで、動画
像に適した補間信号を生成し、従来の動き適応型では達
成困難な高品質な順次走査化を実現するものである。

【０００７】ただ、この動き補償型の走査変換では、動
き補償処理を行うために、画像の動きベクトルを検出す
る必要がある。また、動きベクトルが誤って検出された
時には、極めて目障りな妨害が発生し、画質が極端に劣
化する。

【０００８】したがって、動き補償型の走査変換回路
を、テレビジョン受像機や情報家電端末装置などに適用
するには、効率のよい動きベクトルの検出、および、誤
検出に伴う画質劣化の抑圧など、解決すべき課題が多く
残されている。

【０００９】

【発明が解決しようとする課題】本発明は、上記の課題
に鑑みてなされたもので、動き補償型の走査変換回路
を、高画質、かつ、低コストで提供することを目的とす
る。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、本発明においては、以下の技術的手段により、低コ
スト、高画質な画像信号の走査変換回路を実現する。

【００１１】動きベクトルの検出に関しては、まず、注
目ブロック周縁の既検出な動きベクトルを参照ベクトル
とし、このうちで予測誤差が最少なものを注目ブロック
の代表ベクトルに設定する。次に、この予測誤差が設定
値を超えるブロックは、ツリー探索やブロックマッチン
グ探索で再探索処理を行い、動きベクトルを検出する。
そして、ブロックを水平・垂直方向に細分化したミニブ
ロックに対して、周縁ブロックの動きベクトルを用いた
ミニブロック分割探索処理を行う。さらに、これらミニ
ブロックの動きベクトルを平滑化処理して画素毎の動き
ベクトルを検出する。この動きベクトル検出の信号処理
の手段で、動きベクトルの検出に要する演算量を従来の
数十〜数百分の一と飛躍的に削減できる。

【００１２】動きベクトル誤検出に起因した画質劣化の
抑圧に関しては、動き補償処理で生成する補間走査線の
注目画素と、この上下の位置の飛び越し走査の走査線の
画素との信号の連続性に着目し、これら画素の相対比較
で動き補償処理の信頼性を検証する。そして、信頼性が
低いと判定した領域では動き補償処理による補間信号の
生成動作を中止する。この際、上述した動きベクトル検
出で再探索処理の回数が多い場合は動きベクトルの精度
も悪くなるという知見を得ている。そこで、この再探索
処理の回数に応じて相対比較の閾値を適応的に変化させ
る信号処理を行う。また、動き補償処理による補間信号
の生成は、画像の垂直周波数高域成分の領域、あるい
は、動きベクトルの速度が所定範囲内のものに限定する
信号処理を行う。これら信号処理の手段で、動きベクト
ルの誤検出に起因した動き補償処理に固有な画質劣化を
極めて効率よく除去できる。

【００１３】

【発明の実施の形態】（実施例１）本発明の第１の実施
例について、図１〜図１４で説明する。なお、本実施例
は、順次走査化した出力画像信号系列で動きベクトルの
検出を行うのに好適なものである。

【００１４】図１は本実施例の動き補償走査変換回路の
ブロック構成図で、遅延部１、ＭＡＩＰ部２、ＭＣＩＰ
部３、選択部４、倍速変換部５、動きベクトル検出部
６、設定部７で構成する。

【００１５】飛び越し走査の入力画像信号Ｓ１（輝度信
号と色差信号）は、遅延部１、ＭＡＩＰ部２、ＭＣＩＰ
部３、設定部７に入力する。

【００１６】ＭＡＩＰ部２は、動きベクトルＭＶによる
動き適応型の補間処理で補間信号Ｓ３を生成する。ま
た、ＭＣＩＰ部３は、動きベクトルＭＶを用いた動き補
償型の補間処理で補間信号Ｓ４を生成する。そして、選
択部４は、制御信号ＳＬで信号Ｓ３とＳ４のいずれかを
選択し、補間信号Ｓ５に出力する。

【００１７】また、遅延部１は、信号処理に伴う時間遅
延を調整する。そして、この出力信号Ｓ２と補間信号Ｓ
５は、倍速変換部５で時間軸の１／２圧縮の処理と時系
列並び替えの処理を行い、順次走査の画像信号Ｓ６（輝
度信号と色差信号）を出力する。

【００１８】動きベクトル検出部６は、この順次走査の
画像信号Ｓ６の輝度信号より動き補償処理で用いる動き
ベクトルの検出処理を行い、画素毎の動きベクトルＭＶ
と再探索処理の回数ＴＮを出力する。

【００１９】設定部７は、入力画像信号Ｓ１とＭＣＩＰ
部３の補間信号Ｓ４の輝度信号、および画素毎の動きベ
クトルＭＶと再探索処理の回数ＴＮを使用して、動き補
償処理の信頼度の検証処理を行い、信頼度が高い画素は
動き補償型の補間信号、信頼度が低い画素は動き適応型
の補間信号をそれぞれ選択するように制御信号ＳＬを生
成する。

【００２０】以下、ブロックの各部について、構成、動
作を詳述する。

【００２１】図２は、ＭＡＩＰ部２の一構成例を示す図
面である。静止補間部８は、フィールド間の信号処理で
静止画像に適した補間信号Ｓ１０を生成する。また、動
画補間部９は、フィールド内の信号処理、あるいは垂直
・時間補間フィルタ処理で動画像に適した補間信号Ｓ１
１を生成する。係数設定部１２は、動きベクトルＭＶの
速度の大小に応じて混合比率ＣＦ（静止ｋ＝０から動画
ｋ＝１まで）を設定する。係数加重部１０では、それぞ
れ係数値１−ｋとｋを加重する。そして、加算部１１で
両者の信号を加算し、補間信号Ｓ３を出力する。

【００２２】次に、ＭＣＩＰ部３について、図３で説明
する。これは、ＧＳＴ（General Sampling Theory）
による動き補償処理を行うのに好適なものである。

【００２３】ＧＳＴは、標本化定理を一般化した理論
で、これを同図（ａ）に示すように、垂直・時間領域で
の標本化とみなすことができる飛び越し走査の信号系列
に適用して、補間信号を生成する。

【００２４】現フィールドの走査線の信号系列を……，
Ｌ１（２ｎ−３）ｈ，Ｌ１（２ｎ−１）ｈ，Ｌ１（２ｎ
＋１）ｈ，Ｌ１（２ｎ＋３）ｈ，……、前フィールドの
走査線の信号系列を……，Ｌ２（２ｎ−４）ｈ，Ｌ２
（２ｎ−２）ｈ，Ｌ２（２ｎ）ｈ，Ｌ２（２ｎ＋２）
ｈ，Ｌ２（２ｎ＋４）ｈ，……とし、フィールド期間で
の動きベクトルをｙ（ｙ＝２ｈ（ｑ＋ｒ）、２ｈは飛び
越し走査の走査線間隔、ｑは整数、ｒは少数）とする。
この時、補間走査線Ｌ１（２ｎｈ）の信号は、数１に示
す演算で生成する。

【００２５】

【数１】Ｌ１（２ｎｈ）＝Σｈ１（ｊ）・Ｌ１（２（ｎ＋ｊ）ｈ−ｈ）＋Σｈ２（ｊ）・Ｌ２（２（ｎ−ｑ＋ｊ）ｈ） …（１）なお、係数ｈ１（ｊ）とｈ２（ｊ）は、次の数２と数３
である。ここで、関数ｓｉｎｃ｛ｘ｝はｓｉｎ（ｘ）／
ｘを表す。

【００２６】

【数２】ｈ１（ｊ）＝（−１）＊＊ｊ・ｓｉｎｃ｛π（ｊ−０．５）｝・ｓｉｎ（πｒ）／ｃｏｓ（πｒ） …（２）

【００２７】

【数３】ｈ２（ｊ）＝（−１）＊＊ｊ・ｓｉｎｃ｛π（ｊ＋ｒ）｝／ｃｏｓ（πｒ） …（３）同図（ｂ）は、この一構成例で、タップ付き遅延部１
３、ＭＣ係数加重部１４、加算部１５、ＭＣ係数発生部
１６で構成する。タップ付き遅延部１３の各タップで得
られる現フィールドと前フィールドの信号系列に対し
て、ＭＣ係数加重部１４は、数２と数３に示す係数値ｈ
１（ｊ）とｈ２（ｊ）を加重する。そして、加算部１５
でこれらを加算して、数１に示す演算で生成した補間信
号Ｓ４を出力する。ＭＣ係数発生部１６は、画素毎に動
きベクトルＭＶよりフィールド期間での動きベクトルｙ
のパラメタｑとｒを算出し、その係数値ｈ１（ｊ）とｈ
２（ｊ）を生成する。この処理は例えばＲＯＭを用いた
テーブルルックアップなどで実現できる。

【００２８】次に、動きベクトル検出部６について、図
４〜図９で説明する。図４は、その一構成例で、遅延部
１７、代表ベクトル設定部１８、再探索部１９、ミニブ
ロック分割探索部２０、平滑部２１、メモリ部２２、計
測部２３で構成する。

【００２９】フレーム遅延部１７は、順次走査の出力画
像信号Ｓ６の輝度信号を所定のフレーム期間遅延させた
信号Ｓ２１を生成する。この遅延量は、動き補償処理の
精度に依存し、例えば、フィールド期間でｈ／４の垂直
方向の動きの精度が必要な場合には４フレーム期間（飛
び越し走査系では２フレーム期間に相当）になる。

【００３０】図５に、この場合の信号Ｓ２１とＳ６との
位置関係と動きベクトル検出に使用する信号系列の概略
を示す。動きベクトルは、信号Ｓ６のフレーム順１，
２，３，４，５，６，７，８，９…の信号と、これを４
フレーム期間遅延させた信号Ｓ２１のフレーム順１，
２，３，４，５，６，…との間で検出し、飛び越し走査
のフィールド期間でｈ／４相当の精度の垂直方向の動き
ベクトルを得る。この動きベクトルの検出は各フレーム
毎に行うことが望ましいが、探索に要する演算量も多く
なる。そこで、動きベクトルの検出は、図の点線で囲ん
だ２フレーム期間毎のフレームの信号に対して行う。そ
して、入力画像信号Ｓ１の点線で囲んだ連続する２つの
フィールドの期間の信号に対しては、この検出した動き
ベクトルを用いて、動き補償処理による補間信号の生成
を行う。

【００３１】図４に戻り、代表ベクトル設定部１８は、
図６に示す動きベクトル検出の信号処理概略の最初の段
階の信号処理を行う。すなわち、信号Ｓ６とＳ２１との
差分成分で、ブロック毎（サイズは例えば水平８画素×
垂直８画素）に静止ブロックか動画ブロックかを判別す
る。そして、静止ブロックは、代表ベクトルＶＴに零を
設定する。一方、動画ブロックは、注目ブロック周縁の
既検出の参照ベクトルＲＶに対して、数４に示す予測誤
差ＥＲを算出する。

【００３２】

【数４】ＥＲ＝Σ｜Ｓ６（ｘ，ｙ）−Ｓ２１（ｘ＋ＲＶｘ，ｙ＋ＲＶｙ）｜ …（４）ここに、Ｓ６（ｘ，ｙ）は信号Ｓ６の画素（ｘ，ｙ）の
値、Ｓ２１（ｘ＋ＲＶｘ，ｙ＋ＲＶｙ）は、信号Ｓ２１
の画素（ｘ，ｙ）の位置を参照ベクトルＲＶ（水平成分
ＲＶｘ、垂直成分ＲＶｙ）で移動させた点の画素の値、
記号｜｜はその絶対値、Σは注目ブロック内の画素の
総和である。そして、この予測誤差ＥＲが最少な参照ベ
クトルを代表ベクトルＴＶに設定する。なお、参照ベク
トルの一例を図７に示す。この例では、注目ブロック周
縁の左上、上、右上、左、右、左下、下、右下の各ブロ
ックの既検出の動きベクトルを参照ベクトルとして使用
する。

【００３３】次に、再探索部１９は、図６の次段に示す
信号処理を行う。すなわち、代表ベクトルＴＶの予測誤
差が設定値未満の時は、この代表ベクトルＶＴを注目ブ
ロックの動きベクトルＢＶに設定する。一方、設定値以
上の時は、再探索処理で動きベクトルを検出し、それを
注目ブロックの動きベクトルＢＶに設定する。

【００３４】なお、再探索処理に要する演算量の削減を
図るため、予測誤差が例えば設定値の２倍未満ではツリ
ー探索、２倍以上ではブロックマッチング探索による探
索処理を行う。この概略を図８に示す。同図（ａ）のツ
リー探索では、代表ベクトルＴＶの近傍を探索領域に設
定し、この探索領域内で予測誤差が最少なものを動きベ
クトルＢＴとして検出する。一方、同図（ｂ）のブロッ
クマッチング探索では、最初に領域１、次に領域２、…
…、最後に領域Ｎと逐次探索領域を拡大してブロックマ
ッチング処理による動きベクトルの検出を行う。そし
て、予測誤差が設定値未満の動きベクトルＢＴが得られ
た段階で探索処理を終了する。

【００３５】なお、この再探索部１９では、再探索処理
のブロックが発生した時はパルス信号を出力する。そし
て、計測部２３は、フレーム期間でこのパルス信号の個
数を計測し、結果を再探索ブロックの個数ＴＮとして出
力する。

【００３６】また、再探索部１９の出力の動きベクトル
ＢＶの一方は、メモリ部２２に記憶する。そして、メモ
リ部２２からは、注目ブロックに対応する参照ベクトル
ＲＶを出力する。

【００３７】次に、ミニブロック分割探索部２０は、図
６の３段目に示す信号処理を行う。すなわち、ブロック
を水平・垂直方向に細分化したミニブロック（サイズは
例えば水平２画素×垂直２画素）に対して、動きベクト
ルＭＢＶを設定する。この動作概略を図９に示す。同図
では、ミニブロックは、ブロックを水平・垂直方向にそ
れぞれ４分割したものである。まず、注目ブロックの予
測誤差の値が設定値（再探索部の設定値と同じ、あるい
は異なっていても可）未満の時は、ブロックの動きベク
トルＢＴを全てのミニブロックの動きベクトルＭＢＶに
設定する。設定値以上の時は、ミニブロック分割探索処
理により、注目ブロックとその周縁ブロック（例えば図
のＢ１〜Ｂ８のブロック）の動きベクトルのうち、各ミ
ニブロックで予測誤差が最少なものを動きベクトルＭＢ
Ｖに設定する。したがって、ブロックに異なる動きの物
体が存在する場合（図では点線斜線で示す領域に相当）
でも、このミニブロック分割探索処理で、ミニブロック
ＭＢ１ではＢ１，Ｂ４，Ｂ６のいずれかのブロックの動
きベクトル、ミニブロックＭＢ２ではＢ３，Ｂ５，Ｂ８
のいずれかのブロックの動きベクトルが設定され、正確
な動きベクトルを設定することができる。

【００３８】図４の平滑部２１は、図６の最終段の信号
処理を行うもので、注目ミニブロックを含む周縁の複数
ミニブロックの動きベクトルＭＶＢの例えば算術平均の
処理を行い、これを注目ミニブロック内の画素の動きベ
クトルＭＶに設定する。

【００３９】以上に述べた信号処理で、検出精度が高
く、かつ、探索処理に要する演算量が飛躍的に少ない、
動きベクトルの検出ができる。

【００４０】次に、設定部７の構成、動作について図１
０〜図１４で説明する。図１０は、設定部７の第１の構
成例で、信頼度判定部２４と閾値設定部３０とで構成す
る。まず、信頼度判定部２４の動作概略について、図１
１で説明する。図面の信号Ｓ３０は、先に図３で示した
現フィールドの飛び越し走査の走査線Ｌ１（２ｎ−１）
ｈ、信号Ｓ１は走査線Ｌ１（２ｎ＋１）ｈ、ＭＣ補間走
査線は走査線Ｌ１（２ｎｈ）の輝度信号に対応する。そ
して、信号値Ｙｂ，Ｙａ，Ｘはそれぞれの走査線の水平
方向ｘの点の画素の輝度信号の値である。

【００４１】一般に、画像信号は連続的に変化する信号
である。したがって、ＭＣ補間走査線の信号値Ｘは、同
図に示すように、ＭＩＮ｛Ｙａ，Ｙｂ｝−ＴＬからＭＡ
Ｘ｛Ｙａ，Ｙｂ｝＋ＴＬの範囲内に存在する確率が極め
て高いことが予想される。なお、ＭＩＮは両者の最小
値、ＭＡＸは最大値である。そこで、動き補償処理によ
る補間信号がこの範囲内にある時は、その信頼性は高
く、動きベクトルの誤検出に伴う画質の劣化が発生する
確率は極めて少ないと判断する。一方、この範囲をはず
れた時は、信頼性は低く、画質劣化の発生確率が高いと
判断する。

【００４２】図１０に戻り、入力画像信号Ｓ１の輝度信
号、およびこれを１Ｈ遅延部２５で１走査線期間遅延さ
せた信号Ｓ３０は、ＭＡＸＭＩＮ演算部２６に入力す
る。そして、閾値設定部３０から供給する閾値ＴＬをも
とに、信頼性の上限レベルＳ３１（ＭＡＸ｛Ｙａ，Ｙ
ｂ｝＋ＴＬ）、下限レベルＳ３２（ＭＩＮ｛Ｙａ，Ｙ
ｂ｝−ＴＬ）を算出する。比較部２７は、動き補償処理
の補間信号Ｓ４の輝度信号と上限レベルＳ３１との比較
を行い、上限レベル未満の時は１、以上の時は０を信号
Ｓ３３に出力する。また、比較部２８は、動き補償処理
の補間信号Ｓ４の輝度信号と下限レベルＳ３２との比較
を行い、下限レベル以上の時は１、未満の時は０を信号
Ｓ３４に出力する。論理積部２９は、両者の論理積を演
算し、結果を制御信号ＳＬ（信頼度が高いときは１、低
いときは０）に出力する。

【００４３】閾値設定部３０は、再探索のブロック数Ｔ
Ｎをもとに、閾値ＴＬを設定する。この一例を図１２に
示す。同図の横軸は動きベクトル検出における再探索の
ブロック数ＴＮ、縦軸は閾値ＴＬの値である。課題を解
決するための手段で述べたように、本発明における動き
ベクトルの検出では、再探索のブロック数が多いときに
は動きベクトルの精度も悪くなる傾向を有する。これに
着目して、同図に示すように、再探索のブロック数が多
くなるにしたがい、閾値ＴＬの値も漸次小さくなる特性
で、閾値ＴＬを設定する。なお、この設定においては、
実線で示すリニア特性、あるいは点線で示すノンリニア
特性のいずれも可能である。

【００４４】図１３は、設定部７の第２の構成例であ
る。これは、画像の動きに応じたより細かな制御を行う
のに好適なものである。同図（ａ）はその構成で、信頼
度判定部２４、閾値設定部３１、動き速度・方向判定部
３２、ＭＣ処理設定部３３で実現する。

【００４５】信頼度判定部２４は、図１０に示したもの
と同一の構成、動作を行い、信号Ｓ４０（信頼度が高い
ときは１、低いときは０）を出力する。

【００４６】動き速度・方向判定部３２は、動きベクト
ルＭＶよりその速度と方向を検出する処理を行う。そし
て、速度情報ＶＳＰと動き形状情報ＶＴＰを出力する。
例えば、速度情報ＶＳＰは、速度が設定値Ｖ１（ゆっく
りした動き）未満では０、設定値Ｖ１以上でＶ２未満
（視線が追従可能な程度の動き）では１、Ｖ２以上（速
い動き）では２の信号を出力する。また、動き形状情報
ＶＴＰは、垂直パンや垂直ロールなどの上下方向の動き
ではＶパンモードとして１、それ以外の動きではノーマ
ルモードとして０を出力する。

【００４７】閾値設定部３１は、速度情報ＶＳＰに応じ
て、閾値ＴＬを出力する。この一例を同図（ｂ）に示
す。速度情報ＶＳＰが０の時は実線で示す特性１、ＶＳ
Ｐが１の時は点線で示す特性２、ＶＳＰが２の時は２重
線で示す特性３を使用して、再探索ブロックの個数ＴＮ
に対応する閾値ＴＬを出力する。

【００４８】ＭＣ処理設定部３３は、信号Ｓ４０と動き
形状情報ＶＴＰをもとに、制御信号ＳＬを設定する。こ
の概略を同図（ｂ）に示す。動き形状情報ＶＴＰが１の
Ｖパンモードの時は、信号Ｓ４０には無関係に１を制御
信号ＳＬに出力する。この理由は、Ｖパンモードの動き
に関しては、再探索ブロックの個数が大きな場合もほぼ
正確な動きベクトルを検出しているためである。一方、
０のノーマルモードの時は、信号Ｓ４０が１の場合に限
り制御信号ＳＬに１を出力する。

【００４９】図１４は、設定部７の第３の構成例であ
る。これは、画像の動きに応じてさらに細かな制御を行
うのに好適なものである。同図（ａ）はその構成で、信
頼度判定部２４、閾値設定部３１、動き速度・方向判定
部３２、Ｖエッジ検出部３４、ＭＣ処理設定部３５で実
現する。このうち、信頼度判定部２４、閾値設定部３
１、動き速度・方向判定部３２は、図１３に示したもの
と同一の構成、動作を行うので説明は省略する。

【００５０】Ｖエッジ検出部３４は、画像の垂直周波数
の高域成分を含む領域を検出する処理を行うもので、入
力画像信号Ｓ１の輝度信号とこれを１走査線期間遅延さ
せた信号との差分信号成分で垂直周波数の高域成分を検
出する。そして、高域成分が含まれる領域は１、それ以
外は０のエッジ信号ＶＥＧを出力する。

【００５１】ＭＣ処理設定部３５は、エッジ信号ＶＥ
Ｇ、速度情報ＶＳＰ、動き形状情報ＶＴＰ、信号Ｓ４０
をもとに、制御信号ＳＬを設定する。この一例を同図
（ｂ）に示す。Ｖパンモードとノーマルモードの速度が
Ｖ１未満の場合は、先の第２の構成例と同様な動作を行
う。一方、ノーマルモードで速度がＶ１以上の場合は、
エッジ信号ＶＥＧが１の垂直高域成分が含まれる領域
で、かつ、信号Ｓ４０が１の信頼度が高い場合に、制御
信号ＳＬに１を出力する。

【００５２】また、同図（ｃ）は、他の一例で、速度が
Ｖ３以上の極めて激しい動きの場合には、制御信号ＳＬ
は０を出力する。すなわち、激しい動きの場合には、動
き補償処理による補間信号の生成は中止し、従来の動き
適応型の処理で補間信号を生成する。

【００５３】以上で主要なブロックについての説明を終
了する。なお、これ以外のブロックに関しては、従来技
術で容易に実現できるため説明は省略する。

【００５４】以上に述べた如く、本実施例によれば、高
画質、低コストな動き補償走査変換回路を実現すること
ができる。このため、テレビジョン受像機や情報家電端
末、画像表示装置などの高画質化に顕著な効果を得るこ
とができる。

【００５５】（実施例２）次に、本発明の第２の実施例
について、図１５〜図１６で説明する。本実施例の動き
補償走査変換回路の構成を図１５に示す。

【００５６】図中の遅延部１、ＭＡＩＰ部２、ＭＣＩＰ
部３、選択部４、倍速変換部５、動きベクトル検出部
６、設定部７は、先に図１で示したものと同じ構成であ
る。そして、新たにシーンチェンジ検出部３６を追加す
る。ここでは、画像のシーンチェンジが発生した領域で
は１、それ以外の領域では０を信号ＳＣＦに出力する。
そして、動きベクトル検出部６と設定部７は、信号ＳＣ
Ｆが０の時は、第１の実施例と同一の動作を行う。一
方、信号ＳＣＦが１の時は、動きベクトル検出部６では
動きベクトル検出の動作を中止する。この結果、シーン
チェンジ領域で発生する膨大な演算量が抑圧できる。ま
た、設定部７では制御信号ＳＬに０を出力する。そし
て、シーンチェンジが発生した領域では、従来の動き適
応型の補間処理で順次走査化を行う。

【００５７】図１６はシーンチェンジ検出部の一構成例
である。出力画像信号Ｓ６の輝度信号と、これを遅延部
３７で所定のフレーム期間（図４に示した動きベクトル
検出部の遅延部１７と同じ遅延時間）遅延させた信号Ｓ
５０は、減算部３８で減算処理を行い、フレーム差分信
号Ｓ５１を検出する。量子化部３９は、２値量子化の信
号処理を行い、フレーム差分成分が設定した値以上では
１、未満では０の２値信号Ｓ５２を出力する。累積部４
０は、１フレーム期間で１の個数を計測し、その累積値
を信号Ｓ５３に出力する。判定部４１は、この累積値Ｓ
５２が例えば画面の半分以上の時にはシーンチェンジが
発生した領域と判定して信号ＳＣＦに１、それ以外では
０を出力する。

【００５８】以上に述べた如く、本実施例によれば、高
画質、低コストな動き補償走査変換回路を実現すること
ができる。このため、テレビジョン受像機や情報家電端
末、画像表示装置などの高画質化に顕著な効果を得るこ
とができる。

【００５９】（実施例３）次に、本発明の第３の実施例
について、図１７〜図１８で説明する。本実施例は、入
力画像信号系列で動きベクトルの検出を行うのに好適な
ものである。

【００６０】図１７は本実施例の動き補償走査変換回路
の構成例である。図中の遅延部１、ＭＡＩＰ部２、ＭＣ
ＩＰ部３、選択部４、倍速変換部５、動きベクトル検出
部６、設定部７は、これまで説明してきたものと同一の
構成、動作を行う。一方、疑似ＩＰ変換部４２は、飛び
越し走査の入力画像信号Ｓ１の輝度信号に対して、連続
する２つのフィールドの信号の合成処理、あるいはフィ
ールド内補間処理などの信号処理を行う。そして、動き
ベクトルの検出に使用するフレーム画像信号Ｓ６０を生
成する。

【００６１】図１８は、このフレーム画像信号Ｓ６０に
よる動きベクトル検出と動き補償処理の動作概略を示
す。なお、これまでの実施例と同様、動き補償処理はフ
ィールド期間で垂直方向の動きがｈ／４の精度と仮定す
る。フレーム画像信号Ｓ６０のフレーム順１，２，３，
４，５，６，７，８，９，１０…の信号と、これをフレ
ーム画像の４フレーム期間遅延させた遅延信号系列のフ
レーム順１，２，３，４，５，６，…との間で動きベク
トルを検出する。この検出は各フレーム画像毎に行うこ
とが望ましいが、探索に要する演算量が多くなる。そこ
で、図の点線で囲んだ２フレーム期間毎のフレーム画像
信号に対して行う。これで検出した動きベクトルを用
い、入力画像信号Ｓ１の点線で囲んだ連続する２つのフ
ィールドの期間の信号に対して、動き補償処理による補
間信号の生成を行う。

【００６２】（実施例４）次に、本発明の第４の実施例
のブロック構成例を図１９に示す。図中、遅延部１、Ｍ
ＡＩＰ部２、ＭＣＩＰ部３、選択部４、倍速変換部５、
動きベクトル検出部６、設定部７、疑似ＩＰ変換部４２
は、図１７に示した第３の実施例と同一のものである。
一方、シーンチェンジ検出部４３は、画像のシーンチェ
ンジが発生した領域では１、それ以外の領域では０を信
号ＳＣＦに出力する。そして、動きベクトル検出部６と
設定部７は、信号ＳＣＦが０の時は、第３の実施例と同
一の動作を行う。一方、信号ＳＣＦが１の時は、動きベ
クトル検出部６では動きベクトル検出の動作を中止す
る。この結果、シーンチェンジ領域で発生する膨大な演
算量が抑圧できる。また、設定部７では制御信号ＳＬに
０を出力する。そして、シーンチェンジが発生した領域
では、従来の動き適応型の補間処理で順次走査化を行
う。

【００６３】以上に述べた如く、本発明の第３、第４の
実施例によれば、高画質、低コストな動き補償走査変換
回路を実現することができる。このため、テレビジョン
受像機や情報家電端末、画像表示装置などの高画質化に
顕著な効果を得ることができる。

【００６４】（実施例５）次に、本発明の第５の実施例
について、図２０〜図２１で説明する。本実施例は、動
き補償予測符号化された画像信号に適用するのに好適な
ものである。

【００６５】図２０は本実施例の動き補償走査変換回路
の構成例である。図中、遅延部１、ＭＡＩＰ部２、ＭＣ
ＩＰ部３、選択部４、倍速変換部５、設定部７は、第
１、第２の実施例と同様の構成、動作を行う。

【００６６】符号化画像データ信号ＳＤは、デジタル復
号部４４で所定の復号化処理を行い、飛び越し走査の画
像信号Ｓ１（輝度信号と色差信号）を復号する。また、
復号化処理で使用した動きベクトル情報ＭＶＩも出力す
る。

【００６７】動きベクトル変換部４５は、この動きベク
トル情報ＭＶＩの変換処理を行い、動きベクトル検出の
際に参照ベクトルとして活用可能な動きベクトルＭＶＣ
Ｒを生成する。そして、動きベクトル検出部６は、この
動きベクトルＭＶＣＲも参照ベクトルに使用して動きベ
クトルを検出する。

【００６８】図２１は、この動きベクトル変換部の動作
概略図である。動き補償予測符号化では、画像を記号
Ｉ，Ｐ，Ｂで示す３種類のピクチャに分類する。そし
て、ＩピクチャはＤＣＴ変換符号化を行う。一方、Ｐピ
クチャは一方向の動き補償予測符号化を行う。そして、
この符号化では動きベクトルとして同図に示すＰベクト
ル（図では３フレーム期間の動きベクトルに相当）を使
用する。また、Ｂピクチャでは双方向の動き補償予測符
号化を行い、その動きベクトルの一例をＢベクトル（図
では１フレーム期間の動きベクトルに相当）で示す。そ
して、動きベクトル情報ＭＶＩは、これらＰベクトルと
Ｂベクトルとが混在している。

【００６９】一方、動き補償処理の走査変換では、これ
まで述べたようのに、４フレーム期間での動きベクトル
を検出する。このため、Ｐベクトルに対してはこれを４
／３倍する変換処理、Ｂベクトルに対しては４倍あるい
は−４倍（向きが逆のベクトル）する変換処理を行い、
４フレーム期間相当の動きベクトルＭＶＣＲを生成す
る。

【００７０】（実施例６）次に、本発明の第６の実施例
の動き補償走査変換回路について、図２２で説明する。
本実施例も、動き補償予測符号化された画像信号に適用
するのに好適なものである。

【００７１】同図の遅延部１、ＭＡＩＰ部２、ＭＣＩＰ
部３、選択部４、倍速変換部５、設定部７、疑似ＩＰ変
換部４２は、第３、第４の実施例と同様の構成、動作を
行う。また、デジタル復号部４４、動きベクトル変換部
４５は、第５の実施例と同様な構成、動作を行う。そし
て、動きベクトル検出部６は、この動きベクトルＭＶＣ
Ｒも参照ベクトルに使用して動きベクトルを検出する。

【００７２】以上に述べた如く、本発明の第５、第６の
実施例によれば、動き補償予測符号化された画像信号に
対して、高画質、低コストな動き補償走査変換回路を実
現することができる。このため、テレビジョン受像機や
情報家電端末、画像表示装置などの高画質化に顕著な効
果を得ることができる。

【００７３】（実施例７）最後に、本発明の動き補償走
査変換回路をテレビジョン受像機、情報家電端末、画像
表示装置などに適用した実施例に関して、テレビジョン
受像機の場合を例に、図２３で説明する。

【００７４】デジタル放送の信号ＤＴＳは、デジタル放
送復号部４６に入力し、所定の復号化処理を行い、画像
信号Ｓ１００（輝度信号と色差信号）と動きベクトル情
報ＭＶ１を復号する。そして、動きベクトル変換部４５
ではベクトル変換の処理を行い、参照ベクトルに使用可
能な動きベクトルＭＶＣＲを生成する。

【００７５】アナログ放送の信号ＡＴＳは、アナログ放
送復調部４７に入力し、所定の復調処理を行い、画像信
号Ｓ１０１（輝度信号と色差信号）を復調する。

【００７６】セレクタ４８は、制御部５２からの制御信
号（図面には明示せず）で必要な信号を選択し、画像信
号Ｓ１０２と動きベクトル信号Ｓ１０３を出力する。

【００７７】動き補償走査変換部４９は、本発明による
もので、飛び越し走査の信号を順次走査の信号に変換す
る処理を行い、順次走査画像信号Ｓ１０４（輝度信号と
色瀬信号）を出力する。

【００７８】フォーマット変換部５０は、順次走査表示
部５１で規定する画素数や走査線数やフレーム数に合致
した信号への変換処理を行う。また、輝度・色差空間か
ら３原色ＲＧＢ空間への色空間変換処理を行う。そし
て、順次走査の３原色ＲＧＢ信号Ｓ１０５を出力する。
そして、順次走査表示部５１に順次走査の形態で画像を
表示する。

【００７９】制御部５２は、各部の動作に必要な信号類
を生成し、各部に供給する。

【００８０】以上に述べた如く、本実施例によればテレ
ビジョン受像器の高画質化に顕著な効果を得ることがで
きる。なお、情報家電端末や順次走査の形態の画像表示
装置に関しても、説明は省略するが、本実施例と同様な
構成で実現することが可能なことは明らかである。

【００８１】

【発明の効果】本発明によれば、動き補償処理に特有な
画質劣化がなく、従来技術では達成困難な極めて高品質
な走査変換回路を低コストで実現できる。そして、テレ
ビジョン受像機、情報家電端末、画像表示装置などの高
画質化に顕著な効果を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の動き補償走査変換回路
のブロック図。

【図２】第１の実施例のＭＡＩＰ部の構成例を示すブロ
ック図。

【図３】第１の実施例のＭＣＩＰ部の構成例を示すブロ
ック図。

【図４】第１の実施例の動きベクトル検出部の構成例を
示すブロック図。

【図５】動きベクトル検出に使用する信号系列の一例を
示す説明図。

【図６】動きベクトル検出部の信号処理の概略を示すフ
ロー図。

【図７】注目ブロックにおける参照ベクトルの一例を示
す説明図。

【図８】ツリー探索とブロックマッチング探索の動作の
概略を示す説明図。

【図９】ミニブロック分割探索の動作の概略を示す説明
図。

【図１０】第１の実施例の設定部の構成例を示すブロッ
ク図。

【図１１】信頼度判定部の動作概略を示す説明図。

【図１２】閾値設定の一例を示す特性図。

【図１３】第１の実施例の設定部の他の構成例を示すブ
ロック図。

【図１４】第１の実施例の設定部の他の構成例を示すブ
ロック図。

【図１５】本発明の第２の実施例の動き補償走査変換回
路のブロック図。

【図１６】第２の実施例のシーンチェンジ検出部の構成
例を示すブロック図。

【図１７】本発明の第３の実施例の動き補償走査変換回
路のブロック図。

【図１８】第３実施例の動きベクトル検出に使用する信
号系列の一例を示す説明図。

【図１９】本発明の第４の実施例の動き補償走査変換回
路のブロック図。

【図２０】本発明の第５の実施例の動き補償走査変換回
路のブロック図。

【図２１】第５の実施例の動きベクトル変換部の動作概
略の説明図。

【図２２】本発明の第６の実施例の動き補償走査変換回
路のブロック図。

【図２３】本発明を適用したＴＶ受像機の一実施例のブ
ロック図。

【符号の説明】

１，１７，３７…遅延部、２…ＭＡＩＰ部、３…ＭＣＩ
Ｐ部、４…選択部、５…倍速変換部、６…動きベクトル
検出部、７…設定部、８…静止補間部、９…動画補間
部、１０…係数加重部、１１，１５…加算部、１２…係
数設定部、１３…タップ付き遅延部、１４…ＭＣ係数加
重部、１６…ＭＣ係数発生部、１８…代表ベクトル設定
部、１９…再探索部、２０…ミニブロック分割探索部、
２１…平滑部、２２…メモリ部、２３…計測部、２４…
信頼度判定部、２５…１Ｈ遅延部、２６…ＭＡＸＭＩＮ
演算部、２７，２８…比較部、２９…論理積部、３０，
３１…閾値設定部、３２…動き速度・方向判定部、３
３，３５…ＭＣ処理設定部、３４…Ｖエッジ検出部、３
６，４３…シーンチェンジ検出部、３８…減算部、３９
…量子化部、４０…累積部、４１…判定部、４２…疑似
ＩＰ変換部、４４…デジタル復号部、４５…動きベクト
ル変換部、４６…デジタル放送復号部、４７…アナログ
放送復調部、４８…セレクタ、４９…動き補償走査変換
部、５０…フォーマット変換部、５１…順次走査表示
部、５２…制御部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者高田春樹神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所デジタルメディアシステム事業部内 (72)発明者長谷川敬神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所デジタルメディアシステム事業部内 (72)発明者石倉和夫東京都小平市上水本町五丁目20番１号株式会社日立製作所システムＬＳＩ開発センタ内 (72)発明者杉山雅人神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所デジタルメディア開発本部内 (72)発明者中嶋満雄神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所デジタルメディア開発本部内 (72)発明者都留康隆神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所デジタルメディア開発本部内Ｆターム(参考） 5C063 BA04 BA09 BA12 CA03 CA05 CA07 CA11 CA16 CA38 CA40

Claims

【特許請求の範囲】

【請求項１】飛び越し走査の画像信号を順次走査の画像
信号に変換する画像信号の走査変換回路において、飛び
越し走査で抜けた走査線の信号を、動き適応型の補間処
理で生成する第１の補間信号生成部と、動き補償型の補
間処理で生成する第２の補間信号生成部と、動き補償型
の補間処理に必要な動きを検出する動きベクトル検出部
と、上記第２の補間信号生成部の信号と飛び越し走査の
走査線の信号との相対比較で動き補償信号処理の信頼度
を検証し、上記第１、第２の補間信号生成部の信号の選
択を設定する設定部を備え、上記設定部においては、信
頼度の検証に用いる相対比較の閾値を、上記動きベクト
ル検出部の動きベクトル検出で再探索処理したブロック
の個数に応じて適応的に変化させ、上記ブロックの個数
が大きくなるに従って閾値が小さくなるように閾値を設
定することを特徴とする画像信号の動き補償走査変換回
路。
【請求項２】上記設定部の信頼度検証に用いる相対比較
の閾値を、再探索処理の個数と閾値とが線形な特性で設
定することを特徴とする請求項１に記載の画像信号の動
き補償走査変換回路。
【請求項３】上記設定部の信頼度検証に用いる相対比較
の閾値を、再探索処理の個数と閾値とが非線形な特性で
設定することを特徴とする請求項１に記載の画像信号の
動き補償走査変換回路。
【請求項４】上記設定部の信頼度検証に用いる相対比較
の閾値を、上記動きベクトル検出部の動きベクトルの速
度をパラメタとして、複数種類のうちの１つを選択して
設定することを特徴とする請求項１ないし３のいずれか
に記載の画像信号の動き補償走査変換回路。
【請求項５】上記動きベクトル検出部の動きベクトルが
垂直パンや垂直ロールの動きの時は、上記設定部の信頼
度検証に用いる相対比較の閾値を、再探索処理の個数、
動きベクトルの速度とは無関係に、上限値に設定するこ
とを特徴とする請求項１ないし４のいずれかに記載の画
像信号の動き補償走査変換回路。
【請求項６】上記設定部においては、動きベクトルの速
度が設定値以上の時は、上記第１の補間信号生成部の信
号を選択する動作を行うことを特徴とする請求項１ない
し５のいずれかに記載の画像信号の動き補償走査変換回
路。
【請求項７】上記設定部においては、画像信号の垂直周
波数高域成分を検出するＶエッジ検出部を設け、動きベ
クトルの速度が設定値以上の時は、上記第２の補間信号
生成部の信号は、上記検出したエッジ領域周縁部の領域
に限定して用いることを特徴とする請求項１ないし６の
いずれかに記載の画像信号の動き補償走査変換回路。
【請求項８】動きベクトル検出部においては、順次走査
に変換した出力画像信号系列のフレーム画像で動きベク
トルの検出を行うことを特徴とする請求項１ないし７の
いずれかに記載の画像信号の動き補償走査変換回路。
【請求項９】動きベクトル検出部においては、入力画像
信号系列の連続する２つのフィールドの信号の合成処理
もしくはフィールド内補間処理で生成するフレーム画像
で、動きベクトルの検出を行うことを特徴とする請求項
１ないし７のいずれかに記載の画像信号の動き補償走査
変換回路。
【請求項１０】動き補償型の補間処理では、動きベクト
ル検出部で検出した動きベクトルで、入力画像信号系列
の連続する２つのフィールドの期間の補間走査線の信号
の生成を行うことを特徴とする請求項１ないし９のいず
れかに記載の画像信号の動き補償走査変換回路。
【請求項１１】動きベクトル検出部においては、注目ブ
ロック周縁の既検出の動きベクトルを参照ベクトルとす
る代表ベクトルの設定、再探索処理、ブロックを水平・
垂直方向に細分化したミニブロックの分割探索処理、平
滑化処理による信号処理を行い、画素毎の動きベクトル
を検出することを特徴とする請求項１ないし１０のいず
れかに記載の画像信号の動き補償走査変換回路。
【請求項１２】代表ベクトルの設定においては、動き補
償予測符号化に用いられた動きベクトル情報を所定の動
きベクトル変換処理で生成した動きベクトルを参照ベク
トルに使用することを特徴とする請求項１１に記載の画
像信号の動き補償走査変換回路。
【請求項１３】画像のシーンチェンジを検出する手段を
備え、シーンチェンジが発生した領域では上記動きベク
トルの検出と動き補償処理による補間信号の生成の動作
を中止することを特徴とする請求項１ないし１２のいず
れかに記載の画像信号の動き補償走査変換回路。
【請求項１４】画像表示部が順次走査の形態のテレビジ
ョン受像機において、請求項１ないし１３のいずれかに
記載の画像信号の動き補償走査変換回路で、飛び越し走
査の画像信号系列を順次走査の画像信号系列に走査変換
する信号処理を行うことを特徴とするテレビジョン受像
機。
【請求項１５】順次走査の形態で画像を表示する画像表
示部を備え、飛び越し走査の画像信号に対しては、請求
項１ないし１３のいずれかに記載の画像信号の動き補償
走査変換回路で順次走査化の信号処理を行うことを特徴
とする情報家電端末装置。
【請求項１６】順次走査の形態で画像を表示する画像表
示部を備え、飛び越し走査の画像信号に対しては、請求
項１ないし１３のいずれかに記載の画像信号の動き補償
走査変換回路で順次走査化の信号処理を行い、上記順次
走査化した画像信号を上記画像表示部の画像サイズやフ
レーム周波数に合致させるためのフォーマット変換の信
号処理を行うことを特徴とする画像表示装置。