JP2003224854A

JP2003224854A - 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア

Info

Publication number: JP2003224854A
Application number: JP2002020208A
Authority: JP
Inventors: Masahiro Ogino; 昌宏荻野; Mitsuo Nakajima; 満雄中嶋; Yasutaka Tsuru; 康隆都留; Yoshiaki Mizuhashi; 嘉章水橋; Kazuo Ishikura; 和夫石倉
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-01-29
Filing date: 2002-01-29
Publication date: 2003-08-08

Abstract

(57)【要約】【課題】精度の高い動きベクトルの補正を実現するこ
とが可能な動きベクトル検出装置及び画像処理装置並び
にコンピュータ・ソフトウエアを提供する。【解決手段】画像信号におけるフィールド画像を複数
個の画素からなる複数のブロックに分割し、ターゲット
ブロックと、参照フィールド画像に設けられた周囲の所
定構成からなる動きベクトル検出範囲とのブロックマッ
チング処理により、動き補償予測符号化処理等に寄与す
るための動きベクトルを検出する動きベクトル検出装置
であって、動きベクトル及びその算出信頼度を算出する
とともに算出した算出信頼度に応じて高、中又は低の信
頼度に分類する動きベクトル算出手段１７と、動きベク
トル格納手段１９と、ターゲットブロックの動きベクト
ルのうちの中又は低の信頼度に分類した動きベクトル
を、ターゲットブロックの上下、左右、もしくは斜め方
向のブロックの動きベクトルのうちの高又は中の信頼度
に分類した動きベクトルをもとに補正する動きベクトル
補正手段２２とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動きベクトル検出
装置及び画像処理装置並びにコンピュータ・ソフトウエ
アであり、特に動画像データから動き情報を検出する動
きベクトル検出方法およびその検出装置に関する。

【０００２】

【従来の技術】ＭＰＥＧ２等の動き補償予測符号化処理
や動き補償型順次走査線変換処理等、動きベクトル、す
なわち、画像中の物体の動きの方向と大きさ（速さ）を
用いる処理が多くなってきている。

【０００３】前記動きベクトルの検出方法としては、ブ
ロックマッチング法が公知であり、以下にその手法につ
いて、図２２を用いて説明する。図２２（ａ）（ｂ）に
おいて、現フィールド７１、参照フィールド７２（例え
ば２フィールド（１フレーム）前）の映像を示してい
る。時間的に連続する参照フィールド７２−現フィール
ド７１間において、現フィールド７１の画面を、水平Ｍ
画素×垂直Ｎラインを単位としたブロックに分割する。
各分割された領域を以下、ターゲットブロックＴＢ
（ｘ，ｙ）と称する。次に、参照フィールド７２に同一
サイズのブロックＲＢ（以下、「参照ブロック」と称す
る）を水平±Ｋ画素、垂直±Ｌラインの範囲（以下、
「動きベクトル検出範囲」と称する）内に設定し、偏移
量（Δｘ， Δｙ）（−Ｋ≦Δｘ≦Ｋ，−Ｌ≦Δｙ≦
Ｌ）で移動させた参照フィールド上の参照ブロックＲＢ
（Δｘ，Δｙ）と現フィールドのターゲットブロックＴ
Ｂ（ｘ，ｙ）との相関値Ｃ（Δｘ，Δｙ）を下記数式１
にて求める。

【数１】ここで、ＩＴ（ｘ＋ｍ，ｙ＋ｎ）は、ターゲットブロッ
ク中の座標値（ｘ＋ｍ，ｙ＋ｎ）における輝度値を表
し、ＩＲ（ｘ＋ｍ＋Δｘ，ｙ＋ｎ＋Δｙ）は、参照ブロ
ック中の座標値（ｘ＋ｍ＋Δｘ，ｙ＋ｎ＋Δｙ）におけ
る輝度値を表す。

【０００４】すなわち、相関値Ｃ（Δｘ，Δｙ）は、現
フィールドのターゲットブロックＴＢ（ｘ，ｙ）と、偏
移量（Δｘ，Δｙ）（−Ｋ≦Δｘ≦Ｋ，−Ｌ≦Δｙ≦
Ｌ）で移動させた参照ブロックＲＢ（Δｘ，Δｙ）を各
画素の輝度値の差の絶対値を求め、その値をブロック単
位（水平Ｍ画素×垂直Ｎライン）で累積加算して求めら
れる。ここで、前記相関値Ｃ（Δｘ，Δｙ）の計算にお
いては、差の絶対値の他、差の２乗でもよい。相関値Ｃ
（Δｘ，Δｙ）が最小となる時の偏移量（Δｘ，Δｙ）
がターゲットブロックＴＢ（ｘ，ｙ）に対する動きベク
トルＭＶ（ｘ，ｙ）となる。

【０００５】しかし、このブロックマッチング法を用い
て検出される動きベクトルの精度は、対象とする映像の
状態に依存する。例えばノイズ等の影響により、正確な
相関値が得られず、動きベクトルの誤検出を招く可能性
が高い。この影響は、ターゲットブロックが小さければ
小さい程、また、動きベクトル検出範囲が大きければ大
きい程、顕著に現れる。動きベクトルを用いてフレーム
数変換や順次走査変換を行う場合、誤検出した動きベク
トルを使用した場合、全く異なる情報を持った信号を用
いることになるため、ブロック状の歪みが発生し、画質
の劣化を招くことになる。

【０００６】このような問題を解決するためには、動き
ベクトルの信頼性判定を行い、動きベクトルの検出精度
を向上させる機能が必要となる。このような機能の従来
例としては例えば特開平７−１７７４２５号公報があ
る。図２３は、この従来公報における動きベクトル検出
装置を示すブロック図である。図２３において、６１は
画像信号入力端子、６２は空間周波数フィルタ、６３は
相関演算手段、６５は動きベクトル検出手段、６６は動
きベクトル決定手段、６７は動きベクトル分類手段、６
８は動きベクトル出力端子、６４はフィールドメモリで
ある。まず、動きベクトルの検出対象となる画像信号が
空間周波数フィルタ６２に入力される。空間周波数フィ
ルタ６２は画像信号から動きベクトル検出に有用な空間
周波数分を抽出する。即ち、画像信号の低空間周波数成
分及び高空間周波数成分をそれぞれ除去する。そして、
空間周波数フィルタ６２を通過した画像信号は、相関演
算手段６３及び１フィールド期間遅延手段としてのフィ
ールドメモリ６４に入力される。また、相関演算手段６
３にはフィールドメモリ６４からの前フィールドの画像
信号が入力される。相関演算手段６３はブロックマッチ
ング法に従いブロック単位に現フィールドと前フィール
ドとの相関値を演算し、その演算結果を示す信号は動き
ベクトル検出手段６５に入力される。動きベクトル検出
手段６５は前記相関値に基づいてブロック単位の動きベ
クトルを検出する。動きベクトル検出手段６５によって
検出されブロック単位の動きベクトルを示す信号は、動
きベクトル決定手段６６及び、動きベクトル分類手段６
７に入力される。動きベクトル分類手段６７では、ある
動きベクトルをその周囲にある複数の動きベクトルと比
較し、その差分値が第一の閾値よりも小さくなる動きベ
クトルの個数を前記第一の閾値と異なる第二の閾値と比
較することで、動きベクトルの信頼性を判定し、その結
果を示す信号は動きベクトル決定手段６６へ入力され
る。動きベクトル決定手段６６では、前記動きベクトル
の信頼性を示す信号により、動きベクトルの有効／無効
を決定する。

【０００７】前記動きベクトル分類手段６７に関し、図
２４を用いて、詳細を下記する。動きベクトルを評価す
るに際して、予め図２４（ａ）に示すように画面をＮ個
のブロックに分割し、その各ブロックをＢｎで表わす
（ｎ＝１，２，３，…，Ｎ）。これらＮ個のブロックの
内、動きベクトルを評価しようとするブロックを評価ブ
ロックと呼び、その比較の対象となる周囲８個のブロッ
クを比較ブロックと呼ぶ。いま、図２４（ｂ）に示すよ
うに評価ブロックをＢｍとし、その評価ブロックＢｍを
中心とする周囲８個の比較ブロックをＢｍ（ｌ）とする
（ｌ＝１，２，３，…，８）。まず、画面内のＮ個のブ
ロックそれぞれの動きベクトルを検出し、ある一つの評
価ブロックに対し、その周囲の比較ブロックＢｍ（ｌ）
と順次比較して、評価値１を得る（評価値１＝評価ベク
トル−比較ベクトル）。次に、得られた評価値１が第一
の閾値Ａより小さい（評価値１＜Ａ）か否かを判別す
る。評価値１が第一の閾値Ａより小さい場合は、周囲に
よく似たベクトルが検知されたものとして、評価値２に
＋１する。評価値１が第一の閾値Ａより大きい場合は、
評価値２には何も足されず次の比較ブロックとの比較に
うつる。

【０００８】上記作業を一つの評価ブロックに対し、周
囲８個の比較ブロックとの比較を全て行い、評価値２が
第二の閾値Ｂより大きいか（評価値２＞Ｂ）か否かを判
別する。評価値２が第二の閾値Ｂより大きい場合は、そ
の評価ブロックの動きベクトルは信頼性有として分類さ
れる。また、評価値が第二の閾値Ｂより小さい場合は、
信頼性無として分類される。

【０００９】以上のように、従来公報における動きベク
トル検出装置によれば、ある動きベクトルをその周囲の
ベクトルと比較し、その差分値により動きベクトルの信
頼度を分類していた。

【００１０】

【発明が解決しようとする課題】前記の従来公報では、
動きベクトルがその周辺の動きベクトルとの相関性が高
いということを利用している。しかしながら、ブロック
マッチング法による動きベクトルの検出においては、動
きベクトル検出範囲を超えた動き量に関しては、正確な
動きを検出できない、またブロック内がフラットで、輝
度変化が乏しい場合、前フィールド上のどこにでもマッ
チングするため、正確な動きが求まらない、さらに画像
に含まれるノイズ等により、その信頼性が低下する場合
がある、といった問題が生ずる。つまり、図２５に示す
ように、評価ブロックＢｍの動きベクトルは正しいもの
が得られたにも関わらず、周囲の比較ベクトルＢｍ
（ｌ）は誤検出する場合が生ずる。図２５のような場
合、閾値Ｂの設定にもよるが、過半数以上（６個）の比
較ブロックＢｍ（ｌ）における動きベクトルが、評価ブ
ロックＢｍの動きベクトルとの相関性が低い（差分値が
大きい）ため、評価ブロックＢｍの動きベクトルは信頼
性無と判断されてしまうことになる。つまり、周辺ベク
トルの相関性という情報だけで動きベクトルの信頼性を
判断できない場合が生ずる。また、信頼性判定にて信頼
性無とされた動きベクトルは使用されないため、本従来
公報の動きベクトル検出装置を、動き補償型順次走査線
変換装置へ適用した場合、動きベクトルを用いる補間は
その動きベクトルが信頼性有と判定された場合のみであ
り、信頼性無と判定された部分に関しては、フィールド
内のフィルタリングによる補間処理を行うことになる。
従って、画像によってはボケやフリッカ妨害が発生す
る。

【００１１】本発明の目的は、上記のような問題を解決
することであり、ブロックマッチング処理によって算出
された動きベクトルの算出信頼度を最小値の閾値制御、
エッジ情報、ブロック内ベクトル相関によって判定し、
信頼度の低いと判定された動きベクトルを、周辺ブロッ
クの動きベクトルとの相関性を利用して、高い信頼度を
持つ動きベクトルへと置換えていくことにより、精度の
高い動きベクトルの補正を実現することが可能な動きベ
クトル検出装置及び画像処理装置並びにコンピュータ・
ソフトウエアを提供することにある。

【００１２】

【課題を解決するための手段】本発明は、時間的に連続
した複数フィールドからなる画像信号におけるフィール
ド画像を複数個の画素からなる複数のブロックに分割
し、所定の画面のターゲットブロックと、参照フィール
ド画像に設けられ、前記ターゲットブロックに対応した
位置を中心とした周囲の所定構成からなる動きベクトル
検出範囲とのブロックマッチング処理により、動き補償
予測符号化処理等に寄与するための動きベクトルを検出
する動きベクトル検出装置であって、前記ブロックマッ
チング処理による相関値と所定閾値の比較により、動き
ベクトル及びその算出信頼度を算出するとともに算出し
た算出信頼度に応じて高、中又は低の信頼度に分類する
動きベクトル算出手段と、算出し分類した動きベクトル
及びその信頼度を格納する動きベクトル格納手段と、該
動きベクトル格納手段に格納されたターゲットブロック
の動きベクトルのうちの中又は低の信頼度に分類した動
きベクトルを、該ターゲットブロックの上下、左右、も
しくは斜め方向のブロックの動きベクトルのうちの高又
は中の信頼度に分類した動きベクトルをもとに補正する
動きベクトル補正手段とを備える動きベクトル検出装置
である。

【００１３】また、本発明は、上記動きベクトル補正手
段が中又は低の信頼度に分類した動きベクトルをターゲ
ットブロックの上下、左右、もしくは斜め方向のブロッ
クの動きベクトルのうちの高又は中の信頼度に分類した
動きベクトルの平均の動きベクトルに置換える動きベク
トル検出装置である。

【００１４】そして、本発明は、ターゲットブロックの
上下、左右、もしくは斜め方向のブロックの動きベクト
ルと比較して４つの方向の一致性を判定する動きベクト
ル方向性判定手段を備えており、上記動きベクトル補正
手段が前記方向の一致性を考慮して動きベクトルを置換
える動きベクトル検出装置である。

【００１５】更に、本発明は、水平又は垂直のエッジの
有無を検出する水平・垂直エッジ検出手段を備えてお
り、上記動きベクトル算出手段が水平もしくは垂直エッ
ジが存在するブロックの動きベクトルの信頼度を高又は
中の信頼度に分類する動きベクトル検出装置である。

【００１６】また、本発明は、上記ブロックマッチング
処理における相関の高いブロックを上位２番目まで出力
し、それら２つのブロックの動きベクトルの方向性が一
致しているか否かを検出する動きベクトル相関検出手段
を備える動きベクトル検出装置である。

【００１７】そして、本発明は、上記動きベクトル検出
装置を具備する画像処理装置である。

【００１８】更に、本発明は、時間的に連続した複数フ
ィールドからなる画像信号におけるフィールド画像を複
数個の画素からなる複数のブロックに分割し、所定の画
面のターゲットブロックと、参照フィールド画像に設け
られ、前記ターゲットブロックに対応した位置を中心と
した周囲の所定構成からなる動きベクトル検出範囲との
ブロックマッチング処理により、動き補償予測符号化処
理等に寄与するための動きベクトルを検出する動きベク
トル検出装置に使用するコンピュータ・ソフトウエアで
あって、前記ブロックマッチング処理による相関値と所
定閾値の比較により、動きベクトル及びその算出信頼度
を算出するとともに算出した算出信頼度に応じて高、中
又は低の信頼度に分類する機能と、算出し分類した動き
ベクトル及びその信頼度を格納する機能と、格納された
ターゲットブロックの動きベクトルのうちの中又は低の
信頼度に分類した動きベクトルを、該ターゲットブロッ
クの上下、左右、もしくは斜め方向のブロックの動きベ
クトルのうちの高又は中の信頼度に分類した動きベクト
ルをもとに補正する機能とをコンピュータに実現させる
プログラムからなるコンピュータ・ソフトウエアであ
る。

【００１９】

【発明の実施の形態】本発明の実施の形態を説明する。
本発明の動きベクトル検出装置及び画像処理装置の実施
形態について、図１〜図２１を用いて説明する。図１
は、実施形態１の動きベクトル検出装置のブロック説明
図である。図２は、実施形態１の動きベクトル検出装置
における方向の一致性を説明する図である。図３は、実
施形態１の動きベクトル検出装置における動きベクトル
メモリの説明図である。図４は、実施形態１の動きベク
トル検出装置における動きベクトルメモリとして、フィ
ールドメモリを用いた例のブロック説明図である。図５
は、実施形態１における、周辺ベクトル参照を説明する
図である。図６は、実施形態１の動きベクトル検出装置
における動きベクトル補正方法１の説明図である。図７
は、実施形態１の動きベクトル検出装置における動きベ
クトル補正方法２の説明図である。図８は、実施形態１
の動きベクトル検出装置における動きベクトル補正方法
３の説明図である。図９は、実施形態１の動きベクトル
検出装置における動きベクトル補正方法４の説明図であ
る。図１０は、実施形態１の動きベクトル検出装置にお
ける動きベクトル補正方法５の説明図である。図１１
は、実施形態１の動きベクトル検出装置における動きベ
クトル補正方法６の説明図である。図１２は、実施形態
１の動きベクトル検出装置における動きベクトル補正方
法７の説明図である。図１３は、実施形態１の動きベク
トル検出装置における動きベクトル補正方法８の説明図
である。図１４は、実施形態１の動きベクトル検出装置
における動きベクトル補正手順１を説明するためのフロ
ーチャートである。図１５は、実施形態１の動きベクト
ル検出装置における動きベクトル補正手順２を説明する
ためのフローチャートである。図１６は、実施形態１の
動きベクトル検出装置における動きベクトル補正手順３
を説明するためのフローチャートである。図１７は、実
施形態２の動きベクトル検出装置のブロック説明図であ
る。図１８は、実施形態２の動きベクトル検出装置にお
ける信頼度判定を説明する図表である。図１９は、実施
形態３の動きベクトル検出装置のブロック説明図であ
る。図２０は、実施形態３の動きベクトル検出装置にお
ける信頼度判定を説明する図表である。図２１は、実施
形態４の走査線補間装置のブロック説明図である。

【００２０】実施形態１を説明する。本実施形態の動き
ベクトル検出装置は、例えばコンピュータからなり、図
１の構成図に示すように、現フィールドデータ入力端子
１１、参照フィールド（例えば前々フィールド）データ
入力端子１２、累積差分演算部１３、差分比較部１４、
動きベクトル算出部１７、動きベクトル方向性判定部１
８、動きベクトルメモリ１９、２０、動きベクトル補正
部２２及び動きベクトル出力端子２３からなり、ブロッ
クマッチング処理による相関値と所定閾値の比較によ
り、動きベクトル及びその算出信頼度を算出するととも
に算出した算出信頼度に応じて高、中又は低の信頼度に
分類する動きベクトル算出手段と、算出し分類した動き
ベクトル及びその信頼度を格納する動きベクトル格納手
段と、動きベクトル格納手段に格納されたターゲットブ
ロックの動きベクトルのうちの中又は低の信頼度に分類
した動きベクトルを、該ターゲットブロックの上下、左
右、もしくは斜め方向のブロックの動きベクトルのうち
の高又は中の信頼度に分類した動きベクトルをもとに補
正する動きベクトル補正手段とを備えている。

【００２１】以下、図１の回路動作について説明する。
現フィールドデータ入力端子１１には、ターゲットブロ
ックデータが供給され、参照フィールドデータ入力端子
１２には、参照ブロックデータが供給される。累積差分
演算部１３では、ターゲットブロックと参照ブロックに
おける各画素間の差分演算を行い、その差分累積加算結
果をブロック単位で出力する。差分比較部１４では、ブ
ロック単位で出力された差分累積加算値をそれぞれ比較
し、最小値を与える参照ブロックの位置ベクトルを動き
ベクトルとして選択し、前記最小値とともに、動きベク
トル算出部１７へ出力し、動きベクトル方向性判定部１
８には、前記動きベクトルのみが入力される。

【００２２】動きベクトル算出部１７では、第一の閾値
Ｔｈ１（３１）及び第二の閾値Ｔｈ２（３２）を用い
て、例えば最小値の値が第一の閾値Ｔｈ１（３１）未満
の場合は「信頼度高」、最小値の値が第一の閾値Ｔｈ１
（３１）以上で第二の閾値Ｔｈ２（３２）以下の場合は
「信頼度中」、最小値の値が第二の閾値Ｔｈ２（３２）
より大きい場合は「信頼度低」というように動きベクト
ルの信頼度を設定し、例えば２ビットの信号３６、３７
（信頼度高ならば「２’ｂ００」、中ならば「２’ｂ０
１」、低ならば「２’ｂ１０」）を動きベクトル補正部
２２及び動きベクトルメモリ１９へ出力する。ここで、
第一の閾値Ｔｈ１（３１）、第二の閾値Ｔｈ２（３２）
は共に任意設定可能である。

【００２３】動きベクトル方向性判定部１８では、例え
ば、図２に示すように、動きベクトル値（０，０）（動
き無）を基準として、〜の４つの領域に分割した場
合、各動きベクトルがどの領域にはいるかを判定する。
例えば２ビットの信号（図２において、動きベクトルの
方向が、の領域であれば「２’ｂ００」、の領域で
あれば「２’ｂ０１」、の領域であれば「２’ｂ１
０」、の領域であれば「２’ｂ１１」）を動きベクト
ル補正部２２及び動きベクトルメモリ１９へ出力する。
尚、動きベクトル方向性判定部１８は、動きベクトル補
正部２２の内部に取り入れても何ら問題はない。

【００２４】動きベクトルメモリ１９、２０は、各ブロ
ック（水平Ｍ画素、垂直Ｎライン）毎に既に検出された
水平有効画素分の動きベクトルを格納するため、ＲＡＭ
（ＲａｎｄｏｍＡｃｃｓｅｓｓＭｅｍｏｒｙ）等で
構成される。例えば、入力画像の水平有効画素が７６
８、ブロックの水平が８画素の場合、９６（７６８／
８）ブロック分の動きベクトルを格納する（図３参
照）。

【００２５】動きベクトル補正部２２では、動きベクト
ルメモリ１９、２０のアドレス制御及び、動きベクトル
算出部１７、動きベクトル方向性判定部１８からの動き
ベクトル、その信頼度、方向性出力の遅延調整により、
図４に示すように、ターゲットブロックで検出された動
きベクトル、その信頼度及び方向性と、その周辺４、
６、８等ブロックで検出された動きベクトル、その信頼
度及び方向性が参照可能となる。

【００２６】尚、動きベクトルを格納するメモリ１９、
２０としては、図５に示すように、フィールドメモリ２
１を用い、前後フィールドの動きベクトルを格納するよ
うな構成とし、前後フィールドの周辺ブロックをも参照
する構成としてもよい。

【００２７】次に、動きベクトル補正部２２における動
きベクトル補正の手順の一例について、図６〜図１３の
補正方法及び図１４〜図１６のフローチャートを用いて
以下に説明する。

【００２８】まず、着目ブロックの動きベクトルが信頼
度低で、かつ、周囲８ブロックの動きベクトルの信頼度
も全て低の場合（ステップＦ１０１，Ｆ１０２、図６ａ
左参照）、そのまま信頼度低の動きベクトルを出力する
（ステップＦ１０３、図６ａ右参照）。

【００２９】着目ブロックの動きベクトルが信頼度低
で、かつ、周囲８ブロックの中に信頼度中の動きベクト
ルが１つ存在する場合（ステップＦ１０１，Ｆ１０４、
図６ｂ左参照）、着目ブロックの動きベクトルを前記信
頼度中の動きベクトルに置換える（ステップＦ１０５、
図６ｂ右参照）。

【００３０】着目ブロックの動きベクトルが信頼度低
で、周囲８ブロックの中に信頼度中の動きベクトルが２
つ以上存在し、かつ前記２つ以上の信頼度中のベクトル
の方向性が一致する場合（ステップＦ１０１，Ｆ１０
６，Ｆ１０７、図７ａ左参照）、着目ブロックの動きベ
クトルを前記２つ以上の信頼度中の動きベクトルのいず
れかに置換える（ステップＦ１０８、図７ａ右参照）。

【００３１】着目ブロックの動きベクトルが信頼度低
で、周囲８ブロックの中に信頼度中の動きベクトルが２
つ以上存在し、かつ、前記２つ以上の信頼度中のベクト
ルの方向性が異なる場合（ステップＦ１０１，Ｆ１０
６，Ｆ１０７、図７ｂ左参照）、着目ブロックの動きベ
クトルを前記２つ以上の信頼度中の動きベクトルの平均
の動きベクトルで置換える（ステップＦ１０９、図７ｂ
右参照）。

【００３２】着目ブロックの動きベクトルが信頼度低
で、かつ、周囲８ブロックの中に信頼度高の動きベクト
ルが１つ存在する場合（Ｆ１０１，Ｆ１１０、図８ａ左
参照）、着目ブロックの動きベクトルを前記信頼度高の
動きベクトルに置換える（ステップＦ１１１、図８ａ右
参照）。

【００３３】着目ブロックの動きベクトルが信頼度低
で、周囲８ブロックの中に信頼度高の動きベクトルが２
つ以上存在し、かつ、前記２つ以上の信頼度高のベクト
ルの方向性が一致する場合（ステップＦ１０１，Ｆ１１
２，１１３、図８ｂ左参照）、着目ブロックの動きベク
トルを前記２つ以上の信頼度高の動きベクトルのいずれ
かに置換える（ステップＦ１１４、図８ｂ右参照）。

【００３４】着目ブロックの動きベクトルが信頼度低
で、周囲８ブロックの中に信頼度高の動きベクトルが２
つ以上存在し、かつ、前記２つ以上の信頼度高のベクト
ルの方向性が異なる場合（ステップＦ１０１，１１２，
１１３、図９ａ左参照）、着目ブロックの動きベクトル
を前記２つ以上の信頼度高の動きベクトルの平均の動き
ベクトルで置換える（ステップＦ１１５、図９ａ右参
照）。

【００３５】次に、着目ブロックの動きベクトルが信頼
度中で、かつ、周囲８ブロックの動きベクトルの信頼度
が全て低の場合（ステップＦ２０１，Ｆ２０２、図９ｂ
左参照）、そのまま信頼度中の動きベクトルを出力する
（ステップＦ２０３、図９ｂ右参照）。

【００３６】着目ブロックの動きベクトルが信頼度中
で、周囲８ブロックの動きベクトルに信頼度高は存在し
ないが、信頼度中が存在し、前記周囲ブロックの信頼度
中の動きベクトルと、着目ブロックの動きベクトルの方
向性が一致する場合（ステップＦ２０１，２０４，２０
５、図１０ａ左参照）、そのままの動きベクトルを出力
する（ステップＦ２０６、図１０ａ右参照）。

【００３７】着目ブロックの動きベクトルが信頼度中
で、周囲８ブロックの動きベクトルに信頼度高は存在し
ないが、信頼度中が存在し、前記周囲ブロックの信頼度
中の動きベクトルと、着目ブロックの動きベクトルの方
向性が異なる場合（ステップＦ２０１，２０４，２０
５、図１０ｂ左参照）、前記周囲ブロックの信頼度中の
動きベクトルと着目ブロックの動きベクトルの平均の動
きベクトルで置換える（ステップＦ２０７、図１０ｂ右
参照）。

【００３８】着目ブロックの動きベクトルが信頼度中
で、周囲８ブロックの動きベクトルに信頼度高が存在
し、かつ、着目ブロックの動きベクトルと方向性が一致
する場合（ステップＦ２０１，２０８，２０９、図１１
ａ左参照）、そのままの動きベクトルを出力する（ステ
ップＦ２１０、図１１ａ右参照）。

【００３９】着目ブロックの動きベクトルが信頼度中
で、周囲８ブロックの動きベクトルに信頼度高が存在
し、かつ、着目ブロックの動きベクトルと方向性が異な
る場合（ステップＦ２０１，２０８，２０９、図１１ｂ
左参照）、着目ブロックの動きベクトルを前記信頼度高
の動きベクトルに置換える（ステップＦ２１１、図１１
ｂ右参照）。

【００４０】次に、着目ブロックの動きベクトルが信頼
度高で、かつ、周囲８ブロックの動きベクトルの信頼度
が全て低の場合（ステップＦ３０１，Ｆ３０２、図１２
ａ左参照）、そのまま信頼度高の動きベクトルを出力す
る（ステップＦ３０３、図１２ａ右参照）。

【００４１】着目ブロックの動きベクトルが信頼度高
で、周囲８ブロックの動きベクトルに信頼度高は存在し
ないが、信頼度中が存在する場合（ステップＦ３０１，
３０４、図１２ｂ左参照）、そのまま信頼度高の動きベ
クトルを出力する（ステップＦ３０５、図１２ｂ右参
照）。

【００４２】着目ブロックの動きベクトルが信頼度高
で、周囲８ブロックの動きベクトルに信頼度中が存在
し、前記周囲ブロックの信頼度高の動きベクトルと、着
目ブロックの動きベクトルの方向性が一致する場合（ス
テップＦ３０１，Ｆ３０６，Ｆ３０７、図１３ａ左参
照）、そのまま信頼度高の動きベクトルを出力する（ス
テップＦ３０８、図１３ａ右参照）。

【００４３】着目ブロックの動きベクトルが信頼度高
で、周囲８ブロックの動きベクトルに信頼度高が存在
し、前記周囲ブロックの信頼度高の動きベクトルと、着
目ブロックの動きベクトルの方向性が異なる場合（ステ
ップＦ３０１，Ｆ３０６，Ｆ３０７、図１３ｂ左参
照）、前記前記周囲ブロックの信頼度高の動きベクトル
と着目ブロックの動きベクトルの平均の動きベクトルで
置換える（ステップＦ３０９、図１３ｂ右参照）。

【００４４】以上説明したように、実施形態１によれ
ば、中又は低の信頼度に分類した動きベクトルを、周辺
のブロックで検出された動きベクトルと比較して、高又
は中の信頼度に分類した動きベクトルへと置換えていく
ことにより、精度の高い動きベクトルの補正を実現する
ことができる。尚、本実施形態では周囲ブロックを８と
したが、その数に限られたものではない。

【００４５】実施形態２を説明する。本実施形態の動き
ベクトル検出装置は、図１７にそのブロック図を示して
いる。図１７において、図１に示した実施形態１の構成
要素と同一の構成要素は、同一の符号を付してその説明
を省略する。実施形態２が実施形態１と異なる点は、水
平・垂直エッジ検出部１５を備えており、動きベクトル
算出部１７における信頼度を判定する方法として、映像
信号の水平・垂直のエッジ情報を用いたところにある。
水平・垂直エッジ検出部１５は、水平又は垂直のエッジ
を検出すると、映像信号の水平・垂直のエッジ情報３４
を動きベクトル算出部１７に出力する。尚、第一の閾値
Ｔｈ１及び第二の閾値Ｔｈ２の代りに閾値Ｔｈ３３とし
ている。

【００４６】実施形態２によれば、水平・垂直エッジが
存在するブロックにおける動きベクトルは信頼度が高い
ことを利用することにより、動きベクトルの補正の精度
向上が期待できる。

【００４７】以下、実施形態２における特有の部分につ
いて、その動作を説明する。水平・垂直エッジ検出部１
５からは、ブロックマッチング処理によって導かれた最
小値を持つ参照ブロック内における、水平・垂直のエッ
ジの有無を検出し、例えば１ビットの信号３４（エッジ
有ならば「１’ｂ１」、エッジ無ならば「１’ｂ０」）
を動きベクトル算出部１７へ出力する。動きベクトル算
出部１７では、例えば図１８に示すような条件で、信頼
度を決定する。水平・垂直のエッジの有を検出すると、
高又は中の信頼度に分類することにより、動きベクトル
の補正の精度を向上させることができる。尚、上記水平
・垂直のエッジ検出は水平のみ、垂直のみでも構わな
い。

【００４８】実施形態３を説明する。本実施形態の動き
ベクトル検出装置は、そのブロック図を図１９に示して
いる。図１９において、図１に示した実施形態１の構成
要素と同一の構成要素は、同一の符号を付してその説明
を省略する。実施形態３が実施形態１と異なる点は、動
きベクトル相関検出部１６を備えており、動きベクトル
算出部２２における信頼度を判定する方法として、ブロ
ックマッチング処理における差分比較部１４において、
相関の高い（差分値の小さい）ブロックを上位２番目ま
で出力し、その２つのブロックの動きベクトルの方向性
が一致しているか否かを出力するところにある。

【００４９】以下、実施形態３における特有の部分につ
いて、その動作を説明する。差分比較部１４では、差分
の最も小さいブロックの動きベクトルとその差分値に加
え、２番目に小さい差分値を持つブロックの動きベクト
ルとその差分値を算出し、２つの動きベクトルを動きベ
クトル相関検出部１６へ出力する。動きベクトル算出部
１７、動きベクトル方向性判定部１８へは、実施形態
１、２と同様に、最小値とその動きベクトルが入力され
る。

【００５０】正確なブロックマッチング処理が行われて
いれば、最小値をもつ動きベクトルと２番目に小さい差
分値を持つ動きベクトルには、ある程度の相関性が存在
するはずである。２つのベクトルの間に全く相関性がな
ければ、正確な検出が行われていない可能性が高いとい
える。

【００５１】従って、動きベクトル相関検出部１６で
は、２つの動きベクトルの相関性を検出するために、例
えば図２に示す方向の一致性に従い、その方向性の一致
を確認する。例えば１ビットの信号３５（一致ならば
「１ｂ１」、不一致ならば「１ｂ０」）を動きベクトル
算出部１７へ出力する。

【００５２】動きベクトル算出部１７では、例えば図２
０に示すような条件で、信頼度を決定する。ベクトル相
間有のときに高又は中の信頼度に分類することにより、
動きベクトルの補正の精度を向上させることができる。

【００５３】以上のように、実施形態３によれば、１つ
のブロック内における２つの動きベクトルの相関性を利
用することにより、動きベクトルの補正の精度向上が期
待できる。尚、上記動きベクトル相関検出部１６におけ
る、最小値をもつ動きベクトルと２番目に小さい差分値
を持つ動きベクトルとの相関性の検出においては、両ベ
クトルの水平方向の差の絶対値と垂直方向の絶対値の和
が所定閾値以下か否かで判断してもよい。

【００５４】実施形態４を説明する。本実施形態は、テ
レビジョン受信機等の画像処理装置に使用される走査線
補間装置の例であり、その構成図を図２１に示すよう
に、画像入力端子４１、フィールドメモリ（ＦＭ）４
２、４３、動きベクトル検出回路（ＭＶ）４４、動き補
償処理回路（ＭＣ）４５、ノンインターレース信号出力
回路（ＩＰ）４６、画像出力端子４７を備えている。動
きベクトル検出回路（ＭＶ）４４としては、上記実施形
態１〜３のいずれかを使用する。

【００５５】以下、図２３の回路動作について説明す
る。画像入力端子４１は、インターレースの画像信号を
入力する。フィールドメモリ４２、４３は、動画像信号
を記憶する。動きベクトル検出回路４４は、動きベクト
ル５１をブロック単位で検出する。動きベクトル検出回
路４４は、動き補償処理を行う。画像出力端子４７は、
ノンインターレースの画像信号を出力する。

【００５６】以下、実施形態４の回路動作について説明
する。入力端子４１には、インターレースの画像信号
（以下、「後データ」と称する）が供給され、フィール
ドメモリ４２からは、現フィールドの画像信号（以下、
「現データ」と称する）が、フィールドメモリ４３から
は、前フィールドの画像信号（以下、「前データ」と称
する）が出力される。後データと前データは、動きベク
トル検出回路４４に入力され、動きベクトル５１がブロ
ック毎に検出される。動きベクトル検出回路としては、
例えば実施形態１で述べた構成をとる。検出された動き
ベクトル５１は、動き補償処理回路４５に入力される。

【００５７】フィールド間の動きベクトルは、例えば２
フィールド間の動きベクトルを１／２することによって
求められる。よって、フィールド間補間信号を求めるた
め、動き補償処理回路４５では、動きベクトル検出回路
４４で検出された動きベクトル５１を１／２して前デー
タを移動させ、フィールド間補間信号を生成する。ノン
インターレース信号出力回路４６は、現データの走査線
間に前記補間信号を補間する。

【００５８】以上のような本実施形態により、補間信号
生成に用いられる動きベクトルは、例えば画像信号中に
含まれるノイズ等の影響により誤検出した動きベクトル
を、信頼度の高い動きベクトルへ補正したものとなるた
め、動き補償処理特有の孤立点的劣化が少ないノンイン
ターレースの画像信号が得られる。

【００５９】なお、実施形態１〜４では、時間的に連続
した複数フィールドからなる画像信号におけるフィール
ド画像を複数個の画素からなる複数のブロックに分割
し、所定の画面のターゲットブロックと、参照フィール
ド画像に設けられ、前記ターゲットブロックに対応した
位置を中心とした周囲の所定構成からなる動きベクトル
検出範囲とのブロックマッチング処理により、動き補償
予測符号化処理等に寄与するための動きベクトルを検出
する動きベクトル検出装置又は画像処理装置を説明した
が、ブロックマッチング処理による相関値と所定閾値の
比較により、動きベクトル及びその算出信頼度を算出す
るとともに算出した算出信頼度に応じて高、中又は低の
信頼度に分類する機能と、算出し分類した動きベクトル
及びその信頼度を格納する機能と、格納されたターゲッ
トブロックの動きベクトルのうちの中又は低の信頼度に
分類した動きベクトルを、該ターゲットブロックの上
下、左右、もしくは斜め方向のブロックの動きベクトル
のうちの高又は中の信頼度に分類した動きベクトルをも
とに補正する機能とをコンピュータに実現させるプログ
ラム又はこのプログラムを格納した記録媒体（例えばＣ
Ｄ−ＲＯＭ）を使用することにより、コンピュータを動
きベクトル検出装置とすることができる。

【００６０】

【発明の効果】本発明によれば、ブロックマッチング処
理によって算出された動きベクトルの算出信頼度を最小
値の閾値制御、エッジ情報、ブロック内ベクトル相関に
よって判定し、信頼度の低いと判定された動きベクトル
を、周辺ブロックの動きベクトルとの相関性を利用し
て、高い信頼度を持つ動きベクトルへと置換えていくこ
とにより、精度の高い動きベクトルの補正を実現するこ
とが可能な動きベクトル検出装置及び画像処理装置を得
ることができる。

【図面の簡単な説明】

【図１】実施形態１の動きベクトル検出装置のブロック
説明図。

【図２】実施形態１の動きベクトル検出装置における方
向の一致性を説明する図。

【図３】実施形態１の動きベクトル検出装置における動
きベクトルメモリの説明図。

【図４】実施形態１の動きベクトル検出装置における動
きベクトルメモリとして、フィールドメモリを用いた例
のブロック説明図。

【図５】実施形態１における、周辺ベクトル参照を説明
する図。

【図６】実施形態１の動きベクトル検出装置における動
きベクトル補正方法１の説明図。

【図７】実施形態１の動きベクトル検出装置における動
きベクトル補正方法２の説明図。

【図８】実施形態１の動きベクトル検出装置における動
きベクトル補正方法３の説明図。

【図９】実施形態１の動きベクトル検出装置における動
きベクトル補正方法４の説明図。

【図１０】実施形態１の動きベクトル検出装置における
動きベクトル補正方法５の説明図。

【図１１】実施形態１の動きベクトル検出装置における
動きベクトル補正方法６の説明図。

【図１２】実施形態１の動きベクトル検出装置における
動きベクトル補正方法７の説明図。

【図１３】実施形態１の動きベクトル検出装置における
動きベクトル補正方法８の説明図。

【図１４】実施形態１の動きベクトル検出装置における
動きベクトル補正手順１を説明するためのフローチャー
ト。

【図１５】実施形態１の動きベクトル検出装置における
動きベクトル補正手順２を説明するためのフローチャー
ト。

【図１６】実施形態１の動きベクトル検出装置における
動きベクトル補正手順３を説明するためのフローチャー
ト。

【図１７】実施形態２の動きベクトル検出装置のブロッ
ク説明図。

【図１８】実施形態２の動きベクトル検出装置における
信頼度判定を説明する図表。

【図１９】実施形態３の動きベクトル検出装置のブロッ
ク説明図。

【図２０】実施形態３の動きベクトル検出装置における
信頼度判定を説明する図表。

【図２１】実施形態４の走査線補間装置のブロック説明
図。

【図２２】ブロックマッチング手法を説明するための
図。

【図２３】従来技術における動きベクトル検出装置のブ
ロック説明図。

【図２４】従来技術を説明するための図。

【図２５】従来技術の問題点を説明するための図。

【符号の説明】

１１現フィールドデータ入力端子１２参照フィールドデータ入力端子１３累積差分演算部１４差分比較部１５水平・垂直エッジ検出部１６動きベクトル相関検出部１７動きベクトル算出部１８動きベクトル方向性判定部１９動きベクトルメモリ２０動きベクトルメモリ２１フィールドメモリ２２動きベクトル補正部２３動きベクトル出力端子３１第一の閾値３２第二の閾値３３閾値３４エッジの有無の信号３５動きベクトルの方向性の一致非一致の信号３６、３７動きベクトル及びその信頼度の信号４１画像入力端子４２フィールドメモリ４３フィールドメモリ４４動きベクトル検出回路４５動き補償処理回路４６ノンインターレース信号出力回路４７画像出力端子５１動きベクトル６１画像信号入力端子６２空間周波数フィルタ６３相関演算手段６４フィールドメモリ６５動きベクトル検出手段６６動きベクトル決定手段６７動きベクトル分類手段６８動きベクトル出力端子７１現フィールド７２参照フィールド

フロントページの続き (72)発明者中嶋満雄神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所デジタルメディア開発本部内 (72)発明者都留康隆神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所デジタルメディア開発本部内 (72)発明者水橋嘉章神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所デジタルメディア開発本部内 (72)発明者石倉和夫東京都小平市上水本町五丁目20番１号株式会社日立製作所システムＳＬＩ開発センタ内Ｆターム(参考） 5C059 MA00 NN08 NN11 NN28 NN38 PP04 TA65 TB08 TC12 TC42 TD02 TD04 TD08 TD11 UA38 5C063 BA04 BA09 BA10 BA12 CA01 CA05 CA07 CA09 CA34 CA38 5J064 AA01 BA13 BB03 BC01 BC08 BC09 BC14 BC22 BC27 BD04

Claims

【特許請求の範囲】

【請求項１】時間的に連続した複数フィールドからな
る画像信号におけるフィールド画像を複数個の画素から
なる複数のブロックに分割し、所定の画面のターゲット
ブロックと、参照フィールド画像に設けられ、前記ター
ゲットブロックに対応した位置を中心とした周囲の所定
構成からなる動きベクトル検出範囲とのブロックマッチ
ング処理により、動き補償予測符号化処理等に寄与する
ための動きベクトルを検出する動きベクトル検出装置で
あって、前記ブロックマッチング処理による相関値と所定閾値の
比較により、動きベクトル及びその算出信頼度を算出す
るとともに算出した算出信頼度に応じて高、中又は低の
信頼度に分類する動きベクトル算出手段と、算出し分類
した動きベクトル及びその信頼度を格納する動きベクト
ル格納手段と、該動きベクトル格納手段に格納されたタ
ーゲットブロックの動きベクトルのうちの中又は低の信
頼度に分類した動きベクトルを、該ターゲットブロック
の上下、左右、もしくは斜め方向のブロックの動きベク
トルのうちの高又は中の信頼度に分類した動きベクトル
をもとに補正する動きベクトル補正手段とを備えること
を特徴とする動きベクトル検出装置。
【請求項２】上記動きベクトル補正手段が中又は低の
信頼度に分類した動きベクトルをターゲットブロックの
上下、左右、もしくは斜め方向のブロックの動きベクト
ルのうちの高又は中の信頼度に分類した動きベクトルの
平均の動きベクトルに置換える請求項１記載の動きベク
トル検出装置。
【請求項３】ターゲットブロックの上下、左右、もし
くは斜め方向のブロックの動きベクトルと比較して４つ
の方向の一致性を判定する動きベクトル方向性判定手段
を備えており、上記動きベクトル補正手段が前記方向の
一致性を考慮して動きベクトルを置換える請求項１記載
の動きベクトル検出装置。
【請求項４】水平又は垂直のエッジの有無を検出する
水平・垂直エッジ検出手段を備えており、上記動きベク
トル算出手段が水平もしくは垂直エッジが存在するブロ
ックの動きベクトルの信頼度を高又は中の信頼度に分類
する請求項１記載の動きベクトル検出装置。
【請求項５】上記ブロックマッチング処理における相
関の高いブロックを上位２番目まで出力し、それら２つ
のブロックの動きベクトルの方向性が一致しているか否
かを検出する動きベクトル相関検出手段を備える請求項
１記載の動きベクトル検出装置。
【請求項６】請求項１〜５のいずれか１項に記載の動
きベクトル検出装置を具備する画像処理装置。
【請求項７】時間的に連続した複数フィールドからな
る画像信号におけるフィールド画像を複数個の画素から
なる複数のブロックに分割し、所定の画面のターゲット
ブロックと、参照フィールド画像に設けられ、前記ター
ゲットブロックに対応した位置を中心とした周囲の所定
構成からなる動きベクトル検出範囲とのブロックマッチ
ング処理により、動き補償予測符号化処理等に寄与する
ための動きベクトルを検出する動きベクトル検出装置に
使用するコンピュータ・ソフトウエアであって、前記ブロックマッチング処理による相関値と所定閾値の
比較により、動きベクトル及びその算出信頼度を算出す
るとともに算出した算出信頼度に応じて高、中又は低の
信頼度に分類する機能と、算出し分類した動きベクトル
及びその信頼度を格納する機能と、格納されたターゲッ
トブロックの動きベクトルのうちの中又は低の信頼度に
分類した動きベクトルを、該ターゲットブロックの上
下、左右、もしくは斜め方向のブロックの動きベクトル
のうちの高又は中の信頼度に分類した動きベクトルをも
とに補正する機能とをコンピュータに実現させるプログ
ラムからなるコンピュータ・ソフトウエア。