JP2001285880A

JP2001285880A - 動きベクトル検出装置および方法

Info

Publication number: JP2001285880A
Application number: JP2000100415A
Authority: JP
Inventors: Kazuto Ohara; 一人大原
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-04-03
Filing date: 2000-04-03
Publication date: 2001-10-12

Abstract

(57)【要約】【課題】動きベクトルの探索精度を向上させ、かつ動
きベクトルの探索処理量の低減を図る。【解決手段】動きベクトル検出装置は、動きベクトル
の検出対象となる領域を検出する有効領域検出部１２
と、動きベクトル検出部１１とを含む。有効領域検出部
１２は、符号化対象フレームと予測参照フレームとの差
分値を対応する画素ごとに演算し、差分信号Ｓ２１を出
力する差分演算部２１と、画素ごとに差分値と差分演算
部２１が保持する所定の判定しきい値とを比較し、有効
または無効を示す判定信号Ｓ２２を出力する比較部２２
と、判定信号Ｓ２２に基づき、ブロックごとに有効か無
効かを判定し、識別信号Ｓ２３を出力する有効／無効判
定部２３と、識別信号Ｓ２３に基づいてクラスタを生成
するクラスタ生成部２５とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動きベクトル検出
装置および方法に関し、特に、クラスタリング法に基づ
く動きベクトル検出装置および方法に関する。

【０００２】

【従来の技術】近年、デジタル化された動画像を処理す
る様々な技術が実現されている。一般に画像情報は文字
情報や音声情報などに比べて情報量が大きい。このた
め、動画像を記録または伝送するに当たっては情報量を
圧縮・削減する技術が必要になる。

【０００３】連続する画像フレームから構成される動画
像は、時間的に近いフレーム同士は非常に似通った性質
を持つ。すなわちフレーム間の類似性が高く時間的に冗
長であるといえる。したがって、動画像を処理するに
は、時間的に近いフレームの異なる部分だけを記録また
は伝送し、時間的な冗長性を除く。このようにすること
により、動画像の情報量を圧縮・削減することができ
る。

【０００４】たとえば、ＩＴＵ（International Teleco
mmunications Union）−Ｔ勧告Ｈ．２６３においては、
以下に示すような予測符号化方法が用いられている。現
在符号化の対象となっているフレーム（以下「符号化対
象フレーム」という。）をマクロブロックと呼ばれる処
理単位に分解し、入力値とする。符号化対象フレームと
時間的に近い予測参照フレームの中に所定の探索領域を
設定する。探索領域内で入力値のマクロブロックと最も
類似する部分を抽出し、抽出された部分と入力値との誤
差（以下「予測値」という。）を記録または伝送する。
予測参照フレームとしては、符号化対象フレームよりも
時間的に前方に位置する画像フレームもしくは後方に位
置する画像フレーム、またはその両方の画像フレームを
平均した画像フレームが用いられる。このように、予測
符号化方法を用いれば、時間的な冗長性を除いて記録ま
たは伝送される情報量を圧縮・削減することが可能であ
る。

【０００５】入力値と予測値との間の２次元平面上での
変位量は動きベクトルと呼ばれ、上記探索領域から動き
ベクトルを求める処理は動きベクトル探索と呼ばれる。
動きベクトル探索法として最も一般的なものに、探索領
域に含まれるすべての画素について入力値との類似度を
評価する全探索法がある。以下図面を参照して、全探索
法について説明する。

【０００６】図１７を参照して、符号化対象フレーム１
００は、所定のサイズ（たとえば１６×１６画素）のブ
ロックに分割されている。そのうちの１つのブロック１
０１を、動きベクトルの検出対象ブロックとして代表さ
せる。

【０００７】図１８を参照して、符号化対象フレーム１
００よりも時間的に１つ前のフレーム１０２を予測参照
フレーム１０２とする。予測参照フレーム１０２には、
動きベクトル探索のための探索領域１０３が設定されて
いる。探索領域１０３の大きさは検出対象ブロック１０
１よりも大きく、たとえば、検出対象ブロック１０１の
縦および横の負方向に１６画素を加えるとともに、正方
向に１５画素を加えた４７×４７画素の大きさを有する
ものとする。

【０００８】探索領域１０３内で、検出対象ブロック１
０１を水平または垂直方向に１画素ずつずらしながら、
重なり合う画素間での画素値の差分の合計値（たとえ
ば、差分値の絶対値の和または差分値の自乗和）を求め
る。差分の合計値が最小となる部分領域ブロック１０４
は、検出対象ブロック１０１との相関性が最も高い部分
である。このため、検出対象ブロック１０１から部分領
域ブロック１０４へ向かうベクトル１０５を求め、ベク
トル１０５を検出対象ブロック１０１の動きベクトルと
する。

【０００９】全探索法による動きベクトル探索処理で
は、探索領域１０３内のすべての位置において、検出対
象ブロック１０１内のすべての画素について画素値の差
分を求めている。このため、演算量が膨大であるという
問題がある。これまで演算量を減らす手法がいくつか提
案されているが、演算量を少なくすると動きベクトルの
探索精度が低くなる。このように、演算量と探索精度と
はトレードオフの関係にあるといえる。また、動きベク
トルの探索精度が低いと圧縮効率が悪くなるという問題
もある。

【００１０】このような問題点を解決すべく、演算量を
減らし、かつ精度の高い動きベクトルを求める手法とし
て、「Fujita et al., "A VLSI Architecture for Moti
on Estimation Core Dedicated to H.263 Video Codin
g", IEICE TRANS. ELECTRON.,VOL.E81-C,NO.5,pp.702-7
07,1998年5月」に記載のクラスタリング法が提案されて
いる。

【００１１】図１９を参照して、クラスタリング法を用
いて動きベクトルを検出する従来の動きベクトル検出装
置について説明する。この動きベクトル検出装置は、連
続する複数のフレームで構成されるデジタル化された入
力画像信号の１フレーム（符号化対象フレーム）の画素
データ（以下「対象画素データ」という。）Ｓ１を受
け、符号化対象フレームから所定のサイズのブロックが
所定個数集まったクラスタを構成するクラスタ生成部１
０と、クラスタ生成部１０に接続され、対象画素データ
Ｓ１、予測参照フレームの画素データ（以下「参照画素
データ」という。）Ｓ２およびクラスタ生成部１０の出
力を受け、クラスタに含まれるブロックごとに、動きベ
クトルを検出する動きベクトル検出部１１とを含む。

【００１２】動きベクトル検出部１１は、間引きされて
縮小されたクラスタまたはブロックの対象画素データＳ
１を記憶する検出対象記憶部３１と、検出対象記憶部３
１に接続され、対象画素データＳ１と参照画素データＳ
２との予測誤差を算出する誤差算出部３２と、誤差算出
部３２に接続され、予測誤差の最小値を算出する誤差評
価部３３と、クラスタ生成部１０に接続され、予測参照
フレームに探索領域を設定する探索領域設定部３６と、
探索領域設定部３６に接続され、検出対象ブロックと検
出対象ブロックに対応する部分領域ブロックとの間の変
位を設定する変位設定部３５と、誤差評価部３３および
変位設定部３５に接続され、予測誤差の最小値と予測誤
差が最小となるときの動きベクトルを記憶する誤差記憶
部３４とを含む。

【００１３】図２０を参照して、クラスタリング法によ
る動きベクトル検出処理について説明する。

【００１４】図２１を参照して、クラスタ生成部１０
は、対象画素データＳ１を受け、符号化対象フレーム２
００を所定のサイズ（たとえば１６×１６画素）のブロ
ック２０２に分割し、そのブロック２０２を横方向にｍ
個、縦方向にｎ個（たとえば、ｍ＝ｎ＝２）含む方形の
クラスタ２０１を生成する（ＳＴＰ５２）。クラスタ生
成部１０は、クラスタの位置およびクラスタに含まれる
ブロック数（ｍ，ｎ）またはブロックの位置を検出対象
情報Ｓ３として出力する（ＳＴＰ１０）。

【００１５】図２２を参照して、各クラスタ２０１を動
きベクトルの検出対象のクラスタとして代表させ、クラ
スタ２０１内に含まれる画素を、横および縦の比率が
ｍ：ｎとなるように間引かれる。１６×１６画素の縮小
検出対象クラスタ２０３が作成され、検出対象記憶部３
１に記憶される（ＳＴＰ１２）。

【００１６】図２３を参照して、誤差算出部３２は、符
号化対象フレーム２００よりも時間的に１つ前の符号化
対象フレーム内の画素を、縮小検出対象クラスタ２０３
と同一の比率（ｍ：ｎ）で間引いて、解像度を低くした
縮小フレーム２０４を作成する（ＳＴＰ１４）。

【００１７】探索領域設定部３６は、検出対象情報Ｓ３
に基づいて、縮小フレーム２０４中の動きベクトル探索
のための探索領域２０５を設定し、探索領域情報Ｓ３１
として出力する（ＳＴＰ１６）。探索領域２０５の大き
さは縮小検出対象クラスタ２０３よりも大きく、一例と
して、縮小検出対象クラスタ２０３の縦および横の正負
両方向にそれぞれ（２ⁱ−１）画素（ｉ＝１，
２，．．．）加えたものである。ここではｉ＝３として
説明する。したがって探索領域２０５の大きさは３０×
３０画素になる。ブロック２０２の左上隅座標を（ｃ
ｘ，ｃｙ）とすると、探索領域２０５に相当する、縮小
前の予測参照フレームでの探索領域内の点（ｘ，ｙ）は
以下の式（１）および式（２）で表わすことができる。

【００１８】ｃｘ−ｍ（２ⁱ−１）≦ｘ≦ｃｘ＋ｍ（２ⁱ−１）＋１５ …（１）ｃｙ−ｎ（２ⁱ−１）≦ｙ≦ｃｙ＋ｎ（２ⁱ−１）＋１５ …（２）誤差算出部３２は、上述の全探索法を用いて、探索領域
２０５内で縮小検出対象クラスタ２０３を水平方向また
は垂直方向に１画素ずつずらしながら、重なり合う領域
内の画素間で画素値の差分の合計値を順次求める（ＳＴ
Ｐ１８）。なお、探索領域２０５の位置は、探索領域情
報Ｓ３１に基づいて変位設定部３５により算出され、参
照画素指定情報Ｓ４として外部に出力される。

【００１９】誤差評価部３３は、差分の合計値の中から
最小値を見つけ、予測誤差の最小値として誤差記憶部３
４に記憶する。また、変位設定部３５は、そのとき、縮
小検出対象クラスタ２０３の中心から部分領域２０６の
中心へと向かう動きベクトル２０７を求め、誤差記憶部
３４に記憶する（ＳＴＰ２０）。

【００２０】動きベクトル２０７に基づいて、クラスタ
２０１に含まれるブロック２０２の初期ベクトルが算出
される（ＳＴＰ２２）。図２４を参照して、符号化対象
フレーム２００の時間的に１つ前の予測参照フレーム２
０８内で、クラスタ２０１に含まれるブロック２０２の
中心を始点とし、動きベクトル２０７を横方向にｍ倍、
縦方向にｎ倍したベクトルが初期ベクトル２０９とされ
る。クラスタ２０１に含まれる他のブロックについても
同様に初期ベクトルが算出される。

【００２１】図２５を参照して、探索領域設定部３６
は、初期ベクトル２０９によって示される部分領域ブロ
ック２１０の縦および横の正負両方向にそれぞれ２^j−
１（ｊ＝１，２，．．．）画素加えた大きさを持つ探索
領域２１１を設定する（ＳＴＰ２４）。初期ベクトルを
（ｍｖｘ０，ｍｖｙ０）とし、ブロック２０２の左上隅
座標を（ｃｘ，ｃｙ）とすると、探索領域２１１内の点
（ｘ，ｙ）は、以下の式（３）および式（４）で表わさ
れる。

【００２２】ｃｘ−ｍ（２^j−１）＋ｍｖｘ０≦ｘ ≦ｃｘ＋ｍ（２^j−１）＋１５＋ｍｖｘ０ …（３）ｃｙ−ｎ（２^j−１）＋ｍｖｙ０≦ｙ ≦ｃｙ＋ｎ（２^j−１）＋１５＋ｍｖｙ０ …（４）動きベクトル検出部１１は、ＳＴＰ１８〜ＳＴＰ２０の
処理と同様にして、探索領域２１１からブロック２０２
に最も類似する部分を検出し、動きベクトルを検出する
（ＳＴＰ２６）。動きベクトルは、誤差記憶部３４に記
憶され、動きベクトル情報Ｓ５として出力される。

【００２３】このように、クラスタの階層において大ま
かな動きベクトルの探索を実施し、次にブロックの階層
において詳細な動きベクトルの探索を実施するという２
段階の探索を行なう。そのため、ブロックの階層のみで
動きベクトルを実施する場合と比較し、同じ大きさの探
索領域を少ない演算量で精度よく探索することができ
る。

【００２４】

【発明が解決しようとする課題】クラスタリング法で
は、ブロックからクラスタを構成する際に、ブロックに
含まれる画像の性質に関係なくブロックの配置から均等
にクラスタが構成されている。ところが、ブロックによ
っては時間的に１つ前のフレームと比較して変化が少な
いものもあれば、反対に変化が大きいものもある。この
ように性質の異なるブロックが同一のクラスタに含まれ
ると、クラスタの階層における動きベクトルの検出精度
が低下することとなり、ブロックの階層における初期ベ
クトルの精度が低くなる。このため、最終的な動きベク
トルの検出精度も低下するという問題がある。

【００２５】また、クラスタリング法では、本来動きベ
クトルを求める必要のないブロック、すなわち時間的に
１つ前のフレームと比較して変化が少ないブロックにつ
いても動きベクトル探索を行なっている。このため、探
索処理に必要な演算量が増加するという問題がある。

【００２６】さらに、クラスタの動きとは無関係に探索
領域が設定される。このため、本来探索する必要がない
箇所についてまで探索を行なっており、演算量が増加す
るという問題がある。

【００２７】本発明は、上述の課題を解決するためにな
されたもので、その目的は、動きベクトルの探索精度を
向上させ、かつ動きベクトルの探索処理量の低減を図っ
た動きベクトル検出装置および方法を提供することであ
る。

【００２８】

【課題を解決するための手段】本発明のある局面に従う
動きベクトル検出装置は、複数のブロックから構成され
る第１のフレームにおいて、複数のブロックの中から動
き検出を行なう必要のあるブロックを有効領域として検
出するための有効領域検出手段と、有効領域検出手段に
接続され、有効領域検出手段の出力に応じて、有効領域
とされたブロックを１つ以上含むクラスタを生成するた
めのクラスタ生成手段と、クラスタ生成手段に接続さ
れ、第１のフレームと所定の関係にある第２のフレーム
における、クラスタに対応する位置を求め、クラスタの
動きベクトルを検出するための第１の動きベクトル検出
手段と、第１の動きベクトル検出手段に接続され、クラ
スタの動きベクトルに基づき、第２のフレームにおけ
る、クラスタに含まれるブロックに対応する位置を求
め、ブロックの動きベクトルを検出するための第２の動
きベクトル検出手段とを含む。

【００２９】動き検出を行なう必要があるブロックから
クラスタが生成され、動きベクトル検出が行なわれる。
このように、画像の性質に合わせてクラスタが構成され
るため、動きベクトルの検出精度を向上させることがで
きる。また、動きの少ないブロックに対しては動きベク
トル検出を行なわないことにより、動きベクトル検出に
必要な処理量を低減することができる。

【００３０】好ましくは、有効領域検出手段は、第１の
フレームを構成する画素の各々について、第２のフレー
ムにおける空間的に同位置の画素との画素値の差分を算
出するための差分算出手段と、差分算出手段に接続さ
れ、画素ごとに、算出した画素値の差分と、所定のしき
い値とを比較するための比較手段と、比較手段に接続さ
れ、比較手段の出力に従い、有効領域を設定するための
有効領域設定手段とを含む。

【００３１】第１および第２のフレーム間で対応する画
素の画素値の差分が計算される。差分はその画素に動き
があるか否かを表わしている。このため、ブロックが動
き検出をする必要があるか否かを的確に判断することが
できる。

【００３２】有効領域検出手段は、第１のフレームを構
成する画素の各々について、第２のフレームにおける空
間的に同位置の画素との画素値の差分を算出するための
差分算出手段と、差分算出手段に接続され、算出した画
素値の差分の絶対値が極大となる場合に、当該画素と当
該画素と所定の位置関係にある画素とを有効画素と設定
するための有効画素設定手段と、有効画素設定手段に接
続され、有効画素設定手段の出力に従い、有効領域を設
定するための有効領域設定手段とを含むように構成して
も良い。

【００３３】有効領域検出手段は、第１のフレームにお
いて、複数のブロックの中から動き検出を行なう必要の
あるブロックを有効領域として検出するための第１の有
効領域検出手段と、第２のフレームにおいて、複数のブ
ロックの中から動き検出を行なう必要のあるブロックを
有効領域として検出するための第２の有効領域検出手段
とを含み、動きベクトル検出装置は、さらに、第１およ
び第２の有効領域検出手段に接続され、第１および第２
の有効領域検出手段の出力に基づいて、第１のフレーム
における、クラスタの動きベクトルの候補を検出するた
めの動きベクトル候補検出手段を含み、第１の動きベク
トル検出手段は、クラスタ生成手段および動きベクトル
候補検出手段に接続され、クラスタの動きベクトルの候
補に基づいて、第２のフレームにおける探索領域を設定
するための探索領域設定手段と、クラスタ生成手段およ
び探索領域設定手段に接続され、第２のフレームにおけ
る、クラスタに対応する位置を探索領域の中から求め、
クラスタの動きベクトルを検出するためのクラスタ別動
きベクトル検出手段とを含むように構成しても良い。

【００３４】クラスタの動きベクトルの候補が検出され
た後、その動きベクトルの候補に基づいて、第２のフレ
ームでの探索領域が設定される。このため、動きベクト
ルの検出を効率良く行なうことができ、動きベクトルを
算出する際の探索処理量を低減することができる。

【００３５】好ましくは、第２の動きベクトル検出手段
は、動きベクトル候補検出手段およびクラスタ別動きベ
クトル検出手段に接続され、クラスタの動きベクトルの
候補および検出された動きベクトルに基づいて、クラス
タに含まれるブロックごとに、第２のフレームにおける
探索領域を設定するための探索領域設定手段と、探索領
域設定手段に接続され、クラスタに含まれるブロックに
対応する位置を探索領域の中から求め、ブロックの動き
ベクトルを検出するための手段とを含む。

【００３６】好ましくは、動きベクトル候補検出手段
は、第１および第２の有効領域検出手段に接続され、第
１および第２の有効領域検出手段の出力に基づいて、ク
ラスタを構成するブロックごとに動きベクトルの候補を
検出するためのブロック別動きベクトル候補検出手段
と、ブロック別動きベクトル候補検出手段に接続され、
クラスタを構成するブロックの動きベクトルの候補の分
布から、クラスタの動きベクトルの候補を検出するため
のクラスタ別動きベクトル候補検出手段とを含む。

【００３７】さらに好ましくは、ブロック別動きベクト
ル候補検出手段は、第１および第２の有効領域検出手段
に接続され、有効領域の位置変化に基づいて、クラスタ
を構成するブロックごとに動きベクトルの候補を検出す
るための手段を含む。

【００３８】第２の動きベクトル検出手段は、第１の動
きベクトル検出手段に接続され、第１の動きベクトル検
出手段の出力に従い、クラスタに含まれるブロックごと
に、第２のフレームにおける探索領域を設定するための
探索領域設定手段と、探索領域設定手段に接続され、ク
ラスタに含まれるブロックに対応する位置を探索領域の
中から求め、ブロックの動きベクトルを検出するための
手段とを含むように構成しても良い。

【００３９】本発明の他の局面に従う動きベクトル検出
方法は、複数のブロックから構成される第１のフレーム
において、複数のブロックの中から動き検出を行なう必
要のあるブロックを有効領域として検出するステップ
と、有効領域とされたブロックを１つ以上含むクラスタ
を生成するステップと、第１のフレームと所定の関係に
ある第２のフレームにおける、クラスタに対応する位置
を求め、クラスタの動きベクトルを検出するステップ
と、クラスタの動きベクトルに基づき、第２のフレーム
における、クラスタに含まれるブロックに対応する位置
を求め、ブロックの動きベクトルを検出するステップと
を含む。

【００４０】動き検出を行なう必要があるブロックから
クラスタが生成され、動きベクトル検出が行なわれる。
このように、画像の性質に合わせてクラスタが構成され
るため、動きベクトルの検出精度を向上させることがで
きる。また、動きの少ないブロックに対しては動きベク
トル検出を行なわないことにより、動きベクトル検出に
必要な処理量を低減することができる。

【００４１】好ましくは、有効領域として検出するステ
ップは、第１のフレームにおいて、複数のブロックの中
から動き検出を行なう必要のあるブロックを有効領域と
して検出するステップと、第２のフレームにおいて、複
数のブロックの中から動き検出を行なう必要のあるブロ
ックを有効領域として検出するステップとを含み、動き
ベクトル検出方法は、さらに、第１および第２のフレー
ムにおける有効領域に基づいて、第１のフレームにおけ
る、クラスタの動きベクトルの候補を検出するステップ
を含み、クラスタの動きベクトルを検出するステップ
は、クラスタの動きベクトルの候補に基づいて、第２の
フレームにおける探索領域を設定するステップと、第２
のフレームにおける、クラスタに対応する位置を探索領
域の中から求め、クラスタの動きベクトルを検出するス
テップとを含む。

【００４２】クラスタの動きベクトルの候補が検出され
た後、その動きベクトルの候補に基づいて、第２のフレ
ームでの探索領域が設定される。このため、動きベクト
ルの検出を効率良く行なうことができ、動きベクトルを
算出する際の探索処理量を低減することができる。

【００４３】

【発明の実施の形態】［実施の形態１］図１を参照し
て、本発明の実施の形態１に係る動きベクトル検出装置
は、動きベクトルの検出対象となる領域（以下「有効領
域」という。）を検出する有効領域検出部１２と、有効
領域検出部１２に接続された動きベクトル検出部１１と
を含む。

【００４４】動きベクトル検出部１１は、図１９を参照
して説明した従来の動きベクトル検出装置の動きベクト
ル検出部１１と同様の構成をとる。このため、その詳細
な説明はここでは繰返さない。

【００４５】有効領域検出部１２は、対象画素データＳ
１および参照画素データＳ２を受け、符号化対象フレー
ムと予測参照フレームとの差分値を対応する画素ごとに
演算し、差分信号Ｓ２１を出力する差分演算部２１と、
差分演算部２１に接続され、画素ごとに差分値と差分演
算部２１が保持する所定の判定しきい値とを比較し、有
効または無効を示す判定信号Ｓ２２を出力する比較部２
２とを含む。

【００４６】有効領域検出部１２は、さらに、比較部２
２に接続され、判定信号Ｓ２２に基づき、ブロックごと
に有効か無効かを判定し、識別信号Ｓ２３を出力する有
効／無効判定部２３と、有効／無効判定部２３に接続さ
れ、有効／無効判定部２３より出力される識別信号Ｓ２
３を格納する有効領域識別符号格納部２４と、有効領域
識別符号格納部２４に接続され、格納された識別信号Ｓ
２３に基づいてクラスタを生成するクラスタ生成部２５
とを含む。

【００４７】図２を参照して、動きベクトル検出装置の
各部は以下のように動作する。差分演算部２１は、予測
参照フレームと符号化対象フレームとの間で画素ごとに
差分を取り、差分信号Ｓ２１を出力する（ＳＴＰ２）。
たとえば、図３および図４を参照して、動き物体３０２
を含む予測参照フレーム３０１と、動き物体３０４を含
む符号化対象フレーム３０３との間で画素ごとに差分を
取ると図５に示すような差分画像が得られる。動き物体
が移動した先（横線部）と動き物体の移動元（縦線部）
とでは、動き物体と背景との画素値の差分が大きくな
り、動き物体以外のは背景領域は変化しないため、差分
はほとんど０になる。

【００４８】比較部２２は、予測参照フレーム３０１と
符号化対象フレーム３０３との間の差分値を、画素ごと
に所定の判定しきい値と比較し、差分の絶対値が判定し
きい値よりも大きい場合には有効と判定し、判定しきい
値よりも小さい場合には無効と判定する。比較部２２
は、画素ごとに、有効または無効を示す判定信号Ｓ２２
を出力する（ＳＴＰ４）。なお、比較部２２は、差分の
絶対値が極大となる画素を抽出し、極大画素と極大画素
に隣接する８近傍の画素とを有効画素と判断するように
しても良い。

【００４９】有効／無効判定部２３は、判定信号Ｓ２２
として与えられる画素ごとの有効または無効の判定結果
を一時的に記憶し、所定のサイズ（たとえば１６×１６
画素）のブロックごとに有効または無効とする識別処理
を行なう。識別処理の一例として、ブロック内に有効画
素が１つでも含まれていれば、そのブロックを有効ブロ
ックとし、有効画素が１つも含まれていなければ、その
ブロックを無効ブロックとする方法が考えられる。識別
処理の結果、たとえば、有効ブロックには１を割当て、
無効ブロックには０を割当てる。ブロックごとに識別符
号を識別信号Ｓ２３として、有効領域識別符号格納部２
４に格納する（ＳＴＰ６）。図６を参照して、ハッチン
グを施したブロックが図４の符号化対象フレーム３０３
と図３の予測参照フレーム３０１とを入力としたときの
有効ブロックを示している。図７は、このときのブロッ
クの識別符号を示している。

【００５０】クラスタ生成部２５は、有効領域識別符号
格納部２４に格納されている識別符号が１のブロックの
みからなる方形のクラスタを生成し、クラスタの位置と
クラスタに含まれるブロック数（ｍ，ｎ）またはブロッ
クの位置とを検出対象情報Ｓ３として動きベクトル検出
部１１および外部に出力する（ＳＴＰ８）。

【００５１】図８を参照して、この処理の一例を説明す
る。図８の１マスは１６×１６画素のブロックを表わ
し、符号が１のマスは、有効／無効判定部２３で有効と
判定されたブロックに対応する。図８（ａ）を参照し
て、左上のブロックから右下のブロックにかけてラスタ
スキャンの順序でブロックを走査し、符号が１のブロッ
クに到達した時点で、横方向に走査を続け、図８（ｂ）
に示すように、次に符号が０となるまで、連続する有効
ブロックで横方向のクラスタを生成する。次に、図８
（ｃ）に示すように、生成された横方向のクラスタの下
に、横方向のクラスタと同一の幅を持つ符号が１のブロ
ックのみからなる集合が存在する場合に、そのブロック
の集合をクラスタに追加する。同様の処理をクラスタの
下のブロックに対しても順次行ない、図８（ｄ）に示す
ようなクラスタを得る。

【００５２】図８（ｅ）に示すように再び走査を開始
し、同様にしてクラスタを得る。結局この例では、図８
（ｆ）に示すように、それぞれ３×３個、１×３個およ
び２×１個のブロックを含む３つのクラスタ３１０、３
１１および３１２が生成される。

【００５３】ここで述べる方法は、特にクラスタ生成法
を限定するものではなく、始めに縦方向に走査をし、横
方向にクラスタを拡張する方法や、クラスタに含まれる
ブロック数を制限する方法や、有効ブロックの上下左右
の近傍を調べクラスタ内にある程度の無効ブロックを含
むような方法であっても良い。

【００５４】次にＳＴＰ１０〜ＳＴＰ２６の処理を実行
する。これらの処理は、図２０を参照して説明した、従
来の動きベクトル検出装置のＳＴＰ１０〜ＳＴＰ２６の
処理と同様である。このため、その詳細な説明はここで
は繰返さない。

【００５５】上述のように、動きのあるブロックのみか
らクラスタが生成され、動きベクトル検出処理が実行さ
れる。このように、画像の性質に合わせてクラスタが構
成されるため、初期ベクトルの検出精度ひいては動きベ
クトルの検出精度を向上させることができる。また、動
きの少ないブロックに対しては動きベクトル検出処理を
実行しないことにより、処理量を低減させることができ
る。

【００５６】［実施の形態２］図９を参照して、本発明
の実施の形態２に係る動きベクトル検出装置は、有効領
域を検出する有効領域検出部１３と、有効領域検出部１
３に接続され、クラスタに含まれるブロックごとに、動
きベクトルを検出する動きベクトル検出部４１とを含
む。

【００５７】有効領域検出部１３は、差分演算部２１
と、差分演算部２１に接続された比較部２２と、比較部
２２に接続された有効／無効判定部２３と、有効／無効
判定部２３に接続された有効領域識別符号格納部２４
と、有効領域識別符号格納部２４に接続され、１フレー
ム前の識別符号を記憶する有効領域識別符号格納部２６
と、有効領域識別符号格納部２４および２６に接続さ
れ、ブロックごとに、ブロックの位置情報を決定する位
置決定部２７と、位置決定部２７に接続され、位置決定
部２７より与えられたブロックの位置情報より、クラス
タの初期ベクトルを算出するベクトル統計部２８とを含
む。

【００５８】動きベクトル検出部４１は、図１９を参照
して説明した従来の動きベクトル検出装置の動きベクト
ル検出部１１の構成において、探索領域設定部３６の代
わりに探索領域設定部４６を用いたものである。探索領
域設定部４６は、クラスタ生成部２５およびベクトル統
計部２８に接続され、ベクトル統計部２８よりベクトル
向き情報Ｓ６を受け、ベクトル向き情報Ｓ６により与え
られるクラスタの初期ベクトルの向きに基づいて探索領
域の設定を行なう。動きベクトル検出部４１のその他の
構成部品は、図１９を参照して説明したものと同様であ
る。このため、その詳細な説明はここでは繰返さない。

【００５９】図１０を参照して、動きベクトル検出装置
の各部は以下のように動作する。有効領域識別符号格納
部２４は、格納された識別信号Ｓ２３を有効領域識別符
号格納部２６に格納する（ＳＴＰ３２）。この時点で、
有効領域識別符号格納部２６には１つ前のフレームに対
する識別信号Ｓ２３が格納されている。識別信号Ｓ２３
は、実施の形態１と同様のものである。このため、その
詳細な説明はここでは繰返さない。

【００６０】次に、ＳＴＰ２〜ＳＴＰ１０の処理を実行
する。これらの処理は、図２を参照して説明した、ＳＴ
Ｐ２〜ＳＴＰ１０の処理と同様であるため、その詳細な
説明はここでは繰返さない。

【００６１】位置決定部２７は、有効領域識別符号格納
部２６に格納されている１フレーム前のクラスタの識別
信号Ｓ２３に基づいて、１フレーム前のクラスタに含ま
れるブロックの位置を定める（ＳＴＰ３４）。

【００６２】図４に、１フレーム前の符号化対象フレー
ム３０３を示し、図３に、符号化対象フレーム３０３よ
りもさらに１フレーム前の予測参照フレーム３０１を示
す。このとき、有効領域識別符号格納部２６に格納され
ている予測参照フレーム３０１に対する識別信号Ｓ２３
は、図７のようになる。有効ブロックには１を割当て、
無効ブロックには０が割当てられる。

【００６３】有効ブロックの各々について、隣接する８
近傍を調べ、図１１（ａ）〜（ｈ）のいずれのパターン
に該当するかを調べる。図中“＊”は、識別符号が
“０”、“１”のいずれであっても良いことを示してい
る。図１１（ａ）〜（ｈ）は、それぞれ着目する有効ブ
ロックがクラスタ内で上、右斜め上、右、右斜め下、
下、左斜め下、左および左斜め上に位置することを示
す。なお、それぞれの位置は、図１２に示すベクトル４
００〜４０７で表わされる。たとえば、有効ブロックお
よびその８近傍が図１１（ｃ）のパターンにあてはまる
場合には、その有効ブロックはクラスタ内で右に位置す
ることを示す。このため、その有効ブロックの位置は、
ベクトル４０２で表わされる。

【００６４】位置決定部２７は、ＳＴＰ３４での処理と
同様にして、有効領域識別符号格納部２４に格納されて
いる現フレームのクラスタの識別信号Ｓ２３に基づい
て、現フレームのクラスタに含まれるブロックの位置を
定める（ＳＴＰ３６）。図１３は、現在処理対象となっ
ている符号化対象フレーム３０５を示す。図１４を参照
して、ハッチングを施したブロックが図１３の符号化対
象フレーム３０５と図４の予測参照フレーム３０３とを
入力としたときの有効ブロックを示している。このと
き、有効領域識別符号格納部２４に格納されている符号
化対象フレーム３０５に対する識別信号Ｓ２３は、図１
５のようになる。

【００６５】ベクトル統計部２８は、ＳＴＰ３４および
ＳＴＰ３６で求められた有効ブロックの位置に基づい
て、各ブロックの移動方向を判定する（ＳＴＰ３８）。
すなわち、１フレーム前では無効であったブロックが、
現フレームでは有効な場合には、そのブロックの現フレ
ームでの位置が移動方向と判定される。たとえば、１フ
レーム前では背景（無効）であったブロックが、現フレ
ームではクラスタ内の右に位置する場合には、そのブロ
ックの移動方向は図１２のベクトル４０２で示される右
方向であると判定される。

【００６６】ベクトル統計部２８は、クラスタに含まれ
る各ブロックについて、初期ベクトルの候補を定める
（ＳＴＰ４０）。すなわち、ＳＴＰ３８で設定されたブ
ロックの移動方向に対応するベクトルと逆向きのベクト
ルが初期ベクトルの候補とされる。たとえば、ブロック
の移動方向が図１２のベクトル４０２で表わされる場合
には、初期ベクトルの候補は、ベクトル４０６で表わさ
れる。

【００６７】ベクトル統計部２８は、クラスタごとに、
初期ベクトルの出現頻度の統計を取り、出現頻度が最も
大きいベクトルをクラスタの初期ベクトルと決定する
（ＳＴＰ４２）。図７および図１５に示す例では、ベク
トル４０７の出現頻度が５回、ベクトル４０６および４
００の出現頻度がそれぞれ３回、ベクトル４０１および
４０５の出現頻度がそれぞれ２回となる。そのため、ク
ラスタの初期ベクトルは、ベクトル４０７と決定され
る。ベクトル４００〜４０７は、それぞれ０〜７までの
数値に対応付けられ、ベクトル向き情報Ｓ６として探索
領域設定部４６に与えられる。

【００６８】図２０を参照して説明したＳＴＰ１２およ
びＳＴＰ１４と同様の処理が行なわれ、処理対象のクラ
スタが１６×１６画素に縮小され、符号化対象フレーム
が縮小される。

【００６９】探索領域設定部４６は、ベクトル向き情報
Ｓ６により与えられる初期ベクトルが示す方向に相対的
に大きく探索領域を設定する（ＳＴＰ４４）。図１６を
参照して、探索領域の設定方法の一例を説明する。探索
領域設定部４６は、検索対象クラスタ５００と同じ大き
さの領域を、初期ベクトル５０１が示すｘ方向およびｙ
方向にそれぞれ（２ⁱ−１）画素拡大した領域を探索領
域５０３とする。たとえば、初期ベクトルが図１２のベ
クトル４０７の場合には、探索領域５０３内の点（ｘ，
ｙ）は以下に示す式（５）および式（６）で表わすこと
ができる。ここで、（ｃｘ，ｃｙ）は、検索対象クラス
タ５００の左上隅座標を示し、（ｍ，ｎ）は符号化対象
フレームを縮小する際の縮小比率を示す。

【００７０】ｃｘ−ｍ（２ⁱ−１）≦ｘ≦ｃｘ＋１５ …（５）ｃｙ−ｎ（２ⁱ−１）≦ｙ≦ｃｙ＋１５ …（６）従来の探索領域５０２に比べ、探索領域５０３は小さく
なっている。

【００７１】次に、図２０を参照して説明したＳＴＰ１
８〜ＳＴＰ２２と同様の処理が行なわれ、ブロックの初
期ベクトルが算出される。

【００７２】探索領域設定部３６は、ベクトル向き情報
Ｓ６により与えられるブロックの初期ベクトルと、誤差
記憶部３４に記憶されているブロックの初期ベクトルと
に基づいて、ブロックの探索領域を設定する（ＳＴＰ４
６）。すなわち、探索領域設定部３６は、誤差記憶部３
４に記憶された初期ベクトルの向きに最も近い向きを有
するベクトルを図１２に示した８種類のベクトルの中か
ら選択する。８種類のベクトルには上述のように０〜７
のいずれかの数値が対応付けられている。２つの初期ベ
クトルに対応付けられた数値の差分を８で割った余りを
算出する。ただし、差分が負の数となる場合には、余り
が正の数となるように計算される。たとえば、差分が−
１の場合には、余りは７になる。余りが０、１および７
のうちのいずれかである場合には、２つのベクトルの向
きはおおむね同じ向きを示すと考えられる。それ以外の
場合には、２つのベクトルの向きはおおむね逆の向きを
示すと考えられる。

【００７３】２つベクトルの向きがおおむね同じ向きを
示す場合には、着目するブロックに対応する部分領域
が、誤差記憶部３４に記憶されている初期ベクトルの方
向にあると考えられる。このため、上述の式（３）およ
び式（４）で表わされる探索領域において、ｊの値を２
つのベクトルがおおむね逆の向きを示す場合のｊの値に
比べ小さく設定することができる。このように探索領域
を限定することができる。

【００７４】動きベクトル検出部４１は、ＳＴＰ１８〜
ＳＴＰ２０の処理と同様にして、探索領域からブロック
に最も類似する部分を検出し、動きベクトルを検出する
（ＳＴＰ２６）。動きベクトルは、誤差記憶部３４に記
憶され、動きベクトル情報Ｓ５として出力される。

【００７５】上述のように、クラスタの動きに合わせて
探索領域が設定される。このため、探索を効率良く行な
うことができ、動きベクトルを算出する際の探索処理量
を低減することができる。

【００７６】また、クラスタの初期ベクトルと、クラス
タの探索の結果求められた初期ベクトルとに基づいて、
ブロックの探索領域が定められる。このため、ブロック
の探索領域を制限することができ、動きベクトルを算出
する際の探索処理量を低減することができる。

【００７７】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００７８】

【発明の効果】動き検出を行なう必要があるブロックか
らクラスタが生成され、動きベクトル検出が行なわれ
る。このように、画像の性質に合わせてクラスタが構成
されるため、動きベクトルの検出精度を向上させること
ができる。また、動きの少ないブロックに対しては動き
ベクトル検出を行なわないことにより、動きベクトル検
出に必要な処理量を低減することができる。

【００７９】また、クラスタの動きベクトルの候補に基
づいて、ブロックの移動ベクトルの候補が算出される。
このため、動きベクトルを算出する際の探索処理量を低
減することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る動きベクトル検
出装置の構成を示すブロック図である。

【図２】動きベクトル検出処理のフローチャートであ
る。

【図３】予測参照フレームの一例を示す図である。

【図４】符号化対象フレームの一例を示す図である。

【図５】差分画像の一例を示す図である。

【図６】有効ブロックの一例を示す図である。

【図７】ブロックの識別符号の一例を示す図である。

【図８】クラスタの生成方法を説明するための図であ
る。

【図９】本発明の実施の形態２に係る動きベクトル検
出装置の構成を示すブロック図である。

【図１０】動きベクトル検出処理のフローチャートで
ある。

【図１１】ブロックの位置を定める処理を説明するた
めの図である。

【図１２】有効ブロックの位置を表わすベクトルの図
である。

【図１３】符号化対象フレームの一例を示す図であ
る。

【図１４】有効ブロックの一例を示す図である。

【図１５】ブロックの識別符号の一例を示す図であ
る。

【図１６】探索領域の設定方法を説明するための図で
ある。

【図１７】ブロックを説明するための図である。

【図１８】動きベクトルの探索領域の一例を説明する
ための図である。

【図１９】従来の動きベクトル検出装置の構成を示す
ブロック図である。

【図２０】従来の動きベクトル検出処理のフローチャ
ートである。。

【図２１】フレームをブロックおよびクラスタに分割
した図である。

【図２２】縮小検出対象クラスタを作成する処理を説
明するための図である。

【図２３】縮小フレームにおける動きベクトルの探索
領域を示す図である。

【図２４】ブロックの初期ベクトルを説明するための
図である。

【図２５】動きベクトルの探索領域を示す図である。

【符号の説明】

１１動きベクトル検出部、１２有効領域検出部、２
１差分演算部、２２比較部、２３有効／無効判定
部、２４有効領域識別符号格納部、２５クラスタ生
成部、３１検出対象記憶部、３２誤差算出部、３３
誤差評価部、３４誤差記憶部、３５変位設定部、
３６探索領域設定部。

フロントページの続きＦターム(参考） 5C059 KK10 KK19 MA05 MA32 NN03 NN08 NN21 NN28 NN41 PP04 PP26 TA21 TA63 TB08 TC12 TC50 TD05 TD12 UA02 UA05 5J064 AA01 AA02 BA01 BB01 BB03 BC14 BC30 BD02 5L096 CA02 GA19 HA04 JA22

Claims

【特許請求の範囲】

【請求項１】複数のブロックから構成される第１のフ
レームにおいて、前記複数のブロックの中から動き検出
を行なう必要のあるブロックを有効領域として検出する
ための有効領域検出手段と、前記有効領域検出手段に接続され、前記有効領域検出手
段の出力に応じて、有効領域とされた前記ブロックを１
つ以上含むクラスタを生成するためのクラスタ生成手段
と、前記クラスタ生成手段に接続され、前記第１のフレーム
と所定の関係にある第２のフレームにおける、前記クラ
スタに対応する位置を求め、前記クラスタの動きベクト
ルを検出するための第１の動きベクトル検出手段と、前記第１の動きベクトル検出手段に接続され、前記クラ
スタの動きベクトルに基づき、前記第２のフレームにお
ける、前記クラスタに含まれるブロックに対応する位置
を求め、前記ブロックの動きベクトルを検出するための
第２の動きベクトル検出手段とを含む、動きベクトル検
出装置。
【請求項２】前記有効領域検出手段は、前記第１のフレームを構成する画素の各々について、前
記第２のフレームにおける空間的に同位置の画素との画
素値の差分を算出するための差分算出手段と、前記差分算出手段に接続され、画素ごとに、算出した画
素値の差分と、所定のしきい値とを比較するための比較
手段と、前記比較手段に接続され、前記比較手段の出力に従い、
前記有効領域を設定するための有効領域設定手段とを含
む、請求項１に記載の動きベクトル検出装置。
【請求項３】前記有効領域検出手段は、前記第１のフレームを構成する画素の各々について、前
記第２のフレームにおける空間的に同位置の画素との画
素値の差分を算出するための差分算出手段と、前記差分算出手段に接続され、算出した画素値の差分の
絶対値が極大となる場合に、当該画素と当該画素と所定
の位置関係にある画素とを有効画素と設定するための有
効画素設定手段と、前記有効画素設定手段に接続され、前記有効画素設定手
段の出力に従い、前記有効領域を設定するための有効領
域設定手段とを含む、請求項１に記載の動きベクトル検
出装置。
【請求項４】前記有効領域検出手段は、前記第１のフレームにおいて、前記複数のブロックの中
から動き検出を行なう必要のあるブロックを有効領域と
して検出するための第１の有効領域検出手段と、前記第２のフレームにおいて、前記複数のブロックの中
から動き検出を行なう必要のあるブロックを有効領域と
して検出するための第２の有効領域検出手段とを含み、前記動きベクトル検出装置は、さらに、前記第１および
第２の有効領域検出手段に接続され、前記第１および第
２の有効領域検出手段の出力に基づいて、前記第１のフ
レームにおける、前記クラスタの動きベクトルの候補を
検出するための動きベクトル候補検出手段を含み、前記第１の動きベクトル検出手段は、前記クラスタ生成手段および前記動きベクトル候補検出
手段に接続され、前記クラスタの動きベクトルの候補に
基づいて、前記第２のフレームにおける探索領域を設定
するための探索領域設定手段と、前記クラスタ生成手段および前記探索領域設定手段に接
続され、前記第２のフレームにおける、前記クラスタに
対応する位置を前記探索領域の中から求め、前記クラス
タの動きベクトルを検出するためのクラスタ別動きベク
トル検出手段とを含む、請求項１に記載の動きベクトル
検出装置。
【請求項５】前記第２の動きベクトル検出手段は、前記動きベクトル候補検出手段および前記クラスタ別動
きベクトル検出手段に接続され、前記クラスタの動きベ
クトルの候補および検出された動きベクトルに基づい
て、前記クラスタに含まれるブロックごとに、前記第２
のフレームにおける探索領域を設定するための探索領域
設定手段と、前記探索領域設定手段に接続され、前記クラスタに含ま
れるブロックに対応する位置を前記探索領域の中から求
め、前記ブロックの動きベクトルを検出するための手段
とを含む、請求項４に記載の動きベクトル検出装置。
【請求項６】前記動きベクトル候補検出手段は、前記第１および第２の有効領域検出手段に接続され、前
記第１および第２の有効領域検出手段の出力に基づい
て、前記クラスタを構成するブロックごとに動きベクト
ルの候補を検出するためのブロック別動きベクトル候補
検出手段と、前記ブロック別動きベクトル候補検出手段に接続され、
前記クラスタを構成するブロックの動きベクトルの候補
の分布から、前記クラスタの動きベクトルの候補を検出
するためのクラスタ別動きベクトル候補検出手段とを含
む、請求項４に記載の動きベクトル検出装置。
【請求項７】前記ブロック別動きベクトル候補検出手
段は、前記第１および第２の有効領域検出手段に接続さ
れ、有効領域の位置変化に基づいて、前記クラスタを構
成するブロックごとに動きベクトルの候補を検出するた
めの手段を含む、請求項６に記載の動きベクトル検出装
置。
【請求項８】前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段に接続され、前記第１
の動きベクトル検出手段の出力に従い、前記クラスタに
含まれるブロックごとに、前記第２のフレームにおける
探索領域を設定するための探索領域設定手段と、前記探索領域設定手段に接続され、前記クラスタに含ま
れるブロックに対応する位置を前記探索領域の中から求
め、前記ブロックの動きベクトルを検出するための手段
とを含む、請求項１に記載の動きベクトル検出装置。
【請求項９】複数のブロックから構成される第１のフ
レームにおいて、前記複数のブロックの中から動き検出
を行なう必要のあるブロックを有効領域として検出する
ステップと、有効領域とされたブロックを１つ以上含むクラスタを生
成するステップと、前記第１のフレームと所定の関係にある第２のフレーム
における、前記クラスタに対応する位置を求め、前記ク
ラスタの動きベクトルを検出するステップと、前記クラスタの動きベクトルに基づき、前記第２のフレ
ームにおける、前記クラスタに含まれるブロックに対応
する位置を求め、前記ブロックの動きベクトルを検出す
るステップとを含む、動きベクトル検出方法。
【請求項１０】有効領域として検出する前記ステップ
は、前記第１のフレームにおいて、前記複数のブロックの中
から動き検出を行なう必要のあるブロックを有効領域と
して検出するステップと、前記第２のフレームにおいて、前記複数のブロックの中
から動き検出を行なう必要のあるブロックを有効領域と
して検出するステップとを含み、さらに、前記第１および第２のフレームにおける有効領
域に基づいて、前記第１のフレームにおける、前記クラ
スタの動きベクトルの候補を検出するステップを含み、前記クラスタの動きベクトルを検出する前記ステップ
は、前記クラスタの動きベクトルの候補に基づいて、前記第
２のフレームにおける探索領域を設定するステップと、前記第２のフレームにおける、前記クラスタに対応する
位置を前記探索領域の中から求め、前記クラスタの動き
ベクトルを検出するステップとを含む、請求項９に記載
の動きベクトル検出方法。