JP2000004441A

JP2000004441A - 動き検出方法及び装置

Info

Publication number: JP2000004441A
Application number: JP9958299A
Authority: JP
Inventors: Hiromi Watanabe; 浩已渡辺; Kenichi Iwata; 憲一岩田; Hiroshi Hatae; 博波多江
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-04-14
Filing date: 1999-04-07
Publication date: 2000-01-07

Abstract

(57)【要約】【課題】画像の動き検出に使用するデータの読み出し時
間と演算時間を短縮し、データの転送効率を高める。【解決手段】被動き検出ブロックＳ１を、画素位置が相
互に異なる複数の分割被動き検出ブロックに分割（８１
１）し、複数の分割被動き検出ブロックに対して、参照
画像の動き検出範囲から切り出された同一の参照画像ブ
ロック（８２４）とから、夫々の近似度を並行して演算
部（８１６〜８１９）でもとめ、夫々の近似度の中から
最も近似度の高いもの分割被動き検出ブロックを決定す
る（８２６）。決定された分割被動き検出ブロックに対
応するベクトルを上記被動き検出対象画像のブロックの
動きベクトル（Ｓ８２）として検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き検出方法及び
装置、更に詳しくいえば、異なる時点における画像間の
像の動きを検出する方法及び装置に係り、特に動画像の
符号化装置等で、動き補償等に使われる動き検出方法及
び装置に関する。

【０００２】

【従来の技術】画像信号を符号化し、蓄積するあるいは
伝送する方式として、ＩＴＵ−Ｔ（国際電気通信連合電
気通信標準化部門）からＨ．２６１やＨ．２６２が、Ｉ
ＳＯ（国際標準化機構）からＭＰＥＧ１（１１１７２−
２）やＭＰＥＧ２（１３８１８−２）が勧告されてい
る。これらの方式は、画像信号の符号化で、動き補償フ
レーム間予測を採用している。映像信号は、信号の冗長
性が高いことが知られている。動き補償フレーム間予測
は、この冗長さを除去する技術である。動き補償フレー
ム間予測の技術では、圧縮対象の画像フレームを複数の
ブロック（以下、圧縮対象ブロックと呼ぶ）に分割し、
各圧縮対象ブロック単位に処理を行う。すなわち、各圧
縮対象ブロックに対して、時間的に前に信号処理された
画像フレーム（以下、参照画像フレームと呼ぶ）の中の
その圧縮対象ブロックの近傍に位置する動き検出範囲か
ら、上記圧縮対象ブロックと同じ大きさの複数のブロッ
ク（以下、参照画像ブロックと呼ぶ）を切り出し、これ
らの参照画像ブロックのうちで、上記圧縮対象ブロック
に最も近似した参照画像ブロックを探し出す。

【０００３】次に、その圧縮対象ブロックと探し出され
た参照画像ブロックとの差分を符号化し、それによりそ
の圧縮対象ブロックに対する圧縮された符号列を生成す
る。動き検出とは、この最も類似した参照画像ブロック
を探索する処理であり、動きベクトルは、各圧縮対象ブ
ロックと、そのブロックに対して探し出された参照画像
ブロックとの間の画面上の変位である。このような動き
検出は、通常、画像信号の符号化装置で行われる。

【０００４】動き検出は、各種の論文、書籍や特許等で
紹介されている。最も一般的な手法と、圧縮対象ブロッ
ク（以下、被動き検出ブロックと呼ぶこともある。）に
対しと、参照画像フレーム内の全ての参照画像ブロック
のそれぞれとの間で、画素毎の差分絶対値を算出し、そ
れぞれの参照画像ブロックに対してその差分絶対値の和
を計算し、その和が最も小さい参照画像ブロックを検出
する。この検出により見つけられた参照画像ブロックと
被動き検出ブロックとの画面上での変位を水平及び垂直
の変位成分で表して、動きベクトルとする。これは全探
索手法と呼ばれている。

【０００５】全探索手法は、被動き検出ブロックに含ま
れる全ての画素と、参照画像フレーム内の全ての参照ブ
ロックに含まれる全ての画素との差分の絶対値を計算
し、各参照ブロック毎にその差分絶対値の和を計算する
必要があるために、演算量が極めて多く、高速な演算速
度を必要とする。

【０００６】このため、演算量を少なくする被動き検出
方法として、図１４〜図１６に示すようなサブサンプル
手法が考えられる。この方法は、符号化画像フレーム内
の被動き検出ブロック１００を、水平垂直にそれぞれ１
画素おきにサブサンプルし、サブサンプリング被動き検
出ブロック１０１を得て、図１５に示す参照画像フレー
ム２００内の動き検出範囲２０１の全ての参照ブロック
とサンプル画素との各画素毎の差分を利用して画像の近
似度を求め、最も近似度の高い参照画像ブロックを検出
し、その参照画像ブロックと被動き検出ブロックとの画
面上での変位を動きベクトルとして表す。

【０００７】また、サブサンプル手法を参照画像フレー
ム内の全ての参照画像ブロックに対して行わず、参照画
像フレームも水平垂直に１画素おきの画像フレームとし
て、即ち、参照画像フレーム内の参照画像ブロック数を
１上記４にし、その参照ブロック全てに対して、近似度
を求め、近似度が最も高い参照画像ブロックを検出し、
その参照画像ブロックと被動き検出ブロックとの画面上
での変位を水平及び垂直の変位成分で表して、動きベク
トルとして求める手法が多段階検索手法として考えられ
る。

【０００８】

【発明が解決しようとする課題】上記全探索手法は、多
大の演算量を必要とするため、動き検出範囲を広くする
ことや、リアルタイムで実行することが困難である。ま
た、サブサンプル手法では、被動き検出ブロック内の画
素数が、例えば１上記４に減少するため、演算数も約１
上記４に減少させることが可能であるが、動き検出範囲
内の参照画像ブロックの読み出しに着目すると、検索範
囲の全ての画素の読み出しを必要とする。これは、例え
ば、動き検出を実行するＬＳＩあるいはプロセッサに外
付けメモリが配置され、そのメモリに参照画像フレーム
が記憶されている場合に、メモリのバンド幅（転送効
率）に制限がある時等に、大きな問題となる。つまり、
動き検出範囲の全ての画素を読み出すため、メモリと動
き検出を実行するＬＳＩとの間で、多くのデータ転送を
必要とする。

【０００９】また、多段探索手法では、動き検出を実行
するＬＳＩとメモリとの間のデータ転送量は削減される
が、動き検出の動作を段階的に制御する必要がり、回路
の複雑化、制御の複雑化が生じ、結果として多くの動き
検出時間を要することになる。従って本発明の第１の
目的は、動き検出精度の劣化を防ぎつつ動き検出処理を
高速化することである。本発明の第２の目的は、参照画
像フレーム内の動き検出範囲のデータの読み出しを減少
させ、メモリと動き検出部との間の転送効率を向上させ
ることである。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、本発明の動き検出方法では、被動き検出ブロック
を、画素位置の異なる複数のブロック（以下、分割被動
き検出ブロックと呼ぶ）に分割し、その各々の分割被動
き検出ブロックに、被動き検出ブロックにおけるベクト
ルを対応させ、その分割被動き検出ブロックそれぞれに
対して、参照画像の動き検出範囲から切り出された同一
のブロック画素データ（参照画像ブロックと呼ぶ）との
間で、近似度を求め、その複数の分割被動き検出ブロッ
クの近似度の中で最も近似度の高い値を示した分割被動
き検出ブロックの示すベクトルを最適な動きベクトルと
して検出する。

【００１１】図４ないし図６を用いて、本発明の原理、
動作について説明する。図４に示すように、符号化画像
フレームの中で、動きを検出しようとする被動き検出ブ
ロック１００を画素位置の異なる（白丸、白３角、黒３
角、黒丸で示した）４つの分割被動き検出ブロック１０
１〜１０４に分割する。即ち、分割被動き検出ブロック
１０１は、被動き検出ブロックの左上隅画素から、水平
に１画素飛ばし（１画素あいだをおいた）し、垂直に１
ライン飛ばし（１ラインあいだをおいた）した４画素か
らなる。同様に、分割被動き検出ブロック１０２は、同
左上隅画素から第２番目の画素から、水平に１画素飛ば
し、垂直に１ライン飛ばしをした４画素からなり、分割
被動き検出ブロック１０３は、同左上隅画素から第２ラ
イン目の第１画素から、水平に１画素飛ばしし、垂直に
１ライン飛ばしをした４画素からなり、分割被動き検出
ブロック１０４は、同左上隅画素から、垂直に第２ライ
ン目、水平に第２画素から、水平に１画素飛ばし、垂直
に１画素飛ばした４画素からなる。

【００１２】分割被動き検出ブロック１０１ないし１０
４のそれぞれと、参照画像の動き検出範囲から切り出さ
れた同一の参照画像ブロックとの比較は、図５（ａ）に
示す参照画像フレーム２００の中の動き検出範囲２０１
の画素のうち、図５（ｂ）の参照画像ブロック２０２に
示ように、現画像フレーム内の被動き検出ブロックにお
ける左上隅画素位置と相対的に同一となる参照画像フレ
ームの画素位置を原点とし、水平方向（Ｘ方向）に−３
〜＋２、垂直方向（Ｙ方向）に−３〜＋２の中で動きベ
クトルを検出する場合を説明する。図において、矢印の
向きが＋の方向を示している。

【００１３】動き検出に要する参照画像フレーム２００
内の画素は、動き検出範囲２０１で示されるＸ方向−３
〜＋５画素、Ｙ方向−３〜＋５ラインの部分となる。こ
の範囲から、参照画像ブロック２０３を適宜切り出す。
参照画像ブロック２０３は、動き検出範囲２０１を原点
から、水平に１画素飛ばし、垂直に１ライン飛ばしをし
た動き検出範囲２０２から、原点を左上隅とする参照画
像ブロックである。参照画像ブロック２０３は、動き検
出範囲２０２内の１つの参照ブロックであり、参照画像
ブロックとしては、２０４、２０５、２０６等、水平方
向へ２画素（近似計算に使用される画素）、垂直方向へ
２画素（近似計算に使用される画素）の正方ブロックで
あり、動き検出範囲２０２内で、９つの参照画像ブロッ
クがある。これらの参照画像ブロック２０３、２０４、
２０５、２０６等は、順番に読み出される。

【００１４】４つの分割被動き検出ブロック１０１ない
し１０４の信号が、上記順次読み出される参照画像ブロ
ック２０３、２０４、２０５、２０６等と順次比較され
る。

【００１５】検出ブロック１０１ないし１０４の信号と
参照画像ブロックの１つとの比較処理は、例として、参
照画像ブロック２０３と、分割被動き検出ブロック１０
１〜１０４との比較処理が図６に示されている。図６に
示されているように、分割被動き検出ブロック１０１な
いし１０４のそれぞれは、被動き検出ブロック１００に
おいて互いに異なる画素位置に存在していた画素で構成
されたブロックであるために、同一の参照画像ブロック
２０３と比較を行うと、それぞれそれぞれ異なった４つ
のベクトル（０，０）、（−１，０）、（０，−１）及
び（−１，−１）の近似度の情報を同時に出力する。こ
の場合、ブロック１０１がベクトル（１００）に対し、
ブロック１０２はベクトル（−１，０）に対応し、ブロ
ック１０３はベクトル（０、−１）に対応し、ブロック
１０４がベクトル（−１、−１）に対応する。更に参照
画像ブロック２０４、２０５、２０６等についても同様
にして近似度の情報を求める。

【００１６】

【発明の実施の形態】＜発明の実施の形態１＞図１は、
本発明による画像の動き検出方法を実施する動き検出装
置の一実施形態の構成を示すブロック図である。本実施
形態の機能の理解を容易にするため、動き検出装置を使
用する画像信号符号化装置を図２を用いて説明する。

【００１７】図２において、端子１から入力されるとこ
ろの符号化すべき画像フレーム（水平Ｘ画素、垂直Ｙラ
インからなる２次元の画像）の信号はメモリ２に記憶さ
れ、さらにブロック分割部３で、特に制限されないが水
平ｘ画素、水平ｙラインからなる複数のブロックに分割
され、分割されたブロック（以下、被動き検出ブロック
あるいは、圧縮対象ブロックと呼ぶ）の信号Ｓ１は、演
算器１２と動き補償部８に加えられる。

【００１８】動き補償部８は、本発明による動き検出装
置を含み、既に復号された画像（参照画像フレーム）が
記憶されているメモリ７から、被動き検出ブロックＳ１
に最も近似したブロックＳ２（以下、参照画像ブロック
と呼ぶ）を検出し、被動き検出ブロックＳ１と参照画像
ブロック信号Ｓ２との２次元的な変位分を動きベクトル
Ｓ４として出力する。演算器１２は、動き検出装置で検
出された動きベクトルＳ４に対応する参照画像ブロック
信号Ｓ２と被動き検出ブロック信号Ｓ１との差分を画素
毎に求める。

【００１９】ブロック分割部３から出力された圧縮対象
ブロック信号Ｓ１は、そのブロックをそのまま圧縮行う
場合（一般的にイントラモードと呼ばれる。）と、参照
画像ブロックとの差分を圧縮する場合（一般的に、イン
ターモードと呼ばれる。）があり、スイッチ４でそのモ
ード切り替えを行う。イントラモード、インターモード
の切り替えについては、本発明と直接関係しないため図
示及び説明を省略する。イントラモードあるいはインタ
ーモードで、処理される圧縮対象ブロック信号Ｓ１ある
いは、圧縮対象ブロック信号Ｓ１と参照画像ブロック信
号Ｓ２との差分は、変換器５に入力される。変換器５
は、２次元の離散コサイン変換と量子化部で構成され、
入力されるブロック信号を、一種の周波数変換し、周波
数帯域で量子化を行い、符号化器１０へ出力する。符号
化器１０では、量子化及び周波数数変換されたブロック
信号が可変長符号化される。また、インターモード時
で、動きベクトルを符号化する必要がある場合には、動
き補償部８から入力される動きベクトル情報Ｓ４も符号
化され、符号列出力ポート１１へ出力される。

【００２０】変換器５からの信号の一部は、逆変換器６
に入力される。逆変換器６は、変換器５で行われる処理
に対し逆の処理を行う。すなわち、逆量子化と２次元の
逆離散コサイン変換を行い、周波数変換された信号を、
画像のブロック信号へ変換する。イントラモードの場合
には、そのブロック信号のままメモリ７に記憶され、イ
ンターモードの場合には、参照画像ブロック信号Ｓ２と
加算器１３で加算され、メモリ７に記憶される。この制
御は、スイッチ４と連動したスイッチ９で行う。以上の
構成、動作により、一つの画像フレーム全体が復号化
（局部復号）され、メモリ７に記憶される。

【００２１】図３は、動き補償器８の構成を示す。動き
補償器８は、整数画素動き検出部８１、半画素動き検出
部８２及び最適参照画像ブロックを切り出す切出し部８
３とから構成される。整数画素動き検出部８１は、被動
き検出ブロック信号Ｓ１を参照画像フレームＳ３内の画
素位置でのみ動き検出を行い、その内で最も近似してい
る部分の動きベクトルＳ８１及びその時の近似度の情報
Ｓ８２を半画素動き検出部８２に入力する。半画素動き
検出部８２は、参照画像フレーム内の画素位置として、
水平あるいは垂直が１上記２となる位置を使い、動きの
検出を行う。即ち画素と画素の間のベクトルを動きベク
トルとして求め、求めた動きベクトルをＳ４として出力
する動き検出部である。切出し部８３は、参照画像フレ
ームＳ３と半画素動き検出部８２の出力とを用いて、最
も近似している参照画像ブロックを検出し、動きベクト
ルＳ２として出力し、また、メモリ７より最適参照画像
ブロックＳ３を読み込む。

【００２２】被動き検出ブロックの画素単位で動きは、
上記整数画素動き検出部８１で検出され、画素単位より
も小さい範囲（この実施例では１上記２画素）での動き
が、上記半画素動き検出部８２で検出される。切出し部
８３は、上記整数画素動き検出部８１による検出結果と
上記半画素動き検出部８２による結果とから、最も近似
した参照画像ブロックを選択して、出力する。勿論、被
動き検出ブロックの動きが画素単位だけであった場合に
は、上記整数画素動き検出部８１による検出結果に従っ
て、最も近似した参照画像ブロックが決定される。

【００２３】本発明は、特に整数画素動き検出部８１に
係わり、その構成動作を図１に戻り、詳細に説明する。
なお、説明を簡明にするため、被動き検出ブロックを図
４で説明した様に、それぞれ４×４画素で構成された分
割被動き検出ブロックに分割した場合を参照して説明す
る。

【００２４】汎用ＤＲＡＭ等のメモリ２から入力される
被動き検出ブロック信号Ｓ１は、ブロック分割８１１で
アドレス制御によって４つの分割被動き検出ブロック８
１２〜８１５の２面バッファメモリに分配、転送され
る。これにより、分割被動き検出ブロック８１２〜８１
５には、それぞれ図４の分割被動き検出ブロック信号１
０１〜１０４が格納される。

【００２５】４つの分割被動き検出ブロック信号１０１
…１０４が、それぞれ分割動き検出ブロック８１２〜８
１５から出力され、近似度演算器８１６〜８１９に加え
られる。近似度演算器８１６〜８１９のそれぞれは、同
一構成であり、２入力の減算器８２２、その差分の絶対
値を求める絶対値化器８２１、絶対値化器の出力を累算
する累算器８２０が直列に接続して構成さる。これらの
近似度演算期は、並列に動作する。

【００２６】各減算器の一方の入力には分割被動き検出
ブロック（図４の１０１〜１０４）の画素信号が加えら
れ、他方の入力にはメモリ７内の参照画像フレーム信号
Ｓ３から動き検出範囲（図５（ｂ）の２０２）内の参照
画像ブロック（例えば、図５（ｂ），（ｃ）の２０３，
２０４…２０６）の近似演算に利用される画素（図５
（ｂ），（ｃ）の黒四角で示す画素）が共通に画素毎に
加えられる。即ち、上記他方の入力のそれぞれには、共
通に、１つの画素が与えられ、上記一方の入力のそれそ
れには、互いに異なる分割被動き検出ブロックからの画
素信号が与えられる。

【００２７】近似度演算器８１６〜８１９は、各参照画
像ブロックの画素数分（４画素）分の演算が終了する
と、結果を近似度として出力し、最適近似ブロック検出
部８２３に入力する。上記構成により、１つの参照画像
ブロックに対する演算によって、同時に４つの近似情報
及び動きベクトル（例えば、図６で示したように、４つ
の異なったベクトル（０，０）、（−１，０）、（０，
−１）及び（−１，−１）を得ることが出来る。１つの
参照ブロック（２０３）についての演算が終了すると、
制御回路８２５からの制御信号により各近似度演算器８
１６〜８１９の累算器８２０がリセットされる。同様に
して、順次加えられる動き検出範囲２０２内の全ての参
照ブロック（図５の場合、参照画像ブロック２０３、２
０４…など９個の参照画像ブロック）に対しても同様の
演算を行う。

【００２８】最適近似ブロック検出部８２３は、動き検
出範囲２０２内の全ての参照ブロックの近似情報の中で
最大の近似度をもつ参照画像ブロック及び最大の近似度
をもつ参照画像ブロックが検出された近似度演算器を検
出し、最大の近似度を持つ参照画像ブロックが検出され
た時の動きベクトルを検出し、整数画素動き検出での動
きベクトルＳ８１及び最大の近似度情報Ｓ８２を出力す
る。最大の近似度の検出は、従来知られている基本的な
最大値検出回路で実現される。動きベクトルは、４つの
分割被動き検出ブロックの相対的アドレスが前もって規
定されているため（すなわち、図６で示される様に、分
割被動き検出ブロック１０１に対し分割被動き検出ブロ
ック１０２、１０３及び１０４はそれぞれ、ｘ方向に−
１、Ｙ方向にに−１及びｘ，ｙ方向に−１シフトしてい
る）、その４つの相対的にシフトしたアドレスと参照画
像ブロックのアドレスとに対する単純な加減算回路を、
最適近似ブロック検出部８２１に設けることにより求め
ることが出来る。

【００２９】以上の説明は、水平４画素、垂直４ライン
のブロックを被動き検出ブロックととし、それを４つに
分割した例について述べた。しかしながら、被動き検出
ブロックの大きさや、分割する数、動き検出の範囲等に
ついては、これに限定されるものではなく、任意の被動
き検出ブロックのサイズ、任意の分割数、任意の動き検
出範囲に対しても、同様の方法で実行できることは明ら
かである。例えば、上記被動き検出ブロックを水平１６
画素、垂直１６画素の２次元のブロックとし、水平及び
垂直にそれぞれ４画素づつ飛ばして、水平４画素、垂直
４画素の分割被動き検出ブロックを１６ブロック作成し
てもよい。また、上記被動き検出ブロックを水平１６画
素、垂直１６画素の２次元のブロックとし、水平及び垂
直にそれぞれ２画素づつ飛ばして、水平８画素、垂直８
画素の分割被動き検出ブロックを４ブロック作成する様
にしてもよい。

【００３０】＜発明の実施の形態２＞図７ないし図１２
は、本発明による画像の動き検出方法の第２の実施形態
を示す図である。本実施形態は、図７に示すように、Ｍ
ＰＥＧ等で、マクロブロックと呼ばれる水平１６画素、
垂直１６画素の２次元のブロック画像を被動き検出ブロ
ック１００とし、それぞれが水平１６画素で、垂直方向
においてライン位置が互いに異なる様に３画素づつ飛ば
した４つの分割被動き検出ブロック２０１、２０２、２
０３、２０４を得るように、被動き検出ブロック１００
を４つに分割するものである。なお、本実施形態を実施
する動き検出装置の構成は、画素数を除いては図１の構
成と実質的に同じであるので、その説明は省く。

【００３１】図８は、参照画像の動き検出範囲及び近似
度の演算に利用される画素を示す。同図において、黒四
角は近似情報計算に利用される画素を、白四角は近似情
報計算に利用されない画素を示す。ｘ，ｙ軸は画素位置
の基準をを示す。本実施形態では動き検出の範囲を水平
方向に−３〜＋５、垂直方向に−３〜＋５画素として表
している。

【００３２】第１の実施形態と同様に、分割被動き検出
ブロック２０１〜２０４毎に、被動き検出ブロックにお
ける動きベクトルを対応させ、上記分割被動き検出ブロ
ック２０１〜２０４それぞれに対して、参照画像の動き
検出範囲３００から切り出された同一の参照画像ブロッ
クとの比較を同時に行い、上記ブロック間の近似度をそ
れぞれ出力させ、その中で最も近似度の高い分割被動き
検出ブロックの示すベクトルを、最適なベクトルとして
検出する。例えば、図９〜図１２に示すように、分割被
動き検出ブロック２０１〜２０４は、参照画像の動き検
出範囲３００から切り出された参照画像ブロック４０
３，４０４，４０５，４０６の同一画素位置のものと近
似度が並行して同時に演算される。

【００３３】例えば、分割被動き検出ブロック２０１〜
２０４のそれぞれと参照画像ブロック４０３との間で近
似度の計算が並列的に実行される。この近似度の計算の
際に使われる画素の位置について注目すると、参照画像
ブロック４０３における画素の位置は、各分割被動き検
出ブロック２０１〜２０４に対して共通の位置である。
一方、各分割被動き検出ブロック２０１〜２０４につい
ては、互いに異なる位置にある画素が、近似度の計算に
おいて使われることになる。他の参照画像ブロック４０
４，４０５，４０６に対しても同様な近似計算が行われ
る。

【００３４】図９の場合は、分割被動き検出ブロック２
０１と参照画像ブロック４０３の画素の位置が同じであ
るため、動きベクトル（０，０）に対応している。図１
０〜図１２の場合は、参照画像ブロック４０３の画素の
位置が同じであるが、分割被動き検出ブロック２０２〜
２０４の画素位置が垂直方向にそれそれ−１、−２、−
１だけずれ、水平方向は同じであるから、動きベクトル
（０，−１）、（０，−３）、（０，−３）に対応して
いる。従って、同時に４つの動きベクトルが求められ
る。

【００３５】一般的に参照画像フレームは、外付けのＤ
ＲＡＭに記録される場合が多い。ＤＲＡＭ内の参照画像
フレームの記録は、同一ライン（水平画素群）を同一ワ
ード線上に記録する。このため、水平画素を連続的に読
みだす場合には比較的効率良く読み出しが行える。この
ため、本実施例のように、被動き検出ブロックを垂直方
向にサンプルしたブロックを利用することが参照画像フ
レームからの参照画像ブロックを読み出す上で最も効率
が良くなる。

【００３６】＜発明の実施の形態３＞図１３は、本発明
の第３の実施形態を示す。この実施形態においては、分
割被動き検出ブロック４０１〜４０４を、垂直に４画素
とし、水平方向に４つに分割した場合を示す。この時の
動き検出範囲は、水平方向に３ライン飛ばしした画素位
置だけの動き検出範囲４０５で、参照画像ブロックを切
り出すことが可能である。処理方法は、実施形態１と同
様のため、説明を省略する。なお、被動き検出ブロック
が１６×１６のマクロブロックである場合、垂直に１６
画素とし、水平方向に３つ飛ばしで４つに分割しもよ
い。

【００３７】＜発明の実施の形態４＞図１７は本発明の
第４の実施形態の構成を示すブロック図である。

【００３８】同図は、プロセッサ１７０によって図１の
機能が達成される。特に制限されないが、回路ブロック
１７０は周知の半導体製造技術によって１つの半導体チ
ップに形成されている。同図において、１７４は中央処
理装置（ＣＰＵ）であり、縮小命令セット（ＲＩＳＣ）
を実行する。また、このＣＰＵ１７４は、シングルイン
ストラクションマルチデータ、いわゆるＳＩＭＤ命令を
サポートしている。ＣＰＵ１７４に対して所望の処理を
実行させるためのプログラムは、リードオンリメモリ
（ＲＯＭ）１７２に格納されている。周知のように、こ
のプログラムの中で、複数の縮小命令が使われており、
またその中にＳＩＭＤ命令が含まれている。

【００３９】図１７において、１７１は、ダイナミック
型メモリ（ＲＡＭ）であり、１７３は、スタチック型メ
モリ（ＳＲＡＭ）である。また、１７５はＤＲＡＭ１７
１やＳＲＡＭ１７３などを結ぶバス（Ｂｕｓ）であり、
１７６はＣＰＵ１７４からＤＲＡＭ１７１やＳＲＡＭ１
７３へアドレスを供給するためのアドレスバスである。

【００４０】上記ＤＲＡＭ１７１は、図１に示したメモ
リ７として働き、上記ＳＲＡＭ１７３が、図１に示した
バッファメモリ８１２、８１３、８１４、８１５として
働く。ＣＰＵ１７４は、プログラムに従って、ＤＲＡＭ
１７１とＳＲＡＭ１７３をアクセスして、ＤＲＡＭ１７
１内に記憶されている被動き検出ブロックの画素情報を
読み出して、読み出した画素情報をＳＲＡＭ内に割り当
てられているバッファメモリ８１２〜８１５へ書き込
む。このアクセスの際に、被動き検出ブロックにおいて
互いに異なるアドレスに保持されている画素情報をＳＲ
ＡＭ内の互いに異なる領域（バッファメモリ８１２〜８
１５として割り当てられているエリア）へ格納する様に
動作が行われる。この動作によりブロック分割が行われ
る。

【００４１】ＳＲＡＭ内のバッファメモリ８１２〜８１
５に保持された情報（分割被動き検出ブロックの情報）
に対して、ＣＰＵ１７４により近似度の演算及び最適近
似ブロック検出の処理が行われる。この近似度演算にお
いて、ＳＩＭＤ命令が使われている。即ち、ＳＩＭＤ命
令によって、図１の例のように４つの演算が並列にＣＰ
Ｕにより実行される。最適近似ブロックに対応したベク
トルの演算（上述したベクトルの加減算）もＣＰＵ１７
４によって実行される。また、近似度の演算の際に使わ
れる参照画像ブロックも、ＣＰＵによるアクセス動作に
よって、ＤＲＡＭからＳＲＡＭへ転送される。これによ
り、ＣＰＵとＳＲＡＭとの間で近似度等の演算にかんす
る動作が行われるようになり、高速化が図られる。ま
た、演算に際してＳＩＭＤ命令が使われるため、この点
でも高速化が図られる。

【００４２】本発明によれば、複数の分割被動き検出ブ
ロックに対して１つの参照画像ブロックを読み出せば、
複数の近似度演算を実行することが出来る。そのため、
高速化を図ることができる。また、データ転送に対して
バス１７６を効率良く使うことが可能となる。

【００４３】更に、１つのワード線を選択することによ
って、１ラインの画像情報を読み出される様に、ＤＲＡ
Ｍ及び、あるいはＳＲＡＭに画素情報を記憶するように
しておけば、少ないアクセスで分割被動き検出ブロック
をＤＲＡＭからＳＲＡＭへ転送したり、ＣＰＵ内に取り
込んだりすることが可能になる。また同様に、参照画像
ブロックについても少ないアクセス数でＤＲＡＭからＳ
ＲＡＭへ転送したり、ＣＰＵ内に取り込んだりすること
が可能になる。この場合、図７ないし図１２で説明した
ように画素情報が記憶され、１回あるいは数回のアクセ
スで画素情報が読み出されるようにしておく。

【００４４】図１７の実施形態では、大容量化が可能な
ＤＲＡＭ１７１に参照画像フレーム及び被動き検出ブロ
ックが記憶されている。近似度の演算ため、参照画像ブ
ロックは、ＳＲＡＭに一度転送しているように説明した
が、勿論ＤＲＡＭからＣＰＵへこの参照画像ブロックを
供給するようにしてもよい。また、この実施例では、Ｃ
ＰＵ１７４がバス１７５と接続されていないが、勿論接
続されていてもよい。さらに、上記ＤＲＡＭは、上記半
導体チップの外部に設けるようにしてもよい。

【００４５】

【発明の効果】本発明によれば、被動き検出ブロックを
複数の分割被動き検出ブロックに分割し、各分割被動き
検出ブロック毎に、同一の参照画像ブロックと比較を行
い、分割した分割被動き検出ブロック毎に、被動き検出
ブロックのベクトルの近似度号（近似情報）を求めるこ
とが可能である。即ち、同一の参照画像ブロックに対し
て、分割した分割被動き検出ブロック数分のベクトルの
近似情報が求められる。

【００４６】これにより、動き検出範囲内の読み出し時
間が短縮できる。すなわち、参照画像フレーム内の動き
検出範囲のデータの読み出しを減少させ、メモリと動き
検出部との間の転送効率を向上させることができる。さ
らに、動き検出の処理も、分割数分だけ並列化が可能と
なり、動き検出演算が高速化される。

【図面の簡単な説明】

【図１】本発明による画像の動き検出方法を実施する動
き検出装置の一実施形態の構成を示すブロック図。

【図２】本発明の動き検出装置を使用する画像符号化装
置の構成を示すブロック図。

【図３】図２の動き補償部のブロック図。

【図４】本発明の動き検出方法の被動き検出ブロックを
説明する図。

【図５】本発明の動き検出方法の動き検出範囲を説明す
る図。

【図６】本発明の動き検出方法の比較方法を説明する
図。

【図７】本発明による画像の動き検出方法の第２の実施
形態における被動き検出ブロックを説明する図。

【図８】本発明による画像の動き検出方法の第２の実施
形態における参照画像フレームの被動き検出範囲を説明
する図。

【図９】本発明による画像の動き検出方法の第２の実施
形態における動き検出方法を説明する図。

【図１０】本発明による画像の動き検出方法の第２の実
施形態における動き検出方法を説明する図。

【図１１】本発明による画像の動き検出方法の第２の実
施形態における動き検出方法を説明する図。

【図１２】本発明による画像の動き検出方法の第２の実
施形態における動き検出方法を説明する図。

【図１３】本発明による画像の動き検出方法の第３の実
施形態における被動き検出ブロックを説明する図。

【図１４】動き検出処理における被動き検出ブロックの
例を示す図。

【図１５】動き検出処理における動き検出範囲を示す
図。

【図１６】動き検出処理における比較方法を示す図。

【図１７】本発明による画像の動き検出方法の第４の実
施形態を示すブロック図。

【符号の説明】

８…動き補償部、８１…整数画素動き検出部、８１１…
ブロック分割部、８１２〜８１５…バッファメモリ、８
１６〜８１９…近似度演算部、８２０…累算器、８２１
…絶対値化回路、８２２…減産器、８２３…最適近似ブ
ロック検出部、Ｓ１…被動き検出ブロック入力信号線、
Ｓ８１…整数画素動きベクトル出力信号線、Ｓ８２…整
数画素動き検出近似情報出力信号、１７１…ＤＲＡＭ、
１７２…ＲＯＭ、１７３…ＳＲＡＭ、１７４…ＣＰＵ。

Claims

【特許請求の範囲】

【請求項１】被動き検出対象画像のフレームを複数の被
動き検出ブロックに分割し、上記被動き検出ブロックの
画像に対して参照されるべき画像のフレームからの上記
被動き検出ブロックの動きである動きベクトルをブロッ
ク単位に検出する動き検出方法であって、被動き検出ブロックを、互いに画素位置の異なる複数の
分割被動き検出ブロックに分割し、上記分割被動き検出
ブロックの夫々には、当該被動き検出ブロックにおける
ベクトルを対応させる第１工程と、上記複数の分割被動き検出ブロックのそれぞれに対し
て、上記参照されるべき画像のフレームにおける参照画
像の動き検出範囲から切り出された同一の参照画像ブロ
ックの画素データとの比較を行い、上記参照画像ブロッ
クと上記複数の分割被動き検出ブロックのそれぞれとの
近似度を求め、求めた近似度に従って上記複数の分割被
動き検出ブロックから分割被動き検出ブロックを選択
し、選択した分割被動き検出ブロックに対応するベクト
ルを当該被動き検出ブロックの動きベクトルの候補とし
て検出する第２工程とを含むことを特徴とする動き検出
方法。
【請求項２】上記被動き検出ブロックは、水平１６画
素、垂直１６画素の２次元のブロックとし、上記工程は
水平及び垂直にそれぞれ４画素づつ飛ばした水平４画
素、垂直４画素の分割被動き検出ブロックを１６ブロッ
ク作成することを特徴とする請求項１記載の動き検出方
法。
【請求項３】上記被動き検出ブロックを水平１６画素、
垂直１６画素の２次元のブロックとし、上記第１工程は
水平及び垂直にそれぞれ２画素づつ飛ばした水平８画
素、垂直８画素の分割被動き検出ブロックを４ブロック
作成することを特徴とする請求項１記載の動き検出方
法。
【請求項４】上記被動き検出ブロックは水平１６画素、
垂直１６画素の２次元のブロックとし、上記第１工程は
垂直にそれぞれ４画素づつ飛ばした水平１６画素、垂直
４ラインの分割被動き検出ブロックを４つ作成すること
を特徴とする請求項１記載の動き検出方法。
【請求項５】上記被動き検出ブロックは水平１６画素、
垂直１６画素の２次元のブロックとし、上記第１工程は
水平にそれぞれ４画素づつ飛ばした水平４画素、垂直１
６ラインの分割被動き検出ブロックを４つ作成すること
を特徴とする請求項１記載の動き検出方法。
【請求項６】被動き検出対象画像のフレームを複数の被
動き検出ブロックに分割し、ブロック単位で、上記被動
き検出ブロックに対して参照されるべき画像のフレーム
からの上記被動き検出ブロックの動きである動きベクト
ルを検出する装置であって、被動き検出ブロックを、互いに画素位置の異なる複数の
分割被動き検出ブロックに分割するブロック分割部と、
上記分割被動き検出ブロックのそれぞれには、当該被動
き検出ブロックにおけるベクトルを対応させ、上記複数
の分割被動き検出ブロックのそれぞれに対して、上記参
照されるべき画像のフレームにおける参照画像の動き検
出範囲から切り出された同一の参照画像ブロックの画素
データとの比較を行うことによって、上記参照画像ブロ
ックと上記複数の分割動き検出ブロックのそれぞれとの
近似度を求める複数の並列演算部と、上記並列演算部に
よって求めた近似度に従って、上記複数の分割被動き検
出ブロックから分割被動き検出ブロックを選択し、当該
選択された分割動き検出ブロックに対応するベクトルを
上記被動き検出ブロックの動きベクトルの候補として検
出する近似ブロック検出部とをもつことを特徴とする動
き検出装置。
【請求項７】上記被動き検出ブロックが水平１６画素、
垂直１６画素の２次元のブロックであることを特徴とす
る請求項６記載の動き検出装置。
【請求項８】上記分割被動き検出ブロックのそれぞれは
垂直にそれぞれ４画素づつ飛ばした水平１６画素、垂直
４ラインのブロックであることを特徴とする請求項６記
載の動き検出装置。
【請求項９】被動き検出対象画像ブロックのフレームを
複数の被動き検出ブロックに分割し、ブロック単位で、
上記被動き検出ブロックに対して参照される画像のフレ
ームから上記被動き検出ブロックの動きである動きベク
トルを検出する装置であって、被動き検出ブロックを、互いに画素位置の異なる複数の
分割被動き検出ブロックに分割し、それぞれには、当該
被動き検出ブロックにおけるベクトルが対応ずけられる
ブロック分割部と、上記複数の分割被動き検出ブロックのそれぞれに対し
て、上記参照されるべき画像のフレームにおける参照画
像の動き検出範囲から切り出された同一の参照画像ブロ
ックの画素データとの比較を行うことによって、上記参
照画像ブロックと上記複数の分割被動き検出ブロックの
それぞれとの近似度を求める複数の並列演算部と、上記並列演算部によって求められた近似度に従って、上
記複数の分割被動き検出ブロックから分割被動き検出ブ
ロックを選択し、当該選択された分割被動き検出ブロッ
クに対応するベクトルを上記被動き検出ブロックの動き
ベクトルの候補として検出する近似ブロック検出部とを
含む動き検出装置と、上記動き検出装置で検出された動きベクトルに対応する
参照画像ブロックと上記被動き検出ブロックの差分を画
素ごとに求める演算器と、上記差分の信号を変換する変換部と、上記変換部の出力及び上記動きベクトルを符号化する符
号化部と、上記変換部の出力から上記参照する画像を得る復号部
と、上記復号部の出力及びベクトル分割部からの被動き検出
ブロックを入力し上記動きベクトル及び上記演算器に加
える上記被動き検出ブロックを得る上記動き検出装置を
含む動き補償部とを有する動き検出装置。
【請求項１０】被動き検出ブロックを互いに画素位置の
異なる複数の分割被動き検出ブロックに分割する工程と
上記複数の被動き検出ブロックのそれぞれと、上記被動
き検出ブロックに対する参照されるべきところの参照画
像の動き検出範囲から切り出された一つの参照画像ブロ
ックとを比較する工程と比較結果に従って、上記複数の
分割被動き検出ブロックから分割被動き検出ブロックを
選択する工程を含む動き検出方法。
【請求項１１】被動き検出ブロックと上記被動き検出ブ
ロックに対して参照されるべき参照画像とを記憶した第
１のメモリと、バスを介しデータ転送動作により、それぞれが上記被動
き検出ブロックにおいて互いに異なる画素位置にある画
素の集合である複数の被動き検出ブロックが格納され
る、上記第１のメモリに接続された第２のメモリと上記
第２のメモリに格納されている複数の分割被動き検出ブ
ロックのそれぞれと、上記参照画像から取り出された一
つの参照画像ブロックとを比較し、比較結果に従って上
記複数の分割被動き検出ブロックから被動き検出ブロッ
クを選択する処理ユニットを有する動き検出装置。
【請求項１２】上記処理ユニットは中央処理装置であ
り、上記データ転送動作は上記中央処理装置によって制
御される請求項１１記載の動き検出装置。
【請求項１３】上記第１のメモリはダイナミック型メモ
リであり、上記第２のメモリはスタチック型メモリであ
る請求項１２記載の動き検出装置。
【請求項１４】上記参照画像ブロックは上記第１のメモ
リから上記第２のメモリへデータ転送され、上記比較は
上記第２のメモリと上記中央処理装置との間で行われる
請求項１１記載の動き検出装置。
【請求項１５】上記第１のメモリはダイナミック型メモ
リであり、上記第２のメモリはスタチック型メモリであ
る請求項１４記載の動き検出装置。
【請求項１６】上記ダイナミック型メモリ、上記スタチ
ック型メモリ及び上記中央処理装置は一つの半導体チッ
プに形成される請求項１５記載の動き検出装置。
【請求項１７】上記被動き検出ブロックのそれぞれは上
記ダイナミック型メモリにおけるワード線に対応する１
ライン分の画素情報を含む請求項１５記載の動き検出装
置。