JP2000236552A - 動きベクトル検出装置 - Google Patents

動きベクトル検出装置

Info

Publication number
JP2000236552A
JP2000236552A JP3619799A JP3619799A JP2000236552A JP 2000236552 A JP2000236552 A JP 2000236552A JP 3619799 A JP3619799 A JP 3619799A JP 3619799 A JP3619799 A JP 3619799A JP 2000236552 A JP2000236552 A JP 2000236552A
Authority
JP
Japan
Prior art keywords
motion vector
scanning
search range
residual
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3619799A
Other languages
English (en)
Other versions
JP3538055B2 (ja
Inventor
Tatsuji Moriyoshi
達治 森吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP03619799A priority Critical patent/JP3538055B2/ja
Priority to US09/502,669 priority patent/US6549576B1/en
Publication of JP2000236552A publication Critical patent/JP2000236552A/ja
Application granted granted Critical
Publication of JP3538055B2 publication Critical patent/JP3538055B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 探索の早い段階でより小さい残差を持つブロ
ックを処理し、残差計算を途中で打ち切ることのできる
ブロック数を増加させ、検出精度を低下させることなく
少ない演算量で動きベクトル検出を行なう。 【解決手段】 動きベクトル記憶部17は、現在までに
検出された動きベクトルを記憶する。探索順序設定手段
13は、動きベクトル記憶部17に記憶された動きベク
トルの情報を用いて、探索範囲設定手段12で設定され
た探索範囲の走査順を設定する。走査手段14は、探索
範囲設定手段12で設定された参照画像の探索範囲内を
探索順序設定手段13で設定された順に走査する。残差
計算・最小判定手段15は、現画像入力手段10から入
力された入力画像中のブロックと、走査手段14によっ
て走査される参照画像中のブロックとを用いて残差計算
を行ない、最小残差と比較し、残差が最小残差より小さ
い場合には最小残差を更新する。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は、動きベクトル検出
装置に関し、特に、探索の早い段階でより小さい残差を
持つブロックを処理し、残差計算を途中で打ち切ること
のできるブロック数を増加させ、検出精度を低下させる
ことなく少ない演算量で動きベクトル検出を行なう動き
ベクトル検出装置に関する。
【0002】
【従来の技術】従来、動画の高能率圧縮符号化方式とし
て、 ITU−T(International Te
lecommunication Union−Tel
ecommunication Standardiz
ation Sector)が勧告する H.261、
H.263や、 ISO(International
Organization for Standard
ization)のMPEG(Moving Pict
ure Expert Group)が勧告する MP
EG−1、MPEG−2等が知られている。これらは、
DCT(Discreat Cosine Trans
formation)変換、動き補償によるフレーム間
予測、量子化、可変長符号化等の技術を組み合わせた動
画像の高能率圧縮符号化技術である。
【0003】図13は、動き補償によるフレーム間予測
を利用して画像を符号化する予測符号化装置の一例であ
る。図13において、入力装置100に画像データが供
給される。また、フレームメモリ102には、現在の入
力画像(以下、現画像と呼ぶ)と時間的に連続するフレ
ームの画像データ(以下、参照画像と呼ぶ)が格納され
ている。
【0004】動きベクトル検出装置101は、入力装置
100から供給される現画像およびフレームメモリ10
2から供給される参照画像を用い、両画像の小領域毎の
対応を表す動きベクトルを求める。求められた動きベク
トルは、動き補償装置103に供給される。動き補償装
置103は、動きベクトル検出装置101から供給され
る動きベクトルおよびフレームメモリ102から供給さ
れる参照画像を用いて動き補償処理を行ない、動き補償
された画像データ(以下、予測画像と呼ぶ)を求める。
【0005】減算装置104は、入力装置100から供
給される現画像および動き補償装置103から供給され
る予測画像を用い、現画像から予測画像を減算した画像
データ(以下、予測差分画像と呼ぶ)を求める。
【0006】DCT装置105は、減算装置104から
供給される予測差分画像にDCT変換を施し、DCT係
数を求める。
【0007】量子化装置106は、DCT装置105か
ら供給されるDCT係数に量子化処理を行なう。量子化
装置106の出力は出力装置107から出力される。ま
た、量子化装置106の出力は、逆量子化装置108に
も供給される。
【0008】逆量子化装置108は、量子化装置106
から供給される量子化されたDCT係数に逆量子化処理
を行ない、DCT係数を求める。逆DCT装置109
は、逆量子化装置108から供給されるDCT係数に逆
DCT処理を行ない、参照画像との差分データを求め
る。
【0009】加算装置110は、逆DCT装置109か
ら供給される差分データと、動き補償装置103から供
給される予測画像とを用い、予測画像に差分データを加
算して現画像を復元する。
【0010】フレームメモリ102は、加算装置110
から供給される復元された現画像を格納する。
【0011】切り替え装置111は、フレーム間予測を
行なうか行なわないかを切り替える。切り替え装置11
1がON側にある時にはフレーム間予測を行ない、切り
替え装置111がOFF側にある時にはフレーム間予測
を行なわない。
【0012】このように、フレーム間予測を利用した圧
縮符号化では、動きベクトル検出装置で検出された動き
ベクトルに基づき、動き補償処理を行なって求めた予測
画像と現画像との差分データが符号化される。このた
め、動きベクトル検出装置で検出された動きベクトルの
検出精度が高いほど、差分データの情報量が小さくな
り、符号化効率が向上する。
【0013】図14は、このようなフレーム間予測を利
用した圧縮符号化で用いられる動きベクトル検出を説明
するためのものである。図14において、120は現画
像、121は参照画像を示している。動きベクトル検出
においては、画像を小領域(以下、ブロックと呼ぶ)に
分割し、ブロック毎に動きベクトルを求める。そのため
に、現画像120内のブロック122に対し、参照画像
121に設定された探索範囲123内で、現画像のブロ
ック122と最もよく合致するブロック124を検出す
る。
【0014】このときの、現画像のブロック122と、
参照画像の探索範囲123内でブロック122と最もよ
く合致するブロック124との画像内での位置のずれが
動きベクトル125である。ブロック間の合致の評価値
としては、ブロック内の各画素の差分の二乗の総和やブ
ロック内の各画素の差分の絶対値の総和がよく用いられ
る。以下では、合致の評価値としてブロック内の各画素
の差分の絶対値の総和を用いる場合について説明し、こ
のブロック内の各画素の差分の絶対値の総和を残差と呼
ぶものとする。
【0015】動きベクトル検出の方法としては、ブロッ
クマッチング法が知られている。ブロックマッチング法
では、設定された探索範囲内でブロックの位置を移動さ
せ、探索範囲内の各位置におけるブロックと現画像のブ
ロックとの間の残差を求め、残差が最小となるようなブ
ロック位置を求める。
【0016】ブロックマッチング法では、演算量が多い
点が問題となる。例えば、ブロックの大きさを16画素
×16画素、探索範囲の大きさを上下左右それぞれ15
画素とし、探索範囲内の各整数画素位置で残差を求める
とすると、1ブロックの動きベクトルを求めるために、
256(=16×16)画素分の差分の絶対値の計算
を、961(=31×31)回行なう必要がある。さら
に、現画像中の各ブロックに関してこの処理を実行する
ため、全体の演算量が多くなる。
【0017】このため、ブロックマッチング法の演算量
を減らす方法が必要となる。演算量を減らす方法とし
て、SSDA(Sequential Similar
ityDetection Algorithm)法が
知られている。この方法は、例えばDANIEL I.
BARNEA、HARVEY F.SILVERMA
N、 ”A Class of Algorithms
for Fast Digital Image R
egistration”、 IEEE Transa
ctions on Computers、Vol C
−21、No.2、pp179−186 (Febru
ary 1972)に開示されている。この方法は、類
似が少ないブロックでは、残差は急激に増大するという
性質に注目し、残差を求める計算中に、途中まで求めた
残差とある閾値とを比較し、残差が閾値を越えるとその
ブロックに関する残差計算を打ち切ることにより、演算
量を削減するというものである。
【0018】この方法を用いる場合、残差計算打ち切り
を判定するための閾値の設定が問題となる。閾値が大き
すぎると残差計算を打ち切ることのできる場合が少なく
なるために演算量が多くなり、逆に閾値が小さすぎると
大域的な最小値を探索できず、不適切な動きベクトルを
出力する可能性が大きくなる。
【0019】閾値の設定方法に関しては、例えば 尾上
守夫、前田 紀彦、斎藤 優、”残差逐次検定法によ
る画像の重ね合わせ”、情報処理、Vol 17、N
o.7、pp634−640 (July 1976)
に開示されている閾値自動決定法がある。この方法は、
閾値として過去の残差の最小値を用いるものである。こ
れは、最初は閾値を設定せずに残差計算を行なってその
残差を最初の閾値とし、以降残差計算が途中で打ち切ら
れずにブロックの最後まで実行される毎にその残差を新
しい閾値とすることにより、常に大局的な最小値を探索
することができる方法である。この方法を用いる場合に
は、探索範囲内でブロックの位置を移動させて残差計算
を行なう際の移動の順序が重要である。つまり、探索の
早い段階でより小さい残差を持つブロックを処理し、そ
の残差を閾値とすることができれば、SSDA法によっ
て残差計算を打ち切ることのできる場合が多くなり、演
算量を削減することができる。このため、例えば Te
lenor Research、 ”TMN(H.26
3) Encoder/Decoder, Versi
on 2.0”、 June 1997 においては、
大きさの小さい動きベクトルが発生する確率が高いとい
う性質に着目し、探索範囲内の動きベクトルが(0,
0)の位置から探索を始め、順次外側に向かって探索す
る渦巻き探索が用いられている。
【0020】図15は、渦巻き探索を用いた動きベクト
ル検出装置の構成例を説明するためのブロック図であ
る。以下、この動きベクトル検出装置を従来例とする。
【0021】図15において、現画像入力手段130に
現画像が供給される。また、参照画像入力手段131に
参照画像が入力される。探索範囲設定手段132は、参
照画像入力手段131から入力された参照画像に対し、
動きベクトル検出のための探索範囲を設定する。探索範
囲は例えば、H.263、MPEG−2等の規格に定め
られた範囲に設定される。また、動きベクトル検出に要
する演算量を削減するために前記規格に定められた範囲
より狭く設定される場合もある。渦巻き走査手段133
は、探索範囲設定手段132で設定された参照画像の探
索範囲内を渦巻き順に走査する。
【0022】図16は、渦巻き走査手段133による探
索範囲の走査順の例を説明するためのものである。図1
6は、探索範囲は上下左右それぞれ3画素、探索は整数
画素位置で行なう場合の例である。図16において、丸
は整数画素位置を表し、二重丸は探索範囲140内の動
きベクトルが(0,0)の画素位置を表し、丸の中に書
かれた数字は、その画素位置を走査する順番を表す。
【0023】残差計算・最小判定手段134は、現画像
入力手段130から入力された入力画像中のブロック
と、渦巻き走査手段133によって走査される参照画像
中のブロックとを用いて残差計算を行ない、最小残差と
比較し、残差が最小残差より小さい場合には最小残差を
更新する。この残差計算・最小判定においては、例えば
前記のSSDA法および閾値自動決定法が用いられる。
【0024】図17は、SSDA法および閾値自動決定
法を用いた残差計算・最小判定手段134の動作を説明
するためのフローチャートである。ここで、最小残差の
初期値としては例えば動きベクトルが(0,0)の場合
の残差、動きベクトルの初期値としては例えばベクトル
(0,0)が設定される。残差計算・最小判定では、ま
ず残差を初期化する(ステップS100)。次に、ブロ
ックの一部に関する残差計算を行ない、その結果を残差
に加算する(ステップS101)。ここでブロックの一
部とは、例えば1画素、1行分の画素、ブロックの半分
の画素等で、SSDA法によって削減できる演算量と、
SSDA法を用いるために新たに発生する演算量とのバ
ランスを考慮して決定すべきものである。次に、残差計
算の中間結果と、最小残差との比較を行なう(S10
2)。ここで残差計算の中間結果が最小残差よりも大き
い場合には、残差計算をブロックの最後まで実行しても
残差が最小残差以下になる可能性はないため、残差計算
を打ち切って終了する。続いて、ブロック全体の残差計
算が終了したかどうかの判定を行ない(ステップS10
3)、終了していなければ、ステップS101、S10
2を繰り返す。ブロック全体の残差計算が終了すれば、
残差と最小残差との比較を行ない(ステップS10
4)、残差が最小残差よりも小さければ最小残差を現在
のブロックの残差で更新し、動きベクトルを現在のブロ
ックの動きベクトルで更新する(ステップ105)。
【0025】探索範囲設定手段132によって設定され
た探索範囲内の全ブロックについて残差計算・最小判定
を行なうと、残差が最小になるブロックの動きベクトル
が求まるため、この動きベクトルを動きベクトル出力手
段135から出力する。
【0026】図18は、参照画像の探索範囲内を走査す
る際に、画面の走査線順に動きベクトルを探索する場合
の探索順を説明するためのものである。記号の意味等は
図16と同様である。
【0027】これに対して、図16では、渦巻き探索を
用いることにより探索範囲140内で動きベクトル
(0,0)の位置に近い位置から先に探索が行なわれて
いる。一般に大きさの小さい動きベクトルほど発生確率
が高いため、渦巻き探索を行なうことによって、探索の
早い段階で小さい残差を持つブロックを処理し、SSD
A法によって残差計算を打ち切ることのできる場合が多
くなり、より多くの演算量を削減することができる。
【0028】
【発明が解決しようとする課題】しかし、前記のような
渦巻き探索を用いる場合、画像の性質によっては探索の
早い段階でより小さい残差を持つブロックを処理するこ
とができず、演算量を削減できないという問題点があっ
た。例えばカメラのパン操作等によって画面内の多くの
部分で左右あるいは上下方向の数画素分以上の大きさの
動きベクトルが現れる場合、小さい残差を持つブロック
の多くが探索範囲の外側寄りに位置するため、常に動き
ベクトル(0,0)の位置から順次外側に向かって探索
を行なう渦巻き探索では探索の早い段階でより小さい残
差を持つブロックを処理することができず、効果的に演
算量を削減することができない。
【0029】そこで、本発明は、探索の早い段階でより
小さい残差を持つブロックを処理し、残差計算を途中で
打ち切ることのできるブロック数を増加させ、検出精度
を低下させることなく少ない演算量で動きベクトル検出
を行なうことを課題としている。
【0030】
【課題を解決するための手段】上記課題を解決するため
の本発明の動きベクトル検出装置は、符号化対象である
現画像を入力するための現画像入力手段と、参照画像を
入力するための参照画像入力手段と、前記参照画像内に
動きベクトル検出のための探索範囲を設定するための探
索範囲設定手段と、現在までに検出された動きベクトル
を記憶する動きベクトル記憶手段と、前記動きベクトル
記憶手段に記憶された動きベクトルを基に前記探索範囲
内を走査する順序を設定する探索順序設定手段と、前記
順序に従って前記探索範囲内を走査する走査手段と、前
記現画像入力手段から入力された現画像のブロックと参
照画像中の前記走査手段で走査される位置のブロックと
の残差計算・最小判定を行なう残差計算・最小判定手段
と、前記残差計算・最小判定手段で得られる動きベクト
ルを出力する動きベクトル出力手段とを備え、前記探索
順序設定手段は前記動きベクトル記憶手段に記憶された
動きベクトルの情報に基づいて探索順序を設定する。
【0031】又、本発明の動きベクトル検出方法は、上
述した動きベクトル検出装置を用いて、動きベクトル検
出結果のベクトルを現画像のブロックの動きベクトルの
予測ベクトルとし、前記予測ベクトルの終点位置を走査
開始位置とし、探索範囲内に存在する前記ブロックを、
残差の小さい順に、前記走査開始位置から渦巻き状に走
査して新たに残差を計算し、計算された前記残差が最小
残差以下である場合には、前記最小残差を更新して動き
ベクトルを検出する。
【0032】又、本発明の動きベクトル検出方法は、上
述した動きベクトル検出装置を用いて、動きベクトル検
出結果のベクトルを現画像のブロックの動きベクトルの
予測ベクトルとし、前記動きベクトルと同一方向の単位
ベクトルを(vx,vy)とするとともに、前記動きベ
クトルの絶対値をmvlとし、前記予測ベクトルの終点
から前記探索範囲内の探索位置Pに向かうベクトル(d
x、dy)を前記単位ベクトルに平行なベクトルAと垂
直なBに分解し、前記A及びBの絶対値をa及びbと
し、前記mvl、a及びbに基いて評価値sを(a/
(1+(mvl/4))+b)とし、前記予測ベクトル
の終点位置を走査開始位置とし、探索範囲内に存在する
前記ブロックを、前記表価値sの小さい順に走査して新
たに残差を計算し、計算された前記残差が最小残差以下
である場合には、前記最小残差を更新して動きベクトル
を検出する。
【0033】又、本発明の動きベクトル検出方法は、上
述した動きベクトル検出装置を用いて、探索範囲を2以
上の領域に分割し、前記領域ごとに走査順を設定し、動
きベクトル検出結果のベクトルを現画像のブロックの動
きベクトルの予測ベクトルとし、前記予測ベクトルの終
点位置を走査開始位置とし、前記走査開始位置が属する
前記領域を、前記領域ごとに設定した走査順に走査して
新たに残差を計算し、計算された前記残差が最小残差以
下である場合には、前記最小残差を更新して動きベクト
ルを検出する。
【0034】又、本発明の記憶媒体は、上述した動きベ
クトル検出方法を実行するプログラムを記憶している。
【0035】すなわち、本発明においては、現在までに
検出された動きベクトルの情報を利用して参照画像に設
定された探索範囲内の走査順を設定することによって、
画像の性質に適応した順番で走査を行ない、探索の早い
段階でより小さい残差を持つ残差計算を途中で打ち切る
ことのできるブロック数を増加させ、検出精度を低下さ
せることなく少ない演算量で動きベクトル検出を行な
う。
【0036】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。
【0037】まず、第1の実施形態について説明する。
【0038】図1は、第1の実施形態の、渦巻き探索を
用いた動きベクトル検出装置の構成例を説明するための
ブロック図である。この動きベクトル検出装置は、現画
像入力手段10と、参照画像入力手段11と、探索範囲
設定手段12と、探索順序設定手段13と、走査手段1
4と、残差計算・最小判定手段15と、動きベクトル出
力手段16と、動きベクトル記憶部17とから構成され
る。
【0039】図1において、現画像入力手段10に現画
像が供給される。また、参照画像入力手段11に参照画
像が入力される。探索範囲設定手段12は、参照画像入
力手段11から入力された参照画像に対し、動きベクト
ル検出のための探索範囲を設定する。探索範囲は例え
ば、H.263、MPEG−2等の規格に定められた範
囲に設定される。また、動きベクトル検出に要する演算
量を削減するために前記規格に定められた範囲より狭く
設定される場合もある。動きベクトル記憶部17は、現
在までに検出された動きベクトルを記憶する。探索順序
設定手段13は、動きベクトル記憶部17に記憶された
動きベクトルの情報を用いて、探索範囲設定手段12で
設定された探索範囲の走査順を設定する。走査手段14
は、探索範囲設定手段12で設定された参照画像の探索
範囲内を探索順序設定手段13で設定された順に走査す
る。残差計算・最小判定手段15は、現画像入力手段1
0から入力された入力画像中のブロックと、走査手段1
4によって走査される参照画像中のブロックとを用いて
残差計算を行ない、最小残差と比較し、残差が最小残差
より小さい場合には最小残差を更新する。この残差計算
・最小判定においては、例えば前記のSSDA法および
閾値自動決定法が用いられる。残差計算・最小判定手段
15の動作は、図17に示した従来の動きベクトル検出
装置の残差計算・最小判定手段134の動作と同様であ
る。探索範囲設定手段12によって設定された探索範囲
内の全ブロックについて残差計算・最小判定を行なう
と、残差が最小になるブロックの動きベクトルが求まる
ため、この動きベクトルを動きベクトル出力手段16か
ら出力するとともに、動きベクトル記憶手段17に記憶
する。
【0040】探索順序設定手段13は、動きベクトル記
憶手段17に記憶された動きベクトルの情報を用いて探
索順序を設定する。具体的には、例えば前フレームの同
じ位置のブロックの動きベクトル検出結果のベクトルを
処理対象のブロックの動きベクトルの予測ベクトルと
し、予測ベクトルの終点位置を走査開始位置とし、走査
開始位置から探索範囲の外側寄りに向かって渦巻き状に
走査する。
【0041】図2は、前記の探索順序設定手段による探
索順序の一例を示す模式図である。図2の記号の意味等
は図16の場合と同様である。図2は、探索範囲は上下
左右それぞれ3画素、探索は整数画素位置で行なう場合
で、前フレームの同じ位置のブロックの動きベクトルか
らもとめた予測ベクトルが上方向に2画素の大きさであ
った場合の例である。図2において、濃い網かけ位置
(図2の例では、1番目〜9番目までに走査される位
置)が特に探索の早い段階で走査され、薄い網かけ位置
(図2の例では、10番目〜20番目までに走査される
位置)が次に早い段階で走査され、それ以外の位置は網
かけ位置の走査の後に走査される。
【0042】動画像においては時間的な相関があるた
め、前フレームの動きベクトルと同様の方向と大きさの
動きベクトルが現れる可能性が大きいため、前フレーム
の動きベクトルを予測ベクトルとし、探索範囲20内で
予測ベクトルの終点位置を走査開始位置として渦巻き状
に走査を行なうことで、走査の早い段階で小さい残差を
持つブロックを処理し、残差計算を途中で打ち切ること
のできるブロック数を増加させることができる。
【0043】また、処理対象のブロックの動きベクトル
の予測ベクトルを求めるのに前記のように動画像の時間
方向の相関を利用するのではなく、空間方向の相関を利
用し、例えば同一フレームの近隣ブロックの動きベクト
ルから処理対象のブロックの予測ベクトルを求め、その
予測ベクトルの終点を走査開始位置として渦巻き状に走
査することもできる。
【0044】図3は、動きベクトル予測の一例を示す模
式図である。図3において、例えばすでに動きベクトル
検出の終了した近隣のブロック32〜34の動きベクト
ルのメディアン値を処理対象のブロック31の予測ベク
トルとする。
【0045】画像においては空間的な相関があるため、
近隣のブロックの動きベクトルと類似の方向と大きさの
動きベクトルが現れる可能性が大きいため、前記のよう
にして求めた予測ベクトルの終点位置を走査開始位置と
して渦巻き状に走査を行なうことで、走査の早い段階で
小さい残差を持つブロックを処理し、残差計算を途中で
打ち切ることのできるブロック数を増加させることがで
きる。
【0046】さらに、動画像の時間方向と空間方向双方
の相関を利用し、予測ベクトルを求めることもできる。
また、直前のフレームや直近のブロックからだけでな
く、より離れたフレームあるいはブロックの動きベクト
ルを利用して探索順を設定することもできる。
【0047】以上のように、従来の動きベクトル検出装
置においては、参照画像中に設定された探索範囲内の走
査順が一定であったために画像の性質によっては走査の
早い段階で小さい残差を持つブロックを処理することが
できず、効果的に演算量を削減できなかったのに対し、
本実施形態によれば、現在までに検出された動きベクト
ルの情報を利用して参照画像に設定された探索範囲内の
走査順を設定することによって、画像の性質に適応した
順番で走査を行ない、走査の早い段階で小さい残差を持
つブロックを処理し、残差計算を途中で打ち切ることの
できるブロック数を増加させて動きベクトル検出に要す
る演算量を削減する。すなわち、検出精度を低下させる
ことなく少ない演算量で動きベクトル検出を行なう。
【0048】次に第2の実施形態について説明する。第
2の実施形態にかかる動きベクトル検出装置の構成は図
1と同様である。ただし、第1の実施形態では予測ベク
トルの終点を走査開始位置として渦巻き状に走査する例
を示したが、第2の実施形態では別の走査順の設定例に
ついて説明する。
【0049】図4および図5は、第2の実施形態におけ
る走査順設定の評価値sの決定法の例を説明するための
模式図である。
【0050】図4において、ベクトル(vx,vy)は
第1の実施形態で述べたのと同様な方法で求めた処理対
象のブロックの動きベクトルの予測ベクトルと同じ方向
の単位ベクトルであり、mvlは予測ベクトルの大きさ
である。すなわち、予測ベクトルはベクトル(mvl×
vx, mvl×vy)で表される。ベクトル(dx,
dy)は走査開始位置、すなわち予測ベクトルの終点か
ら、探索範囲内の任意の探索位置Pに向かうベクトルで
ある。ここで、探索位置Pの走査順を設定するための評
価値sを求めるために、ベクトル(dx,dy)を、ベ
クトル(vx,vy)に平行なベクトルとベクトル(v
x,vy)に垂直なベクトルとに分解し、それぞれのベ
クトルの大きさをa,bとする。このとき、a,bはそ
れぞれ a = | vx × dx + vy × dy | b = | − vy × dx + vx × dy | と表される。
【0051】評価値sは、a,bを用いて、 s = a / (1 + (mvl / 4)) + b によって求める。
【0052】そして、探索範囲内の各探索位置のうち、
評価値sの小さい探索位置から順次走査する。
【0053】評価値sの等しい探索位置については、例
えば縦方向の座標値の大きい探索位置を先に走査し、縦
方向の座標値も等しければ横方向の座標値の大きい探索
位置を先に走査する。前記の評価値sに基づく探索順序
の設定では、図5に示すような、走査開始位置、すなわ
ち予測ベクトルの終点を中心として予測ベクトルの方向
に長軸を持つ相似な菱形の領域の、より小さい菱形領域
内の探索位置から順次走査する。図6は、前記の評価値
sに基づいて設定された探索順序の一例を示す模式図で
ある。図6の記号の意味等は図2の場合と同様である。
図6は、図16の例と同様に、探索範囲は上下左右それ
ぞれ3画素、探索は整数画素位置で行なう場合で、予測
ベクトルが上方向に2画素の大きさであった場合の例で
ある。
【0054】図16と図6を比較すると、図6の例では
動きベクトル(0,0)の位置を通る上下方向の軸に沿
った位置の探索が先に行なわれる。
【0055】図7は、第2の実施形態にかかる動きベク
トル検出装置の探索順序設定手段による探索順序の別の
例を示す模式図である。図7の記号の意味等は図2の場
合と同様である。図7は、探索範囲と探索精度は図6の
例と同じであるが、予測ベクトルが右方向に2画素、下
方向に1画素の大きさであった場合の例である。
【0056】図8は、第2の実施形態にかかる動きベク
トル検出装置の探索順序設定手段による探索順序のさら
に別の例を示す模式図である。図8の記号の意味等は図
2の場合と同様である。図8は、探索範囲と探索精度は
図6の例と同じであるが、予測ベクトルが左方向に3画
素、下方向に3画素の大きさであった場合の例である。
【0057】図16と図7および図8を比較すると、図
7および図8の例では動きベクトル(0,0)の位置を
通り、予測ベクトルの方向に沿った位置の探索が先に行
なわれる。
【0058】例えばカメラのパン操作等によって画面内
の多くの部分で一様に近い動きベクトルが現れる場合、
動画像においては時間的な相関があるため、前フレーム
の動きベクトルと同様の方向で、大きさの異なる動きベ
クトルが現れる可能性が大きいため、前フレームの動き
ベクトルを予測ベクトルとし、探索範囲20内で予測ベ
クトルの終点位置を走査開始位置として予測ベクトルの
方向に沿った位置から優先的に走査することで、走査の
早い段階で小さい残差を持つブロックを処理し、残差計
算を途中で打ち切ることのできるブロック数を増加させ
ることができる。
【0059】また、第1の実施形態の場合と同様に、動
画像の空間方向の相関、あるいは時間方向と空間方向双
方の相関を利用して予測ベクトルを求め、探索順を設定
することもできる。
【0060】本実施形態においても、現在までに検出さ
れた動きベクトルの情報を利用し、特に現在までに検出
された動きベクトルの大きさ、方向に基づいて特定の位
置や方向の走査を優先的に行なうような走査順を設定す
ることによって、画像の性質に適応した順番で走査を行
ない、走査の早い段階で小さい残差を持つブロックを処
理し、残差計算を途中で打ち切ることのできるブロック
数を増加させて動きベクトル検出に要する演算量を削減
することができる。したがって、検出精度を低下させる
ことなく少ない演算量で動きベクトル検出を行なうこと
が可能になる。
【0061】次に、第3の実施形態について説明する。
第3の実施形態にかかる動きベクトル検出装置の構成は
図1と同様である。ただし、第3の実施形態では、探索
順序設定手段13で、動きベクトル記憶部17に記憶さ
れた動きベクトルの情報を用いて、探索範囲設定手段1
2で設定された探索範囲の走査順を設定する際に、あら
かじめ走査順を複数準備しておき、動きベクトル記憶部
17に記憶された動きベクトルの情報を基に複数準備さ
れた走査順の内の1つを選択する。
【0062】図9は、第3の実施形態における走査順選
択の例を説明する模式図である。図9では、探索範囲3
0を5つの領域に分割し、5通りの走査順から選択する
例を示している。具体的には、第1の実施形態で述べた
のと同様な方法で求めた処理対象のブロックの動きベク
トルの予測ベクトルベクトルの終点位置を走査開始位置
とし、走査開始位置が図9のどの領域にあるかによって
走査順を選択する。あらかじめ準備する走査順として
は、例えば図9の領域B(中央優先)では図16の従来
例と同様の渦巻き順走査、領域A(上方向優先)では図
2の走査順等を用いる。
【0063】ここで、あらかじめ準備する走査順および
走査順の選択法は前記の例に限定されるものではなく、
例えば図10に示すような走査順選択のための探索範囲
分割もできる。また、走査順選択の判断材料はとなる予
測ベクトルを求める方法は、第1の実施形態で述べたの
と同様に、さまざまな方法を用いることができる。
【0064】本実施形態においても、現在までに検出さ
れた動きベクトルの情報を利用して参照画像に設定され
た探索範囲内の走査順をあらかじめ準備された複数の走
査順から選択することによって、画像の性質に適応した
順番で走査を行ない、走査の早い段階で小さい残差を持
つブロックを処理し、残差計算を途中で打ち切ることの
できるブロック数を増加させて動きベクトル検出に要す
る演算量を削減することができる。したがって、検出精
度を低下させることなく少ない演算量で動きベクトル検
出を行なうことが可能になる。
【0065】次に、第4の実施形態について説明する。
第4の実施形態にかかる動きベクトル検出装置の構成お
よび探索順序設定手段13の動作は第3の実施形態と同
様である。ただし、第3の実施形態では図2および図1
6に示した渦巻き状の走査を選択する例を示したが、第
4の実施形態では別の走査順を選択する例について説明
する。
【0066】図11は、図16の例と同様に探索範囲を
上下左右それぞれ3画素とした場合の走査順選択のため
の探索範囲分割の一例を示す模式図である。
【0067】図12は、前記の探索順序設定によって選
択されるあらかじめ準備された走査順の一例を示す模式
図である。図12の記号の意味等は図2の場合と同様で
ある。図12は、図16の例と同様に、探索範囲は上下
左右それぞれ3画素、探索は整数画素位置で行なう場合
で、第1の実施形態で述べたのと同様な方法で求めた処
理対象のブロックの動きベクトルの予測ベクトルベクト
ルが上方向に2画素の大きさであった場合で、図11に
示す探索範囲分割で予測ベクトルの終点位置が図11の
領域A(上方向優先)にある場合に選択される走査順の
例である。
【0068】図16と図12を比較すると、図12の例
では探索範囲内の上半分の領域内の位置の探索が先に行
なわれる。
【0069】動画像においては時間的な相関があるた
め、例えば前フレームの動きベクトルの終点位置が図9
に示す探索範囲分割の領域Aにある場合、終点位置が探
索範囲内の同様な領域にある動きベクトルも現れる可能
性が大きいため、探索範囲20内で上半分の領域内の位
置から優先的に走査することで、走査の早い段階で小さ
い残差を持つブロックを処理し、残差計算を途中で打ち
切ることのできるブロック数を増加させることができ
る。
【0070】本実施形態においても、現在までに検出さ
れた動きベクトルの情報を利用し、特に現在までに検出
された動きベクトルの大きさと方向に基づいてあらかじ
め準備された複数の走査順から特定の位置や方向の走査
を優先的に行なうような走査順を選択することによっ
て、走査の早い段階で小さい残差を持つブロックを処理
し、残差計算を途中で打ち切ることのできるブロック数
を増加させて動きベクトル検出に要する演算量を削減す
ることができる。したがって、検出精度を低下させるこ
となく少ない演算量で動きベクトル検出を行なうことが
可能になる。
【0071】以上、ブロック間の合致の評価値としてブ
ロック内の各画素の差分の絶対値の総和を用いる場合に
関して本発明の実施形態を説明したが、合致の評価値は
これに限定されるものではなく、例えばブロック内の各
画素の差分の自乗の総和等を用いることもできる。
【0072】また、SSDA法の閾値設定として前記文
献に開示されている閾値自動決定法を用いる場合に関し
て説明したが、閾値設定の方法はこれに限定されるもの
ではない。
【0073】また、設定された探索範囲内の各整数画素
位置を走査する場合について説明したが、走査の方法は
これに限定されるものではなく、例えば探索範囲内の各
半画素位置を走査したり、2画素分毎に走査したりする
こともできる。
【0074】また、動きベクトル探索の際のブロックの
形状や面積、探索範囲の形状や面積等は任意である。
【0075】
【発明の効果】以上説明した本発明によれば、現在まで
に検出された動きベクトルの情報を利用して参照画像に
設定された探索範囲内の走査順を設定することによっ
て、画像の性質に適応した順番で走査を行ない、探索の
早い段階でより小さい残差を持つブロックを処理し、残
差計算を途中で打ち切ることのできるブロック数を増加
させ、検出精度を低下させることなく少ない演算量で動
きベクトル検出を行なうことが可能になる。
【0076】又、本発明によれば、各プロセッサが処理
する処理領域を空間的なバラツキがない様に割り当てる
ことによって、プロセッサごとの演算量のバラツキが抑
えられる。
【図面の簡単な説明】
【図1】本発明の動きベクトル検出装置の構成を示すブ
ロック図である。
【図2】本発明における探索範囲の走査順の例を説明す
るための模式図である。
【図3】本発明における動きベクトル予測の例を説明す
るための模式図である。
【図4】本発明における走査順設定の評価値の決定法の
例を説明するための模式図である。
【図5】本発明における評価値に基づく走査順設定の例
を説明するための模式図である。
【図6】本発明における探索範囲の走査順の別の例を説
明するための模式図である。
【図7】本発明における探索範囲の走査順の別の例を説
明するための模式図である。
【図8】本発明における探索範囲の走査順の別の例を説
明するための模式図である。
【図9】本発明における探索範囲の走査順の選択の例を
説明するための模式図である。
【図10】本発明における探索範囲の走査順の選択の別
の例を説明するための模式図である。
【図11】本発明における探索範囲の設定の例を説明す
るための模式図である。
【図12】本発明における探索範囲の走査順の別の例を
説明するための模式図である。
【図13】フレーム間予測を利用する予測符号化装置の
構成例を示すブロック図である。
【図14】圧縮符号化で用いられる動きベクトル検出を
説明するための模式図である。
【図15】従来の動きベクトル検出装置の構成を示すブ
ロック図である。
【図16】渦巻き探索による探索範囲の走査順の例を説
明するための模式図である。
【図17】残差計算・最小判定手段の動作を説明するた
めのフローチャートである。
【図18】走査線順探索による探索範囲の走査順の例を
説明するための模式図である。
【符号の説明】
10 現画像入力手段 11 参照画像入力手段 12 探索範囲設定手段 13 探索順序設定手段 14 走査手段 15 残差計算・最小判定手段 16 動きベクトル出力手段 17 動きベクトル記憶手段 18 探索順序記憶手段<BR> 20 探索範囲 31 処理対象ブロック 32〜34 処理対象ブロックの近隣ブロック 30 探索範囲 100 入力装置 101 動きベクトル検出装置 102 フレームメモリ 103 動き補償装置 104 減算装置 105 DCT装置 106 量子化装置 107 出力装置 108 逆量子化装置 109 逆DCT装置 110 加算装置 111 切り替え装置 120 現画像 121 参照画像 122 現画像中のブロック 123 探索範囲 124 現画像中のブロック122ともっとも良く合致
するブロック 125 動きベクトル 130 現画像入力手段 131 参照画像入力手段 132 渦巻き探索範囲設定手段 133 走査手段 134 残差計算・最小判定手段 135 動きベクトル出力手段 140 探索範囲

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 符号化対象である現画像を入力するため
    の現画像入力手段と、参照画像を入力するための参照画
    像入力手段と、前記参照画像内に動きベクトル検出のた
    めの探索範囲を設定するための探索範囲設定手段と、現
    在までに検出された動きベクトルを記憶する動きベクト
    ル記憶手段と、前記動きベクトル記憶手段に記憶された
    動きベクトルを基に前記探索範囲内を走査する順序を設
    定する探索順序設定手段と、前記順序に従って前記探索
    範囲内を走査する走査手段と、前記現画像入力手段から
    入力された現画像のブロックと参照画像中の前記走査手
    段で走査される位置のブロックとの残差計算・最小判定
    を行なう残差計算・最小判定手段と、前記残差計算・最
    小判定手段で得られる動きベクトルを出力する動きベク
    トル出力手段とを備え、前記探索順序設定手段は前記動
    きベクトル記憶手段に記憶された動きベクトルの情報に
    基づいて探索順序を設定することを特徴とする動きベク
    トル検出装置。
  2. 【請求項2】 前記探索順序設定手段は、前記動きベク
    トル記憶手段に記憶された動きベクトルの大きさと方向
    に基づいて決められる特定の位置又は方向の走査を優先
    的に行なうことを特徴とする請求項1記載の動きベクト
    ル検出装置。
  3. 【請求項3】 前記探索順序設定手段は、前記動きベク
    トル記憶手段に記憶された動きベクトルの情報に基づい
    て、あらかじめ準備された複数の走査順序から走査順序
    を選択することを特徴とする請求項1記載の動きベクト
    ル検出装置。
  4. 【請求項4】 前記動きベクトル記憶手段に記憶された
    動きベクトルの大きさと方向に基づいて、あらかじめ準
    備された複数の走査順序から特定の位置又は方向の走査
    を優先的に行なう走査順序を選択することを特徴とする
    請求項3記載の動きベクトル検出装置。
  5. 【請求項5】 符号化対象である現画像を入力するため
    の現画像入力手段と、参照画像を入力するための参照画
    像入力手段と、前記参照画像内に動きベクトル検出のた
    めの探索範囲を設定するための探索範囲設定手段と、現
    在までに検出された動きベクトルを記憶する動きベクト
    ル記憶手段と、前記動きベクトル記憶手段に記憶された
    動きベクトルを基に前記探索範囲内を走査する順序を設
    定する探索順序設定手段と、前記順序に従って前記探索
    範囲内を走査する走査手段と、前記現画像入力手段から
    入力された現画像のブロックと参照画像中の前記走査手
    段で走査される位置のブロックとの残差計算・最小判定
    を行なう残差計算・最小判定手段と、前記残差計算・最
    小判定手段で得られる動きベクトルを出力する動きベク
    トル出力手段とを備えた動きベクトル検出装置を用いる
    動きベクトル検出方法であって、 動きベクトル検出結果のベクトルを現画像のブロックの
    動きベクトルの予測ベクトルとし、 前記予測ベクトルの終点位置を走査開始位置とし、 探索範囲内に存在する前記ブロックを、残差の小さい順
    に、前記走査開始位置から渦巻き状に走査して新たに残
    差を計算し、 計算された前記残差が最小残差以下である場合には、前
    記最小残差を更新して動きベクトルを検出することを特
    徴とする動きベクトル検出方法。
  6. 【請求項6】 符号化対象である現画像を入力するため
    の現画像入力手段と、参照画像を入力するための参照画
    像入力手段と、前記参照画像内に動きベクトル検出のた
    めの探索範囲を設定するための探索範囲設定手段と、現
    在までに検出された動きベクトルを記憶する動きベクト
    ル記憶手段と、前記動きベクトル記憶手段に記憶された
    動きベクトルを基に前記探索範囲内を走査する順序を設
    定する探索順序設定手段と、前記順序に従って前記探索
    範囲内を走査する走査手段と、前記現画像入力手段から
    入力された現画像のブロックと参照画像中の前記走査手
    段で走査される位置のブロックとの残差計算・最小判定
    を行なう残差計算・最小判定手段と、前記残差計算・最
    小判定手段で得られる動きベクトルを出力する動きベク
    トル出力手段とを備えた動きベクトル検出装置を用いる
    動きベクトル検出方法であって、 動きベクトル検出結果のベクトルを現画像のブロックの
    動きベクトルの予測ベクトルとし、 前記動きベクトルと同一方向の単位ベクトルを(vx,
    vy)とするとともに、前記動きベクトルの絶対値をm
    vlとし、前記予測ベクトルの終点から前記探索範囲内
    の探索位置Pに向かうベクトル(dx、dy)を前記単
    位ベクトルに平行なベクトルAと垂直なBに分解し、前
    記A及びBの絶対値をa及びbとし、 前記mvl、a及びbに基いて評価値sを(a/(1+
    (mvl/4))+b)とし、 前記予測ベクトルの終点位置を走査開始位置とし、 探索範囲内に存在する前記ブロックを、前記表価値sの
    小さい順に走査して新たに残差を計算し、 計算された前記残差が最小残差以下である場合には、前
    記最小残差を更新して動きベクトルを検出することを特
    徴とする動きベクトル検出方法。
  7. 【請求項7】 符号化対象である現画像を入力するため
    の現画像入力手段と、参照画像を入力するための参照画
    像入力手段と、前記参照画像内に動きベクトル検出のた
    めの探索範囲を設定するための探索範囲設定手段と、現
    在までに検出された動きベクトルを記憶する動きベクト
    ル記憶手段と、前記動きベクトル記憶手段に記憶された
    動きベクトルを基に前記探索範囲内を走査する順序を設
    定する探索順序設定手段と、前記順序に従って前記探索
    範囲内を走査する走査手段と、前記現画像入力手段から
    入力された現画像のブロックと参照画像中の前記走査手
    段で走査される位置のブロックとの残差計算・最小判定
    を行なう残差計算・最小判定手段と、前記残差計算・最
    小判定手段で得られる動きベクトルを出力する動きベク
    トル出力手段とを備えた動きベクトル検出装置を用いる
    動きベクトル検出方法であって、 探索範囲を2以上の領域に分割し、前記領域ごとに走査
    順を設定し、 動きベクトル検出結果のベクトルを現画像のブロックの
    動きベクトルの予測ベクトルとし、 前記予測ベクトルの終点位置を走査開始位置とし、 前記走査開始位置が属する前記領域を、前記領域ごとに
    設定した走査順に走査して新たに残差を計算し、 計算された前記残差が最小残差以下である場合には、前
    記最小残差を更新して動きベクトルを検出することを特
    徴とする動きベクトル検出方法。
  8. 【請求項8】 符号化対象である現画像を入力するため
    の現画像入力手段と、参照画像を入力するための参照画
    像入力手段と、前記参照画像内に動きベクトル検出のた
    めの探索範囲を設定するための探索範囲設定手段と、現
    在までに検出された動きベクトルを記憶する動きベクト
    ル記憶手段と、前記動きベクトル記憶手段に記憶された
    動きベクトルを基に前記探索範囲内を走査する順序を設
    定する探索順序設定手段と、前記順序に従って前記探索
    範囲内を走査する走査手段と、前記現画像入力手段から
    入力された現画像のブロックと参照画像中の前記走査手
    段で走査される位置のブロックとの残差計算・最小判定
    を行なう残差計算・最小判定手段と、前記残差計算・最
    小判定手段で得られる動きベクトルを出力する動きベク
    トル出力手段とを備えた動きベクトル検出装置を用いる
    動きベクトル検出方法を実行するプログラムを記憶した
    コンピュータ読取可能な記憶媒体であって、前記プログ
    ラムは、 動きベクトル検出結果のベクトルを現画像のブロックの
    動きベクトルの予測ベクトルとする手順と、 前記予測ベクトルの終点位置を走査開始位置とする手順
    と、 探索範囲内に存在する前記ブロックを、残差の小さい順
    に、前記走査開始位置から渦巻き状に走査して新たに残
    差を計算する手順と、 計算された前記残差が最小残差以下である場合には、前
    記最小残差を更新して動きベクトルを検出する手順とを
    含むことを特徴とする記憶媒体。
  9. 【請求項9】 符号化対象である現画像を入力するため
    の現画像入力手段と、参照画像を入力するための参照画
    像入力手段と、前記参照画像内に動きベクトル検出のた
    めの探索範囲を設定するための探索範囲設定手段と、現
    在までに検出された動きベクトルを記憶する動きベクト
    ル記憶手段と、前記動きベクトル記憶手段に記憶された
    動きベクトルを基に前記探索範囲内を走査する順序を設
    定する探索順序設定手段と、前記順序に従って前記探索
    範囲内を走査する走査手段と、前記現画像入力手段から
    入力された現画像のブロックと参照画像中の前記走査手
    段で走査される位置のブロックとの残差計算・最小判定
    を行なう残差計算・最小判定手段と、前記残差計算・最
    小判定手段で得られる動きベクトルを出力する動きベク
    トル出力手段とを備えた動きベクトル検出装置を用いる
    動きベクトル検出方法を実行するプログラムを記憶した
    コンピュータ読取可能な記憶媒体であって、前記プログ
    ラムは、 動きベクトル検出結果のベクトルを現画像のブロックの
    動きベクトルの予測ベクトルとする手順と、 前記動きベクトルと同一方向の単位ベクトルを(vx,
    vy)とするとともに、前記動きベクトルの絶対値をm
    vlとし、前記予測ベクトルの終点から前記探索範囲内
    の探索位置Pに向かうベクトル(dx、dy)を前記単
    位ベクトルに平行なベクトルAと垂直なBに分解し、前
    記A及びBの絶対値をa及びbとする手順と、 前記mvl、a及びbに基いて評価値sを(a/(1+
    (mvl/4))+b)とする手順と、 前記予測ベクトルの終点位置を走査開始位置とする手順
    と、 探索範囲内に存在する前記ブロックを、前記表価値sの
    小さい順に走査して新たに残差を計算する手順と、 計算された前記残差が最小残差以下である場合には、前
    記最小残差を更新して動きベクトルを検出する手順とを
    含むことを特徴とする記憶媒体。
  10. 【請求項10】 符号化対象である現画像を入力するた
    めの現画像入力手段と、参照画像を入力するための参照
    画像入力手段と、前記参照画像内に動きベクトル検出の
    ための探索範囲を設定するための探索範囲設定手段と、
    現在までに検出された動きベクトルを記憶する動きベク
    トル記憶手段と、前記動きベクトル記憶手段に記憶され
    た動きベクトルを基に前記探索範囲内を走査する順序を
    設定する探索順序設定手段と、前記順序に従って前記探
    索範囲内を走査する走査手段と、前記現画像入力手段か
    ら入力された現画像のブロックと参照画像中の前記走査
    手段で走査される位置のブロックとの残差計算・最小判
    定を行なう残差計算・最小判定手段と、前記残差計算・
    最小判定手段で得られる動きベクトルを出力する動きベ
    クトル出力手段とを備えた動きベクトル検出装置を用い
    る動きベクトル検出方法を実行するプログラムを記憶し
    たコンピュータ読取可能な記憶媒体であって、前記プロ
    グラムは、 探索範囲を2以上の領域に分割し、前記領域ごとに走査
    順を設定する手順と、 動きベクトル検出結果のベクトルを現画像のブロックの
    動きベクトルの予測ベクトルとする手順と、 前記予測ベクトルの終点位置を走査開始位置とする手順
    と、 前記走査開始位置が属する前記領域を、前記領域ごとに
    設定した走査順に走査して新たに残差を計算する手順
    と、 計算された前記残差が最小残差以下である場合には、前
    記最小残差を更新して動きベクトルを検出する手順とを
    含むことを特徴とする記憶媒体。
JP03619799A 1999-02-15 1999-02-15 動きベクトル検出装置 Expired - Fee Related JP3538055B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03619799A JP3538055B2 (ja) 1999-02-15 1999-02-15 動きベクトル検出装置
US09/502,669 US6549576B1 (en) 1999-02-15 2000-02-11 Motion vector detecting method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03619799A JP3538055B2 (ja) 1999-02-15 1999-02-15 動きベクトル検出装置

Publications (2)

Publication Number Publication Date
JP2000236552A true JP2000236552A (ja) 2000-08-29
JP3538055B2 JP3538055B2 (ja) 2004-06-14

Family

ID=12463015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03619799A Expired - Fee Related JP3538055B2 (ja) 1999-02-15 1999-02-15 動きベクトル検出装置

Country Status (2)

Country Link
US (1) US6549576B1 (ja)
JP (1) JP3538055B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087799A (ja) * 2001-09-17 2003-03-20 Fujitsu Ltd 追跡型動きベクトル探索方法及び装置
JP2005515527A (ja) * 2002-01-04 2005-05-26 アメリカ オンライン インコーポレイテッド セパレーションのレジストレーション
JP2006254454A (ja) * 2005-03-09 2006-09-21 Pixart Imaging Inc 距離重み付け手段で探索順序を決める動きベクトル推定方法
JP2007068165A (ja) * 2005-08-29 2007-03-15 Samsung Electronics Co Ltd 向上した動き推定方法、該方法を利用したビデオエンコーディング方法及び装置
JP2007328345A (ja) * 2006-06-08 2007-12-20 Samsung Electronics Co Ltd 表示装置、及びそれに搭載される集積回路チップ
JP2008502196A (ja) * 2004-06-04 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ グローバル動きベクトルの探索方法
JP2008515298A (ja) * 2004-09-29 2008-05-08 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 動き推定の実現方法
JP2009519676A (ja) * 2005-12-16 2009-05-14 トムソン ライセンシング 色成分登録の方法、装置およびシステム
US7715655B2 (en) 2002-01-04 2010-05-11 Warner Bros. Entertainment Inc. Image registration system
US7835570B1 (en) 2002-01-04 2010-11-16 Warner Bros. Entertainment Inc. Reducing differential resolution of separations
US7885329B2 (en) 2004-06-25 2011-02-08 Panasonic Corporation Motion vector detecting apparatus and method for detecting motion vector
JP2013109658A (ja) * 2011-11-22 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> 画像検索装置、画像検索方法およびプログラム
JP2013222215A (ja) * 2012-04-12 2013-10-28 Suzuki Motor Corp 移動体検出装置及びその方法
US9241128B2 (en) 2013-02-14 2016-01-19 Warner Bros. Entertainment Inc. Video conversion technology
JP2016063358A (ja) * 2014-09-17 2016-04-25 株式会社ソシオネクスト 符号化回路、符号化方法
CN115529459A (zh) * 2022-10-10 2022-12-27 格兰菲智能科技有限公司 中心点搜索方法、装置、计算机设备、存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
US6842483B1 (en) * 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
EP1387340A1 (en) * 2002-07-30 2004-02-04 Deutsche Thomson-Brandt Gmbh Method and device for processing video data for a display
US7023921B2 (en) * 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
JP4496209B2 (ja) 2003-03-03 2010-07-07 モービリゲン コーポレーション メモリワードアレイ構成およびメモリアクセス予測結合
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
US7362809B2 (en) * 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
US7426318B2 (en) * 2004-06-30 2008-09-16 Accuray, Inc. Motion field generation for non-rigid image registration
US7366278B2 (en) * 2004-06-30 2008-04-29 Accuray, Inc. DRR generation using a non-linear attenuation model
US7327865B2 (en) * 2004-06-30 2008-02-05 Accuray, Inc. Fiducial-less tracking with non-rigid image registration
US7231076B2 (en) * 2004-06-30 2007-06-12 Accuray, Inc. ROI selection in image registration
US7522779B2 (en) * 2004-06-30 2009-04-21 Accuray, Inc. Image enhancement method and system for fiducial-less tracking of treatment targets
US7330578B2 (en) * 2005-06-23 2008-02-12 Accuray Inc. DRR generation and enhancement using a dedicated graphics device
US20080037843A1 (en) * 2006-08-11 2008-02-14 Accuray Incorporated Image segmentation for DRR generation and image registration
US8031954B2 (en) * 2007-04-26 2011-10-04 Canon Kabushiki Kaisha Image encoding apparatus and control method thereof using prediction encoding and pixel classification
US7843462B2 (en) * 2007-09-07 2010-11-30 Seiko Epson Corporation System and method for displaying a digital video sequence modified to compensate for perceived blur
JP2012034233A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 補間フレーム生成装置及び補間フレーム生成方法
US10085016B1 (en) 2013-01-18 2018-09-25 Ovics Video prediction cache indexing systems and methods

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2787944B2 (ja) 1988-01-11 1998-08-20 富士通株式会社 動き補償動ベクトル探索方法
JPH02145079A (ja) 1988-11-26 1990-06-04 Mitsubishi Electric Corp 動き補償演算方法
JPH0695757B2 (ja) 1988-06-30 1994-11-24 株式会社グラフィックス・コミュニケーション・テクノロジーズ 動ベクトル検出方法
JPH02131690A (ja) 1988-11-11 1990-05-21 Japan Radio Co Ltd 動き補償回路
JPH04150284A (ja) 1990-10-09 1992-05-22 Olympus Optical Co Ltd 動ベクトル検出方法およびその装置
JP2810528B2 (ja) 1990-11-14 1998-10-15 シャープ株式会社 動き補償フレーム間予測符号化における動きベクトルの探索回路
DE69217150T2 (de) * 1991-09-30 1997-07-17 Philips Electronics Nv Bewegungsvektorschätzung, Bewegungsbildkodierung- und -speicherung
US5475446A (en) * 1992-03-09 1995-12-12 Matsushita Electric Industrial Co., Ltd. Picture signal motion detector employing partial decimation of pixel blocks
JPH05328333A (ja) 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JPH0686272A (ja) 1992-08-31 1994-03-25 Sony Corp 動きベクトル検出装置
JPH06189291A (ja) 1992-12-21 1994-07-08 Sharp Corp 画像の動き検出装置
JPH07162864A (ja) 1993-12-08 1995-06-23 Ricoh Co Ltd 動きベクトル検出方法
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
JPH0970046A (ja) 1995-08-31 1997-03-11 Victor Co Of Japan Ltd 動きベクトル検出装置
JP3019787B2 (ja) 1996-09-20 2000-03-13 日本電気株式会社 動きベクトル検出装置
FR2757295B1 (fr) 1996-12-13 2001-05-18 Sgs Thomson Microelectronics Procede et dispositif d'estimation de mouvement de portions d'images mobiles
DE69803639T2 (de) * 1997-08-07 2002-08-08 Matsushita Electric Ind Co Ltd Vorrichtung und Verfahren zur Detektion eines Bewegungsvektors
US6269174B1 (en) * 1997-10-28 2001-07-31 Ligos Corporation Apparatus and method for fast motion estimation

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087799A (ja) * 2001-09-17 2003-03-20 Fujitsu Ltd 追跡型動きベクトル探索方法及び装置
US8401337B2 (en) 2002-01-04 2013-03-19 Warner Bros. Entertainment Inc. Registration of separations
US7672541B2 (en) 2002-01-04 2010-03-02 Warner Bros. Entertainment Inc. Registration of separations
US7715655B2 (en) 2002-01-04 2010-05-11 Warner Bros. Entertainment Inc. Image registration system
US9104938B2 (en) 2002-01-04 2015-08-11 Warner Bros. Entertainment Inc. Registration of separations
JP2005515527A (ja) * 2002-01-04 2005-05-26 アメリカ オンライン インコーポレイテッド セパレーションのレジストレーション
US9773314B2 (en) 2002-01-04 2017-09-26 Warner Bros. Entertainment Inc. Registration of separations
US7835570B1 (en) 2002-01-04 2010-11-16 Warner Bros. Entertainment Inc. Reducing differential resolution of separations
US8094972B2 (en) 2002-01-04 2012-01-10 Warner Bros. Entertainment Inc. Registration of separations
US8818088B2 (en) 2002-01-04 2014-08-26 Warner Bros. Entertainment Inc. Registration of separations
JP2008502196A (ja) * 2004-06-04 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ グローバル動きベクトルの探索方法
US7885329B2 (en) 2004-06-25 2011-02-08 Panasonic Corporation Motion vector detecting apparatus and method for detecting motion vector
JP4669517B2 (ja) * 2004-09-29 2011-04-13 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 動き推定の実現方法
JP2008515298A (ja) * 2004-09-29 2008-05-08 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 動き推定の実現方法
US8804830B2 (en) 2004-09-29 2014-08-12 Tencent Technology (Shenzhen) Company Limited Method for performing motion estimation
JP2006254454A (ja) * 2005-03-09 2006-09-21 Pixart Imaging Inc 距離重み付け手段で探索順序を決める動きベクトル推定方法
US8571105B2 (en) 2005-08-29 2013-10-29 Samsung Electronics Co., Ltd. Enhanced motion estimation method, video encoding method and apparatus using the same
JP2007068165A (ja) * 2005-08-29 2007-03-15 Samsung Electronics Co Ltd 向上した動き推定方法、該方法を利用したビデオエンコーディング方法及び装置
US8126290B2 (en) 2005-12-16 2012-02-28 Thomson Licensing Method, apparatus and system for color component registration
JP2009519676A (ja) * 2005-12-16 2009-05-14 トムソン ライセンシング 色成分登録の方法、装置およびシステム
JP2007328345A (ja) * 2006-06-08 2007-12-20 Samsung Electronics Co Ltd 表示装置、及びそれに搭載される集積回路チップ
JP2013109658A (ja) * 2011-11-22 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> 画像検索装置、画像検索方法およびプログラム
JP2013222215A (ja) * 2012-04-12 2013-10-28 Suzuki Motor Corp 移動体検出装置及びその方法
US9241128B2 (en) 2013-02-14 2016-01-19 Warner Bros. Entertainment Inc. Video conversion technology
US9723257B2 (en) 2013-02-14 2017-08-01 Warner Bros. Entertainment Inc. Video conversion technology
US10277862B2 (en) 2013-02-14 2019-04-30 Warner Bros. Entertainment Inc. Video conversion technology
US10687017B2 (en) 2013-02-14 2020-06-16 Warner Bros. Entertainment Inc. Video conversion technology
US11997417B2 (en) 2013-02-14 2024-05-28 Warner Bros. Entertainment Inc. Video conversion technology
JP2016063358A (ja) * 2014-09-17 2016-04-25 株式会社ソシオネクスト 符号化回路、符号化方法
US10104396B2 (en) 2014-09-17 2018-10-16 Socionext Inc. Encoder circuit and encoding method
CN115529459A (zh) * 2022-10-10 2022-12-27 格兰菲智能科技有限公司 中心点搜索方法、装置、计算机设备、存储介质
CN115529459B (zh) * 2022-10-10 2024-02-02 格兰菲智能科技有限公司 中心点搜索方法、装置、计算机设备、存储介质

Also Published As

Publication number Publication date
US6549576B1 (en) 2003-04-15
JP3538055B2 (ja) 2004-06-14

Similar Documents

Publication Publication Date Title
JP3538055B2 (ja) 動きベクトル検出装置
JP5044568B2 (ja) 予測誘導間引き探索を使用する動き推定
JP5281891B2 (ja) 適応的な動き検索範囲
RU2381630C2 (ru) Способ и устройство для определения качества соответствия блока
KR0171146B1 (ko) 특징점을 이용한 움직임 벡터 검출 장치
KR0171154B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
KR100492127B1 (ko) 적응형 움직임 추정장치 및 추정 방법
JP3655651B2 (ja) データ処理装置
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
US20080002772A1 (en) Motion vector estimation method
JPH08307874A (ja) 映像信号符号化装置
JP2006254349A (ja) 動きベクトル検出方法、動きベクトル検出装置およびコンピュータ上で動きベクトル検出処理を実行するコンピュータプログラム
JP5237814B2 (ja) ビデオ圧縮における適応的動きベクトルサンプリングのための多段リンク方法
KR20050097936A (ko) 효과적인 예측 이미지 파라미터 추정
JP2006025431A (ja) ブロックセットの符号化のために動きベクトルを選択する方法及び装置
TW201031213A (en) Low-power and high-performance video coding method for performing motion estimation
JPH04248789A (ja) 撮像された画像の中の動きの推定方法
KR100335434B1 (ko) 움직임 추정방법
JP4537136B2 (ja) 動き推定方法及び動き推定装置、並びにプログラム
JP3615963B2 (ja) リアルタイム動映像符号化のための高速動き推定方法及びその装置
JP2004064518A (ja) 動画像符号化方法、動画像符号化装置、およびコンピュータプログラム
US20030152147A1 (en) Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning
KR100987581B1 (ko) 고속 움직임 추정을 위한 부분 블록정합 방법
KR0185940B1 (ko) 미세한 움직임 추정 방법 및 그 장치
JPH10327401A (ja) 動きベクトル検出方法及びそれを用いた画像信号の符号化方法及び装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040318

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080326

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090326

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090326

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100326

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110326

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110326

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120326

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120326

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees