JP2006050294A - 動きベクトル検出装置および動きベクトル検出方法 - Google Patents

動きベクトル検出装置および動きベクトル検出方法 Download PDF

Info

Publication number
JP2006050294A
JP2006050294A JP2004229039A JP2004229039A JP2006050294A JP 2006050294 A JP2006050294 A JP 2006050294A JP 2004229039 A JP2004229039 A JP 2004229039A JP 2004229039 A JP2004229039 A JP 2004229039A JP 2006050294 A JP2006050294 A JP 2006050294A
Authority
JP
Japan
Prior art keywords
motion vector
search
block
input block
vector detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004229039A
Other languages
English (en)
Other versions
JP3880985B2 (ja
Inventor
Hideyuki Okose
秀之 大古瀬
Shinya Sumino
眞也 角野
Hiroki Inagaki
尋紀 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004229039A priority Critical patent/JP3880985B2/ja
Priority to CNB2005800265815A priority patent/CN100527848C/zh
Priority to US11/659,366 priority patent/US8073057B2/en
Priority to EP05768427A priority patent/EP1775963A4/en
Priority to PCT/JP2005/014178 priority patent/WO2006013877A1/ja
Publication of JP2006050294A publication Critical patent/JP2006050294A/ja
Application granted granted Critical
Publication of JP3880985B2 publication Critical patent/JP3880985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 動きベクトルのビット量と差分量とのトレードオフで最適な動きベクトルを求め、かつパイプライン構成で高速に動きベクトル検出を行うことが可能な動きベクトル検出装置および動きベクトル検出方法を提供する。
【解決手段】 動きベクトル検出装置１００は、各探索ブロックと入力ブロックとから算出される歪量、および探索ブロック位置の動きベクトルと第１予測ベクトルと重み付け係数とから算出される補正値に基づいて評価値を算出し、入力ブロックの位置と評価値が最小となる探索ブロックの位置に基づいて、入力ブロックの第１動きベクトルを検出する第１動き検出部１０２と、重み付け係数を算出する重み付け係数計算部１０３、第１動きベクトルに基づいて第１予測ベクトルを生成する予測ベクトル生成部１０４と、各探索ブロックと入力ブロックとから算出される歪量のみを評価値として動きベクトル検出を行う第２動き検出部１０５とを備える。
【選択図】 図１

Description

本発明は、動画像のピクチャ間予測符号化に用いる動きベクトルを検出する動きベクトル検出装置および動きベクトル検出方法に関するものである。
ＭＰＥＧ方式（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｉｍａｇｅ ｃｏｄｉｎｇ Ｅｘｐａｒｔｓ Ｇｒｏｕｐ）のような動画像のピクチャ間相関を利用した画像圧縮方式では、動き補償を行うブロック単位で動きベクトルの検出が必要である。従来、この動きベクトルを検出する回路として、動きベクトルの情報量を削減することができる動きベクトル検出回路が提案されている（例えば、特許文献１参照。）。
図８は従来の動きベクトル検出回路の構成を示すブロック図である。この動きベクトル検出回路は、図８に示すようにフレームメモリ６１、６２、動きベクトル格納用メモリ６３、ブロック間差分演算部６４、付加量演算部６５、および比較器６６を備えている。ここで、ブロック間差分演算部６４は、２５６個のブロック間差分演算回路６４ａ、６４ｂ、…、６４ｃを備え、また、付加量演算部６５も、２５６個の付加量演算回路６５ａ、６５ｂ、…、６５ｃを備え、２５６点の探索を行うものとする。
まず、ブロック間差分演算回路６４ａは、フレームメモリ６２から入力される原画マクロブロック（以下、原画ＭＢともいう）と、フレームメモリ６１から入力される探索マクロブロック（以下、探索ＭＢともいう）との差分を計算し、差分量として出力する。また、ブロック間差分演算回路６４ｂは、ブロック間差分演算回路６４ａにて使用されたものと同一の原画ＭＢと、ブロック間差分演算回路６４ａにて使用されたものから１つシフトした探索ＭＢとの差分量を出力する。同様にして、２５６番目のブロック間差分演算回路６４ｃは、ブロック間差分演算回路６４ａにて使用されたものと同一の原画ＭＢと、シフトされた探索ＭＢとの差分量を出力する。そして、付加量演算回路６５ａ、６５ｂ、…、６５ｃは、それぞれの差分量に付加量を加算して補正差分量を出力し、隣接するマクロブロックの補正差分量により動きベクトルを符号化する。次に、比較器６６は、原画ＭＢと探索ＭＢとの間の相関度が最も高い最適動きベクトルを決定する。このとき、付加量演算回路では、複数の動きベクトルが有する水平成分及び垂直成分のそれぞれと符号化状態とに依存して付加量を決定する。具体的には、ｎ番目の探索点における動きベクトルＶｎをＶｎ＝（ｖｎｘ、ｖｎｙ）とし、また、動き格納用メモリ６３に格納している１探索マクロブロック前の動き探索により決定した前動きベクトルＰＶをＰＶ＝（ｐｖｘ、ｐｖｙ）としたときに、ブロック差分量の付加量Ａｄｄｎは、次式で得られる。
Ａｄｄｎ＝α・（｜ｖｎｘ−ｐｖｘ｜＋｜ｖｎｙ−ｐｖｙ｜）
ここで、αは定数を表し、｜｜は絶対値を得る演算を表す。付加量は、前ブロック動きベクトルとの変化分が大きくなるにつれて大きくなるように設定され、そして、動きベクトルは、ピクチャにおいて左隣に位置する探索ＭＢの前動きベクトルに補正された補正差分量により符号化されるようになっている。
特開２００１−１９７５０１号公報
ところで、通常の動きベクトル検出では、評価値として原画ＭＢと探索ＭＢとの各画素の輝度の差分絶対値総和を求め、その評価値が最小値となる探索ＭＢの位置を求めることで動きベクトルを算出している。この通常の方法では、低いビットレートで符号化するときに、動きベクトルに関するビット量は変えられないので、差分量に関するビット量を削減することでビットレートを低減しているため、画質の劣化が著しいという課題がある。
一方、上記の従来例では、過去に検出された動きベクトルに対する探索位置の動きベクトルの変化量から付加量を求め、この付加量を加算した評価値が最小値となる探索ＭＢの位置を求めることで動きベクトルを算出し、動きベクトルおよび差分量それぞれに関するビット量が最適となるような点を求めている。
しかしながら、この方法では、付加量を決定するために用いている過去に検出された動きベクトルは、動きベクトルと符号化の状態が決定されている必要があるため、パイプライン構成をとることが困難であった。
そこで、本発明は上記の事情に鑑みてなされたものであり、動きベクトルのビット量と差分量とのトレードオフで最適な動きベクトルを求め、かつパイプライン構成で高速に動きベクトル検出を行うことが可能な動きベクトル検出装置および動きベクトル検出方法を提供することを目的とする。
上記目的を達成するため、本発明に係る動きベクトル検出装置は、入力画像を所定サイズのブロックに分割し、各入力ブロックの参照画像に対する動きベクトルをｎ段（ｎは２以上の自然数）のパイプライン処理によって検出する動きベクトル検出装置であって、前記参照画像における所定の探索範囲内の前記ブロック単位の複数の探索ブロックと前記入力ブロックとから算出される歪量、および前記探索ブロック位置の動きベクトルと第１予測ベクトルと重み付け係数とから算出される補正値に基づいて評価値を前記探索ブロック毎に算出し、前記入力ブロックの位置と前記評価値が最小となる探索ブロックの位置に基づいて、前記入力ブロックの第１動きベクトルを検出する第１動きベクトル検出手段と、第ｋ動きベクトル検出手段（ｋは１からｎ−１の自然数）で検出された第ｋ動きベクトルにより特定される位置を中心とする所定の探索範囲内の複数の探索ブロックと前記入力ブロックとから探索ブロック毎に算出される歪量を評価値とし、前記入力ブロックの位置と前記評価値が最小となる探索位置に基づいて、前記入力ブロックの第ｋ＋１動きベクトルを検出する第ｋ＋１動きベクトル検出手段と、前記第１動きベクトル検出手段で既に検出された他の入力ブロックの第１動きベクトルに基づいて前記第１予測ベクトルを生成し、生成した前記第１予測ベクトルを前記第１動きベクトル検出手段に通知する第１予測ベクトル生成手段とを備えることを特徴とする。
これによって、第１動きベクトル検出手段において、歪量に補正値を付加した評価値に基づいて動きベクトルを検出する構成としても、パイプライン構成を実現することができ、高速に動きベクトル検出を行うことができる。また、歪量に補正値を付加した評価値に基づいて動きベクトルを検出することで、動きベクトルのビット量と差分量とのトレードオフで最適な動きベクトルを求めることができる。
また、前記動きベクトル検出装置は、さらに、前記第ｋ＋１動きベクトル検出手段で既に検出された他の入力ブロックの前記第ｋ＋１動きベクトルに基づいて第ｋ＋１予測ベクトルを生成し、生成した前記第ｋ＋１予測ベクトルを前記第ｋ＋１動きベクトル検出手段に通知する第ｋ＋１予測ベクトル生成手段を備え、前記第ｋ＋１動きベクトル検出手段は、前記評価値を前記歪量、および前記探索ブロック位置の動きベクトルと前記第ｋ＋１予測ベクトルと重み付け係数とから算出される補正値に基づいて算出してもよい。
これによって、第１動きベクトル検出手段に加えて第ｋ＋１動きベクトル検出手段においても、歪量に補正値を付加した評価値に基づいて動きベクトルを検出する構成としても、パイプライン構成を実現することができ、高速に動きベクトル検出を行うことができる。また、各動きベクトル検出手段において歪量に補正値を付加した評価値に基づいて動きベクトルを検出することで、より最適な動きベクトルを求めることができる。
また、前記第１予測ベクトル生成手段は、生成した前記第１予測ベクトルを前記第ｋ＋１動きベクトル検出手段に通知し、前記第ｋ＋１動きベクトル検出手段は、前記評価値を前記歪量、および前記探索ブロック位置の動きベクトルと前記第１予測ベクトルと重み付け係数とから算出される補正値に基づいて算出してもよい。
これによって、第１動きベクトル検出手段に加えて第ｋ＋１動きベクトル検出手段においても、歪量に補正値を付加した評価値に基づいて動きベクトルを検出する構成としても、上記同様にパイプライン構成を実現することができ、高速に動きベクトル検出を行うことができる。また、各動きベクトル検出手段において補正値を算出する際に、第１予測ベクトルを用いることによって、構成を簡素化することができる。
また、前記第１動きベクトル検出手段および前記第ｋ＋１動きベクトル検出手段は、前記入力ブロック単位、または前記入力ブロックを所定サイズに分割した入力サブブロック単位に前記動きベクトルを検出してもよい。
これによって、各動きベクトル検出手段において、入力ブロック単位だけでなく、入力サブブロック単位にも動きベクトルを検出することができる。
なお、本発明は、このような動きベクトル検出装置として実現することができるだけでなく、このような動きベクトル検出装置が備える特徴的な手段をステップとする動きベクトル検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上の説明から明らかなように、本発明に係る動きベクトル検出装置および動きベクトル検出方法によれば、動きベクトルのビット量と差分量とのトレードオフで最適な動きベクトルを求め、かつパイプライン構成で高速に動きベクトル検出を行うことが可能となる。
以下、本発明の各実施の形態について、それぞれ図面を用いて説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る動きベクトル検出装置の構成を示すブロック図である。
動きベクトル検出装置１００は、２段のパイプラインで動きベクトルを検出するための装置であり、図１に示すようにフレームメモリ１０１、第１動き検出部１０２、重み付け係数計算部１０３、予測ベクトル生成部１０４、および第２動き検出部１０５を備えている。ここでは、第１動き検出部１０２は動きベクトル探索を整数画素精度で行い、第２動き検出部１０５は動きベクトル探索を第１動き検出部１０２で検出された第１動きベクトルＭＶ１を中心に半画素精度で行うものとする。また、動きベクトル検出を行う単位を１６×１６画素のブロックサイズのマクロブロックとし、参照画像が１フレームとした場合を例とする。また、ＭＰＥＧ２方式での符号化を行う場合を例として説明する。
まず、２段のパイプライン構成で動きベクトル検出を行う場合の概念について、図２を用いて説明する。
マクロブロック単位での動きベクトルを検出する場合、入力画像ＩＰを垂直、水平のそれぞれの方向で１６画素毎に分割し、画面の左上のマクロブロックを１番目の符号化対象マクロブロックＣＭＢとして、マクロブロック単位でラスタスキャン順に符号化対象マクロブロックＣＭＢの参照画像に対する動きを示す動きベクトルの検出を行う。このとき、時刻ｎにおいて、第１動き検出部１０２は、第ｎ−１番目の符号化対象マクロブロックＣＭＢの整数精度の動きベクトルを出力し、第ｎ番目の符号化対象マクロブロックＣＭＢの整数精度の動きベクトルの検出を開始する。同じ時刻ｎに、第２動き検出部１０５では第ｎ−２番目の符号化対象マクロブロックＣＭＢの半画素精度の動きベクトルを出力し、第ｎ−１番目の符号化対象マクロブロックＣＭＢの半画素精度の動きベクトルの検出を開始する。このようにパイプライン構成の場合、２つの動き検出部を同時に動作させることが可能で、性能を約２倍にすることが可能となる。
フレームメモリ１０１は、入力画像ＩＰを蓄積し、符号化対象マクロブロックＣＭＢの位置情報であるＭＢ位置情報ＬＩに基づいて、マクロブロック単位で入力画像ＩＰの輝度データを符号化対象マクロブロックＣＭＢとして出力する。また、フレームメモリ１０１は、既に動きベクトルＭＶの検出が行われ、動き補償された画像データを参照画像として蓄積し、ＭＢ位置情報ＬＩに基づいて動きベクトルＭＶを検出する探索範囲単位で参照画像の輝度データを参照画像データＲＩとして出力する。
第１動き検出部１０２は、符号化対象マクロブロックＣＭＢと参照画像データＲＩ内で同じブロックサイズの最も相関の高い参照マクロブロックを選択し、参照マクロブロック位置とＭＢ位置情報ＬＩとに基づいて符号化対象マクロブロックＣＭＢの動きベクトルを算出し、第１動きベクトルＭＶ１として出力する。第１動き検出部１０２は、動きベクトルを探索する時、探索範囲の左上からラスタスキャン順で１画素ずつずらした位置のそれぞれの探索マクロブロックと符号化対象マクロブロックＣＭＢとの各画素の差分絶対値を計算し、その総和に後述する補正値を付加した値を評価値として、この評価値が最も小さい値をとる位置の探索マクロブロックを参照マクロブロックとする。
第２動き検出部１０５は、第１動き検出部１０２と同様に動きベクトルの検出を行うが、探索範囲の中心が符号化対象マクロブロックＣＭＢの位置ではなく、第１動き検出部１０２から出力された第１動きベクトルＭＶ１が指し示す整数画素位置を中心とした探索範囲で、かつ半画素精度での探索を行う。第２動き検出部１０５では、各探索マクロブロックと符号化対象マクロブロックＣＭＢとの各画素の差分絶対値の総和である歪量のみを評価値として動きベクトル検出を行う。本実施の形態では、整数画素精度で検出した動きベクトルを中心に半画素精度で動きベクトルを探索する構成となっているので、整数画素位置の周辺８半画素位置など狭い範囲を探索するだけなので、動きベクトルの符号量に相当する補正値の変動が小さいと考えられるため、第２動き検出部１０５では歪量のみを評価値としている。
次に、第１動き検出部１０２で使用する補正値に関して説明する。前述した通り、各画素の差分絶対値の総和は差分マクロブロックの歪量に相当する部分であり、補正値は動きベクトルの符号量に相当する部分である。ＭＰＥＧ２規格では、動きベクトルを符号化するときには、左隣マクロブロックの符号化モード（Ｉｎｔｒａ／Ｉｎｔｅｒ符号化）に依存して決定される動きベクトル（予測ベクトル）の各成分との差分量を符号化する。これを考慮して、以下の式１から補正値を求める。
補正値＝λ×（｜ｖｍｘ−ｐｍｖｘ｜）＋（｜ｖｍｙ−ｐｍｖｙ｜） …（式１）
ここで、λは重み付け係数、Ｖｍ＝（ｖｍｘ、ｖｍｙ）はｍ番目の探索位置における動きベクトル、Ｐｍｖ１＝（ｐｍｖｘ、ｐｍｖｙ）は左隣マクロブロックの動きベクトルである第１予測ベクトル、｜｜は絶対値計算を示す。
重み付け係数λは、重み付け係数計算部１０３で算出される値である。重み付け係数計算部１０３は、例えば量子化値Ｑをそのまま、または加工（例えば０．８５×Ｑ2等）する等の方法で重み付け係数λを算出する。なお、重み付け係数λは、例えばＰピクチャのときに４、Ｂピクチャのときに８というように固定しても構わない。
第１予測ベクトルＰｍｖ１は、第１動き検出部１０２から出力される整数精度の第１動きベクトルＭＶ１に基づいて予測ベクトル生成部１０４で生成される。ＭＰＥＧ２規格の場合、時刻ｎで出力されるｎ−１番目の符号化対象マクロブロックＣＭＢの第１動きベクトルＭＶ１をｎ番目の符号化対象マクロブロックＣＭＢの第１予測ベクトルＰｍｖ１とする。ただし、第１動き検出部１０２は、符号化対象マクロブロックＣＭＢの位置が入力画像ＩＰの左端にある場合、第１予測ベクトルＰｍｖ１の各成分は０として補正値を算出する。
以上のように、第１動き検出部１０２において、歪量に補正値を付加した評価値に基づいて動きベクトルを検出する際に、補正値の算出に左隣マクロブロックの第１動きベクトルＭＶ１に基づく第１予測ベクトルＰｍｖ１を用いることによって、パイプライン構成を実現することができ、高速に動きベクトル検出を行うことができる。
なお、予測ベクトル生成部１０４は、第１予測ベクトルＰｍｖ１として左隣マクロブロックの第１動きベクトルＭＶ１を用いるのではなく、周辺マクロブロックの動きベクトルを利用して第１予測ベクトルＰｍｖ１を決定することも可能である。例えば、図３（ａ）に示すように対象マクロブロックＸの上、右上、左の３つのマクロブロックＢ、Ｃ、Ｄの動きベクトルの各成分のメディアン値や、図３（ｂ）に示すように対象マクロブロックＸの左上、上、右上、左の４つのマクロブロックＡ、Ｂ、Ｃ、Ｄの動きベクトルの各成分の平均値や、周辺マクロブロックの動きベクトルの方向で最も多く向いている方向の動きベクトルの各成分の平均値或いはメディアン値などを第１予測ベクトルＰｍｖ１とすることも可能である。この場合、上記構成に加えて図４に示すように動きベクトル記憶部を備え、第２動き検出部１０５で検出された動きベクトルを記憶しておく。これによって、予測ベクトル生成部１０４は、第１動き検出部１０２で検出された第１動きベクトルＭＶ１に加えて、周辺マクロブロックの動きベクトルを利用して第１予測ベクトルＰｍｖ１を決定することができる。
また、第１動き検出部１０２がフレームベクトルとフィールドベクトルなどの、マクロブロックがとりうる複数のタイプの動きベクトルを同時に検出する構成の時、予測ベクトル生成部１０４は、フレームベクトルあるいはフィールドベクトルの何れかを固定或いは適応的に切換えて、第１予測ベクトルＰｍｖ１として出力する事も可能である。
また、本実施の形態では、パイプラインの段数を２段、動きベクトルを検出するブロックサイズを１６×１６画素、参照画像の数を１としたが、３段以上のパイプライン段数、他の大きさのブロックサイズ、２枚以上の参照画像でも同様に構成することが可能である。ｎ段（ｎは３以上の自然数）のパイプライン構成をとった場合、１段目からｋ段目（ｋは１からｎ−１までの自然数）までは歪量に補正値を加算した評価値で動きベクトル検出を行い、ｋ＋１段目以降は歪量のみで動きベクトル検出を行う構成にすることが可能である。
また、動きベクトル検出の評価値で、歪量を差分絶対値の総和としたが、差分二乗誤差や分散等の値にすることも可能である。
（実施の形態２）
実施の形態１では、１段目の動き検出部において歪量に補正値を付加した評価値に基づいて動きベクトルを検出し、２段目の動き検出部において歪量を評価値として動きベクトルを検出したが、本実施の形態では、１段目および２段目の動き検出部において歪量に補正値を付加した評価値に基づいて動きベクトルを検出する場合について説明する。
図５は、本発明の実施の形態２に係る動きベクトル検出装置の構成を示すブロック図である。
動きベクトル検出装置２００は、２段のパイプラインで動きベクトルを検出するための装置であり、図５に示すようにフレームメモリ２０１、第１動き検出部２０２、第１重み付け係数計算部２０３、第１予測ベクトル生成部２０４、第２動き検出部２０５、第２重み付け係数計算部２０６、および第２予測ベクトル生成部２０７を備えている。ここでは、実施の形態１と同様に１段目の第１動き検出部２０２は動きベクトル探索を整数画素精度で行い、２段目の第２動き検出部２０５は動きベクトル探索を第１動き検出部２０２で検出された第１動きベクトルＭＶ１を中心に半画素精度で行うものとする。また、動きベクトル検出を行う単位を１６×１６画素のブロックサイズのマクロブロックとし、参照画像が１フレームとした場合を例とする。また、ＭＰＥＧ２方式での符号化を行う場合を例として説明する。
実施の形態１の構成と異なるのは、第２動き検出部２０５、第２重み付け係数計算部２０６、および第２予測ベクトル生成部２０７であるので、この部分について説明し、実施の形態１の構成と同様の部分については詳細な説明を省略する。
第２動き検出部２０５は、第１動き検出部３０６と同様に動きベクトルの探索を行う時の評価値を各画素の差分絶対値の総和である歪量に動きベクトルの符号量に相当する補正値を加えた値として、その評価値が最小値をとる参照マクロブロック位置とＭＢ位置情報ＬＩから符号化対象マクロブロックＣＭＢの動きベクトルを算出し、出力する。このとき、第２動き検出部２０５は、補正値として上記の式１を用いて算出される値を用いる。
第２重み付け係数計算部２０６は、例えば量子化値Ｑをそのまま、または加工（例えば０．８５×Ｑ2等）する等の方法で重み付け係数λを算出する。なお、重み付け係数λは、例えばＰピクチャのときに４、Ｂピクチャのときに８というように固定しても構わない。
第２予測ベクトル生成部２０７は、第２動き検出部２０５から出力される半画素精度の動きベクトルに基づいて第２予測ベクトルＰｍｖ２を生成する。ＭＰＥＧ２規格の場合、時刻ｎで出力されるｎ−１番目の符号化対象マクロブロックＣＭＢの動きベクトルをｎ番目の符号化対象マクロブロックＣＭＢの第２予測ベクトルＰｍｖ２とする。ただし、第２動き検出部２０５は、符号化対象マクロブロックＣＭＢの位置が入力画像ＩＰの左端にある場合、第２予測ベクトルＰｍｖ２の各成分は０として補正値を算出する。
以上のように、第１動き検出部２０２において、歪量に補正値を付加した評価値に基づいて動きベクトルを検出する際に、補正値の算出に左隣マクロブロックの第１動きベクトルＭＶ１に基づく第１予測ベクトルＰｍｖ１を用い、第２動き検出部２０５において、歪量に補正値を付加した評価値に基づいて動きベクトルを検出する際に、補正値の算出に左隣マクロブロックの動きベクトルに基づく予測ベクトルを用いることによって、パイプライン構成を実現することができ、高速に動きベクトル検出を行うことができる。
なお、第２予測ベクトル生成部２０７は、実施の形態１においての説明と同様に、第２予測ベクトルＰｍｖ２として左隣マクロブロックの動きベクトルを用いるのではなく、周辺マクロブロックの動きベクトルを利用して第２予測ベクトルＰｍｖ２を決定することも可能である。例えば、図３（ａ）に示すように対象マクロブロックＸの上、右上、左の３つのマクロブロックＢ、Ｃ、Ｄの動きベクトルの各成分のメディアン値や、図３（ｂ）に示すように対象マクロブロックＸの左上、上、右上、左の４つのマクロブロックＡ、Ｂ、Ｃ、Ｄの動きベクトルの各成分の平均値や、周辺マクロブロックの動きベクトルの方向で最も多く向いている方向の動きベクトルの各成分の平均値或いはメディアン値などを第２予測ベクトルＰｍｖ２とすることも可能である。この場合、上記構成に加えて動きベクトル記憶部を備え、第２動き検出部２０５で検出された動きベクトルを記憶しておく。これによって、第２予測ベクトル生成部２０７は、第２動き検出部２０５で検出された動きベクトルに加えて、周辺マクロブロックの動きベクトルを利用して第２予測ベクトルＰｍｖ２を決定することができる。
また、第２動き検出部２０５がフレームベクトルとフィールドベクトルなどの、マクロブロックがとりうる複数のタイプの動きベクトルを同時に検出する構成の時、第２予測ベクトル生成部２０７は、フレームベクトルあるいはフィールドベクトルの何れかを固定或いは適応的に切換えて、第２予測ベクトルＰｍｖとして出力する事も可能である。
また、本実施の形態では、パイプラインの段数を２段、動きベクトルを検出するブロックサイズを１６×１６画素、参照画像の数を１としたが、３段以上のパイプライン段数、他の大きさのブロックサイズ、２枚以上の参照画像でも同様に構成することが可能である。ｎ段（ｎは３以上の自然数）のパイプライン構成をとった場合、１段目からｋ段目（ｋは１からｎ−１までの自然数）までは歪量に補正値を加算した評価値で動きベクトル検出を行い、ｋ＋１段目以降は歪量のみで動きベクトル検出を行う構成にすることが可能である。
また、動きベクトル検出の評価値で、歪量を差分絶対値の総和としたが、差分二乗誤差や分散等の値にすることも可能である。
（実施の形態３）
実施の形態２では、１段目および２段目の動き検出部において歪量に補正値を付加した評価値に基づいて動きベクトルを検出する際に、それぞれ対応する予測ベクトル生成部で生成された予測ベクトルを用いて補正値を算出したが、本実施の形態では、１段目および２段目の動き検出部において補正値を算出する際に用いる予測ベクトルを共通とする場合について説明する。
図６は、本発明の実施の形態３に係る動きベクトル検出装置の構成を示すブロック図である。
動きベクトル検出装置３００は、２段のパイプラインで動きベクトルを検出するための装置であり、図６に示すようにフレームメモリ３０１、第１動き検出部３０２、重み付け係数計算部３０３、予測ベクトル生成部３０４、および第２動き検出部３０５を備えている。ここでは、実施の形態１と同様に１段目の第１動き検出部３０２は動きベクトル探索を整数画素精度で行い、２段目の第２動き検出部３０５は動きベクトル探索を第１動き検出部３０２で検出された第１動きベクトルＭＶ１を中心に半画素精度で行うものとする。また、動きベクトル検出を行う単位を１６×１６画素のブロックサイズのマクロブロックとし、参照画像が１フレームとした場合を例とする。また、ＭＰＥＧ２方式での符号化を行う場合を例として説明する。
実施の形態１の構成と異なるのは、重み付け係数計算部３０６と予測ベクトル生成部３０４の出力が第１動き検出部３０２だけではなく、第２動き検出部３０５へも入力されている点であるので、この部分について説明し、実施の形態１、２の構成と同様の部分については詳細な説明を省略する。
第２動き検出部３０５は、第１動き検出部３０２と同様に動きベクトルの探索を行う時の評価値を各画素の差分絶対値の総和である歪量に動きベクトルの符号量に相当する補正値を加えた値として、その評価値が最小値をとる参照マクロブロック位置とＭＢ位置情報ＬＩから符号化対象マクロブロックＣＭＢの動きベクトルを算出し、出力する。このとき、第２動き検出部３０５は、補正値として上記の式１を用いて算出される値を用いる。
重み付け係数計算部３０６は、例えば量子化値Ｑをそのまま、または加工（例えば０．８５×Ｑ2等）する等の方法で重み付け係数λを算出し、算出した重み付け係数λを第１動き検出部３０２および第２動き検出部３０５に出力する。なお、重み付け係数λは、例えばＰピクチャのときに４、Ｂピクチャのときに８というように固定しても構わない。
予測ベクトル生成部３０４は、第１動き検出部３０２から出力される整数精度の第１動きベクトルＭＶ１に基づいて第１予測ベクトルＰｍｖ１を生成し、生成した第１予測ベクトルＰｍｖ１を第１動き検出部３０２および第２動き検出部３０５に出力する。ＭＰＥＧ２規格の場合、時刻ｎで出力されるｎ−１番目の符号化対象マクロブロックＣＭＢの動きベクトルをｎ番目の符号化対象マクロブロックＣＭＢの第１予測ベクトルＰｍｖ１とする。ただし、第１動き検出部３０２および第２動き検出部３０５は、符号化対象マクロブロックＣＭＢの位置が入力画像ＩＰの左端にある場合、第１予測ベクトルＰｍｖ１の各成分は０として補正値を算出する。
以上のように、第１動き検出部３０２および第２動き検出部３０５において、歪量に補正値を付加した評価値に基づいて動きベクトルを検出する際に、補正値の算出に左隣マクロブロックの第１動きベクトルＭＶ１に基づく第１予測ベクトルＰｍｖ１を用いることによって、パイプライン構成を実現することができ、高速に動きベクトル検出を行うことができる。また、第１動き検出部３０２および第２動き検出部３０５において補正値を算出する際に、第１予測ベクトルＰｍｖ１を共通に用いることによって、構成を簡素化することができる。
なお、予測ベクトル生成部３０４は、実施の形態１においての説明と同様に、第１予測ベクトルＰｍｖ１として左隣マクロブロックの動きベクトルを用いるのではなく、周辺マクロブロックの動きベクトルを利用して第１予測ベクトルＰｍｖ１を決定することも可能である。例えば、図３（ａ）に示すように対象マクロブロックＸの上、右上、左の３つのマクロブロックＢ、Ｃ、Ｄの動きベクトルの各成分のメディアン値や、図３（ｂ）に示すように対象マクロブロックＸの左上、上、右上、左の４つのマクロブロックＡ、Ｂ、Ｃ、Ｄの動きベクトルの各成分の平均値や、周辺マクロブロックの動きベクトルの方向で最も多く向いている方向の動きベクトルの各成分の平均値或いはメディアン値などを第１予測ベクトルＰｍｖ１とすることも可能である。この場合、上記構成に加えて動きベクトル記憶部を備え、第２動き検出部３０５で検出された動きベクトルを記憶しておく。これによって、予測ベクトル生成部３０４は、第１動き検出部３０２で検出された第１動きベクトルＭＶ１に加えて、周辺マクロブロックの動きベクトルを利用して第１予測ベクトルＰｍｖ１を決定することができる。
また、第１動き検出部３０２がフレームベクトルとフィールドベクトルなどの、マクロブロックがとりうる複数のタイプの動きベクトルを同時に検出する構成の時、予測ベクトル生成部３０４は、フレームベクトルあるいはフィールドベクトルの何れかを固定或いは適応的に切換えて、第１予測ベクトルＰｍｖ１として出力する事も可能である。
また、本実施の形態では、パイプラインの段数を２段、動きベクトルを検出するブロックサイズを１６×１６画素、参照画像の数を１としたが、３段以上のパイプライン段数、他の大きさのブロックサイズ、２枚以上の参照画像でも同様に構成することが可能である。ｎ段（ｎは３以上の自然数）のパイプライン構成をとった場合、１段目からｋ段目（ｋは１からｎ−１までの自然数）までは歪量に補正値を加算した評価値で動きベクトル検出を行い、ｋ＋１段目以降は歪量のみで動きベクトル検出を行う構成にすることが可能である。
また、動きベクトル検出の評価値で、歪量を差分絶対値の総和としたが、差分二乗誤差や分散等の値にすることも可能である。
（実施の形態４）
実施の形態１〜３では、１段目および２段目の動き検出部においてマクロブロック単位で動きベクトルを検出したが、本実施の形態では、マクロブロック単位またはマクロブロックをさらに分割したブロック単位で動きベクトルを検出する場合について説明する。
図７は、本発明の実施の形態４に係る動きベクトル検出装置の構成を示すブロック図である。
動きベクトル検出装置４００は、２段のパイプラインで動きベクトルを検出するための装置であり、図７に示すようにフレームメモリ４０１、第１動き検出部４０２、第１重み付け係数計算部４０３、第１予測ベクトル生成部４０４、第２動き検出部４０５、第２重み付け係数計算部４０６、第２予測ベクトル生成部４０７、および動きベクトル記憶部４０８を備えている。ここでは、実施の形態１と同様に１段目の第１動き検出部４０２は動きベクトル探索を整数画素精度で行い、２段目の第２動き検出部４０５は動きベクトル探索を第１動き検出部４０２で検出された第１動きベクトルＭＶ１を中心に半画素精度で行うものとする。また、動きベクトル検出を行う単位を１６×１６画素サイズの１つのマクロブロックまたはマクロブロックをさらに分割して得られる８×８画素サイズの４つのブロックとし、参照画像が１フレームとした場合を例とする。また、ＭＰＥＧ４方式での符号化を行う場合を例として説明する。
実施の形態１〜３の構成と異なるのは、第１動き検出部４０２および第２動き検出部４０５でマクロブロックだけではなくブロック毎の動きベクトルを検出することである。また、第１動き検出部４０２および第２動き検出部４０５での補正値の算出が異なる点であるので、この部分について説明し、実施の形態１〜３の構成と同様の部分については詳細な説明を省略する。
第１動き検出部４０２は、符号化対象マクロブロックＣＭＢの第１動きベクトルと、４つのブロックの第１動きベクトルを求める。すなわち、第１動き検出部４０２は、上記実施の形態１〜３と同様に符号化対象マクロブロックＣＭＢの第１動きベクトルを算出する。また、第１動き検出部４０２は、各ブロックについても参照画像データＲＩ内で同じブロックサイズの探索ブロックごとに各画素の差分絶対値の総和である歪量に補正値を加えた値を評価値として、その評価値が最小値をとる参照ブロック位置とＭＢ位置情報ＬＩとに基づいて各ブロックの動きベクトルをそれぞれ求める。このとき、第１動き検出部４０２は、補正値として上記の式１を用いて算出される値を用いる。
予測ベクトル生成部４０４は、第１動き検出部４０２から出力される整数精度の第１動きベクトルＭＶ１に基づいて第１予測ベクトルＰｍｖ１を生成し、生成した第１予測ベクトルＰｍｖ１を第１動き検出部４０２に出力する。このとき、４つのブロックの予測ベクトルは隣接するブロックのベクトルを用いることが望ましいが、マクロブロック単位でのパイプライン処理で動きベクトル検出を行うため、左隣ブロックの動きベクトルが検出されていない状態で４つのブロックの動きベクトルを検出する必要がある。そのため、第２予測ベクトルＰｍｖ２を左隣のマクロブロックの動きベクトルとして補正値を算出する。
第２動き検出部４０５は、第１動き検出部４０２と同様に評価値を算出し、符号化対象マクロブロックＣＭＢの動きベクトルと、４つのブロックの動きベクトルを求める。
第２予測ベクトル生成部４０７は、第２動き検出部４０５から出力される半画素精度の動きベクトルＭＶ、または第１動き検出部４０２から出力される整数精度の第１動きベクトルＭＶ１に基づいて、ＭＰＥＧ４で規定される近傍ブロック位置の動きベクトルのメディアン値を算出し、第２予測ベクトルＰｍｖ２とする。
以上のように、第１動き検出部４０２において補正値の算出に左隣マクロブロックの第１動きベクトルＭＶ１に基づく第１予測ベクトルＰｍｖ１を用い、第２動き検出部４０５において補正値の算出に動きベクトルＭＶまたは第１動きベクトルＭＶ１に基づく第２予測ベクトルＰｍｖ２を用いることによって、マクロブロックを分割したブロック単位で動きベクトル検出を行う場合であっても、パイプライン構成を実現することができ、高速に動きベクトル検出を行うことができる。
なお、第１予測ベクトル生成部４０４および第２予測ベクトル生成部４０７は、第１予測ベクトルＰｍｖ１および第２予測ベクトルＰｍｖ２として左隣マクロブロックの動きベクトルを用いるのではなく、周辺マクロブロックの動きベクトルを利用して仮予測ベクトルを決定することも可能である。例えば、図３（ａ）に示すように対象マクロブロックＸの上、右上、左の３つのマクロブロックＢ、Ｃ、Ｄの動きベクトルの各成分のメディアン値や、図３（ｂ）に示すように対象マクロブロックＸの左上、上、右上、左の４つのマクロブロックＡ、Ｂ、Ｃ、Ｄの動きベクトルの各成分の平均値や、周辺マクロブロックの動きベクトルの方向で最も多く向いている方向の動きベクトルの各成分の平均値或いはメディアン値などを仮予測ベクトルとすることも可能である。この場合、第１予測ベクトル生成部４０４は、第１動き検出部４０２で検出された第１動きベクトルＭＶ１に加えて、動きベクトル記憶部４０８に記憶されている周辺マクロブロックの動きベクトルを利用して第２予測ベクトルＰｍｖ２を決定すればよい。
また、第１動き検出部４０２および第２動き検出部４０５がフレームベクトルとフィールドベクトルなどの、マクロブロックがとりうる複数のタイプの動きベクトルを同時に検出する構成の時、第１予測ベクトル生成部４０４および第２予測ベクトル生成部４０７は、フレームベクトルあるいはフィールドベクトルの何れかを固定或いは適応的に切換えて、第１予測ベクトルＰｍｖ１および第２予測ベクトルＰｍｖ２として出力する事も可能である。
また、本実施の形態では、パイプラインの段数を２段、動きベクトルを検出するブロックサイズを１６×１６画素とサブブロックサイズを８×８画素、参照画像の数を１としたが、３段以上のパイプライン段数、他の大きさのブロックサイズ、２枚以上の参照画像でも同様に構成することが可能である。ｎ段（ｎは３以上の自然数）のパイプライン構成をとった場合、１段目からｋ段目（ｋは１からｎ−１までの自然数）までは歪量に補正値を加算した評価値で動きベクトル検出を行い、ｋ＋１段目以降は歪量のみで動きベクトル検出を行う構成にすることが可能である。
また、動きベクトル検出の評価値で、歪量を差分絶対値の総和としたが、差分二乗誤差や分散等の値にすることも可能である。
また、上記各実施の形態における図１、図４〜７に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
以上のように本発明に係る動きベクトル検出装置は、ブロック間差分の歪量と動きベクトルの符号量のトレードオフで動きベクトルを検出することが可能で、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等における動画像符号化時等のパイプライン構造での動きベクトル検出等に適用できる。
本発明の実施の形態１に係る動きベクトル検出装置の構成を示すブロック図である。 ２段のパイプライン構成の動きベクトル検出の概念を説明するための図である。 周辺マクロブロックの動きベクトルを利用した予測ベクトルの決定を説明するための図である。 本発明の実施の形態１に係る動きベクトル検出装置の変形例の構成を示すブロック図である。 本発明の実施の形態２に係る動きベクトル検出装置の構成を示すブロック図である。 本発明の実施の形態３に係る動きベクトル検出装置の構成を示すブロック図である。 本発明の実施の形態４に係る動きベクトル検出装置の構成を示すブロック図である。 従来の動きベクトル検出回路の構成を示すブロック図である。
符号の説明
１０１、２０１、３０１、４０１ フレームメモリ
１０２、２０１、３０２、４０２ 第１動き検出部
１０３、３０３ 重み付け係数計算部
１０４、３０４ 予測ベクトル生成部
１０５、２０５、３０５、４０５ 第２動き検出部
１１１、４０８ 動きベクトル記憶部
２０３、４０３ 第１重み付け係数計算部
２０４、４０４ 第１予測ベクトル生成部
２０６、４０６ 第２重み付け係数計算部
２０７、４０７ 第２予測ベクトル生成部

Claims (17)

  1. 入力画像を所定サイズのブロックに分割し、各入力ブロックの参照画像に対する動きベクトルをｎ段（ｎは２以上の自然数）のパイプライン処理によって検出する動きベクトル検出装置であって、
    前記参照画像における所定の探索範囲内の前記ブロック単位の複数の探索ブロックと前記入力ブロックとから算出される歪量、および前記探索ブロック位置の動きベクトルと第１予測ベクトルと重み付け係数とから算出される補正値に基づいて評価値を前記探索ブロック毎に算出し、前記入力ブロックの位置と前記評価値が最小となる探索ブロックの位置に基づいて、前記入力ブロックの第１動きベクトルを検出する第１動きベクトル検出手段と、
    第ｋ動きベクトル検出手段（ｋは１からｎ−１の自然数）で検出された第ｋ動きベクトルにより特定される位置を中心とする所定の探索範囲内の複数の探索ブロックと前記入力ブロックとから探索ブロック毎に算出される歪量を評価値とし、前記入力ブロックの位置と前記評価値が最小となる探索位置に基づいて、前記入力ブロックの第ｋ＋１動きベクトルを検出する第ｋ＋１動きベクトル検出手段と、
    前記第１動きベクトル検出手段で既に検出された他の入力ブロックの第１動きベクトルに基づいて前記第１予測ベクトルを生成し、生成した前記第１予測ベクトルを前記第１動きベクトル検出手段に通知する第１予測ベクトル生成手段と
    を備えることを特徴とする動きベクトル検出装置。
  2. 前記動きベクトル検出装置は、さらに、
    前記第ｋ＋１動きベクトル検出手段で既に検出された他の入力ブロックの前記第ｋ＋１動きベクトルに基づいて第ｋ＋１予測ベクトルを生成し、生成した前記第ｋ＋１予測ベクトルを前記第ｋ＋１動きベクトル検出手段に通知する第ｋ＋１予測ベクトル生成手段を備え、
    前記第ｋ＋１動きベクトル検出手段は、前記評価値を前記歪量、および前記探索ブロック位置の動きベクトルと前記第ｋ＋１予測ベクトルと重み付け係数とから算出される補正値に基づいて算出する
    ことを特徴とする請求項１記載の動きベクトル検出装置。
  3. 前記第１予測ベクトル生成手段は、生成した前記第１予測ベクトルを前記第ｋ＋１動きベクトル検出手段に通知し、
    前記第ｋ＋１動きベクトル検出手段は、前記評価値を前記歪量、および前記探索ブロック位置の動きベクトルと前記第１予測ベクトルと重み付け係数とから算出される補正値に基づいて算出する
    ことを特徴とする請求項１記載の動きベクトル検出装置。
  4. 前記第１動きベクトル検出手段および前記第ｋ＋１動きベクトル検出手段は、前記入力ブロック単位、または前記入力ブロックを所定サイズに分割した入力サブブロック単位に前記動きベクトルを検出する
    ことを特徴とする請求項１〜請求項３のいずれか１項に記載の動きベクトル検出装置。
  5. 前記歪量は、前記入力ブロックおよび前記探索ブロックを構成する各画素の画素値に基づいて算出される差分絶対値の総和、差分の分散、および２乗誤差の何れかである
    ことを特徴とする請求項１〜請求項４のいずれか１項に記載の動きベクトル検出装置。
  6. 前記第１予測ベクトル生成手段は、前記第１動きベクトル検出手段で既に検出された、前記入力ブロックの左隣に位置する入力ブロックの第１動きベクトルを前記第１予測ベクトルとする
    ことを特徴とする請求項１〜請求項５のいずれか１項に記載の動きベクトル検出装置。
  7. 前記第ｋ＋１予測ベクトル生成手段は、前記第ｋ＋１動きベクトル検出手段で既に検出された、前記入力ブロックの左隣に位置する入力ブロックの第ｋ＋１動きベクトルを前記第ｋ＋１予測ベクトルとする
    ことを特徴とする請求項１〜請求項６のいずれか１項に記載の動きベクトル検出装置。
  8. 前記第１予測ベクトル生成手段は、前記第１動きベクトル検出手段で既に検出された、前記入力ブロックに隣接する一つ以上の入力ブロックの第１動きベクトルの平均値、中央値、最頻値の何れかを前記第１予測ベクトルとする
    ことを特徴とする請求項１〜請求項７のいずれか１項に記載の動きベクトル検出装置。
  9. 前記第ｋ＋１予測ベクトル生成手段は、前記第ｋ＋１動きベクトル検出手段で既に検出された、前記入力ブロックに隣接する一つ以上の入力ブロックの第ｋ＋１動きベクトルの平均値、中央値、最頻値の何れかを前記第１予測ベクトルとする
    ことを特徴とする請求項１〜請求項８のいずれか１項に記載の動きベクトル検出装置。
  10. 前記第１動きベクトル検出手段および前記第ｋ＋１動きベクトル検出手段は、前記重み付け係数をそれぞれ異なる計算方法で算出する
    ことを特徴とする請求項２〜請求項９のいずれか１項に記載の動きベクトル検出装置。
  11. 前記第１予測ベクトル生成手段および前記第ｋ＋１予測ベクトル生成手段は、前記第１予測ベクトルおよび前記第ｋ＋１予測ベクトルをそれぞれ異なる計算方法で生成する
    ことを特徴とする請求項２〜請求項１０のいずれか１項に記載の動きベクトル検出装置。
  12. 入力画像を所定サイズのブロックに分割し、各入力ブロックの参照画像に対する動きベクトルを２段階の処理によって検出する動きベクトル検出装置であって、
    前記参照画像における所定の探索範囲内の前記ブロック単位の複数の探索ブロックと前記入力ブロックとから算出される歪量、および前記探索ブロック位置の動きベクトルと第１予測ベクトルと重み付け係数とから算出される補正値に基づいて評価値を前記探索ブロック毎に算出し、前記入力ブロックの位置と前記評価値が最小となる探索ブロックの位置に基づいて、前記入力ブロックの第１動きベクトルを検出する第１動きベクトル検出手段と、
    第１動きベクトル検出手段で検出された第１動きベクトルにより特定される位置を中心とする所定の探索範囲内の複数の探索ブロックと前記入力ブロックとから探索ブロック毎に算出される歪量を評価値とし、前記入力ブロックの位置と前記評価値が最小となる探索位置に基づいて、前記入力ブロックの第２動きベクトルを検出する第２動きベクトル検出手段と、
    前記第１動きベクトル検出手段で既に検出された他の入力ブロックの第１動きベクトルに基づいて前記第１予測ベクトルを生成し、生成した前記第１予測ベクトルを前記第１動きベクトル検出手段に通知する第１予測ベクトル生成手段と
    を備えることを特徴とする動きベクトル検出装置。
  13. 前記第１動きベクトル検出手段は、前記第１動きベクトルを整数精度で検出し、
    前記第２動きベクトル検出手段は、前記第２動きベクトルを小数精度で検出する
    ことを特徴とする請求項１２記載の動きベクトル検出装置。
  14. 前記動きベクトル検出装置は、さらに、
    前記第２動きベクトル検出手段で既に検出された他の入力ブロックの前記第２動きベクトルに基づいて第２予測ベクトルを生成し、生成した前記第２予測ベクトルを前記第２動きベクトル検出手段に通知する第２予測ベクトル生成手段を備え、
    前記第２動きベクトル検出手段は、前記評価値を前記歪量、および前記探索ブロック位置の動きベクトルと前記第２予測ベクトルと重み付け係数とから算出される補正値に基づいて算出する
    ことを特徴とする請求項１３記載の動きベクトル検出装置。
  15. 入力画像を所定サイズのブロックに分割し、各入力ブロックの参照画像に対する動きベクトルをｎ段（ｎは２以上の自然数）のパイプライン処理によって検出する動きベクトル検出方法であって、
    前記参照画像における所定の探索範囲内の前記ブロック単位の複数の探索ブロックと前記入力ブロックとから算出される歪量、および前記探索ブロック位置の動きベクトルと第１予測ベクトルと重み付け係数とから算出される補正値に基づいて評価値を前記探索ブロック毎に算出し、前記入力ブロックの位置と前記評価値が最小となる探索ブロックの位置に基づいて、前記入力ブロックの第１動きベクトルを検出する第１動きベクトル検出ステップと、
    第ｋ動きベクトル検出ステップ（ｋは１からｎ−１の自然数）により検出された第ｋ動きベクトルにより特定される位置を中心とする所定の探索範囲内の複数の探索ブロックと前記入力ブロックとから探索ブロック毎に算出される歪量を評価値とし、前記入力ブロックの位置と前記評価値が最小となる探索位置に基づいて、前記入力ブロックの第ｋ＋１動きベクトルを検出する第ｋ＋１動きベクトル検出ステップと、
    前記第１動きベクトル検出ステップにより既に検出された他の入力ブロックの第１動きベクトルに基づいて前記第１予測ベクトルを生成し、生成した前記第１予測ベクトルを前記第１動きベクトル検出ステップに通知する第１予測ベクトル生成ステップと
    を含むことを特徴とする動きベクトル検出方法。
  16. 入力画像を所定サイズのブロックに分割し、各入力ブロックの参照画像に対する動きベクトルをｎ段（ｎは２以上の自然数）のパイプライン処理によって検出するためのプログラムであって、
    前記参照画像における所定の探索範囲内の前記ブロック単位の複数の探索ブロックと前記入力ブロックとから算出される歪量、および前記探索ブロック位置の動きベクトルと第１予測ベクトルと重み付け係数とから算出される補正値に基づいて評価値を前記探索ブロック毎に算出し、前記入力ブロックの位置と前記評価値が最小となる探索ブロックの位置に基づいて、前記入力ブロックの第１動きベクトルを検出する第１動きベクトル検出ステップと、
    第ｋ動きベクトル検出ステップ（ｋは１からｎ−１の自然数）により検出された第ｋ動きベクトルにより特定される位置を中心とする所定の探索範囲内の複数の探索ブロックと前記入力ブロックとから探索ブロック毎に算出される歪量を評価値とし、前記入力ブロックの位置と前記評価値が最小となる探索位置に基づいて、前記入力ブロックの第ｋ＋１動きベクトルを検出する第ｋ＋１動きベクトル検出ステップと、
    前記第１動きベクトル検出ステップにより既に検出された他の入力ブロックの第１動きベクトルに基づいて前記第１予測ベクトルを生成し、生成した前記第１予測ベクトルを前記第１動きベクトル検出ステップに通知する第１予測ベクトル生成ステップと
    をコンピュータに実行させることを特徴とするプログラム。
  17. 入力画像を所定サイズのブロックに分割し、各入力ブロックの参照画像に対する動きベクトルをｎ段（ｎは２以上の自然数）のパイプライン処理によって検出するための集積回路であって、
    前記参照画像における所定の探索範囲内の前記ブロック単位の複数の探索ブロックと前記入力ブロックとから算出される歪量、および前記探索ブロック位置の動きベクトルと第１予測ベクトルと重み付け係数とから算出される補正値に基づいて評価値を前記探索ブロック毎に算出し、前記入力ブロックの位置と前記評価値が最小となる探索ブロックの位置に基づいて、前記入力ブロックの第１動きベクトルを検出する第１動きベクトル検出手段と、
    第ｋ動きベクトル検出手段（ｋは１からｎ−１の自然数）で検出された第ｋ動きベクトルにより特定される位置を中心とする所定の探索範囲内の複数の探索ブロックと前記入力ブロックとから探索ブロック毎に算出される歪量を評価値とし、前記入力ブロックの位置と前記評価値が最小となる探索位置に基づいて、前記入力ブロックの第ｋ＋１動きベクトルを検出する第ｋ＋１動きベクトル検出手段と、
    前記第１動きベクトル検出手段で既に検出された他の入力ブロックの第１動きベクトルに基づいて前記第１予測ベクトルを生成し、生成した前記第１予測ベクトルを前記第１動きベクトル検出手段に通知する第１予測ベクトル生成手段と
    を備えることを特徴とする集積回路。
JP2004229039A 2004-08-05 2004-08-05 動きベクトル検出装置および動きベクトル検出方法 Active JP3880985B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004229039A JP3880985B2 (ja) 2004-08-05 2004-08-05 動きベクトル検出装置および動きベクトル検出方法
CNB2005800265815A CN100527848C (zh) 2004-08-05 2005-08-03 运动矢量检测装置及运动矢量检测方法
US11/659,366 US8073057B2 (en) 2004-08-05 2005-08-03 Motion vector estimating device, and motion vector estimating method
EP05768427A EP1775963A4 (en) 2004-08-05 2005-08-03 DEVICE FOR DETECTING MOTION VECTOR, AND METHOD FOR DETECTING MOTION VECTOR
PCT/JP2005/014178 WO2006013877A1 (ja) 2004-08-05 2005-08-03 動きベクトル検出装置および動きベクトル検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004229039A JP3880985B2 (ja) 2004-08-05 2004-08-05 動きベクトル検出装置および動きベクトル検出方法

Publications (2)

Publication Number Publication Date
JP2006050294A true JP2006050294A (ja) 2006-02-16
JP3880985B2 JP3880985B2 (ja) 2007-02-14

Family

ID=35787158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004229039A Active JP3880985B2 (ja) 2004-08-05 2004-08-05 動きベクトル検出装置および動きベクトル検出方法

Country Status (5)

Country Link
US (1) US8073057B2 (ja)
EP (1) EP1775963A4 (ja)
JP (1) JP3880985B2 (ja)
CN (1) CN100527848C (ja)
WO (1) WO2006013877A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154072A (ja) * 2006-12-19 2008-07-03 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2009055254A (ja) * 2007-08-27 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 動き検出装置
JP2009212667A (ja) * 2008-03-03 2009-09-17 Kddi Corp 動画像符号化装置および復号装置
JP2018067949A (ja) * 2009-10-14 2018-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き情報の適応型符号化方法及び装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009923B2 (en) * 2006-03-14 2011-08-30 Celestial Semiconductor, Inc. Method and system for motion estimation with multiple vector candidates
US20070237233A1 (en) * 2006-04-10 2007-10-11 Anthony Mark Jones Motion compensation in digital video
CN101170696B (zh) * 2007-11-26 2010-12-01 电子科技大学 一种运动估计方法
US20090225227A1 (en) * 2008-03-05 2009-09-10 Panasonic Corporation Motion vector detecting device
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
KR100994983B1 (ko) * 2008-11-11 2010-11-18 한국전자통신연구원 고속 움직임 탐색 장치 및 그 방법
JP2010258739A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US9762898B2 (en) * 2010-02-01 2017-09-12 Kelly Y Kishore Method and system for parallelizing video compression
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
CN102316317B (zh) * 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
JP5631229B2 (ja) * 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR101623064B1 (ko) * 2011-03-09 2016-05-20 니폰덴신뎅와 가부시키가이샤 영상 부호화 장치, 영상 부호화 방법 및 영상 부호화 프로그램
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
JP5890794B2 (ja) * 2013-02-28 2016-03-22 株式会社東芝 画像処理装置
US10757437B2 (en) * 2014-07-17 2020-08-25 Apple Inc. Motion estimation in block processing pipelines

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
KR0152013B1 (ko) * 1992-05-08 1998-10-15 강진구 가변장부호화를 고려한 움직임추정장치
DE4322343C2 (de) * 1992-07-06 1996-10-02 Mitsubishi Electric Corp Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
JP3084170B2 (ja) * 1992-08-13 2000-09-04 三菱電機株式会社 動きベクトル検出装置
JP2934156B2 (ja) * 1994-09-12 1999-08-16 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 階層型動き検出方法と装置
US5717463A (en) * 1995-07-24 1998-02-10 Motorola, Inc. Method and system for estimating motion within a video sequence
JPH11243551A (ja) * 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
JPH11239350A (ja) * 1998-02-23 1999-08-31 Oki Electric Ind Co Ltd 動画像信号の動きベクトル検出方法およびフレーム間符号化装置における動きベクトル検出回路
WO2001041451A1 (en) * 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
JP2001197501A (ja) * 2000-01-07 2001-07-19 Fujitsu Ltd 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置
KR100994768B1 (ko) * 2003-12-08 2010-11-16 삼성전자주식회사 동영상 부호화를 위한 움직임 추정 방법 및 이를 구현하기위한 프로그램이 기록된 기록 매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154072A (ja) * 2006-12-19 2008-07-03 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2009055254A (ja) * 2007-08-27 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 動き検出装置
JP2009212667A (ja) * 2008-03-03 2009-09-17 Kddi Corp 動画像符号化装置および復号装置
JP2018067949A (ja) * 2009-10-14 2018-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き情報の適応型符号化方法及び装置

Also Published As

Publication number Publication date
EP1775963A4 (en) 2011-09-28
WO2006013877A1 (ja) 2006-02-09
CN100527848C (zh) 2009-08-12
JP3880985B2 (ja) 2007-02-14
US8073057B2 (en) 2011-12-06
CN1993994A (zh) 2007-07-04
US20080212675A1 (en) 2008-09-04
EP1775963A1 (en) 2007-04-18

Similar Documents

Publication Publication Date Title
JP3880985B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
JP4166781B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
US7412470B2 (en) Arithmetic processing apparatus
US7444026B2 (en) Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith
US20110013697A1 (en) Motion vector prediction method, and apparatus and method for encoding and decoding image using the same
US20060176962A1 (en) Image coding apparatus and image coding method
JP2006304102A (ja) 画像符号化ユニットと画像符号化方法
JP2007124408A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2005303984A (ja) 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
JP2004241918A (ja) 動画像の画像圧縮符号化方法及び装置
US20080212719A1 (en) Motion vector detection apparatus, and image coding apparatus and image pickup apparatus using the same
JP2007129370A (ja) 動きベクトル検出装置及び方法
JP2007096804A (ja) 動き探索方法
JP2007158855A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2005244749A (ja) 動画像符号化装置
JP2010074496A (ja) 動きベクトル検出処理装置本発明は、動画像情報をビデオストリームに符号化する動画像符号化処理における、演算量を削減した動きベクトル検出処理装置に関する。
JP2007096696A (ja) 画像処理装置及び画像処理方法
JP2010081635A (ja) 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム
JP4797999B2 (ja) 画像符号化・復号化装置
JP2009044456A (ja) 画像符号化装置および画像符号化方法
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2006254347A (ja) 画像符号化装置
JPH0262178A (ja) 画像処理装置の動き検出方式
JP2006165699A (ja) 画像符号化装置および画像符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061108

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250