JP2001251632A - 動きベクトル検出方法および装置並びに動きベクトル検出プログラム - Google Patents

動きベクトル検出方法および装置並びに動きベクトル検出プログラム

Info

Publication number
JP2001251632A
JP2001251632A JP2000387684A JP2000387684A JP2001251632A JP 2001251632 A JP2001251632 A JP 2001251632A JP 2000387684 A JP2000387684 A JP 2000387684A JP 2000387684 A JP2000387684 A JP 2000387684A JP 2001251632 A JP2001251632 A JP 2001251632A
Authority
JP
Japan
Prior art keywords
motion vector
block
search area
candidate
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000387684A
Other languages
English (en)
Inventor
Hideki Takeda
田 英 樹 武
Kunihiko Yahagi
萩 邦 彦 矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2000387684A priority Critical patent/JP2001251632A/ja
Priority to US09/746,020 priority patent/US6584155B2/en
Publication of JP2001251632A publication Critical patent/JP2001251632A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 参照画面の端部の動きベクトル検出に際して
補正値を追加して所望の動きベクトル検出時の探索領域
を参照画面内に収めて検出精度の向上を図る。 【解決手段】 原画像画面上の符号化ブロックと原画像
と時間的に異なる参照画面上の探索領域内に存在しかつ
符号化ブロックと同じ面積の複数の２次候補ブロックと
の相関性を求め、相関性が最も高い候補ブロックを選択
してその変位を１次動きベクトルとして求めて、動きベ
クトル／対応する候補ブロックと参照画面の位置関係と
を検出し、探索領域／候補ブロックが参照画面の境界よ
りも内側に位置するかを判定し、探索領域／候補ブロッ
クの一部が境界の外側に位置する場合に探索領域／候補
ブロックが参照画面の境界内に含まれるような所定の補
正量にて１次動きベクトルの位置を補正してから、補正
された動きベクトルと補正量を用いて２次動きベクトル
を検出し、１次動きベクトルと補正量と２次動きベクト
ルとより所望の動きベクトルを求める。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動きベクトル検出
方法および装置に係り、特に動画像の動きベクトルを検
出する過程において参照画面からはみ出した画素の動き
ベクトル候補を例えば半画素精度で探索することのでき
る動きベクトル検出方法および装置、並びに動きベクト
ル検出プログラムに関するものである。
【０００２】
【従来の技術】一般に、動画像における動きの補償や動
画像の圧縮を行なうために動きベクトル検出装置が用い
られている。この動画像圧縮に現在良く用いられている
方式としては、ＭＰＥＧ（Moving Picture Experts Gro
up―動画像専門家グループ―）により標準化作業が行な
われた国際標準規格であるＭＰＥＧ１やＭＰＥＧ２があ
る。これら規格としてのＭＰＥＧにおいては、時間方向
の冗長性を圧縮するため時間的に離れた画面間での動き
補償符号化技術を用いており、この際動きベクトルの検
出が必要になる。
【０００３】動きベクトルの検出は一般に、符号化画像
上の符号化ブロックと、参照画像上の所定の探索領域内
にある、上記符号化ブロックと同じサイズの複数の候補
ブロックと、でブロックマッチングを行ない、ブロック
間の相関性を求めてもっとも相関性の高いブロックに対
する符号化ブロックからの変位を動きベクトルとすると
いう手法を用いている。ここで、符号化ブロックとは符
号化の対象となる原画像上のブロックのことをいい、参
照画面とは参照画像を含む画面全体のことをいい、候補
ブロックとはある符号化ブロックの動きベクトルを検出
する際に参照される参照画像上のブロックのことをい
う。また、探索領域とはある符号化ブロックに対する全
候補ブロックを含む参照画面内のある領域のことをい
う。
【０００４】ブロックマッチングにおいては、２つのブ
ロックの同じ位置にある画素の差分絶対値を算出し、そ
れをブロック内の全域の画素について加算した値を相関
性を表す指標値として用いることが多い。この場合、こ
の指標値が小さいほど相関性が高いことになる。
【０００５】ＭＰＥＧ２のテストモデルでは、動きベク
トルの探索精度として１次探索では１画素精度の探索を
行ない、２次探索では半画素精度の探索を行なうことが
推奨されており、通常、１次探索では参照画像として原
画像を用い、２次探索では符号化装置内で符号化された
画像データを復号化したローカル復号化画像を参照画像
として用いていることが多い。
【０００６】１画素精度の動きベクトル検出時における
参照画面端の処理については、公知の動きベクトル検出
装置、例えば動きベクトル検出装置として製造されたＭ
ＰＥＧ２符号化ＬＳＩ（Large Scale Integrated-circu
it）においては、ある符号化ブロックにおける１画素精
度の動きベクトル検出を行なう際に、探索領域が参照画
面からはみ出さない、すなわち、求められる動きベクト
ルが参照画面内に収まるように補正を行なうようにして
いる。
【０００７】しかしながら、ある符号化ブロックの１画
素精度の動きベクトルが参照画面の境界を指している場
合には、この１画素精度の動きベクトルを探索中心とし
た半画素精度の動きベクトル検出を行なう際に、探索領
域内の１つ以上の候補ブロックにおいてブロック内の画
素の一部が参照画面の外にはみ出してしまう虞れがあ
る。例えば、参照画面の境界付近を模式的に示す図１９
において、符号２０３を付した領域内の半画素精度の動
きベクトル候補のうち１番左上のものに関してはそれを
左上の画素として含む候補ブロックは図中の一点鎖線で
囲まれた領域となり、参照画面外の画素を含むことにな
る。
【０００８】図１９において、１画素精度の動きベクト
ル２０１は、参照画面の画面端２０２の左上隅に位置し
ている。この動きベクトル２０１を探索中心とした場合
の半画素精度の動きベクトル候補の領域２０３において
は、参照画面の画面端２０２よりはみ出す領域２０４が
存在し、この領域２０４の動きベクトル候補は動きベク
トル検出のための演算には用いられないため、半画素精
度の動きベクトル候補のうち領域２０５内の点のみが実
際には動きベクトル候補として用いられる。
【０００９】このような場合に、上述した従来の符号化
ＬＳＩにおいては、はみ出した画素を含む候補ブロック
を検出して、該当候補ブロックに関しては半画素精度の
動きベクトル検出の候補から除外するという処理を行な
うことによって対処するようにしている。
【００１０】また、本出願人により出願された特開平５
−２２７５２５号公報に開示された画像符号化装置にお
いては、特に請求項５に記載されているように、１次動
き探索により検出した動きベクトルが探索領域内のどの
領域から検出されたかに応じて２次動き探索の際の探索
領域および動きベクトル検出精度のうちの少なくとも何
れか一方を制御する手段が設けられている。
【００１１】従来の動きベクトル検出装置においても、
１画素精度の動きベクトルが参照画面の境界を指し、そ
れに対する半画素精度の動きベクトル検出時の候補ブロ
ックの一部が参照画面外にはみ出す場合に、半画素精度
の動きベクトル検出に必要な候補ブロックの探索を行な
うことは上述した２つの方法により可能である。
【００１２】
【発明が解決しようとする課題】しかしながら、前者の
従来技術においては、探索領域の全てが参照画面内に含
まれる場合と比較すると、動きベクトル候補の数が少な
くなってしまい、例えば図１９により示された領域２０
３内の半画素精度の動きベクトル候補のうち領域２０５
により示される４つのみが動きベクトル候補となる。ま
た、参照画面上の本来の探索領域よりも直ぐ内側に相関
性の最も高い候補ブロックがある場合においても、その
候補ブロックは検出対象には含まれず、その結果、２次
動きベクトル検出で求められる半画素精度の動きベクト
ル検出における検出精度が悪くなるという問題点があっ
た。
【００１３】また、後者の従来技術においては、２次動
き探索時の探査領域の制御のために１次動きベクトルの
探索領域内での位置を使用しており、上記探索領域の参
照画面内での位置情報がなければ、上記１次動きベクト
ルが参照画面の端に位置しているか否かの判定ができな
いという問題があった。また、符号化ブロックと候補ブ
ロックとの相関性を求めるためにハードウェアリソース
を用いている場合には参照画面の外側にはみ出した候補
ブロックについてはその部分についての構成が無駄にな
り、その分ハードウェアリソースの使用効率が悪くなっ
てしまうという問題があった。
【００１４】本発明は上述した問題点を解消するもので
あり、この発明の目的は、参照画面の端に位置する画素
の動きベクトル検出に際して補正値を追加することによ
り半画素精度の動きベクトル検出を行なう際の探索領域
を参照画面内に収めることができると共に、これにより
半画素精度の動きベクトルの検出精度を向上させること
のできる動きベクトル検出装置および方法を提供するこ
とにある。
【００１５】また、本発明の他の目的は、１画素精度の
動きベクトル検出においても、参照画像として原画像を
用いており、半画素精度の動きベクトル検出よりも精度
が悪いため、半画素精度の動きベクトル検出時に探索領
域を充分に確保することにより動きベクトルの検出精度
を充分に向上させた動きベクトル検出装置および方法を
提供することにある。
【００１６】
【課題を解決するための手段】上記目的を達成するた
め、本発明の第１の基本構成に係る動きベクトル検出方
法は、符号化された原画像の画面上で任意の面積を占め
る符号化ブロックと、この原画像と時間的に異なる参照
画像の画面上で任意の大きさを有する探索領域内に存在
し前記符号化ブロックと同じ面積を占める複数個の候補
ブロックと、の両者の相関性を求めるステップと、前記
複数個の候補ブロックの中から相関性が最も高い候補ブ
ロックを選択してそのときの変位を１次動きベクトルと
して求めるステップと、前記１次動きベクトルに基づい
て２次探索領域を決定し、その探索領域内に存在する前
記符号化ブロックと同じ面積を占める複数個の２次候補
ブロックまたは前記１次動きベクトルと、前記参照画面
の位置関係と、を検出して、前記２次探索領域または前
記２次候補ブロックが前記参照画面の境界よりも外側に
位置するか否かを判定するステップと、前記２次探索領
域または２次候補ブロックの一部が前記境界の外側に位
置しているものと判定された場合に、前記２次探索領域
または前記２次候補ブロックが前記参照画面の境界内に
含まれるような所定の補正量にて前記１次動きベクトル
の位置を補正するステップと、前記位置が補正された動
きベクトルに基づいた補正後の２次探索領域内に存在す
る、前記符号化ブロックと同じ面積を占める複数個の補
正後の２次候補ブロックと、前記符号化ブロックと、の
両者の相関性を求めるステップと、前記複数個の２次候
補ブロックの中から相関性が最も高い２次候補ブロック
を選択して、そのときの変位を２次動きベクトルとして
求めるステップと、前記１次動きベクトルと、前記補正
量と、前記２次動きベクトルより所望の動きベクトルを
求めるステップと、を備えることを特徴とする。なお、
前記１次動きベクトルを前記補正量により補正して、補
正後の１次動きベクトルを得ている。
【００１７】また、上記第１の基本構成による動きベク
トル検出方法において、前記１次動きベクトルに対して
位置を補正するステップは、１次動きベクトルの前記探
索領域または候補ブロックの一部分が前記参照画面の境
界よりも外側にはみ出している場合に、このはみ出した
一部分が前記参照画面の境界の内側に含まれるように前
記１次動きベクトルまたは前記探索領域を参照画面の内
側に移動させるようにしても良い。
【００１８】また、上記第１の基本構成に係る動きベク
トル検出方法において、前記１次動きベクトルに基づい
て位置を補正するステップは、１次動きベクトルの前記
探索領域または候補ブロックの一部分が前記参照画面の
境界よりも外側にはみ出している場合に、このはみ出し
た一部分に相当する画素分だけ前記探索領域または前記
候補ブロックを前記参照画面の内側方向に拡張し、その
後前記はみ出した一部分を削除することにより、前記１
次動きベクトルまたは前記探索領域を参照画面の内側に
移動させるようにしても良い。
【００１９】また、上記第１の基本構成に係る動きベク
トル検出方法において、前記１次動きベクトルは１画素
精度で求められ、前記２次動きベクトルまたは前記所望
の動きベクトルは半画素精度で求められるようにしても
良い。
【００２０】また、上記第１の基本構成に係る動きベク
トル検出方法において、前記所望の動きベクトルを利用
して画像データを可変長符号化するステップをさらに備
えるようにしても良い。
【００２１】さらに、本発明の第２の基本構成に係る動
きベクトル検出装置は、符号化された原画像の画面上で
任意の面積を占める符号化ブロックと、この原画像と時
間的に異なる参照画像の画面上で任意の大きさを有する
探索領域内に存在し前記符号化ブロックと同じ面積を占
める複数個の候補ブロックと、の両者の相関性を求め
て、その複数個の候補ブロックの中から相関性が最も高
い候補ブロックを選択し、そのときの変位を１次動きベ
クトルとして求める１次動きベクトル検出部と、前記１
次動きベクトルに基づいて２次探索領域を決定し、その
２次探索領域内に存在する前記符号化ブロックと同じ面
積を占める複数個の２次候補ブロック、または前記１次
動きベクトルと、前記参照画面の位置関係とを検出し
て、前記２次探索領域または前記２次候補ブロックが前
記参照画面の境界よりも外側に位置するか否かを判定す
る１次動きベクトル位置判定部と、前記２次探索領域ま
たは前記２次候補ブロックの一部が前記境界の外側に位
置しているものと判定された場合に、前記２次探索領域
または前記２次候補ブロックが前記参照画面の境界内に
含まれるような所定の補正量にて、前記１次動きベクト
ルの位置を補正する１次動きベクトル位置補正部と、前
記位置が補正された動きベクトルに基づいた補正後の２
次探索領域内に存在する、前記符号化ブロックと同じ面
積を占める複数個の補正後の２次候補ブロックと、前記
符号化ブロックと、の両者の相関性を求め、前記複数個
の２次候補ブロックの中から相関性が最も高い２次候補
ブロックを選択して、そのときの変位を２次動きベクト
ルとして求める２次動きベクトル検出部と、前記１次動
きベクトルと、前記補正量と、前記２次動きベクトルよ
り所望の動きベクトルを求める所望の動きベクトル検出
部と、を備えることを特徴とする。
【００２２】また、上記第２の基本構成に係る動きベク
トル検出装置において、前記１次動きベクトル位置補正
部は、前記１次動きベクトルの前記探索領域または候補
ブロックの一部分が前記参照画面の境界よりも外側には
み出している場合にこのはみ出した一部分が前記参照画
面の境界の内側に含まれるように前記１次動きベクトル
または前記探索領域を参照画面の内側に移動させるよう
に構成しても良い。
【００２３】また、上記第２の基本構成に係る動きベク
トル検出装置において、前記１次動きベクトル位置補正
部は、前記１次動きベクトルの前記探索領域または候補
ブロックの一部分が前記参照画面の境界よりも外側には
み出している場合に、このはみ出した一部分に相当する
画素分だけ前記探索領域または前記候補ブロックを前記
参照画面の内側方向に拡張し、その後前記はみ出した一
部分を削除することにより、前記１次動きベクトルまた
は前記探索領域を参照画面の内側に半画素精度で移動さ
せるように構成しても良い。
【００２４】さらに、本発明の第３の基本構成に係る動
きベクトル検出手順を記録した記録媒体は、符号化され
た原画像の画面上で任意の面積を占める符号化ブロック
と、この原画像と時間的に異なる参照画像の画面上で任
意の大きさを有する探索領域内に存在し前記符号化ブロ
ックと同じ面積を占める複数個の候補ブロックと、の両
者の相関性を求める手順と、前記複数個の候補ブロック
の中から相関性が最も高い候補ブロックを選択してその
ときの変位を１次動きベクトルとして求める手順と、前
記１次動きベクトルに基づいて２次探索領域を決定し、
その２次探索領域内に存在する前記符号化ブロックと同
じ面積を占める複数個の２次候補ブロック、または前記
１次動きベクトルと、前記参照画面の位置関係と、を検
出して、前記２次探索領域または前記２次候補ブロック
が前記参照画面の境界よりも外側に位置するか否かを判
定する手順と、前記２次探索領域または２次候補ブロッ
クの一部が前記境界の外側に位置しているものと判定さ
れた場合に、前記２次探索領域または前記２次候補ブロ
ックが前記参照画面の境界内に含まれるような所定の補
正量にて前記１次動きベクトルの位置を補正する手順
と、前記位置が補正された動きベクトルに基づいた補正
後の２次探索領域内に存在する、前記符号化ブロックと
同じ面積を占める複数個の補正後の２次候補ブロック
と、前記符号化ブロックと、の両者の相関性を求める手
順と、前記複数個の２次候補ブロックの中から相関性が
最も高い２次候補ブロックを選択して、そのときの変位
を２次動きベクトルとして求める手順と、前記１次動き
ベクトルと、前記補正量と、前記２次動きベクトルより
所望の動きベクトルを求める手順と、を備えることを特
徴としている。
【００２５】上記第１ないし第３の基本構成において
は、１次動きベクトルと２次動きベクトルとの２つの動
きベクトルとそれぞれの動きベクトルの移動量を用いて
所望の動きベクトルを求める動きベクトル検出方法、装
置およびプログラムについて説明した。しかし、本発明
においては、１ないしｎ個（ｎは正の整数）の動きベク
トルとそれぞれの動きベクトルの移動量とを用いて、所
望の動きベクトルを求める全ての動きベクトル検出方
法、装置およびプログラムに本発明を適用することがで
きる。
【００２６】例えば、１次動きベクトルとその補正量お
よび２次動きベクトルから所望の動きベクトルを求めて
いたが、１次動きベクトルとその１次補正量に基づいて
２次動きベクトルを求めた後、同様の方法により、２次
動きベクトルとその２次補正量に基づいて３次動きベク
トルを求め、……、同様に（ｉ−１）次動きベクトル
（１＜ｉ≦ｎ）とその（ｉ−１）次補正量に基づいてｉ
次動きベクトルを求め、……、（ｎ−１）次動きベクト
ルとその（ｎ−１）次補正量に基づいてｎ次動きベクト
ルを求め、１次ないし（ｎ−１）次動きベクトル、１次
ないし（ｎ−１）次補正量およびｎ次動きベクトルから
最終的に求めるべき所望の動きベクトルを求めるように
しても良い。
【００２７】
【発明の実施の形態】以下、添付図面を参照しながら本
発明に係る動きベクトル検出方法および装置並びに動き
ベクトル検出プログラムの実施形態について、詳細に説
明する。
【００２８】図１は、本発明の第１実施形態に係る動き
ベクトル検出装置の構成を示すブロック図である。同図
において、動きベクトル検出装置は参照画像（原画像）
と符号化画像を入力して１次動きベクトルを検出する１
次動きベクトル検出部１と、検出部１により出力された
１次動きベクトルの位置を判定してその位置が参照画面
の上下左右の辺に接しているか否かの位置情報を出力す
る１次動きベクトル位置判定部２と、前記検出部１の出
力した１次動きベクトルと判定部２の出力した前記位置
情報とに基づいて１次動きベクトル補正を行なって補正
後１次ベクトルとその補正量とを出力する１次動きベク
トル補正部３と、この補正部３より出力された補正後１
次動きベクトルと補正量とに基づいて参照画像（ローカ
ル復号化画像）と符号化画像を入力して２次動きベクト
ルを出力する２次動きベクトル検出部４と、１次動きベ
クトルと１次動きベクトル補正量と２次動きベクトルを
足し合わせて所望の動きベクトルを求める動きベクトル
合成部１０と、を備えている。
【００２９】これ以降の実施形態の説明においては、１
次動きベクトル検出を１画素精度で行ない、２次動きベ
クトルまたは所望の動きベクトル検出を半画素精度で行
なう場合を例にとって説明するが、動きベクトル検出に
おける画素精度はこれらの数値に限定されるものではな
く、１次，２次および所望の動きベクトル検出とも他の
画素精度の組み合わせとしても本発明は実施することが
できる。
【００３０】１次動きベクトル検出部１は、原画像を参
照画像として用いた１画素精度の動きベクトル検出を行
なっている。符号化画像（原画像）上のあるサイズの符
号化ブロックと参照画像上の所定の探索領域内に含まれ
る符号化ブロックと同じサイズの複数個の候補ブロック
との間の相関性とをそれぞれ求める。このとき、例えば
符号化ブロックと候補ブロックとのそれぞれ同位置にあ
る画素の差分絶対値をブロック内の全画素について加算
したテーブル等を相関性を示す指標として用いたりして
いる。
【００３１】あるサイズの符号化マクロブロックと、こ
れと同じサイズの参照画像マクロブロックとの差分絶対
値和を求めるための式としては、以下のように表すこと
ができる。演算対象であるマクロブロックサイズが８×
８画素の場合、参照画像上のある画素（ｈ，ｖ）に対す
るマッチングブロックの差分絶対値和ＡＥ（ｈ，ｖ）
は、 ＡＥ（ｈ，ｖ）＝Σ（ｉ＝０〜７）Σ（ｊ＝０〜７）｜
RefDat(h+i,v+j) − CurMBDat(i,j)｜ ただし、RefDat(i,j)は参照画像マクロブロックデータ
であり、CurMBDat(i,j)は符号化マクロブロックデータ
である。例えば、参照画像マクロブロックは、図２
（ａ）の位置関係にあり、符号化マクロブロックは図２
（ｂ）のような位置関係にある。
【００３２】ブロックマッチング演算により求めた各ブ
ロックに対する差分絶対値和の中から一番値の小さいも
のが選択される。値が等しい場合には、例えばマッチン
グポイント（動きベクトル候補点）の集合領域の中心か
らの距離などを考慮して優先順位を決めて、最適なブロ
ックを選択する。該当ブロックに含まれる動きベクトル
候補点をもって１次動きベクトルとする。
【００３３】以上のようにして、符号化ブロックと最も
相関性の高い候補ブロックを検出し該当候補ブロックの
左上の画素位置を動きベクトル候補として検出する。な
お、参照画像は、画像を再生する順序という意味では原
画像よりも時間的には前である場合も後である場合もあ
るが、符号化順序という意味では原画像よりも前にある
ものとする。
【００３４】次に、１次動きベクトル位置判定部２につ
いて説明する。この判定部２は、１画素精度の動きベク
トルに基づいた、２次探索領域、または２次候補ブロッ
クが参照画像の境界よりも外に出ているか否かの判断を
行なうものであり、本発明の最も特徴的な構成・動作を
司るものである。１次動きベクトル検出部１により検出
された１次動きベクトルに基づいて決定した２次候補ブ
ロックの任意の辺が、参照画面の境界の外側にあるか否
かの検出を行なう。外側にある場合には、上下左右の何
れの辺が境界と接しているのかも検出し、以下のそれぞ
れの場合に従って半画素精度で上記動きベクトルの補正
を行なう。なお、水平方向は画面の右側がプラス方向で
あり、垂直方向は画面の下側がプラス方向である。
【００３５】すなわち、フレーム動きベクトル検出時、
例えば１次動きベクトルを中心に半画素精度で水平，垂
直±１の領域に含まれる９画素を２次動きベクトル候補
点とする場合に、参照画面の外側にある辺が２次候補ブ
ロックの左辺である場合の補正量は半画素精度で水平方
向に＋１（右方向）であり、外側にある辺が２次候補ブ
ロックの上辺である場合の補正量は垂直方向に＋１（下
方向）であり、外側にある辺が２次候補ブロックの右辺
である場合の補正量は水平方向に−１（左方向）であ
り、外側にある辺が２次候補ブロックの下辺である場合
の補正量は垂直方向に−１（上方向）である。
【００３６】例えば、図３に示すように、１画素精度の
動きベクトルが参照画面の最も左上にある場合には、矢
印３０５により示される補正を行なう。図３は１画素精
度の１次動きベクトルが参照画面の左上端を指す場合の
補正のし方を説明する模式図であり、１画素精度の動き
ベクトル３０１は、参照画面の境界３０２の隅の箇所を
指している。動きベクトル３０１を探索中心とした場
合、半画素精度の動きベクトル候補は、図中実線で囲ま
れた領域３０３内に○と×により示されている。この領
域３０３を水平方向と垂直方向にそれぞれ＋１ずつ移動
すると、参照画面の境界３０２内に半画素精度の動きベ
クトル候補が含まれることになる。なお、２点鎖線で囲
まれた領域３０９は、参照画面における動きベクトルの
探索領域である。
【００３７】補正後の１画素精度の動きベクトル３０４
は、矢印３０５だけ補正が行なわれた後のものであり、
補正後の動きベクトル３０４を半画素精度の動きベクト
ル検出の探索中心とした場合、領域３０６内に半画素精
度の動きベクトル候補が含まれることになる。符号３０
７は領域３０６内の左上の半画素精度動きベクトル候補
を左上の画素として有する候補ブロックであり、符号３
０８は領域３０６内の右下の半画素精度の動きベクトル
候補を左上の画素として有する候補ブロックであり、候
補ブロック３０７，３０８の大きさは半画素精度でそれ
ぞれ水平方向に６個，垂直方向に６個の場合を示してい
る。
【００３８】また、図４に示すように、１画素精度の１
次動きベクトルが参照画面の左端を指している場合に
は、矢印４０４による補正を行なう。１画素精度の動き
ベクトル４０１は３行目の１列目を指しており、この動
きベクトル４０１を探索中心として９個の画素を１つの
領域で括ると、境界４０２よりはみ出す画素が図示のよ
うに３つ生ずることになる。そこで、矢印４０４のよう
な補正を掛けてやることにより補正後の１画素精度動き
ベクトル４０３を中心とした半画素精度２次動きベクト
ル候補点の集合領域が設定される。この候補点集合領域
の左上の半画素精度の動きベクトル候補を左上の画素と
して有する候補ブロックと、設定された候補点集合領域
の右下の半画素精度の動きベクトル候補を左上の画素と
して有する候補ブロックと、がそれぞれ一点鎖線で示さ
れている。
【００３９】また、図５に示すように、１画素精度の１
次動きベクトルが参照画面の右下端を指している場合に
は、矢印５０４による補正を行なう。すなわち、半画素
精度の動きベクトル候補についての候補ブロックは、候
補点集合領域の右下の半画素精度の動きベクトル候補を
左上の画素として括られる水平方向，垂直方向それぞれ
６画素ずつの画素により構成されるので、探索中心の動
きベクトル５０１が参照画面の右端から６つ目の列で下
端から６つ目の行である場合には、矢印５０４の補正を
行なう必要がある。
【００４０】動きベクトル５０１が図５に示す位置を指
している場合には、その動きベクトル５０１を探索中心
とする探索領域では半画素精度の候補ブロックが参照画
面の境界５０２からはみ出してしまうので、水平方向，
垂直方向にそれぞれ−１ずつ補正を加えれば、探索領域
は図５に示すように移動する。この補正後の１次動きベ
クトルを中心とした９つの画素について動きベクトル候
補ブロックを設定する場合、候補点集合領域の左上の動
きベクトル候補を左上の画素として有する候補ブロック
と、候補点集合領域の右下の動きベクトル候補を左上の
画素として有する候補ブロックとは、それぞれ図５に一
点鎖線により示される範囲となる。
【００４１】以上のように、１画素精度の１次動きベク
トルが参照画面上の境界近傍の何れを指していても、候
補ブロックが参照画面内に含まれるように探索領域を補
正することにより、動きベクトルの検出精度を低下させ
ることなく確実な検出を行なうことが可能となる。な
お、上辺、下辺、右辺と、右上隅および左下隅等につい
ては図示説明を省略したが、図４により説明した左辺
や、図３により説明した左上隅、図５により説明した右
下隅と同一の補正を掛けていることは勿論である。
【００４２】上記説明においては、フレーム動きベクト
ルを検出する場合について説明したが、動きベクトルの
検出はフィールド端にて行なうこともある。フィールド
動きベクトル検出時、例えば１次動きベクトルを中心に
半画素精度で水平±２，垂直±１の領域内に含まれる１
５画素を２次動きベクトル候補点とする場合において
は、参照画面と接している辺が候補ブロックの左辺であ
る場合の補正量は、水平方向に＋２（右方向）であり、
参照画面と接している辺が候補ブロックの上辺である場
合の補正量は、垂直方向に＋１（下方向）であり、参照
画面と接している辺が候補ブロックの右辺である場合の
補正量は、水平方向に−２（左方向）であり、参照画面
と接している辺が候補ブロックの下辺である場合の補正
量は、垂直方向に−１（上方向）である。
【００４３】例えば、１画素精度の動きベクトルが参照
画面の最も左上隅にある場合には、図６に示すように、
矢印６０４による補正を行なう。動きベクトル６０１が
参照画面の上辺・左辺の境界６０２に対して最も左上隅
を指しているので、動きベクトル６０１を探索中心とす
る領域における上１行と左２列は境界６０２からはみ出
してしまう。このため、探索領域が境界６０２内となる
ように水平方向に＋２垂直方向に＋１の補正を行なうこ
とにより、半画素精度の動きベクトル検出を行なう際の
全ての候補ブロックを参照画面内に収めることができ
る。なお、上記の説明ではフレーム動きベクトルを検出
する場合の動きベクトルの候補の数を９画素、フィール
ド動きベクトルを検出する場合の動きベクトルの候補の
数を１５画素とするものとして説明したが、フレーム動
きベクトルを検出する場合の動きベクトルの候補の数を
１５画素、フィールド動きベクトルを検出する場合の動
きベクトルの候補の数を９画素としても良いし、それぞ
れをその他の任意の数としても良い。
【００４４】ここで求められた補正量は、２次動きベク
トル検出時の優先順位付等に用いることが可能であるの
で、補正後の動きベクトルと共に、２次動きベクトル検
出ブロックへ送出するように構成されている。
【００４５】ここで、１次動きベクトルの位置判定の手
順について纏めて説明する。動きベクトルの位置は１次
動きベクトルの座標、２次動きベクトル候補点の集合領
域のサイズの座標、２次動きベクトルの候補ブロックの
サイズを用いて判定する。座標の単位は、ｉ画素であっ
たり１／ｉ画素画素であったりする（ｉは正の整数）。
参照画面のフレームサイズを座標により表現すると最左
上座標は（水平，垂直）＝（Hmin,Ｖmin）となり、最右
下座標は（水平，垂直）＝（Ｈmax ,Ｖmax ）となり、
１次動きベクトル（水平，垂直）＝（Ｈmv,Ｖmv）とな
り、この場合に以下の各々の条件を満たすか否かについ
て判定を行なう。
【００４６】Δx1 ＝ Ｈmin ＋ ｘ − Ｈmvが正の場合
には、最も左側の２次候補ブロックの左側の一部が参照
画面の外にある。Δx2 ＝ Ｈmv ＋ ｘ ＋ (ｍ−１) −
Ｈmaxが正の場合には、最も右側の２次候補ブロックの
右側の一部が参照画面の外にある。Δy1 ＝ Ｖmin ＋
ｙ − Ｖmvが正の場合には、最も上側の２次候補ブロッ
クの上側の一部が参照画面の外にある。Δy2 ＝ Ｖmv
＋ ｙ ＋ (ｎ−１) −Ｖmaxが正の場合には、最も下側
の２次候補ブロックの下側の一部が参照画面の外にあ
る。ここでは、２次動きベクトル検出を行なう際の候補
ブロックのサイズが水平ｍ座標、垂直ｎ座標の領域であ
り、２次動きベクトルの候補点の座標が、正の整数ｘ，
ｙを用いて１次動きベクトルの点を中心として水平方向
に−ｘ，−（ｘ−１），…，−１，０ , １，…，ｘ−
１，ｘの範囲内で、垂直方向に−ｙ，−（ｙ−１），
…，−１，０，１，…，ｙ−１，ｙの範囲内にある点の
集合で表され、Ｈmax ，Ｖmax は正の整数である。
【００４７】１次動きベクトル補正は、１次動きベクト
ルの位置判定の結果に基づいて、２次動きベクトル検出
時の全候補ブロックが画面内に収まるように１次動きベ
クトルの補正を行なう。すなわち、上述したように参照
画面の外周側の境界から動きベクトル候補ブロックがは
み出すような動きベクトルに対しては、候補ブロックが
全て参照画面の境界内に収まるような補正が掛けられ
る。このときの補正についても座標を例にして説明す
る。
【００４８】例えば、最も左側の２次候補ブロックの左
側が参照画面の左辺から外に出ている場合には水平方向
に＋Δx1の補正を行ない、最も右側の２次候補ブロック
の右側が参照画面の右辺から外に出ている場合には水平
方向に−Δx2の補正を行ない、最も上側の２次候補ブロ
ックの上側が参照画面の上辺から外に出ている場合には
垂直方向に＋Δy1の補正を行ない、最も下側の２次候補
ブロックの下側が参照画面の下辺から外に出ている場合
には垂直方向に−Δy2の補正を行なっている。なお、補
正量Δx1，Δx2，Δy1，Δy2は、前記１次動きベクトル
の位置判定の際に用いた、 Δx1 ＝ Ｈmin ＋ ｘ − Ｈmv， Δx2 ＝ Ｈmv ＋ ｘ ＋ (ｍ−１) − Ｈmax ， Δy1 ＝ Ｖmin ＋ ｙ − Ｖmv， Δy2 ＝ Ｖmv ＋ ｙ ＋ (ｎ−１) − Ｖmax で表される量であり、補正を行う場合、つまり候補ブロ
ックが参照画像の外に出ている場合は、該当する補正量
は正の整数である。
【００４９】例えば、最も左側の２次候補ブロックの左
辺が、参照画面の左辺の外側に出ている場合、補正後の
動きベクトルの座標は（Ｈmv + Δx1、Ｖmv）となり、
また、最も左側の２次候補ブロックの左辺と上辺が、参
照画面の左辺と上辺の外側に出ている場合の補正後の動
きベクトルの座標は（Ｈmv + Δx1、Ｖmv + Δy1）とな
る。また、最も右側の２次候補ブロックの右辺と下辺
が、参照画面の右辺と下辺の外側に出ている場合、補正
後の動きベクトルの座標は（Ｈmv− Δx2、Ｖmv− Δy
2）となる。ここでは、２次動きベクトルの候補点の座
標が、１次動きベクトルの点を中心として水平方向に−
ｘ，−（ｘ−１），…，−１，０，１，…，ｘ−１，ｘ
の範囲内で、垂直方向に−ｙ，−（ｙ−１），…，−
１，０，１，…，ｙ−１，ｙの範囲内にある点の集合で
表されるものとしている。
【００５０】次に、２次動きベクトル検出部４の動作に
ついて説明する。２次動き検出ではローカル復号化画像
を参照画像として用いた半画素精度の動きベクトル検出
を行なうものである。符号化画像（原画像）上にあるサ
イズの符号化ブロックと、上記補正後の１画素精度の動
きベクトルにより設定される探索領域内に含まれる符号
化ブロックと同一サイズの複数個の候補ブロックとの間
で相関性を求める。このとき、例えば１次動きベクトル
検出時に用いたものと同様な方法を用いることができ
る。
【００５１】また、１次動きベクトル補正部３から送ら
れてきた補正量を用いることにより、元々の１画素精度
の１次動きベクトルを探索中心とした場合の優先順位付
が可能となる。全候補ブロックの中から符号化ブロック
との相関性が最も高いブロックを求め、該当候補ブロッ
クの左上の画素位置を動きベクトルとして検出する。
【００５２】上記動きベクトル検出における探索領域
は、補正後１画素精度動きベクトルを中心として半画素
精度で以下のように任意の組み合わせによりずらした点
が左上の画素を含む候補ブロックの集合として求められ
る。すなわち、フレーム動きベクトル検出時において
は、垂直方向および水平方向にそれぞれ−１，０，＋１
の変移量であり、フィールドベクトル検出時には、垂直
方向に−１，０，＋１、水平方向に−２，−１，０，＋
１，＋２の変位量で任意にずらすものとする。
【００５３】結局、１次動きベクトル検出により求めら
れた１画素精度の動きベクトルの参照画面内での位置に
影響されずに、常に、フレーム動きベクトル検出の場合
は９個の画素よりなる候補ブロック（つまり半画素精度
の動きベクトル候補）が探索領域内に含まれ、また、フ
ィールド動きベクトル検出の場合は１５個の候補ブロッ
クが探索領域内に含まれることになり、この中から半画
素精度の動きベクトルを検出することが可能となる。具
体例により説明すると、フレーム動きベクトル検出の場
合には、図３の領域３０６内の９個の動きベクトルを検
出することになり、フィールド動きベクトル検出の場合
には図６の領域６０５内の１５個の動きベクトルを検出
することになる。
【００５４】この２次動きベクトル検出の検出部４が検
出する２次動きベクトルは、前記ｘ、ｙを用いると、１
次動きベクトルを中心とした水平方向に(２ｘ＋１)個、
垂直方向に(２ｙ＋１)個の「(２ｘ＋１)×(２ｙ＋１)」
個のブロックをマッチングポイントとしてブロックマッ
チング演算を行なって求めることになる。ブロックマッ
チング演算や最小値判定については、１次動きベクトル
検出の場合と同様の方法により行なえば良い。
【００５５】以上のようにして、１次、２次動きベクト
ル検出を行なって所望の動きベクトルを見つける際に、
全候補ブロックが参照画面の範囲から外に出ない場合
と、全候補ブロックの一部が参照画面外に出てしまう場
合とを図７ないし図９を参照しつつ説明する。
【００５６】全候補ブロックが参照画面外に出ない場合
は、図７に示すように、動きベクトル原点について矢印
のような１次動きベクトルが求められ、この１次動きベ
クトルだけ移動した画素を中心に２次動きベクトル候補
点集合領域が設定されて２次動きベクトルが求められ、
この２次動きベクトルだけ移動した画素に対して動きベ
クトル原点からの動きベクトルが所望の動きベクトルと
して求められることになる。このように、全候補ブロッ
クが完全に参照画面内に収まる場合には従来の手法であ
っても本願の手法であっても共に図７に示すような方法
により所望の動きベクトルを求めることができる。
【００５７】これに対して、全候補ブロックの一部が参
照画面の外側にはみ出してしまう場合には、図８に示す
従来の手法と図９に示す本願の手法とで相違している。
左上角にある動きベクトル原点から求められた１次動き
ベクトルが左辺に沿った図８および図９のような場合、
２次動きベクトルの候補点の集合領域は参照画面の左辺
よりはみ出してしまう。このとき、参照画面の左辺より
はみ出した斜線の部分は候補から削除しているため、２
次動きベクトルは候補点集合領域内の画素に対する動き
ベクトルとして求められ、図８に示されるように、所望
の動きベクトルも動きベクトル原点から２次動きベクト
ルの移動先の画素に向かうものとして求められる。
【００５８】本願による手法では、動きベクトル原点か
らの１次動きベクトルが求められた後に、補正量を求め
てこの補正量に基づいて補正後の１次動きベクトルが求
められ、図９に示されるように、その先の画素を中心と
して補正後の２次動きベクトル候補点集合領域が設定さ
れて、その中で２次動きベクトルが求められて所望の動
きベクトルが図示のように求められる。このようにし
て、本願の手法により見つけることができる２次動きベ
クトルや所望の動きベクトルは図８に示した従来の手法
では検出することができないことが分かる。
【００５９】図１０は、ブロックマッチングを行なうブ
ロックマッチング回路の基本的な構成を示している。図
１０において、減算部５には、符号化マクロブロックデ
ータと参照画像マクロブロックデータとが入力され、両
者の差分が演算される。減算部５の出力は差分絶対値演
算部６に入力され、その絶対値が演算される。絶対値演
算部６の出力は累積加算部７により加算されてレジスタ
８に一時記憶され、このレジスタ８の出力と前記絶対値
演算部６の出力とが順次に累積加算される。レジスタ８
の出力は累積加算部７にフィードバックされて順次に更
新されると共に、最小値検出部９により最小値が検出さ
れ、この最小値が１次動きベクトルとして図１の１次動
きベクトル検出部１より出力される。上述したように、
２次動きベクトル検出部４の構成も基本的には図１０の
ブロックマッチング演算部と同様の構成を有している。
【００６０】上記差分絶対値和演算部６の実装例として
は、図１１に示すシストリックアレイによるものや複数
の差分絶対値を並列的に求めて１度に加算する構成等が
ある。シストリックアレイ方式は、１画素間の差分絶対
値の演算を実行できる演算器（プロセッサエレメント：
ＰＥ）を画像データブロックなどのサイズに合わせてア
レイ状に並べるものであり、各ＰＥでは１画素間の差分
絶対値を求め、隣接するＰＥから送られてきた累積加算
値にそれを加算して別のＰＥにその結果を送り出す用に
して動きベクトルを求めている。例えば、電子情報通信
学会、信学技報ＥＤ９８−５２，ＳＤＭ９８−５２，Ｉ
ＣＤ９８−５１「１チップＭＰＥＧ２、ＭＰ＠ＭＬ、エ
ンコーダＬＳＩの開発」山影ほか、特に、この論文に開
示された図８および図９を参照せよ。
【００６１】また、差分絶対値和演算器の第２の実装例
としての構成が図１２に示されている。図１２に示す演
算器１０において、符号化マクロブロックデータ１１と
参照画像マクロブロックデータ１２が差分絶対値演算器
１３に供給され、この演算器１３において両データにお
ける対応する画素間での演算が行なわれる。水平方向ｓ
画素、垂直方向ｔ画素の領域の画素ブロック間の差分絶
対値和を求める場合、差分絶対値演算器１３により水平
方向に並んだｓ画素の差分絶対値が求められ、これら全
ての差分絶対値は加算器群１４により順次に加算されて
その結果がレジスタ１５に格納される。
【００６２】この演算器１０は水平方向ｓ画素の垂直方
向にわたるｔ行分の演算を繰り返すことにより、「ｓ×
ｔ」画素領域の差分絶対値和を求めることができる。こ
のような構成の演算器を複数個実装して並列に動作させ
ることにより、１度に複数の候補点でのブロックマッチ
ング演算を行なうことができる。動きベクトルを検出す
るための差分絶対値演算器の構成としては図１１に示す
シストリックアレイによる方式でも図１２に示す演算器
でも何れのものでも良い。
【００６３】次に、図１に示された１次動きベクトル位
置判定部２の具体的な構成について図１３を参照しなが
ら説明する。図１３において、１次動きベクトル位置判
定部２は動きベクトル候補ブロックが参照画面の境界内
に含まれるか否かを判定する第１ないし第４の判定部２
１〜２４を備えている。第１の判定部２１は、１次動き
ベクトル水平座標Ｈmvと画面サイズ最小値Ｈminと２次
動きベクトル候補点の集合領域水平方向サイズｘを入力
して、前記「Δx1 ＝ Ｈmin ＋ ｘ − Ｈmv」を求め、
これが正である場合は候補ブロックの一部が参照画面左
側の外にあると判定する。第２の判定部２２は、１次動
きベクトル水平座標Ｈmvと参照画面のサイズの水平方向
の最大値Ｈmaxと２次動きベクトル候補点の集合領域水
平方向サイズｘと２次動きベクトル候補検出ブロックの
水平方向のサイズｍとを入力して、上記「Δx2 ＝ Ｈmv
＋ ｘ ＋ (ｍ−１) − Ｈmax」を求め、これが正であ
る場合は候補ブロックの一部が参照画面右側の外にある
と判定する。
【００６４】同様に第３および第４の判定部２３，２４
は動きベクトル候補ブロックが参照画面の上辺と下辺と
に接しているか否かを判定している。第３の判定部２３
は、１次動きベクトル垂直座標Ｖmvと画面サイズ最小値
Ｖmin と２次動きベクトル候補点の集合領域垂直方向サ
イズｙを入力して、前記「Δy1 ＝ Ｖmin ＋ ｙ −Ｖm
v」を求め、これが正である場合は候補ブロックの一部
が参照画面上側の外にあると判定する。第４の判定部２
４は、１次動きベクトル垂直座標Ｖmvと参照画面のサイ
ズの垂直方向の最大値Ｖmax と２次動きベクトル候補点
の集合領域垂直方向サイズｙと２次動きベクトル候補検
出ブロックの垂直方向のサイズｎとを入力して、前記
「Δy2 ＝ Ｖmv ＋ ｙ ＋ (ｎ−１) − Ｖmax」を求
め、これが正である場合は候補ブロックの一部が参照画
面下側の外にあると判定する。上記第１ないし第４の判
定部２１ないし２４の具体的な構成は、ハードウェアに
より回路的に構成しても良いし、中央処理装置（ＣＰＵ
―Central Processing Unit ―）やマイクロプロセッサ
ユニット（ＭＰＵ―Micro- Processor Unit―）を用い
てソフトウェアによる演算処理により求めるように構成
しても良い。
【００６５】また、図１に示された１次動きベクトル補
正部３は、図１４に示すような具体的な構成を備えてい
る。１次動きベクトル補正部３は、１次動きベクトル位
置判定部２の判定結果と、１次動きベクトル検出部１よ
り供給された１次動きベクトルとを用いて参照画面上に
おける位置を補正した座標を２次動きベクトル検出部４
に供給するものである。図１４において、１次動きベク
トル補正部３は、図１３に示された１次動きベクトル位
置判定部２の第１および第２の判定部２１，２２の判定
結果を入力して水平方向の補正値を決定する第１の補正
値決定回路３１と、補正値決定回路３１の出力に１次動
きベクトル検出部１からの１次動きベクトルの値を加算
する第１の加算回路３２とを備え、この加算回路３２か
ら補正後の１次動きベクトル水平座標Ｈ'mv が出力され
る。
【００６６】１次動きベクトル補正部３は、図１３に示
された１次動きベクトル位置判定部２の第３および第４
の判定部２３，２４の判定結果を入力して垂直方向の補
正値を決定する第２の補正値決定回路３３と、この補正
値決定回路３３の出力に１次動きベクトル検出部１から
の１次動きベクトルの値を加算する第２の加算回路３４
とを備え、この加算回路３４から補正後の１次動きベク
トル垂直座標Ｖ'mv が出力される。この１次動きベクト
ル補正部３の構成についても１次動きベクトル位置判定
部２と同様に、ハードウェアにより構成してもソフトウ
ェア的に実現しても何れも可能である。
【００６７】図１を用いて説明した第１実施形態に係る
動きベクトル検出装置は、ＬＳＩに実装する際には現在
の技術を考慮すると動きベクトル検出装置のみの実装は
余り意味がないため、動きベクトル検出装置を含むＭＰ
ＥＧ２エンコーダＬＳＩを実装することが好ましい。こ
のＭＰＥＧ２エンコーダＬＳＩの構成を図１５を用いて
説明する。図１５において、ＭＰＥＧ２エンコーダ４０
は、外部メモリとしての例えばダイナミックランダムア
クセスメモリ（Dynamic Random Access Memory―ＤＲＡ
Ｍ―）３５とデータのやり取りをするためのＤＲＡＭイ
ンターフェース３９と、各構成部分が接続される内部バ
ス４１と、ＬＳＩ全体の制御を行なうホスト（host）部
４２と、入力された画像データをフィルタ処理するフィ
ルタ素子（ＦＥ―Filter Element―／ＢＥ）４３と、１
次動きベクトル検出を行なう一時動きベクトル検出（Ｍ
Ｅ―Motion Estimation ―）部４４と、２次動きベクト
ル検出と動き補償とを行なう２次動きベクトル検出（Ｍ
Ｃ―Motion Compensation―）部４５と、離散コサイン
変換（ＤＣＴ―Discrete Cosine Transform―）および
量子化（Ｑ―Quantization―）を行なうＤＣＴ／Ｑ部４
６と、離散コサイン逆変換（ＩＤＣＴ―Inverse Discre
te Cosine Transform ―）および量子化（ＩＱ―Invers
e Quantization―）を行なうＤＣＴ／Ｑ部４７と、可変
長符号化（ＶＬＣ―Variable Length Coding―）および
ランレングス符号化（ＲＬＣ―Run-Length Coding ―）
を行なうＶＬＣ／ＲＬＣ部４８と、出力すべきビットス
トレーム（bit stream）を一時蓄積するバッファ(ＢＵ
Ｆ）４９と、を備えている。
【００６８】このように本発明はＭＰＥＧ２エンコーダ
としてＬＳＩに実装することが可能であり、このＭＰＥ
Ｇ２エンコーダ４０において、本発明に係る動きベクト
ル検出装置は、ＭＥ部４４とＭＣ部４５の一部に適用さ
れている。このように本発明に係る動きベクトル検出装
置をＭＰＥＧ２エンコーダ４０のＬＳＩチップに実装す
ることにより、エンコーダのチップを交換するだけで本
発明を容易に実施することができ、画像処理の技術の向
上に対して簡易迅速に対応することができることにな
る。
【００６９】なお、上述した第１実施形態に係る動きベ
クトル検出装置は、本発明における特徴としての１次動
きベクトル位置判定部２とこの判定部２による位置判定
に基づいて境界に接する動きベクトルの位置を補正して
から半画素精度の２次動きベクトル検出を行なっている
が、これら１次、２次動きベクトル検出部１，４、位置
判定部２、１次動きベクトル補正部３は、所定手順を含
むソフトウェアにより実現しても良いし、実装化された
ＬＳＩチップ等のハードウェアにより実現するようにし
ても良い。ハードウェアにより実現する場合には図１に
示された各部の機能を司る各回路部を設け、これらを例
えば１チップのＬＳＩに組み込めばよいが、全てをハー
ドウェアにより構成する必要は無く、例えばこれらの機
能のうち任意の処理を一部分のみソフトウェアにより実
行するようにすることも可能である。
【００７０】上記の第１実施形態の構成において、本発
明の第２実施形態に係る動きベクトル検出方法をまとめ
て説明する。本発明の第２実施形態に係る動きベクトル
検出方法は、図１６に示すように、符号化された原画像
の画面上で任意の面積を占める符号化ブロックと、この
原画像と時間的に異なる参照画像の画面上で任意の大き
さを有する探索領域内に存在し前記符号化ブロックと同
じ面積を占める複数個の候補ブロックと、の両者の相関
性を求める第１のステップＳＴ１と、前記複数個の候補
ブロックの中から相関性が最も高い候補ブロックを選択
してそのときの変位を１次動きベクトルとして求める第
２のステップＳＴ２と、前記１次動きベクトルに基づい
て２次探索領域を決定する第３のステップＳＴ３と、決
定された２次探索領域内に存在する前記符号化ブロック
と同じ面積を占める複数個の２次候補ブロック、または
前記１次動きベクトルと、前記参照画面の位置関係と、
を検出して、前記２次探索領域または前記２次候補ブロ
ックが前記参照画面の境界よりも外側に位置するか否か
を判定する第４のステップＳＴ４と、前記２次探索領域
または２次候補ブロックの一部が前記境界の外側に位置
しているか否かを判定する第５のステップＳＴ５と、第
５のステップＳＴ５により前記２次探索領域または２次
候補ブロックの一部が前記境界の外側に位置しているも
のと判定された場合に、前記２次探索領域または前記２
次候補ブロックが前記参照画面の境界内に含まれるよう
な所定の補正量にて前記１次動きベクトルに基づいて位
置を補正する第６のステップＳＴ６と、前記位置が補正
された動きベクトルに基づいた（補正後の）２次探索領
域内に存在する、前記符号化ブロックと同じ面積を占め
る複数個の（補正後の）２次候補ブロックと、前記符号
化ブロックと、の両者の相関性を求める第７のステップ
ＳＴ７と、前記複数個の２次候補ブロックの中から相関
性が最も高い２次候補ブロックを選択して、そのときの
変位を２次動きベクトルとして求める第８のステップＳ
Ｔ８と、前記１次動きベクトルと、前記補正量と、前記
２次動きベクトルより所望の動きベクトルを求める第９
のステップＳＴ９と、を備えている。第５の判断ステッ
プＳＴ５において、前記２次探索領域または２次候補ブ
ロックの一部が前記境界の外側に位置していないものと
判定された場合には、第６のステップＳＴ６を飛び越し
て第７のステップＳＴ７にジャンプする。
【００７１】また、本発明の第２実施形態による動きベ
クトル検出方法においては、前記１次動きベクトルに対
して半画素精度で位置を補正する第６のステップＳＴ６
は１次動きベクトルの前記探索領域または候補ブロック
の一部分が前記参照画面の境界よりも外側にはみ出して
いる場合に、このはみ出した一部分が前記参照画面の境
界の内側に含まれるように前記１次動きベクトルまたは
前記探索領域を参照画面の内側に半画素精度で移動させ
るようにしている。
【００７２】また、上述した第１および第２実施形態に
係る動きベクトル検出装置および方法においては、探索
領域または動きベクトル候補ブロックの一部分が参照画
面の境界よりも外側にある場合の位置補正のやり方とし
て、図９に示したように、はみ出した領域分だけ探索領
域または候補ブロックを移動することにより実現してい
たが、本発明はこれに限定されず他の実施形態に係る位
置補正のやり方として１次動きベクトルを求めた後に探
索領域または候補ブロックの一部分が参照画面の境界よ
りも外側に位置する場合に、はみ出した分だけ探索領域
または候補ブロックを参照画面の内側に拡張させた後、
はみ出した一部分を探索領域または動きベクトル候補ブ
ロックから削除するようにしても第１および第２実施形
態の動きベクトル検出方法および装置と同様の作用効果
を得ることができる。
【００７３】なお、上述した第１および第２実施形態に
おいては、動きベクトル検出方法および装置についての
み説明したが、本発明は動きベクトル検出手順を記録媒
体に記録されたコンピュータ用プログラムにより、ＣＰ
ＵやＭＰＵ等の処理内容を若干修正することで従来のＭ
ＰＥＧ２エンコーダ等の動作手順を変更することも可能
である。このような記録媒体からの動きベクトル検出プ
ログラムの格納について図１７および図１８を用いて説
明する。
【００７４】図１７，図１８は本発明の第３実施形態に
係る動きベクトル検出プログラムを記録した記録媒体が
用いられるコンピュータシステム５０の一例を示す斜視
図およびブロック図である。図１７において、コンピュ
ータシステム５０はＣＰＵを含むコンピュータ本体５１
と、例えばＣＲＴ（Catode Ray Tube ―陰極線管―）等
の表示装置５２と、キーボードやマウス等の入力装置５
３と、印刷等を実行するプリンタ５４と、を備えてい
る。
【００７５】コンピュータ本体５１は、図１８に示すよ
うにＲＡＭより構成される内部メモリ５５と、内蔵また
は外付け可能なメモリユニット５６と、を備えており、
メモリユニット５６としてはフレキシブルまたはフロッ
ピディスクドライブ（ＦＤ）５７，コンパクトディスク
（ＣＤ―Compact Disk―）−ＲＯＭ（Read Only Memor
y）ドライブ５８，ハードディスク（ＨＤ―Hard Disk
―）ユニット５９が搭載されている。図１７に示すよう
に、これらのメモリユニット５６に用いられる記録媒体
６０としては、ＦＤドライブ５７のスロットに挿入され
て使用されるフレキシブルまたはフロッピディスク（Ｆ
Ｄ）６１と、ＣＤ−ＲＯＭドライブ５８に用いられるＣ
Ｄ−ＲＯＭ６２等が用いられる。
【００７６】図１７および図１８では、一般的なコンピ
ュータシステムに用いられる記録媒体６０としてのＦＤ
６１やＣＤ−ＲＯＭ６２を例示したが、本発明は特に画
像データの処理を行なう動きベクトル検出プログラムに
関するものであるので、上記例示した記録媒体以外のも
のであっても、例えばテレビジョンチューナやビデオレ
コーダ等の画像処理装置に内蔵させる不揮発性メモリと
してのＲＯＭチップに動きベクトル検出プログラムを記
録させておいて、このＲＯＭチップを従来の動きベクト
ル検出プログラムを記録したＲＯＭチップと差し替える
ことにより、ソフトウェアを交換するようにしても良
い。
【００７７】記録媒体６０には、符号化された原画像の
画面上で任意の面積を占める符号化ブロックと、この原
画像と時間的に異なる参照画像の画面上で任意の大きさ
を有する探索領域内に存在し前記符号化ブロックと同じ
面積を占める複数個の候補ブロックと、の両者の相関性
を求める手順と、前記複数個の候補ブロックの中から相
関性が最も高い候補ブロックを選択してそのときの変位
を１次動きベクトルとして求める手順と、前記１次動き
ベクトルに基づいて２次探索領域を決定し、その探索領
域内に存在する前記符号化ブロックと同じ面積を占める
複数個の２次候補ブロック、または前記１次動きベクト
ルと、前記参照画面の位置関係と、を検出して、前記２
次探索領域または前記２次候補ブロックが前記参照画面
の境界よりも外側に位置するか否かを判定する手順と、
前記２次探索領域または２次候補ブロックの一部が前記
境界の外側に位置しているものと判定された場合に、前
記２次探索領域または前記２次候補ブロックが前記参照
画面の境界内に含まれるような所定の補正量にて前記１
次動きベクトルの位置を補正する手順と、前記位置が補
正された動きベクトルに基づいた補正後の２次探索領域
内に存在する、前記符号化ブロックと同じ面積を占める
複数個の補正後の２次候補ブロックと、前記符号化ブロ
ックと、の両者の相関性を求める手順と、前記複数個の
２次候補ブロックの中から相関性が最も高い２次候補ブ
ロックを選択して、そのときの変位を２次動きベクトル
として求める手順と、前記１次動きベクトルと、前記補
正量と、前記２次動きベクトルより所望の動きベクトル
を求める手順と、を含むコンピュータ読み取り可能なプ
ログラムが格納されている。
【００７８】また、前記１次動きベクトルに対して半画
素精度で位置を補正する手順は、１次動きベクトルの前
記探索領域または候補ブロックの一部分が前記参照画面
の境界よりも外側にはみ出している場合に、このはみ出
した一部分が前記参照画面の境界の内側に含まれるよう
に前記１次動きベクトルまたは前記探索領域を参照画面
の内側に半画素精度で移動させる手順としても良い。
【００７９】さらに、前記１次動きベクトルに対して半
画素精度で位置を補正する手順は、１次動きベクトルの
前記探索領域または候補ブロックの一部分が前記参照画
面の境界よりも外側にはみ出している場合に、このはみ
出した一部分に相当する画素分だけ前記探索領域または
候補ブロックを前記参照画面の内側方向に拡張し、その
後前記はみ出した一部分を削除することにより、前記１
次動きベクトルまたは前記探索領域を参照画面の内側に
半画素精度で移動させる手順としても良い。
【００８０】なお、実施形態の説明の冒頭にも記載した
ように、１次動きベクトル検出を１画素精度で行ない、
２次動きベクトル検出を半画素精度で行なう場合を例に
とって説明したが、本発明に係る動きベクトル検出にお
ける画素精度はこれらの数値に限定されるものではな
く、１次，２次とも他の任意の画素精度の組み合わせと
しても本発明は実施することができる。
【００８１】また、上記第１ないし第３実施形態におい
ては、１次動きベクトルと２次動きベクトルとの２つの
動きベクトルとそれぞれの動きベクトルの移動量を用い
て所望の動きベクトルを求める動きベクトル検出方法、
装置およびプログラムについて説明した。しかし、本発
明においては、１ないしｎ個（ｎは正の整数）の動きベ
クトルとそれぞれの動きベクトルの移動量とを用いて、
所望の動きベクトルを求める全ての動きベクトル検出方
法、装置およびプログラムに本発明を適用することがで
きる。
【００８２】例えば、１次動きベクトルとその補正量お
よび２次動きベクトルから所望の動きベクトルを求めて
いたが、１次動きベクトルとその１次補正量に基づいて
２次動きベクトルを求めた後、同様の方法により、２次
動きベクトルとその２次補正量に基づいて３次動きベク
トルを求め、……、同様に（ｉ−１）次動きベクトル
（１＜ｉ≦ｎ）とその（ｉ−１）次補正量に基づいてｉ
次動きベクトルを求め、……、（ｎ−１）次動きベクト
ルとその（ｎ−１）次補正量に基づいてｎ次動きベクト
ルを求め、１次ないし（ｎ−１）次動きベクトル、１次
ないし（ｎ−１）次補正量およびｎ次動きベクトルから
最終的に求めるべき所望の動きベクトルを求めるように
しても良い。
【００８３】
【発明の効果】以上、詳細に説明したように本発明に係
る動きベクトル検出方法および装置並びに動きベクトル
検出プログラムによれば、参照画面の端に位置する画素
の動きベクトル検出に際して補正値を追加することによ
り２次動きベクトル検出を行なう際の探索領域を参照画
面内に収めることができ、これによって２次動きベクト
ルの検出精度を向上させることができる。また、１次動
きベクトル検出と２次動きベクトル検出との間に参照画
面境界部での位置補正を行なっているので、２次動きベ
クトル検出時に探索領域を充分に確保することにより動
きベクトルの検出精度を充分に向上させることができ
る。
【００８４】また、従来技術のように、探索領域の全て
が参照画面内に含まれる場合と比較しても動きベクトル
候補の数が少なくなってしまうことがなく、また、参照
画面上の本来の探索領域よりも直ぐ内側に相関性の最も
高い候補ブロックがある場合においては、その候補ブロ
ックを検出対象に含めることができるので、２次動きベ
クトル検出における検出精度を充分に確保できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動きベクトル検出
装置および方法の構成を示すブロック図である。
【図２】１次動きベクトル検出のブロックマッチング演
算に用いる（ａ）参照画像のテーブルと、符号化マクロ
ブロックに用いる（ｂ）テーブルを示すそれぞれ説明図
である。
【図３】１画素精度のフレーム動きベクトルが参照画面
の左上隅を指している場合の補正方法を説明する模式図
である。
【図４】１画素精度のフレーム動きベクトルが参照画面
の左端を指している場合の補正方法を説明する模式図で
ある。
【図５】１画素精度のフレーム動きベクトルが参照画面
の右下隅を指している場合の補正方法を説明する模式図
である。
【図６】１画素精度のフィールド動きベクトルが参照画
面の左上隅を指している場合の補正方法を説明する模式
図である。
【図７】左上角に動きベクトル原点がある場合の２次動
きベクトル候補点の集合領域が参照画面の境界の内側に
ある場合の模式図である。
【図８】１画素精度のフレーム動きベクトルが参照画面
の左端を指している場合の従来の手法による補正方法を
説明する模式図である。
【図９】１画素精度のフレーム動きベクトルが参照画面
の左端を指している場合の本発明の手法による補正方法
を説明する模式図である。
【図１０】ブロックマッチング演算の基本的な構成を示
すブロック図である。
【図１１】差分絶対値演算部の実装例としてのシストリ
ックアレイによる演算部（ＰＥ）の構成を示すブロック
図である。
【図１２】並列動作する差分絶対値演算器の構成を示す
ブロック図である。
【図１３】本発明の第１実施形態に係る１次動きベクト
ル位置判定部の構成を示すブロック図である。
【図１４】同じく第１実施形態における１次動きベクト
ル補正部の構成を示すブロック図である。
【図１５】本発明に係る動きベクトル検出装置を組み込
んだＭＰＥＧ２エンコーダをＬＳＩチップに実装した構
成を示すブロック図である。
【図１６】本発明の第２実施形態に係る動きベクトル検
出方法の処理ステップを示すフローチャートである。
【図１７】本発明の第３実施形態に係る動きベクトル検
出手順を記録した記録媒体を用いるためのコンピュータ
システムを示す斜視図である。
【図１８】本発明の第３実施形態に係る動きベクトル検
出手順を記録した記録媒体を用いるためのコンピュータ
システムを示すブロック図である。
【図１９】従来の動きベクトル検出装置における１画素
精度動きベクトルが参照画面の左上隅を指している場合
の半画素精度の動きベクトル候補の減少を説明する模式
図である。
【符号の説明】
１ １次動きベクトル検出部 ２ １次動きベクトル位置判定部 ３ １次動きベクトル補正部 ４ ２次動きベクトル検出部 ２１ 第１の判定部（左辺判定） ２２ 第２の判定部（右辺判定） ２３ 第３の判定部（上辺判定） ２４ 第４の判定部（下辺判定） ３１ 第１の補正値決定回路 ３２ 第２の加算回路 ３３ 第２の補正値決定回路 ３４ 第２の加算回路 ３０１，４０１，５０１，６０１ １画素精度動きベク
トル ３０２，４０２，５０２，６０２ 参照画面端 ３０３，４０３，５０３，６０３ 半画素精度動きベク
トル候補点の集合（１画素精度動きベクトルが探索中心
の場合） ３０４，４０３，５０３，６０３ 補正後の１画素精度
動きベクトル ３０５，４０４，５０４，６０４ 動きベクトルの位置
補正 ３０３，４０３，５０３，６０３ 半画素精度動きベク
トル候補点の集合（補正後１画素精度動きベクトルが探
索中心の場合）

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】符号化された原画像の画面上で任意の面積
    を占める符号化ブロックと、この原画像と時間的に異な
    る参照画像の画面上で任意の大きさを有する探索領域内
    に存在し前記符号化ブロックと同じ面積を占める複数個
    の候補ブロックと、の両者の相関性を求めるステップ
    と、 前記複数個の候補ブロックの中から相関性が最も高い候
    補ブロックを選択してそのときの変位を１次動きベクト
    ルとして求めるステップと、 前記１次動きベクトルに基づいて２次探索領域を決定
    し、その探索領域内に存在する前記符号化ブロックと同
    じ面積を占める複数個の２次候補ブロック、または前記
    １次動きベクトルと、前記参照画面の位置関係と、を検
    出して、前記２次探索領域または前記２次候補ブロック
    が前記参照画面の境界よりも外側に位置するか否かを判
    定するステップと、 前記２次探索領域または２次候補ブロックの一部が前記
    境界の外側に位置しているものと判定された場合に、前
    記２次探索領域または前記２次候補ブロックが前記参照
    画面の境界内に含まれるような所定の補正量にて前記１
    次動きベクトルの位置を補正するステップと、 前記位置が補正された動きベクトルに基づいた補正後の
    ２次探索領域内に存在する、前記符号化ブロックと同じ
    面積を占める複数個の補正後の２次候補ブロックと、前
    記符号化ブロックと、の両者の相関性を求めるステップ
    と、 前記複数個の２次候補ブロックの中から相関性が最も高
    い２次候補ブロックを選択して、そのときの変位を２次
    動きベクトルとして求めるステップと、 前記１次動きベクトルと、前記補正量と、前記２次動き
    ベクトルより所望の動きベクトルを求めるステップと、 を備えることを特徴とする動きベクトル検出方法。
  2. 【請求項２】前記１次動きベクトルに基づいて位置を補
    正するステップは、１次動きベクトルの前記探索領域ま
    たは候補ブロックの一部分が前記参照画面の境界よりも
    外側にはみ出している場合に、このはみ出した一部分が
    前記参照画面の境界の内側に含まれるように前記１次動
    きベクトルまたは前記探索領域を参照画面の内側に移動
    させることを特徴とする請求項１に記載の動きベクトル
    検出方法。
  3. 【請求項３】前記１次動きベクトルに基づいて位置を補
    正するステップは、１次動きベクトルの前記探索領域ま
    たは候補ブロックの一部分が前記参照画面の境界よりも
    外側にはみ出している場合に、このはみ出した一部分に
    相当する画素分だけ前記探索領域または前記候補ブロッ
    クを前記参照画面の内側方向に拡張し、その後前記はみ
    出した一部分を削除することにより、前記１次動きベク
    トルまたは前記探索領域を参照画面の内側に移動させる
    ことを特徴とする請求項１に記載の動きベクトル検出方
    法。
  4. 【請求項４】前記１次動きベクトルは１画素精度で求め
    られ、前記２次動きベクトル、または前記所望の動きベ
    クトルは半画素精度で求められることを特徴とする請求
    項１ないし３の何れかに記載の動きベクトル検出方法。
  5. 【請求項５】前記所望の動きベクトルを利用して画像デ
    ータを可変長符号化するステップをさらに備えることを
    特徴とする請求項１ないし４の何れかに記載の動きベク
    トル検出方法。
  6. 【請求項６】１ないしｎ個（ｎは正の整数）の動きベク
    トルとそれぞれの動きベクトルの移動量を用いて所望の
    動きベクトルを求める動きベクトル検出方法であって、 符号化された原画像の画面上で任意の面積を占める符号
    化ブロックと、この原画像と時間的に異なる参照画像の
    画面上で任意の大きさを有する（ｉ−１）次探索領域
    （１＜ｉ≦ｎ）内に存在し前記符号化ブロックと同じ面
    積を占める複数個の候補ブロックと、の両者の相関性を
    求めるステップと、 前記複数個の候補ブロックの中から相関性が最も高い候
    補ブロックを選択してそのときの変位を（ｉ−１）次動
    きベクトルとして求めるステップと、 前記（ｉ−１）次動きベクトルに基づいてｉ次探索領域
    を決定し、そのｉ次探索領域内に存在する前記符号化ブ
    ロックと同じ面積を占める複数個のｉ次候補ブロック、
    または前記（ｉ−１）次動きベクトルと、前記参照画面
    の位置関係と、を検出して、前記ｉ次探索領域または前
    記ｉ次候補ブロックが前記参照画面の境界よりも外側に
    位置するか否かを判定するステップと、 前記ｉ次探索領域またはｉ次候補ブロックの一部が前記
    境界の外側に位置しているものと判定された場合に、前
    記ｉ次探索領域または前記ｉ次候補ブロックが前記参照
    画面の境界内に含まれるような所定の（ｉ−１）次補正
    量にて前記（ｉ−１）次動きベクトルの位置を補正する
    ステップと、 前記位置が補正された動きベクトルに基づいた補正後の
    ｉ次探索領域内に存在する、前記符号化ブロックと同じ
    面積を占める複数個の補正後のｉ次候補ブロックと、前
    記符号化ブロックと、の両者の相関性を求めるステップ
    と、 前記複数個のｉ次候補ブロックの中から相関性が最も高
    いｉ次候補ブロックを選択して、そのときの変位をｉ次
    動きベクトルとして求めるステップと、を備えると共
    に、 １次動きベクトル，１次補正量，…，前記（ｉ−１）次
    動きベクトル，前記（ｉ−１）補正量，…，（ｎ−１）
    次動きベクトル，（ｎ−１）次補正量およびｎ次動きベ
    クトルより所望の動きベクトルを求めるステップを備え
    ることを特徴とする動きベクトル検出方法。
  7. 【請求項７】符号化された原画像の画面上で任意の面積
    を占める符号化ブロックと、この原画像と時間的に異な
    る参照画像の画面上で任意の大きさを有する探索領域内
    に存在し前記符号化ブロックと同じ面積を占める複数個
    の候補ブロックと、の両者の相関性を求めて、その複数
    個の候補ブロックの中から相関性が最も高い候補ブロッ
    クを選択し、そのときの変位を１次動きベクトルとして
    求める１次動きベクトル検出部と、 前記１次動きベクトルに基づいて２次探索領域を決定
    し、その探索領域内に存在する前記符号化ブロックと同
    じ面積を占める複数個の２次候補ブロック、または前記
    １次動きベクトルと、前記参照画面の位置関係とを検出
    して、前記２次探索領域または前記２次候補ブロックが
    前記参照画面の境界よりも外側に位置するか否かを判定
    する１次動きベクトル位置判定部と、 前記２次探索領域または２次候補ブロックの一部が前記
    境界の外側に位置しているものと判定された場合に、前
    記２次探索領域または前記２次候補ブロックが前記参照
    画面の境界内に含まれるような補正量にて、前記１次動
    きベクトルの位置を補正する１次動きベクトル位置補正
    部と、 前記位置が補正された動きベクトルに基づいた補正後の
    ２次探索領域内に存在する、前記符号化ブロックと同じ
    面積を占める複数個の補正後の２次候補ブロックと、前
    記符号化ブロックと、の両者の相関性を求め、前記複数
    個の２次候補ブロックの中から相関性が最も高い２次候
    補ブロックを選択して、そのときの変位を２次動きベク
    トルとして求める２次動きベクトル検出部と、 前記１次動きベクトルと、前記補正量と、前記２次動き
    ベクトルより所望の動きベクトルを求める所望の動きベ
    クトル検出部と、 を備えることを特徴とする動きベクトル検出装置。
  8. 【請求項８】前記１次動きベクトル位置補正部は、前記
    １次動きベクトルの前記探索領域または候補ブロックの
    一部分が前記参照画面の境界よりも外側にはみ出してい
    る場合に、このはみ出した一部分が前記参照画面の境界
    の内側に含まれるように前記１次動きベクトルまたは前
    記探索領域を参照画面の内側に移動させることを特徴と
    する請求項７に記載の動きベクトル検出装置。
  9. 【請求項９】前記１次動きベクトル位置補正部は、前記
    １次動きベクトルの前記探索領域または候補ブロックの
    一部分が前記参照画面の境界よりも外側にはみ出してい
    る場合に、このはみ出した一部分に相当する画素分だけ
    前記探索領域または前記候補ブロックを前記参照画面の
    内側方向に拡張し、その後前記はみ出した一部分を削除
    することにより、前記１次動きベクトルまたは前記探索
    領域を参照画面の内側に移動させることを特徴とする請
    求項７に記載の動きベクトル検出装置。
  10. 【請求項１０】１ないしｎ個（ｎは正の整数）の動きベ
    クトルとそれぞれの動きベクトルの移動量を用いて所望
    の動きベクトルを求める動きベクトル検出装置であっ
    て、 符号化された原画像の画面上で任意の面積を占める符号
    化ブロックと、この原画像と時間的に異なる参照画像の
    画面上で任意の大きさを有する（ｉ−１）次探索領域
    （１＜ｉ≦ｎ）内に存在し前記符号化ブロックと同じ面
    積を占める複数個の候補ブロックと、の両者の相関性を
    求めて、その複数個の候補ブロックの中から相関性が最
    も高い候補ブロックを選択し、そのときの変位を（ｉ−
    １）次動きベクトルとして求める（ｉ−１）次動きベク
    トル検出部と、 前記（ｉ−１）次動きベクトルに基づいてｉ次探索領域
    を決定し、そのｉ次探索領域内に存在する前記符号化ブ
    ロックと同じ面積を占める複数個のｉ次候補ブロック、
    または前記（ｉ−１）次動きベクトルと、前記参照画面
    の位置関係とを検出して、前記ｉ次探索領域または前記
    ｉ次候補ブロックが前記参照画面の境界よりも外側に位
    置するか否かを判定する（ｉ−１）次動きベクトル位置
    判定部と、 前記ｉ次探索領域またはｉ次候補ブロックの一部が前記
    境界の外側に位置しているものと判定された場合に、前
    記ｉ次探索領域または前記ｉ次候補ブロックが前記参照
    画面の境界内に含まれるような所定の（ｉ−１）次補正
    量によって前記（ｉ−１）次動きベクトルの位置を補正
    する（ｉ−１）次動きベクトル位置補正部と、 前記位置が補正された動きベクトルに基づいた補正後の
    ｉ次探索領域内に存在する、前記符号化ブロックと同じ
    面積を占める複数個の補正後のｉ次候補ブロックと、前
    記符号化ブロックと、の両者の相関性を求め、前記複数
    個のｉ次候補ブロックの中から相関性が最も高いｉ次候
    補ブロックを選択して、そのときの変位をｉ次動きベク
    トルとして求めるｉ次動きベクトル検出部と、 １次動きベクトル，１次補正量，…，前記（ｉ−１）次
    動きベクトル，前記（ｉ−１）補正量，…，（ｎ−１）
    次動きベクトル，（ｎ−１）次補正量およびｎ次動きベ
    クトルより所望の動きベクトルを求める所望の動きベク
    トル検出部と、 を備えることを特徴とする動きベクトル検出装置。
  11. 【請求項１１】符号化された原画像の画面上で任意の面
    積を占める符号化ブロックと、この原画像と時間的に異
    なる参照画像の画面上で任意の大きさを有する探索領域
    内に存在し前記符号化ブロックと同じ面積を占める複数
    個の候補ブロックと、の両者の相関性を求める手順と、 前記複数個の候補ブロックの中から相関性が最も高い候
    補ブロックを選択してそのときの変位を１次動きベクト
    ルとして求める手順と、 前記１次動きベクトルに基づいて２次探索領域を決定
    し、その探索領域内に存在する前記符号化ブロックと同
    じ面積を占める複数個の２次候補ブロック、または前記
    １次動きベクトルと、前記参照画面の位置関係と、を検
    出して、前記２次探索領域または前記２次候補ブロック
    が前記参照画面の境界よりも外側に位置するか否かを判
    定する手順と、 前記２次探索領域または２次候補ブロックの一部が前記
    境界の外側に位置しているものと判定された場合に、前
    記２次探索領域または前記２次候補ブロックが前記参照
    画面の境界内に含まれるような所定の補正量にて前記１
    次動きベクトルの位置を補正する手順と、 前記位置が補正された動きベクトルに基づいた補正後の
    ２次探索領域内に存在する、前記符号化ブロックと同じ
    面積を占める複数個の補正後の２次候補ブロックと、前
    記符号化ブロックと、の両者の相関性を求める手順と、 前記複数個の２次候補ブロックの中から相関性が最も高
    い２次候補ブロックを選択して、そのときの変位を２次
    動きベクトルとして求める手順と、 前記１次動きベクトルと、前記補正量と、前記２次動き
    ベクトルより所望の動きベクトルを求める手順と、 を備えることを特徴とする動きベクトル検出プログラ
    ム。
  12. 【請求項１２】１ないしｎ個（ｎは正の整数）の動きベ
    クトルとそれぞれの動きベクトルの移動量を用いて、所
    望の動きベクトルを求める動きベクトル検出プログラム
    であって、 符号化された原画像の画面上で任意の面積を占める符号
    化ブロックと、この原画像と時間的に異なる参照画像の
    画面上で任意の大きさを有する（ｉ−１）次探索領域
    （１＜ｉ≦ｎ）内に存在し前記符号化ブロックと同じ面
    積を占める複数個の候補ブロックと、の両者の相関性を
    求める手順と、 前記複数個の候補ブロックの中から相関性が最も高い候
    補ブロックを選択してそのときの変位を（ｉ−１）次動
    きベクトルとして求める手順と、 前記（ｉ−１）次動きベクトルに基づいてｉ次探索領域
    を決定し、そのｉ次探索領域内に存在する前記符号化ブ
    ロックと同じ面積を占める複数個のｉ次候補ブロック、
    または前記（ｉ−１）次動きベクトルと、前記参照画面
    の位置関係と、を検出して、前記ｉ次探索領域または前
    記ｉ次候補ブロックが前記参照画面の境界よりも外側に
    位置するか否かを判定する手順と、 前記ｉ次探索領域またはｉ次候補ブロックの一部が前記
    境界の外側に位置しているものと判定された場合に、前
    記ｉ次探索領域または前記ｉ次候補ブロックが前記参照
    画面の境界内に含まれるような所定の（ｉ−１）次補正
    量にて前記（ｉ−１）次動きベクトルの位置を補正する
    手順と、 前記位置が補正された動きベクトルに基づいた補正後の
    ｉ次探索領域内に存在する、前記符号化ブロックと同じ
    面積を占める複数個の補正後のｉ次候補ブロックと、前
    記符号化ブロックと、の両者の相関性を求める手順と、 前記複数個のｎ次候補ブロックの中から相関性が最も高
    いｉ次候補ブロックを選択して、そのときの変位をｉ次
    動きベクトルとして求める手順と、を備えると共に、 １次動きベクトル，１次補正量，…，前記（ｉ−１）次
    動きベクトル，前記（ｉ−１）次補正量，…，（ｎ−
    １）次動きベクトル，（ｎ−１）次補正量およびｎ次動
    きベクトルより所望の動きベクトルを求める手順を備え
    ることを特徴とする動きベクトル検出プログラム。
JP2000387684A 1999-12-27 2000-12-20 動きベクトル検出方法および装置並びに動きベクトル検出プログラム Pending JP2001251632A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000387684A JP2001251632A (ja) 1999-12-27 2000-12-20 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US09/746,020 US6584155B2 (en) 1999-12-27 2000-12-26 Method and system for estimating motion vector

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP36935399 1999-12-27
JP11-369353 1999-12-27
JP2000387684A JP2001251632A (ja) 1999-12-27 2000-12-20 動きベクトル検出方法および装置並びに動きベクトル検出プログラム

Publications (1)

Publication Number Publication Date
JP2001251632A true JP2001251632A (ja) 2001-09-14

Family

ID=26582103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000387684A Pending JP2001251632A (ja) 1999-12-27 2000-12-20 動きベクトル検出方法および装置並びに動きベクトル検出プログラム

Country Status (2)

Country Link
US (1) US6584155B2 (ja)
JP (1) JP2001251632A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030009684A (ko) * 2001-07-23 2003-02-05 주식회사 오픈비주얼 비디오의 움직임 벡터 추정 방법
JP2005235089A (ja) * 2004-02-23 2005-09-02 Japan Science & Technology Agency 画像認識装置、画像認識方法及びプログラム
JP2006014343A (ja) * 2004-06-27 2006-01-12 Apple Computer Inc 画像の符号化および復号化
KR100564967B1 (ko) * 2002-10-02 2006-03-28 엘지전자 주식회사 동영상 디코더 및 이를 이용한 디코딩 방법
JP2008250794A (ja) * 2007-03-30 2008-10-16 Casio Comput Co Ltd 画像処理装置及びプログラム
US8018994B2 (en) 2004-06-27 2011-09-13 Apple Inc. Selecting encoding types and predictive modes for encoding video data
JP2011233168A (ja) * 2011-08-08 2011-11-17 Casio Comput Co Ltd 画像処理装置及びプログラム
US8111752B2 (en) 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
US8254459B2 (en) 2002-07-14 2012-08-28 Apple Inc. Adaptive motion estimation
JP2013126056A (ja) * 2011-12-14 2013-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法／装置，映像符号化方法／装置，映像復号方法／装置およびそれらのプログラム
CN111598919A (zh) * 2020-04-22 2020-08-28 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677082B1 (ko) * 2000-01-27 2007-02-01 삼성전자주식회사 움직임 추정기
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US20020172288A1 (en) * 2001-03-08 2002-11-21 Nyeongku Kwon Device and method for performing half-pixel accuracy fast search in video coding
JP3810657B2 (ja) * 2001-07-31 2006-08-16 松下電器産業株式会社 運動物体検出方法および装置
CN100576914C (zh) * 2002-01-17 2009-12-30 Nxp股份有限公司 用于估计当前运动矢量的单元和方法
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
US7321623B2 (en) * 2002-10-01 2008-01-22 Avocent Corporation Video compression system
US20060126718A1 (en) * 2002-10-01 2006-06-15 Avocent Corporation Video compression encoder
KR20040049214A (ko) * 2002-12-05 2004-06-11 삼성전자주식회사 고속 모션벡터 추정장치 및 방법
US7440500B2 (en) * 2003-07-15 2008-10-21 Lsi Logic Corporation Supporting motion vectors outside picture boundaries in motion estimation process
KR100579542B1 (ko) 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
US9560371B2 (en) * 2003-07-30 2017-01-31 Avocent Corporation Video compression system
EP1683362A1 (en) * 2003-10-28 2006-07-26 Koninklijke Philips Electronics N.V. Motion vector field refinement to track small fast moving objects
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
JP2005354276A (ja) * 2004-06-09 2005-12-22 Seiko Epson Corp 画像差分演算方法及びその装置、動き検出装置及び画像データ圧縮装置
US7457461B2 (en) * 2004-06-25 2008-11-25 Avocent Corporation Video compression noise immunity
JP4488805B2 (ja) * 2004-06-25 2010-06-23 パナソニック株式会社 動きベクトル検出装置および方法
TWI239474B (en) * 2004-07-28 2005-09-11 Novatek Microelectronics Corp Circuit for counting sum of absolute difference
JPWO2007074605A1 (ja) * 2005-12-26 2009-06-04 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
US8031775B2 (en) * 2006-02-03 2011-10-04 Eastman Kodak Company Analyzing camera captured video for key frames
US7889794B2 (en) * 2006-02-03 2011-02-15 Eastman Kodak Company Extracting key frame candidates from video clip
US8718147B2 (en) * 2006-02-17 2014-05-06 Avocent Huntsville Corporation Video compression algorithm
US7555570B2 (en) 2006-02-17 2009-06-30 Avocent Huntsville Corporation Device and method for configuring a target device
US7916141B2 (en) * 2006-04-10 2011-03-29 Choi Kum-Young Image processing system using vector pixel
US7782961B2 (en) * 2006-04-28 2010-08-24 Avocent Corporation DVC delta commands
US9307122B2 (en) * 2006-09-27 2016-04-05 Core Wireless Licensing S.A.R.L. Method, apparatus, and computer program product for providing motion estimation for video encoding
US8130845B2 (en) * 2006-11-02 2012-03-06 Seiko Epson Corporation Method and apparatus for estimating and compensating for jitter in digital video
EP2210421A4 (en) 2007-10-16 2013-12-04 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
US20090225227A1 (en) * 2008-03-05 2009-09-10 Panasonic Corporation Motion vector detecting device
JP5578775B2 (ja) * 2008-09-02 2014-08-27 富士通株式会社 符号化装置および復号装置
US20110211641A1 (en) * 2008-11-07 2011-09-01 Yuichi Idehara Image encoding device and image decoding device
US20100142620A1 (en) * 2008-12-04 2010-06-10 Electronics And Telecommunications Research Method of generating side information by correcting motion field error in distributed video coding and dvc decoder using the same
KR101671676B1 (ko) * 2009-03-04 2016-11-01 르네사스 일렉트로닉스 가부시키가이샤 압축 동화상 부호화 장치, 압축 동화상 복호화 장치, 압축 동화상 부호화 방법 및 압축 동화상 복호화 방법
KR101671460B1 (ko) * 2009-09-10 2016-11-02 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
KR101932916B1 (ko) 2012-06-28 2018-12-27 삼성전자 주식회사 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치
EP2998934B1 (en) * 2013-05-16 2020-08-05 Sony Corporation Image processing device, image processing method, and program
US9530222B2 (en) * 2015-03-30 2016-12-27 Ca, Inc. Detecting divergence or convergence of related objects in motion and applying asymmetric rules
US20230154013A1 (en) * 2021-11-18 2023-05-18 Volkswagen Aktiengesellschaft Computer vision system for object tracking and time-to-collision

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2246925B (en) * 1990-08-09 1994-04-27 Sony Broadcast & Communication Video signal processing
US5398078A (en) * 1991-10-31 1995-03-14 Kabushiki Kaisha Toshiba Method of detecting a motion vector in an image coding apparatus
JP3152765B2 (ja) 1991-10-31 2001-04-03 株式会社東芝 画像符号化装置
JP3505199B2 (ja) * 1992-06-30 2004-03-08 株式会社リコー ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
EP0840982B1 (en) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
JP3774954B2 (ja) * 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US6470050B1 (en) * 1999-04-09 2002-10-22 Matsushita Electric Industrial Co., Ltd. Image coding apparatus and its motion vector detection method

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030009684A (ko) * 2001-07-23 2003-02-05 주식회사 오픈비주얼 비디오의 움직임 벡터 추정 방법
US8254459B2 (en) 2002-07-14 2012-08-28 Apple Inc. Adaptive motion estimation
KR100564967B1 (ko) * 2002-10-02 2006-03-28 엘지전자 주식회사 동영상 디코더 및 이를 이용한 디코딩 방법
JP2005235089A (ja) * 2004-02-23 2005-09-02 Japan Science & Technology Agency 画像認識装置、画像認識方法及びプログラム
US8737479B2 (en) 2004-06-27 2014-05-27 Apple Inc. Encoding mode pruning during video encoding
JP2006014343A (ja) * 2004-06-27 2006-01-12 Apple Computer Inc 画像の符号化および復号化
US8018994B2 (en) 2004-06-27 2011-09-13 Apple Inc. Selecting encoding types and predictive modes for encoding video data
US8111752B2 (en) 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
JP2014150568A (ja) * 2004-06-27 2014-08-21 Apple Inc 画像の符号化および復号化
US8472516B2 (en) 2004-06-27 2013-06-25 Apple Inc. Selecting encoding types and predictive modes for encoding video data
JP2008250794A (ja) * 2007-03-30 2008-10-16 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2011233168A (ja) * 2011-08-08 2011-11-17 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2013126056A (ja) * 2011-12-14 2013-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法／装置，映像符号化方法／装置，映像復号方法／装置およびそれらのプログラム
CN111598919A (zh) * 2020-04-22 2020-08-28 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
CN111598919B (zh) * 2020-04-22 2023-06-30 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备

Also Published As

Publication number Publication date
US20010008545A1 (en) 2001-07-19
US6584155B2 (en) 2003-06-24

Similar Documents

Publication Publication Date Title
JP2001251632A (ja) 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US8817879B2 (en) Temporal error concealment for video communications
JP4166781B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2671820B2 (ja) 両方向予測方法及び両方向予測装置
KR100486249B1 (ko) 움직임 추정 장치 및 탐색영역에서 레퍼런스매크로블록창의 스캐닝 방법
US11689736B2 (en) Video image processing method and device
US9319708B2 (en) Systems and methods of improved motion estimation using a graphics processing unit
JP5216710B2 (ja) 復号化処理方法
US20120044994A1 (en) Image predictive encoding and decoding device
EP2773123B1 (en) Padding of frame boundaries for video coding
JPWO2007136088A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化用集積回路
US20130034160A1 (en) Apparatus and method for video processing
US20110280305A1 (en) Image processing device, decoding method, intra-frame decoder, method of decoding intra-frame and intra-frame encoder
CN1956547A (zh) 运动矢量检测装置及运动矢量检测方法
JP2013532926A (ja) 複数のプロセッサを使用してビデオフレームを符号化するための方法およびシステム
US20080212719A1 (en) Motion vector detection apparatus, and image coding apparatus and image pickup apparatus using the same
JP5938935B2 (ja) 動画像符号化装置及び動画像符号化方法
JP4523024B2 (ja) 画像符号化装置および画像符号化方法
JP2010074496A (ja) 動きベクトル検出処理装置本発明は、動画像情報をビデオストリームに符号化する動画像符号化処理における、演算量を削減した動きベクトル検出処理装置に関する。
JP2007110409A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP4429996B2 (ja) 動画像符号化プログラム、動画像符号化方法および動画像符号化装置
JP2013207402A (ja) 画像符号化装置及びプログラム
JP2009267726A (ja) 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
US20190268606A1 (en) Moving image encoding apparatus, control method for moving image encoding apparatus, and storage medium
JP2006217486A (ja) 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法