JP2001285873A - 動きベクトル検出回路及び動きベクトル検出方法 - Google Patents
動きベクトル検出回路及び動きベクトル検出方法Info
- Publication number
- JP2001285873A JP2001285873A JP2000091884A JP2000091884A JP2001285873A JP 2001285873 A JP2001285873 A JP 2001285873A JP 2000091884 A JP2000091884 A JP 2000091884A JP 2000091884 A JP2000091884 A JP 2000091884A JP 2001285873 A JP2001285873 A JP 2001285873A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- detected
- block
- candidate
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
きベクトルの検出精度を向上させる。 【解決手段】 本発明は、1画像を複数に分割した各ブ
ロック毎に動きベクトルを検出する動きベクトル検出回
路に関する。そして、(1)各ブロック毎に検出された
動きベクトルを所定時間だけ記憶する既検出ベクトル記
憶手段と、(2)被検出ブロックの周囲のブロックに係
るn個の既検出ベクトルから、与えられたセット情報に
従った、N(N<n)個の動きベクトルを、セットとし
て選択する候補ベクトルセット切替手段と、(3)選択
セットのN個の動きベクトルから1個の動きベクトル
を、当初の動きベクトルとして選択する当初ベクトル選
択手段と、(4)選択された当初ベクトルに係るブロッ
クの被検出ブロックに対する相対位置の統計量を得て、
上述したセット情報を形成するセット情報形成手段とを
有することを特徴とする。
Description
動き量及び方向、すなわち、動きベクトルを検出する動
きベクトル検出回路及び動きベクトル検出方法に関する
ものである。
量及び方向を示すものであり、この動きベクトルは、例
えば、ビデオ信号(例えば、テレビジョン信号)の高能
率符号化におけるフレーム間符号化効率を向上させる際
や、テレビジョン方式変換におけるフィールド数の変換
による動きの不連続性を軽減させる際などに用いられて
いる。
ーム、フィールド等)をs画素×tライン(s,tは整
数)のブロックに細分化した後、ブロック毎に検出する
方法である。
は、相前後する画像間の信号パターンの類似性を用いて
動きベクトルを検出する、一般にパターンマッチング法
と言われている方法(特開昭55−162683号公
報、特開昭55−162684号公報他)や、1画像内
信号勾配及び画像間信号差分値の物理的対応等により動
き量を推定する、一般に反復勾配法と言われている方法
(特開昭60−158786号公報他)などが良く知ら
れている。
精度を向上させるために、初期偏位ベクトルを用いたも
の(特開昭62−206980号公報)がある。この初
期偏位ベクトルを用いた反復勾配法は、既に検出されて
いる複数のブロックの動きベクトルの中から1個の動き
ベクトルを初期偏位ベクトルとして選択し、この初期偏
位ベクトルを基準点として、複数のブロックの動き偏位
量の検出を行い、真の動きベクトルを検出する方法であ
る。
ールドの真の動きベクトルを初期偏位ベクトルを用いて
求める方法について、図2〜図4を用いて説明する。こ
こで、図3が、反復勾配演算を2回実行する反復演算法
に従った動きベクトル検出回路の機能ブロック図であ
る。
めようとする被検出ブロック(m1,n1)に対して、
時間的に前に検出されている動きベクトルの中から最適
な動きベクトルを選択し、この選択された動きベクトル
を初期偏位ベクトルV0=(α0,β0)とする。すなわ
ち、初期偏位ベクトル選択部11によって、既検出ベク
トルメモリ10に格納されている、被検出ブロック近傍
のブロックの既検出の動きベクトルの中から、前フィー
ルド信号SC及び現フィールド信号SBのブロックマッ
チングに基づいた初期偏位ベクトルV0が選択される。
この初期偏位ベクトルV0、前フィールド信号SC及び
現フィールド信号SBを用いた、第1の勾配法演算部1
2による勾配法演算によって初期偏位ベクトルV0から
の偏差分のベクトルV1が求められ、加算部13によっ
てこの分ベクトルが補正される(図4参照)。さらに、
ベクトルV0+V1、前フィールド信号C及び現フィー
ルド信号Bを用いた、第2の勾配法演算部14による勾
配法演算によってベクトルV0+V1からの偏差分のベ
クトルV2が求められ、加算部15によってこの分ベク
トルが補正され(図4参照)、最終的な動きベクトルV
(=V0+V1+V2)として出力されると共に、既検
出ベクトルメモリ10に与えられて格納される。
いては、例えば、映像情報メディア学会のMPEG等に
記載されているので、その詳細説明は省略する。
おいては、初期偏位ベクトルV0の選択が動きベクトル
の検出精度に大きく影響する。すなわち、初期偏位ベク
トルV0が適切に選択された場合には、被検出ブロック
の真の動きベクトルに近い値から勾配演算を実行でき、
検出精度が良好なものとなる。
ロック(通常は被検出ブロックの周囲の8ブロック)の
既検出ベクトルに基づいたパターンマッチングなどによ
って、初期偏位ベクトルV0を決定していた。
た従来技術では、複数の候補ベクトル(周辺ブロックの
既検出ベクトル)の中から初期偏位ベクトルを選択する
際に、各被検出ブロック毎に独立して初期偏位ベクトル
を選択しているので、画像全体が偏った動きの場合な
ど、本来ならば、各被検出ブロックでの初期偏位ベクト
ルが同様であることが望まれる場合であっても、各被検
出ブロックでまちまちの初期偏位ベクトルを選択し、そ
の結果、検出精度が劣化するようなこともあった。
と、画面全体が同一方向に同様な速度で動いている。こ
の場合、平坦な画像であれば、被検出ブロックの周囲の
複数のブロックの既検出動きベクトルは同様な値とな
り、それらを偏位させた際の画素値も同様な値となっ
て、初期偏位ベクトルを選択する際に、複数の候補ベク
トルが同様な値となることがある。そのため、画面全体
が同一方向に同様な速度で動いているにも拘わらず、各
被検出ブロックについて選択された初期偏位ベクトルが
まちまちになることがあり、このような初期偏位ベクト
ルに対して勾配演算を行うと、各被検出ブロックについ
て得られた動きベクトルについて誤差もまちまちとな
る。
画像の場合等でも、各被検出ブロックについて選択され
た初期偏位ベクトルがまちまちとなることもあった。
きを考慮することなく、各被検出ブロックについて初期
偏位ベクトルを選択していたため、例えば、水平方向の
動きの画像で垂直方向の動きベクトルとして検出した
り、垂直方向の動きの画像で水平方向の動きベクトルと
して検出したりすることも生じていた。
合でも、各被検出ブロックについての初期偏位ベクトル
(当初ベクトル)を適切に選択でき、検出精度を向上さ
せることができる動きベクトル検出回路及び動きベクト
ル検出方法が望まれている。
め、第1の本発明は、1画像を所定の大きさの複数のブ
ロックに分割し、各ブロック毎に、相前後する少なくと
も2画像の信号から、動きベクトルを検出する動きベク
トル検出回路において、(1)各ブロック毎に検出され
た動きベクトルを所定時間だけ記憶する既検出ベクトル
記憶手段と、(2)動きベクトルをこれから検出しよう
とする被検出ブロックの周囲のブロックに係るn個の既
検出の動きベクトルから、与えられたセット情報に従っ
た、N(N<n)個の動きベクトルを、候補ベクトルセ
ットとして選択する候補ベクトルセット切替手段と、
(3)選択された候補ベクトルセットにおけるN個の動
きベクトルから、被検出ブロックの動きベクトルに最も
近い動きベクトルを、当初ベクトルとして選択する当初
ベクトル選択手段と、(4)選択された当初ベクトルに
対し、ベクトル補正して、被検出ブロックについての最
終的な動きベクトルを検出するベクトル補正手段と、
(5)選択された当初ベクトルに係るブロックの被検出
ブロックに対する相対位置の統計量を得て、上記候補ベ
クトルセット切替手段に与えるセット情報を形成するセ
ット情報形成手段とを有することを特徴とする。
きさの複数のブロックに分割し、各ブロック毎に、相前
後する少なくとも2画像の信号から、動きベクトルを検
出する動きベクトル検出方法において、(1)各ブロッ
ク毎に検出された動きベクトルを所定時間だけ記憶させ
ておき、(2)動きベクトルをこれから検出しようとす
る被検出ブロックの周囲のブロックに係るn個の既検出
の動きベクトルから、セット情報に従った、N(N<
n)個の動きベクトルを、候補ベクトルセットとして選
択し、(3)選択された候補ベクトルセットにおけるN
個の動きベクトルから、被検出ブロックの動きベクトル
に最も近い動きベクトルを、当初ベクトルとして選択
し、(4)選択された当初ベクトルに対し、ベクトル補
正して、被検出ブロックについての最終的な動きベクト
ルを検出すると共に、(5)選択された当初ベクトルに
係るブロックの被検出ブロックに対する相対位置の統計
量を得て、上記候補ベクトルセットを規定するセット情
報を形成することを特徴とする。
検出回路及び動きベクトル検出方法の一実施形態を図面
を参照しながら詳述する。
被検出ブロックの近傍において、広範囲の周辺ブロッ
ク、例えば、図5に示すような24個のブロックの中か
ら、8候補の周辺ブロックのセットを複数用意する。ま
た、被検出ブロックについての初期偏位ベクトルが選択
される毎に、8候補中の選択された初期偏位ベクトルに
係る周辺ブロックの被検出ブロックに対する相対位置を
計数し、この計数動作を1フィールドの間だけ行う。そ
して、1フィールドの中で一番多く選択された初期偏位
ベクトルの相対位置により、複数のブロックセット(ベ
クトルセット)の中から、最も初期偏位ベクトルの選択
に適した1個のブロックセットを判定して選択し、その
選択されたブロックセットに属する8個の周辺ブロック
についての既検出ベクトルを初期偏位ベクトルの選択に
使用するものとする。すなわち、初期偏位ベクトルの前
フィールドでの選択情報により候補ベクトルのセットを
切替えるものであり、画像のフィールド方向の時間軸で
の連続性を反映させることができる。
象ブロックの範囲を、初期偏位ベクトルの候補ベクトル
数より拡大すると共に、被検出ブロック以前の1フィー
ルド分の初期偏位ベクトルとして選択された、相対位置
が同じブロックの個数を計数し、最多の相対位置が同じ
ブロックを、各被検出ブロックの初期偏位ベクトル(ブ
ロック)の選択の際に優先的に使用することにより、画
像のフィールド時間軸方向の全体的に一様な動きのある
信号の場合等にも、動きベクトルを高精度に検出できる
ようにしたものである。
示すブロック図であり、上述した図3との同一、対応部
分には同一符号を付して示している。
ル検出回路は、従来と同様な既検出ベクトルメモリ1
0、初期偏位ベクトル選択部11、第1の勾配法演算部
12、加算部13、第2の勾配法演算部14及び加算部
15に加え、候補ベクトルセット切替部20、8候補カ
ウンタ21、セット切替判定部22及び1フィールド保
持部23を有する。なお、従来に係る図3では省略して
いたが、この図1では、入力段に設けられている1フィ
ールド遅延部16も表記している。
ビデオ信号SAを1フィールドだけ遅延させて、現フィ
ールド信号SBの1フィールド前のフィールド信号(以
下、前フィールド信号と呼ぶ)SCを形成するものであ
る。
ルド信号SCを基準フィールド、現フィールド信号SB
を探索フィールドとして、動きベクトルを検出する。ま
た、動きベクトルの検出は、8画素×8ラインのブロッ
クを用いて行うものとする。
トル選択部11、第1の勾配法演算部12、加算部1
3、第2の勾配法演算部14及び加算部15は、従来と
同様なものである。
よって、既検出ベクトルメモリ10に格納されている、
被検出ブロック近傍の既検出の動きベクトルの中から、
前フィールド信号SC及び現フィールド信号SBのブロ
ックマッチングに基づいた初期偏位ベクトルSGが選択
され、この初期偏位ベクトルSG、前フィールド信号S
C及び現フィールド信号SBを用いた、第1の勾配法演
算部12による勾配法演算によって初期偏位ベクトルS
Gからの偏差分のベクトルSHが求められ、加算部13
によってこの分ベクトルが補正される。さらに、ベクト
ルSI(=SG+SH)、前フィールド信号SC及び現
フィールド信号SBを用いた、第2の勾配法演算部14
による勾配法演算によってベクトルSIからの偏差分の
ベクトルSJが求められ、加算部15によってこの分ベ
クトルが補正され、最終的な動きベクトルSK(=SI
+SJ)として出力されると共に、既検出ベクトルメモ
リ10に与えられて格納される。
ット切替部20は、1フィールド保持部23から与えら
れたセット情報SNが指示する、その時点での被検出ブ
ロックの位置の近傍の8個の候補ベクトルを、既検出ベ
クトルメモリ10から取り出して、候補ベクトルセット
SMとして、初期偏位ベクトル選択部11に与えるもの
である。候補ベクトルセットSMの例は、後述する動作
説明で明らかにする(図8参照)。
のであれば、被検出ブロックが属する前のフィールドに
係るものに限定されるものではなく、被検出ブロックが
属するフィールドに係るものであっても良い。例えば、
被検出ブロックを、横方向のラスタスキャン状に切り替
えていくものである場合には、例えば、被検出ブロック
より上方のブロックについては既に動きベクトルが検出
されている。
ば、図6に示すように、n個(nは8より大きい)の候
補ベクトルの組SLから8個の候補ベクトルを、1フィ
ールド保持部23から与えられたセット情報SNに従っ
て選択するセレクタ回路で実現することができる。
出ブロックを中心とした縦横5×5の計25個のブロッ
クのうち、被検出ブロックを除いた計24個の周辺ブロ
ックに係るベクトルを候補ベクトルとする場合には、上
述したnは24である。また、周辺ブロックに係るベク
トルだけでなく、前フィールドでの被検出ブロック位置
やその周囲8ブロックに係る既検出ベクトルの平均ベク
トル等も候補ベクトルとすることもでき、この場合に
は、n個の候補ベクトルには、その平均ベクトルも含ま
れる。
ベクトルの数は8に限定されないことは勿論である。な
お、動きベクトルの検出処理の高速化を期して、初期偏
位ベクトル選択部11として、8個の候補ベクトルに対
する評価値を並行して求めるハードウェア構成のものが
既に存在している。
うに、複数の候補ベクトルの中から初期偏位ベクトルS
Gを選択して第1の勾配法演算部12に与えるものであ
る。この実施形態の場合、初期偏位ベクトルSGとして
選択された候補ベクトルの相対位置を規定する選択情報
SDをも形成して8候補カウンタ21に与えるものであ
る。言い換えると、選択情報SDは、例えば、選択され
た初期偏位ベクトルSGに係るブロックのブロックセッ
ト内の相対位置を示す情報である。
わたって、初期偏位ベクトルSGが選択される毎に、言
い換えると、選択情報SDが与えられる毎に、その選択
情報SDが指示する8候補ブロック内での相対位置につ
いての選択回数(フィールドが切り替わったときには0
クリアされる)を積算するものであり、現在動きベクト
ルの検出対象となっているフィールドについての全ての
動きベクトルの検出が終了したときに、計数値が最も多
い相対位置を表す最多候補SEを得てセット切替判定部
22に与えるものである。
を示すものである。8候補カウンタ21は、候補デコー
ド部30、8個のカウンタ31〜38及び大小比較部3
9からなる。
ル選択部11からの選択情報SDが与えられ、候補デコ
ード部30は、この選択情報SDをデコードして、選択
情報SDが指示している相対位置に係るカウンタ3x
(xは1〜8のいずれか)を1インクリメントさせるた
めのトリガ信号SDX(XはA〜Hのいずれかであり、
xに対応している)を有意にする。
ベクトルの相対位置毎のものであり(後述する図8参
照)、図7の例では、8個の相対位置を、「A候補」、
「B候補」、…、「H候補」で表している。各カウンタ
31、…、38はそれぞれ、トリガ信号SDA、…、S
DHが候補デコード部30から与えられたときに1イン
クリメントするものである。なお、図7では、図示を省
略しているが、検出対象のフィールドが切り替わった際
には(例えばブランキング期間において)、図示しない
タイミング発生回路から、全てのカウンタ31〜38に
対して計数値を0クリアさせるリセット信号が与えられ
るようになされている。
を省略しているが、検出対象のフィールドが切り替わっ
た際に(例えばブランキング期間において)、図示しな
い比較イネーブル信号が与えられる。大小比較部39
は、比較イネーブル信号が与えられたときには、全ての
カウンタ31〜38から計数値SEA〜SEHを取り出
し、最も大きい計数値を認識し、その最大計数値に係る
相対位置を最多候補SEとしてセット切替判定部22に
与える。
候補SEと、1フィールド保持部23が保持している今
までのセット情報SNから、これからの処理フィールド
におけるセット情報(切替信号)SOを形成して1フィ
ールド保持部23に与える。なお、セット切替判定部2
2による切替信号SOの形成方法例は、後述する動作説
明で明らかにする。
定部22から与えられたセット情報(切替信号)SO
を、これからの処理フィールドの期間だけ保持し、その
保持したセット情報SNを、候補ベクトルセット切替部
20及びセット切替判定部22に与えるものである。
回路の動作(動きベクトル検出方法)を説明する。
遅延部16を通過させることで、動きベクトルの検出に
必要な現フィールド信号SB及び前フィールド信号SC
を用意する。これら現フィールド信号SB及び前フィー
ルド信号SCは、初期偏位ベクトル選択部11、第1の
勾配法演算部12及び第2の勾配法演算部14に与えら
れる。
被検出ブロックが新しくなると、候補ベクトルセット切
替部20によって、その被検出ブロックの周囲におけ
る、しかも、セット情報SNが指示している8個の候補
ベクトルのセットSMが、既検出ベクトルメモリ10か
ら取り出されて初期偏位ベクトル選択部11に与えられ
る。
以上のようにして候補ベクトルセット切替部20によっ
て選ばれた8個の候補ベクトルの中から、前フィールド
信号SC及び現フィールド信号SBのブロックマッチン
グなどに基づいた初期偏位ベクトルSGが選択され、こ
の初期偏位ベクトルSGが、第1の勾配法演算部12及
び加算部13に与えられると共に、初期偏位ベクトルS
Gとして選択された候補ベクトル(候補ブロック)の被
検出ブロックに対する相対位置を示す選択情報SDが初
期偏位ベクトル選択部11から8候補カウンタ21に与
えられる。
勾配法演算部12においては、初期偏位ベクトルSG、
前フィールド信号SC及び現フィールド信号SBを用い
た勾配法演算が実行されて、初期偏位ベクトルSGから
の偏差分のベクトルSHが求められ、加算部13によっ
てこの分ベクトルが補正される。さらに、ベクトルSI
(=SG+SH)、前フィールド信号SC及び現フィー
ルド信号SBを用いた、第2の勾配法演算部14による
勾配法演算によってベクトルSIからの偏差分のベクト
ルSJが求められ、加算部15によってこの分ベクトル
が補正され、現在処理対象の被検出ブロックについての
最終的な動きベクトルSK(=SI+SJ)として出力
されると共に、既検出ベクトルメモリ10に与えられ
て、1画像(1フィールド)内のそのブロック位置での
既検出ベクトルとして格納される。
ウンタ21においては、その選択情報SDが指示する相
対位置に応じた計数値を1インクリメントする。
検出処理は、現在処理対象のフィールドにおける全ての
ブロックについて実行される。
カウンタ(図7の31〜38参照)は、新たなフィール
ドが処理対象となったときに0クリアされ、その処理対
象のフィールドが終了したときには、各被検出ブロック
について初期偏位ベクトルとして選択された相対位置の
選択回数が計数値となっている。処理対象のフィールド
が終了したときには、8候補カウンタ21から、選択回
数が最も多い相対位置を表す最多候補SEがセット切替
判定部22に与えられる。
れた最多候補SEと、1フィールド保持部23が保持し
ている今までのセット情報SNから、これからのフィー
ルドにおけるセット情報(切替信号)SOが形成されて
1フィールド保持部23に与えられ、1フィールド保持
部23によって、そのセット情報(切替信号)SOが、
これからのフィールドの期間だけ保持され、保持された
セット情報SNが、候補ベクトルセット切替部20及び
セット切替判定部22に与えられる。
ては、保持されたセット情報SNで定まる8個の候補ベ
クトルセットが候補ベクトルセット切替部20に選択さ
れることになる。
言い換えると、どのような基準で切り替えるかを、数例
について説明する。
ベクトルであれば、被検出ブロックが属する前のフィー
ルドに係るものであっても、また、被検出ブロックが属
するフィールドに係るものであっても良い。
つとしては、最多候補が前フィールドに係る候補ベクト
ル(初期偏位ベクトル)に関する相対位置である場合に
は、前フィールドの候補ベクトルを多くした候補ベクト
ルセットにし、最多候補が現フィールドに係る候補ベク
トル(初期偏位ベクトル)に関する相対位置である場合
には、現フィールドの候補ベクトルを多くした候補ベク
トルセットにする、というように、前フィールドと現フ
ィールドの候補ベクトルを任意数ずつ組み合わせたセッ
トで切り替えることもできる。
間軸)の連続性を切替のパラメータにしても良い。
クトル(初期偏位ベクトル)に係る場合が所定数のフィ
ールドだけ連続したときには、前フィールドの候補ベク
トルを多くした候補ベクトルセットにし、最多候補が現
フィールドの候補ベクトル(初期偏位ベクトル)に係る
場合が所定数のフィールドだけ連続したときには、現フ
ィールドの候補ベクトルを多くした候補ベクトルセット
にすることもできる。
の基準としては、初期偏位ベクトルとして選択された候
補ベクトルに係るブロックの相対位置の最多候補が、被
検出ブロックの上側のブロックの場合には、上側のブロ
ックの候補ベクトルを多くした候補ベクトルセットに切
り替え、最多候補が、被検出ブロックの下側のブロック
の場合には、下側のブロックの候補ベクトルを多くした
候補ベクトルセットに切り替え、最多候補が、被検出ブ
ロックの左側のブロックの場合には、左側のブロックの
候補ベクトルを多くした候補ベクトルセットに切り替
え、最多候補が、被検出ブロックの右側のブロックの場
合には、右側のブロックの候補ベクトルを多くした候補
ベクトルセットに切り替えるというような、上、下、
左、右のベクトルセット間で切り替えるようにすること
も可能である。
向の連続性をも切替えのパラメータにしても良い。
含む領域を縦横5×5ブロックとした場合における、上
下左右の各方向の候補ベクトルセットの例を示すもので
あり、上下左右の各方向の候補ベクトルセットに加え
て、方向が偏っていない基準のベクトルセットも示して
いる。
の候補ベクトルセットをそれぞれ、「上方向セット」、
「下方向セット」、「左方向セット」、「右方向セッ
ト」という文字列で表しており、また、基準のベクトル
セットを「基準セット」という文字列で表している。ま
た、図8において、「※」は被検出ブロックを表してい
る。さらに、図8では、5種類の候補ベクトルのセット
を表しているが、他の候補ベクトルのセットがあって良
いことは勿論である。例えば、左上方向、右上方向、左
下方向、右下方向の候補ベクトルセットがあっても良
い。また例えば、同じ方向を指向しても、その距離の遠
近等によって、複数の候補ベクトルセットがあっても良
い。
(A)に示す基準セットが選択され、A〜Hを候補ベク
トルとして初期偏位ベクトルの検出が実行される。な
お、A〜Hは候補ベクトルを表すと共に、その候補ベク
トルに係るブロックの相対位置(ブロック名)をも表し
ている。
Hは、複数の候補ベクトルセット間で被検出ブロックに
対する相対位置が固定の候補ベクトルであり、候補ベク
トルE、F、Gは、各候補ベクトルセットにおいて、前
フィールドでの最多候補によって被検出ブロックに対す
る相対位置が変化する候補ベクトルである。
被検出ブロックが属するフィールドの前のフィールドの
既検出ベクトルと、被検出ブロックが属する現フィール
ドの既検出ベクトルのいずれをも候補ベクトルセットに
含めることができる。
B、C、D、Hの相対位置は、以下の通りとする。被検
出ブロックの切り替えは、左右方向のラスタ状に従って
いるとする。
る被検出位置ブロック及び周囲ブロックの計9ブロック
の平均)基準セットでの初期偏位ベクトルの選択結果、
相対位置がベクトルセットで変化する候補ベクトルH、
F又はGが最多候補となった場合には、上下左右を特定
できないため、次フィールドでは再び基準セットを用い
た初期偏位ベクトルの選択を行なうものとする。
はGのブロック構成の取り方の例を以下に示す。
1フィールド分の結果、相対位置Bが最多候補となった
場合には、次フィールドでは、図8(B)に示す上方向
セットを用いた初期偏位ベクトルの選択を行なう。
1フィールド分の結果、相対位置Dが最多候補となった
場合には、次フィールドでは、図8(C)に示す下方向
セットを用いた初期偏位ベクトルの選択を行なう。
1フィールド分の結果、相対位置A又はEが最多候補と
なった場合には、次フィールドでは、図8(D)に示す
左方向セットを用いた初期偏位ベクトルの選択を行な
う。
1フィールド分の結果、相対位置Cが最多候補となった
場合には、次フィールドでは、図8(E)に示す右方向
セットを用いた初期偏位ベクトルの選択を行なう。
の1フィールド分の結果、相対位置B、E、F、G又は
Hが最多候補となった場合には、次フィールドでは再び
上方向セットを用いた初期偏位ベクトルの選択を行な
う。
の1フィールド分の結果、相対位置B、E、F、G、H
以外が最多候補となった場合には、次フィールドでは、
基準セットを用いた初期偏位ベクトルの選択を行なう。
ットや左方向セットや右方向セットでの初期偏位ベクト
ルの選択の1フィールド分の結果が、被検出ブロック位
置よりその方向の相対位置が最多候補となった場合に
は、次フィールドでは再びその方向のセットを用いた初
期偏位ベクトルの選択を行ない、一方、それ以外の相対
位置が最多候補となった場合には、次フィールドでは、
基準セットを用いた初期偏位ベクトルの選択を行なう。
ト、上方向セット、下方向セット、左方向セット及び右
方向セット間で、初期繊維ベクトルの候補ベクトルセッ
トがを遷移する。
多候補の時間的な連続性をパラメータにしても良く、ま
た、同じ方向が複数回連続した場合に遷移させる方法も
可能である。
トルセットにおいて各種動画像をシミュレーションする
ことにより得られたデータを検証することにより、決定
することができる。
ルを選択させるための候補ベクトルセットを複数持ち、
初期偏位ベクトルの選択回数を、8候補それぞれの相対
位置で1フィールド分だけカウントし、その計数値の大
小比較により、8候補中の最多候補を検出し、その最多
候補の特徴より、次フィールドでの初期偏位ベクトルの
選択に用いる最適な候補ベクトルセットを選択し、その
候補ベクトルセットで検出された初期偏位ベクトルを用
いて反復勾配法により動きベクトル検出を行うようにし
たので、画像全体に偏った動きがある場合でも、各被検
出ブロックについての初期偏位ベクトルを適切に選択で
き、検出精度を向上させることができる動きベクトル検
出回路及び動きベクトル検出方法を実現できる。
ベクトルの直接的な選択は、8候補ベクトルから行って
いるが、その8候補ベクトルのセットの選択をも複数の
セットの中から行っているので、結果として、初期偏位
ベクトルの選択に供する候補ベクトル数は8候補より多
く、言い換えると、広範囲のブロックから初期偏位ベク
トルを選択可能であり、この点から、適切な候補ベクト
ルを初期偏位ベクトルに選択できて検出精度を高めるこ
とができる。
ルの候補ベクトルセットの組み合わせを、画像の動きの
性質にあわせてフレキシブルに変えているため、すなわ
ち、前フィールドの初期偏位ベクトルの選択結果をみ
て、画像の動きの特徴を捉えて初期偏位ベクトルの候補
セットの組み合わせをフレキシブルに変えているため、
画像全体に偏った動きがある場合でも、動きベクトルの
検出精度を向上させることができる。
の直接的な候補ベクトルの数を増大させて検出精度を向
上させることも考えられるが、初期偏位ベクトルの選択
に供する構成が大規模になったり、処理量が多くなった
りする。この点で、上記実施形態のほうが好ましい。
変形した他の実施形態に言及したが、さらに、以下に例
示するような他の実施形態を挙げることもできる。
検出に供する画像信号がインターレース方式に従うもの
であって、相前後するフィールド間の信号を利用して動
きベクトルを検出するものを示した。本発明は、これに
限定されるものではない。
ールド間が2フィールド以上離れたものであっても良
く、また、フィールド概念がないノンインターレース方
式に従う画像信号の動きベクトル検出に本発明を適用す
ることができる。
あくまでも一例である。例えば、初期候補ベクトルの直
接の選択に供する候補ベクトル数は8より多くてもまた
少なくても良い。また例えば、候補ベクトルセットを規
定する領域の大きさも、縦横5×5ブロックの領域より
大きくても小さくても良い。さらに例えば、ブロックの
大きさも。8画素×8ラインより大きくても小さくても
良い。
クトルセットの見直しを1フィールド毎に行うものを示
したが、それより長い期間や短い期間で見直すようにし
ても良い。
一セット内の8候補ベクトルについては、選択の優先度
がないものを示したが、新たなセットを決定する際にそ
のセットでの各候補ベクトルでの選択優先度を定めた
り、セット内の各候補ベクトルに予め選択優先度を付与
するようにしても良い。例えば、上方向セットに切り替
えさせる、又は、上方向セットを維持させる最多情報の
値が非常に大きい場合には、その上方向セットでの相対
位置が上方向の候補ベクトルを他の候補ベクトルより選
択し易いような重み付けを行っても良い。
に基づいて、候補ベクトルセットを決定するものを示し
たが、他の情報に基づいて、又は、最多情報及び他の情
報に基づいて、候補ベクトルセットを決定するようにし
ても良い。例えば、最多情報と、次に多い情報とを比較
し、その差が所定閾値以下のときには次フィールドで基
準セットを選択させるようにしても良い。また、ブロッ
ク毎の相対位置を計数するのではなく、上方向の複数の
ブロック、下方向の複数のブロック等のように、複数の
ブロックを組とし、ブロックの組毎に、初期候補ベクト
ルとして選択された相対位置を計数するようにしても良
い。
クトル切替部20を設けたものを示したが、既検出ベク
トルメモリ10から読み出す場合に、セット情報が指示
する8候補ベクトルを読み出して初期偏位ベクトル選択
部11に与えるようにしても良い。このようにした場合
であっても、機能的には、候補ベクトル切替部20が存
在するのと等価であり、特許請求の範囲における「候補
ベクトルセット切替手段」は、既検出ベクトルメモリ1
0から、セット情報が指示する8候補ベクトルを読み出
すような場合をも含まれるものとする。
の当初の検出ベクトルを構成しており、上記実施形態で
は、この当初の検出ベクトルに対し、反復勾配法を適用
してベクトル補正して最終的な動きベクトルを得てい
た。上述から明らかなように、本発明の特徴は、初期偏
位ベクトル(当初の検出ベクトル)を得るまでにあり、
初期偏位ベクトル(当初の検出ベクトル)を得た後のベ
クトル補正方法は反復勾配法に限定されるものではな
く、例えば、ブロックマッチング法のような他の方法を
適用しても良いことは勿論である。
体に偏った動きがある場合でも、各被検出ブロックにつ
いての当初ベクトルを適切に選択でき、検出精度を向上
させることができる動きベクトル検出回路及び動きベク
トル検出方法を実現できる。
ブロック図である。
クトルに係るブロックの対応を示す説明図である。
ック図である。
きベクトルと検出段階との関係を示す説明図である。
大きさと、初期偏位ベクトルの候補ベクトルのセットと
の関係を示す説明図である。
成を示すブロック図である。
ブロック図である。
図である。
選択部、12…第1の勾配法演算部、13、15…加算
部、14…第2の勾配法演算部、16…1フィールド遅
延部、20…候補ベクトルセット切替部、21…8候補
カウンタ、22…セット切替判定部、23…1フィール
ド保持部。
Claims (4)
- 【請求項1】 1画像を所定の大きさの複数のブロック
に分割し、各ブロック毎に、相前後する少なくとも2画
像の信号から、動きベクトルを検出する動きベクトル検
出回路において、 各ブロック毎に検出された動きベクトルを所定時間だけ
記憶する既検出ベクトル記憶手段と、 動きベクトルをこれから検出しようとする被検出ブロッ
クの周囲のブロックに係るn個の既検出の動きベクトル
から、与えられたセット情報に従った、N(N<n)個
の動きベクトルを、候補ベクトルセットとして選択する
候補ベクトルセット切替手段と、 選択された候補ベクトルセットにおけるN個の動きベク
トルから、被検出ブロックの動きベクトルに最も近い動
きベクトルを、当初ベクトルとして選択する当初ベクト
ル選択手段と、 選択された当初ベクトルに対し、ベクトル補正して、被
検出ブロックについての最終的な動きベクトルを検出す
るベクトル補正手段と、 選択された当初ベクトルに係るブロックの被検出ブロッ
クに対する相対位置の統計量を得て、上記候補ベクトル
セット切替手段に与えるセット情報を形成するセット情
報形成手段とを有することを特徴とする動きベクトル検
出回路。 - 【請求項2】 上記セット情報形成手段は、統計量が大
きい相対位置の被検出ブロックからの方向の既検出の動
きベクトルが、上記当初ベクトル選択手段に与えるN個
の動きベクトルに多く含まれるように、セット情報を形
成することを特徴とする請求項1に記載の動きベクトル
検出回路。 - 【請求項3】 1画像を所定の大きさの複数のブロック
に分割し、各ブロック毎に、相前後する少なくとも2画
像の信号から、動きベクトルを検出する動きベクトル検
出方法において、 各ブロック毎に検出された動きベクトルを所定時間だけ
記憶させておき、 動きベクトルをこれから検出しようとする被検出ブロッ
クの周囲のブロックに係るn個の既検出の動きベクトル
から、セット情報に従った、N(N<n)個の動きベク
トルを、候補ベクトルセットとして選択し、 選択された候補ベクトルセットにおけるN個の動きベク
トルから、被検出ブロックの動きベクトルに最も近い動
きベクトルを、当初ベクトルとして選択し、 選択された当初ベクトルに対し、ベクトル補正して、被
検出ブロックについての最終的な動きベクトルを検出す
ると共に、 選択された当初ベクトルに係るブロックの被検出ブロッ
クに対する相対位置の統計量を得て、上記候補ベクトル
セットを規定するセット情報を形成することを特徴とす
る動きベクトル検出方法。 - 【請求項4】 統計量が大きい相対位置の被検出ブロッ
クからの方向の既検出の動きベクトルが、上記当初ベク
トルの選択に供するN個の動きベクトルに多く含まれる
ように、セット情報を形成することを特徴とする請求項
3に記載の動きベクトル検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000091884A JP3597107B2 (ja) | 2000-03-29 | 2000-03-29 | 動きベクトル検出回路及び動きベクトル検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000091884A JP3597107B2 (ja) | 2000-03-29 | 2000-03-29 | 動きベクトル検出回路及び動きベクトル検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001285873A true JP2001285873A (ja) | 2001-10-12 |
JP3597107B2 JP3597107B2 (ja) | 2004-12-02 |
Family
ID=18607298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000091884A Expired - Fee Related JP3597107B2 (ja) | 2000-03-29 | 2000-03-29 | 動きベクトル検出回路及び動きベクトル検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3597107B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005301621A (ja) * | 2004-04-09 | 2005-10-27 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2016040933A (ja) * | 2010-10-01 | 2016-03-24 | シャープ株式会社 | ネスト型エントロピー符号化システム |
US11457216B2 (en) | 2010-10-01 | 2022-09-27 | Dolby International Ab | Nested entropy encoding |
-
2000
- 2000-03-29 JP JP2000091884A patent/JP3597107B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005301621A (ja) * | 2004-04-09 | 2005-10-27 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4512984B2 (ja) * | 2004-04-09 | 2010-07-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2016040933A (ja) * | 2010-10-01 | 2016-03-24 | シャープ株式会社 | ネスト型エントロピー符号化システム |
US11457216B2 (en) | 2010-10-01 | 2022-09-27 | Dolby International Ab | Nested entropy encoding |
US11659196B2 (en) | 2010-10-01 | 2023-05-23 | Dolby International Ab | System for nested entropy encoding |
US11973949B2 (en) | 2010-10-01 | 2024-04-30 | Dolby International Ab | Nested entropy encoding |
Also Published As
Publication number | Publication date |
---|---|
JP3597107B2 (ja) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8768103B2 (en) | Video processing apparatus and video display apparatus | |
US6289050B1 (en) | Device and method for motion vector detection | |
JP3226020B2 (ja) | 動きベクトル検出装置 | |
KR100973429B1 (ko) | 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체 | |
US8605787B2 (en) | Image processing system, image processing method, and recording medium storing image processing program | |
KR20040035777A (ko) | 움직임 추정 및/또는 보상 | |
JPH07135663A (ja) | 動きベクトル検出方法および動きベクトル検出装置 | |
US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
KR20050057707A (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
JP2006195525A (ja) | 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム | |
US20100150462A1 (en) | Image processing apparatus, method, and program | |
US20050226462A1 (en) | Unit for and method of estimating a motion vector | |
US8611423B2 (en) | Determination of optimal frame types in video encoding | |
US20090141802A1 (en) | Motion vector detecting apparatus, motion vector detecting method, and program | |
US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP3597107B2 (ja) | 動きベクトル検出回路及び動きベクトル検出方法 | |
KR100994771B1 (ko) | 블록정합에 의한 움직임 벡터 탐색방법 및 탐색장치 | |
JP2002152750A (ja) | 動きベクトル検出方法および装置 | |
JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
JPH0478286A (ja) | 初期偏位ベクトルを用いた動きベクトルの検出方法 | |
JP4250598B2 (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
JP4546810B2 (ja) | 軌跡付加映像生成装置及び軌跡付加映像生成プログラム | |
JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040907 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070917 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |