JP2003304507A - 動きベクトル検出装置及び方法 - Google Patents

動きベクトル検出装置及び方法

Info

Publication number
JP2003304507A
JP2003304507A JP2002108319A JP2002108319A JP2003304507A JP 2003304507 A JP2003304507 A JP 2003304507A JP 2002108319 A JP2002108319 A JP 2002108319A JP 2002108319 A JP2002108319 A JP 2002108319A JP 2003304507 A JP2003304507 A JP 2003304507A
Authority
JP
Japan
Prior art keywords
motion vector
pixel
adjacent
sum
horizontal component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002108319A
Other languages
English (en)
Other versions
JP4304911B2 (ja
Inventor
Yukihiko Mogi
幸彦 茂木
Koji Aoyama
幸治 青山
Kazuhiko Nishibori
一彦 西堀
Takanari Hoshino
隆也 星野
Makoto Kondo
真 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002108319A priority Critical patent/JP4304911B2/ja
Publication of JP2003304507A publication Critical patent/JP2003304507A/ja
Application granted granted Critical
Publication of JP4304911B2 publication Critical patent/JP4304911B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 実際の画像の動きに適合した動きベクトルを
求めることにより、変換画像の劣化を防止する。 【解決手段】 基準ブロック51と探索ブロック53と
の間で演算した差分絶対値和の分布傾向を識別し、基準
画素の垂直負方向に隣接する画素について予め識別され
た差分絶対値和の分布傾向と比較した上で、第1の動き
ベクトルを隣接する画素の動きベクトルに応じて特定
し、また基準ブロック51と探索ブロック53との間で
演算した差分絶対値和の分布の傾向及び探索範囲内にお
いて差分絶対値和が最小となる画素についての基準画素
の左側に隣接する画素の動きベクトルに基づく相対的な
位置に応じて第2の動きベクトルを特定し、特定された
第1の動きベクトル及び第2の動きベクトルの動きベク
トルのうちいずれか一の動きベクトルを選択する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動きベクトル修正
装置及び方法に関し、特にブロックマッチング法におい
て本来の動きに適合させた動きベクトルを検出可能な動
きベクトル検出装置及び方法に関する。0
【0002】
【従来の技術】テレビ放送の走査方式としては、従来か
ら水平走査線を1本おきに飛越して走査するインタレー
ス走査方式が最も広く採用されている。このインタレー
ス走査方式では、テレビジョン受像機側において、入力
画像信号に動き補償型のフィールド周波数変換や走査変
換を施すことにより、画面全体がちらついて見える面フ
リッカ妨害を抑え、動きのスムーズな変換画像を得るこ
とができる。
【0003】上述の動き補償型の変換を行うためには、
入力された画像信号において、現フィールドである参照
フィールドと、現フィールドから1フレーム前の基準フ
ィールドとの間で差分を算出し、この算出した差分に基
づいて動きベクトルの検出を行う。そして、基準フィー
ルドと参照フィールドの中間に位置する動き補正フィー
ルドにおいて、求めた動きベクトルに基づき画素をシフ
トさせる。ちなみに、この動きベクトルの検出は、一般
に実用化されている方式として、ブロックマッチング法
が一般的に用いられている。
【0004】このブロックマッチング法では、図14に
示すように、基準フィールド80を複数の基準ブロック
101に分割し、基準フィールド80における基準ブロ
ック101と最も高い相関度を示すブロックを、参照フ
ィールド90における探索範囲104内を移動する探索
ブロック103から検出する。そして当該検出された探
索ブロック103と基準ブロック101間の位置のずれ
(移動の方向と大きさ)を動きベクトルとする。
【0005】上述の相関度の判定は、先ず探索ブロック
103の各画素値について、基準ブロック101の対応
する画素値との差分をとり、その差によって示される評
価値、例えば差分絶対値和を求める。次に、上述の判定
操作を全ての探索ブロック103について行い、それぞ
れ求めた評価値和、すなわち各差分絶対値和から最小の
ものを求める。この最小の差分絶対値和を与える探索ブ
ロック103を、基準ブロック101と最も高い相関度
を示すブロックとし、かかるブロックの原点の画素11
3と、基準ブロック101の原点の画素との間で特定す
ることができるベクトルを動きベクトルとする。
【0006】次に、この求めた動きベクトルのベクトル
量、ベクトル方向に基づき、画素をシフトさせる量やシ
フト方向を決定する。そして基準フィールド80、参照
フィールド90の中間に位置する動き補正フィールド1
00において、基準ブロックの原点の画素位置から決定
したシフト量等に応じて画素をシフトさせる(或いは、
画素113の画素位置からシフト量の分だけ、シフト方
向へ画素をシフトさせる)。ここで、シフト量を、動き
ベクトルのベクトル量の1/2とすれば、動き補正フィ
ールド100においてシフトさせる画素の画素位置は、
基準フィールド80における画素位置と、参照フィール
ド90における画素位置の中央になる。すなわち、基準
フィールド80から参照フィールド90へ続く画素の動
きがスムーズになるような、動き補正フィールドを挿入
することができるため、画面品質の劣化を防止したイン
タレース画像を作り出すことが可能となる。
【0007】
【発明が解決しようとする課題】しかしながら、上述し
た従来のブロックマッチング法は、画面全体に表示され
る本来の画像の動きに関係なく、単に基準ブロックと誤
差の総和が最小となる探索ブロックを最優先して動きベ
クトルを求めるため、実際の画像の動きと無関係な動き
ベクトルが求まり、変換画像の画質が劣化する場合があ
る。
【0008】0 また例えば、図15(a)に示すように、
殆ど左右対称なラインαと、ラインβの二つの縦ライン
を有する”u”の文字を右から左へ水平方向にシフトさ
せる場合に、原点に存在するラインαを構成する一の画
素につき差分絶対値和を求めると、図15(b)に示すよ
うに、極小点が2箇所生じる。これは原点に存在するラ
インαを構成する画素201が、参照フィールド上にお
いてAの位置202と相関度が高く、またラインβを構
成する画素が参照フィールド上においてBの位置203
と相関度が高いため、A,B2箇所で差分絶対値和が小
さくなるためである。
【0009】このため、”u”の左右対称な文字を右か
ら左へ水平方向にシフトさせる場合に、従来のブロック
マッチング同様に動きベクトルを求めると、最小となる
差分絶対値和を示す画素としてAの位置にシフトしたラ
インαを構成する画素以外に、Bの位置にシフトしたラ
インβの画素が求まる場合もあり、動きベクトルの方向
が局所的に逆転する。
【0010】従って、殆ど左右対称な”u”や”H”等
の文字について、動きベクトルの水平成分を揃えること
により、画質の劣化を抑える必要があり、特に情報を水
平方向へ随時シフトさせるケースが増えた近年のテレビ
ジョン放送において、かかる画質改善の要請は高まって
いる。
【0011】更に、ブロックマッチング法の下、求める
動きベクトルを実際の画像の動きに適合するようにして
も、全体的に動きベクトルがばらつく場合もあり、領域
単位での処理破綻の原因となる。このため、実際の画像
の動きと無関係な動きベクトルのベクトル方向を修正す
ることにより、動きベクトルのばらつきを解消する必要
があった。
【0012】そこで本発明は、上述したような実情に鑑
みて提案されたものであり、実際の画像の動きに適合し
た動きベクトルを求めることができる動きベクトル検出
装置及び方法を提供することを目的とする。
【0013】
【課題を解決するための手段】本発明に係る動きベクト
ル検出装置は、上述の課題を解決するため、入力される
参照フィールドから1フレーム前の基準フィールドの基
準画素につきブロックマッチング法により動きベクトル
を検出する動きベクトル検出装置において、基準フィー
ルドから切り出した基準画素を原点とする基準ブロック
と参照フィールドから切り出した探索範囲内を移動する
探索ブロックとの間で画素値の差分絶対値和を順次演算
する演算手段と、上記演算した差分絶対値和の上記探索
範囲における分布傾向と上記基準画素の垂直負方向に隣
接する画素について予め識別された差分絶対値和の分布
傾向とを比較する比較手段と、上記比較手段により比較
した分布傾向が類似している場合に上記基準画素の動き
ベクトルを上記隣接する画素の動きベクトルに応じて特
定する第1の動きベクトル特定手段と、上記演算した差
分絶対値和の上記探索範囲における分布の傾向を識別し
また上記探索範囲内において最小となる差分絶対値和を
示す画素の位置を上記基準画素の左側に隣接する画素の
動きベクトルに基づいて相対的に識別する識別手段と、
上記識別手段により識別された分布の傾向及び上記識別
手段により識別された最小となる差分絶対値和を示す画
素の位置に応じて上記基準画素の動きベクトルを特定す
る第2の動きベクトル特定手段と、上記第1の動きベク
トル特定手段により特定された基準画素の動きベクトル
と上記第2の動きベクトル特定手段により特定された基
準画素の動きベクトルのうちいずれか一の動きベクトル
を選択するベクトル選択手段とを備えることを特徴とす
る。
【0014】本発明に係る動きベクトル検出方法は、上
述の課題を解決するため、入力される参照フィールドか
ら1フレーム前の基準フィールドの基準画素につきブロ
ックマッチング法により動きベクトルを検出する動きベ
クトル検出方法において、基準フィールドから切り出し
た基準画素を原点とする基準ブロックと参照フィールド
から切り出した探索範囲内を移動する探索ブロックとの
間で画素値の差分絶対値和を順次演算し、上記演算した
差分絶対値和の上記探索範囲における分布傾向と上記基
準画素の垂直負方向に隣接する画素について予め識別さ
れた差分絶対値和の分布傾向とを比較し、上記比較した
分布傾向が類似している場合に上記基準画素の動きベク
トルを上記隣接する画素の動きベクトルに応じて第1の
動きベクトルとして特定し、上記演算した差分絶対値和
の上記探索範囲における分布の傾向を識別し、また上記
探索範囲内において最小となる差分絶対値和を示す画素
の位置を上記基準画素の左側に隣接する画素の動きベク
トルに基づいて相対的に識別し、上記識別された分布の
傾向及び上記識別された最小となる差分絶対値和を示す
画素の位置に応じて上記基準画素の動きベクトルを第2
の動きベクトルとして特定し、上記特定された第1の動
きベクトルと上記特定された第2の動きベクトルの動き
ベクトルのうちいずれか一の動きベクトルを選択するこ
とを特徴とする。
【0015】この動きベクトル検出装置及び方法は、基
準ブロックと探索ブロックとの間で演算した差分絶対値
和の分布傾向を識別し、基準画素の垂直負方向に隣接す
る画素について予め識別された差分絶対値和の分布傾向
と比較した上で、第1の動きベクトルを隣接する画素の
動きベクトルに応じて特定し、また基準ブロックと探索
ブロックとの間で演算した差分絶対値和の分布の傾向及
び探索範囲内において差分絶対値和が最小となる画素に
ついての基準画素の左側に隣接する画素の動きベクトル
に基づく相対的な位置に応じて第2の動きベクトルを特
定し、特定された第1の動きベクトル及び第2の動きベ
クトルの動きベクトルのうちいずれか一の動きベクトル
を選択する。
【0016】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。
【0017】本発明は、例えば入力画像信号に対して補
間処理を施すことにより、奇数番目の走査線から構成さ
れるフィールド画像と偶数番目の走査線から構成される
フィールド画像により1枚のインタレース画像を形成す
るテレビジョン受像機に内蔵される。
【0018】図1は、本発明を適用した動きベクトル検
出装置1の構成図を示している。この動きベクトル検出
装置1は、画像格納用メモリ11と、誤差演算部12
と、比較処理部13と、第1の動きベクトル検出部14
と、識別処理部15と、第2の動きベクトル検出部16
と、ベクトル選択部17と、ベクトル格納用メモリ18
と、動きベクトル修正部19と、動きベクトル検出装置
1全体の制御等を行なう制御部20とを備えている。
【0019】画像格納用メモリ11は、順次供給される
入力画像信号を所定のアドレスに格納する。
【0020】誤差演算部12は、画像格納用メモリ11
に格納されている入力画像信号において制御部20から
受け取った座標を原点とする画素ブロックを切り出し
て、ブロック毎の差分絶対値和を順次演算する。またこ
の誤差演算部12は、演算した差分絶対値和を比較処理
部13及び識別処理部15へ送信する。
【0021】比較処理部13は、誤差演算部12から送
信されたブロック毎の差分絶対値和の分布傾向等を識別
する。
【0022】第1の動きベクトル検出部14は、比較処
理部13における識別結果に応じて、一の動きベクトル
を特定する。この第1の動きベクトル検出部14により
特定された動きベクトルを、以下第1の動きベクトルと
称する。
【0023】識別処理部15は、誤差演算部12から送
信されたブロック毎の差分絶対値和の分布傾向等を識別
する。
【0024】第2の動きベクトル検出部16は、識別処
理部15における識別結果に応じて、一の動きベクトル
を特定する。この第2の動きベクトル検出部16により
特定された動きベクトルを、以下第2の動きベクトルと
称する。
【0025】ベクトル選択部17は、第1の動きベクト
ル検出部14から送信される第1の動きベクトルと、第
2の動きベクトル16から送信される第2の動きベクト
ルのうちいずれか一の動きベクトルを選択する。ベクト
ル選択部17は、この選択した動きベクトルをベクトル
格納用メモリ18へ送信する。
【0026】ベクトル格納用メモリ18は、ベクトル選
択部17により送信された動きベクトルを各画素毎に格
納する。ちなみに、このベクトル格納用メモリ18に格
納された動きベクトルは、第1の動きベクトルや第2の
動きベクトルに読み出される場合もある。
【0027】動きベクトル修正部19は、画素毎に求め
られた動きベクトルの中から、動きベクトルのばらつき
具合を精査し、実際の画像の動きと無関係な動きベクト
ルが求められている画素(以下、この画素を修正画素と
称する)の動きベクトルを修正する。なお本発明に係る
動きベクトル検出装置1は、この動きベクトル修正部1
9を割愛した構成を採用しても良い。
【0028】次に本発明を適用した動きベクトル検出装
置1の動作について説明する。先ず誤差演算部12の動
作について説明をする。図2は、画像格納用メモリ11
に書き込まれる画像信号としての現フィールドである参
照フィールドと、現フィールドから1フレーム前の基準
フィールド30の位置関係を示している。基準フィール
ド30における基準ブロック51と、参照フィールド4
0における探索ブロック53はそれぞれ、M×Nの画素
のサイズで表される。探索ブロック53の探索範囲54
は任意に設定される。
【0029】誤差演算部12は、基準フィールド30を
複数の基準ブロック51に分割し、基準フィールド30
における基準ブロック51と、参照フィールド40にお
ける探索範囲54内を移動する探索ブロック53との間
で相関度を判定する。相関度の判定は、先ず探索ブロッ
ク53の各画素値について、基準ブロック51の対応す
る画素値との差分をとり、その差によって示される評価
値、例えば差分絶対値和を求める。次に、上述の判定を
探索範囲54内の全ての探索ブロック53について行
い、差分絶対値和を順次演算する。
【0030】次に比較処理部13及び第1の動きベクト
ル検出部14の動作について説明する。この比較処理部
13及び第1の動きベクトル検出部14は、上述のブロ
ックマッチングにより求めた差分絶対値和に基づき、以
下のコンセプトから第1の動きベクトルを特定する。
【0031】図3は、探索範囲54内に割り当てられた
全探索ブロック53について求めた差分絶対値和の分布
傾向の一例を示している。この図3より、差分絶対値和
の大きい領域は、基準ブロック51と探索ブロック53
との画素値が著しく異なる領域である。一方、凹部を形
成している差分絶対値の小さい領域は、基準ブロック5
1と探索ブロック53との画素値の相関度が高い領域で
ある。すなわち画素値の相関度が高い領域に対して動き
ベクトルを特定することで、高画質化、高解像度化を実
現することができる。
【0032】探索範囲54は、垂直成分(ys)に対応
した水平ラインが割り当てられている。各水平ライン
は、それぞれ差分絶対値の極小値を有し、これらの極小
値が上述した差分絶対値の低い領域を形成している。以
下、これらの水平ライン毎の極小値をライン極小値と称
する。
【0033】また、通常のブロックマッチング同様に探
索範囲54全体の中から特定した差分絶対値和の極小値
を領域極小値と称する。すなわち各ライン極小値の中で
最小となる差分絶対値和は、この領域極小値に相当す
る。図3において示されるように、黒丸で示した領域極
小値は、他のライン極小値と比較しても大差無い。この
ため、この領域極小値を示す画素の代わりに、ライン極
小値を示す画素について、基準ブロック51の原点の画
素との間で動きベクトルを特定しても、画質や解像度に
ほとんど影響が及ばないことになる。
【0034】従って、第1の動きベクトル検出部14
は、かかる性質に着目し、ライン極小値を有する画素の
中から本来の画像の動きに最も適合する画素を選択し、
基準ブロック51の原点の画素との間で第1の動きベク
トルを特定する。
【0035】次に、第1の動きベクトルを検出する手順
について、図4を用いて詳細に説明する。
【0036】先ずステップS11において、誤差演算部
12において求められた差分絶対値和を順次抽出する。
探索範囲54内部を移動する全ての探索ブロック53に
つき差分絶対値和を抽出した後、ステップS12に移行
する。
【0037】ステップS12では、算出した差分絶対値
和の中から先ず領域極小値を選び出し、当該領域極小値
を示す画素の座標を特定する。
【0038】次にステップS13へ移行し、算出した差
分絶対値和の中から、水平ライン毎にライン極小値を選
び出し、当該ライン極小値を示す画素の座標を特定す
る。
【0039】次にステップS14へ移行し、基準ブロッ
ク51の原点の画素から垂直負方向に隣接する画素(以
下、この画素を隣接画素と称する)に基づいて本来の画
像の動きを識別するため、動きベクトルに関する情報を
取得する。すなわち、この隣接画素の動きベクトル、及
び当該動きベクトルに基づくライン極小値を、隣接画素
情報として取得することにより、本来の画像の動きを識
別することができる。ちなみに、この隣接画素の動きベ
クトルに基づくライン極小値は、隣接画素と、隣接画素
から動きベクトル分ずらした(参照フィールド40にお
ける)水平ラインにおけるライン極小値である。以下こ
のライン極小値を、候補ライン極小値Kと称する。
【0040】次にステップS15に移行し、先ず候補ラ
イン極小値Kと領域極小値との差分絶対値を求める。基
準ブロック51の原点の画素の動きベクトルを、隣接画
素の動きベクトルに合わせることにより、本来の画像の
動きに適合させるためには、基準ブロック51の原点の
画素と隣接画素の動きのパターンが類似している必要が
ある。このためには、両者のライン極小値の配列傾向
(差分絶対値和の分布傾向)が類似していることが条件
となる。このライン極小値の配列傾向が類似しているか
否か判別するために、候補ライン極小値Kと領域極小値
の差分絶対値を求めて比較を行う。
【0041】このステップS15において、求めた候補
ライン極小値Kと領域極小値との差分絶対値が所定の閾
値より大きい場合には、隣接画素と、基準ブロック51
の原点の画素におけるライン極小値の配列傾向が異なる
ことを示唆しており、かかる場合にはステップS16へ
移行する。また求めた候補ライン極小値Kと領域極小値
との差分絶対値がが所定の閾値より小さい場合には、隣
接画素と、基準ブロック51の原点の画素におけるライ
ン極小値の配列傾向が類似していることを示唆してお
り、かかる場合にはステップS17に移行する。なお、
この所定の閾値は、動きベクトルのばらつき具合を考慮
して任意に設定される。
【0042】ステップS16に移行した場合には、隣接
画素の動きベクトルに合わせても本来の画像の動きに適
合させることができないため、通常のブロックマッチン
グ法と同様に、基準ブロック51と最も高い相関度を示
す探索ブロック53により動きベクトルを求める。すな
わち、領域極小値を有する画素と、基準ブロック51の
原点の画素との間で求める動きベクトルを特定する。
【0043】ステップS17に移行した場合に、求める
第1の動きベクトルを隣接画素の動きベクトルに合わせ
る。すなわち、求める第1の動きベクトルの水平成分、
垂直成分をそれぞれ(Vx、Vy)とし、また隣接画素
の動きベクトルの水平成分、垂直成分をそれぞれ(Vx
u、Vyu)としたときに、Vyについては、Vy=V
yuとなるように設定する。すなわち、原点の座標から
垂直方向にVyだけ移動させた水平ライン上においてラ
イン極小値を有する画素へ動くように動きベクトルを合
わせる。図5に示す例において、Vyu=+1である場
合には、原点の座標からVyだけ移動させた水平ライン
は、ys=+1の水平ラインである。この水平ラインに
おけるライン極小値を有する画素の水平成分は、xs=
−2である。従って、動きベクトルは、水平成分Vxが
−2であり垂直成分Vyが+1として特定されることと
なる。
【0044】すなわち、第1の動きベクトル検出部14
は、求める第1の動きベクトルの垂直成分を隣接画素の
動きベクトルに合致させ、求める第1の動きベクトルの
水平成分を、特定した垂直成分に対応する水平ライン上
においてライン極小値を有する画素に応じて求める。こ
の第1の動きベクトルを求めることにより、動きベクト
ルそのもののばらつきを解消することにより本来の画像
の動きに適合させることができるため、動きベクトルの
ばらつきを抑えることができ、ひいては変換画像の劣化
を防止することができる。
【0045】次に識別処理部15及び第2の動きベクト
ル検出部16の動作について説明する。この識別処理部
15及び第2の動きベクトル検出部16は、上述のブロ
ックマッチング法により求めた差分絶対値和に基づき、
以下のコンセプトから第2の動きベクトルを特定する。
【0046】本来の画像の動きを識別するために、左隣
の画素の動きベクトルを本来の画像の動きを識別するた
めのパラメータとして読み出す。そして図6に示すよう
に、動きベクトルを求める画素35(基準ブロック51
の原点の画素)の左隣に位置する画素34において求め
られている動きベクトルが正確なものであると仮定す
る。実際には、画素35の動きベクトルの方向を、該左
隣に位置する画素34の動きベクトルに合わせる。この
ようにして求められた画素35の動きベクトルも正確な
ものとなるため、さらに画素36の動きベクトルを求め
る際に、画素35を参酌することができ、動きベクトル
の正確性を担保することが可能となる。
【0047】次に第2の動きベクトルを特定する手順に
ついて図7に基づいて詳細に説明する。まずステップS
21において、誤差演算部12において求められた差分
絶対値和を抽出する。このステップS21において、探
索範囲54内部を移動する全ての探索ブロック53につ
き差分絶対値和を抽出した後、ステップS22に移行す
る。
【0048】ステップS22では、探索範囲54におい
て領域極小値を示す画素を選別し、当該画素の座標を特
定する。この領域極小値を示す画素の座標を(xs_m
in、ys_min)とする。
【0049】次にステップS23へ移行し、図6に示す
ように、探索範囲54を、基準ブロックの原点の画素3
5を中心とした正領域56と、負領域57に分割する。
そして分割した正領域56と負領域57毎に、差分絶対
値和の極小値を選別し、当該画素の座標を特定する。以
下、差分絶対値和の正領域における極小値を正領域極小
値と称し、また差分絶対値和の負領域の極小値を負領域
極小値と称する。すなわち、求めた領域極小値は、正領
域極小値或いは負領域極小値のいずれかと一致すること
となる。
【0050】次にステップS24へ移行し、基準ブロッ
ク51の原点の画素35の左隣の画素34において求め
られた動きベクトルの情報を取得する。すなわち、この
左隣の画素34の動きベクトル、及び当該動きベクトル
に基づく差分絶対値和を、隣接画素情報として取得する
ことにより、本来の画像の動きを識別することができ
る。
【0051】次にステップS25へ移行し、領域極小値
を示す画素の位置を、画素34において求められた動き
ベクトルに基づき、相対的に判定する。具体的には、領
域極小値を示す画素のx座標(xs_min)と、画素
34において求められた動きベクトルの水平成分(以
下、Vx_lと称する)との積を求め、正か負かを識別
することにより、両者の位置関係を把握する。
【0052】図8の例は、左隣の画素34の動きベクト
ルにおける水平成分Vx_lが、負の極性を有する場合
について示している。ここで領域極小値を示す画素のx
s_minの極性が負の場合には、正確性が担保された
左隣の画素34の動きベクトルと水平成分が揃う。この
ため、かかる領域極小値を示す画素と原点の画素34と
の間で動きベクトルを特定しても動きベクトルがばらつ
くことはなくなる。従って、求めた積が0以上の場合
は、ステップS26へ移行し、通常のブロックマッチン
グ法と同様に動きベクトルを求める。なお、水平成分V
x_lが、正の極性を有する場合についても同様に積を
求めることにより、両者の位置関係を把握することがで
きる。
【0053】一方、領域極小値を示す画素の水平成分x
s_minの極性が正の場合には、図9に示すように、
左隣の画素34の動きベクトルと水平成分が逆方向にな
るため、ステップS28へ移行し、以下に説明するよう
に動きベクトルを特定することで両者の水平成分を揃え
る。これにより、正領域極小値或いは負領域極小値を有
する画素の中から、左隣の画素34における動きベクト
ルの水平成分に適合する画素を選択し、原点の画素35
との間で動きベクトルを特定することができる。
【0054】すなわち、このステップS28以下に示す
動きベクトルの特定において、原点の画素35との間で
動きベクトルを求める画素を、正領域極小値或いは負領
域極小値を示す画素のいずれから選び出す。そして選び
出した負領域極小値或いは正領域極小値を示す画素と、
原点の画素35との間で動きベクトルを特定する。な
お、正領域極小値を示す画素或いは負領域極小値を示す
画素から一の画素を選び出すため、両者間の差分絶対値
和の格差が小さいことが望ましい。このため、ステップ
S27において、正領域極小値と負領域極小値を比較
し、格差が小さい場合のみステップS28へ移行し、上
述の動きベクトルの特定を行なっても良い。なお、この
正領域極小値と負領域極小値の比較は、例えば、正領域
極小値と負領域極小値の差分絶対値を求め、当該差分絶
対値が閾値を下回る場合のみにステップS28へ移行し
ても良い。
【0055】ステップS28以下における動きベクトル
の特定は、具体的に次の手順により行う。先ずVx_l
が0以上か否か判定する。Vx_lが0以上の場合に
は、正領域極小値を示す画素の座標を、上述の領域最小
値を示す画素の座標(xs_min、ys_min)と
して定義し直す。一方、Vx_lが0より小さい場合に
は、負領域極小値を示す画素の座標を、上述の領域最小
値を示す画素の座標(xs_min、ys_min)と
して定義し直す。
【0056】ステップS29では、定義し直した座標
(xs_min、ys_min)と原点の座標との間で
動きベクトルを特定する。
【0057】ちなみに、求めた差分絶対値が閾値を越え
る場合において上述したステップS28,29の処理を
進めると却って画質の低下等の不都合を生じるため、ス
テップS26へ移行して、通常のブロックマッチング法
と同様に動きベクトルを求める。
【0058】すなわち、この第2の動きベクトル検出部
16は、正領域極小値或いは負領域極小値を有する画素
の中から、左隣の画素34の水平成分の極性に適合する
画素を選択し、当該選択した画素と原点の画素との間で
第2の動きベクトルを求める。この第2の動きベクトル
を求めることにより、差分絶対値和の極小点が複数生じ
るような、左右対称な"u"や"H"の文字等についても動
きベクトルの水平成分を揃えることができ、画質の劣化
を抑えることが可能となり、ひいては情報を水平方向へ
随時シフトさせる場合が増えた近年の放送のニーズに応
えることができる。
【0059】ちなみに、ベクトル選択部17は、上述の
ように求められた第1の動きベクトル及び第2の動きベ
クトルのうち、所定の優先順位に従って一のベクトルを
選択する。この所定の優先順位を、例えば本来の画像の
動きに適合するような動きベクトルを優先して選択する
ようにすれば、更に動きベクトルのばらつきを解消する
ことができ、更なる高画質化を期待することができる。
【0060】次に、動きベクトル修正部19の処理手順
について図10を用いて説明する。すなわち、この図1
0に示す処理手順では、各画素毎に選択された動きベク
トルが格納されているベクトル格納用メモリ18から、
実際の画像の動きと無関係な動きベクトルが求められて
いる画素(以下、この画素を修正画素と称する)を抽出
し、当該修正画素に隣接する修正隣接画素の動きベクト
ルに適合させるものである。
【0061】まず、動きベクトル修正部19は、ステッ
プS31において各変数を初期化し、次にステップS3
2において、図11に示す隣接画素A〜Hの中から最初
の修正隣接画素(例えば修正隣接画素A)における動き
ベクトルを抽出する。
【0062】次に、動きベクトル修正部19は、ステッ
プS33において、修正隣接画素における動きベクトル
の水平成分の極性Vx_iを識別し、当該極性がプラス
であればステップS34へ移行し、当該極性がマイナス
であればステップS35へ移行する。
【0063】ステップS34において、動きベクトル修
正部19は、図示しないカウンタCnt_pに1を加算
し、また抽出した動きベクトルの水平成分を、修正隣接
画素の水平成分の和Vx_ave_pへ、また当該動き
ベクトルの垂直成分を垂直成分の和Vy_ave_pへ
加算し、ステップS36へ移行する。
【0064】ステップS35において、動きベクトル修
正部19は、図示しないカウンタCnt_mに1を加算
し、また抽出した動きベクトルの水平成分を、修正隣接
画素の水平成分の和Vx_ave_mへ、当該動きベク
トルの垂直成分を垂直成分の和Vy_ave_mへ加算
し、ステップS36へ移行する。
【0065】ステップS36において、動きベクトル修
正部19は、ステップS33で識別した修正隣接画素
が、抽出すべき隣接画素A〜Hのうち最後の修正隣接画
素か否か識別する。最後の修正隣接画素であればステッ
プS38へ移行する。最後の修正隣接画素でなければス
テップS37へ移行する。
【0066】ステップS37において、動きベクトル修
正部19は、次の修正隣接画素の動きベクトル(例えば
修正隣接画素B)を抽出し、再度ステップS33へ移行
する。このルーチンを組むことにより、図11に示す修
正隣接画素A〜H全てについて動きベクトルの識別をす
ることが可能となる。また修正隣接画素A〜H全てにつ
いて動きベクトルを識別して、ステップS38に移行す
る際には、カウンタCnt_pにおいて、動きベクトル
の水平成分の極性がプラスである修正隣接画素の個数
が、またカウンタCnt_mにおいて、動きベクトルの
水平成分の極性がマイナスである修正隣接画素の個数が
示されることとなる。さらに、動きベクトルの水平成分
の極性がプラスである修正隣接画素における水平成分の
和Vx_ave_p、垂直成分の和Vy_ave_pが
求められており、また動きベクトルの水平成分の極性が
マイナスである修正隣接画素における水平成分の和Vx
_ave_m、垂直成分の和Vy_ave_mが求めら
れることになる。
【0067】ちなみに、ステップS37において、修正
隣接画素A〜Hの抽出する順は時計回り、或いは反時計
回りであっても良いし、ランダムであっても良い。また
抽出する修正隣接画素は、修正隣接画素A〜H全て抽出
しなくても良く、例えば、上段の修正隣接画素A〜C、
修正隣接画素B,D,E、又は、修正隣接画素A,B,C,
D,Eであっても良い。
【0068】ステップS38に移行すると、動きベクト
ル修正部19は、カウンタCnt_pとカウンタCnt
_mの数値を比較する。その結果、カウンタCnt_p
がより大きい場合には、修正隣接画素のうち、動きベク
トル水平成分の極性がプラスである修正隣接画素の方が
多いことが示され、ステップS39へ移行する。また、
カウンタCnt_mがより大きい場合には、修正隣接画
素のうち、動きベクトルの水平成分の極性がマイナスで
ある修正隣接画素の方が多いことが示され、ステップS
40へ移行する。
【0069】ステップS39では、動きベクトルの水平
成分の極性がプラスである修正隣接画素に基づき、基準
画素における修正動きベクトルを求める。この修正動き
ベクトルの各成分(Vx_n、Vy_n)は、水平成分
の極性がプラスである修正隣接画素の各成分の平均値と
する。具体的には以下の式に基づき算出する。
【0070】Vx_n=Vx_ave_p/Cnt_p Vy_n=Vy_ave_p/Cnt_p また、ステップS40では、動きベクトルの水平成分の
極性がマイナスである 修正隣接画素に基づき、基準画素における修正動きベク
トルを求める。この修正動きベクトルの各成分(Vx_
n、Vy_n)は、水平成分の極性がマイナスである修
正隣接画素の各成分の平均値とする。具体的には以下の
式に基づき算出する。
【0071】Vx_n=Vx_ave_m/Cnt_m Vy_n=Vy_ave_m/Cnt_m すなわち、動きベクトル修正部19は、上述した図10
に示す処理手順を踏むことにより、修正画素の動きベク
トルを、修正隣接画素の動きベクトルのベクトル方向を
カウントし、多数の修正隣接画素が示すベクトル方向に
合うように修正することができる。換言すれば、修正画
素の周囲に位置する修正隣接画素の動きベクトルの方向
を多数決し、多い方の動きベクトルの方向を実際の画像
の動きであるものと推定して、修正画素の動きベクトル
のベクトル方向を修正することができる。また、ベクト
ル選択部17により、求める動きベクトルを実際の画像
の動きに適合するようにしても、全体的に動きベクトル
がばらつく場合に、ベクトルの方向を修正することがで
きる。これにより、求められる動きベクトルのばらつき
を更に解消することが可能となり、ひいては変換画像の
劣化を防止することができる。
【0072】ちなみに本発明は、画素単位の処理に限定
されるものではなく、ブロック単位の処理にも適用可能
である。この場合、基準画素位置を所定の画素数からな
る基準ブロックに代替し、また隣接画素位置を所定の画
素数からなり、基準ブロックに隣接する隣接ブロックに
代替しても良い。
【0073】なお、本発明を適用した動きベクトル検出
装置1は、上述した実施の形態に限定されるものではな
い。例えば図12に示すように、誤差演算部12の代替
として、制約項演算部22を設けても良い。
【0074】制約項演算部22は、画像格納用メモリ1
1に格納されている入力画像信号から制御部20から受
け取った座標を原点とする画素ブロックを切り出し、例
えばブロックマッチング法等に基づき、ブロック毎の差
分絶対値和を順次演算する。また、この制約項演算部2
2は、探索ブロック53を構成する画素の位置、及び基
準画素に隣接する画素の動きベクトルに基づいて制約項
を算出し、当該制約項を差分絶対値和に加算する。
【0075】ちなみに、この制約項は以下のコンセプト
に基づいて求められる。本来の画像の動きを識別するた
めに、左隣の画素の動きベクトルを本来の画像の動きを
識別するためのパラメータとして、ベクトル格納用メモ
リ18から読み出す。そして、図6に示す動きベクトル
を求める画素35(基準ブロック51の原点の画素)の
左隣に位置する画素34において求められている動きベ
クトルが正確なものであると仮定する。実際には、画素
35の動きベクトルの方向を、該左隣に位置する画素3
4の動きベクトルに合うように制約項を求める。このよ
うにして求められた画素35の動きベクトルも正確なも
のとなるため、さらに画素36の動きベクトルを求める
際に、画素35を参酌して制約項を設定することがで
き、動きベクトルの正確性を担保することが可能とな
る。
【0076】この制約項演算部22における制約項の演
算方法について図13を用いて説明をする。
【0077】先ずステップS41において、基準フィー
ルド30における基準ブロック51と、参照フィールド
40における探索範囲54内部を移動する探索ブロック
53との間で、差分絶対値和D(xs、ys)を順次演
算する。ちなみにxs、ysは、探索ブロック53の中
心座標を示している。
【0078】ステップS42では、探索ブロック53の
中心座標(xs、ys)に応じて、制約項G(xs、y
s)を求める。このステップS42において、先ず、動
きベクトル格納用メモリ14に格納されている隣接画素
情報を読み出し、左隣の画素34の動きベクトルの水平
成分Vx_lを抽出する。そして、探索範囲54におけ
る画素(xs、ys)を、左隣の画素34において求め
られた動きベクトルの水平成分Vx_lとの関係におい
て求める。具体的には、探索範囲54における画素の水
平成分xsと、画素34において求められた動きベクト
ルの水平成分(以下、Vx_lとする)との積(=xs
×Vx_l)を求め、正か負かを識別することにより、
両者の位置関係を把握する。積が正であれば探索範囲5
4における画素の水平成分xsの極性と、隣接する画素
34における動きベクトルの水平成分Vx_lの極性は
等しく、積が負であれば両者の極性は異なる。
【0079】ここでxs×Vx_l<0の場合には、G
(xs、ys)=αとする(αは正数とする)。一方、
xs×Vx_l≧0の場合は、G(xs、ys)=0と
する。この制約項G(xs、ys)を演算した後、ステ
ップS43へ移行する。
【0080】ステップS43では、以下の(12)式に
基づいて、修正差分絶対値和S(xs、ys)を求め
る。
【0081】 S(xs、ys)=D(xs、ys)+G(xs、ys) (12) この修正差分絶対値は、差分絶対値和D(xs、ys)
に、上述のステップS42において求められた制約項G
(xs、ys)が加算されている。制約項G(xs、y
s)は、探索範囲54における画素の水平成分が、左隣
の画素34において求められた動きベクトルの水平成分
Vx_lと極性が異なる場合に正数αとして表される。
このため、xsとVx_lの極性が異なる場合には正数
αが加算されるため、かかる極性が同一の場合と比較し
て、修正差分絶対値和S(xs、ys)は大きくなる。
【0082】このようにして求められた修正差分絶対値
和S(xs、ys)は、xsとVx_lの極性が異なる
場合において大きく、xsとVx_lの極性が同一にな
る場合において小さい。このため、探索範囲54におい
て最小となる修正差分絶対値和minS(xs、ys)
を求めることにより、修正差分絶対値和が相対的に小さ
くなる画素、すなわちVx_lと極性が同一となる画素
において動きベクトルが与えられる可能性が高くなる。
【0083】従って、誤差演算部12の代替として、制
約項演算部22を設けることにより、求めることができ
る動きベクトルの水平成分は、左隣の画素34の動きベ
クトルにおける水平成分Vx_lと同一の極性を示す可
能性が高くなる。このため、左隣の画素34の動きベク
トルの水平成分に適合した動きベクトルを求めることが
可能となる。すなわち、制約項演算部22を備える動き
ベクトル検出装置1は、実際の画像の動きに更に適合し
た動きベクトルを求めることができ、動きベクトルのば
らつきを更に改善することができ、変換画像の劣化をよ
り改善できる。
【0084】また本発明は、例えばPAL(Phase Alter
nation by Line)方式において、フィールド周波数を5
0Hzから2倍の100Hzの画像信号に変換する、フ
ィールド周波数倍速方式を採用するテレビジョン受像機
に対しても適用可能である。このフィールド周波数倍速
方式を採用するテレビジョンに本発明を内蔵することに
より、更なる面フリッカ妨害の抑制を期しつつ、動きベ
クトルのばらつきを解消することができるため、相乗的
に画質を向上させることができる。
【0085】本発明は上述したインタレース走査方式に
おける入力画像信号の補間処理に適用される場合に限ら
ず、例えば、MPEG(Moving Picture Expert Grou
p)方式の動き補償予測によるフレーム間符号化にも適
用可能である。
【0086】
【発明の効果】以上詳細に説明したように、本発明に係
る動きベクトル検出装置及び方法は、基準ブロックと探
索ブロックとの間で演算した差分絶対値和の分布傾向を
識別し、基準画素の垂直負方向に隣接する画素について
予め識別された差分絶対値和の分布傾向と比較した上
で、第1の動きベクトルを隣接する画素の動きベクトル
に応じて特定し、また基準ブロックと探索ブロックとの
間で演算した差分絶対値和の分布の傾向及び探索範囲内
において差分絶対値和が最小となる画素についての基準
画素の左側に隣接する画素の動きベクトルに基づく相対
的な位置に応じて第2の動きベクトルを特定し、特定さ
れた第1の動きベクトル及び第2の動きベクトルの動き
ベクトルのうちいずれか一の動きベクトルを選択する。
【0087】これにより、本発明に係る動きベクトル検
出装置及び方法は、実際の画像の動きに適合した動きベ
クトルを求めることができ、動きベクトルのばらつきを
解消することができ、ひいては変換画像の劣化を防止す
ることができる。
【図面の簡単な説明】
【図1】本発明を適用した動きベクトル検出装置の内部
構成例を示した図である。
【図2】参照フィールドと基準フィールドの位置関係を
示した図である。
【図3】探索範囲内に割り当てられた全探索ブロックに
ついて求めた差分絶対値和の分布傾向の一例を示した図
である。
【図4】第1の動きベクトルを検出する手順について示
したフローチャートである。
【図5】本発明を適用した動きベクトル検出方法におい
て、求める動きベクトルを、隣接画素の動きベクトルに
応じて特定する場合について説明するための図である。
【図6】動きベクトルを求める画素の順番について説明
するための図である。
【図7】第2の動きベクトルを検出する手順について示
したフローチャートである。
【図8】第2の動きベクトルを検出する画素について、
左隣の画素の動きベクトルにおける水平成分Vx_l
が、負の極性を有する場合について示した図である。
【図9】第2の動きベクトルを求める際に行なう置き換
え操作について示した図である。
【図10】動きベクトル修正部における処理手順につい
て示したフローチャートである。
【図11】修正隣接画素について説明するための図であ
る。
【図12】誤差演算部の代替として、制約項演算部を設
けた動きベクトル検出装置の構成について示した図であ
る。
【図13】制約項演算部により制約項を演算する手順を
示したフローチャートである。
【図14】従来のブロックマッチング法について説明す
るための図である。
【図15】”u”の文字を右から左へ水平方向にシフト
させる場合において求めた差分絶対値和の分布を示した
図である。
【符号の説明】
1 動きベクトル検出装置、11 画像格納用メモリ、
12 誤差演算部、13 比較処理部、14 第1の動
きベクトル検出部、15 識別処理部、16第2の動き
ベクトル検出部、17 ベクトル選択部、18 ベクト
ル格納用メモリ、19 動きベクトル修正部、20 制
御部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 西堀 一彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 星野 隆也 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 近藤 真 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK19 LA05 MA00 MA03 NN10 NN21 NN28 TA61 TA65 TB08 TC12 TC42 TD02 TD05 TD11 5C063 AA03 BA01 BA08 BA12 CA05 CA07 5J064 AA01 BA01 BB01 BB03 BC01 BC14 BC25 BD01

Claims (32)

    【特許請求の範囲】
  1. 【請求項1】 入力される参照フィールドから1フレー
    ム前の基準フィールドの基準画素につき、ブロックマッ
    チング法により動きベクトルを検出する動きベクトル検
    出装置において、 基準フィールドから切り出した基準画素を原点とする基
    準ブロックと、参照フィールドから切り出した探索範囲
    内を移動する探索ブロックとの間で、画素値の差分絶対
    値和を順次演算する演算手段と、 上記演算した差分絶対値和の上記探索範囲における分布
    傾向と、上記基準画素の垂直負方向に隣接する画素につ
    いて予め識別された差分絶対値和の分布傾向とを比較す
    る比較手段と、 上記比較手段により比較した分布傾向が類似している場
    合に、上記基準画素の動きベクトルを、上記隣接する画
    素の動きベクトルに応じて特定する第1の動きベクトル
    特定手段と、 上記演算した差分絶対値和の上記探索範囲における分布
    の傾向を識別し、また上記探索範囲内において最小とな
    る差分絶対値和を示す画素の位置を上記基準画素の左側
    に隣接する画素の動きベクトルに基づいて相対的に識別
    する識別手段と、 上記識別手段により識別された分布の傾向、及び上記識
    別手段により識別された最小となる差分絶対値和を示す
    画素の位置、に応じて上記基準画素の動きベクトルを特
    定する第2の動きベクトル特定手段と、 上記第1の動きベクトル特定手段により特定された基準
    画素の動きベクトルと、上記第2の動きベクトル特定手
    段により特定された基準画素の動きベクトルのうち、い
    ずれか一の動きベクトルを選択するベクトル選択手段と
    を備えることを特徴とする動きベクトル検出装置。
  2. 【請求項2】 上記比較手段は、上記探索範囲において
    最小となる差分絶対値和と、上記探索範囲の垂直成分に
    対応する水平ライン毎に差分絶対値和が最小となる画素
    位置とを判別し、判別した上記探索範囲において最小と
    なる上記差分絶対値和と、上記基準画素の垂直負方向に
    隣接する画素の動きベクトルに基づく差分絶対値和との
    差分絶対値を求め、 上記第1の動きベクトル特定手段は、上記比較手段によ
    り求めた上記差分絶対値が閾値より小さい場合に、上記
    基準画素における動きベクトルの垂直成分を、上記隣接
    する画素の動きベクトルの垂直成分に合致するように特
    定し、上記基準画素における動きベクトルの水平成分
    を、特定した上記垂直成分に対応する水平ラインにおい
    て差分絶対値和が最小となる画素位置に応じて特定する
    ことを特徴とする請求項1記載の動きベクトル検出装
    置。
  3. 【請求項3】 上記識別手段は、上記探索範囲内におい
    て、上記基準画素を原点とした正領域及び負領域毎に差
    分絶対値和の最小値を特定し、当該特定した差分絶対値
    和の最小値を比較することにより上記差分絶対値和の分
    布の傾向を識別することを特徴とする請求項1記載の動
    きベクトル検出装置。
  4. 【請求項4】 上記識別手段は、上記正領域における差
    分絶対値和の最小値と、上記負領域における差分絶対値
    和の最小値との間で差分を算出し、当該算出した差分に
    基づき上記差分絶対値和の分布の傾向を識別することを
    特徴とする請求項3記載の動きベクトル検出装置。
  5. 【請求項5】 上記識別手段は、上記探索範囲内におい
    て最小となる差分絶対値和を示す画素の位置を、当該画
    素における水平成分の極性と、上記隣接する画素の動き
    ベクトルにおける水平成分の極性とを比較することによ
    り判定することを特徴とする請求項1記載の動きベクト
    ル検出装置。
  6. 【請求項6】 上記第2の動きベクトル特定手段は、上
    記基準画素の動きベクトルを、上記正領域又は上記負領
    域における差分絶対値和の最小値を示す画素に応じて特
    定することを特徴とする請求項1記載の動きベクトル検
    出装置。
  7. 【請求項7】 上記識別手段は、上記探索範囲内におい
    て最小となる差分絶対値和を示す画素における水平成分
    と、上記隣接する画素の動きベクトルにおける水平成分
    との積を求め、 上記第2の動きベクトル特定手段は、上記識別手段によ
    り算出した、上記正領域における差分絶対値和の最小値
    及び上記負領域における差分絶対値和の最小値間の差分
    が所定の範囲内であり、かつ、上記判定手段により求め
    た積の極性が負である場合において、上記基準画素の動
    きベクトルを、上記隣接する画素の動きベクトルにおけ
    る水平成分に応じて特定することを特徴とする請求項6
    記載の動きベクトル検出装置。
  8. 【請求項8】 上記ベクトル選択手段により選択された
    動きベクトルを各画素毎に順次格納するベクトル格納手
    段と、 上記選択された動きベクトルを修正する修正画素につい
    て隣接する隣接画素の動きベクトルを上記ベクトル格納
    手段から読み出し、読み出した隣接画素の動きベクトル
    において水平成分の極性を識別し、上記識別された水平
    成分の極性が正である隣接画素の個数と上記識別された
    水平成分の極性が負である隣接画素の個数とを比較し、
    上記比較した結果に応じて上記隣接画素における動きベ
    クトルの水平成分及び垂直成分の平均値を求め、当該求
    められた水平成分及び垂直成分の平均値を上記修正画素
    の動きベクトルにおける水平成分及び垂直成分とするベ
    クトル修正手段を備えることを特徴とする請求項1記載
    の動きベクトル検出装置。
  9. 【請求項9】 上記隣接画素は、上記修正画素の左,右,
    上,下,左上,右上,左下,右下に隣接する画素、又は上記
    修正画素の左上,上,右上に隣接する画素、又は上記修正
    画素の左,上,右に隣接する画素、又は上記修正画素の
    左,左上,上,右上,右に隣接する画素であることを特徴と
    する請求項8記載の動きベクトル検出装置。
  10. 【請求項10】 上記ベクトル修正手段は、上記識別さ
    れた水平成分の極性が正である隣接画素の個数が多い場
    合に、上記識別された水平成分の極性が正である隣接画
    素の動きベクトルの水平成分及び垂直成分の平均値を求
    め、また上記識別された水平成分の極性が負である隣接
    画素の個数が多い場合に、上記識別された水平成分の極
    性が負である隣接画素の動きベクトルの水平成分及び垂
    直成分の平均値を求めることを特徴とする請求項8記載
    の動きベクトル検出装置。
  11. 【請求項11】 上記ベクトル修正手段は、上記隣接画
    素における動きベクトルの水平成分毎、及び垂直成分毎
    に総和を算出し、算出した各総和を上記識別された水平
    成分の極性が正である隣接画素の個数、或いは上記識別
    された水平成分の極性が負である隣接画素の個数で割る
    ことにより、上記隣接画素における動きベクトルの水平
    成分及び垂直成分の平均値を求めることを特徴とする請
    求項10記載の動きベクトル検出装置。
  12. 【請求項12】 上記ベクトル選択手段により選択され
    た動きベクトルを各画素毎に順次格納するベクトル格納
    手段と、上記選択された動きベクトルを修正する修正画
    素について隣接する隣接画素の動きベクトルを上記ベク
    トル格納手段から読み出し、読み出した隣接画素の動き
    ベクトルにおいて水平成分の極性を識別し、上記識別さ
    れた水平成分の極性が正である隣接画素の個数と上記識
    別された水平成分の極性が負である隣接画素の個数とを
    比較し、当該比較結果に応じて上記隣接画素の動きベク
    トルのうちベクトル量が最大となる動きベクトルの水平
    成分及び垂直成分を求め、求められた動きベクトルの水
    平成分及び垂直成分を上記修正画素の動きベクトルにお
    ける水平成分及び垂直成分とするベクトル修正手段を備
    えることを特徴とする請求項1記載の動きベクトル検出
    装置。
  13. 【請求項13】 上記ベクトル修正手段は、上記識別さ
    れた水平成分の極性が正である隣接画素の個数が多い場
    合に、上記識別された水平成分の極性が正である隣接画
    素のうちベクトル量が最大となる動きベクトルの水平成
    分及び垂直成分を求め、また上記識別された水平成分の
    極性が負である隣接画素の個数が多い場合に、上記識別
    された水平成分の極性が負である隣接画素のうちベクト
    ル量が最大となる動きベクトルの水平成分及び垂直成分
    を求めることを特徴とする請求項12記載の動きベクト
    ル検出装置。
  14. 【請求項14】 上記探索ブロックを構成する画素の位
    置、及び上記基準画素に隣接する画素の動きベクトルに
    基づいて修正値を算出し、当該修正値を上記差分絶対値
    和に加算する修正手段を備えることを特徴とする請求項
    1記載の動きベクトル検出装置。
  15. 【請求項15】 上記修正手段は、上記探索ブロックの
    中心に位置する画素における水平成分の極性と、上記隣
    接する画素の動きベクトルにおける水平成分の極性が異
    なる場合に、上記修正値を正数とすることを特徴とする
    請求項14記載の動きベクトル検出装置。
  16. 【請求項16】 上記修正手段は、上記修正値を、上記
    探索ブロックの中心に位置する画素と上記隣接する画素
    の動きベクトルとの間で求めた水平成分毎及び/又は垂
    直成分毎の差分絶対値に応じた値とすることを特徴とす
    る請求項1記載の動きベクトル検出装置。
  17. 【請求項17】 入力される参照フィールドから1フレ
    ーム前の基準フィールドの基準画素につき、ブロックマ
    ッチング法により動きベクトルを検出する動きベクトル
    検出方法において、 基準フィールドから切り出した基準画素を原点とする基
    準ブロックと、参照フィールドから切り出した探索範囲
    内を移動する探索ブロックとの間で、画素値の差分絶対
    値和を順次演算し、 上記演算した差分絶対値和の上記探索範囲における分布
    傾向と、上記基準画素の垂直負方向に隣接する画素につ
    いて予め識別された差分絶対値和の分布傾向とを比較
    し、 上記比較した分布傾向が類似している場合に、上記基準
    画素の動きベクトルを、上記隣接する画素の動きベクト
    ルに応じて、第1の動きベクトルとして特定し、 上記演算した差分絶対値和の上記探索範囲における分布
    の傾向を識別し、また上記探索範囲内において最小とな
    る差分絶対値和を示す画素の位置を上記基準画素の左側
    に隣接する画素の動きベクトルに基づいて相対的に識別
    し、 上記識別された分布の傾向、及び上記識別された最小と
    なる差分絶対値和を示す画素の位置、に応じて上記基準
    画素の動きベクトルを第2の動きベクトルとして特定
    し、 上記特定された第1の動きベクトルと、上記特定された
    第2の動きベクトルの動きベクトルのうち、いずれか一
    の動きベクトルを選択することを特徴とする動きベクト
    ル検出方法。
  18. 【請求項18】 上記探索範囲において最小となる差分
    絶対値和と、上記探索範囲の垂直成分に対応する水平ラ
    イン毎に差分絶対値和が最小となる画素位置とを判別
    し、 上記判別した上記探索範囲において最小となる上記差分
    絶対値和と、上記基準画素の垂直負方向に隣接する画素
    の動きベクトルに基づく差分絶対値和と、の差分絶対値
    を求め、 上記求めた差分絶対値が閾値より小さい場合に、上記基
    準画素における動きベクトルの垂直成分を、上記隣接す
    る画素の動きベクトルの垂直成分に合致するように特定
    し、上記基準画素における動きベクトルの水平成分を、
    特定した上記垂直成分に対応する水平ラインにおいて差
    分絶対値和が最小となる画素位置に応じて特定すること
    を特徴とする請求項17記載の動きベクトル検出方法。
  19. 【請求項19】 上記探索範囲内において、上記基準画
    素を原点とした正領域及び負領域毎に差分絶対値和の最
    小値を特定し、当該特定した差分絶対値和の最小値を比
    較することにより上記差分絶対値和の分布の傾向を識別
    することを特徴とする請求項17記載の動きベクトル検
    出方法。
  20. 【請求項20】 上記正領域における差分絶対値和の最
    小値と、上記負領域における差分絶対値和の最小値との
    間で差分を算出し、当該算出した差分に基づき上記差分
    絶対値和の分布の傾向を識別することを特徴とする請求
    項19記載の動きベクトル検出方法。
  21. 【請求項21】 上記探索範囲内において最小となる差
    分絶対値和を示す画素の位置を、当該画素における水平
    成分の極性と、上記隣接する画素の動きベクトルにおけ
    る水平成分の極性とを比較することにより判定すること
    を特徴とする請求項17記載の動きベクトル検出方法。
  22. 【請求項22】 上記第2の動きベクトルを、上記正領
    域又は上記負領域における差分絶対値和の最小値を示す
    画素に応じて特定することを特徴とする請求項17記載
    の動きベクトル検出方法。
  23. 【請求項23】 上記探索範囲内において最小となる差
    分絶対値和を示す画素における水平成分と、上記隣接す
    る画素の動きベクトルにおける水平成分との積を求め、 上記算出した、上記正領域における差分絶対値和の最小
    値及び上記負領域における差分絶対値和の最小値間の差
    分が所定の範囲内であり、かつ、上記判定手段により求
    めた積の極性が負である場合において、上記第2の動き
    ベクトルを、上記隣接する画素の動きベクトルにおける
    水平成分に応じて特定することを特徴とする請求項22
    記載の動きベクトル検出方法。
  24. 【請求項24】 上記選択された動きベクトルを各画素
    毎に順次格納し、 動きベクトルを修正する修正画素について隣接する隣接
    画素の動きベクトルを読み出し、 読み出した隣接画素の動きベクトルにおいて水平成分の
    極性を識別し、 上記識別された水平成分の極性が正である隣接画素の個
    数と上記識別された水平成分の極性が負である隣接画素
    の個数とを比較し、 上記比較した結果に応じて上記隣接画素における動きベ
    クトルの水平成分及び垂直成分の平均値を求め、当該求
    められた水平成分及び垂直成分の平均値を上記修正画素
    の動きベクトルにおける水平成分及び垂直成分とするこ
    とを特徴とする請求項17記載の動きベクトル検出方
    法。
  25. 【請求項25】 上記隣接画素は、上記修正画素の左,
    右,上,下,左上,右上,左下,右下に隣接する画素、又は上
    記修正画素の左上,上,右上に隣接する画素、又は上記修
    正画素の左,上,右に隣接する画素、又は上記修正画素の
    左,左上,上,右上,右に隣接する画素であることを特徴と
    する請求項24記載の動きベクトル検出方法。
  26. 【請求項26】 上記識別された水平成分の極性が正で
    ある隣接画素の個数が多い場合に、上記識別された水平
    成分の極性が正である隣接画素の動きベクトルの水平成
    分及び垂直成分の平均値を求め、また上記識別された水
    平成分の極性が負である隣接画素の個数が多い場合に、
    上記識別された水平成分の極性が負である隣接画素の動
    きベクトルの水平成分及び垂直成分の平均値を求めるこ
    とを特徴とする請求項24記載の動きベクトル検出方
    法。
  27. 【請求項27】 上記隣接画素における動きベクトルの
    水平成分毎、及び垂直成分毎に総和を算出し、算出した
    各総和を上記識別された水平成分の極性が正である隣接
    画素の個数、或いは上記識別された水平成分の極性が負
    である隣接画素の個数で割ることにより、上記隣接画素
    における動きベクトルの水平成分及び垂直成分の平均値
    を求めることを特徴とする請求項26記載の動きベクト
    ル検出方法。
  28. 【請求項28】 上記選択された動きベクトルを各画素
    毎に順次格納し、 動きベクトルを修正する修正画素について隣接する隣接
    画素の動きベクトルを読み出し、 読み出した隣接画素の動きベクトルにおいて水平成分の
    極性を識別し、 上記識別された水平成分の極性が正である隣接画素の個
    数と上記識別された水平成分の極性が負である隣接画素
    の個数とを比較し、 当該比較結果に応じて上記隣接画素の動きベクトルのう
    ちベクトル量が最大となる動きベクトルの水平成分及び
    垂直成分を求め、求められた動きベクトルの水平成分及
    び垂直成分を上記修正画素の動きベクトルにおける水平
    成分及び垂直成分とするベクトル修正手段を備えること
    を特徴とする請求項17記載の動きベクトル検出方法。
  29. 【請求項29】 上記識別された水平成分の極性が正で
    ある隣接画素の個数が多い場合に、上記識別された水平
    成分の極性が正である隣接画素のうちベクトル量が最大
    となる動きベクトルの水平成分及び垂直成分を求め、ま
    た上記識別された水平成分の極性が負である隣接画素の
    個数が多い場合に、上記識別された水平成分の極性が負
    である隣接画素のうちベクトル量が最大となる動きベク
    トルの水平成分及び垂直成分を求めることを特徴とする
    請求項28記載の動きベクトル検出方法。
  30. 【請求項30】 上記探索ブロックを構成する画素の位
    置、及び上記基準画素に隣接する画素の動きベクトルに
    基づいて修正値を算出し、当該修正値を上記差分絶対値
    和に加算することを特徴とする請求項17記載の動きベ
    クトル検出方法。
  31. 【請求項31】 上記探索ブロックの中心に位置する画
    素における水平成分の極性と、上記隣接する画素の動き
    ベクトルにおける水平成分の極性が異なる場合に、上記
    修正値を正数とすることを特徴とする請求項30記載の
    動きベクトル検出方法。
  32. 【請求項32】 上記修正値を、上記探索ブロックの中
    心に位置する画素と上記隣接する画素の動きベクトルと
    の間で求めた水平成分毎及び/又は垂直成分毎の差分絶
    対値に応じた値とすることを特徴とする請求項30記載
    の動きベクトル検出装置。
JP2002108319A 2002-04-10 2002-04-10 動きベクトル検出装置及び方法 Expired - Fee Related JP4304911B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002108319A JP4304911B2 (ja) 2002-04-10 2002-04-10 動きベクトル検出装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002108319A JP4304911B2 (ja) 2002-04-10 2002-04-10 動きベクトル検出装置及び方法

Publications (2)

Publication Number Publication Date
JP2003304507A true JP2003304507A (ja) 2003-10-24
JP4304911B2 JP4304911B2 (ja) 2009-07-29

Family

ID=29392130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002108319A Expired - Fee Related JP4304911B2 (ja) 2002-04-10 2002-04-10 動きベクトル検出装置及び方法

Country Status (1)

Country Link
JP (1) JP4304911B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186504A (ja) * 2004-12-27 2006-07-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US8175121B2 (en) 2006-12-28 2012-05-08 Hitachi, Ltd. Image processor and image display apparatus comprising the same
JP2012519431A (ja) * 2009-03-04 2012-08-23 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 3dビデオ処理

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186504A (ja) * 2004-12-27 2006-07-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US8175121B2 (en) 2006-12-28 2012-05-08 Hitachi, Ltd. Image processor and image display apparatus comprising the same
JP2012519431A (ja) * 2009-03-04 2012-08-23 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 3dビデオ処理
US9270969B2 (en) 2009-03-04 2016-02-23 Ati Technologies Ulc 3D video processing

Also Published As

Publication number Publication date
JP4304911B2 (ja) 2009-07-29

Similar Documents

Publication Publication Date Title
US20110310295A1 (en) Apparatus and method for frame rate conversion
US8644387B2 (en) Motion estimation method
US7936950B2 (en) Apparatus for creating interpolation frame
US7227897B2 (en) Motion vector detector and motion vector detecting method
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
US20100177239A1 (en) Method of and apparatus for frame rate conversion
JP5669599B2 (ja) 画像処理装置及びその制御方法
US8345148B2 (en) Method and system for inverse telecine and scene change detection of progressive video
US8385430B2 (en) Video signal processing apparatus and video signal processing method
US7221403B2 (en) Image signal processing apparatus and processing method
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
US9357161B1 (en) Motion vector interpolation for motion compensation
JP2003304507A (ja) 動きベクトル検出装置及び方法
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP4250598B2 (ja) 動き補償型ip変換処理装置及び動き補償型ip変換処理方法
US8405767B2 (en) Image processing device
JP6708131B2 (ja) 映像処理装置、映像処理方法及びプログラム
JP4092935B2 (ja) 動きベクトル修正装置及び方法
JP4269573B2 (ja) 動きベクトル検出装置及び方法
JP4269571B2 (ja) 動きベクトル検出装置及び方法
US9602763B1 (en) Frame interpolation using pixel adaptive blending
JP4304912B2 (ja) 動きベクトル検出装置及び方法
JP2008118340A (ja) 動きベクトル検出装置及びビデオ信号処理装置
US10057596B2 (en) Motion estimation method and apparatus for periodic pattern

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees