JP2000125305A - 動きベクトルの評価方法および装置 - Google Patents

動きベクトルの評価方法および装置

Info

Publication number
JP2000125305A
JP2000125305A JP29845798A JP29845798A JP2000125305A JP 2000125305 A JP2000125305 A JP 2000125305A JP 29845798 A JP29845798 A JP 29845798A JP 29845798 A JP29845798 A JP 29845798A JP 2000125305 A JP2000125305 A JP 2000125305A
Authority
JP
Japan
Prior art keywords
image
field
block
motion vector
arbitrary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29845798A
Other languages
English (en)
Other versions
JP3903358B2 (ja
Inventor
Kazuhisa Iguchi
和久 井口
Hajime Sonehara
源 曽根原
Yasuaki Kanetsugu
保明 金次
Yuji Nojiri
裕司 野尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP29845798A priority Critical patent/JP3903358B2/ja
Publication of JP2000125305A publication Critical patent/JP2000125305A/ja
Application granted granted Critical
Publication of JP3903358B2 publication Critical patent/JP3903358B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 従来の動きべクトルの評価方法では、物体が
動くことにより、次のフィールドで隠れる領域について
動きベクトルを正しく評価することができないという解
決すべき課題があった。 【解決手段】 第fフィールドの画像中の任意のブロッ
クに割り当てられている動きベクトル、第f−1フィー
ルドの画像および第f+1フィールドの画像が供給され
て、上記任意のブロックと同じ空間的位置にある動き補
償内挿された第fフィールドの内挿ブロックの画像を出
力する動き補償型画像内挿部Aと、上記第fフィールド
中の上記任意のブロックの画像と上記内挿ブロックの画
像が供給されて、上記第fフィールド中の上記任意のブ
ロックの画像と、上記内挿ブロックの画像との相関を求
める比較部Bとを少なくとも具え、上記求めた相関の大
きさを、上記第fフィールドの画像中の上記任意のブロ
ックにおける動きベクトルの正しさの指標として前記比
較部Bから出力するように構成した。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像処理におい
て、検出した動きベクトルの正しさを評価する評価方法
および装置に関する。
【0002】
【従来の技術】従来、動きベクトルの正しさを評価する
には2フィールド間の対応するブロックの画像間で相関
を求め、これによって動きベクトルの正しさを評価して
いた。
【0003】この評価方法を図1につき説明する。図1
において、104は第fフィールドの画像、105は第
f+1フィールドの画像である。また、103はその正
しさを評価しようとする動きベクトルであり、101
は、103の動きベクトルが割り当てられているブロッ
クである。この従来の技術では、動きベクトル103に
より第fフィールド上のブロック101に対応する第f
+1フィールド上のブロック102を求め、ブロック1
01とブロック102との画像間の相関を求め、この相
関の大きさによって動きベクトル103の正しさを評価
(相関が大きい程、動きベクトルが正しい)するように
していた。
【0004】
【発明が解決しようとする課題】上記従来の評価方法で
は、正しさを評価しようとする動きベクトルが割り当て
られているブロックの位置によっては、第f+1フィー
ルド上の対応するブロックの画像が存在せず、動きベク
トルの評価を正しく行うことができない場合がある。
【0005】これを図2につき説明する。いま、フィー
ルドの画像が、静止した背景の前を物体が移動した画像
であるとする。図2において、204は第fフィール
ド、205は第f+1フィールドである。ここで、第f
フィールドにおける領域206(図中、ドットを付して
示す領域)で示す物体が第f+1フィールド上の領域2
07(ドットを付して示す領域)の位置に移動し、それ
以外の領域は静止した背景であるとする。また、静止し
た背景に含まれるブロック201で検出した動きベクト
ル203は零ベクトルであるとする。背景は静止してい
るので、動きベクトル203は正しいと評価されるべき
動きベクトルである。
【0006】従来の方法で動きベクトル203の正しさ
を評価するものとすると、動きベクトル203により第
fフィールド上のブロック201に対応する第f+1フ
ィールド上のブロック202を求め、ブロック201と
ブロック202との画像間の相関を求めることになる。
しかし、図2に示す例では、ブロック202で示す領域
は移動物体が背景を隠すため、ブロック201の画像は
背景、ブロック202の画像は移動物体となり、これら
2つのブロックの画像間の相関は低くなり、動きベクト
ル203の正しさは低いという誤った評価結果を与え
る。
【0007】つまり、上述の例に示されるように、従来
の動きベクトルの評価方法では、移動物体が領域202
と重なる位置にない限りは正しい評価結果を与えるが、
物体が動くことにより次のフィールドで隠れる領域につ
いては動きベクトルを正しく評価することができないと
いう解決すべき課題があった。
【0008】本発明の目的は、このように動きベクトル
を正しく評価することができなくなることのないような
動きベクトルの評価方法および装置を提供することにあ
る。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、本発明動きベクトルの評価方法は、任意のフィール
ドの画像に対し、nフィールド(nは任意の整数)前お
よび後のそれぞれのフィールドの画像と前記任意のフィ
ールドの画像中の任意のブロックに割り当てられている
動きベクトルとを使用し、前記動きベクトルが割り当て
られているフィールドの画像と同一の時間的位置のフィ
ールドの画像における前記任意のブロックと同じ空間的
位置にあるブロックの画像を動き補償型画像内挿により
作成し、該作成したブロックの画像と前記任意のフィー
ルドの画像中の前記任意のブロックの画像とを比較し、
それら両ブロックの画像間の相関の大きさによって前記
割り当てられている動きベクトルの正しさを評価するこ
とを特徴とするものである。
【0010】また、本発明動きベクトルの評価装置は、
第fフィールドの画像中の任意のブロックに割り当てら
れている動きベクトル、第f−1フィールドの画像およ
び第f+1フィールドの画像が供給されて、動き補償内
挿された第fフィールドの内挿ブロックの画像であって
前記任意のブロックと同じ空間的位置にある内挿ブロッ
クの画像を出力する動き補償型画像内挿部と、前記第f
フィールド中の前記任意のブロックの画像と前記動き補
償内挿された第fフィールドの内挿ブロックの画像が供
給されて、前記第fフィールド中の前記任意のブロック
の画像と、前記動き補償内挿された第fフィールドの内
挿ブロックの画像との相関を求める比較部とを少なくと
も具え、前記求めた相関の大きさを、前記第fフィール
ドの画像中の前記任意のブロックにおける動きベクトル
の正しさの指標として前記比較部から出力することを特
徴とするものである。
【0011】
【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。図3
は、本発明による動きベクトル評価装置の一実施形態の
ブロック図である。なお、図中、
【外1】 は1フィールド遅延回路を示している。図3において、
動き補償型画像内挿部Aには、第fフィールドの動きベ
クトル301、第f−1フィールドの画像302、およ
び第f+1フィールドの画像303が入力され、第fフ
ィールドと同じ時間的位置の画像304を、動き補償型
画像内挿により作成して出力する。次に、この内挿によ
り作成した画像304と、縦続接続された1フィールド
遅延回路[外1]の接続点から得られる第fフィールド
の画像305とを比較部Bに入力して、両入力画像を比
較し相関を求める。そして相関の大きさを第fフィール
ドの動きベクトル301の正しさの指標として出力する
(相関が大きいほど動きベクトルが正しい)。
【0012】図3に示した本発明による動きベクトル評
価装置の動作は、 図4によって説明される。図4におい
て、402は第fフィールドの画像(図3中、305に
相当)、401は第f−1フィールドの画像(図3中、
302に相当)、および403は第f+1フィールドの
画像(図3中、303に相当)である。そして、画像4
01、画像403および第fフィールドの動きべクトル
(図4には示されない)を用いて、動き補償型画像内挿
により第f−1フィールドと第f+1フィールドの時間
的に中間に位置する画像404(これは、上記画像40
2の時間的位置に一致する)を作成する(図3中、30
4に相当)。
【0013】次に、第fフィールドの画像402(図3
中、305に相当)中の任意のブロック406(細いド
ットを付して示す領域)と、そのブロック406の動き
ベクトルを用い動き補償型画像内挿により作成した画像
404(図3中、304に相当)中で、画像402中の
ブロック406と同じ空間的位置にあるブロック405
(細いドットを付して示す領域)との画像間で相関を求
める。この相関の大きさを、ブロック406における動
きベクトルの正しさの指標とする(相関が大きい程動き
ベクトルが正しい)。
【0014】なお、以上では説明を簡単にするため、第
fフィールドと同じ時間的位置の画像全体を動き補償型
画像内挿する例を示したが、少なくとも動きベクトルの
評価を行なおうとするブロックに対応したブロック画像
を動き補償型画像内挿により作成すれば当該動きベクト
ルの評価が可能である。
【0015】上記において、動き補償型画像内挿部A
(図3参照)としては、例えば、「方式変換におけるアン
カバー処理の検討」(信学技報IE95-132(1996−0
2),井口他)に記載されているような、アンカバー処
理を伴った動き補償型画像内挿部を用いるのが好まし
い。上記文献記載のアンカバー処理を伴った動き補償型
画像内挿では、双方向に検出した動きベクトルを用いる
ことで、検出面上と内挿面上のカバード/アンカバード
バックグラウンド領域とその領域の動きベクトルとを推
定した上で、カバード/アンカバードバックグラウンド
領域の画像内挿時には、隣接する片側のフィールドの画
像のみを用いることで、カバード/アンカバードバック
グランド領域の正しい内挿画像を作成している。
【0016】次に、本発明による動きベクトルの評価が
どのように行われるかについて説明する。いま、第fフ
ィールドの位置(x1,y1)における画素の値をg
(f,x1,y1)と定義する。 また、 動き補償型画像
内挿部A(図3参照)に第f−1フィールドの画像、第
f+1フィールドの画像、および第fフィールドの動き
ベクトルを入力したときに、同内挿部の出力画像の位置
(x1,y1)における画素の値をI(f−1,f+
1,f,x1,y1)と定義する。さらに、第fフィー
ルド上の動きベクトルの正しさを評価するブロックをS
とする。
【0017】上記の表現方法に従うと、第f−1フィー
ルドの画像、第f+1フィールドの画像、および第fフ
ィールドの動きベクトルを動き補償型画像内挿部に入力
したとき、出力画像の位置(p,q)における画素の値
はI(f−1,f+1,f,p,q)となる。比較部B
(図3参照)では、例えば領域(ブロック)間の画像の
相関として、領域に含まれる画素の誤差の絶対値の総和
を用いると、誤差の絶対値の総和が小さいほど相関が大
きい。このとき、誤差の絶対値の総和は、以下の式
【数1】 で求める。この式の演算結果の値の大きさが第fフィー
ルド上のブロックSにおける動きベクトルの正しさであ
る(式の演算結果が小さいほど動きベクトルが正し
い)。
【0018】また、上述例では動きベクトルの評価に使
用するフィールドは2つであるとしたが、3つ以上のフ
ィールドを用いて評価してもよい。
【0019】ここで、静止した背景の前を物体が移動す
る場合を考える。このような場合、従来の動きベクトル
を評価する方法では移動物体が背景を隠す場合が生じ、
誤った評価が得られることがあった。
【0020】図5は、このような場合における、従来お
よび本発明の両方による動きベクトルの評価方法の効果
を比較説明している。図5において、501は第f−1
フィールドの画像、502は第fフィールドの画像、5
03は第f+1フィールドの画像とする。これらの画像
中で、第f−1フィールドで507(ドットを付して示
している)の領域にあった物体が第fフィールドで50
8(同じくドットを付して示している)の領域に移動
し、第f+1フィールドでは509(同じくドットを付
して示している)の領域に移動したとする。この領域以
外は背景で静止しているものとする。ここで、第fフィ
ールドの領域506(細かいドットを付して示してい
る)が動きベクトルを検定するブロックで、零ベクトル
が割り当てられているものとする。
【0021】まず、従来法では、ブロック506(細か
いドットを付して示している)と、ブロック506が零
ベクトルにより第f+1フィールドの画像503上で対
応するブロック510(破線で囲んで示したブロック)
との間で画像の相関を求めるが、ブロック506の画像
は背景であるのに対しブロック510の画像は移動して
きた物体となるため、ブロック506とブロック510
の画像間の相関が低くなり、本来正しいはずの零ベクト
ルを誤りとする場合がある。
【0022】これに対し、本発明による動きベクトルの
評価方法では、上述した井口他の文献記載の方法にある
ようなアンカバー処理を伴なった動き補償型画像内挿に
より第f−1フィールドと第f+1フィールドの画像か
ら、第fフィールドと同じ時間的位置の第f′フィール
ドの画像504を作成し(ここに、f′は内挿第fフィ
ールド)、第fフィールドのブロック506(細かいド
ットを付して示している)の画像と内挿により作成した
第f′フィールドの画像中の同じ空間的位置のブロック
505(細かいドットを付して示している) の画像との
相関を求めるようにしている。 ここでブロック506も
ブロック505も背景の画像であるため、2つのブロッ
ク間の相関は高くなり、ブロック506に割り当てられ
た零ベクトルは正しいと評価され、正しい評価結果を与
える。
【0023】
【発明の効果】従来の動きベクトルの評価方法では、第
f+1フィールドで対応する領域が存在しないブロック
については、動きベクトルの正しさをより正確に求める
ことができなかったが、本発明による方法によれば、第
fフィールドの時間的位置の画像を動き補償型画像内挿
により作成することにより、第f+1フィールドで対応
する領域が存在しないブロックについても動きベクトル
の正しさを正確に評価することができる。
【図面の簡単な説明】
【図1】従来の動きベクトルの評価方法を説明する図で
ある。
【図2】従来の評価方法では、評価を正しく行うことが
できない場合があることを説明する図である。
【図3】本発明による動きベクトル評価装置の一実施形
態のブロック図である。
【図4】図3の動きベクトル評価装置の動作を説明する
図である。
【図5】従来および本発明の両方による動きベクトルの
評価方法の効果を比較説明する図である。
【符号の説明】
A 動き補償型画像内挿部 B 比較部 [外1]1フィールド遅延回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金次 保明 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 野尻 裕司 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 5C057 AA06 EB17 EF05 EG08 EH05 EL01 GH07 5C059 LB18 NN08 NN28 PP04 UA34 5C063 AC01 BA08 BA12 CA05 5L096 BA20 DA01 DA02 EA33 FA34 GA19 HA04 JA11

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 任意のフィールドの画像に対し、nフィ
    ールド(nは任意の整数)前および後のそれぞれのフィ
    ールドの画像と前記任意のフィールドの画像中の任意の
    ブロックに割り当てられている動きベクトルとを使用
    し、前記動きベクトルが割り当てられているフィールド
    の画像と同一の時間的位置のフィールドの画像における
    前記任意のブロックと同じ空間的位置にあるブロックの
    画像を動き補償型画像内挿により作成し、該作成したブ
    ロックの画像と前記任意のフィールドの画像中の前記任
    意のブロックの画像とを比較し、それら両ブロックの画
    像間の相関の大きさによって前記割り当てられている動
    きベクトルの正しさを評価することを特徴とする動きベ
    クトルの評価方法。
  2. 【請求項2】 第fフィールドの画像中の任意のブロッ
    クに割り当てられている動きベクトル、第f−1フィー
    ルドの画像および第f+1フィールドの画像が供給され
    て、動き補償内挿された第fフィールドの内挿ブロック
    の画像であって前記任意のブロックと同じ空間的位置に
    ある内挿ブロックの画像を出力する動き補償型画像内挿
    部と、 前記第fフィールド中の前記任意のブロックの画像と前
    記動き補償内挿された第fフィールドの内挿ブロックの
    画像が供給されて、前記第fフィールド中の前記任意の
    ブロックの画像と、前記動き補償内挿された第fフィー
    ルドの内挿ブロックの画像との相関を求める比較部とを
    少なくとも具え、 前記求めた相関の大きさを、前記第fフィールドの画像
    中の前記任意のブロックにおける動きベクトルの正しさ
    の指標として前記比較部から出力することを特徴とする
    動きベクトルの評価装置。
JP29845798A 1998-10-20 1998-10-20 動きベクトルの評価方法および装置 Expired - Fee Related JP3903358B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29845798A JP3903358B2 (ja) 1998-10-20 1998-10-20 動きベクトルの評価方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29845798A JP3903358B2 (ja) 1998-10-20 1998-10-20 動きベクトルの評価方法および装置

Publications (2)

Publication Number Publication Date
JP2000125305A true JP2000125305A (ja) 2000-04-28
JP3903358B2 JP3903358B2 (ja) 2007-04-11

Family

ID=17859962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29845798A Expired - Fee Related JP3903358B2 (ja) 1998-10-20 1998-10-20 動きベクトルの評価方法および装置

Country Status (1)

Country Link
JP (1) JP3903358B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7180548B2 (en) 2003-03-28 2007-02-20 Kabushiki Kaisha Toshiba Method of generating frame interpolation image and an apparatus therefor
US8817869B2 (en) 2010-10-18 2014-08-26 Mitsubishi Electric Corporation Image processing device and method, and image display device and method
WO2016056754A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7180548B2 (en) 2003-03-28 2007-02-20 Kabushiki Kaisha Toshiba Method of generating frame interpolation image and an apparatus therefor
CN100448287C (zh) * 2003-03-28 2008-12-31 株式会社东芝 邻接帧间的帧插值方法、装置和使用该装置的图像显示系统
US8817869B2 (en) 2010-10-18 2014-08-26 Mitsubishi Electric Corporation Image processing device and method, and image display device and method
WO2016056754A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
US10587894B2 (en) 2014-10-08 2020-03-10 Lg Electronics Inc. Method and device for encoding/decoding 3D video

Also Published As

Publication number Publication date
JP3903358B2 (ja) 2007-04-11

Similar Documents

Publication Publication Date Title
JP4122279B2 (ja) スクロールされるテキストまたはグラフィックデータの検出が可能な動き推定装置および方法
KR100787675B1 (ko) 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치
US8340186B2 (en) Method for interpolating a previous and subsequent image of an input image sequence
KR20020064440A (ko) 영상 움직임 보상 장치 및 방법
JP3840129B2 (ja) 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP3852861B2 (ja) ブロック突合せを用いた動き評価の方法及び装置
US7412114B2 (en) Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
US20080095399A1 (en) Device and method for detecting occlusion area
US20110051005A1 (en) Method And Apparatus For Integrated Motion Compensated Noise Reduction And Frame Rate Conversion
JP2005505841A (ja) 動き推定のための装置及び方法
US20030086499A1 (en) Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit
JPH09214899A (ja) 画像予測処理方法および装置
JP4197434B2 (ja) 動き推定の容易化
JP3993159B2 (ja) 動き検出装置および方法
US8315435B2 (en) Image processing apparatus and method
CN103096009B (zh) 图像处理装置和方法以及图像显示装置和方法
JP3161467B2 (ja) 画像の時間的補間についての方法及びこの方法を実施するための装置
JP2000125305A (ja) 動きベクトルの評価方法および装置
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JPH05236452A (ja) 動ベクトル検出方法及び検出装置
JP4250806B2 (ja) フィールド周波数変換装置および変換方法
US8805101B2 (en) Converting the frame rate of video streams
JPH0410885A (ja) 動きベクトル検出装置
US20040095557A1 (en) Motion picture analyzing system
JP2011211370A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040416

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061226

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140119

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees