JP2000125305A - 動きベクトルの評価方法および装置 - Google Patents
動きベクトルの評価方法および装置Info
- Publication number
- JP2000125305A JP2000125305A JP29845798A JP29845798A JP2000125305A JP 2000125305 A JP2000125305 A JP 2000125305A JP 29845798 A JP29845798 A JP 29845798A JP 29845798 A JP29845798 A JP 29845798A JP 2000125305 A JP2000125305 A JP 2000125305A
- Authority
- JP
- Japan
- Prior art keywords
- image
- field
- block
- motion vector
- arbitrary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
動くことにより、次のフィールドで隠れる領域について
動きベクトルを正しく評価することができないという解
決すべき課題があった。 【解決手段】 第fフィールドの画像中の任意のブロッ
クに割り当てられている動きベクトル、第f−1フィー
ルドの画像および第f+1フィールドの画像が供給され
て、上記任意のブロックと同じ空間的位置にある動き補
償内挿された第fフィールドの内挿ブロックの画像を出
力する動き補償型画像内挿部Aと、上記第fフィールド
中の上記任意のブロックの画像と上記内挿ブロックの画
像が供給されて、上記第fフィールド中の上記任意のブ
ロックの画像と、上記内挿ブロックの画像との相関を求
める比較部Bとを少なくとも具え、上記求めた相関の大
きさを、上記第fフィールドの画像中の上記任意のブロ
ックにおける動きベクトルの正しさの指標として前記比
較部Bから出力するように構成した。
Description
て、検出した動きベクトルの正しさを評価する評価方法
および装置に関する。
には2フィールド間の対応するブロックの画像間で相関
を求め、これによって動きベクトルの正しさを評価して
いた。
において、104は第fフィールドの画像、105は第
f+1フィールドの画像である。また、103はその正
しさを評価しようとする動きベクトルであり、101
は、103の動きベクトルが割り当てられているブロッ
クである。この従来の技術では、動きベクトル103に
より第fフィールド上のブロック101に対応する第f
+1フィールド上のブロック102を求め、ブロック1
01とブロック102との画像間の相関を求め、この相
関の大きさによって動きベクトル103の正しさを評価
(相関が大きい程、動きベクトルが正しい)するように
していた。
は、正しさを評価しようとする動きベクトルが割り当て
られているブロックの位置によっては、第f+1フィー
ルド上の対応するブロックの画像が存在せず、動きベク
トルの評価を正しく行うことができない場合がある。
ルドの画像が、静止した背景の前を物体が移動した画像
であるとする。図2において、204は第fフィール
ド、205は第f+1フィールドである。ここで、第f
フィールドにおける領域206(図中、ドットを付して
示す領域)で示す物体が第f+1フィールド上の領域2
07(ドットを付して示す領域)の位置に移動し、それ
以外の領域は静止した背景であるとする。また、静止し
た背景に含まれるブロック201で検出した動きベクト
ル203は零ベクトルであるとする。背景は静止してい
るので、動きベクトル203は正しいと評価されるべき
動きベクトルである。
を評価するものとすると、動きベクトル203により第
fフィールド上のブロック201に対応する第f+1フ
ィールド上のブロック202を求め、ブロック201と
ブロック202との画像間の相関を求めることになる。
しかし、図2に示す例では、ブロック202で示す領域
は移動物体が背景を隠すため、ブロック201の画像は
背景、ブロック202の画像は移動物体となり、これら
2つのブロックの画像間の相関は低くなり、動きベクト
ル203の正しさは低いという誤った評価結果を与え
る。
の動きベクトルの評価方法では、移動物体が領域202
と重なる位置にない限りは正しい評価結果を与えるが、
物体が動くことにより次のフィールドで隠れる領域につ
いては動きベクトルを正しく評価することができないと
いう解決すべき課題があった。
を正しく評価することができなくなることのないような
動きベクトルの評価方法および装置を提供することにあ
る。
に、本発明動きベクトルの評価方法は、任意のフィール
ドの画像に対し、nフィールド(nは任意の整数)前お
よび後のそれぞれのフィールドの画像と前記任意のフィ
ールドの画像中の任意のブロックに割り当てられている
動きベクトルとを使用し、前記動きベクトルが割り当て
られているフィールドの画像と同一の時間的位置のフィ
ールドの画像における前記任意のブロックと同じ空間的
位置にあるブロックの画像を動き補償型画像内挿により
作成し、該作成したブロックの画像と前記任意のフィー
ルドの画像中の前記任意のブロックの画像とを比較し、
それら両ブロックの画像間の相関の大きさによって前記
割り当てられている動きベクトルの正しさを評価するこ
とを特徴とするものである。
第fフィールドの画像中の任意のブロックに割り当てら
れている動きベクトル、第f−1フィールドの画像およ
び第f+1フィールドの画像が供給されて、動き補償内
挿された第fフィールドの内挿ブロックの画像であって
前記任意のブロックと同じ空間的位置にある内挿ブロッ
クの画像を出力する動き補償型画像内挿部と、前記第f
フィールド中の前記任意のブロックの画像と前記動き補
償内挿された第fフィールドの内挿ブロックの画像が供
給されて、前記第fフィールド中の前記任意のブロック
の画像と、前記動き補償内挿された第fフィールドの内
挿ブロックの画像との相関を求める比較部とを少なくと
も具え、前記求めた相関の大きさを、前記第fフィール
ドの画像中の前記任意のブロックにおける動きベクトル
の正しさの指標として前記比較部から出力することを特
徴とするものである。
実施の形態に基づいて本発明を詳細に説明する。図3
は、本発明による動きベクトル評価装置の一実施形態の
ブロック図である。なお、図中、
動き補償型画像内挿部Aには、第fフィールドの動きベ
クトル301、第f−1フィールドの画像302、およ
び第f+1フィールドの画像303が入力され、第fフ
ィールドと同じ時間的位置の画像304を、動き補償型
画像内挿により作成して出力する。次に、この内挿によ
り作成した画像304と、縦続接続された1フィールド
遅延回路[外1]の接続点から得られる第fフィールド
の画像305とを比較部Bに入力して、両入力画像を比
較し相関を求める。そして相関の大きさを第fフィール
ドの動きベクトル301の正しさの指標として出力する
(相関が大きいほど動きベクトルが正しい)。
価装置の動作は、 図4によって説明される。図4におい
て、402は第fフィールドの画像(図3中、305に
相当)、401は第f−1フィールドの画像(図3中、
302に相当)、および403は第f+1フィールドの
画像(図3中、303に相当)である。そして、画像4
01、画像403および第fフィールドの動きべクトル
(図4には示されない)を用いて、動き補償型画像内挿
により第f−1フィールドと第f+1フィールドの時間
的に中間に位置する画像404(これは、上記画像40
2の時間的位置に一致する)を作成する(図3中、30
4に相当)。
中、305に相当)中の任意のブロック406(細いド
ットを付して示す領域)と、そのブロック406の動き
ベクトルを用い動き補償型画像内挿により作成した画像
404(図3中、304に相当)中で、画像402中の
ブロック406と同じ空間的位置にあるブロック405
(細いドットを付して示す領域)との画像間で相関を求
める。この相関の大きさを、ブロック406における動
きベクトルの正しさの指標とする(相関が大きい程動き
ベクトルが正しい)。
fフィールドと同じ時間的位置の画像全体を動き補償型
画像内挿する例を示したが、少なくとも動きベクトルの
評価を行なおうとするブロックに対応したブロック画像
を動き補償型画像内挿により作成すれば当該動きベクト
ルの評価が可能である。
(図3参照)としては、例えば、「方式変換におけるアン
カバー処理の検討」(信学技報IE95-132(1996−0
2),井口他)に記載されているような、アンカバー処
理を伴った動き補償型画像内挿部を用いるのが好まし
い。上記文献記載のアンカバー処理を伴った動き補償型
画像内挿では、双方向に検出した動きベクトルを用いる
ことで、検出面上と内挿面上のカバード/アンカバード
バックグラウンド領域とその領域の動きベクトルとを推
定した上で、カバード/アンカバードバックグラウンド
領域の画像内挿時には、隣接する片側のフィールドの画
像のみを用いることで、カバード/アンカバードバック
グランド領域の正しい内挿画像を作成している。
どのように行われるかについて説明する。いま、第fフ
ィールドの位置(x1,y1)における画素の値をg
(f,x1,y1)と定義する。 また、 動き補償型画像
内挿部A(図3参照)に第f−1フィールドの画像、第
f+1フィールドの画像、および第fフィールドの動き
ベクトルを入力したときに、同内挿部の出力画像の位置
(x1,y1)における画素の値をI(f−1,f+
1,f,x1,y1)と定義する。さらに、第fフィー
ルド上の動きベクトルの正しさを評価するブロックをS
とする。
ルドの画像、第f+1フィールドの画像、および第fフ
ィールドの動きベクトルを動き補償型画像内挿部に入力
したとき、出力画像の位置(p,q)における画素の値
はI(f−1,f+1,f,p,q)となる。比較部B
(図3参照)では、例えば領域(ブロック)間の画像の
相関として、領域に含まれる画素の誤差の絶対値の総和
を用いると、誤差の絶対値の総和が小さいほど相関が大
きい。このとき、誤差の絶対値の総和は、以下の式
ルド上のブロックSにおける動きベクトルの正しさであ
る(式の演算結果が小さいほど動きベクトルが正し
い)。
用するフィールドは2つであるとしたが、3つ以上のフ
ィールドを用いて評価してもよい。
る場合を考える。このような場合、従来の動きベクトル
を評価する方法では移動物体が背景を隠す場合が生じ、
誤った評価が得られることがあった。
よび本発明の両方による動きベクトルの評価方法の効果
を比較説明している。図5において、501は第f−1
フィールドの画像、502は第fフィールドの画像、5
03は第f+1フィールドの画像とする。これらの画像
中で、第f−1フィールドで507(ドットを付して示
している)の領域にあった物体が第fフィールドで50
8(同じくドットを付して示している)の領域に移動
し、第f+1フィールドでは509(同じくドットを付
して示している)の領域に移動したとする。この領域以
外は背景で静止しているものとする。ここで、第fフィ
ールドの領域506(細かいドットを付して示してい
る)が動きベクトルを検定するブロックで、零ベクトル
が割り当てられているものとする。
いドットを付して示している)と、ブロック506が零
ベクトルにより第f+1フィールドの画像503上で対
応するブロック510(破線で囲んで示したブロック)
との間で画像の相関を求めるが、ブロック506の画像
は背景であるのに対しブロック510の画像は移動して
きた物体となるため、ブロック506とブロック510
の画像間の相関が低くなり、本来正しいはずの零ベクト
ルを誤りとする場合がある。
評価方法では、上述した井口他の文献記載の方法にある
ようなアンカバー処理を伴なった動き補償型画像内挿に
より第f−1フィールドと第f+1フィールドの画像か
ら、第fフィールドと同じ時間的位置の第f′フィール
ドの画像504を作成し(ここに、f′は内挿第fフィ
ールド)、第fフィールドのブロック506(細かいド
ットを付して示している)の画像と内挿により作成した
第f′フィールドの画像中の同じ空間的位置のブロック
505(細かいドットを付して示している) の画像との
相関を求めるようにしている。 ここでブロック506も
ブロック505も背景の画像であるため、2つのブロッ
ク間の相関は高くなり、ブロック506に割り当てられ
た零ベクトルは正しいと評価され、正しい評価結果を与
える。
f+1フィールドで対応する領域が存在しないブロック
については、動きベクトルの正しさをより正確に求める
ことができなかったが、本発明による方法によれば、第
fフィールドの時間的位置の画像を動き補償型画像内挿
により作成することにより、第f+1フィールドで対応
する領域が存在しないブロックについても動きベクトル
の正しさを正確に評価することができる。
ある。
できない場合があることを説明する図である。
態のブロック図である。
図である。
評価方法の効果を比較説明する図である。
Claims (2)
- 【請求項1】 任意のフィールドの画像に対し、nフィ
ールド(nは任意の整数)前および後のそれぞれのフィ
ールドの画像と前記任意のフィールドの画像中の任意の
ブロックに割り当てられている動きベクトルとを使用
し、前記動きベクトルが割り当てられているフィールド
の画像と同一の時間的位置のフィールドの画像における
前記任意のブロックと同じ空間的位置にあるブロックの
画像を動き補償型画像内挿により作成し、該作成したブ
ロックの画像と前記任意のフィールドの画像中の前記任
意のブロックの画像とを比較し、それら両ブロックの画
像間の相関の大きさによって前記割り当てられている動
きベクトルの正しさを評価することを特徴とする動きベ
クトルの評価方法。 - 【請求項2】 第fフィールドの画像中の任意のブロッ
クに割り当てられている動きベクトル、第f−1フィー
ルドの画像および第f+1フィールドの画像が供給され
て、動き補償内挿された第fフィールドの内挿ブロック
の画像であって前記任意のブロックと同じ空間的位置に
ある内挿ブロックの画像を出力する動き補償型画像内挿
部と、 前記第fフィールド中の前記任意のブロックの画像と前
記動き補償内挿された第fフィールドの内挿ブロックの
画像が供給されて、前記第fフィールド中の前記任意の
ブロックの画像と、前記動き補償内挿された第fフィー
ルドの内挿ブロックの画像との相関を求める比較部とを
少なくとも具え、 前記求めた相関の大きさを、前記第fフィールドの画像
中の前記任意のブロックにおける動きベクトルの正しさ
の指標として前記比較部から出力することを特徴とする
動きベクトルの評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29845798A JP3903358B2 (ja) | 1998-10-20 | 1998-10-20 | 動きベクトルの評価方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29845798A JP3903358B2 (ja) | 1998-10-20 | 1998-10-20 | 動きベクトルの評価方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000125305A true JP2000125305A (ja) | 2000-04-28 |
JP3903358B2 JP3903358B2 (ja) | 2007-04-11 |
Family
ID=17859962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29845798A Expired - Fee Related JP3903358B2 (ja) | 1998-10-20 | 1998-10-20 | 動きベクトルの評価方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3903358B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7180548B2 (en) | 2003-03-28 | 2007-02-20 | Kabushiki Kaisha Toshiba | Method of generating frame interpolation image and an apparatus therefor |
US8817869B2 (en) | 2010-10-18 | 2014-08-26 | Mitsubishi Electric Corporation | Image processing device and method, and image display device and method |
WO2016056754A1 (ko) * | 2014-10-08 | 2016-04-14 | 엘지전자 주식회사 | 3d 비디오 부호화/복호화 방법 및 장치 |
-
1998
- 1998-10-20 JP JP29845798A patent/JP3903358B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7180548B2 (en) | 2003-03-28 | 2007-02-20 | Kabushiki Kaisha Toshiba | Method of generating frame interpolation image and an apparatus therefor |
CN100448287C (zh) * | 2003-03-28 | 2008-12-31 | 株式会社东芝 | 邻接帧间的帧插值方法、装置和使用该装置的图像显示系统 |
US8817869B2 (en) | 2010-10-18 | 2014-08-26 | Mitsubishi Electric Corporation | Image processing device and method, and image display device and method |
WO2016056754A1 (ko) * | 2014-10-08 | 2016-04-14 | 엘지전자 주식회사 | 3d 비디오 부호화/복호화 방법 및 장치 |
US10587894B2 (en) | 2014-10-08 | 2020-03-10 | Lg Electronics Inc. | Method and device for encoding/decoding 3D video |
Also Published As
Publication number | Publication date |
---|---|
JP3903358B2 (ja) | 2007-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4122279B2 (ja) | スクロールされるテキストまたはグラフィックデータの検出が可能な動き推定装置および方法 | |
KR100787675B1 (ko) | 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치 | |
US8340186B2 (en) | Method for interpolating a previous and subsequent image of an input image sequence | |
KR20020064440A (ko) | 영상 움직임 보상 장치 및 방법 | |
JP3840129B2 (ja) | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム | |
JP3852861B2 (ja) | ブロック突合せを用いた動き評価の方法及び装置 | |
US7412114B2 (en) | Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same | |
US20080095399A1 (en) | Device and method for detecting occlusion area | |
US20110051005A1 (en) | Method And Apparatus For Integrated Motion Compensated Noise Reduction And Frame Rate Conversion | |
JP2005505841A (ja) | 動き推定のための装置及び方法 | |
US20030086499A1 (en) | Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit | |
JPH09214899A (ja) | 画像予測処理方法および装置 | |
JP4197434B2 (ja) | 動き推定の容易化 | |
JP3993159B2 (ja) | 動き検出装置および方法 | |
US8315435B2 (en) | Image processing apparatus and method | |
CN103096009B (zh) | 图像处理装置和方法以及图像显示装置和方法 | |
JP3161467B2 (ja) | 画像の時間的補間についての方法及びこの方法を実施するための装置 | |
JP2000125305A (ja) | 動きベクトルの評価方法および装置 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
JP4250806B2 (ja) | フィールド周波数変換装置および変換方法 | |
US8805101B2 (en) | Converting the frame rate of video streams | |
JPH0410885A (ja) | 動きベクトル検出装置 | |
US20040095557A1 (en) | Motion picture analyzing system | |
JP2011211370A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040416 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060718 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061226 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |