JP2009077309A - 動き予測装置および動き予測方法 - Google Patents

動き予測装置および動き予測方法 Download PDF

Info

Publication number
JP2009077309A
JP2009077309A JP2007246197A JP2007246197A JP2009077309A JP 2009077309 A JP2009077309 A JP 2009077309A JP 2007246197 A JP2007246197 A JP 2007246197A JP 2007246197 A JP2007246197 A JP 2007246197A JP 2009077309 A JP2009077309 A JP 2009077309A
Authority
JP
Japan
Prior art keywords
flatness
image
motion vector
motion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007246197A
Other languages
English (en)
Inventor
Himio Yamauchi
日美生 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007246197A priority Critical patent/JP2009077309A/ja
Priority to US12/113,853 priority patent/US8243801B2/en
Priority to EP08008582A priority patent/EP2040222A1/en
Publication of JP2009077309A publication Critical patent/JP2009077309A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】平坦度が高い小領域における動きベクトルのばらつきを抑えて、平坦度が高い小領域に隣接している小領域における動きベクトルの検出精度を高め、精度の高い動き予測を行える動き予測装置および動き予測方法を提供する。
【解決手段】動き予測部は、画素ブロックについて、その画素ブロックにおける画像の変化の少なさを示す平坦度を検出する平坦度検出手段と、画素ブロックについて動きベクトルを検出する際に、平坦度検出手段により検出された平坦度に応じた重み付けを行う重み付け手段とを有する。
【選択図】図2

Description

本発明は、画像に含まれる物体の動きを予測する動き予測装置および動き予測方法に関する。
従来、画像に含まれる物体の動きを動きベクトルとして検出することによって、物体の動きを予測する動き予測装置が知られている。動きベクトルの検出は、時間的に連続する2枚の画像フレームをそれぞれ複数の小領域(画素ブロック)に分割し、その小領域の中から最も相関の高い小領域を探してそのずれの量を動きベクトルで表すといった方法で行われる。
従来、このような動きベクトルの検出を行う装置に関し、例えば、特許文献1には、次のような動きベクトル検出装置が開示されている。この動きベクトル検出装置は、着目する画素ブロック周辺の画素ブロックの動きベクトルを用いて、着目する画素ブロックの動きを予測した予測ベクトルを発生させるとともに、その予測ベクトルの信頼度に応じて動きベクトルの探索範囲の広さを変更している。
特開第2950633号公報
ところで、動きベクトルを検出しようとする画像の中には、例えば、雲ひとつない青空の画像のように画像の各部分の差がほとんどなく変化の少ない画像がある。本発明では、画像の変化の少なさの程度を平坦度といい、平坦度の高い画像とは、変化の少ない画像を意味し、平坦度の低い画像とは、変化の大きい画像を意味している。
ここで、例えば図10に示すように、動きベクトルを検出しようとする画像フレームFの中の画素ブロックF1が平坦度の高い小領域(例えば、青空の部分)であったとする。この場合、画素ブロックF1が動きのない静止領域であっても、その周囲の画素ブロックF2、F3も平坦度が高い場合(例えば、青空の部分)には、F2、F3のどれをとってもF1との差がほとんどない。そのため、検出される動きベクトルはノイズなどの影響でP1であったり、P2であったりとばらつきが大きくなる。
そして、このような動きベクトルのばらつきが大きい画素ブロックF4に隣接した画素ブロックF5において動きベクトルを検出するとする。画素ブロックF4は例えば画素ブロックF1〜F3と同様の青空の部分、画素ブロックF5は青空に飛行機の一部が表示されている部分とする。
この場合、画素ブロックF4では、すでに動きベクトルが検出されており、その動きベクトルを用いて、画素ブロックF5の動きベクトルを検出するための演算を行うとする。すると、画素ブロックF4の動きベクトルのばらつきが大きいがために演算の精度が阻害され、動きベクトルの検出精度が低下してしまう。
この点、一律に大きさの小さい動きベクトルを選びやすくするような重み付けを行うという考え方がある。このような重み付けを行えば、画素ブロックF4で検出される動きベクトルのばらつきが小さくなり、上記の問題を解決することが可能である。
しかし、このような重み付けを行うと、動きベクトルの大きさが小さいベクトルばかりが選択されやすくなるため、本来であれば大きさの大きい動きベクトルが選択されるべき場合もそのような動きベクトルが選択されないといった弊害が生じてしまう。
そこで、本発明は上記課題を解決するためになされたもので、平坦度が高い小領域における動きベクトルのばらつきを抑えて、平坦度が高い小領域に隣接している小領域における動きベクトルの検出精度を高め、精度の高い動き予測を行える動き予測装置および動き予測方法を提供することを目的とする。
上記課題を解決するため、本発明は、複数の画像フレームまたは画像フィールドにおける画素ブロック同士の類似度により動きベクトルを検出し、画像フレームまたは画像フィールドに含まれる物体の動きを予測する動き予測装置であって、現フレームまたは現フィールドにおける画素ブロックについて、その画素ブロックにおける画像の変化の少なさを示す平坦度を検出する平坦度検出手段と、画素ブロックについて動きベクトルを検出する際に、平坦度検出手段により検出された平坦度に応じた重み付けを画素ブロック同士の類似度について行う重み付け手段とを有する動き予測装置を特徴とする。
また、本発明は、複数の画像フレームまたは画像フィールドにおける画素ブロック同士の類似度により動きベクトルを検出し、画像フレームまたは画像フィールドに含まれる物体の動きを予測する動き予測方法であって、現フレームまたは現フィールドにおける画素ブロックについて、その画素ブロックにおける画像の変化の少なさを示す平坦度を検出し、画素ブロックについて動きベクトルを検出する際に、平坦度に応じた重み付けを画素ブロック同士の類似度について行う動き予測方法を提供する。
以上詳述したように、本発明によれば、平坦度が高い小領域における動きベクトルのばらつきを抑えて、平坦度が高い小領域に隣接している小領域における動きベクトルの検出精度を高め、精度の高い動き予測を行える動き予測装置および動き予測方法が得られる。
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
(補間フレーム作成装置の構成)
本発明の実施の形態に係る動き予測装置は図1に示す補間フレーム作成装置10に組み込まれているので、まず、補間フレーム作成装置10について説明する。
図1は本発明の実施の形態に係る補間フレーム作成装置10の構成を示すブロック図である。この補間フレーム作成装置10は、テレビ、パーソナルコンピュータ、携帯電話機といった画像表示機能を有する装置に備えられている。
この補間フレーム作成装置10は、入力される入力画像信号S0(60F/s)を構成する複数の画像フレームから、その複数の画像フレームを補間する補間フレームを作成し、作成された補間フレームが内挿された出力画像信号S1(120F/s)を表示パネル61に出力するようになっている。
補間フレーム作成装置10は、フレームメモリ20と、動き予測部30と、補間画像作成部40と、制御部45とを有し、液晶表示パネルなどからなる映像表示手段としての表示パネル61が接続されている。
フレームメモリ20は、入力画像信号S0を画像フレーム毎に記憶する。動き予測部30は、フレームメモリ20を介さずに入力される画像フレームと、フレームメモリ20に記憶された画像フレームについてのブロックマッチングを行って動きベクトルV0を検出し、検出された動きベクトルV0を補間画像作成部40に出力する。なお、動き予測部30の構成および動作内容については、後に詳述する。
補間画像作成部40は、フレームメモリ20を介さずに入力される画像フレームおよびフレームメモリ20に記憶されている画像フレームと、検出された動きベクトルV0とに基づいて補間フレームSFを作成し、作成された補間フレームSFをフレームメモリ20に記憶させる。この補間画像作成部40の動作についても、後に詳述する。制御部45はブロックタイミング信号を動き予測部30に出力するなどして補間フレームの作成を制御する。
次に、動き予測部30の構成について、図2を参照して説明する。図2は、動き予測部30の構成を示すブロック図である。
動き予測部30は、図2に示すように、類似度検出部31(31〜31)と、重み付け部32と、動きベクトル選択部33と、平坦度検出部34とを有している。
類似度検出部31は、フレームメモリ20を介さずに入力される現フレーム信号T1と、フレームメモリ20から入力される次フレーム信号T2とを入力し、そのそれぞれに含まれる2つの画像フレームを対象としてブロックマッチングを行い、画素ブロック同士の類似度を検出する。
類似度検出部31は、動きベクトルを検出しようとするn通りの方向ごとに設けられている(類似度検出部31、31・・・31)。
そして、各類似度検出部31〜31は、検出した類似度を示す類似度データA〜Aをそれぞれ重み付け部32に出力する。類似度検出部31は、画素ブロック同士のSAD(Sum of Absolute Difference:画素差分絶対値の総和)を用いて類似度データA〜Aを求めることができる。
重み付け部32は類似度検出部31から出力される類似度データA〜Aに対して重み付け係数K〜Kを用いた重み付けを行う。重み付け部32は平坦度検出部34から出力される後述する平坦度データFdに応じて重み付け係数K〜Kの大きさを調整し、その調整後の重み付け係数K〜Kを類似度データA〜Aに乗じて、類似度データA〜Aに対する重み付けを行う。
動きベクトル選択部33は、重み付け部32による重み付けが行われた類似度データK・A〜K・Aに基づいて、相関が最も高い画素ブロック間の変位を示すベクトル値を選択し、その選択したベクトル値に基づいて、動きベクトルV0を出力する。
また、動きベクトル選択部33は、類似度データK・A〜K・Aの値が最小となる画素ブロックが相関の最も高い画素ブロックと判断している。
そして、平坦度検出部34は、図3に示すような構成を有している。平坦度検出部34は、レベル差検出部51と、比較部52と、計数部53と、平坦度出力部54とを有している。
レベル差検出部51は、動きベクトルV0が検出される画素ブロックにおいて、隣接する画素同士の信号レベル差Sd1を検出する。比較部52は信号レベル差Sd1を予め決められた閾値thと比較し、閾値th以上の値を示す信号レベル差Sd2を計数部53に出力する。
計数部53は信号レベル差Sd2に基づいて、隣接する画素との信号レベル差が閾値th以上の値を示す画素(対象画素)の個数をカウントし、カウント結果を示すカウントデータCdを出力する。
平坦度出力部54は計数部53から出力されるカウントデータCdに基づき、平坦度を検出して平坦度データFdを出力する。
(補間フレーム作成装置の動作内容)
次に、補間フレーム作成装置10の動作内容について説明する。補間フレーム作成装置10は、図4に示すフローチャートに沿って補間フレーム作成処理を行い、補間フレームを作成する。
補間フレーム作成装置10は、補間フレーム作成処理を開始すると、動きベクトル検出を行い(S1)、続くS2で補間フレーム作成を実行する。補間フレームが作成されると、制御部45が画像信号出力手段としての動作を行い、出力画像信号S1を表示パネル61に出力する。
動きベクトル検出では、動き予測部30が2つの画像フレームのブロックマッチングを行い動きベクトルV0を検出する。
そして、動きベクトルV0が検出されると、補間画像作成部40が動き予測部30から出力される動きベクトルV0に基づいて、補間フレーム150を次のようにして作成する。
この補間フレーム150は、フレームメモリ20を介さずに入力される前フレーム(参照フレーム)100と、フレームメモリ20に記憶されている後フレーム(基準フレーム、検出対象フレーム)200との間に補間されるフレームである。
補間画像作成部40は、図5に示すような前フレーム100の各画素ブロックと、後フレーム200の各画素ブロックとの時間的距離を割り出し、その割り出した時間的距離のうちの後フレーム200から補間フレーム150までの時間的距離の割合で動きベクトルV0を縮小する。
そして、補間画像作成部40は、その縮小された動きベクトルV0に基づいて、後フレーム200の対応する画素ブロックを変位させて補間フレーム150を構成する画素ブロックを作成する。補間画像作成部40は、この手順を前フレーム100の各画素ブロックと、後フレーム200の各画素ブロックについて繰り返し、補間フレーム150を作成する。
一方、動き予測部30では、動きベクトルV0を検出する際に、類似度検出部31により、現フレーム信号T1に含まれる画像フレーム(前フレーム)100と、次フレーム信号T2に含まれる画像フレーム(後フレーム)200を対象として、ブロックマッチングが行われる。
このブロックマッチングでは、ブロックタイミング信号の示すタイミングにしたがい、時間的に前に位置する前フレーム100、時間的に後に位置する後フレーム200のそれぞれが複数の画素ブロックに分割される。
本実施の形態では、図5に示すように、前フレーム100は画素ブロック100a,100b、100cを含む複数の画素ブロックに分割され、後フレーム200は画素ブロック200a,200b、200cを含む複数の画素ブロックに分割される。
その後、類似度検出部31により、前フレーム100と、後フレーム200とについて、それぞれの探索範囲104,204において、画素ブロック同士の類似度が検出される。類似度検出部31は類似度の検出結果を類似度データA〜Aとして出力する。
また、平坦度検出部34が現フレーム信号T1を入力して、動きベクトルV0が検出される画素ブロックについて平坦度を検出する。
この場合、平坦度検出部34では、レベル差検出部51により、動きベクトルV0が検出される画素ブロックにおいて、隣接する画素同士の信号レベル差Sd1が検出される。
そして、比較部52により、信号レベル差Sd1と閾値thとが比較され、閾値th以上の値を示す信号レベル差Sd2が計数部53に出力される。
すると、計数部53により、比較部52から出力される信号レベル差Sd2に基づき、対象画素の個数がカウントされ、そのカウント結果を示すカウントデータCdが平坦度出力部54に出力される。
さらに、平坦度出力部54は計数部53から出力されるカウントデータCdに応じて次のようにして平坦度の検出を行い、平坦度データFdを出力する。
この場合、平坦度出力部54はカウントデータCdの値が大きくなるにしたがい、平坦度が小さくなり、カウントデータCdの値が小さくなるにしたがい、平坦度が大きくなるようにして、平坦度の検出を行う。
例えば、平坦度出力部54は図6に示す平坦度曲線に従って平坦度を求め、その求めた平坦度を示す平坦度データFdを出力することができる。平坦度出力部54は平坦度データ出力手段としての機能を有している。
この平坦度曲線は平坦度データFdと、カウントデータCdとの対応関係を示すもので、カウントデータCdの値が大きくなるにしたがい、平坦度が低くなり、カウントデータCdの値が小さくなるにしたがい、平坦度が高くなるように設定されている。
一方、平坦度検出部34から出力される平坦度データFdに応じて、重み付け部32が類似度データA〜Aに対する重み付けを行う。
ここで、類似度データA〜Aに対する重み付け係数K〜KがK=K×KB、K=K×KB、・・・K=K×KBで表され、ベースとなる重み付け係数KB〜KBは大きさの大きい動きベクトルほど大きな値に設定されているとする。すると、係数Kを大きくするほど、大きさの大きい動きベクトルの重み付けが大きくなり、大きさの小さい動きベクトルが選択されやすくなる。
この場合、重み付け部32は平坦度データFdに応じて重み付け係数K〜Kの大きさを調整する。すなわち、重み付け部32は平坦度データFdが大きくなるにしたがい、重み付け係数K〜Kを大きくし、平坦度データFdの値が小さくなるにしたがい、重み付け係数K〜Kを小さくするようにして重み付け係数K〜Kの大きさを調整する。その調整した重み付け係数K〜Kを類似度データA〜Aに乗じて重み付けを行う。
例えば、重み付け部32は図7に示す調整曲線にしたがい重み付け係数K〜Kの大きさを調整することができる。
この調整曲線は係数Kと、平坦度データFdとの対応関係を示すもので、平坦度データFdが大きくなるにしたがい、重み付け係数K〜Kが大きくなり、平坦度データFdの値が小さくなるにしたがい、重み付け係数K〜Kが小さくなるようにして、係数Kと平坦度データFdとの関係が設定されている。
そのため、類似度データA〜Aは、画素ブロックの平坦度が高くなるにしたがい大きさの大きい動きベクトルほど値が大きくなり、平坦度が低くなるにしたがい大きさの大きい動きベクトルと、大きさの小さい動きベクトルとの値の差が小さくなるように調整されて重み付けが行われる。
そして、動きベクトル選択部33は、このような重み付けが行われた類似度データK・A〜K・Aに基づいて動きベクトルを選択する。
このように、動き予測部30では、画素ブロックの平坦度が高ければ高いほど、すなわち、雲ひとつない青空の画像のように、画像の変化が少なければ少ないほど、類似度データA〜Aに対して、大きさの大きい動きベクトルほど大きな重み付けが行われる。
そのため、画素ブロックの平坦度が高くなるほど、動きベクトル選択部33により、大きさが小さい動きベクトル、すなわち、動きの小さなベクトルが選択されやすくなっている。
また、平坦度が低ければ低いほど、すなわち、画素ブロックの画像の変化が大きくなるほど大きさの大きい動きベクトルと、大きさの小さい動きベクトルとの重み付けの差が小さくなるように重み付けが行われる。そのため、平坦度が高い画素ブロックよりも、動きベクトル選択部33により、大きさが大きいベクトル、すなわち、動きの大きなベクトルが選択されやすくなっている。
こうして、動き予測部30では、平坦度が高い画素ブロックにおいては、動きの小さな動きベクトルが選択されやすくして選択される動きベクトルのばらつきを抑えるようにしている。その一方、平坦度が低い画素ブロックのように、本来であれば大きさの大きい動きベクトルが選択されるべき場合においては、重み付けを小さくして動きの大きな動きベクトルが選択されやすくしている。
そのため、平坦度が高い画素ブロックに隣接している画素ブロックで動きベクトルの検出する際に、平坦度が高い画素ブロックで検出された動きベクトルを用いても、精度の高い動きベクトルを検出することができる。したがって、動き予測部30では、精度の高い動き予測を行えるようになっている。
次に、動き予測部30は、平坦度検出部34の代わりに図8に示すような構成の平坦度検出部35を用いることもできる。
図8に示す平坦度検出部35は図3に示す平坦度検出部34に比べて、最大値検出部55、最小値検出部56、減算器57およびABS58を有する点で相違している。
最大値検出部55は画素ブロック内における最大信号レベルを検出し、最大信号レベルを示す最大レベル信号MAXを減算器57に出力する。最小値検出部56は画素ブロック内における最小信号レベルを検出し、最小信号レベルを示す最小レベル信号MINを減算器57に出力する。
減算器57は最大レベル信号MAXと、最小レベル信号MINとのレベル差を示す最大レベル差を検出してABS58に出力する。ABS58は減算器57が検出した最大レベル差の差分絶対値MMを出力する。減算器57とABS58とが最大レベル差検出手段としての機能を有している。
そして、平坦度出力部54は、カウントデータCdと、ABS58から出力される差分絶対値MMとに応じた平坦度の検出を行い、平坦度データFdを出力する。
例えば、平坦度出力部54は、カウントデータCdに応じて求めた平坦度データFdに対し、図9に示すような係数曲線に従って求めた係数Pを乗じて平坦度データFdを出力する。
この係数曲線は、差分絶対値MMと、係数Pとの関係を示すもので、差分絶対値MMが小さくなるに従い平坦度が高くなり、かつ差分絶対値MMが大きくなるに従い平坦度が低くなるようにして設定されている。
したがって、平坦度出力部54は、差分絶対値MMが小さくなるに従い大きい値の平坦度データFdを出力し、差分絶対値MMが大きくなるに従い小さい値の平坦度データFdを出力する。
前述の平坦度検出部34では、隣接している画素同士の差が小さい場合、すなわち画素が少しずつ変化している画素ブロックは、平坦度が高いと判定されやすい。しかしながら、このような画素ブロックでも、最大信号レベルと最小信号レベルの差が大きいときは、画素ブロック全体をみると、画像の変化が大きいと考えられ、平坦度が低い画素ブロックとして扱うことが好ましい。
平坦度検出部35では、このような画素ブロックを平坦度が低い画素ブロックとして扱えるようにしており、平坦度検出部34よりも、動きベクトルの検出精度をより高めることができるようになっている。
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
本発明の実施の形態に係る補間フレーム作成装置の構成を示すブロック図である。 動き予測部の構成の一例を示すブロック図である。 平坦度検出部の構成の一例を示すブロック図である。 補間フレーム作成装置における補間フレーム作成処理の動作手順を示すフローチャートである。 本発明の実施の形態に係る動きベクトル検出手順が適用される2つの画像フレームおよび補間フレームを示す斜視図である。 平坦度曲線の一例を示す図である。 調整曲線の一例を示す図である。 別の平坦度検出部の構成の一例を示すブロック図である。 係数曲線の一例を示す図である。 動きベクトルを検出しようとする画像フレームの一例を模式的に示した図である。
符号の説明
10…補間フレーム作成装置、20…フレームメモリ、30…動き予測部、40…補間画像作成部、31(31〜31)…類似度検出部、32…重み付け部、33…動きベクトル選択部、34、35…平坦度検出部、51…レベル差検出部、52…比較部、53…計数部、54…平坦度出力部、55…最大値検出部、56…最小値検出部、57…減算器、58…ABS、100…前フレーム、150…補間フレーム、200…後フレーム、100a、100b、100c、200a、200b、200c…画素ブロック。

Claims (9)

  1. 複数の画像フレームまたは画像フィールドにおける画素ブロック同士の類似度により動きベクトルを検出し、前記画像フレームまたは画像フィールドに含まれる物体の動きを予測する動き予測装置であって、
    現フレームまたは現フィールドにおける前記画素ブロックについて、その画素ブロックにおける画像の変化の少なさを示す平坦度を検出する平坦度検出手段と、
    前記画素ブロックについて動きベクトルを検出する際に、前記平坦度検出手段により検出された前記平坦度に応じた重み付けを前記画素ブロック同士の類似度について行う重み付け手段とを有することを特徴とする動き予測装置。
  2. 前記重み付け手段は、前記平坦度検出手段により検出された前記平坦度が高くなるに従い大きさの小さい前記動きベクトルが選択されやすくなるように前記重み付けを行うことを特徴とする請求項1記載の動き予測装置。
  3. 前記平坦度検出手段は、前記画素ブロックに含まれる画素のうち、隣接する画素との信号レベル差が閾値以上の値を示す対象画素の個数を計数する計数手段と、
    前記計数手段の計数する前記対象画素の個数が少なくなるに従い高い値の平坦度データを出力し、かつ前記対象画素の個数が多くなるに従い低い値の前記平坦度データを出力する平坦度データ出力手段とを有することを特徴とする請求項1または2記載の動き予測装置。
  4. 前記平坦度検出手段は、前記画素ブロック内における隣接する画素同士の信号レベル差を検出するレベル差検出手段と、
    前記レベル差検出手段により検出された前記信号レベル差を前記閾値と比較する比較手段とを更に有し、
    前記計数手段は、前記比較手段の比較結果に基づいて前記対象画素の個数を計数することを特徴とする請求項3記載の動き予測装置。
  5. 前記平坦度検出手段は、前記画素ブロック内に含まれる前記画素の最大信号レベルと最小信号レベルとの差を示す最大レベル差を検出する最大レベル差検出手段を更に有し、
    前記平坦度データ出力手段は、前記平坦度データを、前記最大レベル差検出手段により検出される前記最大レベル差が小さくなるに従い高い値で出力し、前記最大レベル差が大きくなるに従い低い値で出力することを特徴とする請求項3または4記載の動き予測装置。
  6. 前記重み付け手段は、前記平坦度が高くなるに従い大きくなるように調整された調整係数を用いて、前記重み付けを行うことを特徴とする請求項1〜5のいずれか一項記載の動き予測装置。
  7. 検出された前記動きベクトルに基づいて、前記画像フレームまたは画像フィールドの間に内挿される補間画像を作成する補間画像作成手段に前記動きベクトルを出力する動きベクトル出力手段を更に有する請求項1〜6のいずれか一項記載の動き予測装置。
  8. 前記補間画像作成手段により作成される前記補間画像を含む出力画像信号を用いて映像を表示する映像表示手段が接続されている請求項1〜7のいずれか一項記載の動き予測装置。
  9. 複数の画像フレームまたは画像フィールドにおける画素ブロック同士の類似度により動きベクトルを検出し、前記画像フレームまたは画像フィールドに含まれる物体の動きを予測する動き予測方法であって、
    現フレームまたは現フィールドにおける前記画素ブロックについて、その画素ブロックにおける画像の変化の少なさを示す平坦度を検出し、
    前記画素ブロックについて動きベクトルを検出する際に、前記平坦度に応じた重み付けを前記画素ブロック同士の類似度について行うことを特徴とする動き予測方法。
JP2007246197A 2007-09-21 2007-09-21 動き予測装置および動き予測方法 Pending JP2009077309A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007246197A JP2009077309A (ja) 2007-09-21 2007-09-21 動き予測装置および動き予測方法
US12/113,853 US8243801B2 (en) 2007-09-21 2008-05-01 Motion prediction apparatus and motion prediction method
EP08008582A EP2040222A1 (en) 2007-09-21 2008-05-07 Motion prediction apparatus and motion prediction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007246197A JP2009077309A (ja) 2007-09-21 2007-09-21 動き予測装置および動き予測方法

Publications (1)

Publication Number Publication Date
JP2009077309A true JP2009077309A (ja) 2009-04-09

Family

ID=40227901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007246197A Pending JP2009077309A (ja) 2007-09-21 2007-09-21 動き予測装置および動き予測方法

Country Status (3)

Country Link
US (1) US8243801B2 (ja)
EP (1) EP2040222A1 (ja)
JP (1) JP2009077309A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223086A (ja) * 2010-04-05 2011-11-04 Mitsubishi Electric Corp 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756842B1 (ko) * 2011-08-29 2017-07-12 삼성전자주식회사 영상 프레임의 보간 방법 및 장치
US8810666B2 (en) * 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US10284870B1 (en) * 2015-07-22 2019-05-07 Pixelworks, Inc. Adjusting interpolation phase for motion estimation motion compensation using image analysis
US10515117B2 (en) * 2017-02-14 2019-12-24 Cisco Technology, Inc. Generating and reviewing motion metadata
KR20220163994A (ko) * 2020-04-24 2022-12-12 엘지전자 주식회사 Pov 디스플레이 장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3619542B2 (ja) * 1993-08-03 2005-02-09 ソニー・ユナイテッド・キングダム・リミテッド 動き補正ビデオ信号処理装置及び方法
JP2005252360A (ja) * 2004-03-01 2005-09-15 Sony Corp 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2006115421A (ja) * 2004-10-18 2006-04-27 Toshiba Corp 動きベクトル検出方法及びその装置
JP2007074595A (ja) * 2005-09-09 2007-03-22 Sony Corp 画像処理装置および方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209852A (en) * 1974-11-11 1980-06-24 Hyatt Gilbert P Signal processing and memory arrangement
JP2950633B2 (ja) 1991-03-27 1999-09-20 沖電気工業株式会社 動きベクトル検出装置
JPH05328334A (ja) 1992-05-25 1993-12-10 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル推定装置
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
US5808685A (en) * 1994-12-30 1998-09-15 Daewoo Electronics Co., Ltd. Block matching motion estimation apparatus employing a weight function
KR0154921B1 (ko) * 1994-12-30 1998-11-16 배순훈 동영상 부호화 장치에 이용하기 위한 움직임 추정기
KR100255748B1 (ko) * 1997-07-19 2000-05-01 전주범 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치
JP2000059792A (ja) 1998-08-06 2000-02-25 Pioneer Electron Corp 動画像信号の高能率符号化装置
JP2001197501A (ja) * 2000-01-07 2001-07-19 Fujitsu Ltd 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置
US7177358B2 (en) * 2000-06-27 2007-02-13 Mitsubishi Denki Kabushiki Kaisha Picture coding apparatus, and picture coding method
KR100541953B1 (ko) * 2003-06-16 2006-01-10 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
KR100579493B1 (ko) * 2003-06-16 2006-05-15 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
CN1953504B (zh) * 2005-10-21 2010-09-29 意法半导体研发(上海)有限公司 用于cfa图像插值的自适应分类方法
US7965774B2 (en) * 2006-01-06 2011-06-21 International Business Machines Corporation Method for visual signal extrapolation or interpolation
JP4586751B2 (ja) 2006-03-14 2010-11-24 コニカミノルタエムジー株式会社 画像記録装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3619542B2 (ja) * 1993-08-03 2005-02-09 ソニー・ユナイテッド・キングダム・リミテッド 動き補正ビデオ信号処理装置及び方法
JP2005252360A (ja) * 2004-03-01 2005-09-15 Sony Corp 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2006115421A (ja) * 2004-10-18 2006-04-27 Toshiba Corp 動きベクトル検出方法及びその装置
JP2007074595A (ja) * 2005-09-09 2007-03-22 Sony Corp 画像処理装置および方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223086A (ja) * 2010-04-05 2011-11-04 Mitsubishi Electric Corp 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法

Also Published As

Publication number Publication date
US8243801B2 (en) 2012-08-14
EP2040222A1 (en) 2009-03-25
US20090079875A1 (en) 2009-03-26

Similar Documents

Publication Publication Date Title
US20120093231A1 (en) Image processing apparatus and image processing method
US8204124B2 (en) Image processing apparatus, method thereof, and program
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
JP2010141437A (ja) フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置
JP4431089B2 (ja) 映像補間装置、フレームレート変換装置および映像表示装置
JP2009077309A (ja) 動き予測装置および動き予測方法
JP5490236B2 (ja) 画像処理装置および方法、画像表示装置および方法
US8385430B2 (en) Video signal processing apparatus and video signal processing method
US8244055B2 (en) Image processing apparatus and method, and program
JP5197374B2 (ja) 動き推定
JP2009182865A (ja) 画像表示装置及び方法、画像処理装置及び画像処理方法
JP2009181067A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP2008109625A (ja) 画像表示装置及び方法、画像処理装置及び方法
US20090046208A1 (en) Image processing method and apparatus for generating intermediate frame image
JP4384231B2 (ja) 動き予測装置
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2005229166A (ja) 映像信号のノイズ量測定装置および測定方法
JP5145887B2 (ja) フレーム補間装置および方法
JP2011211370A (ja) 画像処理装置および画像処理方法
JP2008109628A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4917867B2 (ja) テロップ検出装置及び方法、並びに画像表示装置及び方法
US8913794B2 (en) Image processing apparatus, image processing method, and medium
JP2008109627A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2007180691A (ja) ノイズ量測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120515