JP2008301101A - 動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置 - Google Patents
動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置 Download PDFInfo
- Publication number
- JP2008301101A JP2008301101A JP2007143990A JP2007143990A JP2008301101A JP 2008301101 A JP2008301101 A JP 2008301101A JP 2007143990 A JP2007143990 A JP 2007143990A JP 2007143990 A JP2007143990 A JP 2007143990A JP 2008301101 A JP2008301101 A JP 2008301101A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- frame
- image
- macroblock
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
【課題】動く方向や動く速度といった動き特性が異なる繰り返し画像についての正確な動きベクトルを検出できるようにする。
【解決手段】補間フレーム作成装置は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルに基づいて、各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを有する。動きベクトル検出手段はブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する。
【選択図】図1
【解決手段】補間フレーム作成装置は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルに基づいて、各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを有する。動きベクトル検出手段はブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する。
【選択図】図1
Description
本発明は、動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置に関する。
現在、テレビ、パーソナルコンピュータ、携帯電話機など、画像表示手段を備えた多様な装置が実用化されている。このような画像表示手段を備えた装置では、入力画像信号を構成する画像フレームから各画像フレームを補間する補間フレームを作成し、作成された補間フレームを内挿して表示させる技術が適用されている。
この補間フレームは、液晶表示装置において、同じフレームが表示されることによる画質の低下を防止するためや、PAL(Phase Alternation by Line color television)で生じるとされるフリッカ(画面のちらつき)を防止するため、さらには、低フレームレートで伝送された入力画像信号を用いて画像をスムーズに表示するため、といった目的で作成されている。
このような補間フレームが作成される場合、2つの画像フレームを所定のブロックに分割し、各画像フレームのブロック間の相関を求めるブロックマッチングが行われ、ブロックマッチングによって求められた相関に基づいて、最も相関の高いブロック同士の変位を示す動きベクトルが検出される。
このような動きベクトルの検出に関しては、従来から様々な提案がなされていた。例えば、特許文献1には、隣接する第1、第2のブロックについて、第1のブロックで検出された動きベクトルに基づいて第2のブロックの探索領域を設定し、その設定した探索領域でブロックマッチングを行って第2のブロックについての動きベクトルを検出する動きベクトルの検出方法が開示されている。
特開2000−134628号公報
ところで、ブロックマッチングを行って動きベクトルが検出される場合、マクロブロックの中に例えば縞馬の縞模様や格子模様のように、酷似した画像が複数含まれ、酷似した画像が繰り返し表示される画像(繰り返し画像という)が含まれていることがある。
マクロブロック中に繰り返し画像が含まれているときは繰り返し画像が含まれている複数のマクロブロックを用いて繰り返し画像全体を網羅できるひとつのまとまったマクロブロックを形成し、そのまとまったマクロブロックごとにブロックマッチングを行って、動きベクトルを検出している。
しかし、従来の技術では、まとまったマクロブロックを形成する場合に、繰り返し画像が含まれているか否かだけが考慮され、繰り返し画像中の動き画像(例えば縞馬の縞模様)の動く方向や動く速度といった繰り返し画像の動き特性は考慮されていなかった。
そのため、例えば右方向に動く動き画像の繰り返し画像を含むマクロブロックと、左方向に動く動き画像の繰り返し画像を含むマクロブロックについてもまとまったマクロブロックとされてしまい、ブロックマッチングで正確な動きベクトルを検出することができなかった。
そこで、本発明は上記課題を解決するためになされたもので、動く方向や動く速度といった動き特性が異なる繰り返し画像についての正確な動きベクトルを検出できるようにした動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置を提供することを目的とする。
上記課題を解決するため、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出装置であって、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する動きベクトル検出装置を特徴とする。
また、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出方法であって、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成し、その接合マクロブロックを用いて動きベクトルを検出する動きベクトル検出方法を提供する。
さらに、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、その動きベクトル検出手段により検出された動きベクトルに基づいて、各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた補間フレーム作成装置であって、動きベクトル検出手段は、ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する補間フレーム作成装置を提供する。
以上詳述したように、本発明によれば、動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置において、動く方向や動く速度といった動き特性が異なる繰り返し画像についての正確な動きベクトルを検出することができる。
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
(補間フレーム作成装置の構成)
図1は、本発明の実施の形態に係る補間フレーム作成装置10の構成を示すブロック図である。この補間フレーム作成装置10は、テレビ、パーソナルコンピュータ、携帯電話機といった画像表示機能を有する装置に備えられている。
図1は、本発明の実施の形態に係る補間フレーム作成装置10の構成を示すブロック図である。この補間フレーム作成装置10は、テレビ、パーソナルコンピュータ、携帯電話機といった画像表示機能を有する装置に備えられている。
この補間フレーム作成装置10は、入力される入力画像信号S0(60F/s)を構成する複数の画像フレームから、その複数の画像フレームを補間する補間フレームを作成し、作成された補間フレームが内挿された出力画像信号S1(120F/s)を表示パネル51に出力するようになっている。
補間フレーム作成装置10は、フレームメモリ20と、動きベクトル検出部30と、補間画像作成部40と、制御部50とを有している。
フレームメモリ20は、入力画像信号S0を画像フレーム毎に記憶する。動きベクトル検出部30は、フレームメモリ20を介さずに入力される画像フレームと、フレームメモリ20に記憶された画像フレームについてのブロックマッチングを行って動きベクトルV0を検出し、検出された動きベクトルV0を補間画像作成部40に出力する。なお、動きベクトル検出部30の構成および動作内容については、後に詳述する。
補間画像作成部40は、フレームメモリ20を介さずに入力される画像フレームおよびフレームメモリ20に記憶されている画像フレームと、検出された動きベクトルV0とに基づいて補間フレームSFを作成し、作成された補間フレームSFをフレームメモリ20に記憶させる。この補間画像作成部40の動作についても、後に詳述する。制御部50は後述するブロックタイミング信号BTを動きベクトル検出部30に出力するなどして補間フレームの作成を制御する。
次に、動きベクトル検出部30の構成について、図2を参照して説明する。図2は、動きベクトル検出部30の一例としての構成を示すブロック図である。
動きベクトル検出部30は、図2に示すように、ブロック相関演算部32と、ベクトル選択部33とを有している。
ブロック相関演算部32は、入力画像信号S0と、フレームメモリ20から入力される1フレーム遅延信号S10とを入力する。そして、ブロック相関演算部32は、制御部50から供給されるブロックタイミング信号BTの示すタイミングにしたがい、入力画像信号S0と、1フレーム遅延信号S10とを構成する2つの画像フレームを対象としてブロックマッチングを行い、各ブロック間の相関を示す相関信号STを出力する。相関信号STは、ベクトル選択部33に出力される。
このブロック相関演算部32は、後述するマクロブロック接合を行って接合マクロブロックを形成するマクロブロック接合手段を有している。
ベクトル選択部33は、入力される相関信号STに基づいて、相関が最も高いブロック間の変位を示すベクトル値を検出し、その検出したベクトル値に基づいて、動きベクトルV0を出力する。
ここで、ブロック相関演算部32およびベクトル選択部33では、相関信号STとして、候補となる動き方向の各ブロック間のSAD(Sum of Absolute Difference:画素差分絶対値の総和)を用いている。また、ベクトル選択部33は、このSADの値が最小となるブロックが、相関が最も高いブロックと判断している。
(補間フレーム作成装置の動作内容)
(補間フレーム作成装置の動作内容)
次に、補間フレーム作成装置10の動作内容について説明する。補間フレーム作成装置10は、図4に示すフローチャートに沿って補間フレーム作成処理を行い、補間フレームを作成する。
補間フレーム作成装置10は、補間フレーム作成処理を開始すると、動きベクトル検出を行い(S1)、続くS2で補間フレーム作成を実行する。補間フレームが作成されると、制御部50が画像信号出力手段としての動作を行い、出力画像信号を表示パネル51に出力する。
動きベクトル検出では、動きベクトル検出部30が2つの画像フレームのブロックマッチングを行い動きベクトルを検出する。
この場合、ブロック相関演算部32において、図3に示すように、入力画像信号S0を構成する画像フレーム(前フレーム)100と、1フレーム遅延信号S10を構成する画像フレーム(後フレーム)200を対象として、ブロックマッチングが行われる。
このブロックマッチングでは、ブロックタイミング信号BTの示すタイミングにしたがい、時間的に前に位置する前フレーム100、時間的に後に位置する後フレーム200のそれぞれが複数のマクロブロックに分割される。
本実施の形態では、前フレーム100は図3に示すように、マクロブロック100a,100b、100cを含む複数のマクロブロックに分割され、後フレーム200はマクロブロック200a,200b、200cを含む複数の画像ブロックに分割される。
その後、前フレーム100と、後フレーム200とについて、それぞれの探索範囲104,204において各画像ブロックの相関(例えば、マクロブロック100aとマクロブロック200aの相関)が検出され、相関信号STが出力される。
そして、補間フレーム作成装置10では、ブロック相関演算部32が上記のようにブロックマッチングを行う場合において、ブロックマッチングの対象とされるマクロブロック中に繰り返し画像が含まれていることがある。
繰り返し画像は、例えば縞馬の縞模様や格子模様のように、酷似した画像が複数含まれる画像であり、表示パネル51に表示したときに酷似した画像が繰り返し表示される画像である。
このような繰り返し画像を含むマクロブロック同士の相関を求める場合、マクロブロック中に繰り返し画像の全体ではなく、繰り返し成分(酷似したひとつひとつの画像をいい、例えば、縞馬の縞模様を一部)しか含まれないことがある。
そうすると、例えば、前フレーム100のマクロブロック100aと、後フレーム200のマクロブロック200aとの相関を求めるときに、それぞれの繰り返し画像のどことどこを対比しているのがわからなくなる。
そのため、繰り返し画像が動いたのかどうかがわからなくなってしまい、正確な動きベクトルを検出することができなくなってしまう。
したがって、繰り返し画像を含むマクロブロック同士の相関を求めるときは、繰り返し画像の全体を含むマクロブロックを用いてブロックマッチングが行われる。この場合、例えば、図11に示すように、縦長矩形状の複数の棒状画像71と、両端の湾曲した複数の棒状画像72とが含まれる画像があった場合には、棒状画像71と、棒状画像72の全体を網羅できるようになるまで(Z0の範囲で)隣接するマクロブロックをまとめてひとつのマクロブロックを形成してブロックマッチングが行われる。
そして、マクロブロック中に繰り返し画像が含まれているか否かは、各マクロブロックにおいて、それぞれのSAD分布に複数の極小点が存在する否かで判定され、複数の極小点が存在する場合は、繰り返し画像と判定してひとつのマクロブロックが形成される。
そうすると、図11に示すように、棒状画像71の動き方向が右方向Ld、棒状画像72の動き方向が左方向Rdとして、それぞれの繰り返し画像の動き特性が異なる場合でも、双方の繰り返し画像をひとつにまとめてマクロブロックが形成されることとなる。
しかしながら、このようにしてマクロブロックが形成されると、ひとつのマクロブロック中に右方向Ldに動く成分(棒状画像71)と、左方向Rdに動く成分(棒状画像72)という動き特性の異なる繰り返し画像が混合してしまうため、正確に動きベクトルを求めることは出来なくなってしまう。
そこで、本実施の形態に係る補間フレーム作成装置10では、次のようにして接合マクロブロックを形成している。
ここで、図5は画像フレーム中における動き特性の異なる繰り返し画像を含む部分を接合マクロブロックとともに模式的に示した図である。
本実施の形態に係るブロック相関演算部32は、繰り返し画像を含む複数のマクロブロックM1、M2、M3、M4について、各マクロブロックに含まれる繰り返し画像の動き特性ごとに分けて接合するブロック接合を行って接合マクロブロックM10、M20を形成する。ここで、マクロブロックM1、M2は棒状画像71を含む画像であり、マクロブロックM3、M4は棒状画像72を含む画像である。
そして、ブロック相関演算部32は、繰り返し成分が現れる期間において、動き特性検出手段としての動作を行い、各繰り返し成分の動く方向や動く速度といった動き特性を後述するSAD分布から検出し、その検出結果に基づき、SAD分布が近似しているグループを同じ動き特性を持った繰り返し画像と判断して接合マクロブロックM10、M20を形成している。
図5の場合であれば、棒状画像71の動き特性は右方向Ld、棒状画像72の動き特性は左方向Rdなので、ブロック相関演算部32は、マクロブロックをまとめる範囲を範囲Z1、Z2に分け、それぞれの範囲でマクロブロックM1とM2、M3とM4を接合して接合マクロブロックM10、M20を形成する。
こうすることによって形成される接合マクロブロックM10、M20は、動き特性の同じ繰り返し画像だけが含まれ、動き特性の異なる繰り返し画像は含まれなくなる。そのため、動きベクトル検出部30において動きベクトルが見つかる確度が向上し、正確な動きベクトルを検出できるようになる。
また、図6は画像フレーム中における動き特性の異なる図5とは別の繰り返し画像を含む部分を模式的に示した図である。この図6は背景に縦格子が存在し、その手前を繰り返し画像をもつ物体(例えば縞馬)が横切っているようなシーンを想定している。
上述のとおり、ブロック相関演算部32は繰り返し画像の動き特性ごとに分けてマクロブロックを接合して接合マクロブロックを形成するため、マクロブロックをまとめる範囲を範囲Z1、Z2、Z3で分けてブロック接合を行う。そして、範囲Z1、Z2、Z3で、それぞれマクロブロックM1とM2、M3とM4、M5とM6を接合して接合マクロブロックM10,M20,M30を形成している。
ところで、ブロック相関演算部32は、繰り返し成分が現れる期間において、各繰り返し成分の動く方向や動く速度といった動き特性を後述するSAD分布から検出している。この点について、図7から図10を参照して説明する。
図7、図8は異なるマクロブロックのSAD分布を示す図で、図7はマクロブロックM1、図8はマクロブロックM2のSAD分布を示している。また、図9、図10は図7、図8とは動き特性の異なる繰り返し画像を含むマクロブロックのSAD分布を示す図で、図9はマクロブロックM5、図10はマクロブロックM3のSAD分布を示している。
ブロック相関演算部32は、各マクロブロックに含まれる繰り返し画像の動き特性を次のようにして検出している。
ブロック相関演算部32は、まず、分割手段としての動作を行い、図示のとおり、各SAD分布を等間隔uの複数の区間に分割する。そして、ブロック相関演算部32は、各区間におけるSADの極小値が存在する区間を割り出す。そして、SADの極小値が同じ区間に存在したときはSAD分布が近似し、繰り返し画像の動き成分が一致すると判断し、SADの極小値が同じ区間に存在しなければ繰り返し画像の動き成分が一致しないと判断する。
例えば、図7と図8に示すSAD分布はそれぞれの極小値の大きさ自体は異なるものの、同じ区間r0−r1、r2−r3、r4−r5、r7−r8に極小値が存在している。そのため、ブロック相関演算部32は、図7、図8のSAD分布を示すマクロブロックはそれぞれのSAD分布が近似し、繰り返し画像の動き成分が同じであると判断して、これらのマクロブロックを接合する。
これに対し、図9に示すSAD分布の場合、極小値は図7のSAD分布と一致するものの、極小値が存在する区間が異なる。すなわち、図9に示すSAD分布では、区間r1−r2、r3−r4、r5−r6、r8−r9に極小値が存在している。そのため、ブロック相関演算部32は、図9のSAD分布を示すマクロブロックは図7のマクロブロックとはSAD分布が異なり、繰り返し画像の動き特性が異なると判断して、図7とは別にしてマクロブロックを接合する。
図10については、極小値および極小値が存在する区間のいずれもが異なっているため、この場合も、図7のマクロブロックとはSAD分布が異なり、繰り返し画像の動き特性が異なると判断して、図7とは別にしてマクロブロックを接合する。
以上のように、ブロック相関演算部32は、マクロブロックについてSAD分布から繰り返し画像の動き特性を検出しているが、これは、繰り返し画像を構成する繰り返し成分の規則性がSAD分布に現れることに起因している。
複数のマクロブロックのSAD分布を比較した場合、マクロブロックM1、マクロブロックM2のように同じような繰り返し画像を含むマクロブロックのSAD分布は処理の際におけるノイズ等の影響で極小値の大きさ自体は異なることがあるものの、繰り返し成分の大きさや、出現する間隔が極小値の出現に反映されるため、極小値の出現する間隔、回数といった極小値の出現特性は一致している。
そのため、ブロック相関演算部32は、上述のようにSAD分布を等しい複数の区間に分割して、各区間の中から、極小値の存在する区間を割り出し、その区間が一致するかどうかを判定して、その判定結果に基づいて、接合マクロブロックを形成している。
この場合、ブロック相関演算部32が上述のようなSAD分布における極小値分布の同一性を判定するにあたっては、全一致のみならず、80%一致、60%一致といった冗長度を持たせるようにしてもよい。
以上のようにして接合マクロブロックを形成し、接合マクロブロックを用いて動きベクトルを検出することによって、別の方向に動く連続した繰り返し画像についても確度の高い動きベクトル探索が可能となる。
そして、以上のようにしてブロック相関演算部32から相関信号STが出力されると、ベクトル選択部33がその相関信号STに基づいて、各ブロック間における最も相関の高いブロック間の変位を示すベクトル値を検出して動きベクトルV0を出力する。
続いて、補間画像作成部40が動きベクトル検出部30から出力される動きベクトルV0に基づいて、フレームメモリ20を介さずに入力される前フレーム(参照フレーム)100と、フレームメモリ20に記憶されている後フレーム(基準フレーム、検出対象フレーム)200との間に補間される補間フレーム150を次のようにして作成する。
補間画像作成部40は、前フレーム100の各画素ブロックと、後フレーム200の各画素ブロックとの時間的距離を割り出し、その割り出した時間的距離のうちの後フレーム200から補間フレーム150までの時間的距離の割合で動きベクトルV0を縮小する。
そして、補間画像作成部40は、その縮小された動きベクトルV0に基づいて、後フレーム200の対応する画素ブロックを変位させて補間フレーム150を構成するブロックを生成する。補間画像作成部40は、この手順を前フレーム100の各画素ブロックと、後フレーム200の各画素ブロックについて繰り返し、補間フレーム150を作成する。
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
10…補間フレーム作成装置、20…フレームメモリ、30…動きベクトル検出部、40…補間画像作成部、32…ブロック相関演算部、33…ベクトル選択部、71,72,73…棒状画像、100…前フレーム、150…補間フレーム、200…後フレーム、M1、M2、M3、M4、M5、M6、M10、M20、M30…マクロブロック
Claims (9)
- 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出装置であって、
前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する動きベクトル検出装置。 - 更に前記各マクロブロックに含まれる前記繰り返し画像の動き特性を検出する動き特性検出手段を有し、
前記マクロブロック接合手段は、前記動き特性検出手段の検出結果に基づいて、前記接合マクロブロックを形成する請求項1記載の動きベクトル検出装置。 - 前記動き特性検出手段は、前記繰り返し画像のSAD分布から前記動き特性を検出する請求項2記載の動きベクトル検出装置。
- 更に前記各マクロブロックに含まれる前記繰り返し画像のSAD分布から前記動き特性を検出する動き特性検出手段と、
該動き特性検出手段が検出した前記SAD分布を等間隔の複数の区間に分割する分割手段とを有し、
前記マクロブロック接合手段は、前記分割手段によって分割された各区間のうちの前記SAD分布における極小点が存在する極小点区間が異なるときに前記接合マクロブロックを形成する請求項1記載の動きベクトル検出装置。 - 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出方法であって、
前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成し、該接合マクロブロックを用いて前記動きベクトルを検出する動きベクトル検出方法。 - 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた補間フレーム作成装置であって、
前記動きベクトル検出手段は、前記ブロックマッチングの対象とされるマクロブロックのうちの繰り返し画像を含む複数のマクロブロックについて、各マクロブロックに含まれる前記繰り返し画像の動き特性ごとに分けて接合した接合マクロブロックを形成するマクロブロック接合手段を有する補間フレーム作成装置。 - 前記各画像フレームのうち、前記動きベクトル検出手段による前記動きベクトルの検出対象とされる前記画像フレームを検出対象フレーム、前記動きベクトルを検出する際に参照される前記画像フレームを参照フレームとしたときに、前記補間フレーム作成手段は、前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記検出対象フレームを変位させて前記補間フレームを作成することを特徴とする請求項6記載の補間フレーム作成装置。
- 更に前記検出対象フレームが記憶されるフレームメモリを有し、
前記動きベクトル検出手段は、前記フレームメモリに記憶されている前記検出対象フレームおよび前記参照フレームを複数のマクロブロックに分割し、該分割された前記各マクロブロックについて前記ブロックマッチングを行い、前記動きベクトルを検出することを特徴とする請求項6または7記載の補間フレーム作成装置。 - 更に前記補間フレームを含む出力画像信号を表示パネルに出力する画像信号出力手段を有する請求項6〜8のいずれか一項記載の補間フレーム作成装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007143990A JP2008301101A (ja) | 2007-05-30 | 2007-05-30 | 動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置 |
US12/128,902 US20080298695A1 (en) | 2007-05-30 | 2008-05-29 | Motion vector detecting apparatus, motion vector detecting method and interpolation frame creating apparatus |
CNA2008101110361A CN101316365A (zh) | 2007-05-30 | 2008-05-29 | 运动矢量检测设备、运动矢量检测方法及内插帧创建设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007143990A JP2008301101A (ja) | 2007-05-30 | 2007-05-30 | 動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008301101A true JP2008301101A (ja) | 2008-12-11 |
Family
ID=40088277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007143990A Pending JP2008301101A (ja) | 2007-05-30 | 2007-05-30 | 動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20080298695A1 (ja) |
JP (1) | JP2008301101A (ja) |
CN (1) | CN101316365A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011223393A (ja) * | 2010-04-12 | 2011-11-04 | Canon Inc | 符号化装置及び符号化装置の制御方法 |
JP2013037083A (ja) * | 2011-08-04 | 2013-02-21 | Canon Inc | 画像表示装置、画像表示方法 |
JP2013165483A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびコンピュータブログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8780990B2 (en) * | 2008-12-16 | 2014-07-15 | Panasonic Intellectual Property Corporation Of America | Imaging device for motion vector estimation using images captured at a high frame rate with blur detection and method and integrated circuit performing the same |
CN103428465B (zh) * | 2012-07-16 | 2017-02-15 | 上海数字电视国家工程研究中心有限公司 | 用于帧率变换的象元缓存访问方法 |
CN107426577B (zh) * | 2017-03-08 | 2020-05-29 | 青岛信芯微电子科技股份有限公司 | 运动估计运动补偿算法中重复性结构的检测方法及系统 |
CN111641829B (zh) * | 2020-05-16 | 2022-07-22 | Oppo广东移动通信有限公司 | 视频处理方法及装置、系统、存储介质和电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5684538A (en) * | 1994-08-18 | 1997-11-04 | Hitachi, Ltd. | System and method for performing video coding/decoding using motion compensation |
JP3994445B2 (ja) * | 1995-12-05 | 2007-10-17 | ソニー株式会社 | 動きベクトル検出装置及び動きベクトル検出方法 |
US6229570B1 (en) * | 1998-09-25 | 2001-05-08 | Lucent Technologies Inc. | Motion compensation image interpolation—frame rate conversion for HDTV |
KR100453222B1 (ko) * | 2001-12-17 | 2004-10-15 | 한국전자통신연구원 | 카메라 움직임 판별 장치 및 방법 |
EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
JP3968712B2 (ja) * | 2003-04-28 | 2007-08-29 | ソニー株式会社 | 動き予測補償装置及びその方法 |
TWI304303B (en) * | 2006-01-04 | 2008-12-11 | Sunplus Technology Co Ltd | Apparatus for image encoding and the method thereof |
-
2007
- 2007-05-30 JP JP2007143990A patent/JP2008301101A/ja active Pending
-
2008
- 2008-05-29 US US12/128,902 patent/US20080298695A1/en not_active Abandoned
- 2008-05-29 CN CNA2008101110361A patent/CN101316365A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011223393A (ja) * | 2010-04-12 | 2011-11-04 | Canon Inc | 符号化装置及び符号化装置の制御方法 |
JP2013037083A (ja) * | 2011-08-04 | 2013-02-21 | Canon Inc | 画像表示装置、画像表示方法 |
US9159287B2 (en) | 2011-08-04 | 2015-10-13 | Canon Kabushiki Kaisha | Image display apparatus and image display method |
JP2013165483A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびコンピュータブログラム |
Also Published As
Publication number | Publication date |
---|---|
CN101316365A (zh) | 2008-12-03 |
US20080298695A1 (en) | 2008-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008301101A (ja) | 動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置 | |
JP4991890B2 (ja) | 補間フレーム生成装置及び方法 | |
JP2005204066A (ja) | 補間画像生成方法および装置 | |
JP4869049B2 (ja) | 補間フレーム画像作成方法および補間フレーム画像作成装置 | |
US8284306B2 (en) | Method and unit to process an image signal involving frame rate conversion to improve image quality | |
US20120093231A1 (en) | Image processing apparatus and image processing method | |
JP2008035404A (ja) | 補間フレーム作成方法及び補間フレーム作成装置 | |
JP2008141394A (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
JP2008011197A (ja) | 動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置 | |
KR20070063369A (ko) | 움직임 추정 기반 프레임 보간을 위한 장치 및 방법 | |
KR100732683B1 (ko) | 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법 | |
JP2006109488A (ja) | フィールド選択が可能な映像処理装置及びその方法 | |
JP2008011476A (ja) | フレーム補間装置及びフレーム補間方法 | |
JP6904192B2 (ja) | 補間フレーム生成装置 | |
JP2009239698A (ja) | 映像変換装置及び映像変換方法 | |
JP5025580B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
JP2005333254A (ja) | 画像処理装置および画像処理方法 | |
JP2006174123A (ja) | 順次走査変換装置 | |
JP5077037B2 (ja) | 画像処理装置 | |
JP4956239B2 (ja) | フレームレート変換装置および映像表示装置 | |
JP4354799B2 (ja) | 補間画像生成方法および装置 | |
JP2010098513A (ja) | 補間画像生成装置及び補間画像生成方法 | |
JP2008236402A (ja) | 補間画像生成装置及び補間画像生成方法 | |
JP2008118340A (ja) | 動きベクトル検出装置及びビデオ信号処理装置 | |
US8456570B2 (en) | Motion detection in an interlaced field sequence |