JP2008078818A - 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム - Google Patents
補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム Download PDFInfo
- Publication number
- JP2008078818A JP2008078818A JP2006253478A JP2006253478A JP2008078818A JP 2008078818 A JP2008078818 A JP 2008078818A JP 2006253478 A JP2006253478 A JP 2006253478A JP 2006253478 A JP2006253478 A JP 2006253478A JP 2008078818 A JP2008078818 A JP 2008078818A
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- blocks
- interpolation
- correlation calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 327
- 238000000034 method Methods 0.000 title claims description 29
- 238000001514 detection method Methods 0.000 title claims description 23
- 238000004364 calculation method Methods 0.000 claims description 281
- 238000000605 extraction Methods 0.000 claims description 67
- 239000000284 extract Substances 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
Abstract
【解決手段】第1参照フレーム中の第1ブロックに対する第1動きベクトルを算出する第1動きベクトル算出部104と、第1動きベクトルに基づいて、第2参照フレーム中の領域である第2ブロックを抽出する第2ブロック抽出部108と、第1ブロックと第2ブロックとの間の相関演算を行う第1相関演算部110と、第2参照フレーム上で、第2ブロックを所定の画素数の距離をシフトさせたところの第3ブロックを抽出する第3ブロック抽出部120と、第1ブロックと第3ブロックとの間の相関演算を行う第2相関演算手段122と、最も相関の高いブロック対に基づいて、補間ブロックの動きベクトルを算出する第3動きベクトル算出手段とを備えた。
【選択図】 図1
Description
図1は、実施の形態1にかかる補間フレーム作成装置10の機能構成を示すブロック図である。補間フレーム作成装置10は、外部から入力される動画像中に含まれる第1参照フレームと第2参照フレームの間を補間する補間フレームを作成する。ここで、第1参照フレームと第2参照フレームは、補間フレームを作成する際に参照すべきフレームである。例えば、時間的に連続した2つのフレームを第1参照フレームおよび第2参照フレームとして取得する。
MV2={−(n−k)/k}MV1 …(式1)
第2ブロック410は、第2動きベクトルMV2により特定される。
図15は、実施の形態2にかかる補間フレーム作成装置12の機能構成を示すブロック図である。実施の形態2にかかる補間フレーム作成装置12においては、第1ブロックと第2ブロックの間の相関演算結果に基づいて、最も相関の高いブロック対を選択し、選択されたブロック対に対して第3ブロックを算出する。
図17は、実施の形態3にかかる動きベクトル検出装置20の機能構成を示すブロック図である。動きベクトル検出装置20は、補間フレーム分割部100と、第1ブロック抽出部102と、第1動きベクトル算出部104と、第2動きベクトル算出部106と、第2ブロック抽出部108と、第1相関演算部110と、第3ブロック抽出部120と、第2相関演算部122と、ブロック対選択部130と、動きベクトル決定部140とを備えている。すなわち、実施の形態3にかかる動きベクトル検出装置20は、動きベクトルを決定し、出力する。
図18は、実施の形態4にかかる動きベクトル検出装置22の機能構成を示すブロック図である。動きベクトル検出装置22は、補間フレーム分割部100と、第1ブロック抽出部102と、第1動きベクトル算出部104と、第2動きベクトル算出部106と、第2ブロック抽出部108と、第1相関演算部110と、第3ブロック抽出部150と、第2相関演算部152と、第1ブロック対選択部154と、第2ブロック対選択部156と、動きベクトル決定部15840とを備えている。すなわち、実施の形態4にかかる動きベクトル検出装置22は、動きベクトルを決定し、出力する。
20,22 動きベクトル検出装置
51 CPU
52 ROM
53 RAM
57 通信I/F
62 バス
100 補間フレーム分割部
102 第1ブロック抽出部
104 第1動きベクトル算出部
106 第2動きベクトル算出部
108 第2ブロック抽出部
110 第1相関演算部
120,150 第3ブロック抽出部
122,152 第2相関演算部
130 ブロック対選択部
140,158 動きベクトル決定部
142 動き補償部
154 第1ブロック対選択部
156 第2ブロック対選択部
200 第1参照フレーム
210 第1ブロック
300 補間フレーム
310 補間ブロック
400 第2参照フレーム
410 第2ブロック
430 第3ブロック
Claims (18)
- フレーム間距離がnである第1参照フレームと第2参照フレームの間の補間フレームであって、前記第1参照フレームからの距離がk(k≦n/2)である補間フレームを複数の補間ブロックに分割する分割手段と、
前記各補間ブロックに関して、前記第1参照フレームから第1ブロックを抽出する第1ブロック抽出手段と、
前記各補間ブロックに関して、前記各補間ブロックと前記第1ブロックを結ぶ第1動きベクトルを算出する第1動きベクトル算出手段と、
前記第1動きベクトルを[−(n−k)/k]倍した第2動きベクトルを算出する第2動きベクトル算出手段と、
前記各補間ブロックに関して、前記第2動きベクトルにより定まる前記第2参照フレーム中の領域である第2ブロックを抽出する第2ブロック抽出手段と、
前記第1ブロックと前記第2ブロックとの間の相関演算を行う第1相関演算手段と、
前記第2ブロックについて、前記第2参照フレーム上で前記第2ブロックの位置から所定の画素数の距離をシフトさせたところの第3ブロックを抽出する第3ブロック抽出手段と、
前記第1ブロックと、当該第1ブロックに対応する第2ブロックに関して抽出された前記第3ブロックとの間の相関演算を行う第2相関演算手段と、
前記各補間ブロックに関して、前記第1相関演算手段による演算結果および前記第2相関演算手段による演算結果を用いて、第1ブロックと第2ブロックとのブロック対および第1ブロックと第3ブロックとのブロック対の中から、最も相関の高いブロック対を選択する第1ブロック対選択手段と、
前記第1ブロック対選択手段により選択されたブロック対に基づいて、前記補間ブロックの動きベクトルを算出する第3動きベクトル算出手段と、
前記第3動きベクトル算出手段により算出された前記動きベクトルに基づいて、動き補償を行う動き補償手段と
を備えたことを特徴とする補間フレーム作成装置。 - 前記第3ブロック抽出手段は、前記第2ブロックからの距離が(n−k)/k以下である領域から前記第3ブロックを抽出することを特徴とする請求項1に記載の補間フレーム作成装置。
- 前記第1ブロック抽出手段は、前記第1参照フレーム上の探索範囲内にあるすべての前記第1ブロックを抽出し、
前記第1相関演算手段は、抽出されたすべての前記第1ブロックと前記各第1ブロックに対応する前記第2ブロックとの間の相関演算を行い、
前記第3ブロック抽出手段は、前記各第1ブロックに対して定まるすべての前記第3ブロックを抽出し、
前記第2相関演算手段は、すべての前記第1ブロックと、前記各第1ブロックに対応する前記第2ブロックについて抽出された前記第3ブロックとの間の相関演算を行い、
前記第1ブロック対選択手段は、前記第1演算手段によるすべての相関演算の結果および前記第2相関演算手段によるすべての相関演算の結果を用いて、最も相関の高いブロック対を選択することを特徴とする請求項1または2に記載の補間フレーム作成装置。 - 前記第1ブロック抽出手段は、前記第1参照フレーム上の探索範囲内にあるすべての前記第1ブロックを抽出し、
前記第1相関演算手段は、抽出されたすべての前記第1ブロックと、前記各第1ブロックに対応する前記第2ブロックとの間の相関演算を行い、
前記第1相関演算手段による演算結果の中から、最も相関の高い前記第1ブロックと前記第2ブロックの前記ブロック対を選択する第2ブロック対選択手段をさらに備え、
前記第3ブロック抽出手段は、前記第2ブロック対選択手段により選択された前記第1ブロックに対して定まる前記第3ブロックを抽出し、
前記第2相関演算手段は、前記第2ブロック対選択手段により選択された前記ブロック対に含まれる前記第1ブロックと、前記第3ブロック抽出手段により抽出された前記第3ブロックとの間の相関演算を行い、
前記第1ブロック対選択手段は、前記第2ブロック対選択手段により選択されたブロック対と、前記第2相関演算手段による演算結果の中から、最も相関の高いブロック対を選択することを特徴とする請求項1または2に記載の補間フレーム作成装置。 - 前記動き補償手段は、前記ブロック対選択手段が前記第1ブロックと前記第3ブロックのブロック対を選択した場合に、前記第3動きベクトル算出手段により算出された前記動きベクトルを用いて、前記第1参照フレームおよび前記第2参照フレームのうちの少なくとも一方を参照して前記動き補償を行うことを特徴とする請求項1から4のいずれか一項に記載の補間フレーム作成装置。
- 前記動き補償手段は、前記ブロック対選択手段が前記第1ブロックと前記第3ブロックのブロック対を選択した場合に、前記第1ブロックと、前記第3動きベクトル算出手段により算出された前記動きベクトルにより定まる前記第2参照フレーム上の領域とを参照して、前記動き補償を行うことを特徴とする請求項1から4のいずれか一項に記載の補間フレーム作成装置。
- 前記動き補償手段は、前記ブロック対選択手段が前記第1ブロックと前記第3ブロックのブロック対を選択した場合に、前記第1ブロック中の画素と前記第3ブロック中の画素とを参照して、前記動き補償を行うことを特徴とする請求項1から4のいずれか一項に記載の補間フレーム作成装置。
- フレーム間距離がnである第1参照フレームと第2参照フレームの間のフレームであって、前記第1参照フレームからの距離がk(k≦n/2)である基準フレームを複数の基準ブロックに分割する分割手段と、
前記第1参照フレームから前記基準ブロックに対応する第1ブロックを抽出する第1ブロック抽出手段と、
前記基準ブロックと前記第1ブロックを結ぶ第1動きベクトルを算出する第1動きベクトル算出手段と、
前記第1動きベクトルを[−(n−k)/k]倍した第2動きベクトルを算出する第2動きベクトル算出手段と、
前記第2動きベクトルにより定まる前記第2参照フレーム中の領域である第2ブロックを抽出する第2ブロック抽出手段と、
前記第1ブロックと前記第2ブロックの間の相関演算を行う第1相関演算手段と、
前記第2参照フレームにおいて、前記第2ブロックを所定の距離だけ画素単位でシフトさせた第3ブロックを抽出する第3ブロック抽出手段と、
前記第1ブロックと前記第3ブロックとの間の相関演算を行う第2相関演算手段と、
前記第1相関演算手段による演算結果と、前記第2相関演算手段による演算結果の中から、最も相関の高いブロック対を選択する第1ブロック対選択手段と、
前記ブロック対選択手段により選択されたブロック対に基づいて、当該ブロック対に対する動きベクトルを算出する第3動きベクトル算出手段と
を備えたことを特徴とする動きベクトル検出装置。 - 分割手段が、フレーム間距離がnである第1参照フレームと第2参照フレームの間の補間フレームであって、前記第1参照フレームからの距離がk(k≦n/2)である補間フレームを複数の補間ブロックに分割する分割ステップと、
第1ブロック抽出手段が、前記各補間ブロックに関して、前記第1参照フレームから第1ブロックを抽出する第1ブロック抽出ステップと、
第1動きベクトル算出手段が、前記各補間ブロックに関して、前記各補間ブロックと前記第1ブロックを結ぶ第1動きベクトルを算出する第1動きベクトル算出ステップと、
第2動きベクトル算出手段が、前記第1動きベクトルを[−(n−k)/k]倍した第2動きベクトルを算出する第2動きベクトル算出ステップと、
第2ブロック抽出手段が、前記各補間ブロックに関して、前記第2動きベクトルにより定まる前記第2参照フレーム中の領域である第2ブロックを抽出する第2ブロック抽出ステップと、
第1相関演算手段が、前記第1ブロックと前記第2ブロックとの間の相関演算を行う第1相関演算ステップと、
第3ブロック抽出手段が、前記第2ブロックについて、前記第2参照フレーム上で前記第2ブロックの位置から所定の画素数の距離をシフトさせたところの第3ブロックを抽出する第3ブロック抽出ステップと、
第2相関演算手段が、前記第1ブロックと、当該第1ブロックに対応する第2ブロックに関して抽出された前記第3ブロックとの間の相関演算を行う第2相関演算ステップと、
第1ブロック対選択手段が、前記各補間ブロックに関して、前記第1相関演算手段による演算結果および前記第2相関演算手段による演算結果を用いて、第1ブロックと第2ブロックとのブロック対および第1ブロックと第3ブロックとのブロック対の中から、最も相関の高いブロック対を選択する第1ブロック対選択ステップと、
第3動きベクトル算出手段が、前記第1ブロック対選択手段により選択されたブロック対に基づいて、前記補間ブロックの動きベクトルを算出する第3動きベクトル算出ステップと、
動き補償手段が、前記第3動きベクトル算出手段により決定された前記動きベクトルに基づいて、動き補償を行う動き補償ステップと
を有することを特徴とする補間フレーム作成方法。 - 前記第3ブロック抽出ステップにおいては、前記第2ブロックからの距離が(n−k)/k以下である領域から前記第3ブロックを抽出することを特徴とする請求項9に記載の補間フレーム作成方法。
- 前記第1ブロック抽出ステップにおいては、前記第1参照フレーム上の探索範囲内にあるすべての前記第1ブロックを抽出し、
前記第1相関演算ステップにおいては、抽出されたすべての前記第1ブロックと前記各第1ブロックに対応する前記第2ブロックとの間の相関演算を行い、
前記第3ブロック抽出ステップにおいては、前記各第1ブロックに対して定まるすべての前記第3ブロックを抽出し、
前記第2相関演算ステップにおいては、すべての前記第1ブロックと、前記各第1ブロックに対応する前記第2ブロックについて抽出された前記第3ブロックとの間の相関演算を行い、
前記第1ブロック対選択ステップにおいては、前記第1演算手段によるすべての相関演算の結果および前記第2相関演算手段によるすべての相関演算の結果を用いて、最も相関の高いブロック対を選択することを特徴とする請求項9または10に記載の補間フレーム作成方法。 - 前記第1ブロック抽出ステップにおいては、前記第1参照フレーム上の探索範囲内にあるすべての前記第1ブロックを抽出し、
前記第1相関演算ステップにおいては、抽出されたすべての前記第1ブロックと、前記各第1ブロックに対応する前記第2ブロックとの間の相関演算を行い、
第2ブロック対選択手段が、前記第1相関演算ステップにおける演算結果の中から、最も相関の高い前記第1ブロックと前記第2ブロックの前記ブロック対を選択する第2ブロック対選択ステップをさらに有し、
前記第3ブロック抽出ステップにおいては、前記第2ブロック対選択ステップにおいて選択された前記第1ブロックに対して定まる前記第3ブロックを抽出し、
前記第2相関演算ステップにおいては、前記第2ブロック対選択ステップにおいて選択された前記ブロック対に含まれる前記第1ブロックと、前記第3ブロック抽出手段により抽出された前記第3ブロックとの間の相関演算を行い、
前記第1ブロック対選択ステップにおいては、前記第2ブロック対選択ステップにおいて選択されたブロック対と、前記第2相関演算ステップにおける演算結果の中から、最も相関の高いブロック対を選択することを特徴とする請求項9または10に記載の補間フレーム作成方法。 - 分割手段が、フレーム間距離がnである第1参照フレームと第2参照フレームの間の補間フレームであって、前記第1参照フレームからの距離がk(k≦n/2)である補間フレームを複数の補間ブロックに分割する分割ステップと、
第1ブロック抽出手段が、前記各補間ブロックに関して、前記第1参照フレームから第1ブロックを抽出する第1ブロック抽出ステップと、
第1動きベクトル算出手段が、前記各補間ブロックに関して、前記各補間ブロックと前記第1ブロックを結ぶ第1動きベクトルを算出する第1動きベクトル算出ステップと、
第2動きベクトル算出手段が、前記第1動きベクトルを[−(n−k)/k]倍した第2動きベクトルを算出する第2動きベクトル算出ステップと、
第2ブロック抽出手段が、前記各補間ブロックに関して、前記第2動きベクトルにより定まる前記第2参照フレーム中の領域である第2ブロックを抽出する第2ブロック抽出ステップと、
第1相関演算手段が、前記第1ブロックと前記第2ブロックとの間の相関演算を行う第1相関演算ステップと、
第3ブロック抽出手段が、前記第2ブロックについて、前記第2参照フレーム上で前記第2ブロックの位置から所定の画素数の距離をシフトさせたところの第3ブロックを抽出する第3ブロック抽出ステップと、
第2相関演算手段が、前記第1ブロックと、当該第1ブロックに対応する第2ブロックに関して抽出された前記第3ブロックとの間の相関演算を行う第2相関演算ステップと、
第1ブロック対選択手段が、前記各補間ブロックに関して、前記第1相関演算手段による演算結果および前記第2相関演算手段による演算結果を用いて、第1ブロックと第2ブロックとのブロック対および第1ブロックと第3ブロックとのブロック対の中から、最も相関の高いブロック対を選択する第1ブロック対選択ステップと、
第3動きベクトル算出手段が、前記第1ブロック対選択手段により選択されたブロック対に基づいて、前記補間ブロックの動きベクトルを算出する第3動きベクトル算出ステップと
を有することを特徴とする動きベクトル検出方法。 - 補間フレーム作成処理をコンピュータに実行させる補間フレーム作成プログラムであって、
フレーム間距離がnである第1参照フレームと第2参照フレームの間の補間フレームであって、前記第1参照フレームからの距離がk(k≦n/2)である補間フレームを複数の補間ブロックに分割する分割ステップと、
前記各補間ブロックに関して、前記第1参照フレームから第1ブロックを抽出する第1ブロック抽出ステップと、
前記各補間ブロックに関して、前記各補間ブロックと前記第1ブロックを結ぶ第1動きベクトルを算出する第1動きベクトル算出ステップと、
前記第1動きベクトルを[−(n−k)/k]倍した第2動きベクトルを算出する第2動きベクトル算出ステップと、
前記各補間ブロックに関して、前記第2動きベクトルにより定まる前記第2参照フレーム中の領域である第2ブロックを抽出する第2ブロック抽出ステップと、
前記第1ブロックと前記第2ブロックとの間の相関演算を行う第1相関演算ステップと、
前記第2ブロックについて、前記第2参照フレーム上で前記第2ブロックの位置から所定の画素数の距離をシフトさせたところの第3ブロックを抽出する第3ブロック抽出ステップと、
前記第1ブロックと、当該第1ブロックに対応する第2ブロックに関して抽出された前記第3ブロックとの間の相関演算を行う第2相関演算ステップと、
前記各補間ブロックに関して、前記第1相関演算ステップにおける演算結果および前記第2相関演算ステップにおける演算結果を用いて、第1ブロックと第2ブロックとのブロック対および第1ブロックと第3ブロックとのブロック対の中から、最も相関の高いブロック対を選択する第1ブロック対選択ステップと、
前記第1ブロック対選択ステップにおいて選択されたブロック対に基づいて、前記補間ブロックの動きベクトルを算出する第3動きベクトル算出ステップと、
前記第3動きベクトル算出ステップにより算出された前記動きベクトルに基づいて、動き補償を行う動き補償ステップと
を有することを特徴とする補間フレーム作成プログラム。 - 前記第3ブロック抽出ステップにおいては、前記第2ブロックからの距離が(n−k)/k以下である領域から第3ブロックを抽出することを特徴とする請求項14に記載の補間フレーム作成プログラム。
- 前記第1ブロック抽出ステップにおいては、前記第1参照フレーム上の探索範囲内にあるすべての前記第1ブロックを抽出し、
前記第1相関演算ステップにおいては、抽出されたすべての前記第1ブロックと前記各第1ブロックに対応する前記第2ブロックとの間の相関演算を行い、
前記第3ブロック抽出ステップにおいては、前記各第1ブロックに対して定まるすべての前記第3ブロックを抽出し、
前記第2相関演算ステップにおいては、すべての前記第1ブロックと、前記各第1ブロックに対応する前記第2ブロックについて抽出された前記第3ブロックとの間の相関演算を行い、
前記第1ブロック対選択ステップにおいては、前記第1演算ステップにおけるすべての相関演算の結果および前記第2相関演算ステップにおけるすべての相関演算の結果を用いて、最も相関の高いブロック対を選択することを特徴とする請求項15または16に記載の補間フレーム作成プログラム。 - 前記第1ブロック抽出ステップにおいては、前記第1参照フレーム上の探索範囲内にあるすべての前記第1ブロックを抽出し、
前記第1相関演算ステップにおいては、抽出されたすべての前記第1ブロックと、前記各第1ブロックに対応する前記第2ブロックとの間の相関演算を行い、
前記第1相関演算ステップにおける演算結果の中から、最も相関の高い前記第1ブロックと前記第2ブロックの前記ブロック対を選択する第2ブロック対選択ステップをさらに有し、
前記第3ブロック抽出ステップにおいては、前記ブロック対選択手段により選択された前記第1ブロックに対して定まる前記第3ブロックを抽出し、
前記第2相関演算ステップにおいては、前記ブロック対選択手段により選択された前記ブロック対に含まれる前記第1ブロックと、前記第3ブロック抽出手段により抽出された前記第3ブロックとの間の相関演算を行い、
前記第1ブロック対選択ステップにおいては、前記第2ブロック対選択手段により選択されたブロック対と、前記第2相関演算手段による演算結果の中から、最も相関の高いブロック対を選択することを特徴とする請求項14または15に記載の補間フレーム作成プログラム。 - 動きベクトル検出処理をコンピュータに実行させる動きベクトル検出プログラムであって、
フレーム間距離がnである第1参照フレームと第2参照フレームの間の補間フレームであって、前記第1参照フレームからの距離がk(k≦n/2)である補間フレームを複数の補間ブロックに分割する分割ステップと、
前記各補間ブロックに関して、前記第1参照フレームから第1ブロックを抽出する第1ブロック抽出ステップと、
前記各補間ブロックに関して、前記各補間ブロックと前記第1ブロックを結ぶ第1動きベクトルを算出する第1動きベクトル算出ステップと、
前記第1動きベクトルを[−(n−k)/k]倍した第2動きベクトルを算出する第2動きベクトル算出ステップと、
前記各補間ブロックに関して、前記第2動きベクトルにより定まる前記第2参照フレーム中の領域である第2ブロックを抽出する第2ブロック抽出ステップと、
前記第1ブロックと前記第2ブロックとの間の相関演算を行う第1相関演算ステップと、
前記第2ブロックについて、前記第2参照フレーム上で前記第2ブロックの位置から所定の画素数の距離をシフトさせたところの第3ブロックを抽出する第3ブロック抽出ステップと、
前記第1ブロックと、当該第1ブロックに対応する第2ブロックに関して抽出された前記第3ブロックとの間の相関演算を行う第2相関演算ステップと、
前記各補間ブロックに関して、前記第1相関演算ステップにおける演算結果および前記第2相関演算ステップにおける演算結果を用いて、第1ブロックと第2ブロックとのブロック対および第1ブロックと第3ブロックとのブロック対の中から、最も相関の高いブロック対を選択する第1ブロック対選択ステップと、
前記第1ブロック対選択ステップにおいて選択されたブロック対に基づいて、前記補間ブロックの動きベクトルを算出する第3動きベクトル算出ステップと
を有することを特徴とする動きベクトル検出プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006253478A JP4322904B2 (ja) | 2006-09-19 | 2006-09-19 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
EP20070005373 EP1903798A2 (en) | 2006-09-19 | 2007-03-15 | Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame |
US11/687,080 US8189104B2 (en) | 2006-09-19 | 2007-03-16 | Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame |
CNA2007101472654A CN101150725A (zh) | 2006-09-19 | 2007-08-31 | 检测运动矢量和产生内插帧的装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006253478A JP4322904B2 (ja) | 2006-09-19 | 2006-09-19 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008078818A true JP2008078818A (ja) | 2008-04-03 |
JP4322904B2 JP4322904B2 (ja) | 2009-09-02 |
Family
ID=38828640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006253478A Active JP4322904B2 (ja) | 2006-09-19 | 2006-09-19 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8189104B2 (ja) |
EP (1) | EP1903798A2 (ja) |
JP (1) | JP4322904B2 (ja) |
CN (1) | CN101150725A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011182181A (ja) * | 2010-03-01 | 2011-09-15 | Nanao Corp | ブロック別動きベクトル演算装置またはその方法 |
US8817869B2 (en) | 2010-10-18 | 2014-08-26 | Mitsubishi Electric Corporation | Image processing device and method, and image display device and method |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6765964B1 (en) | 2000-12-06 | 2004-07-20 | Realnetworks, Inc. | System and method for intracoding video data |
US8374240B1 (en) | 2008-07-10 | 2013-02-12 | Marvell International Ltd. | Image frame management |
ATE554602T1 (de) | 2008-08-21 | 2012-05-15 | Vestel Elekt Sanayi Ve Ticaret | Verfahren und vorrichtung zur steigerung der bildrate eines videosignals |
CN102160381A (zh) * | 2008-09-24 | 2011-08-17 | 索尼公司 | 图像处理设备和方法 |
US8289444B2 (en) * | 2009-05-06 | 2012-10-16 | Samsung Electronics Co., Ltd. | System and method for reducing visible halo in digital video with covering and uncovering detection |
US8462852B2 (en) | 2009-10-20 | 2013-06-11 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
CN102986224B (zh) | 2010-12-21 | 2017-05-24 | 英特尔公司 | 用于增强的解码器侧运动向量导出处理的系统及方法 |
CN102595022A (zh) * | 2011-01-10 | 2012-07-18 | 联咏科技股份有限公司 | 多媒体装置及其移动补偿方法 |
JP2013098961A (ja) * | 2011-11-07 | 2013-05-20 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びに画像表示装置及び方法 |
WO2018185881A1 (ja) * | 2017-04-05 | 2018-10-11 | オリンパス株式会社 | 相関値演算装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0236519B1 (en) * | 1986-03-08 | 1989-06-07 | ANT Nachrichtentechnik GmbH | Motion compensating field interpolation method using a hierarchically structured displacement estimator |
GB2272816B (en) | 1992-11-17 | 1996-07-24 | Sony Broadcast & Communication | Video signal processing |
DE60024389T2 (de) | 1999-04-26 | 2006-08-03 | Koninklijke Philips Electronics N.V. | Subpixelgenaue bewegungsvektorschätzung und bewegungskompensierte interpolation |
KR100396558B1 (ko) | 2001-10-25 | 2003-09-02 | 삼성전자주식회사 | 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 |
KR100457517B1 (ko) * | 2002-02-19 | 2004-11-17 | 삼성전자주식회사 | 프레임 레이트 변환장치 및 그 방법 |
JP3840129B2 (ja) * | 2002-03-15 | 2006-11-01 | 株式会社東芝 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
JP4198550B2 (ja) * | 2002-09-10 | 2008-12-17 | 株式会社東芝 | フレーム補間方法およびこのフレーム補間方法を用いた装置 |
JP3898606B2 (ja) * | 2002-09-12 | 2007-03-28 | 株式会社東芝 | 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置 |
JP4053490B2 (ja) * | 2003-03-25 | 2008-02-27 | 株式会社東芝 | フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置 |
JP4220284B2 (ja) * | 2003-03-28 | 2009-02-04 | 株式会社東芝 | フレーム補間方法、装置及びこれを用いた画像表示システム |
JP4080951B2 (ja) * | 2003-05-30 | 2008-04-23 | 株式会社東芝 | フレーム補間方法及び装置並びに画像表示システム |
JP4179089B2 (ja) | 2003-07-25 | 2008-11-12 | 日本ビクター株式会社 | 動画像補間用動き推定方法及び動画像補間用動き推定装置 |
JP2005051460A (ja) | 2003-07-28 | 2005-02-24 | Shibasoku:Kk | ビデオ信号処理装置及びビデオ信号の処理方法 |
KR100574523B1 (ko) * | 2003-07-31 | 2006-04-27 | 삼성전자주식회사 | 움직임 타입 판단 장치 및 방법 |
JP4198608B2 (ja) * | 2004-01-15 | 2008-12-17 | 株式会社東芝 | 補間画像生成方法および装置 |
JP4359223B2 (ja) | 2004-10-29 | 2009-11-04 | 株式会社 日立ディスプレイズ | 映像補間装置とこれを用いたフレームレート変換装置,映像表示装置 |
JP4398925B2 (ja) * | 2005-03-31 | 2010-01-13 | 株式会社東芝 | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム |
JP4417918B2 (ja) * | 2006-03-30 | 2010-02-17 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
JP4309453B2 (ja) * | 2007-12-26 | 2009-08-05 | 株式会社東芝 | 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置 |
-
2006
- 2006-09-19 JP JP2006253478A patent/JP4322904B2/ja active Active
-
2007
- 2007-03-15 EP EP20070005373 patent/EP1903798A2/en not_active Withdrawn
- 2007-03-16 US US11/687,080 patent/US8189104B2/en active Active
- 2007-08-31 CN CNA2007101472654A patent/CN101150725A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011182181A (ja) * | 2010-03-01 | 2011-09-15 | Nanao Corp | ブロック別動きベクトル演算装置またはその方法 |
US8817869B2 (en) | 2010-10-18 | 2014-08-26 | Mitsubishi Electric Corporation | Image processing device and method, and image display device and method |
Also Published As
Publication number | Publication date |
---|---|
CN101150725A (zh) | 2008-03-26 |
US8189104B2 (en) | 2012-05-29 |
JP4322904B2 (ja) | 2009-09-02 |
US20080069221A1 (en) | 2008-03-20 |
EP1903798A2 (en) | 2008-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4322904B2 (ja) | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム | |
JP4398925B2 (ja) | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム | |
JP4417918B2 (ja) | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム | |
JP5974250B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
CN107624243B (zh) | 通过帧选择的实时超延时视频创建 | |
KR102141290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
JP4053490B2 (ja) | フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置 | |
EP2180695B1 (en) | Apparatus and method for improving frame rate using motion trajectory | |
JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
JP5198543B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
WO2015085922A1 (zh) | 一种帧率上采样的方法和装置 | |
JP6017279B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5927051B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2012066866A1 (ja) | 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法 | |
JP5284446B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP5927053B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5824937B2 (ja) | 動きベクトル導出装置および方法 | |
CN111325673A (zh) | 影像处理方法与影像处理电路 | |
JP6109699B2 (ja) | 姿勢パラメータ推定装置、姿勢パラメータ推定方法、およびプログラム | |
JP4354799B2 (ja) | 補間画像生成方法および装置 | |
JP6738906B2 (ja) | 画像処理装置、画像表示装置及びプログラム | |
JP2010016447A (ja) | 画像処理装置および画像処理方法 | |
JP2014007658A (ja) | 動きベクトル導出装置、方法およびプログラム | |
JP5634245B2 (ja) | 動きベクトル検出装置及びその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090603 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4322904 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |