JP2007504700A - 閉塞検出に基づく画素の時間的補間 - Google Patents

閉塞検出に基づく画素の時間的補間 Download PDF

Info

Publication number
JP2007504700A
JP2007504700A JP2006524499A JP2006524499A JP2007504700A JP 2007504700 A JP2007504700 A JP 2007504700A JP 2006524499 A JP2006524499 A JP 2006524499A JP 2006524499 A JP2006524499 A JP 2006524499A JP 2007504700 A JP2007504700 A JP 2007504700A
Authority
JP
Japan
Prior art keywords
motion vector
pixel
value
specific
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2006524499A
Other languages
English (en)
Inventor
リメルト ビー ウィッテブロード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34259238&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2007504700(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2007504700A publication Critical patent/JP2007504700A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions

Abstract

時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する方法が開示される。前記方法は、前記第１の画像に対応する第１の動きベクトル場（Ｄ３（ｘ，ｎ−１））の第１の動きベクトル（Ｄｐ）及び第２の動きベクトル（Ｄｐｐ）に基づいて第１の動きベクトル差を計算するステップと、前記第２の画像に対応する第２の動きベクトル場（Ｄ３（ｘ，ｎ））の第３の動きベクトル（Ｄｎ）及び第４の動きベクトル（Ｄｎｎ）に基づいて第２の動きベクトル差を計算するステップと、前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立するステップとを有する。

Description

本発明は、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する方法に関する。
本発明は更に、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定するための画素値決定ユニットに関する。
本発明は更に、かような画素値決定ユニットを有する画像処理機器に関する。
本発明は更に、コンピュータ装置によってロードされるコンピュータプログラムであって、時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する命令を有するコンピュータプログラムに関する。
閉塞（occlusion）エリアとは、取り込まれた場面の一部であって、一連の連続する画像の或る画像においては可視であるが、次の又は前の画像においては可視でない部分に対応するエリアを意味する。このことは、場面において、背景のオブジェクトよりもカメラに近く位置する前景のオブジェクトが、前記背景のオブジェクトの一部をカバーし得るという事実によって引き起こされる。例えば前景のオブジェクトの移動の場合には、背景のオブジェクトの幾分かの部分が閉塞させられ、一方該背景のオブジェクトの他の部分はカバーされない。
閉塞エリアは、時間的補間においてアーティファクトを引き起こし得る。例えば上方変換（up-conversion）の場合、閉塞エリアは所謂ハロー（halo）に帰着し得る。上方変換の場合、時間的補間によって上方変換された出力画像を計算するため動きベクトルが推定される。例えばO. Ojo及びG. de Haanによる論文「Robust motion-compensated video upconversion」（「IEEE Transactions on Consumer Electronics」、Vol. 43、No. 4、1997年11月、1045-1056頁）を参照されたい。時間的補間、即ち２つの元の入力画像の中間の新たな画像の計算のため、好ましくは同一のオブジェクトに関する幾つかの画素が、連続する画像からとられる。このことは、閉塞エリアの場合には簡単に為されることができない。なぜなら、連続する画像の両方において関連する画素が見出されないからである。典型的には前又は次の元画像のみの画素値の補間に基づく、他の補間戦略が必要とされる。閉塞エリアについて適切な動きベクトルの推定が重要であることは明らかであろう。
本発明の目的は、最初のパラグラフに記載された種類の方法であって、比較的頑強な方法を提供することにある。
本発明の本目的は、前記方法が、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算するステップを有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記方法は更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算するステップを有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記方法は更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立するステップを有することにより達成される。
本発明者は、第１の動きベクトル場の２つの適切に選択された動きベクトル間の第１の差と、第２の動きベクトル場の２つの適切に選択された動きベクトル間の第２の差とを比較することにより、前記特定の画素の値を確立するため１以上の画素値を取得するために、２つのそれぞれの画像のうちどちらが選択されるべきかを決定することが可能となることを認識した。一般に、２つの動きベクトル場のうちの一方の、２つの選択された動きベクトルは、略相互に等しい。このことは、これら２つの動きベクトルが共に背景に関連するか、又は同一の前景オブジェクトに関連する確率が比較的高いことを示唆するものである。この場合、これら２つの動きベクトルの１つを用いれば、中間画像のために適切な画素を取得できる確率が比較的高い。閉塞の場合には、一般にこれら２つの動きベクトルは共に背景に関連する。
動きベクトルの適切な選択は、前記特定の画素の特定の空間的位置、及び前記特定の画素について推定された特定の動きベクトルに基づく。好ましくは、前記特定の画素の特定の空間位置と第１の動きベクトルとに基づいて、第１の動きベクトル場から第２の動きベクトルが選択される。また、前記特定の画素の特定の空間的位置と第３の動きベクトルとに基づいて、第２の動きベクトル場から第４の動きベクトルが選択される。
値は、輝度又は色のような、人間にとって可視であるいずれかのタイプの情報を表す。
本発明による方法の実施例は、前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値よりも小さい場合、前記第１の画素の第１の値と前記第２の画素の第２の値とに基づいて、前記特定の画素の値を確立するステップを有する。２つの画像のいずれかから画素値を選択する代わりに、本発明による本実施例においては、前記特定の画素の値は任意に両方の画像の画素値に基づく。このことは、２つの動きベクトル差が共に所定の閾値よりも小さいか否かを確認するテストに依存する。好ましくは、該テストは、前記２つの動きベクトル差のうち大きい方を、前記所定の閾値と比較することにより実行される。該テストは、暗に閉塞検出を意味する。前記動きベクトル差のうちの一方のみが前記所定の閾値よりも小さい場合、前記特定の空間的位置は閉塞エリアに位置すると見なされる。閉塞のタイプ、即ちカバーしているか又はしていないかは、前記２つのうちどちらが前記所定の閾値よりも小さいかに依存する。しかしながら、両方の動きベクトル差が共に前記所定の閾値よりも小さい場合には、前記特定の空間的位置は閉塞エリア中に位置しないと見なされる。後者の場合には、前記特定の画素の値は、両方の入力画像の画素値に基づく。
本発明による方法の実施例は、前記第１の画素の第１の値と、前記第１の画素の空間的な近隣における更なる画素の更なる値との補間により、前記特定の画素の値を確立するステップを有する。換言すれば、本発明による本実施例においては、複数の画素値の補間によりサブ画素の精度が達成される。
本発明の更なる目的は、最初のパラグラフに記載された種類の画素値決定ユニットであって、比較的頑強な画素値決定ユニットを提供することにある。
本発明の本目的は、前記画素値決定ユニットが、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有することよって達成される。
本発明の更なる目的は、最初のパラグラフに記載された種類の画像処理機器であって、比較的頑強な画素値決定ユニットを有する画像処理機器を提供することにある。
本発明の本目的は、前記画素値決定ユニットが、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有することによって達成される。
任意に、前記画像処理機器は更に、出力画像を表示するための表示装置を有する。前記画像処理機器は、例えばＴＶ、セットトップボックス、ＶＣＲ（Video Cassette Recorder）プレイヤ、衛星チューナ、ＤＶＤ（Digital Versatile Disk）プレイヤ又はレコーダであっても良い。
本発明の更なる目的は、最初のパラグラフに記載された種類のコンピュータプログラムであって、比較的頑強なコンピュータプログラムを提供することにある。
本発明の本目的は、前記コンピュータプログラムが、ロードされた後に、
前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する機能を処理手段に備えさせ、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する機能を前記処理手段に備えさせ、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する機能を前記処理手段に備えさせることにより達成される。
画素値決定ユニットの変更及び変形例は、記載された画像処理機器、方法及びコンピュータプログラムの変更及び変形例に対応しても良い。
画素値決定ユニット、画像処理機器、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装及び実施例に関して、及び添付する図を参照しながら説明され、明らかとなるであろう。
図を通して、同一の参照番号が類似の部分を示すために利用される。
図１は、場面における前景オブジェクト１１８の動き及び背景の動きを模式的に示す。図１においては、時間的位置ｎ−１及びｎにおける、２つの元画像１００及び１０４が示されている。これらの画像内のオブジェクト１１８は、上方向
Figure 2007504700
 に移動しており、実線１０６及び１０８によって接続された灰色の長方形によって示される。長い点線矢印１１０及び１１２は、下方向である、背景の動き
Figure 2007504700
 を示す。網掛けされた領域１１４及び１１６は、閉塞エリアを示す。時間的位置ｎ＋α（−１≦α≦０）に生成されるべき新たな画像１０２が、破線１２０により示される。
図２は、図１に示された画像について推定された動きベクトル場を模式的に示す。即ち、前記推定された動きベクトル場は、矢印によって表される。第１の動きベクトル場は、前記２つの元画像の第１のもの１００について推定され、第２の動きベクトル場は、前記２つの元画像の第２のもの１０４について推定される。これら２つの動きベクトル場は、３フレーム動き推定器により計算される。前記第１の動きベクトル場は、
Figure 2007504700
 によって示される。該第１の動きベクトル場は、輝度フレーム
Figure 2007504700
 、
Figure 2007504700
 及び
Figure 2007504700
 の間で推定される。前記第２の動きベクトル場は、
Figure 2007504700
 によって示される。該第２の動きベクトル場は、輝度フレーム
Figure 2007504700
 、
Figure 2007504700
 及び
Figure 2007504700
 の間で推定される。これに加え、前記第１の動きベクトル場と前記第２の動きベクトル場との中間の時間的位置ｎ＋αについて、初期動きベクトル場が計算される。該初期動きベクトル場
Figure 2007504700
 は、輝度フレーム
Figure 2007504700
 及び
Figure 2007504700
 の間で推定される。前記３フレーム動き推定器の動きベクトル場
Figure 2007504700
 及び
Figure 2007504700
 は、前景オブジェクト１１８と略合致し、一方２フレーム動き推定器の動きベクトル場
Figure 2007504700
 は、背景の中へと延在する前景ベクトルを示すことに留意されたい。
本発明の方法によれば、時間的に第１の入力画像と第２の入力画像との中間に位置する画像が、３つの動きベクトル場
Figure 2007504700
 、
Figure 2007504700
 及び
Figure 2007504700
 を利用することにより計算されることができる。このことは、背景ベクトルが閉塞エリアにおいて決定され、前記２つの入力画像のうちの１つからの画素を取得するために適用されることを意味する。
図３は、空間的位置
Figure 2007504700
 及び
Figure 2007504700
 における２つの画素の例についての本発明による方法を模式的に示す。最初に、位置
Figure 2007504700
 における画素の周囲の状況を考える。動きベクトル場
Figure 2007504700
 からの動きベクトル
Figure 2007504700
 が、第１の動きベクトル場
Figure 2007504700
 及び第２の動きベクトル場
Figure 2007504700
 から、それぞれ動きベクトル
Figure 2007504700
 及び
Figure 2007504700
 を取得するために利用される。
Figure 2007504700
Figure 2007504700
 該選択プロセスは、それぞれ太線矢印３００及び３０２によって示される。動きベクトル
Figure 2007504700
 及び
Figure 2007504700
 は共に背景ベクトルである。
Figure 2007504700
 を用いて、ベクトル
Figure 2007504700
 が
Figure 2007504700
 から取得され、
Figure 2007504700
 を用いて、ベクトル
Figure 2007504700
 が
Figure 2007504700
 から取得される。
Figure 2007504700
Figure 2007504700
 該取得は、太点線矢印３０１及び３０３によって示される。
Figure 2007504700
 もまた背景ベクトルであるが、
Figure 2007504700
 は前景ベクトルであることが分かる。このことは、
Figure 2007504700
 及び
Figure 2007504700
 が略相互に等しいこと、即ち第１の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。しかしながら、
Figure 2007504700
 と
Figure 2007504700
 との間にはかなりの差がある。即ち、第２の動きベクトル差は所定の閾値Ｔ０よりも大きい。それ故、中間画像１０２の空間的位置
Figure 2007504700
 における画素の値は、時間的位置ｎにおける第２の画像１０４の画素の値に基づくであろう。なぜなら、前記第２の動きベクトル差は前記第１の動きベクトル差よりも小さいからである。
同様のプロセスが、位置
Figure 2007504700
 における他の画素について適切な動きベクトルを確立するために利用されることができる。動きベクトル場
Figure 2007504700
 からの動きベクトル
Figure 2007504700
 は、第１の動きベクトル場
Figure 2007504700
 及び第２の動きベクトル場
Figure 2007504700
 から、それぞれ動きベクトル
Figure 2007504700
 及び動きベクトル
Figure 2007504700
 を取得するために利用される。
Figure 2007504700
Figure 2007504700
 該選択プロセスは、それぞれ太線矢印３０４及び３０６によって示される。ここで、取得された動きベクトル
Figure 2007504700
 及び
Figure 2007504700
 は、それぞれ背景及び前景ベクトルである。
Figure 2007504700
 を用いて、ベクトル
Figure 2007504700
 が
Figure 2007504700
 から取得され、
Figure 2007504700
 を用いて、ベクトル
Figure 2007504700
 が
Figure 2007504700
 から取得される。
Figure 2007504700
Figure 2007504700
 該取得は、太線矢印３０４及び３０７によって示される。
Figure 2007504700
 及び
Figure 2007504700
 は共に背景ベクトルであることが分かる。このことは、
Figure 2007504700
 及び
Figure 2007504700
 が略相互に等しいこと、即ち第２の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。しかしながら、
Figure 2007504700
 と
Figure 2007504700
 との間にはかなりの差がある。即ち、第１の動きベクトル差は所定の閾値Ｔ０よりも大きい。それ故、中間画像１０２の空間的位置
Figure 2007504700
 における画素の値は、時間的位置ｎ−１における第１の画像１００の画素の値に基づくであろう。なぜなら、前記第１の動きベクトル差は前記第２の動きベクトル差よりも小さいからである。
一般に、
Figure 2007504700
 である場合に閉塞が検出される。閉塞が検出された場合、カバー及び非カバーへの分類が為される。
Figure 2007504700
 である場合、画素は非カバーエリア中にあり、
Figure 2007504700
 である場合、カバーエリア中にある。従って、空間的位置
Figure 2007504700
 における画素は非カバーエリア中に位置し、空間的位置
Figure 2007504700
 における画素はカバーエリア中に位置する。
図４は、閉塞エリアに位置しない画素の例
Figure 2007504700
 についての本発明による方法を模式的に示す。動きベクトル場
Figure 2007504700
 からの動きベクトル
Figure 2007504700
 は、第１の動きベクトル場
Figure 2007504700
 及び第２の動きベクトル場
Figure 2007504700
 から、それぞれ動きベクトル
Figure 2007504700
 及び
Figure 2007504700
 を取得するために利用される。
Figure 2007504700
Figure 2007504700
 該選択プロセスは、それぞれ太線矢印４００及び４０２によって示される。動きベクトル
Figure 2007504700
 及び
Figure 2007504700
 は共に前景ベクトルである。
Figure 2007504700
 を用いて、ベクトル
Figure 2007504700
 が
Figure 2007504700
 から取得され、
Figure 2007504700
 を用いて、ベクトル
Figure 2007504700
 が
Figure 2007504700
 から取得される。
Figure 2007504700
Figure 2007504700
 該取得は、太線矢印４００及び４０２によって示される。
Figure 2007504700
 及び
Figure 2007504700
 もまた前景ベクトルであることが分かる。このことは、
Figure 2007504700
 及び
Figure 2007504700
 が略相互に等しいこと、即ち第１の動きベクトル差が所定の閾値Ｔ０よりも小さいことを意味する。これに加え、
Figure 2007504700
 及び
Figure 2007504700
 が略相互に等しい。即ち第２の動きベクトル差が所定の閾値Ｔ０よりも小さい。それ故、中間画像１０２の空間的位置
Figure 2007504700
 における画素の値は、時間的位置ｎ−１における第１の画像１００の第１の画素の第１の値に、及び時間的位置ｎにおける第２の画像１０４の第２の画素の第２の値に基づくであろう。
図５は、本発明による画素値決定ユニット５００の実施例を模式的に示す。該画素値決定ユニット５００は、時間的に第１の画像と第２の画像との中間に位置する画像を計算するように構成され、中間画像は時間位置ｎ＋αに位置する。画素値決定ユニット５００は、３つの動きベクトル場を供給される。これら供給される動きベクトル場のうちの第１のもの
Figure 2007504700
 及び第２のもの
Figure 2007504700
 は、３フレーム動き推定器５１２により計算される。３フレーム動き推定器５１２の例は、米国特許ＵＳ６０１１５９６に開示されている。第３の供給される動きベクトル場
Figure 2007504700
 は、２フレーム動き推定器５１４により計算される。２フレーム動き推定器５０８は、例えばG. de Haanらによる論文「True-Motion Estimation with 3-D Recursive Search Block Matching」（「IEEE Transactions on circuits and systems for video technology」、Vol. 3、No. 5、1993年10月、368-379頁）に記載されている。
動き推定器５１２及び５１４並びに画素値決定ユニット５００は、前記第１の画像及び第２の画像並びに他の入力画像を表す入力ビデオ信号を供給される。画素値決定ユニット５００は、出力コネクタ５１８において、前記第１及び第２の画像並びに中間画像を表す出力ビデオ信号を供給する。画素値決定ユニット５００は、所定の閾値Ｔ０を表す制御信号を受信するための制御インタフェース５２０を有する。
本発明による画素値決定ユニット５００は、
−動きベクトル比較ユニット５０２と、
−決定ユニット５０４と、
−画素値計算ユニット５０６と、
を有する。
動きベクトル比較ユニット５０２は、３つの動きベクトル場
Figure 2007504700
 、
Figure 2007504700
 及び
Figure 2007504700
 から、対応する動きベクトルを取得するように構成される。動きベクトル比較ユニット５０２は、
−前記第１の画像に対応する第１の動きベクトル場
Figure 2007504700
 の第１の動きベクトル
Figure 2007504700
 及び第２の動きベクトル
Figure 2007504700
 に基づいて第１の動きベクトル差を計算する第１の計算ユニット５０８を有し、第１の動きベクトル
Figure 2007504700
 は、特定の画素の特定の空間的位置
Figure 2007504700
 と該特定の画素について推定された特定の動きベクトル
Figure 2007504700
 とに基づいて、第１の動きベクトル場
Figure 2007504700
 から選択され、動きベクトル比較ユニット５０２は更に、
−前記第２の画像に対応する第２の動きベクトル場
Figure 2007504700
 の第３の動きベクトル
Figure 2007504700
 及び第４の動きベクトル
Figure 2007504700
 に基づいて第２の動きベクトル差を計算する第２の計算ユニット５１０を有し、第３の動きベクトル
Figure 2007504700
 は、特定の画素の特定の空間的位置
Figure 2007504700
 と該特定の画素について推定された特定の動きベクトル
Figure 2007504700
 とに基づいて、第２の動きベクトル場
Figure 2007504700
 から選択される。
決定ユニット５０４は、前記特定の画素が位置するエリアのタイプを決定するように構成される。従って、決定ユニット５０４は、２つの前記動きベクトル差が、所定の閾値Ｔ０よりも小さいか否かをチェックするように構成される。このとき、前記エリアのタイプは、式９乃至１１において示されたように確立される。決定ユニット５０４は更に、前記中間画像の前記特定の画素の画素値の計算のため、前記第１又は第２の画像から画素値を取得するために、どの動きベクトル又は任意にどの複数の動きベクトルが利用されるべきであるかをチェックするように構成される。一般に、前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合には、前記特定の画素の値は前記第１の画像の第１の画素の第１の値に基づき、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合には、前記特定の画素の値は前記第２の画像の第２の画素の第２の値に基づく。前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値Ｔ０よりも小さい場合には、前記特定の画素の値は前記第１の画素の第１の値及び前記第２の画素の第２の値に基づく。
画素値計算ユニット５０６は、前記特定の画素の実際の値を決定するように構成される。該値は、前記第１及び第２の画像の画素値の直接のコピーであっても良い。好ましくは前記値は、とりわけ前記動きベクトルがサブ画素精度である場合には、複数の画素値の補間に基づく。
本発明による画素値決定ユニット５００の動作は、図３及び図４と関連して説明される。
動きベクトル比較ユニット５０２、決定ユニット５０４、画素値計算ユニット５０６、３フレーム動き推定器５１２及び２フレーム動き推定器５１４は、１つのプロセッサを利用して実装されても良い。通常、これらの機能は、ソフトウェアプログラムの制御下で実行される。実行の間、通常前記ソフトウェアプログラムは、ＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク又は磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示される機能を提供する。
異なる時間的位置ｎ−１、ｎ＋α及びｎについての動きベクトルの計算は好ましくは、前記中間画像の画素値の計算と同時に実行される。このことは、例えば時間的位置ｎ−１についての特定の動きベクトル場が、対応する元の入力ビデオ画像の全ての画素の動きを合わせて表す動きベクトルの群に、必ずしも対応しないことを意味する。換言すれば、動きベクトル場は、対応する元の入力ビデオ画像の画素の一部（例えば１０％のみ）の動きを合わせて表す動きベクトルの群に対応しても良い。
図６は、本発明による画像処理機器６００の実施例を模式的に示す。該画像処理機器６００は、
−ビデオ画像のシーケンスに対応する信号を受信する受信手段６０２と、
−前記ビデオ画像の第１のものについて第１の動きベクトル場を、及び前記ビデオ画像の第２のものについて第２の動きベクトル場を推定する、第１の動き推定器５１２と、
−時間的に前記ビデオ画像の第１のものと前記ビデオ画像の第２のものとの中間に位置する出力画像について第３の動きベクトル場を推定する、第２の動き推定器５１２と、
−図５と共に説明されたような画素値決定ユニット５００と、
−画素値決定ユニット５００の出力画像を表示する表示装置６０６と、
を有する。
前記信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はディジタル・バーサタイル・ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は入力コネクタ６０８において供給される。画像処理機器６００は、例えばＴＶであっても良い。代替として、画像処理機器６００は、任意の表示装置を有しないが、表示装置６０６を有する機器に前記出力画像を供給する。このとき画像処理機器６００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレイヤ、ＤＶＤプレイヤ又はレコーダであっても良い。任意に、画像処理機器６００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体に記憶するための手段を有する。画像処理機器６００は、映画スタジオ又は放送局によって利用されるシステムであっても良い。
上述の実施例は、本発明を限定するものではなく説明するものであって、当業者は添付される請求の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列挙されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記するユニット請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。第１、第２及び第３等の語の使用は、いずれの順序をも示すものではない。これらの語は名前として解釈されるべきである。
場面における前景オブジェクトの動き及び背景の動きを模式的に示す。 図１に示された画像について推定された動きベクトル場を模式的に示す。 共に閉塞エリアに位置する２つの画素の例についての本発明による方法を模式的に示す。 閉塞エリアに位置しない画素の例についての本発明による方法を模式的に示す。 ３つの動きベクトル場を供給される、本発明による画素値決定ユニットの実施例を模式的に示す。 本発明による画像処理機器の実施例を模式的に示す。

Claims (10)

  1. 時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する方法であって、前記方法は、
    前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算するステップを有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記方法は更に、
    前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算するステップを有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記方法は更に、
    前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立するステップを有する方法。
  2. 前記第２の動きベクトルは、前記特定の画素の特定の空間的位置と前記第１の動きベクトルとに基づいて、前記第１の動きベクトル場から選択される、請求項１に記載の特定の画素について値を決定する方法。
  3. 前記第４の動きベクトルは、前記特定の画素の特定の空間的位置と前記第３の動きベクトルとに基づいて、前記第２の動きベクトル場から選択される、請求項２に記載の特定の画素について値を決定する方法。
  4. 前記第１の動きベクトル差及び前記第２の動きベクトル差が所定の閾値よりも小さい場合、前記第１の画素の第１の値と前記第２の画素の第２の値とに基づいて、前記特定の画素の値を確立するステップを有する、請求項１に記載の特定の画素について値を決定する方法。
  5. 前記第１の画素の第１の値と、前記第１の画素の空間的な近隣における更なる画素の更なる値との補間により、前記特定の画素の値を確立するステップを有する、請求項１に記載の特定の画素について値を決定する方法。
  6. 時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する画素値決定ユニットであって、前記画素値決定ユニットは、
    前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
    前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
    前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有する画素値決定ユニット。
  7. ビデオ画像のシーケンスに対応する信号を受信する受信手段と、
    前記ビデオ画像の第１のものについて第１の動きベクトル場を、及び前記ビデオ画像の第２のものについて第２の動きベクトル場を推定する動き推定手段と、
    時間的に前記ビデオ画像の第１のものと前記ビデオ画像の第２のものとの中間に位置する特定の画像の特定の画素について値を決定する画素値決定ユニットと、
    を有する画像処理機器であって、前記画素値決定ユニットは、
    前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する第１の計算手段を有し、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記画素値決定ユニットは更に、
    前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する第２の計算手段を有し、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記画素値決定ユニットは更に、
    前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記ビデオ画像の第１ものの第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記ビデオ画像の第２のものの第２の画素の第２の値に基づいて前記特定の画素の値を確立する確立手段を有する画像処理機器。
  8. 出力画像を表示する表示装置を更に有する、請求項７に記載の画像処理機器。
  9. ＴＶである、請求項８に記載の画像処理機器。
  10. 時間的に第１の画像と第２の画像との中間に位置する特定の画像の特定の画素について値を決定する命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータプログラムは、ロードされた後に、
    前記第１の画像に対応する第１の動きベクトル場の第１及び第２の動きベクトルに基づいて第１の動きベクトル差を計算する機能を処理手段に備えさせ、前記第１の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第１の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
    前記第２の画像に対応する第２の動きベクトル場の第３及び第４の動きベクトルに基づいて第２の動きベクトル差を計算する機能を前記処理手段に備えさせ、前記第３の動きベクトルは、前記特定の画素の特定の空間的位置と前記特定の画素について推定された特定の動きベクトルとに基づいて、前記第２の動きベクトル場から選択され、前記コンピュータプログラムは更に、ロードされた後に、
    前記第１の動きベクトル差が前記第２の動きベクトル差よりも小さい場合、前記第１の画像の第１の画素の第１の値に基づいて前記特定の画素の値を確立し、前記第２の動きベクトル差が前記第１の動きベクトル差よりも小さい場合、前記第２の画像の第２の画素の第２の値に基づいて前記特定の画素の値を確立する機能を前記処理手段に備えさせるコンピュータプログラム。
JP2006524499A 2003-09-02 2004-08-23 閉塞検出に基づく画素の時間的補間 Ceased JP2007504700A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03103269 2003-09-02
PCT/IB2004/051530 WO2005022922A1 (en) 2003-09-02 2004-08-23 Temporal interpolation of a pixel on basis of occlusion detection

Publications (1)

Publication Number Publication Date
JP2007504700A true JP2007504700A (ja) 2007-03-01

Family

ID=34259238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006524499A Ceased JP2007504700A (ja) 2003-09-02 2004-08-23 閉塞検出に基づく画素の時間的補間

Country Status (6)

Country Link
US (1) US7536031B2 (ja)
EP (1) EP1665808B1 (ja)
JP (1) JP2007504700A (ja)
KR (1) KR101135454B1 (ja)
CN (1) CN1846445B (ja)
WO (1) WO2005022922A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056629A (ja) * 2008-08-26 2010-03-11 Sony Corp フレーム補間装置及びフレーム補間方法
JP2010278760A (ja) * 2009-05-28 2010-12-09 Fujitsu Ltd フレーム補間装置、フレーム補間方法、及び、フレーム補間プログラム
WO2011043433A1 (ja) * 2009-10-08 2011-04-14 日本ビクター株式会社 フレームレート変換装置及び方法
JP2011083036A (ja) * 2011-01-12 2011-04-21 Victor Co Of Japan Ltd 補間画素データ生成装置及び方法
JP2011182193A (ja) * 2010-03-01 2011-09-15 Toshiba Corp 補間フレーム生成装置及び方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7931700B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Composition for dyeing of cellulosic fabric
US7931699B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Compositions for spray dyeing cellulosic fabrics
WO2006137020A2 (en) * 2005-06-22 2006-12-28 Koninklijke Philips Electronics N.V. Video signal compression
JP2009533887A (ja) * 2005-11-30 2009-09-17 エヌエックスピー ビー ヴィ 動きベクトル場修正装置及び方法
CN101496063A (zh) 2006-04-19 2009-07-29 Nxp股份有限公司 用于创建内插图像的方法和系统
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
JP5023780B2 (ja) * 2007-04-13 2012-09-12 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
CN101778292B (zh) * 2009-01-08 2013-07-17 晨星软件研发(深圳)有限公司 影像处理方法及其装置
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
EP2390838B1 (en) * 2009-01-23 2019-10-02 Nec Corporation Image identifier extracting apparatus
WO2010091937A1 (en) * 2009-02-12 2010-08-19 Zoran (France) Temporal video interpolation method with 2-frame occlusion handling
US9699475B2 (en) 2009-02-12 2017-07-04 Qualcomm Incorporated Video sequence analysis for robust motion estimation
EP2224740A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
EP2224738A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
EP2227012A1 (en) 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
JP4935961B2 (ja) * 2009-04-14 2012-05-23 日本電気株式会社 画像識別子抽出装置
US8254439B2 (en) * 2009-05-08 2012-08-28 Mediatek Inc. Apparatus and methods for motion vector correction
KR101355258B1 (ko) * 2009-06-16 2014-01-27 닛본 덴끼 가부시끼가이샤 이미지 시그니처 매칭 장치
US8487981B2 (en) * 2009-09-04 2013-07-16 Broadcom Corporation Method and system for processing 2D/3D video
US9659353B2 (en) * 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
US9013584B2 (en) * 2010-03-01 2015-04-21 Stmicroelectronics, Inc. Border handling for motion compensated temporal interpolator using camera model
EP2383992B1 (en) * 2010-04-30 2017-11-29 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for the detection and classification of occlusion regions
CN102263956B (zh) * 2011-07-21 2013-03-20 福建星网视易信息系统有限公司 基于运动矢量的移动侦测方法
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US9148622B2 (en) 2011-12-29 2015-09-29 Hong Kong Applied Science and Technology Research Institute Company, Limited Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
KR101908388B1 (ko) 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
KR102187211B1 (ko) * 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US11388432B2 (en) * 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation
WO2023174546A1 (en) * 2022-03-17 2023-09-21 Dream Chip Technologies Gmbh Method and image processor unit for processing image data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
JPH09214899A (ja) * 1996-01-31 1997-08-15 Nippon Hoso Kyokai <Nhk> 画像予測処理方法および装置
JP2919211B2 (ja) * 1992-12-25 1999-07-12 日本電気株式会社 動画像のフレーム内挿方式及び符号化復号化方式
JP2002534014A (ja) * 1998-12-23 2002-10-08 インテル・コーポレーション ビデオ用途における増加されたビデオ再生フレームレート
WO2003041416A1 (en) * 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3226539B2 (ja) 1991-05-24 2001-11-05 ブリティッシュ・ブロードキャスティング・コーポレーション ビデオ画像処理
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
KR100220678B1 (ko) * 1995-12-29 1999-09-15 전주범 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법
WO2000011863A1 (en) 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6442203B1 (en) 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
EP1287492A2 (en) * 2000-05-18 2003-03-05 Koninklijke Philips Electronics N.V. Motion estimator for reduced halos in motion compensated picture rate up-conversion
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
DE60127866T2 (de) 2001-01-16 2007-12-20 Koninklijke Philips Electronics N.V. Verringern von aura-artigen effekten bei der bewegungskompensierten interpolation
US20050163355A1 (en) * 2002-02-05 2005-07-28 Mertens Mark J.W. Method and unit for estimating a motion vector of a group of pixels
DE60312981D1 (de) * 2003-08-26 2007-05-16 St Microelectronics Srl Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2919211B2 (ja) * 1992-12-25 1999-07-12 日本電気株式会社 動画像のフレーム内挿方式及び符号化復号化方式
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
JPH09214899A (ja) * 1996-01-31 1997-08-15 Nippon Hoso Kyokai <Nhk> 画像予測処理方法および装置
JP2002534014A (ja) * 1998-12-23 2002-10-08 インテル・コーポレーション ビデオ用途における増加されたビデオ再生フレームレート
WO2003041416A1 (en) * 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056629A (ja) * 2008-08-26 2010-03-11 Sony Corp フレーム補間装置及びフレーム補間方法
JP4670918B2 (ja) * 2008-08-26 2011-04-13 ソニー株式会社 フレーム補間装置及びフレーム補間方法
JP2010278760A (ja) * 2009-05-28 2010-12-09 Fujitsu Ltd フレーム補間装置、フレーム補間方法、及び、フレーム補間プログラム
WO2011043433A1 (ja) * 2009-10-08 2011-04-14 日本ビクター株式会社 フレームレート変換装置及び方法
JP2011082846A (ja) * 2009-10-08 2011-04-21 Victor Co Of Japan Ltd フレームレート変換装置及び方法
US8319889B2 (en) 2009-10-08 2012-11-27 JVC Kenwood Corporation Frame rate conversion apparatus and method
JP2011182193A (ja) * 2010-03-01 2011-09-15 Toshiba Corp 補間フレーム生成装置及び方法
JP2011083036A (ja) * 2011-01-12 2011-04-21 Victor Co Of Japan Ltd 補間画素データ生成装置及び方法

Also Published As

Publication number Publication date
US20070002058A1 (en) 2007-01-04
KR20060121856A (ko) 2006-11-29
WO2005022922A1 (en) 2005-03-10
EP1665808A1 (en) 2006-06-07
EP1665808B1 (en) 2016-05-25
CN1846445B (zh) 2010-09-29
US7536031B2 (en) 2009-05-19
CN1846445A (zh) 2006-10-11
KR101135454B1 (ko) 2012-04-13

Similar Documents

Publication Publication Date Title
US7536031B2 (en) Temporal interpolation of a pixel on basis of occlusion detection
US7519230B2 (en) Background motion vector detection
JP4472986B2 (ja) 動き推定および／または補償
US7949205B2 (en) Image processing unit with fall-back
US20070092111A1 (en) Motion vector field re-timing
KR100976718B1 (ko) 필드 레이트 업변환을 위한 방법 및 장치
US20050226462A1 (en) Unit for and method of estimating a motion vector
JP2009533887A (ja) 動きベクトル場修正装置及び方法
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
JP2007502042A (ja) グラフィクス重畳検出
JP2007527139A (ja) 動き補償画像信号の補間

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080312

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20110329