JP2004534336A - 動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置 - Google Patents
動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置 Download PDFInfo
- Publication number
- JP2004534336A JP2004534336A JP2003511551A JP2003511551A JP2004534336A JP 2004534336 A JP2004534336 A JP 2004534336A JP 2003511551 A JP2003511551 A JP 2003511551A JP 2003511551 A JP2003511551 A JP 2003511551A JP 2004534336 A JP2004534336 A JP 2004534336A
- Authority
- JP
- Japan
- Prior art keywords
- segment
- tree
- motion
- motion vector
- candidate motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Television Systems (AREA)
Abstract
【課題】パフォーマンスが改良された、動き推定方法、動き推定器ユニット、奥行き推定方法、奥行き推定器ユニット および画像処理装置を提供すること。
【解決手段】動き推定の方法において画像（100）のセグメント（102-114）のツリー（120）は階層的なセグメンテーションを実行することによって生成される。セグメントのツリー（120）は、セグメント（104）の候補動きベクトルの集合（118）の生成を制御するために分析される。集合（118）の動きベクトルに対して、マッチ・ペナルティが、計算される。最後に、特定の動きベクトル（116）は、マッチ・ペナルティに基づいて候補動きベクトルの集合（118）から選択される。奥行き推定の方法において、奥行きデータは、動きベクトル及び視差の原則に基づいて計算される。
【選択図】図１
【解決手段】動き推定の方法において画像（100）のセグメント（102-114）のツリー（120）は階層的なセグメンテーションを実行することによって生成される。セグメントのツリー（120）は、セグメント（104）の候補動きベクトルの集合（118）の生成を制御するために分析される。集合（118）の動きベクトルに対して、マッチ・ペナルティが、計算される。最後に、特定の動きベクトル（116）は、マッチ・ペナルティに基づいて候補動きベクトルの集合（118）から選択される。奥行き推定の方法において、奥行きデータは、動きベクトル及び視差の原則に基づいて計算される。
【選択図】図１
Description
【技術分野】
【０００１】
本発明は、
- 特定のセグメントの候補動きベクトルの集合を生成するステップと、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するステップと、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するステップと、
を含む、画像の各セグメントの動き推定方法に関する。
【０００２】
さらに、本発明は、
- 特定のセグメントの候補動きベクトルの集合を生成するための生成器と、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
を含む、画像の各セグメントの動き推定のための動き推定器ユニットに関する。
【０００３】
さらに、本発明は、
- 特定のセグメントの候補動きベクトルの集合を生成するステップと、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するステップと、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するステップと、
- 前記特定の動きベクトルに基づく前記特定のセグメントの奥行きデータを計算するステップと、
を含む、画像の各セグメントの奥行き推定方法に関する。
【０００４】
さらに、本発明は、
- 特定のセグメントの候補動きベクトルの集合を生成するための生成器と、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
- 前記特定の動きベクトルに基づいて前記特定のセグメントの奥行きデータを計算するための奥行き計算手段と、
を含む画像の各セグメントの奥行き推定のための奥行き推定器ユニットに関する。
【０００５】
さらに、本発明は、
− 特定のセグメントの候補動きベクトルの集合を生成するための生成器と、
− 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
− マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
を含んでいる、
- 画像の各セグメントの動き推定のための動き推定器ユニットと、
- 動き補償画像処理ユニットと、
を含む、画像処理装置に関する。
【背景技術】
【０００６】
冒頭の段落に記載されている類の動き推定方法は、非特許文献1により知られている。
【０００７】
動き推定は、スキャンレートのアップコンバーション、非インターレース、及び時間的ノイズ低減のような、動き補償画像処理のための映像応用例において成功裡に使用されてきている。動き推定アルゴリズムのカテゴリは、「ブロック・マッチング」と称されている。ブロック・マッチングのアルゴリズムは、所定のブロック内の全ての画素が一様に移動すると仮定する反復最小化アルゴリズムである。そのブロックに対して、マッチ・ペナルティが、考えられる動きベクトル候補に対して最小にされる。マッチ・ペナルティは、例えば、絶対差分和（Sum of Absolute differences：SAD）又は平均二乗誤差（Mean Squared Error：MSE）としてもよい。通常、ブロックは、8x 8のピクセルである。
【０００８】
しかしながら、マッチ・ペナルティの最小化による動きベクトルの推定原理は、不規則な形状のセグメントに対しても作用する。その場合、動き推定／マッチ・ペナルティ計算は、セグメント・ベースで行われる。セグメントの境界が、明るさ又は色の不連続性となるかもしれない。このような場合には、セグメントを、シーンのオブジェクト、又はシーンのオブジェクトの一部とみなすことができる。
【０００９】
画像の各種のセグメントの最良の動きベクトルの検出方法では、検出速度は、セグメントの数、これらのセグメントの大きさ、及び各セグメントの考えられる候補動きベクトルの数に依存する。
【００１０】
検出精度は、2つのファクタに依存する。すなわち、
- 第1のファクタは、各セグメントの大きさである。その理由は、より大きいセグメントは、ノイズが発生しにくいからである。しかしながら、セグメントの大きさは、そのセグメントの動きが一定であるべきであるという事実によって限定される。それゆえに、各セグメントは、まだ同一の動きをしている最大領域と一致すべきであることが、好ましい。
【００１１】
- 第2のファクタは、候補動きベクトルの選択である。候補動きベクトルが限られた数しかテストされない場合、候補動きベクトルを正しく選択することは、極めて重要である。非特許文献1の場合、候補の集合には、いくつかのランダムな候補動きベクトルによって増補された、隣接ブロックの現在の動きベクトルが含まれる。隣接ブロックが、類似した動きをすることができるということは、前提条件として仮定されている。しかしながら、隣接ブロックは、それらが同一のオブジェクトに属している場合のみ、同一の動きをする可能性がある。それゆえに、同一のオブジェクトに属する可能性が無い候補動きベクトルを試みることは、計算作業を無駄にすることになる。時間及び計算作業が無駄になることが、公知の方法の問題点である。
【００１２】
動き推定方法のステップの後に、奥行き推定方法を得るための計算ステップを続けることができるということは公知である。静止シーンの一連の画像が、カメラによって既知の動きで撮影される際には、奥行き情報が、再現されるべきであると言う問題を、考察する。この一連の画像における全ての明らかな動きは、視差に起因する。一方のセグメントと他方のセグメントとの間の動きの違いは、奥行きの違いを示す。実際に、2つの連続する画像を分析することによって、時刻tでの所定の画像セグメントと時刻t+1でのその同一セグメントとの間の視差を、計算することができる。この視差は、シーンの異なった部分の動きに対応する。
【００１３】
カメラが移動する場合、フォアグラウンドのオブジェクトは、バックグラウンドのオブジェクトよりも大きく移動する。幾何学的な関係を適用することによって、奥行き情報を、動きから推論することができる。この概念は、非特許文献2によって説明されている。
【００１４】
本発明の第1の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の動き推定方法を提供することである。
【００１５】
本発明の第2の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の動き推定器ユニットを提供することである。
【００１６】
本発明の第3の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の奥行き推定方法を提供することである。
【００１７】
本発明の第4の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の奥行き推定器ユニットを提供することである。
【００１８】
本発明の第5の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の画像処理装置を提供することである。
【００１９】
【特許文献１】
映像技術に対する回路とシステムのIEEE報告書のvol.3、no.5、1993年10月、ページ368-379の、G. de Haan et. al.による論文「三次元再帰的なサーチ・ブロック・マッチングの真の動き推定」
【特許文献２】
1998年、オーストリアのアルプバッハでの、映像及び多次元信号処理研究会の議事録の、159〜162ページのP. Wilinski及びK.van Overveldによる「ブロック・マッチングに基づく信任を用いた動きによる奥行き」
【発明の開示】
【課題を解決するための手段】
【００２０】
第1の本発明の目的は、動き推定方法が、さらに、
- 階層的なセグメンテーションを実行することによって画像の各セグメントのツリーを生成するステップと、
- 特定のセグメントの候補動きベクトルの集合の生成を制御するために各セグメントのツリーを分析するステップと、
を含むことにより、達成される。
【００２１】
階層的なセグメンテーションは、セグメンテーションのツリー構造により同一のオブジェクトに属しているセグメントの類似性に関する情報を提供する。ツリーは、最高レベルで、ルートと称される単一ノードを有する。ツリーの各々のノードは、次の高いレベルで一意の親を有する。各々のセグメントは、ツリーのノードに対応する。親セグメントは、子セグメントを有する。階層的にセグメンテーションを行う方法の例は、米国特許第5,867,605号から公知である。パフォーマンス、すなわち、動き推定方法の検出速度及び／又は検出精度は、2つの方法、すなわち、トップダウン及びボトムアップで、ツリーを用いることにより、改良することができる。いずれの場合においても、マッチ・ペナルティを、計算しなければならない候補ベクトルの数が、相対的に小さくなるという効果がある。
【００２２】
本発明の動き推定方法の一実施例では、ツリーのセグメントの動きベクトルは、セグメントのツリーを、トップダウン方向に再帰的に処理することによって推定される。これは、以下の手順によって行うことができる。すなわち、
- 適正な動きベクトルの推定を、セグメントがまだ大きいツリーの高いレベルから始める。
【００２３】
- セグメントに対して、満足な動きベクトルが見いだされない場合には、動きベクトルを、このノードの全ての子に対して、別々に推定する。
【００２４】
- 前のステップを、満足な動きベクトルが得られるまで、再帰的に繰り返す。
【００２５】
このようにして、検出精度を犠牲にすることなく、マッチすべきセグメントの数は、最小となる。満足な動きベクトルが得られるまで、動きベクトルの推定工程は続く。その結果、ツリーの相対的に高いレベルのセグメントに対して、動きベクトルのみが、推定されることになる。これの利点は、その工程が、最大で停止するので、ノイズの発生が最小となるセグメントが可能になることである。
【００２６】
本発明の動き推定方法の実施例の一変形例では、特定の動きベクトルのマッチ・ペナルティが満足されない場合、動きベクトルは、特定のセグメントに対応するツリーのノードの子に対応するセグメントについて、推定される。この停止判定基準の効果は、これが単純であることである。他の判定基準は、親セグメントの動きベクトルのマッチ・ペナルティと、子セグメントの動きベクトルのマッチ・ペナルティとの比較に基づくかもしれない。しかしながら、この後者の判定基準を適用することは、余分な計算を必要とする。
【００２７】
本発明の動き推定方法の一実施例では、ツリーのセグメントの動きベクトルは、セグメントのツリーを、ボトムアップ方向に処理することによって推定される。2つのセグメントの最小共通先祖は、ルートからこれらのセグメントの各々までの経路上にあるツリーの最低レベルノードとして、規定される。ツリーの低位置で最小共通先祖を有するセグメントは、ツリーの高位置で最小共通先祖を有するセグメントよりも、同一のオブジェクトに属する可能性がより高い。この情報は、関連する隣接値のみを考慮することによって、候補動きベクトル数を限定するために用いることができる。
【００２８】
本発明の動き推定方法の一実施例では、特定のセグメントの候補動きベクトルの集合を生成するステップは、
- 各隣接セグメントの動きベクトルを含んでいる候補動きベクトルの初期リストを生成するサブステップと、
- ツリー内で対応している各ノードの位置に従う候補動きベクトルの初期リストをオーダーするサブステップと、
- 相対的に高いオーダーの候補動きベクトルに、候補動きベクトルの初期リストを限定して、結果的に候補動きベクトルの集合となるサブステップとを含む。
【００２９】
隣接セグメントの動きベクトルは、重要度の順に置かれる。その重要度は、特定のセグメントと考察中の隣接セグメントとの最小共通先祖のツリーでの位置に関係する。ツリーの最小共通先祖の位置が低ければ低いほど、候補動きベクトルはより重要となる。
【００３０】
本発明の第2の目的は、動き推定器ユニットが、さらに、
- 階層的なセグメンテーションを実行するために設計されている、画像の各セグメントのツリーを生成するためのセグメンテーション手段と、
- 生成器を制御するために各セグメントのツリーを分析するための分析手段と、
を含むことにより、達成される。
【００３１】
動き推定器ユニットの変形例及びそのバリエーションは、説明する方法の変形例及びそのバリエーションに対応させても良い。
【００３２】
第3の本発明の目的は、奥行き推定方法が、さらに、
- 階層的なセグメンテーションを実行することによって画像の各セグメントのツリーを生成するステップと、
- 特定のセグメントの候補動きベクトルの集合の生成を制御するために各セグメントのツリーを分析するステップと、
を含むことにより、達成される。
【００３３】
本発明の第4の目的は、奥行き推定器ユニットが、さらに、
- 階層的なセグメンテーションを実行するために設計されている画像の各セグメントのツリーを生成するためのセグメンテーション手段と、
- 生成器を制御するために各セグメントのツリーを分析するための分析手段と、
を含むことにより、達成される。
【００３４】
本発明の第5の目的は、画像処理装置の動き推定器ユニットが、さらに、
- 階層的なセグメンテーションを実行するために設計されている画像の各セグメントのツリーを生成するためのセグメンテーション手段と、
- 生成器を制御するために各セグメントのツリーを分析するための分析手段と、
を含むことにより、達成される。
【発明を実施するための最良の形態】
【００３５】
本発明の動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置のこれら及び他の態様は、以下に記載される実施態様及び実施例により、かつ添付図面を参照して、明らかになり、かつ、説明されるであろう。
【００３６】
対応する参照番号は、全ての図で同一の意味を有する。
【００３７】
図1は、8つのセグメント102-114に階層的にセグメント化された画像100及びそれに対応するツリー120を示す。ツリー120は、13個のノード122-146を有する。ここで、ノード122は、ルートと称される。各々のノード122-146は、画像100のセグメント102-114に対応する。いくつかのノードに対して、それが、画像100のどのセグメントに対応するかが、示されている。例えば、ノード130は、セグメント102に対応する。参照符号として、便宜上A-Hが付されている。
【００３８】
次に、階層的なセグメンテーションの概念を、簡単に説明する。階層的なセグメンテーションとは、ある均等性判定基準を満足する画像100のセグメントを決定する、領域に基づくセグメンテーション技術である。その後、これらのセグメントは、セグメントの和集合が全画像を覆うように、例えば、均等性パラメータを連続的に変化させることによって増大させて、拡張される。そして、セグメンテーションが完了する。
【００３９】
基本的な手法は、以下のステップを含む。すなわち、
- 画素のまわりのセグメントの明るさの変動のような、均等性に対する判定基準が、選択される。これは、ある画素を、その画素のまわりの領域の明るさ変動に基づいて、初期のセグメントの一部とみなすことができるか否かが、決定されることを意味する。
【００４０】
- 均等性判定基準の各々の値に対して、最終セグメントを、計算することができる。しかしながら、これは、いくつかの既定の閾値に対して行うことが、好ましい。各々の閾値は、ツリーの階層のレベルに対応する。
【００４１】
- ツリー構造を、セグメントに対して構築する。閾値のある値に対して、セグメントが存在する場合、このセグメントは、閾値のより高い全ての値に対しても存在する点に留意されたい。閾値が、増加する場合、セグメントを、より大きく成長させることができ、かつ閾値に対する低い値に対して分離されているセグメントは、閾値のより高いレベルでマージされるかもしれない。しかしながら、このようにして、セグメントが作成されるので、閾値が増加しても、セグメントの大きさが減少し、又はセグメントが分割されるということは起こり得ない。
【００４２】
- オプションとして、このツリーを、分離されたセグメントを達成するために簡素化する。
【００４３】
- オプションとして、セグメントを、形態的演算によって成長させる。
【００４４】
自由パラメータは、均等性判定基準の閾値である。この判定基準は、非常に直感的な方法（例えば、特定の環境での明るさの変動、隣接画素の類似性等）で特定することができる。セグメントがマージされるべき場合、ツリー構造は、より大きいセグメントに到達するためにどのセグメントがマージされるべきかを、一意的に特定する。最後に、そのツリー自体が、セグメント間の構造関係を与える。
【００４５】
結果としてツリー120内で生じる、セグメントC 104の動きベクトル116の推定に対する階層的なセグメンテーションの利点を、以下に説明する。
【００４６】
ボトムアップ手法による動き推定方法は、以下のステップを含む。すなわち、
- セグメントC 104に対して、セグメントC 104の隣接セグメント（すなわち、セグメント102, 103, 106-114）の動きベクトルである、候補動きベクトルViの集合CSCを、生成する。
【００４７】
- 候補動きベクトルViを、ノードC 140と考察中の隣接セグメントとのツリー120での最小共通先祖位置に従って順序づける。例えば、ノード132は、ノードC140とノードD 142との最小共通先祖である。ツリーの最小共通先祖の位置が低ければ低いほど、候補動きベクトルViはより関連する。
【００４８】
- 候補動きベクトルの集合CSCを、最も関連するK動きベクトルViのみに限定する。
【００４９】
従来技術のシチュエーションでは、セグメントC 104の候補動きベクトルの集合は、CSC＝｛VA,VB,VD,VE,VF,VG,VH,VR｝（VRは、ランダムな動きベクトル）となるであろう。しかしながら、本発明によると、CSC＝｛VB,VD,VA,VR｝とすることが出来る。何故ならば、ツリー構造から、ノードC140と、例えば、ノードE 134との最小共通先祖122が、ツリー120内で高いレベルにあるので、セグメントC 104とセグメントE 108とが同一のオブジェクトに属しかつ同一の動きをする可能性が少なくなる状態を導出することが出来るからである。この場合、K=3が採用されている。このようにして、テストすべき候補動きベクトルの数を制限することが、可能となる。候補動きベクトルの選択が、セグメンテーションのツリー構造に基づくので、最も関連する隣接セグメントからの情報のみが用いられる。この結果、テストされない候補動きベクトルが、おそらく異なるオブジェクトの一部であるセグメントからのベクトルであり、したがって、類似の動きをする可能性が小さいので、効率が向上する。すなわち、正確さを失うことなく、テストすべき候補動きベクトルがより少なくなる。
【００５０】
図2Aは、動きベクトル208, 210及び212が推定されるセグメント202, 204及び206を線図的に示す。図2Aのツリー120は、トップダウン手法に従う方法での状態、すなわちツリーの階層の第2の最高レベルを示す。ノード124,126及び128は、動きベクトルが推定されるセグメントに対応する。トップダウン手法の原理は、図3Aと関連して説明される。
【００５１】
図2Bは、動きベクトル208, 222, 224, 226及び228が推定されるセグメント202, 216, 214, 218及び220を線図的に示す。図2Bのツリー120は、トップダウン手法に従う方法の状態、すなわちツリーの階層の第3の最高レベルを示す。ノード128,130, 132, 134及び135は、動きベクトルが推定されるセグメントに対応する。図2Aと図2Bとを比較することによって、動きベクトルが小さいセグメントへの分割セグメントの影響を、理解することができる。例えば、動きベクトル210は、セグメント204によって推定され、かつ、動きベクトル226及び228は、セグメント214,216のそれぞれによって推定される。例えば、動きベクトル212は、セグメント206によって推定され、かつ、動きベクトル222及び224は、セグメント220、218のそれぞれによって推定される。
【００５２】
図2Cは、動きベクトル208, 224, 228, 238, 240, 244及び242に対して推定されるセグメント202, 216, 218, 230, 232,234及び236を線図的に示す。図2Cのツリー120は、トップダウン手法に従う方法の状態、すなわちツリーの階層の最低レベルを示す。ノード128, 130, 134,138, 140, 142, 144及び146は、動きベクトルが推定されるセグメントに対応する。図2Bと図2Cとを比較することによって、動きベクトルのより小さいセグメントへの分割セグメントの影響を、理解することができる。例えば、動きベクトル226は、セグメント214によって推定され、かつ、動きベクトル238及び240は、セグメント230,232のそれぞれによって推定される。動きベクトル222は、セグメント220によって推定され、かつ、動きベクトル242及び244は、セグメント236, 234のそれぞれによって推定される。
【００５３】
図3Aは、トップダウン手法のために設計されている動き推定器ユニット300の素子を線図的に示す。
【００５４】
動き推定器ユニット300は、
- 特定のセグメントの候補動きベクトルの集合を生成するための生成器310と、
- 各々の候補動きベクトルのマッチ・ペナルティに対して計算するための計算手段306と、
- マッチ・ペナルティに基づいて候補動きベクトルの集合から特定の動きベクトルを選択するための選択手段308と、
- 階層的なセグメンテーションを実行するように設計されている画像の各セグメントのツリーを生成するためのセグメンテーション手段302と、
- 生成器310を制御するために各セグメントのツリーを分析するための分析手段304とを含む。
【００５５】
動き推定器ユニット300の入力は、画像を含み、かつ、入力コネクタ312を備える。動き推定器ユニット300の出力は、セグメントの動きベクトルである。動き推定器ユニット300の動作は、以下の通りである。最初に、セグメンテーション手段302は、階層的なセグメンテーションを実行する。このセグメンテーションは、米国特許第5,867,605号明細書で説明されているように実行される。セグメンテーションの結果、セグメントのツリーとなる。ツリーのセグメントの動きベクトルは、トップダウン方向に再帰的にセグメントのツリーを処理することによって推定される。
【００５６】
これは、以下の手順によって行われる。すなわち、
- 適正な動きベクトルの推定を、セグメントが、まだ大きい、ツリーの高いレベルで始める。
【００５７】
- 満足な動きベクトルが、セグメントに対して見いだされない場合、動きベクトルは、このノードの全ての子に対して別々に推定される。満足な動きベクトルに対する判定基準では、特定の動きベクトルのマッチ・ペナルティが、規定の閾値より少ない。
【００５８】
- 前のステップは、満足な動きベクトルが得られるまで、再帰的に繰り返される。
【００５９】
このように、精度を犠牲にすることなく、マッチされるべきセグメントの数は、最小となる。動きベクトルを推定する工程は、満足な動きベクトルが得られるまで続ける。その結果、動きベクトルのみが、ツリーの相対的に高いレベルでのセグメントに対して推定されることになる。利点は、その工程が、最大で停止するので、ノイズの発生が最小となるセグメントが得られる。
【００６０】
図3Bは、ボトムアップ手法のために設計されている動き推定器ユニット301の素子を線図的に示す。この動き推定器ユニット301の大部分の素子は、図3Aで説明したように、動き推定器ユニット300のそれらに等しい。
【００６１】
候補動きベクトルの集合を生成するための第1の生成手段310は、
- 隣接セグメントの動きベクトルを含んでいる候補動きベクトルの初期リストを生成するための第2の生成手段303と、
- ツリー内で対応するノードの位置に従う候補動きベクトルの初期リストを順序付けするためのオーダー手段305と、
- 相対的に高い順序の候補動きベクトルに、候補動きベクトルの初期リストを限定するためのフィルタ307とを含む。
【００６２】
このツリーは、ボトムアップ手法において処理される。これは、ツリーのリーフ、すなわち最小セグメントに対する、候補動きベクトルの集合が、図1で説明したように、決定されるということを意味する。動きベクトルの集合が、特定のセグメントに対して決定されるときに、マッチ・ペナルティは、計算手段306によって計算される。その時、選択手段308は、マッチ・ペナルティに基づいて、候補動きベクトルの集合から特定の動きベクトルを選択する。
【００６３】
図4は、奥行き推定器ユニット400の素子を線図的に示す。
【００６４】
奥行き推定器ユニット400は、
- 特定のセグメントの候補動きベクトルの集合を生成するための第1の生成手段310と、
- 各々の候補動きベクトルのマッチ・ペナルティに対して、計算するための計算手段306と、
- マッチ・ペナルティに基づいて、候補動きベクトルの集合から特定の動きベクトルを選択するための選択手段308と、
- 階層的なセグメンテーションを実行するように設計されている画像のセグメントのツリーを生成するためのセグメンテーション手段302と、
- 第1の生成手段を制御するためにセグメントのツリーを分析するための分析手段304と、
- 特定の動きベクトルに基づいて特定セグメントの奥行きデータを計算するための奥行き計算手段402とを含む。奥行きデータは、スカラー量の奥行き値、又はスカラー量の奥行き値及びオブジェクトの位置決めを含んでいるかもしれない。
【００６５】
奥行き推定器ユニット400の入力は、入力コネクタ312に提供される画像と、入力コネクタ416に提供されるカメラ校正データとを備える。奥行き推定器ユニット400の出力は、セグメントに対する奥行き値である。奥行き推定器ユニット400の動作について説明する。最初に、階層的なセグメンテーションが、セグメンテーション手段302によって実行される。このセグメンテーションは、米国特許第5,867,605号に説明されているように、実行される。
【００６６】
セグメンテーションの結果は、シーンのオブジェクト又はオブジェクトの一部に対応するセグメントのツリーなる。特定のオブジェクトに対して、それが、ある範囲の対象値内の値を有する既定の起点（例えば、カメラ）に対する奥行きを有するものと仮定されている。この奥行きは、画像のオブジェクトの動きに関係する。これは、カメラに対するオブジェクトの動きが既知の場合、奥行きを、視差の規制で推定することができることを意味する。これは、奥行きを推定するためには、動きベクトルを計算しなければならないことを意味する。
【００６７】
奥行き推定方法は、1998年、オーストリアのアルプバッハでの、映像及び多次元信号処理研究会の議事録の、159〜162ページの論文「ブロック・マッチングに基づく信頼を用いている動きからの奥行き」に記載されている方法による。図4には、選択手段308が、奥行き計算手段402にセグメントの特定の動きベクトルを提供することが、記載されている。動き推定は、図3Aで説明したように、又は図3Bで説明したようにすることが出来る。
【００６８】
図5は、画像処理装置500の素子を線図的に示す。この画像処理装置500は、
- いくつかの処理が実行された後に、表示される画像を示している信号を受けるための受信手段501を含む。その信号は、アンテナ又はケーブルを介して受信される放送信号であるが、VCR（ビデオカセット録音装置）又はDigitalVersatile Disk（DVD）の類の記憶装置からの信号でもよい。
【００６９】
その信号は、入力コネクタ506に提供される。
【００７０】
- 図3A、図3Bのそれぞれと関連して説明したような、動き推定器ユニット300又は301を含む。
【００７１】
- 動き補償画像処理ユニット502を含む。
【００７２】
- 処理された画像を表示するための表示装置を含む。
【００７３】
動き補償画像処理ユニット502は、
- 非インターレース工程をサポートする。インターレースは、奇数番号又は偶数番号が交互に付された画像ラインに伝送するための共通映像放送手順である。非インターレースは、完全な垂直解像度を復元しようとする、すなわち、奇数ライン及び偶数ラインを、各々の画像に対して同時に有効にさせようとする。
【００７４】
- アップコンバーション工程をサポートする。元の入力画像の連続から、出力画像のより大きい連続が、計算される。出力画像は、2つの元の入力画像の間に時間的に位置する。
【００７５】
- 時間的ノイズ低減工程をサポートする。
【００７６】
動き補償画像処理ユニット502は、画像及びその入力としての動きベクトルを必要とする。例えば、レンズ状のスクリーンを有する三次元ディスプレイ装置の場合、奥行き値を、3D画像とするために用いることができる。
【００７７】
上記の実施例は、本発明に限定されるというよりはむしろ本発明を例示し、かつ、当業者は、添付の特許請求の範囲の範囲内において、別の実施例を設計することができるということに、留意されたい。請求項では、括弧の間で配置されるいかなる参照符号も、請求項を制限するように、構成されない。『含む』という用語は、請求項に記載されていない素子又はステップの存在を除外しない。ある要素の前にある「一つの(「a」又は「an」)」という用語は、そのような素子が複数存在することを除外するものではない。本発明は、幾つかの個別素子を含むハードウェアと、適切にプログラミングされているコンピュータとによって、実施することができる。いくつかの手段を列挙しているユニットの請求項では、これらの手段のいくつかを、ハードウェアの全く同一の部材によって具現化することができる。
【図面の簡単な説明】
【００７８】
【図１】8つのセグメント及び対応するツリーにセグメント化される画像を示す図である。
【図２Ａ】ツリーの階層の第2の最高レベルで、動きベクトルがトップダウン手法の場合推定されるセグメントを示す概略図である。
【図２Ｂ】ツリーの階層の第3の最高レベルで、動きベクトルがトップダウン手法の場合推定されるセグメントを示す概略図である。
【図２Ｃ】ツリーの階層の最低レベルで、動きベクトルがトップダウン手法の場合推定されるセグメントを示す概略図である。
【図３Ａ】下降型法のために設計される動き推定装置の素子を示す概略図である。
【図３Ｂ】ボトムアップ法のために設計される動き推定器ユニットの素子を示す概略図である。
【図４】奥行き推定器ユニットの素子を示す概略図である。
【図５】画像処理装置の素子を示す概略図である。
【符号の説明】
【００７９】
100 画像
102-114, 202-220 セグメント
116 特定の動きベクトル
118 候補動きベクトルの集合
120 ツリー
122-146 ノード
208, 210,212, 222, 224, 226,228, 238, 240, 242,244 動きベクトル
300,301 動き推定器ユニット
302 セグメンテーション手段
303 第2の生成手段
304 分析手段
305 オーダー手段
306 計算手段
307 フィルタ
308 選択手段
310 生成器（第1の生成手段）
312 入力コネクタ
400 奥行き推定器ユニット
402 奥行き計算手段
416 入力コネクタ
500 画像処理装置
501 受信手段
502 動き補償画像処理ユニット
506 入力コネクタ
【０００１】
本発明は、
- 特定のセグメントの候補動きベクトルの集合を生成するステップと、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するステップと、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するステップと、
を含む、画像の各セグメントの動き推定方法に関する。
【０００２】
さらに、本発明は、
- 特定のセグメントの候補動きベクトルの集合を生成するための生成器と、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
を含む、画像の各セグメントの動き推定のための動き推定器ユニットに関する。
【０００３】
さらに、本発明は、
- 特定のセグメントの候補動きベクトルの集合を生成するステップと、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するステップと、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するステップと、
- 前記特定の動きベクトルに基づく前記特定のセグメントの奥行きデータを計算するステップと、
を含む、画像の各セグメントの奥行き推定方法に関する。
【０００４】
さらに、本発明は、
- 特定のセグメントの候補動きベクトルの集合を生成するための生成器と、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
- 前記特定の動きベクトルに基づいて前記特定のセグメントの奥行きデータを計算するための奥行き計算手段と、
を含む画像の各セグメントの奥行き推定のための奥行き推定器ユニットに関する。
【０００５】
さらに、本発明は、
− 特定のセグメントの候補動きベクトルの集合を生成するための生成器と、
− 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
− マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
を含んでいる、
- 画像の各セグメントの動き推定のための動き推定器ユニットと、
- 動き補償画像処理ユニットと、
を含む、画像処理装置に関する。
【背景技術】
【０００６】
冒頭の段落に記載されている類の動き推定方法は、非特許文献1により知られている。
【０００７】
動き推定は、スキャンレートのアップコンバーション、非インターレース、及び時間的ノイズ低減のような、動き補償画像処理のための映像応用例において成功裡に使用されてきている。動き推定アルゴリズムのカテゴリは、「ブロック・マッチング」と称されている。ブロック・マッチングのアルゴリズムは、所定のブロック内の全ての画素が一様に移動すると仮定する反復最小化アルゴリズムである。そのブロックに対して、マッチ・ペナルティが、考えられる動きベクトル候補に対して最小にされる。マッチ・ペナルティは、例えば、絶対差分和（Sum of Absolute differences：SAD）又は平均二乗誤差（Mean Squared Error：MSE）としてもよい。通常、ブロックは、8x 8のピクセルである。
【０００８】
しかしながら、マッチ・ペナルティの最小化による動きベクトルの推定原理は、不規則な形状のセグメントに対しても作用する。その場合、動き推定／マッチ・ペナルティ計算は、セグメント・ベースで行われる。セグメントの境界が、明るさ又は色の不連続性となるかもしれない。このような場合には、セグメントを、シーンのオブジェクト、又はシーンのオブジェクトの一部とみなすことができる。
【０００９】
画像の各種のセグメントの最良の動きベクトルの検出方法では、検出速度は、セグメントの数、これらのセグメントの大きさ、及び各セグメントの考えられる候補動きベクトルの数に依存する。
【００１０】
検出精度は、2つのファクタに依存する。すなわち、
- 第1のファクタは、各セグメントの大きさである。その理由は、より大きいセグメントは、ノイズが発生しにくいからである。しかしながら、セグメントの大きさは、そのセグメントの動きが一定であるべきであるという事実によって限定される。それゆえに、各セグメントは、まだ同一の動きをしている最大領域と一致すべきであることが、好ましい。
【００１１】
- 第2のファクタは、候補動きベクトルの選択である。候補動きベクトルが限られた数しかテストされない場合、候補動きベクトルを正しく選択することは、極めて重要である。非特許文献1の場合、候補の集合には、いくつかのランダムな候補動きベクトルによって増補された、隣接ブロックの現在の動きベクトルが含まれる。隣接ブロックが、類似した動きをすることができるということは、前提条件として仮定されている。しかしながら、隣接ブロックは、それらが同一のオブジェクトに属している場合のみ、同一の動きをする可能性がある。それゆえに、同一のオブジェクトに属する可能性が無い候補動きベクトルを試みることは、計算作業を無駄にすることになる。時間及び計算作業が無駄になることが、公知の方法の問題点である。
【００１２】
動き推定方法のステップの後に、奥行き推定方法を得るための計算ステップを続けることができるということは公知である。静止シーンの一連の画像が、カメラによって既知の動きで撮影される際には、奥行き情報が、再現されるべきであると言う問題を、考察する。この一連の画像における全ての明らかな動きは、視差に起因する。一方のセグメントと他方のセグメントとの間の動きの違いは、奥行きの違いを示す。実際に、2つの連続する画像を分析することによって、時刻tでの所定の画像セグメントと時刻t+1でのその同一セグメントとの間の視差を、計算することができる。この視差は、シーンの異なった部分の動きに対応する。
【００１３】
カメラが移動する場合、フォアグラウンドのオブジェクトは、バックグラウンドのオブジェクトよりも大きく移動する。幾何学的な関係を適用することによって、奥行き情報を、動きから推論することができる。この概念は、非特許文献2によって説明されている。
【００１４】
本発明の第1の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の動き推定方法を提供することである。
【００１５】
本発明の第2の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の動き推定器ユニットを提供することである。
【００１６】
本発明の第3の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の奥行き推定方法を提供することである。
【００１７】
本発明の第4の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の奥行き推定器ユニットを提供することである。
【００１８】
本発明の第5の目的は、パフォーマンスが改良された冒頭の段落に記載されている類の画像処理装置を提供することである。
【００１９】
【特許文献１】
映像技術に対する回路とシステムのIEEE報告書のvol.3、no.5、1993年10月、ページ368-379の、G. de Haan et. al.による論文「三次元再帰的なサーチ・ブロック・マッチングの真の動き推定」
【特許文献２】
1998年、オーストリアのアルプバッハでの、映像及び多次元信号処理研究会の議事録の、159〜162ページのP. Wilinski及びK.van Overveldによる「ブロック・マッチングに基づく信任を用いた動きによる奥行き」
【発明の開示】
【課題を解決するための手段】
【００２０】
第1の本発明の目的は、動き推定方法が、さらに、
- 階層的なセグメンテーションを実行することによって画像の各セグメントのツリーを生成するステップと、
- 特定のセグメントの候補動きベクトルの集合の生成を制御するために各セグメントのツリーを分析するステップと、
を含むことにより、達成される。
【００２１】
階層的なセグメンテーションは、セグメンテーションのツリー構造により同一のオブジェクトに属しているセグメントの類似性に関する情報を提供する。ツリーは、最高レベルで、ルートと称される単一ノードを有する。ツリーの各々のノードは、次の高いレベルで一意の親を有する。各々のセグメントは、ツリーのノードに対応する。親セグメントは、子セグメントを有する。階層的にセグメンテーションを行う方法の例は、米国特許第5,867,605号から公知である。パフォーマンス、すなわち、動き推定方法の検出速度及び／又は検出精度は、2つの方法、すなわち、トップダウン及びボトムアップで、ツリーを用いることにより、改良することができる。いずれの場合においても、マッチ・ペナルティを、計算しなければならない候補ベクトルの数が、相対的に小さくなるという効果がある。
【００２２】
本発明の動き推定方法の一実施例では、ツリーのセグメントの動きベクトルは、セグメントのツリーを、トップダウン方向に再帰的に処理することによって推定される。これは、以下の手順によって行うことができる。すなわち、
- 適正な動きベクトルの推定を、セグメントがまだ大きいツリーの高いレベルから始める。
【００２３】
- セグメントに対して、満足な動きベクトルが見いだされない場合には、動きベクトルを、このノードの全ての子に対して、別々に推定する。
【００２４】
- 前のステップを、満足な動きベクトルが得られるまで、再帰的に繰り返す。
【００２５】
このようにして、検出精度を犠牲にすることなく、マッチすべきセグメントの数は、最小となる。満足な動きベクトルが得られるまで、動きベクトルの推定工程は続く。その結果、ツリーの相対的に高いレベルのセグメントに対して、動きベクトルのみが、推定されることになる。これの利点は、その工程が、最大で停止するので、ノイズの発生が最小となるセグメントが可能になることである。
【００２６】
本発明の動き推定方法の実施例の一変形例では、特定の動きベクトルのマッチ・ペナルティが満足されない場合、動きベクトルは、特定のセグメントに対応するツリーのノードの子に対応するセグメントについて、推定される。この停止判定基準の効果は、これが単純であることである。他の判定基準は、親セグメントの動きベクトルのマッチ・ペナルティと、子セグメントの動きベクトルのマッチ・ペナルティとの比較に基づくかもしれない。しかしながら、この後者の判定基準を適用することは、余分な計算を必要とする。
【００２７】
本発明の動き推定方法の一実施例では、ツリーのセグメントの動きベクトルは、セグメントのツリーを、ボトムアップ方向に処理することによって推定される。2つのセグメントの最小共通先祖は、ルートからこれらのセグメントの各々までの経路上にあるツリーの最低レベルノードとして、規定される。ツリーの低位置で最小共通先祖を有するセグメントは、ツリーの高位置で最小共通先祖を有するセグメントよりも、同一のオブジェクトに属する可能性がより高い。この情報は、関連する隣接値のみを考慮することによって、候補動きベクトル数を限定するために用いることができる。
【００２８】
本発明の動き推定方法の一実施例では、特定のセグメントの候補動きベクトルの集合を生成するステップは、
- 各隣接セグメントの動きベクトルを含んでいる候補動きベクトルの初期リストを生成するサブステップと、
- ツリー内で対応している各ノードの位置に従う候補動きベクトルの初期リストをオーダーするサブステップと、
- 相対的に高いオーダーの候補動きベクトルに、候補動きベクトルの初期リストを限定して、結果的に候補動きベクトルの集合となるサブステップとを含む。
【００２９】
隣接セグメントの動きベクトルは、重要度の順に置かれる。その重要度は、特定のセグメントと考察中の隣接セグメントとの最小共通先祖のツリーでの位置に関係する。ツリーの最小共通先祖の位置が低ければ低いほど、候補動きベクトルはより重要となる。
【００３０】
本発明の第2の目的は、動き推定器ユニットが、さらに、
- 階層的なセグメンテーションを実行するために設計されている、画像の各セグメントのツリーを生成するためのセグメンテーション手段と、
- 生成器を制御するために各セグメントのツリーを分析するための分析手段と、
を含むことにより、達成される。
【００３１】
動き推定器ユニットの変形例及びそのバリエーションは、説明する方法の変形例及びそのバリエーションに対応させても良い。
【００３２】
第3の本発明の目的は、奥行き推定方法が、さらに、
- 階層的なセグメンテーションを実行することによって画像の各セグメントのツリーを生成するステップと、
- 特定のセグメントの候補動きベクトルの集合の生成を制御するために各セグメントのツリーを分析するステップと、
を含むことにより、達成される。
【００３３】
本発明の第4の目的は、奥行き推定器ユニットが、さらに、
- 階層的なセグメンテーションを実行するために設計されている画像の各セグメントのツリーを生成するためのセグメンテーション手段と、
- 生成器を制御するために各セグメントのツリーを分析するための分析手段と、
を含むことにより、達成される。
【００３４】
本発明の第5の目的は、画像処理装置の動き推定器ユニットが、さらに、
- 階層的なセグメンテーションを実行するために設計されている画像の各セグメントのツリーを生成するためのセグメンテーション手段と、
- 生成器を制御するために各セグメントのツリーを分析するための分析手段と、
を含むことにより、達成される。
【発明を実施するための最良の形態】
【００３５】
本発明の動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置のこれら及び他の態様は、以下に記載される実施態様及び実施例により、かつ添付図面を参照して、明らかになり、かつ、説明されるであろう。
【００３６】
対応する参照番号は、全ての図で同一の意味を有する。
【００３７】
図1は、8つのセグメント102-114に階層的にセグメント化された画像100及びそれに対応するツリー120を示す。ツリー120は、13個のノード122-146を有する。ここで、ノード122は、ルートと称される。各々のノード122-146は、画像100のセグメント102-114に対応する。いくつかのノードに対して、それが、画像100のどのセグメントに対応するかが、示されている。例えば、ノード130は、セグメント102に対応する。参照符号として、便宜上A-Hが付されている。
【００３８】
次に、階層的なセグメンテーションの概念を、簡単に説明する。階層的なセグメンテーションとは、ある均等性判定基準を満足する画像100のセグメントを決定する、領域に基づくセグメンテーション技術である。その後、これらのセグメントは、セグメントの和集合が全画像を覆うように、例えば、均等性パラメータを連続的に変化させることによって増大させて、拡張される。そして、セグメンテーションが完了する。
【００３９】
基本的な手法は、以下のステップを含む。すなわち、
- 画素のまわりのセグメントの明るさの変動のような、均等性に対する判定基準が、選択される。これは、ある画素を、その画素のまわりの領域の明るさ変動に基づいて、初期のセグメントの一部とみなすことができるか否かが、決定されることを意味する。
【００４０】
- 均等性判定基準の各々の値に対して、最終セグメントを、計算することができる。しかしながら、これは、いくつかの既定の閾値に対して行うことが、好ましい。各々の閾値は、ツリーの階層のレベルに対応する。
【００４１】
- ツリー構造を、セグメントに対して構築する。閾値のある値に対して、セグメントが存在する場合、このセグメントは、閾値のより高い全ての値に対しても存在する点に留意されたい。閾値が、増加する場合、セグメントを、より大きく成長させることができ、かつ閾値に対する低い値に対して分離されているセグメントは、閾値のより高いレベルでマージされるかもしれない。しかしながら、このようにして、セグメントが作成されるので、閾値が増加しても、セグメントの大きさが減少し、又はセグメントが分割されるということは起こり得ない。
【００４２】
- オプションとして、このツリーを、分離されたセグメントを達成するために簡素化する。
【００４３】
- オプションとして、セグメントを、形態的演算によって成長させる。
【００４４】
自由パラメータは、均等性判定基準の閾値である。この判定基準は、非常に直感的な方法（例えば、特定の環境での明るさの変動、隣接画素の類似性等）で特定することができる。セグメントがマージされるべき場合、ツリー構造は、より大きいセグメントに到達するためにどのセグメントがマージされるべきかを、一意的に特定する。最後に、そのツリー自体が、セグメント間の構造関係を与える。
【００４５】
結果としてツリー120内で生じる、セグメントC 104の動きベクトル116の推定に対する階層的なセグメンテーションの利点を、以下に説明する。
【００４６】
ボトムアップ手法による動き推定方法は、以下のステップを含む。すなわち、
- セグメントC 104に対して、セグメントC 104の隣接セグメント（すなわち、セグメント102, 103, 106-114）の動きベクトルである、候補動きベクトルViの集合CSCを、生成する。
【００４７】
- 候補動きベクトルViを、ノードC 140と考察中の隣接セグメントとのツリー120での最小共通先祖位置に従って順序づける。例えば、ノード132は、ノードC140とノードD 142との最小共通先祖である。ツリーの最小共通先祖の位置が低ければ低いほど、候補動きベクトルViはより関連する。
【００４８】
- 候補動きベクトルの集合CSCを、最も関連するK動きベクトルViのみに限定する。
【００４９】
従来技術のシチュエーションでは、セグメントC 104の候補動きベクトルの集合は、CSC＝｛VA,VB,VD,VE,VF,VG,VH,VR｝（VRは、ランダムな動きベクトル）となるであろう。しかしながら、本発明によると、CSC＝｛VB,VD,VA,VR｝とすることが出来る。何故ならば、ツリー構造から、ノードC140と、例えば、ノードE 134との最小共通先祖122が、ツリー120内で高いレベルにあるので、セグメントC 104とセグメントE 108とが同一のオブジェクトに属しかつ同一の動きをする可能性が少なくなる状態を導出することが出来るからである。この場合、K=3が採用されている。このようにして、テストすべき候補動きベクトルの数を制限することが、可能となる。候補動きベクトルの選択が、セグメンテーションのツリー構造に基づくので、最も関連する隣接セグメントからの情報のみが用いられる。この結果、テストされない候補動きベクトルが、おそらく異なるオブジェクトの一部であるセグメントからのベクトルであり、したがって、類似の動きをする可能性が小さいので、効率が向上する。すなわち、正確さを失うことなく、テストすべき候補動きベクトルがより少なくなる。
【００５０】
図2Aは、動きベクトル208, 210及び212が推定されるセグメント202, 204及び206を線図的に示す。図2Aのツリー120は、トップダウン手法に従う方法での状態、すなわちツリーの階層の第2の最高レベルを示す。ノード124,126及び128は、動きベクトルが推定されるセグメントに対応する。トップダウン手法の原理は、図3Aと関連して説明される。
【００５１】
図2Bは、動きベクトル208, 222, 224, 226及び228が推定されるセグメント202, 216, 214, 218及び220を線図的に示す。図2Bのツリー120は、トップダウン手法に従う方法の状態、すなわちツリーの階層の第3の最高レベルを示す。ノード128,130, 132, 134及び135は、動きベクトルが推定されるセグメントに対応する。図2Aと図2Bとを比較することによって、動きベクトルが小さいセグメントへの分割セグメントの影響を、理解することができる。例えば、動きベクトル210は、セグメント204によって推定され、かつ、動きベクトル226及び228は、セグメント214,216のそれぞれによって推定される。例えば、動きベクトル212は、セグメント206によって推定され、かつ、動きベクトル222及び224は、セグメント220、218のそれぞれによって推定される。
【００５２】
図2Cは、動きベクトル208, 224, 228, 238, 240, 244及び242に対して推定されるセグメント202, 216, 218, 230, 232,234及び236を線図的に示す。図2Cのツリー120は、トップダウン手法に従う方法の状態、すなわちツリーの階層の最低レベルを示す。ノード128, 130, 134,138, 140, 142, 144及び146は、動きベクトルが推定されるセグメントに対応する。図2Bと図2Cとを比較することによって、動きベクトルのより小さいセグメントへの分割セグメントの影響を、理解することができる。例えば、動きベクトル226は、セグメント214によって推定され、かつ、動きベクトル238及び240は、セグメント230,232のそれぞれによって推定される。動きベクトル222は、セグメント220によって推定され、かつ、動きベクトル242及び244は、セグメント236, 234のそれぞれによって推定される。
【００５３】
図3Aは、トップダウン手法のために設計されている動き推定器ユニット300の素子を線図的に示す。
【００５４】
動き推定器ユニット300は、
- 特定のセグメントの候補動きベクトルの集合を生成するための生成器310と、
- 各々の候補動きベクトルのマッチ・ペナルティに対して計算するための計算手段306と、
- マッチ・ペナルティに基づいて候補動きベクトルの集合から特定の動きベクトルを選択するための選択手段308と、
- 階層的なセグメンテーションを実行するように設計されている画像の各セグメントのツリーを生成するためのセグメンテーション手段302と、
- 生成器310を制御するために各セグメントのツリーを分析するための分析手段304とを含む。
【００５５】
動き推定器ユニット300の入力は、画像を含み、かつ、入力コネクタ312を備える。動き推定器ユニット300の出力は、セグメントの動きベクトルである。動き推定器ユニット300の動作は、以下の通りである。最初に、セグメンテーション手段302は、階層的なセグメンテーションを実行する。このセグメンテーションは、米国特許第5,867,605号明細書で説明されているように実行される。セグメンテーションの結果、セグメントのツリーとなる。ツリーのセグメントの動きベクトルは、トップダウン方向に再帰的にセグメントのツリーを処理することによって推定される。
【００５６】
これは、以下の手順によって行われる。すなわち、
- 適正な動きベクトルの推定を、セグメントが、まだ大きい、ツリーの高いレベルで始める。
【００５７】
- 満足な動きベクトルが、セグメントに対して見いだされない場合、動きベクトルは、このノードの全ての子に対して別々に推定される。満足な動きベクトルに対する判定基準では、特定の動きベクトルのマッチ・ペナルティが、規定の閾値より少ない。
【００５８】
- 前のステップは、満足な動きベクトルが得られるまで、再帰的に繰り返される。
【００５９】
このように、精度を犠牲にすることなく、マッチされるべきセグメントの数は、最小となる。動きベクトルを推定する工程は、満足な動きベクトルが得られるまで続ける。その結果、動きベクトルのみが、ツリーの相対的に高いレベルでのセグメントに対して推定されることになる。利点は、その工程が、最大で停止するので、ノイズの発生が最小となるセグメントが得られる。
【００６０】
図3Bは、ボトムアップ手法のために設計されている動き推定器ユニット301の素子を線図的に示す。この動き推定器ユニット301の大部分の素子は、図3Aで説明したように、動き推定器ユニット300のそれらに等しい。
【００６１】
候補動きベクトルの集合を生成するための第1の生成手段310は、
- 隣接セグメントの動きベクトルを含んでいる候補動きベクトルの初期リストを生成するための第2の生成手段303と、
- ツリー内で対応するノードの位置に従う候補動きベクトルの初期リストを順序付けするためのオーダー手段305と、
- 相対的に高い順序の候補動きベクトルに、候補動きベクトルの初期リストを限定するためのフィルタ307とを含む。
【００６２】
このツリーは、ボトムアップ手法において処理される。これは、ツリーのリーフ、すなわち最小セグメントに対する、候補動きベクトルの集合が、図1で説明したように、決定されるということを意味する。動きベクトルの集合が、特定のセグメントに対して決定されるときに、マッチ・ペナルティは、計算手段306によって計算される。その時、選択手段308は、マッチ・ペナルティに基づいて、候補動きベクトルの集合から特定の動きベクトルを選択する。
【００６３】
図4は、奥行き推定器ユニット400の素子を線図的に示す。
【００６４】
奥行き推定器ユニット400は、
- 特定のセグメントの候補動きベクトルの集合を生成するための第1の生成手段310と、
- 各々の候補動きベクトルのマッチ・ペナルティに対して、計算するための計算手段306と、
- マッチ・ペナルティに基づいて、候補動きベクトルの集合から特定の動きベクトルを選択するための選択手段308と、
- 階層的なセグメンテーションを実行するように設計されている画像のセグメントのツリーを生成するためのセグメンテーション手段302と、
- 第1の生成手段を制御するためにセグメントのツリーを分析するための分析手段304と、
- 特定の動きベクトルに基づいて特定セグメントの奥行きデータを計算するための奥行き計算手段402とを含む。奥行きデータは、スカラー量の奥行き値、又はスカラー量の奥行き値及びオブジェクトの位置決めを含んでいるかもしれない。
【００６５】
奥行き推定器ユニット400の入力は、入力コネクタ312に提供される画像と、入力コネクタ416に提供されるカメラ校正データとを備える。奥行き推定器ユニット400の出力は、セグメントに対する奥行き値である。奥行き推定器ユニット400の動作について説明する。最初に、階層的なセグメンテーションが、セグメンテーション手段302によって実行される。このセグメンテーションは、米国特許第5,867,605号に説明されているように、実行される。
【００６６】
セグメンテーションの結果は、シーンのオブジェクト又はオブジェクトの一部に対応するセグメントのツリーなる。特定のオブジェクトに対して、それが、ある範囲の対象値内の値を有する既定の起点（例えば、カメラ）に対する奥行きを有するものと仮定されている。この奥行きは、画像のオブジェクトの動きに関係する。これは、カメラに対するオブジェクトの動きが既知の場合、奥行きを、視差の規制で推定することができることを意味する。これは、奥行きを推定するためには、動きベクトルを計算しなければならないことを意味する。
【００６７】
奥行き推定方法は、1998年、オーストリアのアルプバッハでの、映像及び多次元信号処理研究会の議事録の、159〜162ページの論文「ブロック・マッチングに基づく信頼を用いている動きからの奥行き」に記載されている方法による。図4には、選択手段308が、奥行き計算手段402にセグメントの特定の動きベクトルを提供することが、記載されている。動き推定は、図3Aで説明したように、又は図3Bで説明したようにすることが出来る。
【００６８】
図5は、画像処理装置500の素子を線図的に示す。この画像処理装置500は、
- いくつかの処理が実行された後に、表示される画像を示している信号を受けるための受信手段501を含む。その信号は、アンテナ又はケーブルを介して受信される放送信号であるが、VCR（ビデオカセット録音装置）又はDigitalVersatile Disk（DVD）の類の記憶装置からの信号でもよい。
【００６９】
その信号は、入力コネクタ506に提供される。
【００７０】
- 図3A、図3Bのそれぞれと関連して説明したような、動き推定器ユニット300又は301を含む。
【００７１】
- 動き補償画像処理ユニット502を含む。
【００７２】
- 処理された画像を表示するための表示装置を含む。
【００７３】
動き補償画像処理ユニット502は、
- 非インターレース工程をサポートする。インターレースは、奇数番号又は偶数番号が交互に付された画像ラインに伝送するための共通映像放送手順である。非インターレースは、完全な垂直解像度を復元しようとする、すなわち、奇数ライン及び偶数ラインを、各々の画像に対して同時に有効にさせようとする。
【００７４】
- アップコンバーション工程をサポートする。元の入力画像の連続から、出力画像のより大きい連続が、計算される。出力画像は、2つの元の入力画像の間に時間的に位置する。
【００７５】
- 時間的ノイズ低減工程をサポートする。
【００７６】
動き補償画像処理ユニット502は、画像及びその入力としての動きベクトルを必要とする。例えば、レンズ状のスクリーンを有する三次元ディスプレイ装置の場合、奥行き値を、3D画像とするために用いることができる。
【００７７】
上記の実施例は、本発明に限定されるというよりはむしろ本発明を例示し、かつ、当業者は、添付の特許請求の範囲の範囲内において、別の実施例を設計することができるということに、留意されたい。請求項では、括弧の間で配置されるいかなる参照符号も、請求項を制限するように、構成されない。『含む』という用語は、請求項に記載されていない素子又はステップの存在を除外しない。ある要素の前にある「一つの(「a」又は「an」)」という用語は、そのような素子が複数存在することを除外するものではない。本発明は、幾つかの個別素子を含むハードウェアと、適切にプログラミングされているコンピュータとによって、実施することができる。いくつかの手段を列挙しているユニットの請求項では、これらの手段のいくつかを、ハードウェアの全く同一の部材によって具現化することができる。
【図面の簡単な説明】
【００７８】
【図１】8つのセグメント及び対応するツリーにセグメント化される画像を示す図である。
【図２Ａ】ツリーの階層の第2の最高レベルで、動きベクトルがトップダウン手法の場合推定されるセグメントを示す概略図である。
【図２Ｂ】ツリーの階層の第3の最高レベルで、動きベクトルがトップダウン手法の場合推定されるセグメントを示す概略図である。
【図２Ｃ】ツリーの階層の最低レベルで、動きベクトルがトップダウン手法の場合推定されるセグメントを示す概略図である。
【図３Ａ】下降型法のために設計される動き推定装置の素子を示す概略図である。
【図３Ｂ】ボトムアップ法のために設計される動き推定器ユニットの素子を示す概略図である。
【図４】奥行き推定器ユニットの素子を示す概略図である。
【図５】画像処理装置の素子を示す概略図である。
【符号の説明】
【００７９】
100 画像
102-114, 202-220 セグメント
116 特定の動きベクトル
118 候補動きベクトルの集合
120 ツリー
122-146 ノード
208, 210,212, 222, 224, 226,228, 238, 240, 242,244 動きベクトル
300,301 動き推定器ユニット
302 セグメンテーション手段
303 第2の生成手段
304 分析手段
305 オーダー手段
306 計算手段
307 フィルタ
308 選択手段
310 生成器（第1の生成手段）
312 入力コネクタ
400 奥行き推定器ユニット
402 奥行き計算手段
416 入力コネクタ
500 画像処理装置
501 受信手段
502 動き補償画像処理ユニット
506 入力コネクタ
Claims (13)
- - 特定のセグメントの候補動きベクトルの集合を生成するステップと、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するステップと、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するステップと、
を含む、画像の各セグメントの動き推定方法において、
さらに、
- 階層的なセグメンテーションを実行することによって前記画像の前記各セグメントのツリーを生成するステップと、
- 前記特定のセグメントの候補動きベクトルの前記集合の前記生成を制御するために前記各セグメントの前記ツリーを分析するステップと、
を含むことを特徴とする動き推定方法。 - 前記ツリーの前記各セグメントの動きベクトルは、前記各セグメントの前記ツリーを、トップダウン方向に再帰的に処理することによって推定されることを特徴とする請求項1に記載の動き推定方法。
- 動きベクトルは、前記特定の動きベクトルのマッチ・ペナルティが満足されない場合に、前記特定のセグメントに対応している前記ツリーのノードの子に対応している各セグメントの中で推定されることを特徴とする請求項2に記載の動き推定方法。
- 前記ツリーの前記各セグメントの前記動きベクトルは、前記各セグメントの前記ツリーを、ボトムアップ方向に処理することによって推定されることを特徴とする請求項1に記載の動き推定方法。
- 前記特定のセグメントの候補動きベクトルの前記集合を生成する前記ステップは、
- 各隣接セグメントの動きベクトルを含んでいる候補動きベクトルの初期リストを生成するサブステップと、
- 前記ツリー内で前記対応している各ノードの位置に従って候補動きベクトルの前記初期リストを順序付けするサブステップと、
- 候補動きベクトルの前記初期リストを相対的に高い順序の候補動きベクトルに限定して、結果的に候補動きベクトルの前記集合を得るサブステップと、
を含むことを特徴とする請求項4に記載の動き推定方法。 - - 特定のセグメントの候補動きベクトルの集合を生成するための第1の生成手段と、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
を含む、画像の各セグメントの動き推定のための動き推定器ユニットにおいて、
さらに、
- 階層的なセグメンテーションを実行するために設計されている、前記画像の前記各セグメントのツリーを生成するためのセグメンテーション手段と、
- 前記第1の生成手段を制御するために前記各セグメントの前記ツリーを分析するための分析手段と、
を含むことを特徴とする動き推定器ユニット。 - 前記各セグメントの前記ツリーを、トップダウン方向に再帰的に処理することによって、前記ツリーの前記各セグメントの動きベクトルを推定するように設計されていることを特徴とする請求項6に記載の動き推定器ユニット。
- 前記特定の動きベクトルのマッチ・ペナルティが満足されない場合、前記特定のセグメントに対応している前記ツリーのノードの子に対応している各セグメントの動きベクトルを推定するために設計されていることを特徴とする請求項7に記載の動き推定器ユニット。
- 前記各セグメントの前記ツリーを、ボトムアップ方向に処理することによって前記ツリーの前記各セグメントの動きベクトルを推定するように設計されていることを特徴とする請求項6に記載の動き推定器ユニット。
- 前記特定のセグメントの候補動きベクトルの前記集合を生成するための第1の生成手段は、
- 各隣接セグメントの動きベクトルを含んでいる候補動きベクトルの初期リストを生成するための第2の生成手段と、
- 前記ツリー内で前記対応している各ノードの位置に従う候補動きベクトルの前記初期リストをオーダーするためのオーダー手段と、
- 相対的に高いオーダーの候補動きベクトルに、候補動きベクトルの前記初期リストを限定するためのフィルタと、
を含むことを特徴とする請求項9に記載の動き推定器ユニット。 - - 特定のセグメントの候補動きベクトルの集合を生成するステップと、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するステップと、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するステップと、
- 前記特定の動きベクトルに基づく前記特定のセグメントの奥行きデータを計算するステップと、
を含む、画像の各セグメントの奥行き推定方法において、
- 階層的なセグメンテーションを実行することによって前記画像の前記各セグメントのツリーを生成するステップと、
- 前記特定のセグメントの候補動きベクトルの前記集合の前記生成を制御するために前記各セグメントの前記ツリーを分析するステップと、
を含むことを特徴とする奥行き推定方法。 - - 特定のセグメントの候補動きベクトルの集合を生成するための第1の生成手段と、
- 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
- マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
- 前記特定の動きベクトルに基づいて前記特定のセグメントの奥行きデータを計算するための奥行き計算手段と、
を含む画像の各セグメントの奥行き推定のための奥行き推定器ユニットにおいて、
さらに、
- 階層的なセグメンテーションを実行することによって前記画像に対する前記各セグメントのツリーを生成するためのセグメンテーション手段と、
- 前記第1の生成手段を制御するために前記各セグメントの前記ツリーを分析するための分析手段と、
を含むことを特徴とする奥行き推定器ユニット。 - − 特定のセグメントの候補動きベクトルの集合を生成するための生成器と、
− 各々の候補動きベクトルのマッチ・ペナルティを計算するための計算手段と、
− マッチ・ペナルティに基づいて候補動きベクトルの前記集合から特定の動きベクトルを選択するための選択手段と、
を含んでいる、
- 画像の各セグメントの動き推定のための動き推定器ユニットと、
- 動き補償画像処理ユニットと、
を含む、画像処理装置において、
- 階層的なセグメンテーション方法を実行するために設計されている、前記画像の前記各セグメントのツリーを生成するためのセグメンテーション手段と、
- 前記生成器を制御するために前記各セグメントの前記ツリーを分析するための分析手段と、
を含むことを特徴とする動き推定ユニット。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01202615 | 2001-07-06 | ||
| PCT/IB2002/002446 WO2003005727A1 (en) | 2001-07-06 | 2002-06-21 | Methods of and units for motion or depth estimation and image processing apparatus provided with such motion estimation unit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004534336A true JP2004534336A (ja) | 2004-11-11 |
Family
ID=8180611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003511551A Ceased JP2004534336A (ja) | 2001-07-06 | 2002-06-21 | 動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7039110B2 (ja) |
| EP (1) | EP1407613A1 (ja) |
| JP (1) | JP2004534336A (ja) |
| KR (1) | KR20030029933A (ja) |
| CN (1) | CN1284373C (ja) |
| WO (1) | WO2003005727A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013255275A (ja) * | 2009-12-08 | 2013-12-19 | Samsung Electronics Co Ltd | 任意的なパーティションを利用した動き予測によるビデオ符号化方法及びその装置、任意的なパーティションを利用した動き補償によるビデオ復号化方法及びその装置 |
| JP2021182267A (ja) * | 2020-05-19 | 2021-11-25 | 日本製鉄株式会社 | トラッキング装置 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005517257A (ja) * | 2002-02-06 | 2005-06-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメント化装置及び方法 |
| KR101038452B1 (ko) | 2003-08-05 | 2011-06-01 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 멀티뷰 이미지 생성 |
| US7522749B2 (en) * | 2005-04-08 | 2009-04-21 | Microsoft Corporation | Simultaneous optical flow estimation and image segmentation |
| US7769240B2 (en) * | 2007-02-07 | 2010-08-03 | At&T Intellectual Property, I, L.P. | Methods and systems for image processing |
| EP2174511B1 (en) * | 2007-07-26 | 2011-06-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for depth-related information propagation |
| KR100918862B1 (ko) * | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
| CN100592338C (zh) * | 2008-02-03 | 2010-02-24 | 四川虹微技术有限公司 | 多视角视频图像深度搜索方法及深度估计方法 |
| TW201028964A (en) * | 2009-01-23 | 2010-08-01 | Ind Tech Res Inst | Depth calculating method for two dimension video and apparatus thereof |
| TW201030682A (en) * | 2009-02-12 | 2010-08-16 | Sunplus Technology Co Ltd | Motion vector estimator for reducing film judder |
| KR101504887B1 (ko) | 2009-10-23 | 2015-03-24 | 삼성전자 주식회사 | 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치 |
| CN101702751B (zh) * | 2009-11-03 | 2011-07-27 | 上海富瀚微电子有限公司 | 一种视频降噪处理中的三维块匹配方法 |
| AU2013201503B2 (en) * | 2009-12-08 | 2014-06-12 | Samsung Electronics Co., Ltd | Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition |
| US20130286017A1 (en) * | 2010-05-07 | 2013-10-31 | David MARIMÓN SANJUAN | Method for generating depth maps for converting moving 2d images to 3d |
| KR101678654B1 (ko) * | 2010-06-11 | 2016-11-22 | 에스케이 텔레콤주식회사 | 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치 |
| CN102572295B (zh) * | 2010-12-21 | 2014-04-02 | 新奥特（北京）视频技术有限公司 | 一种特效图调度方法 |
| CN102307310B (zh) * | 2011-08-23 | 2014-10-29 | 威盛电子股份有限公司 | 影像深度估计方法及其装置 |
| US9041773B2 (en) * | 2011-11-22 | 2015-05-26 | Corel Corporation | Conversion of 2-dimensional image data into 3-dimensional image data |
| CN102819586B (zh) * | 2012-07-31 | 2015-10-07 | 北京网康科技有限公司 | 一种基于高速缓存的url分类方法和设备 |
| KR20140029689A (ko) * | 2012-08-29 | 2014-03-11 | 삼성전자주식회사 | 영상 처리 시스템에서 움직임 추정 장치 및 방법 |
| US10257506B2 (en) | 2012-12-28 | 2019-04-09 | Samsung Electronics Co., Ltd. | Method of obtaining depth information and display apparatus |
| KR101484282B1 (ko) | 2013-04-02 | 2015-01-22 | 삼성전자주식회사 | 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치 |
| KR101677275B1 (ko) * | 2014-10-29 | 2016-11-17 | 삼성전자주식회사 | 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치 |
| KR101677276B1 (ko) * | 2015-01-19 | 2016-11-17 | 삼성전자주식회사 | 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치 |
| CN105809717B (zh) * | 2016-03-10 | 2019-01-11 | 上海玮舟微电子科技有限公司 | 一种深度估计方法、系统及电子设备 |
| KR101867597B1 (ko) * | 2017-09-22 | 2018-06-14 | 삼성전자주식회사 | 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치 |
| KR102006804B1 (ko) * | 2018-06-07 | 2019-08-02 | 삼성전자주식회사 | 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03256485A (ja) * | 1990-03-06 | 1991-11-15 | Victor Co Of Japan Ltd | 動きベクトル検出回路 |
| AU6099594A (en) * | 1993-02-03 | 1994-08-29 | Qualcomm Incorporated | Interframe video encoding and decoding system |
| US5608458A (en) * | 1994-10-13 | 1997-03-04 | Lucent Technologies Inc. | Method and apparatus for a region-based approach to coding a sequence of video images |
| US5929940A (en) * | 1995-10-25 | 1999-07-27 | U.S. Philips Corporation | Method and device for estimating motion between images, system for encoding segmented images |
| WO1997017797A2 (en) * | 1995-10-25 | 1997-05-15 | Sarnoff Corporation | Apparatus and method for quadtree based variable block size motion estimation |
| WO1997016030A1 (en) * | 1995-10-25 | 1997-05-01 | Philips Electronics N.V. | Segmented picture coding method and system, and corresponding decoding method and system |
| US6766037B1 (en) * | 1998-10-02 | 2004-07-20 | Canon Kabushiki Kaisha | Segmenting moving objects and determining their motion |
-
2002
- 2002-06-21 WO PCT/IB2002/002446 patent/WO2003005727A1/en not_active Application Discontinuation
- 2002-06-21 EP EP02733174A patent/EP1407613A1/en not_active Withdrawn
- 2002-06-21 CN CNB028134745A patent/CN1284373C/zh not_active Expired - Fee Related
- 2002-06-21 KR KR10-2003-7003337A patent/KR20030029933A/ko not_active Application Discontinuation
- 2002-06-21 JP JP2003511551A patent/JP2004534336A/ja not_active Ceased
- 2002-07-01 US US10/186,653 patent/US7039110B2/en not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013255275A (ja) * | 2009-12-08 | 2013-12-19 | Samsung Electronics Co Ltd | 任意的なパーティションを利用した動き予測によるビデオ符号化方法及びその装置、任意的なパーティションを利用した動き補償によるビデオ復号化方法及びその装置 |
| JP2013255274A (ja) * | 2009-12-08 | 2013-12-19 | Samsung Electronics Co Ltd | 任意的なパーティションを利用した動き予測によるビデオ符号化方法及びその装置、任意的なパーティションを利用した動き補償によるビデオ復号化方法及びその装置 |
| US8885724B2 (en) | 2009-12-08 | 2014-11-11 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition |
| US8885725B2 (en) | 2009-12-08 | 2014-11-11 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition |
| US8885723B2 (en) | 2009-12-08 | 2014-11-11 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition |
| US8938006B2 (en) | 2009-12-08 | 2015-01-20 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition |
| US9025667B2 (en) | 2009-12-08 | 2015-05-05 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition |
| US9294780B2 (en) | 2009-12-08 | 2016-03-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition |
| US10448042B2 (en) | 2009-12-08 | 2019-10-15 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition |
| JP2021182267A (ja) * | 2020-05-19 | 2021-11-25 | 日本製鉄株式会社 | トラッキング装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1407613A1 (en) | 2004-04-14 |
| CN1284373C (zh) | 2006-11-08 |
| CN1522542A (zh) | 2004-08-18 |
| US7039110B2 (en) | 2006-05-02 |
| WO2003005727A1 (en) | 2003-01-16 |
| KR20030029933A (ko) | 2003-04-16 |
| US20030007667A1 (en) | 2003-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004534336A (ja) | 動きまたは奥行き推定方法及び推定ユニット、並びにこのような動き推定ユニットを備える画像処理装置 | |
| US8130837B2 (en) | Method and apparatus for determining motion between video images | |
| US8929451B2 (en) | External vectors in a motion estimation system | |
| CN1846445B (zh) | 基于遮蔽检测对像素的时间插值 | |
| US7519230B2 (en) | Background motion vector detection | |
| EP0739129A2 (en) | A system and method for creating high-quality stills from interlaced video images | |
| EP1587032A1 (en) | Image processing apparatus and method, recording medium, and program | |
| US20070092111A1 (en) | Motion vector field re-timing | |
| US20060045365A1 (en) | Image processing unit with fall-back | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| US7382899B2 (en) | System and method for segmenting | |
| KR20040050906A (ko) | 모션 추정을 위한 장치 및 방법 | |
| KR20050057707A (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| US6925124B2 (en) | Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit | |
| US20050226462A1 (en) | Unit for and method of estimating a motion vector | |
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| US10225587B1 (en) | Motion estimation method for frame rate converter and video processor using the same | |
| JP5014987B2 (ja) | ビデオモード検出による動き補償 | |
| KR20040078690A (ko) | 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정 | |
| Kim et al. | Fast local motion-compensation algorithm for video sequences with brightness variations | |
| JP2007527139A (ja) | 動き補償画像信号の補間 | |
| JP2005004770A (ja) | グループ化による映画映像検出方法及び装置 | |
| KR20050023122A (ko) | 세그멘팅을 위한 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050609 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081031 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081110 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20081215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20090728 |