JP2016100901A - 映像処理方法及び装置 - Google Patents

Abstract

【課題】 映像処理方法及び装置を提供する。
【解決の手段】映像処理方法及び装置が開示される。一実施形態に係る装置は、映像に含まれたホールを復元するために、映像内の類似形態の分布を定義する特性を用いる。実施形態は、映像内の類似形態の分布を定義する特性を用いることで、ホールの復元のための演算の複雑度を減少させる。
【選択図】 図１

Description

以下の実施形態は、映像処理方法及び装置に関し、例えば映像に含まれたホールを復元する技術に関する。

制限された数の入力視点のみを生成して、入力視点を送信された映像処理装置が入力視点を用いて多視点映像を生成する入力視点において、前景オブジェクトによってオクルージョン領域は、多視点映像におけるホールとして表われる。

実施形態は、映像に含まれたホールを復元する技術を提供することにある。

一側面に係る映像処理方法は、第１映像内の類似形態の分布を定義する特性を取得するステップと、前記特性に基づいて第２映像に含まれたホールを復元するステップとを含む。前記特性は、前記第１映像の背景に含まれた構造情報を含んでもよい。前記第１映像と前記第２映像は同一の映像であってもよく、異なる映像であってもよい。

実施形態は、映像に含まれるホールを復元する技術を提供することができる。

一実施形態に係る映像処理装置の動作を説明する図である。 一実施形態に係るホール復元方法を説明する図である。 一実施形態に係るホール復元方法を説明する図である。 一実施形態に係るホール復元方法を説明する図である。 ホール復元方法が適用される実施形態を説明する図である。 ホール復元方法が適用される実施形態を説明する図である。 一実施形態に係る類似形態の分布特性を検出する方法を説明する図である。 実施形態に係る映像に含まれた背景の構造情報により生成される類似形態の分布特性を説明する図である。 実施形態に係る映像に含まれた背景の構造情報により生成される類似形態の分布特性を説明する図である。 実施形態に係る映像に含まれた背景の構造情報により生成される類似形態の分布特性を説明する図である。 一実施形態に係るレイヤー別の類似形態の分布特性を説明する図である。 一実施形態に係るレイヤー別の類似形態の分布特性を用いてホールを復元する方法を説明する図である。 一実施形態に係る領域別の類似形態の分布特性を用いてホールを復元する方法を説明する図である。 一実施形態に係る動画のちらつきを防止する方法を説明する図である。 一実施形態に係る映像処理方法を示した動作フローチャートである。 一実施形態に係る映像処理装置を示すブロック図である。

以下、実施形態が添付された図面を参照して詳細に説明する。各図面で提示された同一の参照符号は同一の部材を示す。以下で説明する実施形態は、３次元のビュー合成（３Ｄ ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ）のためのホールを復元するのに用いてもよい。実施形態は、制限された数の入力視点から任意視点を生成するのに適用されてもよい。例えば、実施形態は、オートステレオスコピック３Ｄディスプレイのための多視点映像を生成するのに適用されてもよい。また、実施形態は、ユーザが自由に動きながら観測できる自由視点表示のための仮想の任意視点映像を生成するのにも適用されてもよい。

図１は、一実施形態に係る映像処理装置の動作を説明する図である。図１を参照すると、一実施形態に係る映像処理装置１１０は、映像１２０に含まれたホール１２１を復元する。映像処理装置１１０は、ハードウェアモジュール、ソフトウェアモジュール、又は、これらの組合せで実現してもよい。映像処理装置１１０は、映像を処理する装置として、例えばサーバ、パーソナルコンピュータ、ノートコンピュータ、タブレットＰＣ、スマートフォン、ウェアラブルデバイスなどの様々なコンピュータ装置を含んでもよい。

映像処理装置１１０は、映像内の類似形態が分布する特性に該当する類似形態の分布特性１３０を用いて映像１２０に含まれたホール１２１を復元する。類似形態の分布特性１３０は、映像内の類似形態の分布を定義する特性であってもよい。類似形態の分布特性１３０は、映像の背景に含まれた構造情報を含んでもよい。類似形態の分布特性１３０は、映像内の類似形態が繰り返される特性である。映像処理装置１１０は、類似形態の分布特性１３０を用いることによって、背景の構造情報が保持されるようにホール１２１を復元してもよい。出力映像１４０で復元されたホールの部分は、隣接した背景と自然な視感的特性とを提供してもよい。ホールの復元は、ホールのレンダリングと呼んでもよい。

背景の構造情報は、背景に含まれた構造的形状と関連する情報である。ここで、構造的形状は、一部分を用いて他の部分を予測できる構造を有する形状を意味する。例えば、構造的形状は、繰り返しパターンを有する形状を含んでもよい。

以下で詳細に説明するが、映像処理装置１１０は、裸眼３Ｄディスプレイのために入力映像から多視点映像を生成する技術に適用されてもよい。例えば、制限された数の入力映像から複数の任意視点映像を生成することになると、入力映像における前景によって遮られた背景の領域が新しい視点の映像においてホールとして表れる。映像処理装置１１０は、多視点映像の生成中に発生するホールを復元するのに適用されてもよい。

図２は、一実施形態に係るホール復元方法を説明する図である。図２を参照すると、一実施形態に係る類似形態の分布特性に応じてホールの復元のために探索する領域が変わる。類似形態の分布特性は、複数のポイントを含んでもよい。類似形態の分布特性に含まれたポイントそれぞれは、映像内の任意の領域と類似形態を有する可能性が高い領域との相対的位置情報を提供する。映像処理装置は、ホールの復元のために、映像全体をスキャンする代わりに類似形態の分布特性２１１により指し示められる候補領域だけを探索してもよい。そのため、ホールの復元のための演算の複雑度が減少する可能性がある。

映像処理装置は、復元対象になる領域の復元ブロックを復元するために他の領域に該当する候補ブロックを探索してもよい。映像処理装置は、類似形態の分布特性に基づいて、復元ブロックを復元するのに利用可能な候補ブロックを決定してもよい。映像処理装置は、決定される候補ブロックを用いて復元ブロックを復元してもよい。

復元ブロックは、ホールの境界に位置する。例えば、復元ブロックの一部は、映像情報を含み、復元ブロックの残りの一部は、ホールを含んでもよい。映像処理装置は、復元ブロックの一部に含まれた映像情報と候補ブロックに含まれた映像情報とを比較することによって、復元ブロックを復元するために用いられる最適候補ブロックを決定してもよい。映像処理装置は、決定される最適候補ブロックに含まれた映像情報を用いて復元ブロックに含まれたホールを復元してもよい。

一例として、第１ケース２１０における類似形態の分布特性２１１は、原点を中心としてｙ軸方向に配置されたポイントを含んでもよい。復元ブロック２１５に含まれたホールを復元する場合を仮定すると、映像処理装置は、類似形態の分布特性２１１に基づいて復元ブロック２１５から上に配置された第１候補ブロック２１７と復元ブロック２１５から下に配置された第２候補ブロック２１８とを探索することができる。映像処理装置は、復元ブロック２１５の一部に含まれた映像情報と候補ブロックに含まれた映像情報とを比較してもよい。復元ブロック２１５の一部に含まれた映像情報と第１候補ブロック２１７に含まれた映像情報とが一致するため、映像処理装置は、第１候補ブロック２１７を最適候補ブロックとして選択することができる。映像処理装置は、第１候補ブロック２１７を用いて復元ブロック２１５の残りの一部に含まれたホールを復元してもよい。

他の例として、第２ケース２２０における類似形態の分布特性２２１は、原点を中心として対角線方向に配置されたポイントを含んでもよい。この場合、映像処理装置は、類似形態の分布特性２２１に基づいて、復元ブロック２２５から対角線方向に配置された候補ブロック２２７、２２８を探索することができる。映像処理装置は、候補ブロック２２７を最適候補ブロックとして選択し、候補ブロック２２７を用いて復元ブロック２２５に含まれたホールを復元してもよい。

更なる例として、第３ケース２３０における類似形態の分布特性２３１は、原点を中心として様々な方向に配置されたポイントを含んでもよい。この場合、映像処理装置は、類似形態の分布特性２３１に基づいて、復元ブロック２３５から様々な方向に配置された候補ブロックを探索することができる。映像処理装置は、最適候補ブロックを選択し、選択された最適候補ブロックを用いて復元ブロック２３５に含まれたホールを復元してもよい。複数の最適候補ブロックが選択される場合、映像処理装置は、選択される最適候補ブロックに含まれた映像情報を組合せることによって復元ブロック２３５に含まれたホールを復元することができる。

実施形態は、最適候補ブロックを探すために、映像全体を探索する代わりに類似形態の分布特性に応じて指し示められる候補ブロックだけ探索することによって、演算量を減少させることができる。また、実施形態は、映像全体を探索する過程で発生するエラーによる画質劣化をも減少させることができる。

映像処理装置は、グローバル最適化方法を用いてホールを復元してもよい。より具体的には、映像処理装置は、ホールに含まれた画素それぞれを復元するとき、最適候補ブロックから得た画素値に関するデータ要素と隣接の画素の類似度に関する柔軟要素とを用いてグローバル最適化を行ってもよい。

図３及び図４は、ホール復元方法が適用される実施形態を説明する図である。図３を参照すると、一実施形態に係る映像処理装置は、視点生成モジュール３２０及びホール復元モジュール３３０を含んでもよい。視点生成モジュール３２０及びホール復元モジュール３３０は、それぞれハードウェアモジュール、ソフトウェアモジュール、及びこれらの組合せで実現してもよい。

視点生成モジュール３２０は、Ｎ個（Ｎは、正の整数）のビュー３１０を受信してもよい。Ｎ個のビュー３１０は、それぞれ互いに異なる視点に該当する映像であってもよい。視点生成モジュール３２０は、ビュー３１０に対応する視差情報又は奥行き情報を取得してもよい。

一例として、視点生成モジュール３２０は、ビュー３１０に対応する視差情報又は奥行き情報をビュー３１０のように受信してもよい。各画素の視差情報又は奥行き情報は、それぞれ視差マップ又は奥行きマップと表現する。視点生成モジュール３２０は、色画像３１１と奥行き画像３１２を受信してもよい。奥行き画像３１２は、色画像３１１の画素に対応する奥行き情報を含む映像である。他の例として、ビュー３１０の個数が複数の場合、視点生成モジュール３２０は、ビュー３１０から視差情報又は奥行き情報を生成することができる。視点生成モジュール３２０は、ステレオマッチング方法などを用いて視差情報又は奥行き情報を生成してもよい。

視点生成モジュール３２０は、視差情報又は奥行き情報に基づいてビュー３１０から新しいビューを生成してもよい。新しいビューは、ビュー３１０の視点と異なる視点に該当する映像であってもよい。この場合、ビュー３１０は、新しいビューを生成するための基準映像である。

視点生成モジュール３２０は、ビュー３１０に含まれた画素を奥行きに沿って移動させることによって、新しいビューを生成してもよい。例えば、視点生成モジュール３２０は、ビュー３１０の奥行き情報に基づいてビュー３１０の画素を新しいビューの視点に対応する位置で投影させてもよい。この場合、ビュー３１０の画素のうち奥行き値が小さい画素であるほど長く移動し、奥行き値が大きい画素であるほど短く移動することができる。

ビュー３１０の画素が奥行き値により移動する距離が変わるため、新しいビューを生成する過程でホールが生成されてもよい。ビュー３１０における前景により遮られた背景の領域が新しいビューにおいてホールになる可能性がある。

例えば、ビュー３２１は、ビュー３１１の視点より左側に位置する視点に該当する映像である。ビュー３２１を生成するために、視点生成モジュール３２０は、前景に該当するオブジェクトを右側へ移動させることができる。そのため、ビュー３１１における前景によって遮られた背景の領域中の一部がビュー３２１においてホールになり得る。また、ビュー３２２は、ビュー３１１の視点より右側に位置する視点に該当する映像である。ビュー３２２を生成するために、視点生成モジュール３２０は、前景に該当するオブジェクトを左側へ移動させることができる。そのため、ビュー３１１における前景によって遮られた背景の領域中の一部がビュー３２２においてホールになり得る。

ホール復元モジュール３３０は、類似形態の分布特性を用いて新しいビューに含まれたホールを復元する。ビュー３３１は、ビュー３２１に含まれたホールが復元された映像であってもよく、ビュー３３２は、ビュー３２２に含まれたホールが復元された映像であってもよい。ホール復元モジュール３３０の動作については、図２を参照して前述した事項がそのまま適用されるため、より詳細な説明は省略する。類似形態の分布特性は、ビュー３１０又は新しいビューを分析することによって生成されてもよい。類似形態の分布特性の生成方法に関するより詳細な事項は後述する。図３の実施形態により、Ｎ個のビュー３１０からＭ個（Ｍは、Ｎより大きい整数）のビュー３４０が生成されてもよい。

図４を参照すると、一実施形態に係る映像処理装置は、基準ビュー生成モジュール４２０、ホール予測モジュール４３０、ホール復元モジュール４４０、及び復元情報分配モジュール４５０を含んでもよい。基準ビュー生成モジュール４２０、ホール予測モジュール４３０、ホール復元モジュール４４０、及び復元情報分配モジュール４５０は、それぞれハードウェアモジュール、ソフトウェアモジュール、及びこれらの組合せで実現してもよい。

基準ビュー生成モジュール４２０は、互いに異なる視点に該当するＮ個（Ｎは、正の整数）のビュー４１０を受信してもよい。例えば、Ｎ個のビュー４１０は、左目の視点映像に該当する左側ビュー４１１及び右目の視点画像に該当する右側ビュー４１２を含むステレオ画像であってもよい。

基準ビュー生成モジュール４２０は、ビュー４１０から基準ビューを生成する。基準ビューは、基準視点に該当する映像である。基準視点は、入力視点の中間視点、又は、生成される視点の中間視点などとして予め決定されてもよい。例えば、基準ビュー生成モジュール４２０は、ステレオ画像から中間視点のビュー４２１を生成するすることができる。

中間視点のビュー４２１は、実際にホールを含めない場合がある。例えば、左側ビュー４１１を基準として中間視点のビュー４２１を生成する場合、左側ビュー４１１の前景に該当するオブジェクトは、左側へ移動することができる。この場合、オブジェクトの右側にホールが生成され得る。オブジェクトの右側に生成されるホールは、右側ビュー４１２を用いて復元されてもよい。反対に、右側ビュー４１２を基準として中間視点のビュー４２１を生成する場合、右側ビュー４１２の前景に該当するオブジェクトは、右側へ移動することができる。この場合、オブジェクトの左側にホールが生成され得る。オブジェクトの左側に生成されるホールは、左側ビュー４１１を用いて復元されてもよい。

基準ビュー生成モジュール４２０は、基準ビューに対応する視差情報又は奥行き情報を取得してもよい。例えば、基準ビュー生成モジュール４２０は、左側ビュー４１１と右側ビュー４１２をステレオマッチングすることによってステレオ画像の視差情報又は奥行き情報を生成することができる。基準ビュー生成モジュール４２０は、ステレオ画像から中間視点のビュー４２１を生成するのと同一の方法で、ステレオ画像の視差情報又は奥行き情報から中間視点のビュー４２１の視差情報又は奥行き情報を生成してもよい。視差情報又は奥行き情報は、視差マップ又は奥行きマップ４２２の形態と表現されてもよい。

ホール予測モジュール４３０は、基準ビューを用いて多視点に該当するビューが生成される場合、発生可能なホールを予測する。例えば、ホール予測モジュール４３０は、中間視点のビュー４２１を用いて中間視点から左側に位置する視点に該当するビュー４３１が生成される場合、発生可能なホールを予測することができる。ビュー４３１の視点は、左側ビュー４１１より左側に位置する視点である。また、ホール予測モジュール４３０は、中間視点のビュー４２１を用いて中間視点から右側に位置する視点に該当するビュー４３２が生成される場合、発生可能なホールを予測することができる。ビュー４３２の視点は、右側ビュー４１２よりさらに右側に位置する視点であってもよい。

ホール予測モジュール４３０は、予測されたホールを基準ビューに含ませてもよい。例えば、ホール予測モジュール４３０は、予測されたホールを中間視点のビュー４２１に含ませることによって、予測されたホールを全て含むホール映像４３３を生成してもよい。

ホール復元モジュール４４０は、類似形態の分布特性を用いて、予測されたホールを復元する。例えば、ホール復元モジュール４４０は、ホール映像４３３に含まれたホールを復元することによって復元情報４４１を生成してもよい。ホール復元モジュール４４０の動作については、図２を参照して前述した事項がそのまま適用されるため、より詳細な説明は省略する。類似形態の分布特性は、基準ビュー又はホール映像を分析することによって生成されてもよい。類似形態の分布特性の生成方法に関するより詳細な事項は後述する。

復元情報分配モジュール４５０は、予測されたホールの復元情報を多視点映像で分配する。多視点映像それぞれに含まれたホールは、互いに異なるため、多視点映像それぞれに含まれたホールを復元するために必要な復元情報も互いに異なる。復元情報分配モジュール４５０は、多視点映像それぞれに含まれたホールを復元するために必要な復元情報を該当する視点映像に分配してもよい。例えば、復元情報分配モジュール４５０は、中間視点より左側に位置する視点に該当するビュー４３１に復元情報４５１を分配し、中間視点より右側に位置する視点に該当するビュー４３２に復元情報４５２を分配することができる。

図４の実施形態により、Ｎ個のビュー４１０からＭ個（Ｍは、Ｎより大きい整数）のビュー４６０が生成される。例えば、ビュー４６１は、ビュー４３１が復元された映像であり、ビュー４６２は、ビュー４３２が復元された映像である。

図３と図４によって上述したように、ホールを含まない映像を変換することによってホールを含む映像が生成される。映像の変換は、視点変更のために前景に該当するオブジェクトを投影させる方法以外にも様々な方法を含んでもよい。例えば、映像内の特定オブジェクトを削除する方法などによってもホールが生成されてもよい。

図５は、一実施形態に係る類似形態の分布特性を検出する方法を説明する図である。図５を参照すると、映像処理装置は、エッジ検出モジュール５２０、エッジ方向性検出モジュール５３０、主方向検出モジュール５４０、サンプリングモジュール５５０、及び類似形態検出モジュール５６０を含んでもよい。エッジ検出モジュール５２０、エッジ方向性検出モジュール５３０、主方向検出モジュール５４０、サンプリングモジュール５５０、及び類似形態検出モジュール５６０それぞれは、ソフトウェアモジュール、ハードウェアモジュール、又は、これらの組合せで実現してもよい。

エッジ検出モジュール５２０は、映像５１０からエッジを検出する。映像５１０は、ホールを含む映像又はホールを含まない映像であってもよい。映像５１０がホールを含む映像である場合、エッジ検出モジュール５２０は、ホールを除いた残りの領域でエッジを検出する。ホールを満たすために用いられる領域は、ホールが発生した場所に元々位置していた前景領域より奥行き値が大きい背景領域である。エッジ検出モジュール５２０は、前景領域より奥行き値が大きい背景領域でエッジを検出してもよい。エッジ検出モジュール５２０は、映像５１０からエッジを検出するために、一般的なエッジ検出方法を用いてもよい。

エッジ方向性検出モジュール５３０は、エッジの方向性を検出する。例えば、エッジ方向性検出モジュール５３０は、エッジの傾きを検出することができる。エッジ方向性検出モジュール５３０は、エッジ検出モジュール５２０によって検出されたエッジを予め決定された基準により分割してもよい。例えば、エッジ方向性検出モジュール５３０は、不連続的なポイントでエッジを分割したり、傾きの変化量が非線形であるポイントでエッジを分割してもよい。前述した事項は、例示的な事項に過ぎず、エッジを分割する基準は、多様に変形されてもよい。エッジ方向性検出モジュール５３０は、分割されたエッジそれぞれの傾きを算出してもよい。

主方向検出モジュール５４０は、エッジの傾きを量子化されたビンに累積させることによって、エッジの主方向を検出する。例えば、主方向検出モジュール５４０は、予め決定された角度単位（例えば、０〜３５９度の間における１度の単位）で傾きを量子化するビンにエッジの傾きを累積させることができる。

主方向検出モジュール５４０は、累積結果に基づいてエッジの主方向を決定する。例えば、主方向検出モジュール５４０は、累積した回数が予め決定された閾値以上であるビンに該当する少なくとも１つの傾き（例えば、０度及び９０度）をエッジの主方向として決定してもよい。又は、主方向検出モジュール５４０は、累積した回数が最も多い予め決定された数のビンに該当する傾き（例えば、０度及び９０度）をエッジの主方向として決定してもよい。前述した事項は、例示的な事項に過ぎず、主方向検出モジュール５４０が累積結果に基づいてエッジの主方向を決定する方法は多様に変形されてもよい。

エッジの主方向は、映像５１０に含まれた背景の構造方向である。例えば、エッジ検出モジュール５２０が映像５１０の背景領域でエッジを検出する場合、主方向検出モジュール５４０によって決定されるエッジの主方向は、映像５１０の背景領域に含まれた構造方向を示す。

サンプリングモジュール５５０は、エッジの主方向に基づいてサンプリングを行う。例えば、サンプリングモジュール５５０は、映像５１０を複数のブロックに分割し、複数のブロックのうち第１ブロックと第１ブロックから主方向に位置する異なるブロックとをサンプリングする。サンプリングモジュール５５０は、ブロックをサンプリングすることによって該当ブロックに含まれた映像情報を取得してもよい。

サンプリングモジュール５５０は、エッジ検出モジュール５２０により検出されたエッジ上に位置するブロックを第１ブロック５６１として決定してもよい。サンプリングモジュール５５０は、第１ブロック５６１を基準として主方向（例えば、０度方向及び９０度方向）に向かって均一な間隔で離隔されたブロックをサンプリングする。

類似形態検出モジュール５６０は、サンプリング結果に基づいて、第１ブロック５６１と第１ブロックから主方向に位置する異なるブロックとを比較することによって第１ブロック５６１と類似形態を有する第２ブロック５６２とを検出する。類似形態検出モジュール５６０は、第１ブロック５６１と第２ブロック５６２との間の相対的位置の頻度数を累積してもよい。例えば、第２ブロック５６２が第１ブロック５６１を基準としてｘ軸に−ａ程離れている場合、類似形態検出モジュール５６０は、類似形態の分布特性を生成するためのグラフ５５１において原点を基準として−ａ程離隔されたポイントの頻度数を増加させてもよい。第１ブロック５６１から第２ブロック５６２へ移動するための距離は、動き値と指摘されてもよい。

グラフ５５１に含まれた各点などは、映像５１０中の類似のブロックの間の相対的位置を示す。類似形態検出モジュール５６０がグラフ５５１の中の点の頻度数を増加させることは、該当する点が指し示す相対的位置の頻度数を増加させるものと理解されてもよい。

例えば、類似形態検出モジュール５６０は、映像５１０の中で第１ブロック５６１と類似の第２ブロック５６２とを検出することができる。類似形態検出モジュール５６０が第１ブロック５６１からｘ軸方向に−ａ程離れた位置で第１ブロック５６１と類似の第２ブロック５６２を検出した場合を仮定しよう。この場合、グラフ５５１の中の（−ａ、０）座標の点の頻度数を増加させることができる。

類似形態検出モジュール５６０は、類似形態のブロックの間の相対的位置の頻度数が累積した結果に基づいて、類似形態の分布特性５７０を生成してもよい。例えば、類似形態検出モジュール５６０は、累積頻度数が予め決定された閾値以上である相対的位置のみを用いて類似形態の分布特性５７０を生成してもよい。又は、類似形態検出モジュール５６０は、累積頻度数が最も多い予め決定された数に対称の位置のみを用いて類似形態の分布特性５７０を生成してもよい。前述した事項は、例示的な事項に過ぎず、主方向検出モジュール５４０が類似形態のブロックの間の相対的位置の頻度数が累積した結果に基づいて類似形態の分布特性５７０を生成する方法は多様に変形されてもよい。

映像処理装置は、背景の構造方向を把握した後、該当構造方向のみで類似形態の分布特性を検出することによって、ホールを復元する時の背景の構造が保持されるようにしてもよい。また、映像処理装置は、背景の構造方向のみで類似形態の分布特性を検出することによって、演算量を減少させて、映像全体をスキャンする場合、類似形態の分布特性が正確に判別されることができないエラーを減少させることができる。

映像のエッジ領域、ユニフォーム領域、及び／又はテクスチャ領域別に類似形態の繰り返し特性が表れる。以上、図５を参照して映像５１０に含まれたエッジに基づいて類似形態の分布特性５７０を生成する場合を説明したが、実施形態は、多様に変形する。例えば、映像処理装置は、映像５１０を複数のブロックに分割して、任意のブロックと類似形態を有するブロックとを検出するために複数のブロックをスキャンしてもよい。この場合、映像処理装置は、エッジを検出しなくても類似形態の分布特性５７０を生成することができる。

一実施形態によると、類似形態の分布特性５７０を生成する動作は、ホールを満たす動作の前に行われる。本願発明は、類似形態の分布特性５７０を用いることによって、ホールを満たす動作の効率を増大させる技術を提供している。

図５におけるエッジを用いる実施形態は、類似形態の分布特性５７０を生成する動作の効率を増大させるための一例示に過ぎない。例えば、図５におけるステップ５２０、５３０、５４０は、省略されてもよい。この場合、ステップ５５０におけるグラフ５５１に示された点よりさらに多い点（例えば、グラフ５５１の第１象限〜第４象限に広くて等しく分布する点）でサンプリングが行われる。同一の方法で、ユニフォーム領域又はテクスチャ領域のための類似形態の分布特性が生成されてもよい。

図６Ａ〜図６Ｃは、実施形態に係る映像に含まれた背景の構造情報により生成される類似形態の分布特性を説明する図である。図６Ａを参照すると、映像６１１の背景は、垂直線を含む。この場合、類似形態の分布特性は、グラフ６１２のように生成される。また、図６Ｂを参照すると、映像６２１の背景は、斜め線を含む。この場合、類似形態の分布特性は、グラフ６２２のように生成される。また、図６Ｃを参照すると、映像６３１の背景は、格子縞を構成する線を含む。この場合、類似形態の分布特性は、グラフ６３２のように生成される。

図７は、一実施形態に係るレイヤー別の類似形態の分布特性を説明する図である。図７を参照すると、一実施形態に係る映像処理装置は、視差レイヤー又は奥行きレイヤー別に異なる類似形態の分布特性を用いる。以下、レイヤーは、視差レイヤー又は奥行きレイヤーのうちいずれか１つを指し示す。

映像７１０は、視差情報又は奥行き情報によりレイヤーとして分類されてもよい。画像に含まれた各画素の視差情報又は奥行き情報は、予め決定された数のレイヤーとして量子化されてもよい。例えば、画像に含まれた各画素の視差情報又は奥行き情報は、３つのレイヤー（Ｄ_０、Ｄ_１、Ｄ_２）のうちいずれか１つとして量子化される。

映像７１０に含まれた各画素は、該当画素の視差情報又は奥行き情報が量子化されたレイヤーとして分類されてもよい。例えば、映像７１０中の第１領域７１１に含まれた画素は、視差情報又は奥行き情報を表わすマップ７２２のＤ_０レイヤーとして分類される。また、映像７１０中の第２領域７１２に含まれた各画素は、Ｄ_１レイヤーとして分類され、映像７１０中の第３領域７１３に含まれた各画素は、Ｄ_２レイヤーとして分類される。

Ｄ_０レイヤーの奥行き値が最も大きく、Ｄ_２レイヤーの奥行き値が一番小さい。奥行き値が大きいレイヤーであるほど背景に該当する確率が高まり、奥行き値が小さいレイヤーであるほど前景に該当する確率が高まる。

映像処理装置は、レイヤーそれぞれに対して類似形態の分布特性を生成してもよい。例えば、第１領域７１１は、格子縞のようなテクスチャを含むため、第１領域７１１の類似形態の分布特性は、第１類似形態の分布図７３１のように生成されてもよい。また、第２領域７１２は、垂直線を含むため、第２領域７１２の類似形態の分布特性は、第２類似形態の分布図７３２のように生成されてもよい。また、第３領域７１３は、斜め線を含むため、第３領域７１３の類似形態の分布特性は、第３類似形態の分布図７３３のように生成されてもよい。

図８は、一実施形態に係るレイヤー別の類似形態の分布特性を用いてホールを復元する方法を説明する図である。図８を参照すると、一実施形態に係る映像処理装置は、ターゲットビュー８１０とターゲット視差８２０とを取得する。ターゲット視差８２０は、ターゲットの奥行きとして代替されてもよい。

映像処理装置は、図７の映像７１０を用いて希望の視点のターゲットビュー８１０を生成してもよい。上述したように、ターゲットビュー８１０はホールを含む。映像処理装置は、図７のマップ７２２を用いてターゲットビュー８１０に対応するターゲット視差８２０を生成してもよい。ターゲット視差８２０もターゲットビュー８１０と同様にホールを含む。

映像処理装置は、ターゲット視差８２０に含まれた視差ホールを復元してもよい。映像処理装置は、視差ホールに含まれた各画素を視差ホールと隣接したレイヤーのうち奥行き値が大きい（例えば、背景に該当する確率が高い）レイヤーとして分類することによって、視差ホールを復元してもよい。映像処理装置は、視差ホールを復元するためのレイヤーを決定するとき、視点変換の方向を考慮してもよい。例えば、基準視点より左視点を生成する場合、前景に該当するオブジェクトが右側へ移動しながら視差ホールが発生するため、映像処理装置は、視差ホールの左側に隣接したレイヤーを用いて視差ホールを復元する。

映像処理装置は、復元されたターゲット視差８３０を用いて、ターゲットビュー８１０に含まれたホールを復元してもよい。映像処理装置は、復元されたターゲット視差８３０を用いてホールに含まれた各画素が属するレイヤーを判断してもよい。例えば、第１ホール領域８１１は、復元されたターゲット視差８３０においてＤ_０レイヤーに属する。この場合、映像処理装置は、Ｄ_０レイヤーの第１類似形態の分布図７３１に基づいて第１ホール領域８１１を復元する。また、第２ホール領域８１２は、復元されたターゲット視差８３０においてＤ_１レイヤーに属する。この場合、映像処理装置は、Ｄ_１レイヤーの第２類似形態の分布図７３２に基づいて第２ホール領域８１２を復元する。映像処理装置は、ホールが復元されたターゲットビュー８４０を生成してもよい。第１類似形態の分布図７３１又は第２類似形態の分布図７３２に基づいて第１ホール領域８１１又は第２ホール領域８１２を復元する方法については、図２を参照して前述した事項がそのまま適用されるため、より詳細な説明は省略する。

図９は、一実施形態に係る領域別の類似形態の分布特性を用いてホールを復元する方法を説明する図である。図９を参照すると、一実施形態に係る映像処理装置は、ホールに隣接した領域の類似形態の分布特性を用いてホールを復元する。

例えば、映像９１０の全体背景から生成された類似形態の分布特性は、類似形態の分布図９２０のように表わされる。しかし、第１領域９１１に含まれた背景は、斜線のみを含み、第２領域９１２に含まれた背景は、垂直線のみを含む。この場合、映像処理装置は、類似形態の分布図９２０を用いて第１領域９１１に含まれたホールを復元する代わりに、類似形態の分布図９２１を用いて第１領域９１１に含まれたホールを復元することによって復元映像の品質を向上することができる。同様に、映像処理装置は、第２領域９１２に含まれたホールを復元するために、類似形態の分布図９２０を用いる代わりに類似形態の分布図９２２を用いる。

映像処理装置は、ホールの位置に対応する領域を決定し、決定された領域に対応する類似形態の分布特性を取得してもよい。映像処理装置は、決定された領域に対応する類似形態の分布特性を検出したり、決定された領域に対応して事前に検出された類似形態の分布特性を受信してもよい。

図面に示していないが、映像処理装置は、レイヤーと領域とを共に考慮する類似形態の分布特性を用いることができる。例えば、同一のレイヤーに該当する背景だとしても領域別に異なる構造情報を含むことができる。映像処理装置は、図８にて上述したように、ホールが属するレイヤーを判断することができる。映像処理装置は、該当レイヤー内で、図９にて上述したように、ホールに対応して決定された領域の類似形態の分布特性を用いることができる。

図１０は、一実施形態に係る動画のちらつきを防止する方法を説明する図である。図１０を参照すると、一実施形態に係る映像処理装置は、Ｎ個（Ｎは、正の整数）の視点の基準動画１０１０からＭ個（Ｍは、Ｎより大きい整数）の視点の動画１０２０、１０３０を生成する。映像処理装置は、基準動画１０１０の各フレームに図１〜図９にて前述した事項を適用することによって、該当フレームの多視点映像を生成してもよい。映像処理装置は、多視点映像の各フレームを連結することによって、Ｍ個の視点の動画１０２０、１０３０を生成してもよい。

フレームの間の画面が遷移されなくても、基準動画１０１０の各フレームにおいて生成された類似形態の分布特性は、僅かに変わり得る。隣接フレームの間の類似形態の分布特性が僅かに変わることによって、隣接フレームのホール復元映像においても僅かな差が生じ得る。この場合、動画が再生される時にちらつきが生じることもある。

映像処理装置は、動画の中の画面遷移を感知することによって、画面別に同一の類似形態の分布特性を用いてもよい。そのため、映像処理装置は、生成された動画のちらつきを防止することができる。例えば、映像処理装置は、基準映像１０１０の最初のフレーム１０１１を用いて第１類似形態の分布特性を生成することができる。映像処理装置は、第１類似形態の分布特性を用いて最初のフレーム１０１１に対応する多視点映像１０２１、１０３１を生成してもよい。映像処理装置は、画面遷移が生じる前までの時間区間１０４１の間、第１類似形態の分布特性を用いてもよい。

映像処理装置は、画面遷移を感知してもよい。映像処理装置は、画面が遷移された後、最初のフレーム１０１２を用いて第２類似形態の分布特性を生成してもよい。映像処理装置は、次に画面遷移が生じる前までの時間区間１０４２の間、第２類似形態の分布特性を用いてもよい。

以上、画面遷移を例に挙げて説明したが、画面遷移は、例示的な事項に過ぎない。映像処理装置は、様々な方法で類似形態の分布特性を変更しなければならない視点を判断してもよい。例えば、映像処理装置は、予め決定された時間ごとに類似形態の分布特性を再生成してもよい。

図１１は、一実施形態に係る映像処理方法を示した動作フローチャートである。図１１を参照すると、一実施形態に係る映像処理方法は、類似形態の分布特性を取得するステップＳ１１１０及び類似形態の分布特性に基づいて映像に含まれたホールを復元するステップＳ１１２０を含む。図１１に示された各ステップについては、図１〜図１０を参照して前述した事項がそのまま適用されるため、より詳細な説明は、省略する。

図１２は、一実施形態に係る映像処理装置を示した動作フローチャートである。図１２を参照すると、一実施形態に係る映像処理装置１２００は、取得部１２１０及び復元部１２２０を含む。取得部１２１０及び復元部１２２０は、それぞれソフトウェアモジュール、ハードウェアモジュール、又は、これらの組合せで実現してもよい。取得部１２１０は、類似形態の分布特性を取得する。復元部１２２０は、類似形態の分布特性に基づいて映像に含まれたホールを復元する。図１２に示された各モジュールについては、図１〜図１０を参照して前述した事項がそのまま適用されるため、より詳細な説明は省略する。

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合せで実現してもよい。例えば、実施形態で説明された装置、方法及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は、命令を実行して応答できる異なるいかなる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行してもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、該当の技術分野で通常の知識を有する者は、処理装置が複数の処理要素及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアはコンピュータプログラム、コード、命令、又はこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的に又は結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、どのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方式で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータ読取可能な記録媒体に格納されてもよい。

実施形態に係る方法は、多様なコンピュータ手段を介して行われるプログラム命令の形態で実現され、コンピュータ読取可能な媒体に記録されてもよい。前記記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含んでもよい。前記記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェアの分野の技術を有する当業者に公示されて利用できるものである。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。

上述したように限定された図面によって実施形態が説明されたが、該当技術分野において通常の知識を有する者であれば前記の基材から様々な修正及び変形が可能である。例えば、説明された技術が説明された方法と異なる順序で遂行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合せたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果が達成してもよい。したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１１０ 映像処理装置
１２０ 映像
１２１ ホール
１３０、２１１、２２１、２３１ 類似形態の分布特性
１４０ 出力映像
２１５、２２５、２３５ 復元ブロック
２１７、２１８、２２８、２２７ 候補ブロック
３２０ 視点生成モジュール
３３０ ホール復元モジュール
４２０ 基準ビュー生成モジュール
４３０ ホール予測モジュール
４４０ ホール復元モジュール
４５０ 復元情報分配モジュール
５２０ エッジ検出モジュール
５３０ エッジ方向性検出モジュール
５４０ 主方向検出モジュール
５５０ サンプリングモジュール
５６０ 類似形態検出モジュール
１２００ 映像処理装置
１２１０ 取得部
１２２０ 復元部

Claims (35)

1. 第１映像内の類似形態の分布を定義する特性を取得するステップと、
   前記特性に基づいて第２映像に含まれたホールを復元するステップと、
   を含むことを特徴とする映像処理方法。
2. 前記特性は、前記第１映像の背景に含まれた構造情報を含む、請求項１に記載の映像処理方法。
3. 前記ホールを復元するステップは、
   前記特性に基づいて、前記ホールのうち少なくとも一部を含む復元ブロックに対応する候補ブロックを決定するステップと、
   前記候補ブロックに基づいて前記復元ブロックを復元するステップと、
   を含む、請求項１又は２に記載の映像処理方法。
4. 前記復元ブロックは、前記ホールの境界上に位置し、
   前記復元ブロックを復元するステップは、
   前記復元ブロックの一部に含まれた映像情報に基づいて前記候補ブロックのうち少なくとも１つの第１候補ブロックを選択するステップと、
   前記第１候補ブロックに基づいて前記復元ブロックの残りの一部に含まれたホールを復元するステップと、
   を含む、請求項３に記載の映像処理方法。
5. 前記特性を取得するステップは、
   前記第１映像を複数のブロックに分割するステップと、
   前記複数のブロックのうち第１ブロックと他のブロックとを比較することによって、前記他のブロックのうち前記第１ブロックと類似形態を有する第２ブロックとを検出するステップと、
   前記第１ブロックと前記第２ブロックとの間の相対的位置の頻度数を累積するステップと、
   前記累積する頻度数に基づいて前記特性を生成するステップと、
   を含む、請求項１乃至４のいずれか一項に記載の映像処理方法。
6. 前記第１映像に含まれた背景の構造方向を検出するステップ、を更に有し、
   前記他のブロックは、前記第１ブロックから前記構造方向に位置する、
   を含む、請求項５に記載の映像処理方法。
7. 前記構造方向を検出するステップは、
   前記第１映像に含まれたエッジを検出するステップと、
   前記エッジの傾きに基づいて主方向を決定するステップと、
   前記主方向を前記構造方向として決定するステップと、
   を含む、請求項６に記載の映像処理方法。
8. 前記特性を取得するステップは、
   前記第１映像の奥行き情報に基づいて前記第１映像を複数のレイヤーに分割するステップと、
   前記複数のレイヤーそれぞれにおいて、該当レイヤー内の類似形態の分布を定義するレイヤーの特性を検出するステップと、
   を含む、請求項１乃至４のいずれか一項に記載の映像処理方法。
9. 前記ホールを復元するステップは、
   前記ホールと隣接した領域が属するレイヤーを判断するステップと、
   前記判断されたレイヤーのレイヤーの特性に基づいて、前記ホールのうち少なくとも一部を含む復元ブロックに対応する少なくとも１つの候補ブロックを決定するステップと、
   前記少なくとも１つの候補ブロックに基づいて前記復元ブロックを復元するステップと、
   を含む、請求項８に記載の映像処理方法。
10. 前記特性を取得するステップは、
    前記ホールの位置に対応する領域を決定するステップと、
    前記決定された領域中の類似形態の分布を定義する領域の特性を検出するステップと、
    を含む、請求項１乃至４のいずれか一項に記載の映像処理方法。
11. 前記ホールを復元するステップは、
    前記ホールの位置に対応する領域の特性に基づいて、前記ホールのうち少なくとも一部を含む復元ブロックに対応する少なくとも１つの候補ブロックを決定するステップと、
    前記少なくとも１つの候補ブロックに基づいて前記復元ブロックを復元するステップと、
    を含む、請求項１０に記載の映像処理方法。
12. 入力映像に基づいて基準視点の映像を生成するステップをさらに含み、
    前記復元するステップは、
    前記基準視点の映像を基準として生成される多視点映像のホールを予測するステップと、
    前記特性に基づいて前記予測されたホールを復元するステップと、
    を含む、請求項１又は２に記載の映像処理方法。
13. 前記ホールの復元情報を前記多視点映像に分配するステップをさらに含む、請求項１２に記載の映像処理方法。
14. 前記第１映像において画面遷移が生じたか否かを判断するステップをさらに含み、
    前記特性を取得するステップは、前記画面遷移が生じたという判断により、前記第１映像内の類似形態の分布を定義する特性を検出するステップを含む、請求項１に記載の映像処理方法。
15. 前記特性を取得するステップは、前記画面遷移が生じなかったという判断により、前フレームから検出された特性に基づいて前記第１映像内の類似形態の分布を定義する特性を決定するステップを含む、請求項１４に記載の映像処理方法。
16. 前記特性を取得するステップは、基準映像に基づいて生成された特性を受信するステップを含み、
    前記第２映像は、前記基準映像を変換することによって生成される、
    請求項１又は２に記載の映像処理方法。
17. 前記第２映像は、前記基準映像の奥行き情報に基づいて前記基準映像の画素を前記第２映像の視点に対応する位置で投影することによって生成され、
    前記第２映像の前記画素のうち奥行き値が小さい画素であるほど長く移動し、奥行き値が大きい画素であるほど短く移動する、請求項１６に記載の映像処理方法。
18. 前記第２映像は、前記基準映像に含まれた少なくとも１つのオブジェクトを削除することによって生成される、請求項１６に記載の映像処理方法。
19. 第１映像を複数のブロックに分割するステップと、
    前記複数のブロックを分析するステップと、
    前記分析に基づいて前記複数のブロックの一部を候補ブロックとして決定するステップと、
    前記候補ブロックに基づいて第２映像に含まれたホールを復元するステップと、
    を含む映像処理方法。
20. 前記決定するステップは、
    前記複数のブロックを分析して前記第１映像内の類似形態の分布を定義する特性を取得するステップと、
    前記特性に基づいて、前記複数のブロックのうち一部を前記候補ブロックとして決定するステップと、
    を含む、請求項１９に記載の映像処理方法。
21. 前記ホールを復元するステップは、
    前記ホールの境界上に位置する復元ブロックの一部に含まれた映像情報に基づいて、前記候補ブロックのうち少なくとも１つの第１候補ブロックを選択するステップと、
    前記第１候補ブロックに基づいて、前記復元ブロックの残りの一部に含まれたホールを復元するステップと、
    を含む、請求項１９又は２０に記載の映像処理方法。
22. 前記複数のブロックに分割するステップは、
    前記第１映像の奥行き情報に基づいて前記第１映像を複数のレイヤーに分割するステップと、
    前記複数のレイヤーそれぞれを複数のブロックに分割するステップと、
    を含む、請求項１９乃至２１のいずれか一項に記載の映像処理方法。
23. 前記決定するステップは、
    前記複数のレイヤーそれぞれに対応するブロックを分析して、前記複数のレイヤーそれぞれにおける該当レイヤー内の類似形態の分布を定義するレイヤーの特性を検出するステップと、
    前記ホールと隣接した領域が属したレイヤーを判断するステップと、
    前記判断されたレイヤーの特性に基づいて、各レイヤーに含まれた複数のブロックのうち前記候補ブロックを決定するステップと、
    を含む、請求項２２に記載の映像処理方法。
24. 前記複数のブロックに分割するステップは、
    前記ホールの位置に対応する領域を決定するステップと、
    前記決定された領域を複数のブロックに分割するステップと、
    を含む、請求項１９乃至２１のいずれか一項に記載の映像処理方法。
25. 前記決定するステップは、
    前記決定された領域に含まれたブロックを分析して、前記決定された領域中の類似形態の分布を定義する領域の特性を検出するステップと、
    前記領域の特性に基づいて、前記決定された領域に含まれたブロックのうち前記候補ブロックを決定するステップと、
    を含む、請求項２４に記載の映像処理方法。
26. 前記第１映像と前記第２映像は、同一の映像である、請求項１乃至２５のいずれか一項に記載の映像処理方法。
27. 前記第１映像と前記第２映像は、異なる映像である、請求項１乃至２５のいずれか一項に記載の映像処理方法。
28. 請求項１乃至２７のいずれか一項に記載の方法を実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。
29. 背景及び少なくとも１つの前景オブジェクトを含む少なくとも１つの映像を受信するステップであって、前記少なくとも１つの前景オブジェクトは、前記背景に相対的な第１位置を有する、ステップと、
    前記少なくとも１つの映像内視覚的に類似の領域のパターンを検出するステップと、
    前記検出されるパターンに基づいて、類似形態の分布特性を生成するステップであって、前記類似形態の分布特性は、前記少なくとも１つの映像の領域の配列を定義する、ステップと、
    前記少なくとも１つの映像のビュー内の前記少なくとも１つの前景オブジェクトが前記背景に相対的な第２位置を有し、前記少なくとも１つの映像のビューが映像のホールを含むよう、前記少なくとも１つの映像に基づいて少なくとも１つの映像のビューを生成するステップであって、前記第２位置は、前記第１位置と相違する、ステップと、
    前記類似形態の分布特性に基づいて前記少なくとも１つの映像のビューの第１領域を選択するステップと、
    前記少なくとも１つの映像のビューの前記第１領域に基づいて前記少なくとも１つの映像のビューの前記映像のホールを満たすことによって、出力映像を生成するステップと、
    を含む、映像処理方法。
30. 前記少なくとも１つの映像のビューを生成するステップは、前記映像のホールが前記第１位置及び前記第２位置の間の差に対応するよう前記少なくとも１つの映像のビューを生成するステップを含む、請求項２９に記載の映像処理方法。
31. 前記選択するステップは、
    前記映像のホールの一部及び前記背景の一部を含む少なくとも１つのビューの領域を検出するステップと、
    複数の候補領域を決定するステップであって、前記複数の候補領域は、前記類似形態の分布特性の領域の配列に対応する少なくとも１つのビューの領域である、ステップと、
    前記複数の候補領域を前記第１領域として選択するステップと、
    を含む、請求項２９又は３０に記載の映像処理方法。
32. 前記複数の候補領域を選択するステップは、
    前記背景の一部の視覚的特性と前記少なくとも１つのビューの複数の候補領域の視覚的特性とを比較するステップと、
    前記比較に基づいて前記複数の候補領域のうちの１つを前記第１領域として選択するステップと、
    を含む、請求項３１に記載の映像処理方法。
33. 前記選択される候補領域は、前記複数の候補領域のうち前記背景の一部と最も高い類似度を有する領域である、請求項３２に記載の映像処理方法。
34. 前記少なくとも１つの映像のビューの前記映像のホールを満たすステップは、前記第１領域の視覚的特性として前記映像のホールを交換するステップを含む、請求項２９乃至３３のいずれか一項に記載の映像処理方法。
35. 前記少なくとも１つの映像のビューを複数のブロックに分割するステップをさらに含み、
    前記第１領域は、前記複数のブロックのうち１つのブロックであり、
    前記領域の配列は、それぞれ前記複数のブロックのうち少なくとも一部の配列に対応する、請求項２９乃至３４のいずれか一項に記載の映像処理方法。