JP2014522596A - ３ｄコンテンツを再目標化するための方法およびデバイス - Google Patents

Abstract

本発明は、少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをクロッピングする方法であって、第１のビューから第１の顕著性マップを、および第２のビューから第２の顕著性マップを決定するステップ（１０、１２）と、第１の顕著性マップおよび第２の顕著性マップから最終的なクロッピングウィンドウを決定するステップ（１８、２４、３２）と、最終的なクロッピングウィンドウによって第１のビューおよび第２のビューをクロッピングするステップ（２０）と、を含む、方法に関する。

Description

本発明は、３Ｄコンテンツの再目標化に関する。より詳細には、本発明は、少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをクロッピングする方法に関する。

劇場での３Ｄ映画などの３Ｄスクリーンおよび題材の急増に起因して、シネマアスペクト比（２：３５）からＴＶスクリーン（１６：９）への３Ｄストリームの転写を可能にするためにアスペクト比変換に対するニーズが存在する。さらに誰でも、３Ｄ立体視ディスプレイをサポートするタブレット、スマートフォンなどの新しいデバイスの差し迫った出現を想像することが可能である。そのようなデバイスは、それら自体のアスペクト比をもたらすことになる。したがって、アスペクト比変換は、任意のデバイスに対処するために必須である。自動的な解決策は、視覚的快適性を最大化する高い価値がある。

欧州特許出願第０４８０４８２８．４号明細書 欧州特許出願第０５２９１９３８．８号明細書

J. van de Weijer 他、"Learning Color Names for Real-World Applications"、IEEE Transactions in Image Processing 2009、2009年 G. Welch、G. Bishop、"An introduction to the kalman filter"、Course 8、SIGGRAPH 2001、2001年

現在は、アスペクト比変換は、操作者により手動で（例えば中心に合わせたクロッピング）、またはすべてのフレームを同じ方途で処理することによって（例えばアナモルフィズム演算子、黒線充填）のいずれかで対処される。両方のタイプの方法は、変換を遂行するためにコンテンツ自体を考慮しない。

さらに、黒線付加は、映画がフルスクリーンで表示されることと比較されると、元の３Ｄ効果を強く低減する。

本発明は、従来技術の欠点の少なくとも１つを軽減することに向けられたものである。本発明は、少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツをクロッピングする方法であって、
− 前記第１のビューから第１の顕著性マップを、および前記第２のビューから第２の顕著性マップを決定するステップと、
− 前記第１の顕著性マップおよび前記第２の顕著性マップから最終的なクロッピングウィンドウを決定するステップと、
− 前記最終的なクロッピングウィンドウによって前記第１のビューおよび前記第２のビューをクロッピングするステップと、
を含む、前記方法に関する。

第１の実施形態によると、前記第１の顕著性マップおよび前記第２の顕著性マップから前記最終的なクロッピングウィンドウを決定する前記ステップは、
− 前記第１の顕著性マップから第１のクロッピングウィンドウを決定するステップと、
− 前記第２の顕著性マップから第２のクロッピングウィンドウを決定するステップと、
− 前記第１のクロッピングウィンドウおよび前記第２のクロッピングウィンドウを前記最終的なクロッピングウィンドウに組み合わせるステップと、
を含む。

第２の実施形態によると、前記最終的なクロッピングウィンドウはパラメータにより識別され、前記方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップと、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップと、
− 前記最終的なクロッピングウィンドウのアスペクト比を、前記禁止区域マップを使用して目標アスペクト比に変換するステップと、
をさらに含む。

第２の実施形態の変形例によると、前記最終的なクロッピングウィンドウはパラメータにより識別され、前記方法は、
− 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップと、
− 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップと、
− 前記最終的なクロッピングウィンドウのアスペクト比を、前記禁止区域マップおよびデプスマップを使用して目標アスペクト比に変換するステップと、
をさらに含む。

有利には、前記禁止区域マップを決定する前記ステップは、
− 前記少なくとも２つのビューのうちの１つを領域のセグメンテーションマップにセグメント化するステップと、
− 前記セグメンテーションマップの各々の領域に対して、前記少なくとも２つのビューのうちの前記１つの顕著性マップから顕著性値を計算するステップと、
− 各々の領域に対して計算された前記顕著性値を閾値処理して、禁止区域マップを形成するステップと、
を含む。

第３の実施形態によると、前記第１の顕著性マップおよび前記第２の顕著性マップから最終的なクロッピングウィンドウを決定する前記ステップは、
− 前記第１の顕著性マップおよび前記第２の顕著性マップを単一の顕著性マップに組み合わせるステップと、
− 前記単一の顕著性マップに基づいて前記最終的なクロッピングウィンドウを決定するステップと、
を含む。

本発明の他の特徴および利点は、その実施形態のいくつかの以下の説明によって明らかになることになり、この説明は、以下の図面と関連して行われる。
本発明の第１の実施形態による方法のフローチャートを図示する図である。 本発明の第１の実施形態の変形例による方法のフローチャートを図示する図である。 本発明の第２の実施形態による方法のフローチャートを図示する図である。 本発明の第３の実施形態による方法のフローチャートを図示する図である。 図３に図示されるフローチャートの第１の詳細を表す図である。 左から右に、ピクチャ、セグメンテーションマップ、顕著性マップ、および禁止区域マップを表す図である。 図３に図示されるフローチャートの別の詳細を表す図である。 ウィナーテイクオール（ｗｉｎｎｅｒ−ｔａｋｅ ａｌｌ）アルゴリズムを例示する図である。 クロッピングウィンドウをそれらのパラメータとともに表す図である。 ピクチャの顕著性マップ、ピクチャ上への第１のクロッピングウィンドウ、禁止区域マップ、および最終的なクロッピングウィンドウを表す図である。 本発明による再目標化デバイス２を図表で例示する図である。

本原理は、様々な形式のハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサー、またはそれらの組み合わせで実装することができることが理解されるべきである。好ましくは、本原理は、ハードウェアおよびソフトウェアの組み合わせとして実現することができる。さらに、ソフトウェアは、好ましくはプログラム格納デバイス上で有形に実施されるアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適したアーキテクチャを備える機械にアップロードする、およびその機械により実行することが可能である。好ましくは、機械は、１または複数の中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、および入力／出力（Ｉ／Ｏ）インターフェース（複数可）などのハードウェアを有するコンピュータプラットフォーム上で実装される。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードをさらに含む。本明細書で説明される様々な処理および機能は、オペレーティングシステムによって実行される、マイクロ命令コードの一部、またはアプリケーションプログラムの一部（またはそれらの組み合わせ）のいずれかとすることができる。加えて、追加的なデータ格納デバイスおよび印刷デバイスなど、様々な他の周辺デバイスがコンピュータプラットフォームに接続することができる。

本発明は、再目標化手段を備える任意の電子デバイス上で実現することができる。例えば本発明は、テレビ、携帯テレビ電話、ＰＤＡ、パーソナルコンピュータ、ディジタルビデオカメラ、ナビゲーションシステム、または自動車ビデオシステムにおいて実現することができる。

本発明は、３Ｄコンテンツを再目標化するための方法に関する。３つの実施形態が本明細書で開示される。２つの最初の実施形態は、２Ｄ再目標化方法の拡張である。新しいステップが、容認可能な３Ｄ品質を確実にするために追加される。第３の実施形態は、３Ｄコンテンツ専用の再目標化方法である。３Ｄコンテンツは、左のビューおよび右のビューから作製される。しかし本発明は、２つよりも多いビューに拡張することができる。以下では、クロッピングウィンドウが、その左上および右下の画素の座標、または、その中心の座標ならびにその高さおよび幅のいずれかである、そのパラメータにより識別される。

すべての実施形態はクロッピングベースであり、すなわち、関心領域とも名付けられた最も重要なコンテンツを伴う元のビューの画素のサブ区域が抽出される。さらに最終的なクロッピングウィンドウは、この最終的なクロッピングウィンドウの決定が各々のビューのコンテンツに基づく場合であっても、左および右のビューに対して同一である。

いくつかの実施形態は、視覚的注意モデルを参照する。この視覚的注意モデルは、どの区域／画素がビューの中で最も視覚的に誘引性が高いかを指示する顕著性マップ（グレーレベルマップ）を提供する。そのような顕著性マップは、ピクチャ内の関心領域を決定するために使用することができる。そのような視覚的注意モデルの例が、２００５年６月３０日に公開された特許文献１で開示されている。顕著性マップを提供する他の視覚的注意モデルが使用される場合がある。本発明は、特許文献１で開示されたモデルに何ら制限されない。

図１ａは、第１の実施形態による、左および右のビューを含む３Ｄコンテンツを再目標化する方法を表す。それは、各々のビューで１つのクロッピングウィンドウを得るために、独立して各々のビューに通常の２Ｄ再フレーミングを適用するステップと、次いで、各々のビューに適用されることになる最終的なクロッピングウィンドウを得るために、３Ｄコンテンツに関係付けられるいくつかの制約を考慮することによりすべてのクロッピングウィンドウを組み合わせるステップとを含む。

この目的のために、ステップ１０では、第１の関心領域ＲＯＩ１が左のビューで決定され、ステップ１２では、第２の関心領域ＲＯＩ２が右のビューで決定される。

ステップ１４では、左のクロッピングウィンドウが第１の関心領域ＲＯＩ１から決定され、右のクロッピングウィンドウが第２の関心領域から決定される。左のクロッピングウィンドウは、例えば第１の関心領域を包含する最小のウィンドウであり、右のクロッピングウィンドウは、第２の関心領域を包含する最小のウィンドウである。

ステップ１８では、左および右のクロッピングウィンドウが、平滑化されたクロッピングウィンドウに組み合わされる。このステップの間、３Ｄコンテンツに結び付けられた以下の制約が考慮され、すなわち、左および右のクロッピングされたビューの間では垂直視差が許されず、各々のビューのクロッピングウィンドウは、同じ高さおよび同じ垂直座標を有する。

クロッピングウィンドウ組み合わせ（ＣｏｍｂｉｎｅＣｒｏｐｐｉｎｇＷｉｎｄｏｗ）ステップ１８は、ステップ１４および１６で別々に各々のビューに適用された２Ｄ再フレーミングに対する結果を入手し、２つのクロッピングウィンドウを、中心座標が（ｘ_{ｓｍｏｏｔｈ}，ｙ_{ｓｍｏｏｔｈ}）であり、サイズ（高さおよび幅）が（ｈ_{ｓｍｏｏｔｈ}，ｗ_{ｓｍｏｏｔｈ}）である平滑化されたクロッピングウィンドウに数学的に組み合わせる。（ｘ_ｌｅｆｔ，ｙ_ｌｅｆｔ）は左のクロッピングウィンドウの中心座標であり、（ｘ_{ｒｉｇｈｔ}，ｙ_{ｒｉｇｈｔ}）は右のクロッピングウィンドウの中心座標である。（ｈ_ｌｅｆｔ，ｗ_ｌｅｆｔ）は左のクロッピングウィンドウの高さおよび幅であり、（ｈ_{ｒｉｇｈｔ}，ｗ_{ｒｉｇｈｔ}）は右のクロッピングウィンドウの高さおよび幅である。

変形例によると、最小値および最大値が式（８）のように入手される。同じクロッピングウィンドウが、両方のビューに適用される。したがって、左および右のクロップビューの間に垂直視差は存在しない。

平滑化されたクロッピングウィンドウを決定するための別の方途は、どのクロッピングウィンドウが、その内側で利用可能な顕著性量を最大化するかを決定することである。クロッピングウィンドウ座標は、以下の式で説明されるように、２つのビューの間で初期に決定される最小のｘおよびｙ座標、ならびに最大のｘおよびｙ座標から変動する。

ただし、ｘ１_ｍｉｎ＜ｘ１＜ｘ１_ｍａｘ；ｙ１_ｍｉｎ＜ｙ１＜ｙ１_ｍａｘ；ｘ２_ｍｉｎ＜ｘ２＜ｘ２_ｍａｘ；ｙ２_ｍｉｎ＜ｙ２＜ｙ２_ｍａｘ、

ＳＭ_ｌｅｆｔ（ｘ，ｙ）は左のビューでの画素（ｘ，ｙ）の顕著性値であり、ＳＭ_{ｒｉｇｈｔ}（ｘ，ｙ）は右のビューでの画素（ｘ，ｙ）の顕著性値である。（ｘ１，ｙ１）は平滑なクロッピングウィンドウの左上の画素の座標であり、（ｘ２，ｙ２）は平滑なクロッピングウィンドウの右下の画素の座標である。（ｘ１_ｌｅｆｔ，ｙ１_ｌｅｆｔ）は左のクロッピングウィンドウの左上の画素の座標であり、（ｘ２_ｌｅｆｔ，ｙ２_ｌｅｆｔ）は左のクロッピングウィンドウの右下の画素の座標である。（ｘ１_{ｒｉｇｈｔ}，ｙ１_{ｒｉｇｈｔ}）は右のクロッピングウィンドウの左上の画素の座標であり、（ｘ２_{ｒｉｇｈｔ}，ｙ２_ｌｅｆｔ）は左のクロッピングウィンドウの右下の画素の座標である。

ステップ２０では、左および右の両方のビューが、平滑化されたクロッピングウィンドウにより範囲設定された部分を各々のビューで抽出することにより、左のクロップビューおよび右のクロップビューにクロッピングされる。

第１の実施形態は、実装するのが簡単かつ早い。

図１ｂは、第１の実施形態の特定の実装による、左および右のビューを含む３Ｄコンテンツを再目標化する方法を表す。それは、各々のビューで１つのクロッピングウィンドウを得るために、独立して各々のビューに通常の２Ｄ再フレーミングを適用するステップと、次いで、各々のビューに適用されることになる最終的なクロッピングウィンドウを得るために、３Ｄコンテンツに関係付けられるいくつかの制約を考慮することによりすべてのクロッピングウィンドウを組み合わせるステップとを含む。この特定の実装では、第１および第２の関心領域が顕著性マップを使用して決定される。

この目的のために、ステップ１０では、左の顕著性マップが左のビューに対して決定され、ステップ１２では、右の顕著性マップが右のビューに対して決定される。両方の顕著性マップは、例えば特許文献１のモデルを使用して決定される。したがって、顕著性マップは、ピクチャ内の顕著な領域を指示する。

ステップ１４では、左のクロッピングウィンドウが左の顕著性マップに基づいて決定され、ステップ１６では、右のクロッピングウィンドウが右の顕著性マップに基づいて決定される。各々のクロッピングウィンドウの位置は、そのＣｒｏｐＷｉｎｄ座標により対応するビューで識別される。クロッピングウィンドウは、例えば２００７年３月２１日に公開された特許文献２で開示された再フレーミング方法の１つを使用して決定される。例として、最も顕著な画素は顕著性マップで識別される、すなわち顕著性マップ内部でのその顕著性値は最も高い。予め規定されたサイズの第１のウィンドウは、その中心がこの最も顕著な画素上に配置されるようにビュー内で位置決めされる。第１のウィンドウに関連付けられる顕著性値ＳＭ１およびビューに関連付けられる顕著性値ＳＭ_ｖｉｅｗが計算される。比

が１に近い、すなわち閾値Ｔより高いならば（例えばΨ_０≧０．８であるならば）、ビューに対するクロッピングウィンドウは第１のウィンドウである。Ψ_０が１に近くない、すなわちＴより低いならば、第１のウィンドウと同じサイズの第２のウィンドウが、その中心が、第１のウィンドウの外側に配置されるビューの最も顕著な画素上に配置されるようにビュー内で位置決めされる。第２のウィンドウに関連付けられる顕著性値ＳＭ２が計算される。比

が１に近いならば、ビューに対するクロッピングウィンドウは、第１および第２のウィンドウを含む、より小さなウィンドウである。比Ψ_１が１に近くないならば、第３のウィンドウは、その中心が最初の２つのウィンドウの外側に配置されるビューの第３の最も顕著な画素上に配置されるようにビュー内で位置決めされる。３つのウィンドウに関連付けられる３つの顕著性値の和と顕著性値ＳＭ_ｖｉｅｗとの間の比が１と比較される。それが１に近いならば、ビューに対するクロッピングウィンドウは、３つのウィンドウを含む、より小さなウィンドウである。それが１に近くないならば、各々の位置決めされたウィンドウに関連付けられる顕著性値の和とＳＭ_ｖｉｅｗとの間の比が１に近くなるまで、新しいウィンドウを位置決めする処理が繰り返される。したがって各々の反復ｋでは、新しいウィンドウが、その中心が、すでに位置決めされたウィンドウの外側に配置される最も顕著な画素（ｋ）上に配置されるようにビュー内で位置決めされる。したがって、ビューに対するクロッピングウィンドウは、すべての位置決めされたウィンドウを含む、より小さなウィンドウである。他の方法が使用される場合があり、本発明は、顕著性マップに基づくクロッピングウィンドウの位置を決定するためのこの方法に何ら制限されない。

ステップ１８では、左および右のクロッピングウィンドウが、平滑化されたクロッピングウィンドウに組み合わされる。このステップの間、３Ｄコンテンツにリンク付けられた以下の制約が考慮され、すなわち、左および右のクロッピングされたビューの間では、垂直視差が許されず、各々のビューのクロッピングウィンドウは、同じ高さおよび同じ垂直座標を有する。

クロッピングウィンドウ組み合わせステップ１８は、ステップ１４および１６で別々に各々のビューに適用された２Ｄ再フレーミングに対する結果を入手し、２つのクロッピングウィンドウを、中心座標が（ｘ_{ｓｍｏｏｔｈ}，ｙ_{ｓｍｏｏｔｈ}）であり、サイズ（高さおよび幅）が（ｈ_{ｓｍｏｏｔｈ}，ｗ_{ｓｍｏｏｔｈ}）である平滑化されたクロッピングウィンドウに数学的に組み合わせる。（ｘ_ｌｅｆｔ，ｙ_ｌｅｆｔ）は左のクロッピングウィンドウの中心座標であり、（ｘ_{ｒｉｇｈｔ}，ｙ_{ｒｉｇｈｔ}）は右のクロッピングウィンドウの中心座標である。（ｈ_ｌｅｆｔ，ｗ_ｌｅｆｔ）は左のクロッピングウィンドウの高さおよび幅であり、（ｈ_{ｒｉｇｈｔ}，ｗ_{ｒｉｇｈｔ}）は右のクロッピングウィンドウの高さおよび幅である。

変形例によると、最小値および最大値が式（８）のように入手される。同じクロッピングウィンドウが、両方のビューに適用される。したがって、左および右のクロップビューの間に垂直視差は存在しない。

平滑化されたクロッピングウィンドウを決定するための別の方途は、どのクロッピングウィンドウが、その内側で利用可能な顕著性量を最大化するかを決定することである。クロッピングウィンドウ座標は、以下の式で説明されるように、２つのビューの間で初期に決定される最小のｘおよびｙ座標、ならびに最大のｘおよびｙ座標から変動する。

ただし、ｘ１_ｍｉｎ＜ｘ１＜ｘ１_ｍａｘ；ｙ１_ｍｉｎ＜ｙ１＜ｙ１_ｍａｘ；ｘ２_ｍｉｎ＜ｘ２＜ｘ２_ｍａｘ；ｙ２_ｍｉｎ＜ｙ２＜ｙ２_ｍａｘ、

ＳＭ_ｌｅｆｔ（ｘ，ｙ）は左のビューでの画素（ｘ，ｙ）の顕著性値であり、ＳＭ_{ｒｉｇｈｔ}（ｘ，ｙ）は右のビューでの画素（ｘ，ｙ）の顕著性値である。（ｘ１，ｙ１）は平滑なクロッピングウィンドウの左上の画素の座標であり、（ｘ２，ｙ２）は平滑なクロッピングウィンドウの右下の画素の座標である。（ｘ１_ｌｅｆｔ，ｙ１_ｌｅｆｔ）は左のクロッピングウィンドウの左上の画素の座標であり、（ｘ２_ｌｅｆｔ，ｙ２_ｌｅｆｔ）は左のクロッピングウィンドウの右下の画素の座標である。（ｘ１_{ｒｉｇｈｔ}，ｙ１_{ｒｉｇｈｔ}）は右のクロッピングウィンドウの左上の画素の座標であり、（ｘ２_{ｒｉｇｈｔ}，ｙ２_ｌｅｆｔ）は左のクロッピングウィンドウの右下の画素の座標である。

ステップ２０では、左および右の両方のビューが、平滑化されたクロッピングウィンドウにより範囲設定された部分を各々のビューで抽出することにより、左のクロップビューおよび右のクロップビューにクロッピングされる。

第１の実施形態は、実装するのが簡単かつ早い。

図２は第２の実施形態を表す。第１の実施形態のステップと同一のステップは、同じ参照番号によって図２で識別される。

ステップ１０では、左の顕著性マップが左のビューに対して決定され、ステップ１２では、右の顕著性マップが右のビューに対して決定される。

ステップ２２では、各々のビューに対する視覚的注意モデルから生じる２つの顕著性マップが、３Ｄ顕著性情報を顕著性マップの２Ｄ表現によって記述する、一意的な顕著性マップに組み合わされる。ＶＡＭ３Ｄに対する組み合わせ（ＣｏｍｂｉｎｅＦｏｒＶＡＭ３Ｄ）ステップ２２は、２つの顕著性マップに存在する共通の区域を強調表示して、一意的な２Ｄ顕著性マップを生成する。ステップ２２の間に、両方の顕著性マップは、２つのビューで共通して顕著である一部の区域を強調表示する２Ｄマップである一意的な顕著性マップ（ＳａｌｉｅｎｃｙＭａｐ＿３Ｄｌｉｋｅ）に統合される。例として、ＳａｌｉｅｎｃｙＭａｐ＿３Ｄｌｉｋｅ内の画素（ｘ，ｙ）に対する顕著性値ＳＭ_{３Ｄｌｉｋｅ}（ｘ，ｙ）は次式のように規定される。
（３） ＳＭ_{３Ｄｌｉｋｅ}（ｘ，ｙ）＝α・ＳＭ_ｌｅｆｔ（ｘ，ｙ）＋β・ＳＭ_{ｒｉｇｈｔ}（ｘ，ｙ）
ただし、

であり、ＳＭ_ｌｅｆｔ（ｘ，ｙ）は左の顕著性マップ内の画素（ｘ，ｙ）の顕著性値であり、ＳＭ_{ｒｉｇｈｔ}（ｘ，ｙ）は右の顕著性マップ内の画素（ｘ，ｙ）の顕著性値であり、ＤＭ（ｘ，ｙ）は場所（ｘ，ｙ）でのデプス値である。

ステップ２４では、平滑化されたクロッピングウィンドウが、ＳａｌｉｅｎｃｙＭａｐ＿３Ｄｌｉｋｅに基づいて決定される。ステップ２４は例えば、顕著性マップがＳａｌｉｅｎｃｙＭａｐ＿３Ｄｌｉｋｅであることを除けばステップ１４または１６と同一である。

ステップ２０では、左および右の両方のビューが、平滑化されたクロッピングウィンドウにより範囲設定された部分を各々のビューで抽出することにより、左のクロップビューおよび右のクロップビューにクロッピングされる。

図３は第３の実施形態を表す。この実施形態は３Ｄコンテンツ専用である。クロッピングウィンドウ拡張に関する決定は、場合によってはデプスマップを使用する。３次元データは、平滑化されたクロッピングウィンドウを決定するために使用される。

第１の実施形態のステップと同一のステップは、同じ参照番号によって図２で識別される。

ステップ１０では、第１の関心領域ＲＯＩ１が左のビューで決定され、ステップ１２では、第２の関心領域ＲＯＩ２が右のビューで決定される。変形例によると、左の顕著性マップが左のビューに対して決定され、ステップ１２では、右の顕著性マップが右のビューに対して決定される。

ステップ３０では、禁止区域マップ生成（ＣｒｅａｔｅＦｏｒｂｉｄｄｅｎＡｒｅａＭａｐ）と呼ばれるステップが、マップを再フレーミング３Ｄステップ３２に提供し、ステップ３２は、いくつかの３Ｄ制約の尊重、すなわち物体が、この物体がスクリーンの前面にある場合はクロッピングウィンドウの境界上にあることが許されないということを確実にする。実際、人間脳はそのことを処置することができない。禁止区域マップが、左または右のいずれかでビューのうちの１つから生成される。図３および図４では、禁止区域マップが左のビューから生成されるが、同じことを右のビューから行うことができる。

ステップ３０は、図４で詳細に説明される。それは、物体（図５での右の画像の白色画素）上などの、クロッピングウィンドウを配置することができない禁止区域マップを規定する。

ステップ３００では、非特許文献１で開示されているような色セグメンテーションアルゴリズムが、セグメンテーションマップを得るために使用される。セグメンテーションマップを提供する任意の他の方法が使用される場合がある。セグメンテーションマップは、ビューのうちの１つに適用される。

ステップ３０２では、顕著性値が、セグメンテーションマップ内で識別される各々の色領域に対して計算される。例として、与えられた領域に属する画素の顕著性値が平均される。平均化された値が、領域の顕著性値とみなされる。

ステップ３０４では、領域の顕著性値が閾値処理される。領域の顕著性量（または顕著性の平均）が閾値Ｔを上回るならば（閾値処理ステップ）、最終的な禁止マップがこの領域では１（または２５５、白色画素）にセットされる。禁止物体を伴うそのような白黒マップが、図５に表される。以下の式は、適応性のある閾値Ｔの計算を要約したものである。

ただしμ_Ｒおよびσ_Ｒは、それぞれ領域Ｒの平均および標準偏差である。μ_Ｒおよびσ_Ｒは、セグメンテーションのために使用されるビューに関連付けられる顕著性マップから計算される。

ステップ３２では、平滑化されたクロッピングウィンドウが決定される。このステップ３２は、図６で詳細に説明される。

ステップ３２２では、第１のクロッピングウィンドウが、独立して各々のビューに対して決定される。ステップ３２２の目標は、各々のビューに対して、ステップ１０および１２で決定される関心領域、または、その顕著性マップＳＭ（ｘ，ｙ）からの幅Ｗおよび高さＨの検討されているビューＳ（ｘ，ｙ）の最も目立つ部分のいずれかを囲むクロッピングウィンドウを規定することである。この目的のために、クロッピングウィンドウは、場合によっては第１および第２の関心領域を囲む最小のウィンドウである。

多くの２Ｄ再フレーミング方法を適用することが可能である。例として顕著性マップは最初に、最も顕著な区域を識別するために２値化される。閾値より大きな顕著性値を有する画素は、２値化されたマップにおいて２５５にセットされる。すべての識別された顕著な区域、すなわち白色画素を含む最小のウィンドウが第１のクロッピングウィンドウである。

変形例によると、ウィナーテイクオールアルゴリズムが、Ｗ×Ｈ個の候補の中から１＜ｋ＜ＫであるＫ個の区域Ａ_ｋを選択するために、特別の目的をもって用いられる。この選択は２つのステップから構成される。第１に、ビューＳ（ｘ，ｙ）が画素単位で走査され、各々の画素位置ｐ（ｘ，ｙ）で、第２の特徴がピクチャの中心に対する現在の画素のユークリッド距離であるような特徴ベクトル

が計算される。最も高い顕著性値および中心に対する最小距離を有する最初のＫ個の画素を伴うサブセットＭが、式（４）により説明されるように計算される。第２に、第ｋの候補Ｃ_ｋが配置かつ記憶されるとき、Ａ_ｋに含まれる画素を意味するその近傍は、第（ｋ＋１）の候補Ｃ_ｋ＋１を決定するために抑制される。Ａ_ｋは、視角の１度に等しい半径を有する円内の画素のセットである。近傍のサイズは視距離によって決まる。視距離が遠くなるほど、近傍のサイズは大きくなる。

顕著性マップは最大値での多くの画素を有する場合があり、したがってピクチャの中心により近い画素が優遇される。シーン中心のバイアスが重要な役割を有し、観察者は、顕著性がヌルである場合でもシーンの中心の付近を凝視する傾向がある。

反復数（または換言すれば数Ｋ）に関しては、クロッピングウィンドウのサイズへのこのパラメータの影響を明白にすることが重要である。反復数がわずかである（または換言すれば、場所の数Ｋがわずかである）ならば、おそらくクロッピングウィンドウのサイズは小さくなる。それとは反対に、大きな数の反復は、より大きな境界ボックスをおそらく確実にすることになる。この方法は好都合であるように思われるが、１つの特徴、すなわち、顕著性マップ内の顕著の分布が明らかに無視されている。この特徴は、２つの異なる画像を表す図７によって例示される。実際、顕著性の分布（または平均観察者変動性）は、風景のピクチャに関してはおそらく点在する状態である。換言すれば、ピークの顕著性と平均背景レベルとの間の分離が重要である。明らかに突出するものがない風景の画像に関しては、顕著性の分布はより均一である。この場合、Ｋ個の最初の場所を選択することが、誤りを含む結果をもたらす可能性がある。この問題を解決するために、反復が、境界ボックスにより囲まれる顕著の分量によりモニターされる。したがってＫは、前の区域Ａ_１…ｋにより包含される顕著性量ＳＱにより制約される。関係式（３）が検証されない一方で、反復処理は継続する。Ｋは、

であるように、クロッピングウィンドウ内にＰパーセントの顕著性を有するために調整される。

Ｐは、０＜Ｐ＜１であるような、マップの全顕著性量ＳＱ_{ｔｏｔａｌ}に適用される最大の量である。そのようなクロッピングウィンドウの例が、図７に例示される。

ステップ３２４では、左および右のクロッピングウィンドウが、左上の座標（ｘ_ＬＲ，ｙ_ＬＲ）、高さｈ_ＬＲ、および幅ｗ_LＲの中間クロッピングウィンドウに組み合わされる。左および右のクロッピングウィンドウの組み合わせは、各々のｘおよびｙ成分にｍａｘおよびｍｉｎ演算子を適用することにより行われる。

別の解決策は、クロッピングウィンドウ組み合わせモジュールの式（１）の解を適用することである。

ステップ３２６では、クロッピングウィンドウのパラメータ（位置、サイズ）が経時的にフィルタリングされる。このステップは、時間的整合性（temporal consistency）と呼ばれる。時間的整合性は、クロッピングウィンドウの位置およびサイズの両方に作用し、経時的な中間クロッピングウィンドウ座標／サイズの安定化を含む。時間はインデックスｉにより識別される。時間的整合性は、例えば２つの順次的なステップ、すなわちカルマンフィルタリングおよび非線形フィルタリングを含む。

カルマンフィルターは、現在のサンプルの軌跡をより良好に予測するために最初に適用される。カルマンフィルターは、興味を起こさせる再帰的な性質により特徴付けられる。（ウィーナーフィルターが行うことになるように）推定を提供するために前のデータのすべてに関して作動するのではなく、カルマンフィルターは、長期間の前のデータを必要としない。カルマンフィルターは、予測される出力と実際の出力との間の平均二乗誤差が最小化される線形システムである。カルマンフィルターは、予測誤差を最小化するために、システム内部の不正確さの２つの固有の発生源、すなわちプロセスノイズＷ_ｉおよび測定ノイズＶ_ｉを考慮する。以下の式ではＸ_ｉは、座標（ｘ^ｉ _ＬＲ，ｙ^ｉ _ＬＲ）のベクトルを、およびクロッピングウィンドウサイズ（ｗ^ｉ _ＬＲ，ｈ^ｉ _ＬＲ）を表象する一般名である。カルマンフィルターは、状態（式９）および測定式（式１０）により規定される。
（１０） Ｘ_ｉ＝Ａ．Ｘ_ｉ−１＋Ｗ_ｉ
（１１） Ｚ_ｉ＝Ｈ．Ｘ_ｉ＋Ｖ_ｉ
ここでＡは一定の遷移マトリックスであり、Ｈもまた一定の測定マトリックスである。

ＷおよびＶ（マトリックス１×２）は、それぞれプロセスノイズおよび測定ノイズを表す。それらは独立しており、白色であり、正規確率を伴うと仮定される。それらは経験的にセットされ、関連付けられたノイズ共分散マトリックスが、ＲおよびＱにより与えられる。カルマンフィルタリングは、非特許文献２において詳細に説明されている。

プロセスノイズの決定は非常に困難である。本研究では、プロセスノイズ共分散は一定である。不確実性が高くなるほど、フィルターは高速に収束する。クロッピングウィンドウは、新しい顕著性変化に高速に適応する傾向を有することになる。フィルターは、それがカメラの動きに近いように考えるべきであるので、適度に高速に収束しなければならない。

メジアンフィルタリングは、ありそうにないサンプルを回避することを可能にする改善である。カルマンフィルター単独の使用は、現実的な効果を得るのに充分ではない。非線形フィルタリングが、邪魔になる場合がある軌跡の短い増大または減少を（水平または／および垂直に）除去するために適用される。フレームにわたる長い軌跡が、自然なカメラの動きをシミュレートするために優遇される。各々のフィルタリングは、クロッピングウィンドウＣＷ_ＬＲ ^ｉ（ｘ_ＬＲ，ｙ_ＬＲ，ｗ_ＬＲ，ｈ_ＬＲ）の中心座標およびサイズに独立して適用される。このステップの結果は、平滑な空間軌跡およびサイズを伴うクロッピングウィンドウＣＷ_ＴＣ ^ｉ（ｘ_ＴＣ，ｙ_ＴＣ，ｗ_ＴＣ，ｈ_ＴＣ）＝（ｘ_{ｓｍｏｏｔｈ}，ｙ_{ｓｍｏｏｔｈ}，ｗ_{ｓｍｏｏｔｈ}，ｈ_{ｓｍｏｏｔｈ}）である。

ステップ３２８では、アスペクト比変換が適用される。使用される異なる変数および表記が図８に例示される。クロッピングウィンドウは、１つの方向もしくは別の方向に、または異なる比率で各々の方向にさえ拡張される。再目標化は、それがさらにデプスマップに基づくため立体的である。動機は、クロッピングウィンドウにより「切断」されることになる境界または強い視差を回避することである。関心を引き起こす解決策は、同じ視差を伴ういくつかの物体を完全に含むまたは排除することである。

顕著性マップから抽出される中間ウィンドウのサイズと、ユーザセッティングまたはアプリケーションにより規定される最終的なアスペクト比との間に関係は存在しない（コンジョイント分析は存在しない）。実際、ステップ３２２は、再目標化アプリケーションのアスペクト比とは完全に無相関である（図７に表されるような）顕著性ピークの境界Ａｋに続いて、最も重要な領域の正確な推定を遂行する。異方性の拡張が、現在の比Ｒ_ＳＭに応じた方向でクロッピングウィンドウＣＷ_ＳＭ ^ｉ（ｘ_ＳＭ，ｙ_ＳＭ，ｗ_ＳＭ，ｈ_ＳＭ）を拡張することによりクロッピングウィンドウサイズを精密にする。拡張は、目標とされるアスペクト比Ｒ_ＴＧを達成するための、幅または高さのいずれかに関するものである。

が目標アスペクト比であり、

が中間クロッピングウィンドウのアスペクト比であると仮定する。

Ｒ_ＴＧ＞Ｒ_ＳＭである場合、水平の拡張が（現在の長方形の幅に関して）実行され、そうでない場合、垂直の拡張が（現在の長方形の高さに関して）行われる。水平の拡張（または垂直の拡張のそれぞれ）を仮定すると、次式を規定することが可能である。
（１４） ｈ_ＡＲ＝ｈ_ＳＭ （またはｗ_ＡＲ＝ｗ_ＳＭのそれぞれ）
ｗ_ＡＲ＝ｗ_ＳＭ＋ｄ_ｗ （またはｈ_ＡＲ＝ｈ_ＳＭ＋ｄ_ｈのそれぞれ）
ｘ_ＡＲ＝ｘ_ＳＭ＋ｄ_ｘ （またはｘ_ＡＲ＝ｘ_ＳＭのそれぞれ）
ｙ_ＡＲ＝ｙ_ＳＭ （またはｙ_ＡＲ＝ｙ_ＳＭ＋ｄ_ｙのそれぞれ）
ただし、

およびｗ_ＡＲ＝ｗ_ＳＭ＋ｄ_{ｒｉｇｈｔ}＋ｄ_ｌｅｆｔである。

拡張の側が規定された後、ウィンドウを拡張するためのさらにいくつかの方途が存在する。換言すれば、ｄ_{ｒｉｇｈｔ}およびｄ_ｌｅｆｔは異なる様式で計算することができる。幅ｗ_ＳＭが、最終的なアスペクト比を達成するために拡張されなければならないと仮定する。

デプスマップおよび／または禁止区域マップが、１つの方向または別の方向でクロッピングウィンドウを拡張するために使用される。

デプスマップは、使用されるケースに応じて、利用可能である場合があればそうでない場合もある。その結果として、アスペクト比変換ステップ３２８の２つの変形例、すなわち、デプスマップが利用可能でないときに使用されるもの、および、デプスマップが利用可能であるときのものが開示される。

デプスマップが利用可能でないとき、ステップ３０の禁止区域マップのみが使用される。平滑化されたＬＲＣｏｏｒｄ（ＳｍｏｏｔｈｅｄＬＲＣｏｏｒｄ）ウィンドウの近辺の画素の列内の勾配の和（大域的な勾配すなわちＧＧ）が、各々の拡張側の量および表現を特徴付けるために計算される。同じことが水平に適用することができる。最適なクロッピングウィンドウＣＷ（ｘ_ｏｐｔ，ｙ_ｏｐｔ）が、以下の最小化の問題が（ｙ_ｏｐｔ＝ｙ_ＳＭと仮定して）解を有するときに見出される。

実際、（目標アスペクト比での）ウィンドウは、式（１４）が最小化されるように、区間［ｘ_ＳＭ−ｄｗ−ｗ_ＳＭ／２；ｘ_ＳＭ−ｗ_ＳＭ／２］内で、ｘ軸のもとで水平移動を行うことにより決定される。ｄ_ｗは最大の拡張幅である。

対応するｘ_ｍｉｎは、最適なクロッピングウィンドウの左側である。したがって、
ｘ_ｏｐｔ＝ｘ_ＳＭ＋ｄ_ｘ（式（１３）で規定されたｄ_ｘ）
ｄ_ｌｅｆｔ＝ｘ_ＳＭ−ｘ_ｍｉｎ−ｗ_ｓｍ／２
ｄ_{ｒｉｇｈｔ}＝ｄ_ｗ−ｄ_ｌｅｆｔ
である。

変形例によると、ｄ_{ｒｉｇｈｔ}が、式（１４）が最小化されるように、区間［ｘ_ＳＭ＋ｗ_ＳＭ／２；ｘ_ＳＭ＋ｄｗ＋ｗ_ＳＭ／２］内で、ｘ軸のもとで水平移動を行うことにより最初に決定される。

最小化問題に対する解が存在しないとき、拡張は各々の側に対して等しく行われ、このことはｄ_ｌｅｆｔ＝ｄ_{ｒｉｇｈｔ}＝ｄ_ｗ／２を意味する。

デプスマップが利用可能であるとき、両方のマップに関する信頼度Ｃｏｎｆ_ｘが計算される。次いで、この信頼度は、最良のクロッピングウィンドウを見出すために最大化される。
（１６） ｘ_ｍｉｎ＝ａｒｇｍａｘ_ｘ［Ｃｏｎｆ_ｘ］
ただし、

実際、（目標アスペクト比での）ウィンドウは、式（１５）が最大化されるように、区間［ｘ_ＳＭ−ｄｗ−ｗ_ＳＭ／２；ｘ_ＳＭ−ｗ_ＳＭ／２］内で、ｘ軸のもとで水平移動を行うことにより決定される。ｄ_ｗは最大の拡張幅である。

対応するｘ_ｍｉｎは、最適なクロッピングウィンドウの左側である。したがって、
ｘ_ｏｐｔ＝ｘ_ＳＭ＋ｄ_ｘ（（１３）で規定されたｄ_ｘ）
ｄ_ｌｅｆｔ＝ｘ_ＳＭ−ｘ_ｍｉｎ−ｗ_ｓｍ／２
ｄ_{ｒｉｇｈｔ}＝ｄ_ｗ−ｄ_ｌｅｆｔ
である。

変形例によると、ｄ_{ｒｉｇｈｔ}が、式（１５）が最大化されるように、区間［ｘ_ＳＭ＋ｗ_ＳＭ／２；ｘ_ＳＭ＋ｄｗ＋ｗ_ＳＭ／２］内で、ｘ軸のもとで水平移動を行うことにより最初に決定される。

ステップ２０では、左および右の両方のビューが、平滑化されたクロッピングウィンドウにより範囲設定された部分を各々のビューで抽出することにより、左のクロップビューおよび右のクロップビューにクロッピングされる。

図９は、左上手側に顕著性マップを、右上側に第１の顕著性ピークおよび対応する第１のクロッピングウィンドウを表す（ステップ３２２）。左下側画像は、禁止区域マップ、および、最終的なクロッピングウィンドウとなるためにいくつかの量を最小化しなければならないスライディングウィンドウである。右下側は、物体の切断を回避するための最終的な左および右の選定された量を提示する。実際、禁止区域マップは、最終的なクロッピングウィンドウ境界が回避すべき領域を（白色で）指示する。

本発明による再目標化方法は、完全に自動的であり、シーンの大域的な理解に関して欠落している基本的な部分がない良好な最終的な品質を確実にし、黒線を用いる異形と比較して３Ｄ効果および没入型の体感を改善する。

本発明は有利には、以下のような多くのポストプロダクション作業に対してのものであり得る。
・アスペクト比変換のためのコンテンツ準備。ＴＶ所有者は、そのコンテンツが、キャッチアップＴＶおよびＶＯＤの場合でのインターネット、携帯ＴＶ、通常のＴＶチャネル…などのいくつかのサポートに対して再フォーマットされることを評価するであろう。
・ｂｌｕ−ｒａｙディスクのためのコンテンツ準備。劇場アスペクト比からＴＶアスペクト比へのアスペクト比変換が、ｂｌｕ−ｒａｙサポートの準備で必要とされる。

図１０は、本発明による再目標化デバイス２を図表で例示する。再目標化デバイス２の本質的な要素のみが、図１０に図示される。再目標化デバイス２は、アドレスおよびデータバス２４により一体に接続される、
− マイクロプロセッサ（またはＣＰＵ）などの処理装置２１と、
− ＲＯＭ（読出し専用メモリ）タイプの不揮発性メモリ２２と、
− ランダムアクセスメモリ（ＲＡＭ）２３と、
− 入力および出力インターフェース２５と、
− 場合によってはマンマシンインターフェース２６と、
を備える。

メモリ２２および２３の説明で使用される単語「レジスタ」は、述べられるメモリの各々において、低容量のメモリゾーン（いくらかのバイナリーデータ）および大容量のメモリゾーン（プログラム全体、または、受信されるオーディオ／ビデオサービスを表すデータの全部もしくは一部が格納されることを可能にする）を表すことが留意される。

不揮発性メモリ２２は、本発明による再目標化方法のステップを実現するアルゴリズムを包含する。電源投入されるとき、処理装置２１はこれらのアルゴリズムの命令をロードしランさせる。ランダムアクセスメモリ２３は、デバイスの電源投入でロードされる処理装置２１の動作プログラム、および、処理されることになる、すなわち再目標化されることになる画像を特に含む。入力／出力インターフェース２５の機能は、入力信号（すなわち再フレーミングされることになる１または複数の画像）を受信し、本発明による方法のステップ１０から２０によって再目標化される１または複数の画像を発出することである。再目標化デバイス２のマンマシンインターフェース２６は、操作者が、必要条件に適合しない再目標化誤りが発生すると直ちに処理を中断することをイネーブルする。このインターフェースは、操作者が、テキストゾーンおよび顔などの認知情報を、このインターフェースを使用して手動で識別することをさらにイネーブルにし得る。再目標化された画像は、ランダムアクセスメモリに格納され、次いで場合によっては、読出し専用メモリに転送されて、後続の処理動作の目的でアーカイブされる。マンマシンインターフェース２６は、場合によっては制御パネル、例えばキーボードおよびディスプレイスクリーンを備える。

変形例によると、本発明に適合する再目標化デバイスは、純粋にハードウェアの実現によって、例えば専用構成要素（例えばＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＶＬＳＩ（超大規模集積回路））、もしくはデバイスに集積されたいくつかの電子構成要素の形式で、またはハードウェア要素およびソフトウェア要素の混合体の形式でも実装される。

Claims (12)

1. 少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツを再目標化するための方法であって、
   − 前記第１のビューから第１の関心領域を、および前記第２のビューから第２の関心領域を決定するステップ（１０、１２）と、
   − 前記第１の関心領域から第１のクロッピングウィンドウを、および前記第２の関心領域から第２のクロッピングウィンドウを決定するステップ（１４、３２２、１６、３２２）と、
   − 前記第１のクロッピングウィンドウおよび前記第２のクロッピングウィンドウを最終的なクロッピングウィンドウに組み合わせるステップ（１８、３２４）と、
   − 前記最終的なクロッピングウィンドウによって前記第１のビューおよび前記第２のビューをクロッピングするステップであって、前記クロッピングされた第１のビューおよび第２のビューが前記再目標化される３Ｄコンテンツを形成する、ステップ（２０）と、
   を備える、前記方法。
2. 前記最終的なクロッピングウィンドウはパラメータにより識別され、前記方法は、
   − 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップ（３２６）と、
   − 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップ（３０）と、
   − 前記禁止区域マップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換するステップ（３２８）と、
   をさらに含む、請求項１に記載の方法。
3. 前記最終的なクロッピングウィンドウはパラメータにより識別され、前記方法は、
   − 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングするステップ（３２６）と、
   − 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定するステップ（３０）と、
   − 前記禁止区域マップおよびデプスマップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換するステップ（３２８）と、
   をさらに含む、請求項１に記載の方法。
4. 前記禁止区域マップを決定する前記ステップ（３０）は、
   − 前記少なくとも２つのビューのうちの１つを領域のセグメンテーションマップにセグメント化するステップ（３００）と、
   − 前記セグメンテーションマップの各々の領域に対して、前記少なくとも２つのビューのうちの前記１つの顕著性マップから顕著性値を計算するステップ（３０２）と、
   − 各々の領域に対して計算された前記顕著性値を閾値処理して、禁止区域マップを形成するステップ（３０４）と、
   を含む、請求項２または３に記載の方法。
5. 前記第１の関心領域および前記第２の関心領域を決定するステップ（１０、１２）は、第１の顕著性マップおよび第２の顕著性マップを決定するステップを含む、請求項１から４のいずれかに記載の方法。
6. 少なくとも第１のビューおよび第２のビューを含む３Ｄコンテンツを再目標化するためのデバイスであって、
   − 前記第１のビューから第１の関心領域を、および前記第２のビューから第２の関心領域を決定するための手段と、
   − 前記第１の関心領域から第１のクロッピングウィンドウを、および前記第２の関心領域から第２のクロッピングウィンドウを決定する手段と、
   − 前記第１のクロッピングウィンドウおよび前記第２のクロッピングウィンドウを最終的なクロッピングウィンドウに組み合わせる手段と、
   − 前記最終的なクロッピングウィンドウによって前記第１のビューおよび前記第２のビューをクロッピングする手段であって、前記クロッピングされた第１のビューおよび第２のビューが前記再目標化される３Ｄコンテンツを形成する、手段と、
   を備える、前記デバイス。
7. 前記最終的なクロッピングウィンドウはパラメータにより識別され、前記デバイスは、
   − 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングする手段と、
   − 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定する手段と、
   − 前記禁止区域マップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換する手段と、
   をさらに備える、請求項６に記載のデバイス。
8. 前記最終的なクロッピングウィンドウはパラメータにより識別され、方法は、
   − 前記最終的なクロッピングウィンドウの前記パラメータを経時的にフィルタリングする手段と、
   − 最終的なクロッピングウィンドウ境界が回避すべき領域を指示する禁止区域マップを決定する手段と、
   − 前記禁止区域マップおよびデプスマップを使用して、前記最終的なクロッピングウィンドウのアスペクト比を目標アスペクト比に変換する手段と、
   をさらに含む、請求項６に記載のデバイス。
9. 前記禁止区域マップを決定する前記手段は、
   − 前記少なくとも２つのビューのうちの１つを領域のセグメンテーションマップにセグメント化する手段と、
   − 前記セグメンテーションマップの各々の領域に対して、前記少なくとも２つのビューのうちの前記１つの顕著性マップから顕著性値を計算する手段と、
   − 各々の領域に対して計算された前記顕著性値を閾値処理して、禁止区域マップを形成する手段と、
   を備える、請求項７または８に記載のデバイス。
10. 前記関心領域は、顕著性マップを用いて決定される、請求項６から９のいずれかに記載のデバイス。
11. プログラムコード命令を含むコンピュータプログラム製品であって、前記プログラムコード命令は、このプログラムがコンピュータ上で実行されるときに、請求項１から５のいずれかに記載の方法のステップを実行するためのものである、前記コンピュータプログラム製品。
12. 少なくとも請求項１から５のいずれかに記載の方法のステップをプロセッサーに実行させるための命令が格納されたプロセッサー可読媒体。