JP2010514318A - ２次元ビデオの３次元ビデオへの変換方法及びシステム - Google Patents

Abstract

ビデオシーケンスの奥行き推定方法を用いる２次元−３次元変換方法であって、前記方法は、シーンのオーディオ情報（３２）の分析に基づき、前記シーンの奥行き（３７）の奥行きカテゴリー化インデックスを求めるオーディオシーン分類段階（３４）を有し、前記奥行きカテゴリー化インデックス（３７）は、同じシーンのビデオ情報（３３）に基づく奥行き推定（３８）で用いられる方法であり、これにより計算負荷を低減し処理を高速化する。

Description

本発明は、ビデオシーケンスの奥行き推定方法に関する。

本発明は、奥行きの推定を含む、２次元画像の３次元画像への変換方法にも関する。

本発明は、さらにビデオシーケンスの奥行き推定システムに関する。

奥行き、すなわち視点と画像中のオブジェクトとの間の距離は、オリジナルな２次元画像を３次元画像に変換するための重要なパラメータである。２次元画像を３次元画像に変換するには、各画素に奥行き（通常、ｚ値と呼ぶ）を与える奥行きマップを作成しなければならない。ｚ値は絶対的な値であっても、相対的な値であってもよい。画素のデータと奥行きマップを用いて２つの画像（左画像と右画像）を生成できる。この左右の画像を組み合わせて３次元データストリームにする。３次元画像表示装置は少し違う２つの画像を生成できるように構成され、ユーザ（viewer）がこの画像を左画像及び右画像として見ると、３次元画像のように見える（give appearance and sensation）。

この左右の画像を正確に生成するには奥行きに関する知識が有用であり、必要にもなる。

画像キュー（image cues）から画像内の画素の奥行きを推定することが知られている。この画像キューは、例えばオクルージョン（occlusion）（画像の要素が他の要素の後にあること）、オブジェクト間のフォーカスの違い、オブジェクトの相対的なサイズ、前の画像との比較である。

これらの方法である程度の結果は得られるが、通常、奥行き推定に要する計算パワーは非常に大きく、データ量も膨大である。リアルタイムでの２次元から３次元への変換は、不可能ではないにしても困難である。

計算負荷を低減し奥行き推定を効率化する方法が必要とされている。

このため、本発明による方法は、シーンのオーディオ情報の分析に基づき、前記シーンの奥行きの奥行きカテゴリー化インデックスを求めるオーディオシーン分類段階を有し、前記奥行きカテゴリー化インデックスは、同じシーンのビデオ情報に基づく奥行き推定で用いられることを特徴とする。

本発明によるシステムは、シーンオーディオ情報を分析して、前記分析に基づいて前記シーンを奥行きカテゴリーに分類するオーディオ分類部を有し、前記オーディオ分類部は前記シーンの重みカテゴリー化インデックスを出力し、前記奥行きカテゴリー化インデックスは、同じシーンのビデオ情報のビデオ奥行き分析部に供給されることを特徴とする。

本発明は、オーディオシーンとカメラ（視聴）距離間に相関があるとの洞察に基づく。

オーディオ情報を用いてシーンを、エクストリーム・クローズアップ、クローズアップ、ミディアムビュー等の奥行きカテゴリーに分類できる。すなわち、シーンに奥行きカテゴリー化インデックスを与えることができる。

この奥行きカテゴリー化インデックスを、情報として、同じシーンのビデオ情報に基づく奥行き決定をするさらに別のステップで用いる。

オーディオのデータスループットは非常に低いので、ビデオではなくオーディオを分析することにより、計算による遅延が低減される。ビデオフレームより数倍短い時間フレームに基づき、リアルタイムより数十倍速く動作するオーディオ分類部は文献に記載されている。オーディオ分析により集めた情報は感知できるほどの計算負荷を課さず、リアルタイムで（ビデオのオーディオトラック全体がすでにメモリに入っていれば、さらに速く）実行できる。しかし、オーディオ分析から収集した情報は、その後のビデオ分析の計算負荷を大幅に低減する。オーディオ分類部からの情報がよいスターティングポイントとなるからである。

好ましくは、前記奥行きカテゴリー化インデックスは、シーンが１つ以上の奥行きカテゴリーに入る確率を示す、オーディオ分析したシーンの確率を含む。

なお、本発明のフレームワークにおいて、「インデックス」は、例えば、「このシーンはエクストリーム・クローズアップである」等の奥行きカテゴリーの単一の表示でもよく、より複雑なデータでもよい。好ましい実施形態では、インデックスは、シーンがある奥行きカテゴリーに属する確率を提供する。かかる表示を、ビデオ情報に基づく後続の奥行き分析に用い、確率が最も高い奥行きカテゴリーが正しいスターティングポイントであるかどうか、または次に確率が高いものを素早く、すなわち比較的高速かつ簡単なアルゴリズムで試すことができる。

確率情報により、奥行き決定に際し、より適切なスターティングポイントの機会が得られる。確率情報は、後続の奥行き分析が、オーディオ分析部からの情報により支援されずに、この情報により誤った方向に導かれる可能性を低減する。

実施形態では、前記オーディオシーン分類はディシジョンツリーに基づき、オーディオキューを前記ディシジョンツリーの形で分析する。

実施形態では、オーディオシーン分類は、各オーディオキューを用いて別々の分類を提供し、各分類に対して前記オーディオキューの重みに対応する重みを割り当てる。

最初の実施形態では、オーディオキューはセリフコンテンツに基づく。セリフとカメラ距離との間の対応が比較的高いことを見いだした。

さらに別の実施形態では、オーディオキューは音楽コンテンツに基づく。音楽のムード及び／または強さがカメラ距離に関係することを見いだした。

さらに別の実施形態では、オーディオキューは雑音に基づく。

こうした本発明の有利な態様などを以下の図面を参照して詳しく説明する。
画像の部分と２つの方向のジオメトリを示す図である。 画像の部分の画像を示す図である。 本発明による方法とシステムを示す図である。 典型的なカメラ位置を示す図である。 実験結果を示す図である。 典型的な奥行きキューの依存性を示す図である。 本方法の実施例の全体像を示す図である。 オーディオ分類（左側）と、オーディオデータ及びビデオフレームデータの時間的整合性（右側）とを示す図である。 ディシジョンツリーの例を示す図である。 カメラの向きと動きに関する例を示す図である。 図面は実際のスケール通りには描かれていない。一般的に、図面中の同一の構成要素は同じ参照数字で示されている。

３次元テレビのコンセプトは今まさに復活しようとしている。その現れとして３次元パラダイムやテクノロジーには既存のものや新規なものへの投資が増加している。従来とは異なり、現在費やされている努力は生産から消費までのチェーン（すなわち、コンテンツとディスプレイの両方）のすべての面にわたっている。映画産業はステレオ画像記録と視聴に基づく３次元シネマ体験を唱道し、企業はステレオビデオすなわち通常の２次元ビデオを自動ステレオ（コンシューマ）ディスプレイに写すのに適したフォーマットに変換するソリューションを勧めている。同時に、ＭＰＥＧ等のフォーラムにおいてかかるフォーマットの標準化が議論されている。こうしたことから、３次元テレビはメディアにおける次の大きな衝撃の触媒であると多くの人から見られている。

３次元テレビが市場で受け入れられるためには、２次元から３次元への（自動）変換ができることが重要な要素である。利用できるステレオ素材（stereo material）の量は限られているので、多くの視聴者にとって（ＤＶＤなどの）既存の素材を３次元で表示できなければ、３次元テレビは魅力的ではなくなる。この変換の中心的なアイデアは奥行きの推定である。奥行きとは、すなわちシーン中のどのオブジェクト（画像中の画素）が他のオブジェクトよりも視聴者（viewer）に近いかを数量化したものである。かかる変換が放送事業者により行われ、その結果の画素深度マップ（pixel depth-map）が通常のテレビ信号に載せて送信される。しかし、この変換をコンシューマ側で行えれば、３次元テレビの導入を漸進的に進めることができる。こうすれば放送事業者のインフラを変更（adaptations）する必要はない。

図１は、画像１０の部分と２つの方向１２ａ、ｂのジオメトリを示す図である。画像の部分とは、人物などの画像中の任意のオブジェクトである。本発明は画像の奥行きマップ（depth map）の生成方法に関する。奥行きマップはオブジェクトの点にｚ値、すなわち奥行き値を付与するものと見ることができる。異なる方向１２ａ、１２ｂからの点射影（point projection）を用いて画像部分１０を含むシーンの画像を得た場合、画像中でその画像部分上の点１４、１５が見える位置は点１４、１５の射影点１６ａ、１６ｂ、１７ａ、１７ｂである。射影点（projections）は、点１４、１５から方向点（orientations）１２ａ、１２ｂを通って画像平面１８に直線１９ａ−１９ｄを引くことにより図示できる。基本原理を定立するために、方向点１２ａ，１２ｂは画像平面１８に平行な平面内で選択したが、本発明は方向点１２ａ，１２ｂをこのように選択することには限定されない。これらの直線１９ａ−１９ｄと画像平面１８とが交差する点が、画像において画像部分１０の点１４，１５が見える位置である。

視点（１２ａ，１２ｂ）を変更すると、画像部分上の点１４，１５が画像平面１８内で見える位置１６ａ，１６ｂ，１７ａ，１７ｂが動く。この動き（translation）は、視点と点１４，１５との間の奥行き「ｚ」に反比例し、視点位置の動きの大きさに比例する。結果として、方向点（orientations）１２ａ，１２ｂからの奥行き「ｚ」が異なる画像部分１０の点１４，１５では、動き（translation）が異なる。２次元画像から奥行きマップ（z-depth map）を生成する場合、通常、オクルージョン、オブジェクトのサイズ、同様のオブジェクトの相対的なサイズ、オブジェクトのエッジのシャープネスなどのビジュアルキュー（visual cues）を利用する。しかし、その結果はあいまいなことが多い。画素サイズとしては小さい樹木でも、近くにある小さい樹木のこともあれば、遠くにある大きな樹木のこともあり、サイズはキューとはなるが誤解を生じることもある。オブジェクトに焦点が合っていれば、そのオブジェクトは遠くのものと比較して前景にあるオブジェクトである。しかし、カメラとオブジェクトの間の距離が近いか比較的遠いかどうかは区別できない。焦点が合っているかどうかは、ビジュアルキューにはなるが誤解を生じやすい。誤解を生じやすいキューの他の例は以下で挙げる。

発明者は、エクストリーム・クローズアップ、クローズアップ、ミディアムビュー、フルビュー、ロングビューなどの比較的一定のセッティング（a number of relatively fixed settings）が多く利用されることに気づいた。これらのセッティングは、程度の差はあるが、カメラとオブジェクトの間の距離が特徴的な範囲にある。

発明者は、さらに、オーディオシーン（audio scene）（すなわち、シーンに付随するサウンドトラック）とカメラ距離との間に相関があることを見いだした。

これが本発明のコアである。すなわち、オーディオシーンを用いて、カメラ距離を示すインデックスをシーンに付与する。オーディオ情報は、必要とするデータと計算パワーがビデオデータよりも非常に少なく、数桁速く分析できる。

図３は、本発明による方法とシステムの基本的セットアップを示す図である。これにより２次元から３次元への変換ができる。

入力信号Ｉ（２Ｄ）、すなわち２次元のビデオシーンは、入力部３１において、オーディオシーン部３２とビデオシーン部３３に分岐される。オーディオシーンはオーディオ分類部３４に送られる。分類部は分析部３５を有する。分析部３５は、オーディオシーンを分析して、セリフ（speech）があるかどうか、音楽があるかどうか、セリフや音楽の音量、雑音があるかどうかなどの特徴を求める。以下、例を説明する。この情報は内部分類部３６で使われる。内部分類部３６は、分析結果を用いて、オーディオシーンを分類して、インデックス３７を付与する。インデックスとは、エクストリーム・クローズアップなどのシーンを示す数字や、シーンがエクストリーム・クローズアップ、クローズアップ、ミディアムビューなどである確率を示すテーブルなどである。

インデックス３７は奥行き推定部３８で使われる。奥行き推定部３８は、一方でインデックスデータを用い、もう一方で同じビデオシーンのビジュアルキューを用いて奥行きマップを生成する。奥行きマップは画像データに付加される。奥行きマップを用いて、画像を３次元画像装置に表示できる。

本発明の有利な点は、オーディオキューとビジュアルキューを組み合わせて用いることにより、２次元から３次元への変換を高速化でき、リアルタイムで実行できることも多い。

図４は、典型的なカメラ位置であるエクストリーム・クローズアップ（エクストリームCU）、クローズアップ（CU）、ミディアムビュー、フルビュー、及びロングビューを示す図である。最重要オブジェクトとカメラとの間の典型的な距離やその範囲が各カメラセッティングに付随している。人間の目、より正確には人間の脳はほぼ瞬間的に様々なカメラセットアップを識別できるが、ビデオファイル中のビジュアルキューにより同じことをやろうとすると、膨大な計算パワーを要することが多く、その割にはあいまいな結果しか得られないことがある。２次元ビデオからの奥行きの自動推定は、本来的に発見的奥行きキューに依存するが、発見的奥行きキューは、不完全であることは避けられず、シーナリー（scenery）のタイプ（例えば、クローズアップ対ミディアムビューや室内対室外）によってうまく行くこともあれば行かないこともある。画像からビジュアルシーンを分類することは別の問題として研究されており、（多変数）パターン分析や監視下ラーニング（supervised learning）などの方法を含む多くのソリューションが提案されている。しかし、（毎秒多数の画像がある）高スループットのビデオデータが入力されるとき、これらの方法では計算による大きな遅延があり、そのため実際には２次元から３次元へのビデオ変換システムには使えない。

とすれば、異なるタイプのシーンを検出するメカニズムを設け、キューを適当に（動的に）ミックス、またはスイッチできるようにすることが非常に望ましい。

発明者はオーディオシーンとカメラセッティングとの間に相関があることを発見した。オーディオシーンはデータ量が数桁小さいので、分析と分類を数桁速くできる。オーディオでの検出により、カメラセットアップにおけるシーンの、おおざっぱかも知れないが非常に高速の分類ができる。この分類により、奥行き分析部３８で用いるアルゴリズムのパラメータのスターティングポイントとして、ビジュアル分析で利用する非常に重要なキューが得られる。本発明は、ビデオ、特に映画では、（セリフ、映画音楽、環境音などの）様々な音源の同時発生や詳細からそのシーンに関して多くのことが分かる。オーディオシーンとカメラ距離（見える距離）との間には相関がある。

なお、オーディオシーンを例えばモノローグとダイアローグ、室内と屋外のシーンとして分類することが知られているが、カメラセッティングの分類や画像の２次元から３次元への変換におけるかかる分類の利用とはリンクしていない。

図５は、実験結果を示す図である。図５は、オーディオシーン構成とカメラ距離との間の相関を示し、１は「エクストリーム・クローズアップ」、２は「クローズアップ」、３は「ミディアムビュー」、４は「フルビュー」、５は「ロングビュー」である。図５は、映画「パイレーツ・オブ・カリビアン」からの任意に選択した（約７分間の）抜粋を用いた実験である。上部には、このビデオシーケンスのオーディオトラックで実行した、オーディオ分類部の結果を示した。否が応でも不完全ではあるが、これらの結果は正しい状況に近いことが分かった。図の下部には、このビデオのフレームごとにマニュアルでカメラ距離についての注釈（frame-accurate manual annotation of this video in terms of the camera distance）を示した。これらの図を比較すると、重要な点として以下のことが分かる：
１. セリフが多い区間ではほとんど常にカメラ距離は短い（クローズアップまたはエクストリーム・クローズアップ）；
２. はっきりしたバックグラウンドミュージックが流れていてセリフがない（が、他の音源はある）区間では、カメラ距離は長い（ミディアムビュー、フルビュー、及びロングビュー）ことが多い。

このように、オーディオ分類部（audio classifier）により、多くの場合、カメラ距離を予測できる。

２次元から３次元への変換に伴う問題をここでもう少し詳しく説明する。

２次元ビデオから奥行きを推定するシステムの多くが、スターティングポイントとして、または唯一の手がかり（full cue）として静的な奥行きプロファイルを利用する。図６は、かかる奥行きプロファイルのビジュアルシーンのタイプへの依存性を示す図である。奥行きマップでは、暗い方が（視聴者からの）距離が遠いことを意味している。

このキューが、地面と水平線とがはっきり分かれているミディアムビューショット（屋外など）に適しているが、１つのオブジェクトが画像の高さ方向の大部分または全体に及ぶクローズアップとエクストリーム・クローズアップには確かに適していないことを、図６は明らかに示している。

シーンのタイプによりコンピュータベースの奥行き推定の方向と性能が決まる他の例としては次のものがある：
− 動きのあるシーン オブジェクトの動きやそのシーンを録画するカメラの動きを、場合によっては同時に含む。動きがあるか無いか、及び動きの複雑さのレベルが重要なパラメータとなる。動きの流れを正確に推定すれば、シーンのオクルージョン（occlusion）（及び奥行き）を推測できるからである。
− 複雑なシーン 複数のオブジェクトと（テクスチャー化された）背景とを含む。視覚的な不均一性レベルにより、適切にオブジェクト・境界のセグメンテーションを実行できるかが決まり得る。このオブジェクト・境界セグメンテーションを用いて奥行きの（不）連続性を推測できる。

コンピュータが生成する奥行きキュー（visual depth cues）性能に対するビジュアルシーナリー（visual scenery）の多様性の抑制効果を回避するため、特徴的タイプのシーナリーを区別して、奥行きキューの計算、ミックス、及び場合によっては後処理を適宜調整することを提案する。

本発明の特徴と実施形態は次の通りである：
１. ビデオ中の多くのシーナリーは生来的にオーディオにより動かされて（driven）おり、これはテレビや映画の制作の物語のコンテンツ（narrative content coming from professional TV and movie production）に最も当てはまる。
２. 本発明の中心的なアイデアは、２次元−３次元ビデオ変換装置（2D-to-3D video conversion scheme）がオーディオ分類部の出力にアクセスさせ、変換するビデオのオーディオトラックを入力とすることである。オーディオ分類部は、奥行きカテゴリー化インデックス（visual depth categorization index）を出力する。この奥行きカテゴリー化インデックスは、各オーディオフレームに、セリフ、音楽、静寂、雑音、環境音などのオーディオクラスの１つまたは１セットを割り当てる確率を含む。ビデオの一区間においてこの確率を分析することにより、シーンタイプに関する手がかりが得られる。例えば：
− セリフが多いということは、会話をしている確率が高く、よってクローズアップショットであることを示す。
− （場合によってはセリフと併せて）バックグラウンドミュージックや環境音が多いということは、動きが多い確率が高く、よって複雑な（動きのある）シーンであることを示す。

より高度な決定ストラテジーも実現可能であり、その一部は後で説明する。

さらに、オーディオセグメントが１つの（支配的な）オーディオクラスに属することが分かれば、さらにそのクラス特有の分析にかけてもよい。例えば、
− 話者（変化）トラッキング セリフのセグメントが異なる話者に属することが分かると、会話であり、よってクローズアップショットである可能性（likelihood）が高まる。
− 音楽テンポ分析 一般的に、激しいアクションに併せてダイナミックな映画音楽が利用されており、よって（複雑な）動きのあるシーンを示している。
− 音楽ムード分析 多くの場合、サスペンスに併せて「ドラマチックな」映画音楽が利用され、通常、クローズアップとミディアムビューが入れ替わるように撮影されている。
− 人混み、拍手、発砲、爆発などの「雑音」や「環境音」などである副分類によっても、動作や環境（室内、屋外など）に関する有用なキューが得られる。

オーディオのデータスループットは非常に低いので、ビデオではなくオーディオを分析することにより、計算による遅延が低減される。

オーディオ情報から得られる決定（シーン分類インデックス）は、このような速さで得られるので、画像分析から得られる決定を捕捉し、信頼性を高める。

図７は、本方法の実施例の全体像を示す図である。処理ステップは以下でより詳しく説明する。なお、少なくとも点線で示した構成要素は基本提案に対して任意的である。
− データバッファ部 これは、シーン分類をビデオの長い区間（例えば、（検出したカメラショットの境界などである）キーフレームのペア間に含まれる複数のフレーム）に適用できる、リアルタイムでない２次元−３次元ビデオ変換で特に有用である。
− オーディオ分類部 各オーディオフレームに対して、そのフレームに、セリフ、音楽、静寂、雑音、環境音などの所定のクラスセット（set of classes）のうちの各クラスを割り当てる確率を割り当てる。文献では、高速かつ高信頼性のオーディオ分類を実行できる様々なアルゴリズムが報告されており、様々なオーディオクラスの確率が非累積的に、すなわち互いに独立に計算されている。図８は、既存の分類器の出力を示す図である。
− 閾値 オーディオフレームが単一の音源（オーディオクラス）からのものであると決定する方法として、支配的（最大）またはその他の非ゼロの確率に適用する。
− ２次オーディオ分析 オーディオクラスに特有な処理を言う。例えば、
− 話者（変化）トラッキング：一般的に話者認識は別の問題であるが、話者が誰であるかは気にせずに話者の変化のみを認識することができる。
− 音楽テンポ分析：これはシステムの拡張によりカバーされ、音楽のムード、ビート、調性等に関するより高度な分析も含む。
− 環境音の人混み、銃声、爆発等への分類。
− オーディオベース・ビジュアルシーン分類 ビデオタイムフレームをそれが表すシーナリータイプに応じて分類するための、オーディオクラス確率の分析と、場合によっては２次オーディオ分析から得られるその他の情報とを言う。この分析は、後で説明するように、簡単なルールベースの論理またはより高度な処理を意味する（connote）。
− 時間的整合 オーディオから求めた分類をビデオのレートと整合させる。これは、各ビデオフレームとオーディオフレームのタイムスタンプを考慮して、オーディオフレームベースのデータを補間して平均することにより行う。これも図８に示した。
− 制御論理 検出したシーンタイプに応じて、奥行きインデックスを切り替える、またはその計算（例えば、初期化やパラメータ設定）や重みを調節するルールを意味する。
− 奥行き推定 任意の奥行きインデックスから画像の奥行きマップを生成することをいう。通常この生成は、すべてのキューから求めた奥行きマップを、それぞれに所定の重みをつけて合計することにより行う。

図８は、オーディオ分類（左側）と、オーディオデータ及びビデオフレームデータの時間的整合（右側）とを示す図である。ここでは、整合は、連続する２つのビデオフレームのそれぞれの間で（レートが高い）オーディオフレームデータを平均することにより行う。特徴ベクトルは、実際にはシーン分類の結果を表すスカラー「シーンラベルインデックス」であってもよいことに留意する。

奥行きカテゴリー化インデックスを提供するオーディオキューの利用方法はいくつかある。オーディオキューの簡単な利用方法は、ディシジョンツリーによりルールベース論理を用いることである。ディシジョンツリーは、一連の質問によりパターンを分類するものであり、次の質問は現在の質問に対する回答に依存する。図９に例を示す。オーディオ分類、話者変化トラッキング、及び音楽テンポ分析の意味と実施はすでに説明した。セリフのレートとムードの数量化は韻律学の標準的な分析の一面であり、ピッチ、長さ、大きさ、音質などの口語の「超分節的（suprasegmental）」側面をいう。このような認知分析は音楽ではもっと困難である。しかし、様々な研究が報告されており、音信号から抽出した強さ、音質、リズムに関係する特徴を用いた信号処理やパターン分類（例えば、ニューラルネットワーク）が探求されている。カメラ距離に関する分類は、５通りの距離が定義されている場合、エクストリーム・クローズアップ（extreme close-up）、クローズアップ（close-up）、ミディアムビュー（medium-view）、フルビュー（full-view）、及びロングビュー（long-view）によることに留意する。また、一部のブランチでは分類があいまいに終わるが、追加的な（画像ベースの）分析により明らかになる。

有用な実施形態では、少なくとも部分的にはキャラクター情報（character information）に基づき決定が為される。キャラクター情報は、例えば監督名や俳優の名前である。監督によっては独特のスタイルがある。一部の監督はクローズアップをその他より多く用いる。同様に、一部の俳優（通常は主役）はクローズアップで撮られることが非常に多いが、他の俳優はクローズアップで撮られることがずっと少ない。この情報は入手可能であり、これを用いてより正確な予測をすることが可能である。

本発明を実施する他の好適な方法として、ベイズ推定がある。ベイズ推定は、自然の状態（例えば、ビジュアルシーンのタイプ）の事後確率と、その状態の事前確率と、自然の特徴の測定（例えば、オーディオ分類）との間を相互結合する基本ルールである。式（１）はこのルールを示し、その下に、表記例によりさらに別の分類を示した。各ベイズ信念ネット（Bayesian belief net）はノードとその状態よりなる。ノード間のリンクは、エビデンスに基づく直接的因果的影響（direct causal influence）を表す。例えば、ノードＢは状態｛ｂ１，ｂ２，．．．｝を有し、これを集合的にｂで示す。Ｐ（ｂ）は事前確率｛Ｐ（ｂ１），Ｐ（ｂ２），．．．｝を示し、Ｐ（ｃ｜ｂ）はｂが生起した時のｃの条件付き確率（尤度）を示す。式（１）ではすべての事前確率と尤度を用いて、事後確率を求める。この事後確率を用いてディシジョンルールを生成する。

ベイズ分類部では、（クラス条件付き）確率の推定が決定的な役割を果たす。ある場合には、様々な確率に対して標準分布（例えばガウシアン）をとれば十分である。別の場合には、（例えばオフラインで）トレーニングサンプルからこれらの分布を推定すればよい。

制御論理は、検出したシーンクラス情報に応じた、様々な奥行きキューの切り替え（重み付け）、またはその計算の適用（初期化、パラメータ設定など）及び場合によっては後処理のルールを意味する。かかるルールは複数考えられ、経験的エビデンスに応じて、多かれ少なかれ控えめにすることができる。シーンの（例えばカメラ距離に関する）ある特徴は一部の奥行きキューにとって決定的であるかも知れないが、他の奥行きキューにとってはより「中立的」である。様々なオプションの評価は、次のセクションで説明するように、現在進行中の研究の主題である。ここでは、主要なアイデアを例示する、もっともらしい構成を示す。

シーン分類に基づき奥行き推定を制御する論理の擬似コードを示す。この擬似コードは、求めた分類により、いかに一般的な奥行きキューの選択と展開、すなわち奥行き推定ストラテジーを決定するか示している。かかる奥行きキューの実装は可変であり、文献で報告されている複数のアルゴリズムのどのアルゴリズムであってもよい。

なお、「奥行きカテゴリー化インデックス」は、奥行きを示す簡単なインデックスであるが、より詳細に説明する。

視聴距離（viewing distance）とは別に、映画制作者は他の多数の形式的な規定や約束を用いる。図１０は、カメラの向きと動きに関する例を示す図である。例えば、オブジェクトの「トラッキング（tracking）」（図１０参照）に多くの会話（セリフ）が伴うことはあまりない。同時に、動き（ここでは、オブジェクトが動いているだけではなく、背景が変化していることも含む）や視覚的不均質性（visual heterogeneity）に関する仮定を用いて奥行きを推定するアルゴリズムに大きく影響する。このように、オーディオシーンを用いて、カメラの位置決め（視聴距離、奥行き）及びシーン中の動きに関して、映画のシンタックス要素に関する奥行きカテゴリーを生成する。ビジュアルカテゴリー化インデックスは、奥行きと動き、及び／または視覚的不均質性（movement and/or visual heterogeneity）の少なくとも２つの成分を有する。動きは、速さを含み、音声と動きの速さとの間には相関があることが多い。大きく速い音楽やセリフは速い動き、またはカメラ一の速い変化を示す。一方、イージーリスニングミュージックは、比較的遅い動きに伴う。

好ましい実施形態では、ファジー論理を用いてオーディオキューから奥行きカテゴリー化インデックスを抽出する。

本発明は、コンピュータで実行されると、本発明による方法を実行するプログラムコード手段を有するコンピュータプログラムで実施してもよいし、本発明による方法を実行するコンピュータ読み取り可能媒体に記憶されたプログラムコード手段を有するコンピュータプログラムプロダクトで実施してもよい。コンピュータプログラムプロダクトは、例えばゲームコンソールのグラフィックプロセッサを含む。

明らかに、本発明のフレームワーク内で、多くの変形が可能である。当業者には言うまでもなく、本発明は、上で図示して説明したものに限定されない。本発明は、全ての新規な特徴のそれぞれ、及びその組み合わせにある。請求項中の参照数字は保護範囲を限定するものではない。「有する」という動詞を用いたが、請求項に記載された要素以外の要素の存在を排除するものではない。要素に付された「１つの」、「一」という用語を使用したが、その要素が複数あることを排除するものではない。

本発明を特定の実施形態に関して説明した。これらの実施形態は、本発明を例示するものであり、限定するものと解してはならない。本発明は、方法及び装置で、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで実施することができる。他の実施形態も請求項の範囲に入る。

Claims (18)

1. ビデオシーケンスの奥行きの推定方法であって、
   前記方法は、シーンのオーディオ情報の分析に基づき、前記シーンの奥行きの奥行きカテゴリー化インデックスを求めるオーディオシーン分類段階を有し、
   前記奥行きカテゴリー化インデックスは、同じシーンのビデオ情報に基づく奥行き推定で用いられる方法。
2. 前記奥行きカテゴリー化インデックスは、シーンが１つ以上の奥行きカテゴリーに入る確率を示す、オーディオ分析したシーンの確率を含む、請求項１に記載の方法。
3. 前記奥行きインデックスは、カメラ配置（視聴距離）と動き、及び／または視覚的不均質性に関する映画のシンタックスと約束に関するデータを含む、請求項１に記載の方法。
4. 前記オーディオシーン分類はディシジョンツリーに基づき、オーディオキューを前記ディシジョンツリーの形で分析する、請求項１ないし３いずれか一項に記載の方法。
5. オーディオシーン分類は、各オーディオキューを用いて別々の分類を提供し、各分類に対して前記オーディオキューの重みに対応する重みを割り当てる、請求項１ないし４いずれか一項に記載の方法。
6. ファジー論理（クラスタリング）を用いてオーディオ及びビデオシーン分類間の相関を求める、請求項１ないし５いずれか一項に記載の方法。
7. セリフコンテンツがキューである、請求項１ないし６いずれか一項に記載の方法。
8. 音楽コンテンツがキューである、請求項１ないし７いずれか一項に記載の方法。
9. 前記ビジュアルシーンから記録された、または映画の制作後に生成された非セリフまたは非音楽の音声の結合はキューである、請求項１ないし８いずれか一項に記載の方法。
10. ２次元ビデオの３次元ビデオへの変換方法であって、
    請求項１ないし９いずれか一項記載の奥行き推定方法を用いる方法。
11. コンピュータで実行された時、請求項１ないし１０いずれか一項に記載の方法を実行するプログラムコード手段を有するコンピュータプログラム。
12. コンピュータで実行された時、請求項１ないし１０いずれか一項に記載の方法を実行する、コンピュータ読み取り可能媒体に記憶されたプログラムコード手段を有するコンピュータプログラム。
13. ビデオシーケンスの奥行きの推定システムであって、
    前記システムは、シーンオーディオ情報を分析して、前記分析に基づいて前記シーンを奥行きカテゴリーに分類するオーディオ分類部を有し、前記オーディオ分類部は前記シーンの重みカテゴリー化インデックスを出力し、
    前記奥行きカテゴリー化インデックスは、同じシーンのビデオ情報のビデオ奥行き分析部に供給されるシステム。
14. 前記奥行きカテゴリー化インデックスは、シーンが１つ以上の奥行きカテゴリーに入る確率を含む、請求項１３に記載のシステム。
15. 前記分類部はディシジョンツリーに基づき分類するように構成された、請求項１３または１４に記載のシステム。
16. 前記分類部は、各オーディオキューを用いて別々の分類を提供し、各分類に対して前記オーディオキューの重みに対応する重みを割り当てる方法に基づき分類するように構成された、請求項１３ないし１５いずれか一項に記載のシステム。
17. 前記分類部は、ファジー論理（クラスタリング）に基づき分類するように構成された、請求項１３に記載のシステム。
18. 前記システムは２次元画像データを３次元画像データに変換する、請求項１３に記載のシステム。
    
    

Images