JP2013509104A - ２ｄビデオデータの３ｄビデオデータへの変換のための深度マップ生成技法 - Google Patents

Abstract

本開示では、ビデオ・フレームまたはビデオ・フレームのスライスなど、ビデオ・ユニットの深度マップを生成するための技法について説明する。本技法は、２次元（２Ｄ）ビデオを３次元（３Ｄ）ビデオに変換するためにビデオ・エンコーダによって実行され得る。本技法は、代替的に、受信した２Ｄビデオを３Ｄビデオに変換するためにビデオ・デコーダによって実行され得る。本技法は、深度マップ生成プロセスにおいて動きと色の考慮の組合せを使用し得る。

Description

本出願は、その内容全体が参照により本明細書に組み込まれる、２００９年１０月２３日に出願された米国仮出願第６１／２５４，５５８号の利益を主張する。

本開示は、ビデオ・コーディングと、２次元（２Ｄ）ビデオデータの３次元（３Ｄ）ビデオデータへの変換とに関する。

デジタル・マルチメディア機能は、デジタル・テレビジョン、デジタル・ダイレクトブロード・キャストシステム、ワイヤレス通信デバイス、ワイヤレス・ブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップ・コンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲーム機、ビデオゲーム・コンソール、セルラー電話または衛星無線電話、デジタル・メディアプレーヤなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタル・マルチメディアデバイスは、デジタル・ビデオデータをより効率的に送信および受信または記憶および検索するために、ＭＰＥＧ−２、ＩＴＵ−Ｈ．２６３、ＭＰＥＧ−４、またはＩＴＵ−Ｈ．２６４／ＭＰＥＧ−４ Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）などのビデオ・コーディング技法を実装し得る。ビデオ符号化技法は、ビデオ・シーケンスに固有の冗長性を低減または除去するために、空間的および時間的予測を介してビデオ圧縮を実行し得る。

たいていの従来のビデオ・シーケンスは２次元（２Ｄ）閲覧フォーマットで符号化および復号される。しかしながら、３次元（３Ｄ）シーケンスも可能であり、その場合、ビデオ・シーケンスは、各ビデオ・フレームに関連する２つ以上のビューを有する。この場合、その２つ以上のビューは、３Ｄビデオをレンダリングするために３Ｄディスプレイ上で組み合わされ得る。

場合によっては、２つ以上のビューが、異なるカメラによってキャプチャされ、複数のビューを含む３Ｄシーケンスに符号化され得る。代替的に、ビデオ・フレームの１つまたは複数の２次ビューが元の２Ｄビデオ・フレームに基づいて合成され得る。２Ｄ３Ｄ変換を可能にするために、深度マップを使用してビデオ・フレームのピクセルに深度値を割り当て得る。ビデオ・フレームの２次ビューまたは複数の追加のビューを生成するために、ビュー合成プロセスにおいて、所与のビデオ・フレームの深度マップがそのビデオ・フレームに適用され得る。

本開示では、ビデオ・フレーム、ビデオ・フレームのスライス、またはビデオ・フレームの他の部分など、ビデオ・ユニットの深度マップを生成するための技法について説明する。本技法は、２次元（２Ｄ）ビデオを３次元（３Ｄ）ビデオに変換するためにビデオ・エンコーダによって実行され得る。本技法は、代替的に、受信した２Ｄビデオを３Ｄビデオに変換するためにビデオ・デコーダによって実行され得る。

本開示の技法は深度マップ初期化プロセスを含み得る。深度マップ初期化では、ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、そのピクセルに初期深度値を割り当て得る。次いで、しきい値を満たす初期深度値を調整し得、調整された深度値は、ピクセルに関連する色に基づく。次いで、ビデオ・ユニットの初期化された深度マップを生成し得、初期化された深度マップは、ピクセルの第１のサブセットの初期深度値と、ピクセルの第２のサブセットの調整された深度値とを備える。ある場合には、初期化された深度マップは、さらなる処理なしに最終深度マップとして使用され得、他の場合には、最終深度マップを定義するために、初期化された深度マップに関して追加の技法が適用され得る。

たとえば、本技法は、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断し得る。ビデオ・ユニットがシーン変化に対応する場合、本技法は、初期化された深度マップをビデオ・ユニットの最終深度マップとして選択し得る。しかしながら、ビデオ・ユニットがシーン変化に対応しない場合、本技法は、ビデオ・ユニットが前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断し得る。ビデオ・ユニットが低動きレベルを表さない場合、本技法は、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義し得る。ビデオ・ユニットが低動きレベルを表す場合、本技法は、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の深度マップの深度値との最大値に基づいて、最終深度マップを定義し得る。

一例では、本開示は、ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、そのピクセルに初期深度値を割り当てることと、初期深度値がしきい値を満たすかどうかを識別することと、初期深度値がしきい値を満たすビデオ・ユニットのピクセルのうちの１つまたは複数に、調整された深度値を割り当てることであって、調整された深度値が、ピクセルに関連する色に基づく、割り当てることと、ビデオ・ユニットの深度マップを生成することであって、深度マップが、ピクセルの第１のサブセットの初期深度値と、ピクセルの第２のサブセットの調整された深度値とを備える、生成することとを備える方法について説明する。

別の例では、ビデオコーダ装置は、ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、そのピクセルに初期深度値を割り当てることと、初期深度値がしきい値を満たすかどうかを識別することと、初期深度値がしきい値を満たすビデオ・ユニットのピクセルのうちの１つまたは複数に、調整された深度値を割り当てることであって、調整された深度値が、ピクセルに関連する色に基づく、割り当てることと、ビデオ・ユニットの深度マップを生成することであって、深度マップが、ピクセルの第１のサブセットの初期深度値と、ピクセルの第２のサブセットの調整された深度値とを備える、生成することとを行う深度マップ生成ユニットを備え得る。

別の例では、デバイスは、ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、そのピクセルに初期深度値を割り当てるための手段と、初期深度値がしきい値を満たすかどうかを識別するための手段と、初期深度値がしきい値を満たすビデオ・ユニットのピクセルのうちの１つまたは複数に、調整された深度値を割り当てるための手段であって、調整された深度値が、ピクセルに関連する色に基づく、割り当てるための手段と、ビデオ・ユニットの深度マップを生成するための手段であって、深度マップが、ピクセルの第１のサブセットの初期深度値と、ピクセルの第２のサブセットの調整された深度値とを備える、生成するための手段とを備え得る。

本開示で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装する場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、またはデジタル信号プロセッサ（ＤＳＰ）など、１つまたは複数のプロセッサで実行され得る。本技法を実行するソフトウェアは、初めにコンピュータ可読媒体に記憶され、プロセッサにロードされ、実行され得る。

したがって、本開示はまた、プロセッサによる実行時に、ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、そのピクセルに初期深度値を割り当てることと、初期深度値がしきい値を満たすかどうかを識別することと、初期深度値がしきい値を満たすビデオ・ユニットのピクセルのうちの１つまたは複数に、調整された深度値を割り当てることであって、調整された深度値が、ピクセルに関連する色に基づく、割り当てることと、ビデオ・ユニットの深度マップを生成することであって、深度マップが、ピクセルの第１のサブセットの初期深度値と、ピクセルの第２のサブセットの調整された深度値とを備える、生成することとをプロセッサに行わせる命令を備えるコンピュータ可読記憶媒体を企図する。

本開示に一致する深度マップ初期化の後に、最終深度マップを定義するために追加の技法を適用し得る。そのような例では、最初に生成された深度マップは、初期化された深度マップと呼ばれることがある。この場合、方法は、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断することと、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応する場合、初期化された深度マップをビデオ・ユニットの最終深度マップとして選択することと、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応しない場合、ビデオ・ユニットが前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断することと、ビデオ・ユニットが低動きレベルを表さない場合、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義することと、ビデオ・ユニットが低動きレベルを表す場合、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の深度マップの深度値との最大値に基づいて、最終深度マップを定義することとをさらに備え得る。

本開示の１つまたは複数の態様の詳細は、添付の図面および下記の説明に記載されている。本開示で説明する技法の他の特徴、目的、および利点は、これらの説明および図面、ならびに特許請求の範囲から明らかになろう。

本開示の技法を実装し得る１つの例示的なビデオ符号化および復号システムを示すブロック図。 ビデオ符号化プロセスの一部として本開示の技法を実行し得る例示的なビデオ・エンコーダを示すブロック図。 ビデオ復号プロセスの一部として本開示の技法を実行し得る例示的なビデオ・デコーダを示すブロック図。 深度推定およびビュー合成のプロセスを示す流れ図。 深度マップを初期化するプロセスを示す流れ図。 確定された深度マップを生成するプロセスを示す流れ図。 深度マップ初期化と、確定された深度マップの生成とを示す流れ図。

本開示では、ビデオ・フレームまたはビデオ・フレームのスライスなど、ビデオ・ユニットの深度マップを生成するための技法について説明する。本技法は、２次元（２Ｄ）ビデオを３次元（３Ｄ）ビデオに変換するためにビデオ・エンコーダによって実行され得る。本技法は、代替的に、受信した２Ｄビデオを３Ｄビデオに変換するためにビデオ・デコーダによって実行され得る。「コーディング」という用語は、本明細書では、ビデオ符号化またはビデオ復号を指すように定義される。同様に、「ビデオコーダ」という句は、ビデオ・エンコーダまたはビデオ・デコーダを指す。概して、深度マップ初期化および生成は、本開示に一致する、エンコーダまたはデコーダによって実行され得る。

本開示の技法は深度マップ初期化プロセスを含み得る。深度マップ初期化では、ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、そのピクセルに初期深度値を割り当て得る。次いで、しきい値を満たす初期深度値を調整し得、調整された深度値は、ピクセルに関連する色に基づく。次いで、ビデオ・ユニットの（初期化された深度マップと呼ばれることがある）深度マップを生成し得、深度マップは、ピクセルの第１のサブセットの初期深度値と、ピクセルの第２のサブセットの調整された深度値とを備える。

次いで、（初期化された深度マップと呼ばれることがある）初期化中に生成された深度マップに基づいて最終深度マップを定義するために追加の技法を適用し得る。たとえば、本技法は、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断し得る。ビデオ・ユニットがシーン変化に対応する場合、本技法は、初期化された深度マップをビデオ・ユニットの最終深度マップとして選択し得る。しかしながら、ビデオ・ユニットがシーン変化に対応しない場合、本技法は、ビデオ・ユニットが前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断し得る。ビデオ・ユニットが低動きレベルを表さない場合、本技法は、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義し得る。ビデオ・ユニットが低動きレベルを表す場合、本技法は、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の深度マップの深度値との最大値に基づいて、最終深度マップを定義し得る。

図１は、本開示の技法を実装し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、通信チャネル１５を介して符号化ビデオを宛先デバイス１６に送信するソース・デバイス１２を含む。ソース・デバイス１２および宛先デバイス１６は、モバイル・デバイスまたは概して固定されたデバイスを含む、広範囲のデバイスのいずれかを備え得る。場合によっては、ソース・デバイス１２および宛先デバイス１６は、いわゆるセルラー電話または衛星無線電話のワイヤレスハンドセット、携帯情報端末（ＰＤＡ）、モバイル・メディアプレーヤなどのワイヤレス通信デバイス、あるいはワイヤレスであってもなくてもよい通信チャネル１５を介してビデオ情報を通信することができる任意のデバイスを備える。しかしながら、２Ｄ３Ｄビデオ変換のための深度マップの生成および適用に関係する、本開示の技法は、ワイヤレス、ワイヤードまたはハイブリッドシステムを含む多くの異なるシステムおよび設定において使用され得る。図１はそのようなシステムの一例にすぎない。

図１の例では、ソース・デバイス１２は、ビデオ・ソース２０と、ビデオ・エンコーダ２２と、変調器／復調器（モデム）２３と、送信機２４とを含み得る。宛先デバイス１６は、受信機２６と、モデム２７と、ビデオ・デコーダ２８と、ディスプレイ・デバイス３０とを含み得る。本開示によれば、ソース・デバイス１２のビデオ・エンコーダ２２または受信デバイスのビデオ・デコーダ２８は、２Ｄ３Ｄビデオ変換のための深度マップを生成するように構成され得る。

ソース・デバイス１２は、ビデオ情報を符号化し、宛先デバイス１６に送信し得る。宛先デバイス１６は、ソース・デバイス１２から受信されたワイヤレス信号を受信し、復調し得る。ソース・デバイス１２および宛先デバイス１６はコーディング・デバイスの例である。たとえば、ソース・デバイス１２は、宛先デバイス１６への送信のためのコード化ビデオデータを生成するコーディング・デバイスを含み得る。場合によっては、デバイス１２、１６は、デバイス１２、１６の各々がビデオ符号化構成要素および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオ・ストリーミング、ビデオ再生、ビデオ・ブロードキャスト、またはビデオ・テレフォニーのために、ビデオ・デバイス１２とビデオ・デバイス１６との間の一方向または双方向のビデオ送信をサポートし得る。

ソース・デバイス１２のビデオ・ソース２０は、ビデオカメラ、前にキャプチャされたビデオを含んでいるビデオアーカイブ、またはビデオ・コンテンツ・プロバイダからのビデオ・フィードなど、ビデオ・キャプチャ・デバイスを含み得る。さらなる代替として、ビデオ・ソース２０は、ソースビデオとしてのコンピュータ・グラフィックス・ベースのデータ、またはライブ・ビデオとアーカイブ・ビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオ・ソース２０がビデオカメラである場合、ソース・デバイス１２および宛先デバイス１６は、いわゆるカメラ付き携帯電話またはビデオ電話を形成し得る。各場合において、キャプチャされたビデオ、プリキャプチャされたビデオまたはコンピュータ生成ビデオは、ビデオ・エンコーダ２２によって符号化され得る。次いで、符号化されたビデオ情報は、たとえば、符号分割多元接続（ＣＤＭＡ）、ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）（登録商標）、周波数分割多元接続（ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、「ｗｉｆｉ」、Ｂｌｕｅｔｏｏｔｈ（登録商標）、任意の広帯域通信、あるいは任意の他の通信技法、規格またはそれらの組合せなどの通信規格に従ってモデム２３によって変調され得る。次いで、変調された情報は、送信機２４を介して宛先デバイス１６に送信され得る。モデム２３は、信号変調のために設計された様々なミキサ、フィルタ、増幅器または他の構成要素を含み得る。送信機２４は、増幅器、フィルタ、および１つまたは複数のアンテナを含む、データを送信するために設計された回路を含み得る。

宛先デバイス１６の受信機２６はチャネル１５を介して情報を受信し、モデム２７はその情報を復調する。異なる例では、ソース・デバイス１２のビデオ符号化プロセスまたは宛先デバイス１６のビデオ復号プロセスは、深度マップを生成するために本明細書で説明する技法のうちの１つまたは複数を実装し得る。ある場合には、チャネル１５を介して通信される情報は、ソース・デバイス１２によって生成された深度マップを含み得、他の場合には、深度マップは、ソース・デバイス１２から通信された２Ｄビデオ・フレームに基づいて宛先デバイス１６において生成され得る。ディスプレイ・デバイス３０は、復号されたビデオデータをユーザに対して表示し、陰極線管、液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイ・デバイスなど、様々なディスプレイ・デバイスのいずれかを備え得る。ディスプレイ・デバイス３０はマルチビュー・レンダリングのための３Ｄ機能を有し得る。

図１の例では、通信チャネル１５は、無線周波（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体、あるいはワイヤレスおよびワイヤード媒体の任意の組合せを備え得る。したがって、モデム２３および送信機２４は、多数の可能なワイヤレス・プロトコル、ワイヤード・プロトコル、またはワイヤードおよびワイヤレス・プロトコルをサポートし得る。通信チャネル１５は、ローカルエリア・ネットワーク（ＬＡＮ）、ワイドエリア・ネットワーク（ＷＡＮ）、あるいは、１つまたは複数のネットワークの相互接続を備えるインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成し得る。通信チャネル１５は、概して、ビデオデータをソース・デバイス１２から宛先デバイス１６に送信するのに好適な任意の通信媒体、または様々な通信媒体の集合体を表す。通信チャネル１５は、ソース・デバイス１２から宛先デバイス１６への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。本開示の技法は、１つのデバイスから別のデバイスへの符号化されたデータの通信を必ずしも必要とせず、相互復号（reciprocal decoding）なしの符号化シナリオに適用し得る。また、本開示の態様は、相互符号化（reciprocal encoding）なしの復号シナリオに適用し得る。

ビデオ・エンコーダ２２およびビデオ・デコーダ２８は、代替的にＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）とも記載されるＩＴＵ−Ｔ Ｈ．２６４規格など、ビデオ圧縮規格に実質的に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格またはそれの拡張にも限定されない。図１には示されていないが、いくつかの態様では、ビデオ・エンコーダ２２およびビデオ・デコーダ２８は、それぞれオーディオ・エンコーダおよびデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサ・プロトコル、またはユーザ・データグラム・プロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。Ｈ．２６４規格は、ＩＴＵ−Ｔ Ｓｔｕｄｙ Ｇｒｏｕｐによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されており、本明細書ではＨ．２６４規格またはＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格または仕様と呼ぶことがある。Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）はＨ．２６４／ＭＰＥＧ−４ ＡＶＣへの拡張に取り組み続けている。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格を進化させる取り組みは、Ｋｅｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ａｒｅａ（ＫＴＡ）フォーラムなど、ＩＴＵ−Ｔの様々なフォーラムにおいて行われる。ＫＴＡフォーラムは、部分的には、Ｈ．２６４／ＡＶＣ規格が示すコーディング効率よりも高いコーディング効率を示すコーディング技術を発展させることを追求する。本開示で説明する技法は、特に３Ｄビデオおよび２Ｄ３Ｄビデオ変換のためのＨ．２６４／ＡＶＣ規格に対するコーディング改善のために役立ち得る。

ビデオ・エンコーダ２２およびビデオ・デコーダ２８はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、マイクロプロセッサまたは他のプラットフォーム上で実行されるソフトウェア、ハードウェア、ファームウェア、あるいはそれらの任意の組合せとして実装され得る。ビデオ・エンコーダ２２およびビデオ・デコーダ２８の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合エンコーダ／デコーダ（コーデック）の一部としてそれぞれのモバイル・デバイス、加入者デバイス、ブロードキャスト・デバイス、サーバなどに統合され得る。

ビデオ・シーケンスは、一般に一連のビデオ・フレームを含む。ビデオ・エンコーダ２２およびビデオ・デコーダ２８は、ビデオデータを符号化および復号するために、個々のビデオ・フレーム内のビデオブロックに作用し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。各ビデオ・フレームは、一連のスライスまたは他の単独で復号可能なユニットを含み得る。各スライスは一連のマクロブロックを含み得、それらのマクロブロックはサブブロックに構成され得る。一例として、ＩＴＵ−Ｔ Ｈ．２６４規格は、ルーマ成分については１６×１６、８×８、または４×４、およびクロマ成分については８×８など、様々なブロックサイズのイントラ予測をサポートし、ならびにルーマ成分については１６×１６、１６×８、８×１６、８×８、８×４、４×８および４×４、およびクロマ成分については対応するスケーリングされたサイズなど、様々なブロックサイズのインター予測をサポートする。ビデオブロックは、残差ピクセルデータのブロック、または、たとえば、離散コサイン変換もしくは概念的に同様の変換プロセスなどの変換プロセスの後の変換係数のブロックを備え得る。

より小さいビデオブロックは、より良好な解像度を与えることができ、高い詳細レベルを含むビデオ・フレームのロケーションのために使用され得る。概して、マクロブロックおよび様々なサブブロックまたはパーティションはすべてビデオブロックであると考えられ得る。さらに、スライスは、マクロブロックおよび／またはサブブロックまたはパーティションなど、一連のビデオブロックであると考えられ得る。概して、マクロブロックは、１６×１６のピクセルエリアを定義するクロミナンス値と輝度値とのセットを指し得る。輝度ブロックは、１６×１６の値セットを備え得るが、８×８ブロック、４×４ブロック、８×４ブロック、４×８ブロックまたは他のサイズなど、より小さいビデオブロックにさらに区分され得る。２つの異なるクロミナンスブロックは、マクロブロックの色を定義し得、それぞれ１６×１６のピクセルエリアに関連するカラー値の８×８サブサンプルブロックを備え得る。マクロブロックは、マクロブロックに適用されるコーディングモードおよび／またはコーディング技法を定義するためのシンタックス情報を含み得る。

マクロブロックまたは他のビデオブロックは、スライス、フレームまたは他の独立したユニットなど、復号可能なユニットにグループ化され得る。各スライスはビデオ・フレームの単独で復号可能なユニットであり得る。代替的に、フレーム自体が復号可能なユニットであり得るか、またはフレームの他の部分が復号可能なユニットとして定義され得る。本開示では、「コード化ユニット」という用語は、使用されるコーディング技法に従って定義される、フレーム全体、フレームのスライス、ピクチャグループ（ＧＯＰ：group of pictures）、または別の単独で復号可能なユニットなど、ビデオ・フレームの任意の単独で復号可能なユニットを指す。

イントラベースまたはインターベース予測符号化の後、および（Ｈ．２６４／ＡＶＣにおいて使用される４×４または８×８整数変換、あるいは離散コサイン変換またはＤＣＴなどの）任意の変換の後、量子化が実行され得る。量子化は、概して、係数を表すために使用されるデータ量をできるだけ低減するように係数を量子化するプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、１６ビット値は、量子化中に１５ビット値に切り捨てられ得る。量子化の後、たとえば、コンテンツ適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、または別のエントロピー・コーディング方法に従って、エントロピー・コーディングが実行され得る。

３Ｄビデオは、最初に符号化された各フレームに関連する１つまたは複数の追加のビデオ・フレーム（たとえば、追加のビュー）を必要とし得る。ビデオ・フレームの立体３Ｄ抽出を定義するために、たとえば、２つの異なるビューが使用され得る。２つのビュー、３つのビュー、または４つ以上のビューを備え得る複数のビューはまた、マルチビュー３Ｄ抽出をサポートし得る。３Ｄビデオの異なるビューは、２つ以上のビューに関連するビデオ・フレームまたはスライスがビデオ・シーケンスの同じ時間インスタンスに対応するように、同様のタイミングまたは同期を有し得る。このようにして、２つ以上のビューは、概して、３Ｄビデオを与えるためにまとめてレンダリングされ得る３Ｄシーケンスを共に形成する２つ以上の２Ｄシーケンスを定義し得る。

初期２Ｄビデオ・シーケンスに基づいて３Ｄビデオレンダリングをサポートするために、本開示は深度マップの生成について説明する。深度マップは、ビデオ・ユニット、たとえば、フレームまたはスライスの異なるピクセルの深度値を含み得る。深度マップはエンコーダにおいて生成され得、その場合、深度マップは、ビット・ストリームの一部としてデコーダに通信され得、あるいはビット・ストリーム中で通信され得る１つまたは複数の追加のビューを生成するためにエンコーダにおけるビュー合成プロセスにおいて適用され得る。代替的に、深度マップはデコーダにおいて生成され得、その場合、エンコーダ・デバイスは単に２Ｄビット・ストリームをデコーダ・デバイスに送り、デコーダ・デバイスが深度マップを生成し得る。本開示で説明する深度マップ初期化および最終深度マップ生成技法は、完全にエンコーダにおいて実行されるか、完全にデコーダにおいて実行されるか、または部分的にエンコーダにおいて実行され、部分的にデコーダにおいて実行され得る。生成されると、深度マップは、２Ｄシーケンスが３Ｄでレンダリングされ得るように２Ｄシーケンスの１つまたは複数の２次ビューを生成するために、ビュー合成プロセスにおいて使用され得る。

図２は、ビデオ符号化プロセスの一部として本開示に一致する技法を実行し得るビデオ・エンコーダ５０の一例を示すブロック図である。図２の例では、深度マップは、ビデオ・ビット・ストリームの一部として生成され、通信され得る。ただし、上述のように、本開示はエンコーダにおける深度マップの生成および適用をも企図し、その場合、深度マップまたは生成された３Ｄシーケンスはビデオ・エンコーダ５０から別のデバイスに通信され得る。

ビデオ・エンコーダ５０は、ソース・デバイス１２のビデオ・エンコーダ２２、または異なるデバイスのビデオ・エンコーダに対応し得る。ビデオ・エンコーダ５０は、ビデオ・フレーム内のブロックのイントラ・コーディングおよびインター・コーディングを実行し得る。イントラ・コーディングは、所与のビデオ・フレーム内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インター・コーディングは、ビデオ・シーケンスの隣接フレーム内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は空間ベースの圧縮モードを指し、予測（Ｐモード）または双方向（Ｂモード）などのインターモードは、時間ベースの圧縮モードを指し得る。

図２に示すように、ビデオ・エンコーダ５０は、符号化すべきビデオ・フレームまたはスライス内の現在のビデオブロックを受信する。図２の例では、ビデオ・エンコーダ５０は、予測ユニット３５と、メモリ３４と、加算器４８と、変換ユニット３８と、量子化ユニット４０と、エントロピー・コーディング・ユニット４６とを含む。ビデオブロック再構成のために、ビデオ・エンコーダ５０はまた、逆量子化ユニット４２と、逆変換ユニット４４と、加算器５１とを含む。その上、本開示によれば、ビデオ・エンコーダ５０は、本明細書で説明するように深度マップを生成する深度マップ生成ユニット３６を含み得る。ビデオ・エンコーダ５０はまた、再構成されたビデオからブロッキネス・アーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキング・フィルタ（図示せず）など、他の構成要素を含み得る。所望される場合、デブロッキング・フィルタは、一般に、加算器５１の出力をフィルタ処理するであろう。

符号化プロセス中に、ビデオ・エンコーダ５０は、コーディングすべきビデオブロックを受信し、予測ユニット３５はイントラまたはインター予測コーディングを実行する。たとえば、エンコーダ５０の予測ユニット３５は、コード化ユニット（たとえば、フレームまたはスライス）の各ビデオブロックまたはビデオブロック・パーティションについて動き推定および動き補償を実行し得る。予測ユニット３５は、特定ブロックを符号化することに関連するそれぞれ適用可能なモードのレートひずみコスト（ｒｄｃｏｓｔ：rate-distortion cost）を計算し、最も低いコストを生じるコーディングモードを選択し得る。ｒｄｃｏｓｔは、元のビデオデータに対するコード化データ中の使用ビット数およびひずみレベルに関してコストを定量化し得る。

レートひずみ（ＲＤ：rate-distortion）分析は、ビデオ・コーディングにおいてかなり一般的であり、概して、コーディングコストを示すコストメトリックの計算に関与する。コストメトリックは、コーディングに必要なビット数（レート）と、コーディングに関連する品質レベル（ひずみ）とのバランスをとり得る。典型的なレートひずみコスト計算は、概して、以下の形式に対応し得る。

ただし、Ｊ（λ）はコストであり、Ｒはビットレートであり、Ｄはひずみであり、λはラグランジュ乗数である。予測ユニット３５は、ビデオブロック符号化を実行するために使用され得る様々なイントラ・コーディング・モードおよびインター・コーディング・モード（ならびに適用可能なパーティションサイズ）を比較するために、このタイプのコスト関数を適用し得る。

所望の予測データが予測ユニット３５によって識別されると、ビデオ・エンコーダ５０は、残差ブロックを生成するために、コーディングされている元のビデオブロックから予測データを減算することによって残差ビデオブロックを形成する。加算器４８は、これらの減算演算を実行する１つまたは複数の構成要素を表す。変換ユニット３８は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換をブロック中の残差値に適用し、残差変換ブロック係数を備えるビデオブロックを生成する。変換ユニット３８は、概念的にＤＣＴと同様である、Ｈ．２６４規格によって定義された変換などの変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。いずれの場合も、変換ユニット３８は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル領域から周波数領域に変換し得る。

量子化ユニット４０は、ビットレートをさらに低減するために残差変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、ｍビット値は、量子化中にｍ−ｎビット値に切り捨てられ得、ただし、ｍおよびｍは０でなく、ｍはｎよりも大きい。さらに、量子化ユニット４０は、オフセットが使用される場合について異なるオフセットを量子化し得る。

量子化の後、エントロピー・コーディング・ユニット４６が量子化変換係数をエントロピー・コーディングする。たとえば、エントロピー・コーディング・ユニット４６は、コンテンツ適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、または別のエントロピー・コーディング方法を実行し得る。エントロピー・コーディング・ユニット４６によるエントロピー・コーディングの後、符号化されたビデオは、別のデバイスに送信されるか、あるいは後で送信または検索するためにアーカイブされ得る。コード化ビット・ストリームは、エントロピー・コード化残差ブロックと、そのようなブロックの動きベクトルと、２Ｄ３Ｄビデオ変換をサポートするための本明細書で説明する深度マップなどの他のシンタックスとを含み得る。

逆量子化ユニット４２および逆変換ユニット４４は、それぞれ逆量子化および逆変換を適用して、たとえば、上述の方法で参照データとして後で使用するために、ピクセル領域中で残差ブロックを再構成する。加算器５１は、再構成された残差ブロックを、動き補償ユニット３５によって生成された１次および／または２次予測ブロックに加算して、メモリ３４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックおよび残差データは、後続のビデオ・フレームまたは他のコード化ユニット中のブロックをインター符号化するために参照ブロックとして動き補償ユニット３５によって使用され得る。

３Ｄビデオをサポートするために、ビデオ・エンコーダ５０は、メモリ３４に記憶された再構成された２Ｄビデオ・シーケンスに対して作用する深度マップ生成ユニット３６をさらに含み得る。深度マップ生成ユニット３６は、ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、そのピクセルに初期深度値を割り当て得る。次いで、深度マップ生成ユニット３６は、初期深度値がしきい値を満たすかどうか、たとえば、初期深度値のいずれかが、定義されたしきい値よりも大きいかどうか、または代替的に、定義されたしきい値よりも小さいかどうかを識別し得る。深度マップ生成ユニット３６は、初期深度値がしきい値を満たすビデオ・ユニットのピクセルのうちの１つまたは複数に、調整された深度値を割り当て得、調整された深度値は、ピクセルに関連する色に基づく。次いで、深度マップ生成ユニット３６は、ビデオ・ユニットの初期化された深度マップを生成し得、初期化された深度マップは、しきい値を満たさないピクセルの第１のサブセットの初期深度値と、しきい値を満たすピクセルの第２のサブセットの調整された深度値とを備える。この場合も、代替例では、しきい値の満足は、しきい値よりも大きいか、または他の例ではしきい値よりも小さい深度値に関して考察され得る。

深度マップ生成ユニット３６は、前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対するビデオ・ユニットのピクセルのルーマ値に基づいて初期深度値を割り当てることによって、動きに基づいて初期深度値を割り当て得る。深度マップ生成ユニット３６は、ビデオ・ユニットのピクセルのクロマ値に少なくとも部分的に基づいて調整された深度値を割り当てることによって、色に基づいて調整された深度値を割り当て得る。たとえば、以下でより詳細に説明するように、動きに基づいて初期深度値を割り当てることは、以下の式に従って初期深度値を割り当てることを備え得る。

ただし、ｍ_n,iは初期深度値を表し、Ｌ_n,iはビデオ・ユニットｎ中のピクセルｉのルーマ値を表し、Ｌ_n-1,iは前のビデオ・ユニットｎ−１中のピクセルｉの対応するルーマ値を表す。色に基づいて調整された深度値を割り当てることは、以下の式に従って調整された深度値を割り当てることを備え得る。

ただし、

は調整された深度値を表し、

はクロマ値に関する関数ｇを表し、Ｔ_mはしきい値であり、Ｃ_n,iはビデオ・ユニットｎ中の所与のピクセルのクロマ値を表し、Ｃ_maxは許容最大クロマ値を表し、Ｃ_minは許容最小クロマ値を表す。

深度マップ生成ユニット３６はまた、初期化された深度マップに少なくとも部分的に基づいて最終深度マップを生成するために追加の技法を実行し得る。たとえば、深度マップ生成ユニット３６は、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断し、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応する場合、初期化された深度マップをビデオ・ユニットの最終深度マップとして選択し得る。ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応しない場合、深度マップ生成ユニット３６は、ビデオ・ユニットが前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断し得る。この場合、動きは、現在のビデオ・ユニットと前のビデオ・ユニットとの間のルーマ差の大きさによって定量化され得る。ビデオ・ユニットが低動きレベルを表さない場合、深度マップ生成ユニット３６は、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義し得る。ビデオ・ユニットが低動きレベルを表す場合、深度マップ生成ユニット３６は、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の深度マップの深度値との最大値に基づいて、最終深度マップを定義し得る。

最終深度マップが生成されると、深度マップは、元のビューと最終深度マップとに基づいて１つまたは複数の２次ビューを生成するために、ビデオ・エンコーダ５０から他のデバイスに通信され得、その他のデバイスにおけるビュー合成において適用される。代替的に、ビデオ・エンコーダ５０は、ビデオ・ユニットの２次ビューを生成するために最終深度マップに基づいてビュー合成を実行し得、その場合、ビデオ・エンコーダ５０から他のデバイスに（深度マップではなく）２次ビューがビデオ・ユニットの一部として通信され得る。

図３は、本開示の技法を実行するように構成され得る例示的なビデオ・デコーダ７０を示すブロック図である。この場合、ビデオ・デコーダ７０は、２Ｄビデオ・シーケンスを受信し、その２Ｄシーケンスのビデオ・フレームの深度マップを生成し得る。次いで、深度マップは、２Ｄシーケンスが３Ｄシーケンスに変換され得るようにビデオ・フレームの２次ビューを合成するためにビデオ・デコーダ７０によって使用され得る。

ビデオ・デコーダ７０は、エントロピー復号ユニット７２と、予測ユニット７５と、逆量子化ユニット７６と、逆変換ユニット７８と、メモリ７４と、加算器７９とを含み得る。予測ユニット７５は、動き補償ユニット、ならびに空間的予測構成要素を含み得る。

ビデオ・デコーダ７０は、符号化された２Ｄビデオ・シーケンスを含む符号化されたビデオ・ビット・ストリームを受信し得る。エントロピー復号ユニット７２は、２Ｄシーケンスの残差ビデオブロックの量子化係数を生成するためにビット・ストリームのエントロピー復号を実行する。エントロピー・コーディング・ユニット７２は、ビット・ストリームからのシンタックス要素をパースし、そのようなシンタックス要素をビデオ・デコーダ７０の様々なユニットに転送し得る。たとえば、動き情報（たとえば、動きベクトル）および他のシンタックス情報が予測ユニット７５に転送され得る。

逆量子化ユニット７６はエントロピー復号ユニット７２からのデータを逆量子化し、逆変換ユニットは、ピクセル領域における残差ブロックを生成するための逆変換を実行する。次いで、加算器７９は、残差ブロックを、予測ユニット７５によって生成された予測ブロックと合成して元のビデオブロックの再構成を生成し、その元のビデオブロックの再構成は、復号２Ｄビデオデータとしてメモリ７４に記憶されおよび／またはディスプレイに出力され得る。多くのビデオブロックは、ビデオ・フレームを再構成し、最終的にビデオ・フレームの２Ｄシーケンス全体をメモリ７４中に再構成するためにこのようにして復号され得る。このようにして、ビデオ・デコーダ７０は、前に説明したビデオ・エンコーダ５０によって実行される符号化に対する相互復号を実行する。

本開示によれば、ビデオ・デコーダ７０はさらに、深度マップ生成ユニット７７と２Ｄ３Ｄ変換ユニット７９とを含み得る。深度マップ生成ユニット７７は、本開示に一致する深度マップ初期化および深度マップ生成技法を実行し得る。深度マップが生成されると、２Ｄ３Ｄ変換ユニット７９は、ビデオ・フレームのための１つまたは複数の２次ビューを生成するために、ビュー合成プロセスにおいて深度マップを適用し得る。

概して、立体ディスプレイ技術の発展とともに、立体または３Ｄビデオはエンターテインメント産業において人気のトレンドになった。従来の２Ｄディスプレイと比較したイマーシブ３Ｄエクスペリエンスにより、映画、テレビジョン、およびゲームのための３Ｄコンテンツの要求が急速に増加し続ける。

コンピュータグラフィックスでは、３Ｄレンダリングは、３Ｄモデルを、３Ｄフォトリアリスティック効果をもつ２Ｄ画像に自動的に変換するプロセスであり得る。コンピュータ・グラフィックスにおける、イマーシブネスと呼ばれることがあるフォトリアリスティック効果は、一般に、互いに対して異なる立体ビューのビューアングルまたは位置を変化させることによって得られる。３Ｄビデオアプリケーションでは、このシナリオは自由視点ビデオと呼ばれることがある。

ビデオ処理において、３Ｄレンダリングはまた、閲覧者が３Ｄ閲覧眼鏡を用いるまたは用いない立体または裸眼立体閲覧エクスペリエンスを有することを可能にし得る、イマーシブレンダリングの適用を含み得る。この場合、ディスプレイは２つ以上のビューを同時にレンダリングする能力を有し得る。たいていの現在の３Ｄディスプレイ技法は、両眼視、すなわち、左眼と右眼とによって知覚されるわずかに異なるビューを活用し、それによって人間の脳による深度の精神印象を生じることができる。たとえば、いくつかの３Ｄシステムは、立体または裸眼立体ディスプレイにおいて２つ以上のビューを可能にする。

様々な３Ｄディスプレイシステムは３Ｄビデオを表示し得るが、３Ｄレンダリングのために必要とされる余分のデータにより、ビデオ通信の帯域幅の増加を必要とすることがしばしばある。さらに、ビデオキャプチャシステムにおいて、いくつかのビューの取得がしばしば同時に利用可能でない。さらに、商業市場と個人的記録の両方において、３Ｄビデオに変換することが望ましいであろう多大な量の２Ｄコンテンツも存在する。したがって、２Ｄから３Ｄへのデータ変換が極めて望ましい。

２Ｄ３Ｄビデオ変換の問題は、すでに知られている元の２Ｄビューから仮想ビュー（すなわち、２次ビュー）またはいくつかの仮想ビューを生成する問題として見なされ得る。２次ビューの生成は、オブジェクト深度値を推定し、次いでその深度値を適用して１つまたは複数の２次ビューを合成することによって達成され得る。深度推定は、モノスコープビデオまたはいくつかのビューからオブジェクトとカメラ平面との間の絶対または相対距離を推定するプロセスである。グレーレベル画像によって通常表される推定深度情報は、深度画像ベースレンダリング（ＤＩＢＲ：depth image based rendering）技法に基づいて仮想ビューの任意の妥当なアングルを生成するために使用され得る。

図４は、モノスコープ左ビューから右ビューを生成する例示的なビュー合成プロセスを示す流れ図である。この場合、左ビューの２Ｄビデオ（４０１）は、このプロセスへの入力を備え得る。各ビデオ・フレームについて、深度マップ生成ユニット７７は、左ビューに適用すべき深度マップを生成するために深度推定（４０２）を実行し得る。特に、深度マップ生成ユニット７７は、本開示で説明する深度マップ初期化および深度マップ生成技法を実行し得る。深度マップは、ビュー合成において使用する推定深度（４０３）を備え得る。深度マップが生成されると、２Ｄ３Ｄ変換ユニット７９は、ビデオ・フレームのための１つまたは複数の２次ビューを生成するために、ビュー合成プロセス（４０４）において深度マップを適用し得る。この場合、ビュー合成プロセス（４０４）の出力は、合成された右ビュー（４０５）を備え得る。

深度推定（４０２）では、様々な深度キューが使用され得る。そのようなキューは、オブジェクト動きおよび色など、他の時間的または２Ｄ空間的キューに対して定義された透視幾何（perspective geometry）を備え得る。２つ以上のプリキャプチャされたビューがある場合、深度マップは、既知のカメラ内部または外部パラメータの助けをかりてエピポーラ幾何によって取得され得る。たとえば、深度推定技法は、２つの異なるステレオビューにおいて同じオブジェクトの対応を発見することによって視差情報（たとえば、概してオブジェクト深度に反比例する情報）を推定し得る。残念ながら、ステレオマッチングに基づく２Ｄ３Ｄ変換は、極めて複雑であり、集約的計算を必要とし得る。

一方、いくつかの一般に使用されるビデオ・キャプチャ・デバイス、たとえば、カメラ、カムコーダ、およびモバイルフォンでは、利用可能なビューが通常ただ１つしかなく、たとえば、２つの異なるカメラによってキャプチャされた現実世界シーンからの十分な情報がないので、２Ｄ３Ｄ変換を困難な問題にしている。とはいえ、モノスコープソースにおいていくつかの深度キューが依然として利用可能である。ビデオ・フレームは、いくつかの前景のオブジェクトと背景との合成と見なされ得る。焦点が合ったカメラの視点から見て、カメラは、焦点がぼけたエリアの色強度が、焦点が合ったエリアと比較してより多くのぼけを含むと仮定し得る。より近いオブジェクトは、通常、遠くのオブジェクトよりも少ないぼけ度（blurriness）を有することが予想される。したがって、ぼけ度は、深度割当てのための重要なキューとして使用され得る。

２Ｄ３Ｄ変換のために使用されるぼけ度分析は、勾配ベース測定または周波数領域分析を含み得る。大きい勾配値をもつ画像エリアは、ぼけの量がより小さいエリアの一部である傾向があり、小さい勾配値をもつエリアは、ぼけの量がより低いエリアの一部である傾向がある。オブジェクトのエッジおよび境界の勾配値からスパース深度マップが推定され、その後、非対称深度マップの平滑化が行われ得る。決して正確ではないが、これらのタイプの深度マップは、あるレベルの「擬似」３Ｄエクスペリエンスを与え得る。

しかしながら、いくつかのビデオ・フレームでは、上記の仮定が当てはまらないことがある。第１に、カメラは、カメラに近いオブジェクトの代わりに実際には背景に属する遠くのオブジェクトに焦点を当て得る。さらに、前景の同質エリアがしばしば高周波成分を含んでいないので、前景のテクスチャレス領域のぼけ分析が失敗し得る。したがって、低いぼけ度は常により小さい深度（カメラまでの距離）を示すわけではなく、高いぼけ度は常により大きい深度に対応するわけではない。

動きは、モノスコープ２Ｄビデオのための深度推定において使用され得る別の重要なキューである。カメラのロケーションが記録中に固定されている場合、より近いオブジェクトは、透視幾何により、遠くのオブジェクトと比較してより大きく見え、より高い動きを有することが予想される。動き推定は、隣接するビデオ・フレームを通してオブジェクト移動を推定するプロセスである。動きベクトルは、一般に、前のビデオ・フレームの同様の「予測データ」に対するオブジェクト水平および垂直並進変位を記述するベクトルとして定義される。いくつかのシーン設定では、静的な背景が利用可能であるとき、動きは、単に登録された背景シーンから現在のフレームを減算することによって取得され得る。しかしながら、静的な背景の制約により、これらの方法は好適でない。したがって、隣接するフレーム間の差を発見することによって、動きの別の簡単で高速な測定が達成され得る。このタイプの動き測定は、近隣フレームのコロケート・ピクセルのルーマ強度のピクセルベースまたはウィンドウベースの減算によって取得され得る。

動き推定のために使用される他の技法は、ブロックベースのマッチングおよびオプティカルフローを含む。ブロックベースのマッチング手法は、ビデオ・フレームが最初にいくつかのビデオブロックに分割されるビデオ圧縮において使用され得る。現在のフレームｎ中の各ビデオブロックは、同じサイズを有するが、現在のブロックに対して参照フレームの変位をもつブロックと比較され得る。最小マッチングコスト、たとえば、マッチングエラーの絶対値の最低和に関連する変位は、そのブロック中のすべてのピクセルの推定動き値を定義し得る。対照的に、ブロックベースのマッチングとは異なり、オプティカルフロー技法は、勾配ベース強度変化を介してピクセル変位をオブジェクト速度に関係づけ、ピクセルレベルの動きが取得され得る。しかしながら、オプティカルフロー技法は通常、雑音に敏感であり、滑らかなエリアではあまり正確でない。

ぼけ度分析と同様に、動きキューは、ロバストネス問題という問題があり得る。言い換えれば、場合によっては、動きと深度との関係を仮定することができないことがある。たとえば、カメラに対して同じ距離をもつオブジェクトは、しばしば、互いに無関係に移動し、異なる速度で移動することがある。この場合、推定動きと深度値との間の反比例関係は破られ得る。さらに、シーンは、移動するカメラ、回転するカメラ、ズームイン、ズームアウトなどによってキャプチャされ得るので、グローバルな動きをもつシーンも存在する。これらの場合、たとえば、カメラがシーンに対して移動しているかまたは場合によっては変化しているとき、長距離オブジェクトは、より近いオブジェクトと比較してより高い推定動きを有し得る。また、前景のオブジェクトは、カメラ動きを伴う場合でも静的なままであり得る。全画像が短時間間隔にわたって動きなしで静的なままである場合、深度推定のために動きキューを使用することは困難になる。

多かれ少なかれ深度値マッピングに関係するぼけ度および動きキューとは異なり、空間的ならびに時間的に一貫した深度マップを生成するために、色強度から測定されたビデオ・フレームの滑らかさも使用され得る。深度マップ一貫性は、合成された仮想ビューにおいて、ちらつきのようなアーティファクトと、局部変形とを低減することにおいて重要な役目を果たす。概して、同じまたは同様の色を有するピクセルは、通常、同じオブジェクトに属し、シャープな強度変化は通常、オブジェクト境界を示す。深度フィールドは区分的に滑らかであり、深度の不連続性は画像強度の不連続性を反映するものと仮定され得る。

深度推定のための別の技法は画像セグメンテーションに関係する。ビデオ・フレームは、最初にいくつかのオブジェクトにセグメント化され得る。次いで、これらのセグメントには、動きおよびぼけ度などのキューに基づいて異なる深度値が割り当てられ得る。画像セグメントの深度推定は通常、ピクセルベースの推定と比較してより一貫した深度マップを達成するが、計算複雑さは増加し得る。場合によっては、画像セグメンテーション自体が問題を生じ得る。たとえば、ハイレベルのテクスチャをもつエリアを含んでいるいくつかのシーンは、セグメント化するのが極めて困難であり得る。画像セグメンテーションはまた、色分散、たとえば、同じオブジェクトの輝度変化という欠点があり得る。この場合、１つのオブジェクトについて取得されるいくつかの異なるセグメントがあり得、１つのオブジェクトの部分は、異なるセグメントおよび異なる深度に分類され得る。この場合、セグメント化は劣悪な深度推定を生じ得る。

色強度値に従って画像をいくつかの同質領域に区分する代わりに、色強度値（たとえば、クロマ値）はまた、深度推定において直接使用され得る。いくつかの色空間におけるそれらの成分からの深度推定の１つの可能な利点は、簡潔さである。クロミナンス（クロマ）成分は通常、同じオブジェクトに属するピクセルについて極めて滑らかである。セグメンテーションベースの深度推定と比較して、色成分から直接生成された深度マップは通常、オブジェクト形状を保ち、したがって、より良好な空間一貫性を与え得る。推定深度値が真の深度に対して不正確である場合でも、合成されたステレオペアは何らかのレベルの所望の３Ｄ効果を与え得る。

たとえば、２Ｄ３Ｄ変換ユニット７９によって実行されるビュー合成のプロセスは、任意のビューアングルにおけるビューを生成するために、密にサンプリングされたビューを必要とするサンプリング問題として見なされ得る。しかしながら、実際的適用では、密にサンプリングされたビューによって必要とされる記憶帯域幅または送信帯域幅は、実現されるにはあまりに大きくなり得る。疎にサンプリングされたビューのビュー合成のためのアルゴリズムは３Ｄワーピングに基づき得る。３Ｄワーピングでは、深度およびカメラモデルを仮定すれば、参照ビューのピクセルｕ₁は、２Ｄカメラ座標からワールド座標における点に戻って射影され得る。次いで、その点は、射影軸に沿って宛先ビュー（生成すべき仮想ビュー）に射影され得る。この場合、再射影されたピクセル・ロケーションは、ｕ₂として定義され得、２つのピクセル（ｕ₁およびｕ₂）は同じオブジェクトの異なる投影に対応し得る。この場合では、ｕ₁およびｕ₂は同じ色強度を有するものと予想される。

ビュー合成においてはカメラモデルも使用され得る。一例はいわゆる「ピンホール」カメラモデルである。ピンホールカメラモデルは、内部および外部行列によってパラメータ化され得、ワールド座標からカメラ画像平面座標への変換を記述するために使用され得る。簡単のために、３Ｄワールド座標、３Ｄカメラ座標および２Ｄ画像平面座標を含む前述の座標系のすべては直交であると仮定され得る。

４×４外部行列

は、ワールド座標におけるカメラ中心およびカメラ配向の位置を定義し得、ただし、Ｒは３×３回転行列であり、ｔは３×１変換ベクトルである。ワールド座標（ｘ_w，ｙ_w，ｚ_w）^Tからカメラ座標（ｘ，ｙ，ｚ）^Tへの変換は次のように記述され得る。

ただし、上付き文字Ｔはベクトル転置演算を示す。

カメラ座標系では、ｚ軸は主軸と呼ばれることがある。カメラ平面は、主軸に対して直角であり、カメラ座標中の（０，０，ｆ）^Tを通過する平面であり、ただし、ｆはカメラ焦点距離である。主点は、主軸が画像平面に出会う点として定義される。

内部パラメータは、カメラ座標（ｘ，ｙ，ｚ）^Tから画像平面座標（ｕ，ｖ）^Tへの変換を指定する。ピンホールカメラモデルから、主点が画像平面の原点に一致する場合、次式が成立する。

この式は次の同種表現で記述され得る。

上記の式から、次のようにワールド座標系から画像平面への変換を導出することができる。

主オフセットがあるとき、主点は、もはや画像平面座標の原点ではなく、画像平面座標中の（ｐ_x，ｐ_y）^Tになり得ることに留意されたい。内部カメラ行列Ｑはより複雑であり得る。主オフセットと、ｘ軸およびｙ軸に沿ってｆ_xおよびｆ_yによって定義された異なる焦点距離と、カメラスキューファクタ（skew factor）とを考慮すると、行列Ｑは次のように表され得る。

簡単のために、ステレオ・ビデオでは、２つのカメラはワールド座標において同じ配向を有し、それらのカメラのうちの一方はワールド座標原点、すなわちＲ₁＝Ｒ₂＝Ｉおよびｔ₁＝０に配置されると仮定し得る。ｘ軸に沿った２つのカメラ間の変換のみがあり、したがってｔ₂＝（ｔ_x，０，０）^Tであると仮定する。

２つのカメラがｆ_x＝ｆ_y＝ｆ、スキュー＝０およびｐ_x＝ｐ_y＝ｐとともに同じ内部パラメータＱ₁＝Ｑ₂を有する場合、２つのピクセルは画像平面座標のｕ軸に沿ってのみ異なり得る。上記の式に基づいて、

したがって、ｕ₂−ｕ₁＝ｆｔ_x／ｚ_wであり、ただし、ｕ₂−ｕ₁は、深度ｚ_wに反比例するいわゆる視差である。１つのピクセル・ロケーションｕ₁と深度ｚ_wとを仮定すれば、３Ｄワーピングは、単にｕ₂＝ｕ₁＋ｆｔ_x／ｚ_wの計算として定義され得、ただし、ｆおよびｔ_xは既知のカメラパラメータである。宛先仮想ビュー上の射影ｕ₂のロケーションが判断された後、ピクセルｕ₂の色強度は、参照ビューからのピクセルｕ₁と同じ値として設定され得る。

ビュー合成では、２つ以上のビューが参照として考察され得る。しかしながら、ただ１つの参照ビューがある場合でも、２つ以上のピクセルは同じ画像ピクセルｕ₂に射影され得る。この場合、ピクセルｕ₂を合成するために、参照ピクセルの重み付き平均または最小深度値をもつピクセルが使用され得る。さらに、オクルージョン現象により（１つまたは複数の）参照ビューからのピクセルがｕ₂に射影されない場合もある。それらの場合、穴が存在し、近隣ピクセルからｕ₂の強度値を構築するための穴充填技法が使用され得る。

深度推定における深度値の１つの実際的問題は、深度値が、一般に、たとえば、８ビットを使用する０〜２５５の深度値ｖレンジなど、ダイナミックレンジ内で表されることである。この場合、０は最も大きい深度を表し、２５５は最も近い深度を表し得る。本明細書で使用する「深度値」という句は、オブジェクト深度ｚのこの８ビット表現を指すことがあるが、他のビットサイズも使用され得る。最大深度値ｖ＝２５５は、最も小さい深度ｚ_near、すなわち、カメラに対して最も近い距離である深度に対応し得、最小深度値ｖ＝０は、最も大きい深度ｚ_far、すなわち、カメラに対して最も大きい距離である深度を表す。いくつかの典型的な深度値マッピングは次式の通りである。

または

３Ｄビデオ・フォーマットをサポートするために、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）およびＭｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）は多くの規格および機能を導入している。場合によっては、本開示の技法は、そのようなＪＶＴおよびＭＰＥＧ規格または機能と互換性があるか、あるいは他のタイプのシステムにおいて使用され得る。ＭＰＥＧ−２では、一方のビュー、たとえば、左ビューは、低減されたフレームレート（たとえば、１５フレーム毎秒（ｆｐｓ））でコーディングされ得、他方のビューは、高いフレームレート（たとえば、３０ｆｐｓ）を必要とする時間的エンハンスメント・レイヤとしてコーディングされる。

Ｈ．２６４／ＡＶＣでは、２つのビューがどのように１つのビット・ストリーム中で構成されるかを示すためにステレオ・ビデオ補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）メッセージが使用され得る。２つのビューは、交互フレームまたは補足的フィールドペアであり得る。２つのビューが交互フレームであるとき、それらは時間的インターリービングモードで順序付けられる。２つのビューが補足的フィールドペアであるとき、２つのビューからの画像ペアは、実際は１つのピクチャにおいて行インターリーブされる。本開示の技法が、深度マップを生成し、２次ビューを合成するためにエンコーダによって実行される場合、そのような２次ビューは、ＳＥＩメッセージの使用によってＨ．２６４／ＡＶＣに従って符号化され、通信され得る。他の場合には、深度マップはビット・ストリーム中で通信され得る。さらに他の場合には、エンコーダではなくデコーダが本開示で説明する深度マップ生成技法を実行し得る。

ＪＶＴはまた、２つのビューのサポートを、時間的インターリービングおよび行インターリービングからよりフレキシブルな空間的インターリービングモードに拡張し得る、空間的インターリービング・ピクチャＳＥＩメッセージを採用している。行インターリービングに加えて、ＳＥＩメッセージは、並列、上下、列インターリーブ、またはチェッカー盤パターンの画像ペアの配置をもサポートし得る。Ｈ．２６４／ＡＶＣにおける上記のＳＥＩメッセージはまた、３Ｄ入力があたかも２Ｄビデオ・シーケンスであるかのように受け付けられ得る場合をサポートし得る。ＳＥＩメッセージは、ディスプレイが復号ビデオ・シーケンスを２つのビューに分離することができるように、２つのビューがどのようにインターリーブされるかをデコーダまたはレンダラに伝えるために使用され得る。そのような場合への入力は、２つのビューによって表される３Ｄ入力を備え得る。

Ｈ．２６４／ＡＶＣの拡張としてのマルチビュービデオ・コーディング（ＭＶＣ：Multiview Video Coding）は、エンコーダが深度マップを生成し、ビュー合成を実行する例に一致し得る、３つ以上のビューのコーディングをサポートする。ＭＶＣ予測は、各ビュー内のピクチャ間予測とビュー間予測の両方を含み得る。ＭＶＣは、Ｈ．２６４／ＡＶＣデコーダによって復号可能であるいわゆるベースビューを有し、ＭＶＣによって２つのビューがサポートされ得る。ＭＶＣの１つの利点は、３Ｄビデオ入力など、３つ以上のビューが使用され、複数のビューによって表されるこの３Ｄビデオを復号する場合をＭＶＣがサポートすることができることである。ＳＥＩメッセージを用いたＨ．２６４／ＡＶＣの場合と同様に、ＭＶＣは一般に深度マップを利用しない。

ＭＰＥＧはまた、ＭＰＥＧ−Ｃ、ｐａｒｔ３において、標準ビデオストリームのための深度マップをアタッチするためのフォーマットを規定している。この規定は以下に記載されている。

「Text of ISO/IEC FDIS 23002-3 Representation of Auxiliary Video and Supplemental Information」, ISO/IEC JTC 1/SC 29/WG 11, MPEG Doc, N8768、マラケシュ、モロッコ、２００７年１月
ＭＰＥＧ−Ｃ ｐａｒｔ３では、いわゆる補助ビデオは、深度マップまたはパララックスマップのいずれかであり得る。深度マップを表すとき、ＭＰＥＧ−Ｃ、ｐａｒｔ３は、深度マップの各深度値および解像度を表すために使用されるビット数に関してフレキシビリティを与える。ただし、ＭＰＥＧ−Ｃ、ｐａｒｔ３は、深度マップをどのように作成すべきかを規定していない。

ＭＰＥＧビデオ・サブグループには、ＭＰＥＧ−Ｃ、ｐａｒｔ３と同様の適用シナリオを研究する３ＤＶ ＥＥ（３Ｄビデオ・コーディングにおける探査実験：Exploration Experiments in 3D Video Coding）がある。そのような適用シナリオは各ビューの深度マップを含むことが有用であり得る。３ＤＶ ＥＥの適用にとって深度推定およびビュー合成が極めて有用であり得る。場合によっては、ビデオ・コンテンツが複数カメラシステムによってキャプチャされ得、深度マップが、ビューのうちの１つの符号化バージョンを用いて生成され、送信され得る。この場合、送信されなかったさらなるビューを生成するために、復号デバイスにおいてビュー合成が使用され得る。典型的な３Ｄビデオ通信システムは、符号化デバイスにおいて生データをキャプチャし、符号化し、デコーダ・デバイスにおいて３Ｄシーケンスが生成され得るように２Ｄシーケンスとともに送るべき深度マップを生成し得る。

取得システムは、１カメラ・キャプチャ・システムまたはカメラアレイを含むか、あるいは深度マップを生成することができるデバイスに関連付けられることさえ可能である。概して、ビデオ・キャプチャは、以下のうちの１つとしてカテゴリー分類され得る。

通常は３Ｄコンテンツを提供しない２Ｄビデオ・キャプチャ
立体ビデオを提供する２カメラシステム
複数のビューをキャプチャするカメラアレイシステム
１つのビューをキャプチャし、深度をキャプチャまたは合成するシステム
深度情報を直接キャプチャするかまたは３Ｄモデルを生成し得る他のシステム
３Ｄレンダリングのために前処理も実行され得る。この３Ｄ前処理は、符号化のためになり得る雑音低減およびシーン検出など、典型的な処理技法を指さない。代わりに、３Ｄ前処理は、３Ｄビデオ・コンテンツの一部としてコーディングされ得る深度マップの生成を指すことがある。この３Ｄ前処理は、１つのキャプチャされたビューに対して１つの深度マップを生成するか、またはいくつかのビューに対していくつかの深度マップを生成し得る。深度マップはシーケンスの各ビデオ・フレームに関連付けられ得る。エンコーダは、１つまたは複数のビューと深度マップとを符号化し得、深度およびテクスチャをジョイント・コーディングすることができるＨ．２６４／ＡＶＣ、ＭＶＣ、さらにはＳＶＣのようなビデオ・コーディング規格を用いてそれらのビューと深度マップとをコーディングし得る。

ビデオ・コンテンツがレンダリングデバイスにおいて受信されると、そのビデオ・コンテンツは、１つまたは複数のビューとして、もしあれば対応する深度マップとともに復号され、再構成され得る。深度マップの復号の後、送信されなかった他のビューのピクセル値を生成するためにレンダリングデバイスにおいてビュー合成アルゴリズムが実行され得る。通常の３Ｄディスプレイは、２つのビューまたは複数のビューのいずれかをレンダリングする。高フレームレートビデオを表示することが可能ないくつかの２Ｄディスプレイも、シャトルグラスの助けをかりて３Ｄディスプレイとして使用され得る。偏光は、出力として２つのビューを与えることができる３Ｄディスプレイ技法の一例である。いくつかのディスプレイまたは３ＤＴＶは入力の一部として深度を処理するように構成され得るが、出力として２つ以上のビューを生成する「ビュー合成」モジュールが依然として存在し得る。

深度マップベースの２Ｄ３Ｄビデオ変換の場合、問題は、深度マップ精度および計算複雑さを含み得る。深度推定の精度は、仮想ビュー合成のために重要である。不正確である深度マップは、合成された仮想ビュー中の不快なアーティファクト、局部変形およびちらつきを生じ得る。そのようなアーティファクトは立体エクスペリエンスを劇的に劣化させることがある。一方、正確な深度マップは、通常、高い計算複雑さを用いて取得される。残念ながら、いくつかのデバイスでは、計算集約的動作が実現可能でないことがある。成功した深度推定アルゴリズムのためには、深度精度と深度推定計算複雑さとの間のトレードオフを慎重に考察しなければならない。

本開示の技法は、深度精度と計算複雑さとの間の優れたトレードオフを与え得る。本技法は、ＤＩＢＲベースのビュー合成２Ｄ３Ｄ変換システムにとって有用であり得る。本開示は、２Ｄビデオ・シーケンスの動き情報と、各フレーム中のピクセルの色成分とを一緒に活用することに基づく、比較的低い複雑さの深度推定アルゴリズムを提供し得る。

より詳細には、深度値は、最初にオブジェクト動きからの線形マッピングを用いて初期化され得る。高動きピクセルには、より大きい動き値が割り当てられ得る。低動きピクセルの場合、深度値はピクセル色強度から直接マッピングされ得る。ピクセル色情報からのマッピングは、低動きピクセルの深度値が、より高い動きピクセルの深度値よりも常に小さくなるように選定され得る。最後に、より滑らかで一貫した深度マップを確保するのを助けるために、時間的方向に沿った深度後処理と伝搬とが適用され得る。概して、本明細書で説明する深度推定技法は、比較的低い複雑さであり得るが、立体デバイス上でイマーシブ３Ｄエクスペリエンスの能力を提供し得る。

比較的低い複雑さの深度推定技法はリアルタイム２Ｄ３Ｄビデオ変換に適用され得る。この場合も、本技法は深度初期化のために動きおよび色キューを使用し得る。次いで、時間的一貫性のために、連続するビデオ・フレームの深度マップが後処理され得る。

図５は、本開示に一致する、深度マップ初期化のための例示的なプロセスを示す流れ図である。図５のプロセスは、たとえば、図２および図３を参照しながら説明したエンコーダまたはデコーダによって実行され得る。たとえば、本プロセスは、ビデオ・エンコーダ５０の深度マップ生成ユニット３６によって、またはビデオ・デコーダ７０の深度マップ生成ユニット７７によって実行され得る。簡単のために、図５のプロセスについてはビデオ・デコーダ７０の深度マップ生成ユニット７７の観点から説明する。

図５に示すように、深度マップ生成ユニット７７は、前のフレームｎ−１（５０２）のデータに基づいてフレームｎ（５０１）の動きを計算する（５０３）ことによって開始する。次いで、推定動き値を使用して、フレームｎ中の各ピクセルに初期深度値を割り当て得る（５０５）。一方、フレームｎのピクセル強度から色成分を抽出し得る（５０４）。ピクセル動きからの深度値に置換基準を適用することができる。具体的には、動きに基づく割当て深度値がしきい値よりも大きい場合（「ｙｅｓ」５０６）、その割当て深度値はそのような高動きピクセルの深度マップにおいて使用され得る（５０７）。しかしながら、動きに基づく割当て深度値がしきい値よりも小さい場合（「ｎｏ」５０６）、その割当て深度値を色に基づく深度値と置換し（５０８）、その置換された深度値はそのような低動きピクセルの深度マップにおいて使用され得る（５０９）。深度マップ組合せ（５１０）は、フレームの高動きピクセルの初期化された深度値と、フレームの低動きピクセルの置換された深度値とを組み合わせる、初期化された深度マップを形成するプロセスを備え得る。したがって、最終深度マップは、動きに基づいて定義された、いくつかの深度値と、色に基づいて定義された他の深度値とを含み得る。

言い換えれば、任意の低動き（静的）ピクセルについて、動きに基づいて生成された深度値を、ピクセル色成分から判断された深度値と置換し得る（５０８）。次いで、深度組合せ（５１０）は、これらの２つのタイプのピクセルの深度値を全フレームのための１つの深度マップに統合する。最後に、所望される場合、より空間的に一貫した深度を生成するために、組み合わされた深度マップを後処理し得る（５１１）。たとえば、後処理（５１１）は、深度値が空間的に一貫していることを保証するためのフィルタ処理または他のタイプの処理を含み得る。図５の出力（５１２）は、初期化された深度マップを備え得、その初期化された深度マップは、以下でより詳細に説明するように確定された深度マップを生成する際に深度マップ生成ユニット７７によって使用され得る。

動きを計算する（５０３）ために、簡単のために、ピクセルベースの連続するフレーム差が使用され得る。ｉ＝（ｕ，ｖ）^Tがピクセル位置を示すものとし、ただし、ｕおよびｖはそれぞれ画像平面の水平軸および垂直軸を表す。ピクセルｉにおけるフレームｎの色強度値（たとえば、ルーマ値）がＬ_n,iである場合、それの対応する動き値は次式のように定義され得る。

上式は、ピクセルｉにおけるフレームｎとフレームｎ−１との間の色強度（ルーマ「Ｌ」）差の絶対値にすぎない。

色強度Ｌは任意の色空間の強度値を示す。強度値ＬはＹＵＶ色空間の「Ｙ」すなわち輝度に対応し得るが、代替の色強度値も使用され得る。ＹＵＶ色空間において、Ｙは輝度を表し、ＵおよびＶはクロミナンスの異なる値を表す。変数「Ｌ」、「ｃｒ」および「ｃｂ」を使用して、輝度「Ｌ」と、２つの異なるクロミナンス値「ｃｒ」および「ｃｂ」とを表すこともある。また、動きを定義するために、クロミナンス値差または重み付き平均色成分差が使用され得る。上式は、ルーマ差のスカラー値に基づいて動きを定義することによって、簡潔さに関して利点を有し得る。この場合、動きは、真の水平および垂直オブジェクト変位を表さないことがあるが、オブジェクト変位の何らかの量を反映し得る。これは、より大きい色差はより大きい変位を通常示すが、極めて小さい色差は、よりしばしば、比較的静的なピクセルにおいて生じるからである。

代替的に、リアルタイム２Ｄ３Ｄビデオ変換フレームワークにおいて、入力ソースが圧縮ビデオである場合、たとえば、復号プロセス中に圧縮ビット・ストリームから直接得られたブロックレベル動きベクトルが使用され得る。この場合、ピクセルｉについて、デコーダからの動きベクトルが（ｍ_n,u，ｍ_n,v）^Tであると仮定する。この場合、深度割当てのために使用される動き値は、動きベクトルの２ノルム、すなわち、

として定義され得る。ブロックレベル動きマップは、ビュー合成のために深度値にマッピングされる前に、ピクセルレベル動きに補間され得る。

動き値を取得した後に、動き値ｍ_n,iから深度値ｄ_n,iへのマッピングｆ（・）が定義され得る。より大きい動きはより近いオブジェクトに通常関係するという仮定に従って、マッピングは、区間［ｍ_min，ｍ_max］から［ｄ^f _min，ｄ^f _max］へのマッピングとして定義され得る。したがって、

ただし、ｍ_maxおよびｍ_minは、ビデオ・シーケンスの最大動き値および最小動き値を表す定数であり、ｄ^f _maxおよびｄ^f _minは、マッピング後の最大深度値および最小深度値に対応する定数値である。

ｍ_max、ｍ_min、ｄ^f _maxおよびｄ^f _minの定数値は、時間的に一貫した深度マップを得るために、１つのビデオ・シーケンス中のすべてのフレームに対して使用され得る。これらの定数の典型的な値は、ｍ_max＝２５５、ｍ_min＝０、ｄ^f _max＝２５５およびｄ^f _min＝６４である。この例では、ｄ^f _minの値は０に設定されない。

たとえば、図５のステップ（５１０）に示す前処理は平滑化および中央値フィルタ処理を含み得る。中央値フィルタ処理では、各ピクセルｉについて、動き値のセット｛ｍ_n,j｝の中央値は最終動き値として設定され得、ただし、ｊ∈Ｗはピクセルｉの近隣ピクセルに対応する。近隣ピクセルＷは、ピクセルｉの周囲の任意の長方形などの形状として選定され得る。中央値フィルタ処理は、動き値の望ましくない雑音を除去するために使用され得る。このようにして、上記で説明した方法で得られた深度値が、より滑らかになり、近隣ピクセルの深度値により整合するようにさせるためにフィルタ処理が使用され得る。

深度に動き値をマッピングする際に、最大の動き値は、カメラに対して最も近い距離（たとえば、深度値のｄ^f _max）にマッピングされ得る。ゼロ動きをもつピクセルは、カメラから最も大きい距離（たとえば、深度値のｄ^f _min）を有するものと見なされ得る。この場合、シーン中の静的オブジェクトについて、キャプチャされるシーン中のそれらの静的オブジェクトが実際にどのくらいカメラから離れているかは問題にならない。代わりに、静的オブジェクトは最も大きい深度を有するものと見なされる。この欠点を克服するために、本開示の技法は、動き値から深度マッピング後に深度値置換を使用し得る。

図５に示すように、置換は、動き値ｄ^f _n,iが、あるしきい値Ｔ_m以下のとき（「ｎｏ」５０６）に行われる。Ｔ_mは、より良好な深度マップ生成を生じる値を有するようにあらかじめ定義され得、様々なビデオ・コーディングシミュレーションの考慮後に選択され得る。条件が満たされた場合（たとえば、ｄ^f _n,iがＴ_mよりも大きい場合）、ｄ^f _n,iはｄ^g _n,iと置換され得（５０８）、ただし、

この場合、ｄ^g _n,iは色成分に基づく深度値を表す。Ｃ_n,iは所与のロケーションのクロマ値を表し得、Ｃ_maxおよびＣ_minは、ビデオ・シーケンスにおいて最大および最小色クロマ値を表す定数を備え得る。

次いで、関数ｇ（・）を使用して、カラー値を区間［０，Ｔ_m］中の深度値にマッピングし得る。静的オブジェクトに対応するピクセルについて、動き値ｍ_n,iは０であり得、深度値はｄ^f _n,i＝ｄ^f _minであり得る。いくつかの例では、しきい値Ｔ_mはｄ^f _minとして設定され得る。しかしながら、わずかな照度変化により、静的ピクセルの色強度はフレームｎ−１からフレームｎに変化し得る。このために、いくつかの例では、しきい値Ｔ_mのわずかにより大きい値を実装し得る。

本開示によれば、動き

に基づいて深度値を満たすすべてのピクセルは、レンジ［０，Ｔ_m］内で色ｄ^g _n,iに基づいて深度値と置換され得る。したがって、置換は、いくつかの比較的静的なピクセルについてさえ異なる深度値を割り当て得る。いくつかの色情報は、深度マップの初期化として直接使用され得る。本開示は、色に基づく深度値のためのＹＵＶ色空間のクロミナンス値Ｃｒの使用を企図するが、代替ソリューションには、ＲＧＢ色空間のＲ成分、ＹＵＶ空間のＣｂ成分、およびＬ＊ａ＊ｂ色空間のａまたはｂ成分の使用があり得る。

本開示によれば、動きに基づいて初期深度値を割り当てることは、前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対するビデオ・ユニットのピクセルのルーマ値に基づいて初期深度値を割り当てることを備え得、色に基づいて調整された深度値を割り当てることは、ビデオ・ユニットのピクセルのクロマ値に少なくとも部分的に基づいて調整された深度値を割り当てることを備える。上式に従って、調整された深度値を割り当てることは、クロマ値の許容区間内のクロマ値を０としきい値との間の深度値にマッピングすることを含み得る。

本開示の技法は、色強度の滑らかさを利用し、それらを使用して静的ピクセルの深度値を割り当て得る。本明細書で定義する線形マッピングは静的ピクセルの真の深度情報を表さないことがあるが、このマッピングは、望ましい３Ｄ効果を達成する何らかの「知覚的」深度を与え得る。深度値レンジ［０，Ｔ_m］への色強度の線形マッピングはまた、それらのピクセルの深度値が、有意な動きに関連するピクセルの深度値よりも常に小さくなることを保証し得る。

色成分抽出に関する別の実際的実装問題は、色成分抽出が予測ユニット３５または予測ユニット７５の補間プロシージャに組み込まれ得ることである。ビデオ・アプリケーションでは、ＹＵＶ４：２：０プログレッシブ・フォーマットが通常使用される。ＹＵＶ４：２：０プログレッシブ・フォーマットについて、ビデオデータは、ｎ₁×ｎ₂のサイズをもつＹ成分と、

のサイズをもつＣｂおよびＣｒ成分と、を備え得、すなわち、クロミナンス成分は、水平方向と垂直方向の両方に沿ってファクタ２においてサブサンプリングされる。本開示の技法は色抽出においてクロミナンスＣｒを使用し得るので、

のＣｒ成分は、深度推定のためにフレームごとにｎ₁×ｎ₂の解像度にアップサンプリングされる必要があり得る。

深度マップ初期化は、動き情報と色情報の両方を推定した後に取得され得る。フレームｎ中のピクセルｉの深度値は次のように表され得る。

より空間的に滑らかで一貫した深度マップを求めて、深度値ｄ_n,iの後処理（５１１）が実行され得る。後処理において、上記で説明した中央値フィルタ処理ならびにぼけフィルタ処理が適用され得る。指定されたウィンドウＷ内でガウス平滑化が適用され得る。深度値ｄ_n,iの後処理中にガウスフィルタ処理のために使用され得る１Ｄガウスカーネルの一例は次式によって与えられ得る。

ただし、ｘは入力値であり、ｇ（ｘ）はガウスフィルタ関数値であり、σ²は深度値の分散である。そのようなガウスフィルタ処理は、それぞれｕおよびｖ方向において異なる分散σ² _uおよびσ² _vを用いて別々にｕおよびｖ方向において画像平面に適用され得る。

図６は、本開示の技法のうちの１つまたは複数に一致する、確定された深度マップを生成するプロセスを示す流れ図である。図６のプロセスはエンコーダまたはデコーダによって実行され得る。たとえば、本プロセスは、ビデオ・エンコーダ５０の深度マップ生成ユニット３６によって、またはビデオ・デコーダ７０の深度マップ生成ユニット７７によって実行され得る。簡単のために、図６のプロセスについてはビデオ・デコーダ７０の深度マップ生成ユニット７７の観点から説明する。

図６に示すように、深度マップ生成ユニット７７は２Ｄ左ビュー（６０１）で開始する。図６の技法は、対応する右ビューを生成するために使用され得る深度マップを最終的に定義し得る。もちろん、代替的に初期ビューは右ビューであり得、深度マップは左ビューを生成するために使用され得る。

深度初期化（６０２）は、初期化された深度マップ（６０３）を最終的に生成する図５のプロセスに対応し得る。しかしながら、図６によれば、深度マップ生成ユニット７７は、確定された深度マップを最終的に生成するために、初期化された深度マップに関して追加の技法を実行し得る。図６に示すように、深度マップ生成ユニット７７は、シーン検出６０４を実行して、現在のビデオ・フレームが新しいシーンに対応するかどうかを判断し得る（６０５）。この判断を行うために、現在のフレームがシーン変化に対応するか否かを推定するために現在のフレームと前のフレームとの間のピクセル差分を定量化することによるなど、様々な技法を適用し得る。

現在のフレームがシーン変化に対応する場合（「ｙｅｓ」６０５）、重み値ｗを０に設定し得る（６０７）。これは、深度重み付け平均化（６１０）において前のフレームに重みが与えられないことを保証する。（新しいシーンが検出された）この場合、深度マップは重み付け（６１０）によって定義され得るが、ｗ＝０であるので、深度マップは、図５のプロセスにおいて生成された初期化された深度マップに対応することになる。後処理が実行され得（６１１）、深度マップ生成ユニット７７は、２次ビュー（たとえば、図６のプロセスへの入力である入力左ビューに対応する右ビュー）を生成するためのビュー合成プロセスにおいて２Ｄ３Ｄ変換ユニット７９によって使用され得る、確定された深度マップの形態で推定深度（６１２）を出力し得る。

現在のフレームがシーン変化に対応しない場合（「ｎｏ」６０５）、深度マップ生成ユニット７７は、フレームが低動きフレームであるかまたは標準動きフレームであるかを判断し得る（６０８）。標準フレームは、低動きフレームに対する高動きであるので、高動きフレームと呼ばれることもある。したがって、低動きおよび高動きは、前のフレームのルーマ値に対するフレーム全体のルーマ値の相対的差に基づいて定義され得る相対語であり得る。ただし、フレームが低動きフレームであるか標準（高動き）フレームであるかの判断は他の方法で実行され得る。

現在のフレームが低動きフレームでない場合（「ｎｏ」６０８）、重み付け深度マップ平均化が使用され得、確定された深度マップは、現在のフレームの初期化された深度マップと、１つまたは複数の前のフレームの初期化された深度マップとの重み付き平均である。重み付け平均化を促進するために重み係数ｗが定義され得る。重み係数ｗは、０．５であるか、または前のフレームの初期化された深度マップに対して現在のフレームの初期化された深度マップをより重く重み付けするためにより低い値を割り当てられ得る。

現在のフレームが低動きフレームである場合（「ｙｅｓ」６０８）、深度最大化が使用され得（６０９）、深度マップの各個の深度値は、現在のフレームの初期化された深度マップの対応する深度値と、前のフレームの初期化された深度マップ（または前のフレームの確定された深度マップ）の対応する深度値との最大値として定義される。前の深度マップを記憶するために、深度マップ生成ユニット７７中に深度マップバッファ（６１３）が含まれ得る。

この場合も、初期化された深度値はビデオ動きと色情報とから推定され得る。ただし、全シーケンスの初期化された深度マップは、時間的方向に沿ってあまり一貫していないことがある。より良好な合成されたビュー品質のために、深度マップ一貫性は重要な役割を果たす。図６の技法は、そのような深度マップ一貫性を保証するのを助け得る。

図６において、深度マップは、元の２Ｄビデオ（たとえば、左ビュー６０１）のフレームｎについて初期化される（６０２）。一方、現在のフレームｎが新しいシーンを開始するか否かを検査するためにシーン検出（６０４）が適用され得る。新しいシーンが検出された場合（「ｙｅｓ」６０５）、初期化された深度マップは後処理（６１１）およびビュー合成（６１２）のために送られる。フレームｎが新しいシーンを開始しない場合、フレーム分類ステップが適用される。フレーム分類プロシージャは、フレームを低動きフレームまたは標準フレームとして分類する。

フレームが低動きフレームである場合（「ｙｅｓ」６０８）、フレームｎの深度マップｄ_nは、フレームｎおよびフレームｎ−１の各個のピクセルｉについてのｄ_n,iとｄ_n-1,iとの最大値として設定され得る。言い換えれば、

しかしながら、現在のフレームが低動きフレームでない場合（「ｎｏ」６０８）、フレームｎの深度マップｄ_nは、何らかのあらかじめ定義された重み係数「ｗ」によって重み付けされた、深度マップｄ_nと前のフレームの深度マップｄ_n-1との重み付き平均であり得る。言い換えれば、現在のフレームが低動きフレームでない場合、

後処理（６１１）の後に、最終深度マップは、２Ｄ３Ｄ変換ユニットによるビュー合成において使用するために深度マップ生成ユニット７７から出力され得る。さらに、後続のフレームの深度推定のために、フレームｎの深度マップｄ_nのコピーが深度マップバッファ（６１３）に記憶され得る。図６の流れ図に示す深度マップバッファ（６１３）は、深度マップ生成ユニット７７内に含まれるかまたは深度マップ生成ユニット７７によってアクセス可能な構造的ハードウェアメモリ要素であり得る。

シーン検出技法は、ビデオトリミング、ビデオ追跡、およびシーン分類などのビデオ分析適用例においてしばしば使用される。シーン変化検出（６０４）のための基準として、隣接するフレームの類似度が推定され、使用され得る。本開示の技法は、シーン変化を検出するために、本手法の簡潔さにより、連続するフレームの平均色強度差を使用し得る。この場合、２つのフレーム間の差は次のように定義され得る。

ただし、ｎ₁およびｎ₂はそれぞれ画像水平軸および垂直軸に沿ったピクセルの数であり、Ｌ_n,iおよびＬ_n-1,iは、２つの連続するフレームのピクセル・ロケーションｉにおけるルーマ値である。

がしきい値Ｔ_sよりも大きい場合、フレームｎは新しいシーンの開始として見なされ得る。

本開示による、シーン検出の目的は、時間的に一貫した深度マップの生成において役立つことであり得る。同じシーンに属する連続する深度マップはまったく同様の深度値を有する傾向がある。しかしながら、フレームごとに独立して取得された深度マップは時間的方向に沿ってちらつきの問題を有することがある。時間的一貫性を改善するために、前のフレーム深度マップｄ_n-1は次のフレーム深度マップｄ_nに伝搬され得る。

１つのソリューションは、連続する深度マップｄ_nおよびｄ_n-1の重み付け平均化によって取得され得る。しかしながら、極めて低い動きをもつシーンでは、ごく少数のピクセルに深度値ｄ^f _nが割り当てられ得る。この場合、フレームｎのためのより良好な最終深度マップを生成するために深度最大化が使用され得る。さらに、シーン検出と同様の方法で、本開示の技法は低動きフレーム分類を使用し得る。低動きフレームの基準は、平均フレーム差

がしきい値Ｔ_Lよりも小さいかどうかであり得、ただし、Ｔ_Lは、Ｔ_sよりも小さくてフレームが新しいシーンでないことを示すが、通常の動きまたは比較的高い動きを示す十分な差を有する。

前のフレームｄ_n-1の深度マップの一部または全部を現在のフレームｄ_nの深度マップに伝搬した後、より滑らかな深度マップを作成するために後処理（６１１）が使用され得る。後処理の後に、推定深度マップは、２Ｄ３Ｄ変換ユニット７９によって実行され得るビュー合成において使用される準備ができ得る。同時に、深度マップのコピーは深度マップバッファ（６１３）に記憶され得、その深度マップバッファは、後続のフレームの深度マップを推定する際に使用するために、深度マップ生成ユニット７７内にあるかまたは深度マップ生成ユニット７７によってアクセス可能であり得る。バッファサイズは、実装形態に応じて、１つの前の深度マップ、またはいくつかの前の深度マップに適応するように設計され得る。

図７は、深度マップ初期化と、確定された深度マップの生成とを示す流れ図である。図７のプロセスはエンコーダまたはデコーダによって実行され得る。たとえば、本プロセスは、ビデオ・エンコーダ５０の深度マップ生成ユニット３６によって、またはビデオ・デコーダ７０の深度マップ生成ユニット７７によって実行され得る。簡単のために、図７のプロセスについてはビデオ・デコーダ７０の深度マップ生成ユニット７７の観点から説明する。

図７に示すように、深度マップ生成ユニット７７は、ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、（ビデオ・フレームまたはスライスなどの）ビデオ・ユニットのピクセルに関連する動きに基づいて、そのピクセルに初期深度値を割り当て（７０１）、初期深度値がしきい値を満たすかどうかを識別する（７０２）。深度マップ生成ユニット７７は、初期深度値がしきい値を満たすビデオ・ユニットのピクセルのうちの１つまたは複数に、調整された深度値を割り当て（７０３）、調整された深度値は、ピクセルに関連する色に基づく。割り当てられたあらゆる初期深度値についてこのプロセス（７０４）が繰り返される。

あらゆる深度値を考察し、しきい値を満たさない深度値を調整した後に、深度マップ生成ユニット７７は、ビデオ・ユニットの初期化された深度マップを生成し（７０５）、初期化された深度マップは、ピクセルの第１のサブセットの初期深度値と、ピクセルの第２のサブセットの調整された深度値とを備える。上記で説明したように、動きに基づいて初期深度値を割り当てることは、前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対するビデオ・ユニットのピクセルのルーマ値に基づいて初期深度値を割り当てることを備え得る。また、色に基づいて調整された深度値を割り当てることは、ビデオ・ユニットのピクセルのクロマ値に少なくとも部分的に基づいて調整された深度値を割り当てることを備え得る。

たとえば、動きに基づいて初期深度値を割り当てることは、以下の式に従って初期深度値を割り当てることを備える。

ただし、ｍ_n,iは初期深度値を表し、Ｌ_n,iはビデオ・ユニットｎ中のピクセルｉのルーマ値を表し、Ｌ_n-1,iは前のビデオ・ユニットｎ−１中のピクセルｉの対応するルーマ値を表す。さらに、色に基づいて調整された深度値を割り当てることは、以下の式に従って調整された深度値を割り当てることを備え得る。

ただし、

は調整された深度値を表し、

はクロマ値に関する関数ｇを表し、Ｔ_mはしきい値であり、Ｃ_n,iはビデオ・ユニットｎ中の所与のピクセルのクロマ値を表し、Ｃ_maxは許容最大クロマ値を表し、Ｃ_minは許容最小クロマ値を表す。

次に、深度マップ生成ユニット７７は、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断する（７０６）。そうであれば（「ｙｅｓ」７０６）、深度マップ生成ユニット７７は、初期化された深度マップをビデオ・ユニットの最終深度マップとして選択する。しかしながら、ビデオ・ユニットが前のビデオ・ユニットに対するシーン変化に対応しない場合、深度マップ生成ユニット７７は、ビデオ・ユニットが前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断する（７０８）。ビデオ・ユニットが低動きレベルを表さない場合（「ｎｏ」７０８）、深度マップ生成ユニット７７は、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の初期化された深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義する（７０９）。この場合、ビデオ・ユニットは高動きまたは通常動きを示し得る。代替的に、ビデオ・ユニットが低動きレベルを表す場合（「ｙｅｓ」７０８）、深度マップ生成ユニット７７は、ビデオ・ユニットの初期化された深度マップの深度値と、前のビデオ・ユニットの前の初期化された深度マップの深度値との最大値に基づいて、最終深度マップを定義する（７０９）。

上述のように、本開示の技法はデコーダまたはエンコーダによって実行され得る。本技法がビデオ・デコーダによって実行される場合、本技法は、ビデオ・ユニットの２次ビューを生成するために、最終深度マップに基づいてビュー合成を実行することをさらに含み得る。たとえば、ビュー合成は、ビデオ・デコーダ７０の２Ｄ３Ｄ変換ユニット７９によって実行され得る。ビュー合成プロセスは、元のビューと元のビューの深度マップとに基づいて２次ビューを生成するプロセスを備え得る。

本開示の技法がビデオ・エンコーダによって実行される場合、本技法は、ビデオ・ユニットとともに最終深度マップを通信することをさらに備え得る。しかしながら、場合によっては、ビュー合成は、ビデオ・ユニットの２次ビューを生成するために最終深度マップに基づいてエンコーダによって実行され得、この場合、ビデオ・エンコーダに関連するデバイスは、２次ビューをビデオ・ユニットの一部として通信し得る。

本技法について、深度マップ初期化と、その後に最終深度マップを生成するための追加の処理とを含むものとして説明した。しかしながら、いくつかの例では、深度マップ初期化技法は追加の処理なしに使用され得、初期化された深度マップは、さらなる処理なしに最終深度マップとして定義され得る。

本開示の技法は、モバイルフォンなどのワイヤレス通信デバイスハンドセット、集積回路（ＩＣ）またはＩＣのセット（すなわち、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。機能的態様を強調するために与えられた任意の構成要素、モジュールまたはユニットについて説明したが、異なるハードウェアユニットによる実現を必ずしも必要とするわけではない。本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せでも実装され得る。モジュール、ユニットまたは構成要素として説明した特徴は、集積論理デバイスにおいて一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。場合によっては、様々な特徴は、集積回路チップまたはチップセットなどの集積回路デバイスとして実装され得る。

ソフトウェアで実装する場合、これらの技法は、プロセッサで実行されると、上記で説明した方法の１つまたは複数を実行する命令を備えるコンピュータ可読媒体に少なくとも部分的によって実現され得る。コンピュータ可読媒体は、コンピュータ可読記憶媒体を備え得、パッケージング材料を含むことがあるコンピュータ・プログラム製品の一部を形成し得る。コンピュータ可読記憶媒体は、同期ダイナミック・ランダムアクセス・メモリ（ＳＤＲＡＭ）などのランダムアクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセス・メモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などを備え得る。本技法は、追加または代替として、命令またはデータ構造の形態でコードを搬送または通信し、コンピュータによってアクセス、読取り、および／または実行され得るコンピュータ可読通信媒体に少なくとも部分的によって実現され得る。

命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価な集積回路、または、ディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェア・モジュールまたはハードウェア・モジュール内に提供され得、あるいは複合ビデオコーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

本開示はまた、本開示で説明した技法の１つまたは複数を実装する回路を含む様々な集積回路デバイスのいずれかを企図する。そのような回路は、単一の集積回路チップ、またはいわゆるチップセット中の複数の相互運用可能な集積回路チップで提供され得る。そのような集積回路デバイスは様々な適用例において使用され得、適用例のいくつかは携帯電話ハンドセットなどのワイヤレス通信デバイスでの使用を含み得る。

様々な例について本開示で説明した。これらおよび他の例は以下の特許請求の範囲内に入る。

Claims (33)

1. ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることと、
   前記初期深度値がしきい値を満たすかどうかを識別することと、
   前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの１つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
   前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが、前記ピクセルの第１のサブセットの前記初期深度値と、前記ピクセルの第２のサブセットの前記調整された深度値とを備える、生成することと、
   を備える方法。
2. 動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備える、請求項１に記載の方法。
3. 色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備える、請求項１に記載の方法。
4. 動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
   色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
   前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を０と前記しきい値との間の深度値にマッピングすることを含む、
   請求項１に記載の方法。
5. 前記深度マップが、初期化された深度マップを備え、前記方法は、
   前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断することと、
   前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの最終深度マップとして選択することと、
   前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断することと、
   前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、前記最終深度マップを定義することと、
   前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義することと
   をさらに備える、請求項１に記載の方法。
6. 前記方法がビデオ・デコーダによって実行され、前記方法が、前記ビデオ・ユニットの２次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することをさらに備える、請求項５に記載の方法。
7. 前記方法がビデオ・エンコーダによって実行され、前記方法が、前記ビデオ・ユニットとともに前記最終深度マップを通信することをさらに備える、請求項５に記載の方法。
8. 前記方法がビデオ・エンコーダによって実行され、前記方法が、
   前記ビデオ・ユニットの２次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することと、
   前記ビデオ・ユニットとともに前記２次ビューを通信することと、
   をさらに備える、請求項５に記載の方法。
9. ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることと、
   前記初期深度値がしきい値を満たすかどうかを識別することと、
   前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの１つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
   前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが、前記ピクセルの第１のサブセットの前記初期深度値と、前記ピクセルの第２のサブセットの前記調整された深度値とを備える、生成することと、
   を行う深度マップ生成ユニットを備えるビデオコーダ装置。
10. 動きに基づいて前記初期深度値を割り当てることにおいて、前記深度マップ生成ユニットが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てる、請求項９に記載のビデオコーダ装置。
11. 色に基づいて調整された深度値を割り当てることにおいて、前記深度マップ生成ユニットが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てる、請求項９に記載のビデオコーダ装置。
12. 動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
    色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
    前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を０と前記しきい値との間の深度値にマッピングすることを含む、
    請求項９に記載のビデオコーダ装置。
13. 前記深度マップが、初期化された深度マップを備え、前記深度マップ生成ユニットは、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断し、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの最終深度マップとして選択し、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断し、
    前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、前記最終深度マップを定義し、
    前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義する、
    請求項９に記載のビデオコーダ装置。
14. 前記ビデオコーダがビデオ・デコーダを備え、前記ビデオ・デコーダが、前記ビデオ・ユニットの２次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行する２次元（２Ｄ）３次元変換ユニットをさらに備える、請求項１３に記載のビデオコーダ装置。
15. 前記ビデオコーダがビデオ・エンコーダを備え、ビデオ・コーディング装置が、前記ビデオ・ユニットとともに前記最終深度マップを通信する送信機をさらに備える、請求項１３に記載のビデオコーダ装置。
16. 前記ビデオコーダがビデオ・エンコーダを備え、前記ビデオ・エンコーダが、前記ビデオ・ユニットの２次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行する２次元（２Ｄ）３次元変換ユニットをさらに備え、前記ビデオ・コーディング装置が、前記ビデオ・ユニットとともに前記２次ビューを通信する送信機をさらに備える、請求項１３に記載のビデオコーダ装置。
17. 前記装置が、
    集積回路と、
    マイクロプロセッサと、
    ビデオ・エンコーダを含むワイヤレス通信デバイスと、
    ビデオ・デコーダを含むワイヤレス通信デバイスと、
    のうちの少なくとも１つを備える、請求項９に記載のビデオコーダ装置。
18. ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てるための手段と、
    前記初期深度値がしきい値を満たすかどうかを識別するための手段と、
    前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの１つまたは複数に、調整された深度値を割り当てるための手段であって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てるための手段と、
    前記ビデオ・ユニットの深度マップを生成するための手段であって、前記深度マップが、前記ピクセルの第１のサブセットの前記初期深度値と、前記ピクセルの第２のサブセットの前記調整された深度値とを備える、生成するための手段と、
    を備えるデバイス。
19. 動きに基づいて前記初期深度値を割り当てるための前記手段が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てるための手段を備える、請求項１８に記載のデバイス。
20. 色に基づいて前記調整された深度値を割り当てるための前記手段が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てるための手段を備える、請求項１８に記載のデバイス。
21. 動きに基づいて前記初期深度値を割り当てるための手段が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てるための手段を備え、
    色に基づいて前記調整された深度値を割り当てるための手段が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てるための手段を備え、
    前記調整された深度値を割り当てるための手段が、クロマ値の許容区間内のクロマ値を０と前記しきい値との間の深度値にマッピングするための手段を含む、
    請求項１８に記載のデバイス。
22. 前記深度マップが、初期化された深度マップを備え、前記デバイスは、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断するための手段と、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの最終深度マップとして選択するための手段と、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断するための手段と、
    前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、前記最終深度マップを定義するための手段と、
    前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義するための手段と、
    をさらに備える、請求項１８に記載のデバイス。
23. 前記デバイスがビデオ・デコーダを備え、前記デバイスが、前記ビデオ・ユニットの２次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行するための手段をさらに備える、請求項２２に記載のデバイス。
24. 前記デバイスがビデオ・エンコーダを備え、前記デバイスが、前記ビデオ・ユニットとともに前記最終深度マップを通信するための手段をさらに備える、請求項２２に記載のデバイス。
25. 前記デバイスがビデオ・エンコーダを備え、前記デバイスが、
    前記ビデオ・ユニットの２次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行するための手段と、
    前記ビデオ・ユニットとともに前記２次ビューを通信するための手段と、
    をさらに備える、請求項２２に記載のデバイス。
26. プロセッサによる実行時に、
    ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることと、
    前記初期深度値がしきい値を満たすかどうかを識別することと、
    前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの１つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
    前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが、前記ピクセルの第１のサブセットの前記初期深度値と、前記ピクセルの第２のサブセットの前記調整された深度値とを備える、生成することと、
    を前記プロセッサに行わせる命令を備えるコンピュータ可読記憶媒体。
27. 動きに基づいて前記初期深度値を割り当てることにおいて、前記命令が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを前記プロセッサに行わせる、請求項２６に記載のコンピュータ可読記憶媒体。
28. 色に基づいて前記調整された深度値を割り当てることにおいて、前記命令が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを前記プロセッサに行わせる、請求項２６に記載のコンピュータ可読記憶媒体。
29. 動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
    色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
    前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を０と前記しきい値との間の深度値にマッピングすることを含む、
    請求項２６に記載のコンピュータ可読記憶媒体。
30. 前記深度マップが、初期化された深度マップを備え、前記命令は、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断することと、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの最終深度マップとして選択することと、
    前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断することと、
    前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、前記最終深度マップを定義することと、
    前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義することと、
    を前記プロセッサに行わせる、請求項２６に記載のコンピュータ可読記憶媒体。
31. 前記プロセッサがビデオ・デコーダを備え、前記命令が、
    前記ビデオ・ユニットの２次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行すること、
    を前記プロセッサに行わせる、請求項３０に記載のコンピュータ可読記憶媒体。
32. 前記プロセッサがビデオ・エンコーダを備え、前記命令が、前記ビデオ・ユニットとともに前記最終深度マップを通信することを前記プロセッサに行わせる、請求項３０に記載のコンピュータ可読記憶媒体。
33. 前記プロセッサがビデオ・エンコーダを備え、前記命令が、
    前記ビデオ・ユニットの２次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することと、
    前記ビデオ・ユニットとともに前記２次ビューを通信することと、
    を前記プロセッサに行わせる、請求項３０に記載のコンピュータ可読記憶媒体。

Images