JP2010136371A - 深さ推定装置および方法、および３ｄビデオ変換装置および方法 - Google Patents

Abstract

【課題】 深さ情報が含まれていない２Ｄの単眼映像を３Ｄビデオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｄｅｏ）に変換するときに、必要な深さ情報を提供することができる深さ推定装置および方法と、この深さ推定装置および方法を用いた３Ｄビデオ変換装置および方法を開示する。
【解決手段】 入力映像に対する特性（ｆｅａｔｕｒｅ）情報を抽出し、抽出された特性情報を用いて入力映像の各部分の奥行き方向の成分である深さ（ｄｅｐｔｈ）値を推定する深さ推定装置を開示する。
【選択図】 図１

Description

本発明は、深さ推定装置および方法と３Ｄビデオ変換装置および方法に関し、より詳細には、深さ情報が含まれていない２Ｄの単眼映像を３Ｄビデオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｄｅｏ）に変換するときに、必要な深さ情報を提供することができる深さ推定装置および方法と深さ推定装置および方法を用いた３Ｄビデオ変換装置および方法に関する。

最近、３Ｄビデオへの関心が増幅するに伴い、３Ｄビデオに関する研究が活発に進められている。

一般的に、人間は、両目間の視差によって立体感を最も大きく感じるものと知られている。したがって、３Ｄビデオは、人間のこのような特性を用いて実現することができる。例えば、特定の被写体を、視聴者の左目を用いて見させる左目映像と視聴者の右目を用いて見させる右目映像とに区別し、左目映像と右目映像を同時に表示することによって視聴者が特定の被写体を３Ｄビデオとして見ることができるようにする。結局、３Ｄビデオは、左目映像と右目映像とに区分された両眼（ｂｉｎｏｃｕｌａｒ）映像を製作し、これを表示することによって実現することができる。

深さ情報がない単眼（ｍｏｎｏｃｕｌａｒ）２Ｄビデオを３Ｄビデオに変換するためには、２Ｄビデオに深さ情報を付加してレンダリング（ｒｅｎｄｅｒｉｎｇ）する作業が必要となる。

入力映像に対する少なくとも１つの特性（ｆｅａｔｕｒｅ）を考慮して入力映像を３Ｄビデオに変換するのに必要な深さを推定する装置および方法と、これを用いて入力映像を３Ｄビデオに変換する装置および方法を提供することによって、２Ｄビデオが３Ｄビデオに変換されるようにすることを目的とする。

１つ以上の実施形態は、深さ情報が提供されなくても、２Ｄビデオのための深さ情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）を生成するレンダリングプロセス（ｒｅｎｄｅｒｉｎｇ ｐｒｏｃｅｓｓ）を介して実行される深さ測定を有し、深さ測定および／または単眼２Ｄビデオ（ｍｏｎｏｃｕｌａｒ ２Ｄ ｖｉｄｅｏ）を３Ｄビデオ（３Ｄ ｖｉｄｅｏ）に変換する装置およびシステムを提供する。

１つ以上の実施形態は、入力映像（ｉｎｐｕｔ ｖｉｄｅｏ）から入力映像の特徴を示す少なくとも１つの特性情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を抽出する特性情報抽出部（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎ ｕｎｉｔ）と、前記特性情報抽出部で抽出された前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する深さ設定部（ｄｅｐｔｈ ｅｓｔａｂｌｉｓｈｍｅｎｔ ｕｎｉｔ）とを備える深さ推定装置（ａｐｐａｒａｔｕｓ ｆｏｒ ｅｓｔｉｍａｔｉｇ ｄｅｐｔｈ）を提供することができる。なお、ここで、前記特性情報は、前記入力映像のある予め設定された深さ値（ｐｒｅ−ｅｓｔａｂｌｉｓｈｅｄ ｄｅｐｔｈ ｖａｌｕｅｓ）とは、独立した異なる値である。

１つ以上の実施形態は、入力映像から少なくとも１つの特性情報を抽出する特性情報抽出部と、前記入力映像の部分に対する前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する深さ設定部と、前記入力映像の前記部分の前記設定された深さ値を用いて前入力映像を３Ｄビデオにレンダリング（ｒｅｎｄｅｒｉｎｇ）するレンダリング部とを備える３Ｄビデオ変換装置を提供する。

１つ以上の実施形態は、入力映像から少なくとも１つの特性情報を抽出するステップと、前記入力映像の部分に対する前記少なくとも１つの特性情報に基づいて前記入力映像の前記部分に対する深さ値を設定するステップとを含む深さ推定方法を提供する。

１つ以上の実施形態は、入力映像の特徴を示す少なくとも１つの特性情報を抽出するステップと、前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするステップとを含む３Ｄビデオ変換方法を提供する。

１つ以上の実施形態は、入力映像から、入力映像の特徴を示す少なくとも１つの特性情報を抽出する抽出部と、前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する設定部とを備える深さ推定装置を提供する。

１つ以上の実施形態は、入力映像から入力映像の特徴を示す少なくとも１つの特性情報を抽出するステップと、前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定するステップとを含む深さ推定方法を提供する。

入力映像に対する少なくとも１つの特性を考慮して入力映像を３Ｄビデオに変換するための深さ値を推定する装置および方法と、これを用いて入力映像を３Ｄビデオに変換する装置および方法を提供することによって、２Ｄビデオが３Ｄビデオに変換されるようにすることができる。

１つ以上の実施形態に係る深さ推定装置の構造を示す図である。 １つ以上の実施形態に係る深さ推定装置の構造を示す図である。 １つ以上の実施形態に係る深さ推定装置の構造を示す図である。 １つ以上の実施形態に係る深さ推定装置の構造を示す図である。 １つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。 １つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。 １つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。 １つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。 １つ以上の実施形態に係る深さ推定方法を示すフローチャートである。 １つ以上の実施形態に係る深さ推定方法を示すフローチャートである。 １つ以上の実施形態に係る深さ推定方法を示すフローチャートである。 １つ以上の実施形態に係る深さ推定方法を示すフローチャートである。 １つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。 １つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。 １つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。 １つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。

以下、添付の図面を参照しながら、本発明の実施形態について詳しく説明する。

図１は、１つ以上の実施形態に係る深さ推定装置の構造を示す図である。ここで、深さ推定装置１２０は、例えば、特性情報抽出部１２１と、深さ設定部１２２とを備えることができる。ここで、後述する説明全般に渡り、「装置」という用語は、１つのエンクロージャ（ｅｎｃｌｏｓｕｒｅ）に制限されたり、または各要素がそれぞれ１つのエンクロージャに実現されることに制限されるものではなく、物理システム（ｐｈｙｓｉｃａｌ ｓｙｓｔｅｍ）の要素と同義語として理解されなければならない。むしろ、実施形態により、「装置」は、互いに異なる構成要素を用いて互いに異なるエンクロージャおよび／または装置に分離されて実現されたり、または結合して実現されることができる。他の例として、それぞれの装置／システムまたは方法は、さらに１つ以上のプロセッシングエレメント／装置（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔｓ／ｄｅｖｉｃｅｓ）を介して制御することもでき、または分散ネットワークによって実現することもできる。さらに、追加的かつ代案的な実施形態も同様に可能である。

深さ推定装置１２０に入力ビデオ１１０が提供されれば、特性情報抽出部１２１は、入力ビデオ１１０に対する少なくとも１つの特性情報を抽出して深さ設定部１２２に提供する。

１つ以上の実施形態によれば、入力ビデオ１１０は、深さ情報を有さない単眼映像とすることができる。他の例として、入力ビデオ１１０は、空間的に交互的なステレオビデオ、時間的に交互的なステレオビデオ、および深さ情報を有する単眼ビデオとすることができる。

また、１つ以上の実施形態によれば、特性情報抽出部１２１が抽出する特性情報は、映像の特徴を示す情報であり、例えば、境界（ｅｄｇｅ）情報、カラー（ｃｏｌｏｒ）情報、輝度（ｌｕｍｉｎａｎｃｅ）情報、モーション（ｍｏｔｉｏｎ）情報、および／またはヒストグラム（ｈｉｓｔｏｇｒａｍ）情報などを示している。なお、特性情報としては、上記の情報の他の代案例も可能である。また、特性情報は、ビデオのフレームのように１つの映像に対する情報とすることもでき、複数の映像またはフレームに対する情報とすることもでき、ビデオに対する情報とすることもできる。

深さ設定部１２２は、特性情報抽出部１２１から提供される少なくとも１つの特性情報に基づいて入力ビデオ１１０に対する深さ値を設定する。深さ値は、例えば、入力ビデオ１１０を構成する各部分の奥行き方向の成分の情報である。

深さ推定装置１２０は、このように、入力ビデオ１１０の特徴に応じた特性情報に基づいて入力ビデオ１１０に深さ値を設定することによって、２Ｄの入力ビデオ１１０を立体ビデオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｄｅｏ）（以下、「３Ｄビデオ」とする）に変換することができる。もし、入力ビデオの１つ以上の深さ情報が既に存在すれば、深さ推定部１２０は、抽出された特性情報に基づいて入力ビデオの１つ以上の画素に対する深さを推定するために、入力ビデオを変換したり修正することができる。少なくとも１つの特性情報は、予め存在したり、または予め設定された１つ以上の画素の深さ値と独立する。ここで、１つ以上の画素に対する深さの測定は、予め存在したり、または予め設定された深さ値および抽出された特性情報すべてに基づいたり、または抽出された特性情報のみに基づくことができる。代案的に、例えば、入力ビデオに対して予め存在したり、予め設定された深さ値が存在しなければ、入力ビデオは、ある事前の深さ情報を有さない単なる２Ｄビデオとすることができる。これが存在しないために、抽出された少なくとも１つの特性情報は、予め存在したり、予め設定された深さ値から独立的となる。

１つ以上の実施形態によれば、深さ推定装置１２０は、図１に示された実施形態だけではなく、多様な実施形態で実現することができる。したがって、以下では、図２〜図４を参照しながら、深さ推定装置１２０の多様な実施形態について詳察する。

図２は、１つ以上の実施形態に係る深さ推定装置の構造を示す図である。ここで、深さ推定装置２２０は、例えば、特性情報抽出部２２３と、深さ設定部２２６とを備えることができる。一実施形態によれば、深さ設定部２２６は、例えば、深さマップ初期化部（ｄｅｐｔｈ ｍａｐ ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｕｎｉｔ）２２２と、深さ更新部（ｄｅｐｔｈ ｕｐｄａｔｅ ｕｎｉｔ）２２５とを備えることができる。

深さ推定装置２２０に入力ビデオ２１０が提供されれば、深さマップ初期化部２２２は、入力ビデオ２１０を構成する予め設定された少なくとも１つの画素（ｐｉｘｅｌ）に対する初期深さ値（ｉｎｉｔｉａｌ ｄｅｐｔｈ）を設定して深さマップ２２４に格納する。少なくとも１つの画素は、入力ビデオ２１０のフレームのように１つの映像に対する情報とすることもでき、入力ビデオ２１０の複数の映像またはフレームに対する情報とすることもできる。例えば、識別されたオブジェクトに対応する１つのフレームの部分の深さが単純に他のフレームにおける同じオブジェクトに適当されることができる。

１つ以上の実施形態によれば、入力ビデオ２１０は、単眼ビデオとすることができる。

また、１つ以上の実施形態によれば、深さマップ初期化部２２２は、入力ビデオ２１０シーケンス（ｓｅｑｕｅｎｃｅ）の各フレーム（ｆｒａｍｅ）ごとに初期深さ値を設定して深さマップ２２４に格納することができる。

また、１つ以上の実施形態によれば、深さマップ初期化部２２２は、初期深さ値を、下記式（１）を用いて設定することができる。

ここで、ｘとｙは入力ビデオ２１０内（入力ビデオのフレーム内）におけるイメージ座標、すなわち、入力ビデオ２１０の２次元平面上での位置示す座標を意味し、ｚは、それぞれの座標の奥行きに応じた深さを示す座標を意味する。このとき、ｚは、例えば、視点（ｖｉｅｗ ｐｏｉｎｔ）から入力ビデオ２１０に表現される被写体の距離に応じて０〜１の間の値とすることができる。例えば、被写体が観察者から遠く離れていれば被写体の深さは深くなり、この場合にｚ値は１に近い値とすることができる。反対に、被写体が観察者の近くに位置していれば被写体の深さは浅くなり、この場合にｚ値は０に近い値とすることができる。さらに、Ｎは、入力ビデオ２１０を構成するイメージの水平ラインの個数を意味する。

式（１）を詳察すれば、初期深さ値は、入力ビデオ２１０を構成するイメージのｙ座標値が依存することが分かる。一般的に、入力ビデオ２１０に表現される被写体の場合、入力ビデオ２１０の上端に位置する被写体は、入力ビデオ２１０の下端に位置する被写体よりも遠い距離に位置している。

したがって、このような特性を用いて入力ビデオ２１０の上端に位置する被写体を入力ビデオ２１０の下端に位置する被写体よりも深さを深くすることによって、初期深さ値を設定することができる。

このように、深さ推定装置２２０が深さマップ初期化部２２２を介して初期深さ値を設定して深さマップ２２４に格納すれば、ユーザは深さマップ２２４に格納されている初期深さ値を用いて２Ｄの入力ビデオ２１０を３Ｄビデオに変換するためのレンダリング作業を行うことによって、推定された深さマップ情報を用いて入力ビデオ２１０を３Ｄビデオに変換することができる。

しかしながら、深さマップ初期化部２２２が設定した初期深さ値は、入力ビデオ２１０の少なくとも１つの画素間の特性を考慮して平滑化（ｓｍｏｏｔｈｉｎｇ）した深さ値ではないという点において、初期深さ値を用いて変換された３Ｄビデオは多少不正確な深さを有することがある。

したがって、１つ以上の実施形態に係る深さ推定装置２２０は、深さマップ初期化部２２２が設定した初期深さ値に基づき、入力ビデオ２１０の少なくとも１つの画素間の特性情報を用いて深さ値を適切に調節することによって、深さがない入力ビデオ２１０に比較的正確な深さ情報を付与することができる。

このために、特性情報抽出部２２３は、入力ビデオ２１０に対する少なくとも１つの特性情報を抽出して深さ更新部２２５に提供する。

１つ以上の実施形態によれば、特性情報抽出部２２２が抽出する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などとすることができる。

その後、深さ更新部２２５は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリング（ｆｉｌｔｅｒｉｎｇ）を実行して入力ビデオ２１０に対する最終的な深さ値を演算し、演算された深さ値を用いて深さマップ２２４を更新する。

１つ以上の実施形態によれば、特性情報抽出部２２２は、少なくとも１つの特性情報に基づいて入力ビデオ２１０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素との間の加重値（ｗｅｉｇｈｔ）を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部２２３は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素との間の特性情報の類似度に依存するように加重値を演算することができる。

また、１つ以上の実施形態によれば、深さ更新部２２５は、特性情報抽出部２２３で演算された加重値を考慮してフィルタリングを実行することができる。

これに関し、特性情報抽出部２２３および深さ更新部２２５の動作について、例を挙げて詳しく説明する。

特性情報抽出部２２３が入力ビデオ２１０に対する輝度情報を抽出すれば、輝度情報に基づいて加重値が演算される。

特性情報抽出部２２３は、輝度情報の類似度に応じて入力ビデオ２１０を構成する少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算することができる。

例えば、特性情報抽出部２２３が入力ビデオ２１０を構成するａ画素と、ａ画素と隣接したｘ画素、ｙ画素、ｚ画素、およびｗ画素の間の加重値を演算すると仮定する。もし、ｘ画素、ｙ画素、ｚ画素、およびｗ画素の順でａ画素の輝度と類似するとすれば、ｘ画素、ｙ画素、ｚ画素、およびｗ画素の順に加重値の大きさが決定されるようになる。

その後、深さ更新部２２５は、深さマップ２２４に格納されているｘ画素、ｙ画素、ｚ画素、およびｗ画素の初期深さ値を特性情報抽出部２２３で演算された加重値の大きさに応じて反映してａ画素の第１（ａ）深さ値を算定した後、深さマップ２２４に格納されているａ画素の初期深さ値を第１（ａ）深さ値に更新することができる。

これと同時に、深さ更新部２２５は、ａ画素の場合と同じ方法で、ｘ画素、ｙ画素、ｚ画素、およびｗ画素に対してそれぞれの隣接画素との加重値を考慮して、ｘ画素、ｙ画素、ｚ画素、およびｗ画素それぞれに対する第１（ｂ）深さ値を算定した後、深さマップ２２４に格納されているｘ画素、ｙ画素、ｚ画素、およびｗ画素の初期深さ値を第１（ｂ）深さ値に更新することができる。

ｘ画素、ｙ画素、ｚ画素、およびｗ画素の初期深さ値が第１（ｂ）深さ値に更新されれば、深さ更新部２２５は、ｘ画素、ｙ画素、ｚ画素、およびｗ画素の第１（ｂ）深さ値をａ画素と、ｘ画素、ｙ画素、ｚ画素、およびｗ画素の間の加重値の大きさに応じて反映してａ画素に対する新たな第２（ａ）深さ値を算定した後、深さマップ２２４に格納されているａ画素の第１（ａ）深さ値を第２（ａ）深さ値に更新することができる。

この場合にも、深さ更新部２２５は、ａ画素の場合と同じ方法で、深さマップ２２４に格納されているｘ画素、ｙ画素、ｚ画素、およびｗ画素の第１（ｂ）深さ値をそれぞれの隣接した画素との加重値を考慮して、第２（ｂ）深さ値に更新することができる。

このように、深さ更新部２２５は、上述した深さ値を更新する過程を継続して繰り返すことによって、深さマップ２２４に格納されている深さ値をフィルタリングすることができる。

結局、１つ以上の実施形態に係る深さ推定装置２２０は、入力ビデオ２１０の少なくとも１つの画素に対して、少なくとも１つの注目画素とその注目画素に隣接した隣接画素の間の特性情報に基づいて深さ値を適切に調節することによって、入力ビデオ２１０が比較的正確な深さを有する３Ｄビデオに変換されるようにできる。

これに関し、１つ以上の実施形態によれば、特性情報抽出部２２３は、加重値を、下記式（２）を用いて演算することができる。

ここで、ωは加重値、（ｘ，ｙ）は入力ビデオ２１０の少なくとも１つの画素に対する座標を、（ｘ’，ｙ’）は少なくとも１つの画素（ｘ，ｙ）に隣接した画素に対する座標を、Ｙは入力ビデオ２１０に対する少なくとも１つの特性情報を、σはフィルタパラメータを意味する。

また、１つ以上の実施形態によれば、深さ更新部２２５は、下記式（３）を用いて深さマップ２２４に格納されている深さ値を更新することができる。

ここで、ｚ（ｘ，ｙ）は入力ビデオ２１０を構成する少なくとも１つの画素の深さを、ｚ（ｘ’，ｙ’）は少なくとも１つの画素に隣接した画素の深さを、ωは加重値を、ｋは正規化因子を意味する。

上述したように、深さ更新部２２５は、例えば、式（３）の演算を繰り返し実行することによって、深さマップ２２４に格納されている深さ値を更新することができる。

１つ以上の実施形態によれば、深さマップ初期化部２２２は、少なくとも１つの特性情報を用いて初期深さ値を設定した後、初期深さ値を深さマップ２２４に格納することができる。

これにより、深さマップ初期化部２２２は、多少平滑化が実行された初期深さ値を設定することができる。

結局、１つ以上の実施形態に係る深さ推定装置２２０は、深さマップ初期化部２２２を介して多少平滑化が実行された初期深さ値を設定することによって、深さ更新部２２５が深さマップ２２４に格納された深さ値を平滑化するために実行しなければならない反復演算の複雑性を減らすことができる。

このとき、１つ以上の実施形態によれば、深さ推定装置２２０は、特性情報抽出部２２３の他にもさらに異なる特性情報抽出部（図示せず）を備えることができる。

この場合、深さマップ初期化部２２２は、さらに異なる特性情報抽出部から少なくとも１つの特性情報が提供されて初期深さ値を設定することができる。

１つ以上の実施形態によれば、深さ推定装置２２０は、入力ビデオ２１０がより柔軟な深さを有する３Ｄビデオに変換が可能なように、深さマップ２２４を後処理する後処理部（図示せず）をさらに備えることができる。

また、１つ以上の実施形態によれば、深さ推定装置２２０は、前処理部２２１をさらに備えることができる。

前処理部２２１は、入力ビデオ２１０のカラー空間（ｃｏｌｏｒ ｓｐａｃｅ）を変換したり、入力ビデオ２１０が予め設定された（ｐｒｅｄｅｔｅｒｍｉｎｅｄ）ビデオストリームにエンコードされた映像の場合、入力ビデオ２１０をデコーディングして入力ビデオ２１０のモーションベクトルを抽出することができる。

もし、前処理部２２１が入力ビデオ２１０のカラー空間を変換する機能を実行する場合、特性情報抽出部２２３は、入力ビデオ２１０の特性情報をより正確に抽出することができる。

例えば、入力ビデオ２１０がＲＧＢカラー空間やＹＣｂＣｒカラー空間でなされている映像の場合、前処理部２２１は、入力ビデオ２１０のカラー空間をＬ^＊ｕ^＊ｖ^＊カラー空間に変換することによって、特性情報抽出部２２３が入力ビデオ２１０の特性情報をより正確に抽出するようにできる。

また、前処理部２２１が入力ビデオ２１０をデコーディングして入力ビデオ２１０のモーションベクトルを抽出する機能を実行する場合、特性情報抽出部２２３は、モーションベクトルを用いて入力ビデオ２１０の特性情報を抽出することができる。

図３は、１つ以上の実施形態に係る深さ推定装置の構造を示す図である。深さ推定装置（ｄｅｐｔｈ ｅｓｔｉｍａｔｉｏｎ ａｐｐａｒａｔｕｓ）３２０は、例えば、特性情報抽出部（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎ ｕｎｉｔ）３２２と、アップスケーリング部（ｕｐ−ｓｃａｌｌｉｎｇ ｕｎｉｔ）３２５と、深さ設定部（ｄｅｐｔｈ ｅｓｔａｂｌｉｓｈｍｅｎｔ ｕｎｉｔ）３２６とを備えることができる。また、１つ以上の実施形態によれば、深さ設定部３２６は、深さマップ初期化部（ｄｅｐｔｈ ｍａｐ ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｕｎｉｔ）３２１と、深さ更新部（ｄｅｐｔｈ ｕｐｄａｔｅ ｕｎｉｔ）３２４とを備えることができる。

深さマップ初期化部３２１は、入力ビデオ３１０の複数の画素を少なくとも１つのブロック（ｂｌｏｃｋ）に区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップ３２３に格納する。

例えば、入力ビデオ３１０の複数の画素がａ、ｂ、ｃ、ｄ、ｅ、ｆ画素であると仮定すれば、深さマップ初期化部３２１は、この複数の画素を（ａ，ｂ）、（ｃ，ｄ）、（ｅ，ｆ）のように互いに隣接した画素どうし少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップ３２３に格納することができる。

１つ以上の実施形態によれば、入力ビデオ３１０は、単眼ビデオとすることができる。また、１つ以上の実施形態によれば、深さマップ初期化部３２１は、式（１）または、例えば他の特徴によって初期深さ値を設定することができる。

このとき、（ｘ，ｙ）は、少なくとも１つのブロックに対する座標を意味する。

特性情報抽出部３２２は、入力ビデオ３１０に対する少なくとも１つの特性情報を抽出して深さ更新部３２４に提供する。

１つ以上の実施形態によれば、特性情報抽出部３２２が抽出する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

深さ更新部３２４は、特性情報抽出部３２２から抽出された少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して少なくとも１つのブロックに対する第２深さ値を演算し、第２深さ値を用いて深さマップ３２３を更新する。

１つ以上の実施形態によれば、特性情報抽出部３２２は、少なくとも１つの特性情報に基づいて少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックとの間の加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部３２２は、少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の特性情報の類似度に依存するように加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部３２２は、式（２）を用いて加重値を演算することができる。

このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を示し、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を示す。

また、１つ以上の実施形態によれば、深さ更新部３２４は、特性情報抽出部３２２で演算された加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、深さ更新部３２４は、式（３）を用いてフィルタリングを実行することができる。

このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。

アップスケーリング部３２５は、更新された深さマップ３２３を複数の画素単位でアップスケーリングする。

結局、１つ以上の実施形態に係る深さ推定装置３２０は、入力ビデオ３１０の複数の画素を少なくとも１つのブロックに区分して深さマップ３２３を生成した後にこれをアップスケーリングすることによって、比較的単純な演算によって入力ビデオ３１０を３Ｄビデオに変換するための深さマップを生成することができる。

１つ以上の実施形態によれば、深さマップ初期化部３２１は、特性情報抽出部３２２から抽出された少なくとも１つの特性情報を用いて初期深さ値を設定した後、初期深さ値を深さマップ３２３に格納することができる。

これにより、深さマップ初期化部３２１は、多少平滑化が実行された初期深さ値を設定することができる。

結局、１つ以上の実施形態に係る深さ推定装置３２０は、深さマップ初期化部３２１を介して多少平滑化が実行された初期深さ値を設定することによって、深さ更新部３２４が深さマップ３２３に格納された深さ値を平滑化するために実行しなければならない反復演算の複雑性を減らすことができる。

このとき、１つ以上の実施形態によれば、深さ推定装置３２０は、特性情報抽出部３２２の他にもさらに異なる特性情報抽出部（図示せず）を備えることができる。

この場合、深さマップ初期化部３２１は、さらに異なる特性情報抽出部から少なくとも１つの特性情報が提供されて初期深さ値を設定することができる。

１つ以上の実施形態によれば、深さ推定装置３２０は、入力ビデオ３１０がより柔軟な深さを有する３Ｄビデオに変換が可能なように、アップスケーリングされた深さマップを後処理する後処理部（図示せず）をさらに備えることができる。

また、１つ以上の実施形態によれば、深さ推定装置３２０は、前処理部（図示せず）をさらに備えることができる。

前処理部は、入力映像３２０のカラー空間を変換したり、入力映像３２０が予め設定されたビデオストリームにエンコードされた映像の場合、入力映像３２０をデコーディングして入力映像３２０のモーションベクトルを抽出することができる。

もし、前処理部が入力映像３２０のカラー空間を変換する機能を実行する場合、特性情報抽出部３２２は、入力ビデオ３１０の特性情報をより正確に抽出することができる。

例えば、入力映像３２０がＲＧＢカラー空間やＹＣｂＣｒカラー空間でなされている映像の場合、前処理部は、入力映像３２０のカラー空間をＬ^＊ｕ^＊ｖ^＊カラー空間に変換することによって、特性情報抽出部３２２が入力ビデオ３１０の特性情報をより正確に抽出するようにできる。

また、前処理部が入力ビデオ３１０をデコーディングして入力ビデオ３１０のモーションベクトルを抽出する機能を実行する場合、特性情報抽出部３２２は、モーションベクトルを用いて入力ビデオ３１０の特性情報を抽出することができる。

図４は、１つ以上の実施形態に係る深さ推定装置の構造を示す図である。深さ推定装置４３０は、特性情報抽出部４３８と、深さ設定部４４２とを備えることができる。１つ以上の実施形態によれば、深さ設定部４４２は、深さマップ初期化部４３７と、深さ更新部４４０とを備えることができる。

深さマップ初期化部４３７は、入力ビデオ４１０の少なくとも１つの画素に対する初期深さ値を設定して深さマップ４３９に格納する。

１つ以上の実施形態によれば、入力ビデオ４１０は、単眼映像とすることができる

特性情報抽出部４３８は、入力ビデオ４１０に対する少なくとも１つの特性情報を抽出して深さ更新部４４０に提供する。

１つ以上の実施形態によれば、特性情報抽出部４３８が抽出する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

深さ更新部４４０は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力ビデオ４１０に対する最終的な深さ値を演算し、この深さ値を用いて深さマップ４３９を更新する。

１つ以上の実施形態によれば、特性情報抽出部４３８は、少なくとも１つの特性情報に基づいて入力ビデオ４１０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部４３８は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部４３８は、式（２）を用いて加重値を演算することができる。

また、１つ以上の実施形態によれば、深さ更新部４４０は、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、深さ更新部４４０は、式（３）を用いてフィルタリングを実行することができる。

１つ以上の実施形態に係る深さ推定装置４３０は、上述したように、深さマップ初期化部４３７が初期深さ値を設定すれば、深さ更新部４４０が少なくとも１つの特性情報を用いて深さマップ４３９を更新することによって、入力ビデオ４１０に対する深さ値を推定することができる。

また、１つ以上の実施形態に係る深さ推定装置４３０は、入力ビデオ４１０をダウンスケーリング（ｄｏｗｎ−ｓｃａｌｉｎｇ）し、ダウンスケーリングされた入力映像に対する第２深さ値を推定した後に第２深さ値を初期深さ値として用いることによって、入力ビデオ４１０の深さ値を推定するための演算過程を簡素化することができる。

これに関し、１つ以上の実施形態に係る深さ推定装置４３０は、ダウンスケーリング部４３１と、第２特性情報抽出部４３３と、第２深さ設定部４４１と、アップスケーリング部４３６とをさらに備えることができる。

このとき、１つ以上の実施形態によれば、第２深さ設定部４４１は、第２深さマップ初期化部４３２と、第２深さ更新部４３５とを備えることができる。

ダウンスケーリング部４３１は、深さ推定装置４３０に入力される入力ビデオ４１０を予め設定された解像度にダウンスケーリングする。

例えば、入力ビデオ４１０の解像度が１０２４×７６８であれば、ダウンスケーリング部４３１は、入力ビデオ４１０を８００×６００の解像度にダウンスケーリングすることができる。

第２深さマップ初期化部４３２は、ダウンスケーリング部４３１によってダウンスケーリングされた入力映像４２０の少なくとも１つの画素に対する第２初期深さ値を設定して第２深さマップ４３４に格納する。

１つ以上の実施形態によれば、第２深さマップ初期化部４３２は、式（１）を用いて第２初期深さ値を設定することができる。

第２特性情報抽出部４３３は、ダウンスケーリングされた入力映像４２０に対する少なくとも１つの第２特性情報を抽出して第２深さ更新部４３５に提供する。

１つ以上の実施形態によれば、第２特性情報抽出部４３３が抽出する少なくとも１つの第２特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

第２深さ更新部４３５は、少なくとも１つの第２特性情報および第２初期深さ値に基づいてフィルタリングを実行してダウンスケーリングされた入力映像４２０に対する第２深さ値を演算し、第２深さ値を用いて第２深さマップ４３４を更新する。

１つ以上の実施形態によれば、第２特性情報抽出部４３３は、少なくとも１つの第２特性情報に基づいてダウンスケーリングされた入力映像４２０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の第２加重値を演算することができる。

このとき、１つ以上の実施形態によれば、第２特性情報抽出部４３３は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように第２加重値を演算することができる。

このとき、１つ以上の実施形態によれば、第２特性情報抽出部４３３は、式（２）を用いて第２加重値を演算することができる。

また、１つ以上の実施形態によれば、第２深さ更新部４３５は、第２加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、第２深さ更新部４３５は、式（３）を用いてフィルタリングを実行することができる。

アップスケーリング部４３６は、更新された第２深さマップ４３４を入力ビデオ４１０に対する解像度に基づいてアップスケーリングして深さマップ初期化部４３７に提供する。

このとき、１つ以上の実施形態によれば、アップスケーリング部４３６は、少なくとも１つの第２特性情報および少なくとも１つの特性情報を用いて第２深さマップ４３４をアップスケーリングすることができる。

アップスケーリング部４３６が更新された第２深さマップ４３４をアップスケーリングすれば、深さマップ初期化部４３７は、アップスケーリングされた第２深さマップに格納された深さ値を、入力ビデオ４１０の少なくとも１つの画素に対する初期深さ値として設定して深さマップ４３９に格納する。

このように、１つ以上の実施形態に係る深さ推定装置４３０は、ある程度フィルタリングがなされた深さ値を初期深さ値として設定することによって、深さ更新部４４０が入力ビデオ４１０に対する深さ値をフィルタリングし、深さマップ４３９を更新するために実行しなければならない演算の複雑度を減らすことができる。

結局、１つ以上の実施形態に係る深さ推定装置４３０は、入力ビデオ４１０をダウンスケーリングした後、初期深さマップを生成する複合的な接近方法を用いて最終的に深さマップを生成することによって、入力ビデオ４１０の深さを推定するための全般的な演算過程を減らすことができる。

ここで、図４に示された深さ推定装置４３０は、入力ビデオ４１０を１回ダウンスケーリングして深さマップを生成すると示されているが、本発明が必ずこれに限定されることはない。

すなわち、１つ以上の実施形態によれば、深さ推定装置４３０は、入力ビデオ４１０をｎ回ダウンスケーリングし、ｎ番目にダウンスケーリングされた入力映像から深さマップを生成してこれをアップスケーリングすることによって、ｎ−１番目にダウンスケーリングされた入力映像の深さマップを生成するための初期深さマップとして用いることができる。また、ｎ−１番目にダウンスケーリングされた入力映像の深さマップの場合にも、これをアップスケーリングしてｎ−２番目にダウンスケーリングされた入力映像の深さマップを生成するための初期深さマップとして用いることができる。

結局、１つ以上の実施形態に係る深さ推定装置４３０は、上述した過程を繰り返し実行して生成した深さマップを、最終的に入力ビデオ４１０の深さマップを生成するための初期深さマップとして用いることによって、入力ビデオ４１０の深さを推定するために実行しなければならない演算を簡素化することができる。

以上では、図１〜４を参照しながら、深さ推定装置に関する本発明の多様な実施形態について詳察した。以下では、図５〜８を参照しながら、深さ推定装置を用いて入力映像を３Ｄビデオに変換する３Ｄビデオ変換装置に対する本発明の多様な実施形態について詳察する。

図５は、１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。３Ｄビデオ変換装置５２０は、例えば、特性情報抽出部５２１と、深さ設定部５２２と、レンダリング部５２３とを備えることができる。

３Ｄビデオ変換装置５２０に入力ビデオ５１０が入力されれば、特性情報抽出部５２１は、入力ビデオ５１０に対する少なくとも１つの特性情報を抽出して深さ設定部５２２に提供する。

１つ以上の実施形態によれば、入力ビデオ５１０は、単眼映像とすることができる。

また、１つ以上の実施形態によれば、特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

深さ設定部５２２は、特性情報抽出部５２１から提供される少なくとも１つの特性情報に基づいて入力ビデオ５１０に対する深さ値を設定する。

結局、１つ以上の実施形態に係る３Ｄビデオ変換装置５２０は、入力ビデオ５１０の特性情報に基づいて入力ビデオ５１０に対する深さ値を設定し、この深さ値を用いて２Ｄの入力ビデオ５１０を３Ｄビデオにレンダリングすることによって、入力ビデオ５１０が３Ｄビデオに変換されるようにできる。

１つ以上の実施形態によれば、３Ｄビデオ変換装置５２０は、図５に示された実施形態だけではなく、多様な実施形態に拡張することができる。したがって、以下では、図６〜８を参照しながら、３Ｄビデオ変換装置５２０の多様な実施形態について詳察する。

図６は、１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。

３Ｄビデオ変換装置６２０は、特性情報抽出部６２２と、レンダリング部６２５と、深さ設定部６２６とを備えることができる。

１つ以上の実施形態によれば、深さ設定部６２６は、深さマップ初期化部６２１と、深さ更新部６２４とを備えることができる。

３Ｄビデオ変換装置６２０に入力ビデオ６１０が入力されれば、深さマップ初期化部６２１は、入力ビデオ６１０の少なくとも１つの画素に対する初期深さ値を設定して深さマップ６２３に格納する。

１つ以上の実施形態によれば、入力ビデオ６１０は、単眼映像とすることができる。

また、１つ以上の実施形態によれば、深さマップ初期化部６２１は、入力ビデオ６１０シーケンスの各フレームごとに初期深さ値を設定して深さマップ６２３に格納することができる。

また、１つ以上の実施形態によれば、深さマップ初期化部６２１は、初期深さ値を、式（１）を用いて設定することができる。

特性情報抽出部６２２は、入力ビデオ６１０に対する少なくとも１つの特性情報を抽出して深さ更新部６２４に提供する。

１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

深さ更新部６２４は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力ビデオ６１０に対する最終的な深さ値を演算し、このように演算された深さ値を用いて深さマップ６２３を更新する。

１つ以上の実施形態によれば、特性情報抽出部６２２は、少なくとも１つの特性情報に基づいて入力ビデオ６１０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算することができる。

また、１つ以上の実施形態によれば、特性情報抽出部６２２は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部６２２は、式（２）を用いて加重値を演算することができる。

また、１つ以上の実施形態によれば、深さ更新部６２４は、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、深さ更新部６２４は、式（３）を用いてフィルタリングを実行することができる。

レンダリング部６２５は、深さ更新部６２４によって更新された深さマップ６２３を用いて入力ビデオ６１０を３Ｄビデオにレンダリングする。

１つ以上の実施形態によれば、深さマップ初期化部６２１は、少なくとも１つの特性情報を用いて初期深さ値を設定した後、この初期深さ値を深さマップ６２３に格納することができる。

これにより、深さマップ初期化部６２１は、多少平滑化が実行された初期深さ値を設定することができる。

結局、１つ以上の実施形態に係る３Ｄビデオ変換装置６２０は、深さマップ初期化部６２１を介して多少平滑化が実行された初期深さ値を設定することによって、深さ更新部６２４が深さマップ６２３に格納された深さ値を平滑化するために実行しなければならない反復演算の複雑性を減らすことができる。

このとき、１つ以上の実施形態によれば、３Ｄビデオ変換装置６２０は、特性情報抽出部６２２の他にもさらに異なる特性情報抽出部（図示せず）を備えることができる。

この場合、深さマップ初期化部６２１は、さらに異なる特性情報抽出部から少なくとも１つの特性情報が提供されて初期深さ値を設定することができる。

１つ以上の実施形態によれば、３Ｄビデオ変換装置６２０は、入力ビデオ６１０がより柔軟な深さを有する３Ｄビデオに変換が可能なように、深さマップ６２３を後処理する後処理部（図示せず）をさらに備えることができる。

また、１つ以上の実施形態によれば、３Ｄビデオ変換装置６２０は、前処理部（図示せず）をさらに備えることができる。

このような前処理部は、入力ビデオ６１０のカラー空間を変換したり、入力ビデオ６１０が予め設定されたビデオストリームにエンコードされた映像の場合、入力ビデオ６１０をデコーディングして入力ビデオ６１０のモーションベクトルを抽出する。

もし、前処理部が入力ビデオ６１０のカラー空間を変換する機能を実行する場合、特性情報抽出部６２２は、入力ビデオ６１０の特性情報をより正確に抽出することができる。

例えば、入力ビデオ６１０がＲＧＢカラー空間やＹＣｂＣｒカラー空間でなされている映像の場合、前処理部は、入力ビデオ６１０のカラー空間をＬ^＊ｕ^＊ｖ^＊カラー空間に変換することによって、特性情報抽出部６２２が入力ビデオ６１０の特性情報をより正確に抽出するようにできる。

また、前処理部が入力ビデオ６１０をデコーディングして入力ビデオ６１０のモーションベクトルを抽出する機能を実行する場合、特性情報抽出部６２２は、モーションベクトルを用いて入力ビデオ６１０の特性情報を抽出することができる。

図７は、１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。

図７を参照すれば、３Ｄビデオ変換装置７２０が示されている。

３Ｄビデオ変換装置７２０は、特性情報抽出部７２２と、アップスケーリング部７２５と、レンダリング部７２６と、深さ設定部７２７とを備えることができる。

１つ以上の実施形態によれば、深さ設定部７２７は、深さマップ初期化部７２１と、深さ更新部７２４とを備えることができる。

深さマップ初期化部７２１は、入力ビデオ７１０の複数の画素を少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップ７２３に格納する。

例えば、入力ビデオ７１０の複数の画素をａ、ｂ、ｃ、ｄ、ｅ、ｆ画素と仮定すれば、深さマップ初期化部７２１は、複数の画素を（ａ，ｂ）、（ｃ，ｄ）、（ｅ，ｆ）のように互いに隣接した画素どうしを少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップ７２３に格納することができる。

１つ以上の実施形態によれば、入力ビデオ７１０は、単眼映像とすることができる。

また、１つ以上の実施形態によれば、深さマップ初期化部７２１は、式（１）を用いて初期深さ値を設定することができる。

このとき、（ｘ，ｙ）は、少なくとも１つのブロックに対する座標を意味する。

特性情報抽出部７２２は、入力ビデオ７１０に対する少なくとも１つの特性情報を抽出して深さ更新部７２４に提供する。

１つ以上の実施形態によれば、特性情報抽出部７２２が抽出する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

深さ更新部７２４は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して少なくとも１つのブロックに対する第２深さ値を演算し、第２深さ値を用いて深さマップ７２３を更新する。

１つ以上の実施形態によれば、特性情報抽出部７２２は、少なくとも１つの特性情報に基づいて少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部７２２は、少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の特性情報の類似度に依存するように加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部７２２は、式（２）を用いて加重値を演算することができる。

このとき、（ｘ，ｙ）は少なくとも１つのブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。

また、１つ以上の実施形態によれば、深さ更新部７２４は、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、深さ更新部７２４は、式（３）を用いてフィルタリングを実行することができる。

このとき、（ｘ，ｙ）は少なくとも１つのブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。

アップスケーリング部７２５は、更新された深さマップ７２３を複数の画素単位でアップスケーリングする。

レンダリング部７２６は、アップスケーリングされた深さマップを用いて入力ビデオ７１０を３Ｄビデオにレンダリングする。

結局、１つ以上の実施形態に係る３Ｄビデオ変換装置７２０は、入力ビデオ７１０の複数の画素を少なくとも１つのブロックに区分して深さマップ７２３を生成した後にこれをアップスケーリングすることによって、比較的単純な演算によって入力ビデオ７１０を３Ｄビデオに変換することができる。

１つ以上の実施形態によれば、深さマップ初期化部７２１は、少なくとも１つの特性情報を用いて初期深さ値を設定した後、初期深さ値を深さマップ７２３に格納することができる。

これにより、深さマップ初期化部７２１は、多少平滑化が実行された初期深さ値を設定することができる。

結局、１つ以上の実施形態に係る３Ｄビデオ変換装置７２０は、深さマップ初期化部７２１を介して多少平滑化が実行された初期深さ値を設定することによって、深さ更新部７２４が深さマップ７２３に格納された深さ値を平滑化するために実行しなければならない反復演算の複雑性を減らすことができる。

このとき、１つ以上の実施形態によれば、３Ｄビデオ変換装置７２０は、特性情報抽出部７２２の他にもさらに異なる特性情報抽出部（図示せず）を備えることができる。

この場合、深さマップ初期化部７２１は、さらに異なる特性情報抽出部から少なくとも１つの特性情報が提供されて初期深さ値を設定することができる。

１つ以上の実施形態によれば、３Ｄビデオ変換装置７２０は、入力ビデオ７１０がより柔軟な深さを有する３Ｄビデオに変換が可能なように、アップスケーリングされた深さマップを後処理する後処理部（図示せず）をさらに備えることができる。

また、１つ以上の実施形態によれば、３Ｄビデオ変換装置７２０は、前処理部（図示せず）をさらに備えることができる。

前処理部は、入力ビデオ７１０のカラー空間を変換したり、入力ビデオ６１０が予め設定されたビデオストリームにエンコードされた映像である場合、入力ビデオ７１０をデコーディングして入力ビデオ７１０のモーションベクトルを抽出する。

もし、前処理部が入力ビデオ７１０のカラー空間を変換する機能を実行する場合、特性情報抽出部７２２は、入力ビデオ７１０の特性情報をより正確に抽出することができる。

例えば、入力ビデオ７１０がＲＧＢカラー空間やＹＣｂＣｒカラー空間でなされている映像の場合、前処理部は、入力ビデオ７１０のカラー空間をＬ^＊ｕ^＊ｖ^＊カラー空間に変換することによって、特性情報抽出部７２２が入力ビデオ７１０の特性情報をより正確に抽出するようにできる。

また、前処理部が入力ビデオ７１０をデコーディングして入力ビデオ７１０のモーションベクトルを抽出する機能を実行する場合、特性情報抽出部７２２は、モーションベクトルを用いて入力ビデオ７１０の特性情報を抽出することができる。

図８は、１つ以上の実施形態に係る３Ｄビデオ変換装置の構造を示す図である。

３Ｄビデオ変換装置８３０は、特性情報抽出部８３８と、深さ設定部８４３と、レンダリング部８４１とを備えることができる。

このとき、１つ以上の実施形態によれば、深さ設定部８４３は、深さマップ初期化部８３７と、深さ更新部８４０とを備えることができる。

深さマップ初期化部８３７は、入力ビデオ８１０の少なくとも１つの画素に対する初期深さ値を設定して深さマップ８３９に格納する。

１つ以上の実施形態によれば、入力ビデオ８１０は、単眼映像とすることができる。

特性情報抽出部８３８は、入力ビデオ８１０に対する少なくとも１つの特性情報を抽出して深さ更新部８４０に提供する。

１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

深さ更新部８４０は、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力ビデオ８１０に対する深さ値を演算し、深さ値を用いて深さマップ８３９を更新する。

１つ以上の実施形態によれば、特性情報抽出部８３８は、少なくとも１つの特性情報に基づいて入力ビデオ８１０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部８３８は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように加重値を演算することができる。

このとき、１つ以上の実施形態によれば、特性情報抽出部８３８は、式（２）を用いて加重値を演算することができる。

また、１つ以上の実施形態によれば、深さ更新部８４０は、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、深さ更新部８４０は、式（３）を用いてフィルタリングを実行することができる。

レンダリング部８４１は、更新された深さマップ８３９を用いて入力ビデオ８１０を３Ｄビデオにレンダリングする。

１つ以上の実施形態に係る深さ推定装置８３０は、上述したように、深さマップ初期化部８３７が初期深さ値を設定すれば、深さ更新部８４０が少なくとも１つの特性情報を用いて深さマップ８３９を更新することによって、入力ビデオ８１０に対する深さ値を推定することができる。

また、１つ以上の実施形態に係る深さ推定装置８３０は、入力ビデオ８１０をダウンスケーリングし、ダウンスケーリングされた入力映像に対する第２深さ値を推定した後に第２深さ値を初期深さ値として用いることによって、入力ビデオ８１０の深さ値を推定するための演算過程を簡素化することができる。

これに関し、１つ以上の実施形態に係る深さ推定装置８３０は、ダウンスケーリング部８３１と、第２特性情報抽出部８３３と、第２深さ設定部８４２と、アップスケーリング部８３６とをさらに備えることができる。

このとき、１つ以上の実施形態によれば、第２深さ設定部８４２は、第２深さマップ初期化部８３２と、第２深さ更新部８３５とを備えることができる。

ダウンスケーリング部８３１は、３Ｄビデオ変換装置８３０に入力される入力ビデオ８１０を予め設定された解像度にダウンスケーリングする。

例えば、入力ビデオ８１０の解像度が１０２４×７６８であれば、ダウンスケーリング部８３１は、入力ビデオ８１０を８００×６００の解像度にダウンスケーリングすることができる。

１つ以上の実施形態によれば、入力ビデオ８１０は、単眼映像とすることができる。

第２深さマップ初期化部８３２は、ダウンスケーリング部８３１によってダウンスケーリングされた入力映像８２０の少なくとも１つの画素に対する第２初期深さ値を設定して第２深さマップ８３４に格納する。

１つ以上の実施形態によれば、第２深さマップ初期化部８３２は、式（１）を用いて第２初期深さ値を設定することができる。

第２特性情報抽出部８３３は、ダウンスケーリングされた入力映像８２０に対する少なくとも１つの第２特性情報を抽出して第２深さ更新部８３５に提供する。

１つ以上の実施形態によれば、第２特性情報抽出部８３３が抽出する少なくとも１つの第２特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

第２深さ更新部８３５は、少なくとも１つの第２特性情報および第２初期深さ値に基づいてフィルタリングを実行してダウンスケーリングされた入力映像８２０に対する第２深さ値を演算し、第２深さ値を用いて第２深さマップ８３４を更新する。

１つ以上の実施形態によれば、第２特性情報抽出部８３３は、少なくとも１つの第２特性情報に基づいてダウンスケーリングされた入力映像８２０の少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の第２加重値を演算することができる。

このとき、１つ以上の実施形態によれば、第２特性情報抽出部８３３は、少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の特性情報の類似度に依存するように第２加重値を演算することができる。

このとき、１つ以上の実施形態によれば、第２特性情報抽出部８３３は、式（２）を用いて第２加重値を演算することができる。

また、１つ以上の実施形態によれば、第２深さ更新部８３５は、第２加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、第２深さ更新部８３５は、式（３）を用いてフィルタリングを実行することができる。

アップスケーリング部８３６は、更新された第２深さマップ８３４を入力ビデオ８１０に対する解像度に基づいてアップスケーリングして深さマップ初期化部８３７に提供する。

このとき、１つ以上の実施形態によれば、アップスケーリング部８３６は、少なくとも１つの第２特性情報および少なくとも１つの特性情報を用いて第２深さマップ８３４をアップスケーリングして深さマップ初期化部８３７に提供する。

アップスケーリング部８３６が更新された第２深さマップ８３４をアップスケーリングして提供すれば、深さマップ初期化部８３７は、アップスケーリングされた第２深さマップに格納された深さ値を、入力ビデオ８１０の少なくとも１つの画素に対する初期深さ値として設定して深さマップ８３９に格納する。

このように、ある程度フィルタリングがなされた深さ値を初期深さ値として設定することによって、深さ更新部８４０が入力ビデオ８１０に対する深さ値をフィルタリングし、深さマップ８３９を更新するために実行しなければならない演算の複雑度を減らすことができる。

結局、１つ以上の実施形態に係る３Ｄビデオ変換装置８３０は、入力ビデオ８１０をダウンスケーリングした後、初期深さマップを生成する複合的な接近方法を用いて最終的に深さマップを生成することによって、入力ビデオ８１０の深さを推定するための全般的な演算過程を減らすことができる。

ここで、図８に示された３Ｄビデオ変換装置８３０は、入力ビデオ８１０を１回ダウンスケーリングして深さマップを生成すると示されているが、本発明が必ずこれに限定されることはない。

すなわち、１つ以上の実施形態によれば、３Ｄビデオ変換装置８３０は、入力ビデオ８１０をｎ回ダウンスケーリングし、ｎ番目にダウンスケーリングされた入力映像から深さマップを生成してこれをアップスケーリングすることによって、ｎ−１番目にダウンスケーリングされた入力映像の深さマップを生成するための初期深さマップとして用いることができる。また、ｎ−１番目にダウンスケーリングされた入力映像の深さマップの場合にも、これをアップスケーリングしてｎ−２番目にダウンスケーリングされた入力映像の深さマップを生成するための初期深さマップとして用いることができる。

結局、１つ以上の実施形態に係る３Ｄビデオ変換装置８３０は、上述した過程を繰り返し実行して生成した深さマップを最終的に入力ビデオ８１０の深さマップを生成するための初期深さマップとして用いることで、入力ビデオ８１０の深さを推定するために実行しなければならない演算を簡素化することができる。

図９は、１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。

ステップＳ９１０では、入力映像に対する少なくとも１つの特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ９２０では、ステップＳ９１０で抽出した少なくとも１つの特性情報に基づいて入力映像に対する深さ値を設定する。

１つ以上の実施形態によれば、深さ推定方法は、図９に示された方法の他にも多様な実施形態に拡張することができる。したがって、以下では、図１０〜１２を参照しながら、深さ推定方法に対する本発明の多様な実施形態について詳察する。

図１０は、１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。

ステップＳ１０１０では、入力映像に対する少なくとも１つの特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ１０２０では、少なくとも１つの画素に対する初期深さ値を設定して深さマップに格納する。

１つ以上の実施形態によれば、ステップＳ１０２０では、式（１）を用いて初期深さ値を設定することができる。

ステップＳ１０３０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力映像に対する最終的な深さ値を演算し、深さ値を用いて深さマップを更新する。

１つ以上の実施形態によれば、ステップＳ１０１０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算するステップを含むことができる。

このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。

また、１つ以上の実施形態によれば、ステップＳ１０３０では、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、ステップＳ１０３０では、式（３）を用いてフィルタリングを実行することができる。

図１１は、１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。

ステップＳ１１１０では、入力映像の複数の画素を少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップに格納する。

１つ以上の実施形態によれば、ステップＳ１１１０では、式（１）を用いて初期深さ値を設定することができる。

このとき、（ｘ，ｙ）は、少なくとも１つのブロックに対する座標を意味する。

ステップＳ１１２０では、少なくとも１つのブロックに対する少なくとも１つの特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つのブロックに対する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ１１３０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して少なくとも１つのブロックに対する第２深さ値を演算し、第２深さ値を用いて深さマップを更新する。

１つ以上の実施形態によれば、ステップＳ１１２０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の加重値を演算するステップを含むことができる。

このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。

このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。

また、１つ以上の実施形態によれば、ステップＳ１１３０では、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、ステップＳ１１３０では、式（３）を用いてフィルタリングを実行することができる。

このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。

ステップＳ１１４０では、更新された深さマップを複数の画素単位にアップスケーリングする。

図１２は、１つ以上の実施形態に係る深さ推定方法を示すフローチャートである。

ステップＳ１２１０では、入力映像を予め設定された解像度でダウンスケーリングする。

ステップＳ１２２０では、ダウンスケーリングされた入力映像の少なくとも１つの画素に対する第２初期深さ値を設定して第２深さマップに格納する。

１つ以上の実施形態によれば、ステップＳ１２２０では、式（１）を用いて第２初期深さ値を設定することができる。

ステップＳ１２３０では、ダウンスケーリングされた入力映像に対する少なくとも１つの第２特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つの第２特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ１２４０では、少なくとも１つの第２特性情報および第２初期深さ値に基づいてフィルタリングを実行してダウンスケーリングされた入力映像に対する第２深さ値を演算し、第２深さ値を用いて第２深さマップを更新する。

１つ以上の実施形態によれば、ステップＳ１２３０では、少なくとも１つの第２特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の第２加重値を演算するステップを含むことができる。

このとき、１つ以上の実施形態によれば、第２加重値は式（２）を用いて演算すれることができる。

また、１つ以上の実施形態によれば、ステップＳ１２４０では、第２加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、ステップＳ１２４０では、式（３）を用いてフィルタリングを実行することができる。

ステップＳ１２５０では、更新された第２深さマップを入力映像に対する解像度に基づいてアップスケーリングする。

ステップＳ１２６０では、入力映像に対する少なくとも１つの特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ１２７０では、アップスケーリングされた第２深さマップに格納された深さ値を、入力映像の少なくとも１つの画素に対する初期深さ値として設定して深さマップに格納する。

ステップＳ１２８０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力映像に対する最終的な深さ値を演算し、深さ値を用いて深さマップを更新する。

１つ以上の実施形態によれば、ステップＳ１２６０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算するステップを含むことができる。

このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。

また、１つ以上の実施形態によれば、ステップＳ１２８０では、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、ステップＳ１２８０では、式（３）を用いてフィルタリングを実行することができる。

以上では、図９〜１２を参照しながら、深さ推定方法に対する本発明の多様な実施形態について詳察した。以下では、図１３〜１６を参照しながら、深さ推定方法を用いて入力映像を３Ｄビデオに変換する３Ｄビデオ変換方法に対する本発明の多様な実施形態について詳察する。

図１３は、１つ以上の実施形態に係る３Ｄ映像変換方法を示すフローチャートである。

ステップＳ１３１０では、入力映像に対する少なくとも１つの特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報であり得る。

ステップＳ１３２０では、ステップＳ１３１０で抽出した少なくとも１つの特性情報に基づいて入力映像に対する深さ値を設定する。

ステップＳ１３３０では、深さ値を用いて入力映像を３Ｄビデオにレンダリングする。

１つ以上の実施形態によれば、３Ｄビデオ変換方法は、図１３に示された方法の他にも多様な実施形態に拡張することができる。したがって、以下では、図１４〜１６を参照しながら、３Ｄビデオ変換方法に対する本発明の多様な実施形態について詳察する。

図１４は、１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。

ステップＳ１４１０では、入力映像に対する少なくとも１つの特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ１４２０では、入力映像の少なくとも１つの画素に対する初期深さ値を設定して深さマップに格納する。

１つ以上の実施形態によれば、ステップＳ１４２０では、式（１）を用いて初期深さ値を設定することができる。

ステップＳ１４３０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力映像に対する最終的な深さ値を演算し、深さ値を用いて深さマップを更新する。

１つ以上の実施形態によれば、ステップＳ１４１０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算するステップを含むことができる。

このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。

また、１つ以上の実施形態によれば、ステップＳ１４３０では、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、ステップＳ１４３０では、式（３）を用いてフィルタリングを実行することができる。

ステップＳ１４４０では、更新された深さマップを用いて入力映像を３Ｄビデオにレンダリングする。

図１５は、１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。

ステップＳ１５１０では、入力映像の複数の画素を少なくとも１つのブロックに区分した後、少なくとも１つのブロックに対する初期深さ値を設定して深さマップに格納する。

１つ以上の実施形態によれば、ステップＳ１５１０では、式（１）を用いて初期深さ値を設定することができる。

このとき、（ｘ，ｙ）は、少なくとも１つのブロックに対する座標を意味する。

ステップＳ１５２０では、少なくとも１つのブロックに対する少なくとも１つの特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つのブロックに対する少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ１５３０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して少なくとも１つのブロックに対する第２深さ値を演算し、第２深さ値を用いて深さマップを更新する。

１つ以上の実施形態によれば、ステップＳ１５２０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目ブロックとその注目ブロックに隣接する隣接ブロックの間の加重値を演算するステップを含むことができる。

このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。

このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。

また、１つ以上の実施形態によれば、ステップＳ１５３０では、加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、ステップＳ１５３０では、式（３）を用いてフィルタリングを実行することができる。

このとき、（ｘ，ｙ）は少なくとも１つの注目ブロックに対する座標を、（ｘ’，ｙ’）は少なくとも１つの注目ブロックに隣接した隣接ブロックの座標を意味する。

ステップＳ１５４０では、更新された深さマップを複数の画素単位でアップスケーリングする。

ステップＳ１５５０では、アップスケーリングされた深さマップを用いて入力映像を３Ｄビデオにレンダリングする。

図１６は、１つ以上の実施形態に係る３Ｄビデオ変換方法を示すフローチャートである。

ステップＳ１６１０では、入力映像を予め設定された解像度にダウンスケーリングする。

ステップＳ１６２０では、ダウンスケーリングされた入力映像の少なくとも１つの画素に対する第２初期深さ値を設定して第２深さマップに格納する。

１つ以上の実施形態によれば、ステップＳ１６２０では、式（１）を用いて第２初期深さ値を設定することができる。

ステップＳ１６３０では、ダウンスケーリングされた入力映像に対する少なくとも１つの第２特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つの第２特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ１６４０では、少なくとも１つの第２特性情報および第２初期深さ値に基づいてフィルタリングを実行してダウンスケーリングされた入力映像に対する第２深さ値を演算し、第２深さ値を用いて第２深さマップを更新する。

１つ以上の実施形態によれば、ステップＳ１６３０では、少なくとも１つの第２特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の第２加重値を演算するステップを含むことができる。

このとき、１つ以上の実施形態によれば、第２加重値は式（２）を用いて演算することができる。

また、１つ以上の実施形態によれば、ステップＳ１６４０では、第２加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、ステップＳ１６４０では、式（３）を用いてフィルタリングを実行することができる。

ステップＳ１６５０では、更新された第２深さマップを入力映像に対する解像度に基づいてアップスケーリングする。

ステップＳ１６６０では、入力映像に対する少なくとも１つの特性情報を抽出する。

１つ以上の実施形態によれば、少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報などであり得る。

ステップＳ１６７０では、アップスケーリングされた第２深さマップに格納された深さ値を、入力映像の少なくとも１つの画素に対する初期深さ値として設定して深さマップに格納する。

ステップＳ１６８０では、少なくとも１つの特性情報および初期深さ値に基づいてフィルタリングを実行して入力映像に対する最終的な深さ値を演算し、深さ値を用いて深さマップを更新する。

１つ以上の実施形態によれば、ステップＳ１６６０では、少なくとも１つの特性情報に基づいて少なくとも１つの注目画素とその注目画素に隣接する隣接画素の間の加重値を演算するステップを含むことができる。

このとき、１つ以上の実施形態によれば、加重値は式（２）を用いて演算することができる。

また、１つ以上の実施形態によれば、ステップＳ１６８０では、第２加重値を考慮してフィルタリングを実行することができる。

このとき、１つ以上の実施形態によれば、ステップＳ１６８０では、式（３）を用いてフィルタリングを実行することができる。

ステップＳ１６９０では、更新された深さマップを用いて入力映像を３Ｄビデオにレンダリングすることができる。

なお、本発明に係る深さ推定方法および３Ｄビデオ変換方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

１１０ 入力ビデオ
１２０ 深さ推定装置
１２１ 特性情報抽出部
１２２ 深さ設定部

Claims (63)

1. 入力映像から該入力映像の特徴を示す少なくとも１つの特性情報を抽出する特性情報抽出部と、
   前記特性情報抽出部で抽出された前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する深さ設定部と、
   を備えることを特徴とする深さ推定装置。
2. 前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、およびヒストグラム情報のうちの少なくとも１つであることを特徴とする請求項１に記載の深さ推定装置。
3. 前記深さ設定部は、
   前記入力映像内の異なる位置の部分を、互いに異なる初期深さ値に設定する深さマップ初期化部、
   を備えることを特徴とする請求項１に記載の深さ推定装置。
4. 前記深さ設定部は、
   前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記設定された初期深さ値を深さマップに格納する深さマップ初期化部と、
   前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新する深さ更新部と、
   を備えることを特徴とする請求項１に記載の深さ推定装置。
5. 前記特性情報抽出部は、
   前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算し、
   前記深さ更新部は、前記加重値に基づいて前記フィルタリングを実行することを特徴とする請求項４に記載の深さ推定装置。
6. 前記深さマップ初期化部は、
   前記少なくとも１つの特性情報に基づいて前記初期深さ値を設定し、前記初期深さ値を前記深さマップに格納することを特徴とする請求項４に記載の深さ推定装置。
7. 前記入力映像のカラー空間を変換したり、または
   前記入力映像が予め設定されたビデオストリームにエンコードされた映像の場合、前記入力映像をデコーディングして前記入力映像のモーションベクトルを抽出する前処理部、
   をさらに備えることを特徴とする請求項４に記載の深さ推定装置。
8. 前記入力映像を予め設定された解像度でダウンスケーリングするダウンスケーリング部と、
   前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納する第２深さマップ初期化部と、
   前記ダウンスケーリングされた入力映像から他の少なくとも１つの第２特性情報を抽出する第２特性情報抽出部と、
   前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新する第２深さ更新部と、
   前記入力映像の解像度に基づいて、前記更新された第２深さマップをアップスケーリングするアップスケーリング部と、
   をさらに備え、
   前記深さマップ初期化部は、前記アップスケーリングされた第２深さマップに格納された深さ値に基づいて前記初期深さ値を設定することを特徴とする請求項４に記載の深さ推定装置。
9. 前記深さ設定部は、
   前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さを設定し、前記初期深さ値を深さマップに格納する深さマップ初期化部と、
   前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新する深さ更新部と、
   を備えることを特徴とする請求項１に記載の深さ推定装置。
10. 前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするアップスケーリング部、
    をさらに備えることを特徴とする請求項９に記載の深さ推定装置。
11. 前記入力映像に対して予め存在して予め設定された深さ値は、知らされないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項１に記載の深さ推定装置。
12. 入力映像から該入力映像の特徴を示す少なくとも１つの特性情報を抽出する特性情報抽出部と、
    前記特性情報抽出部で抽出された前記少なくとも１つの特性情報に基づいて、前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定する深さ設定部と、
    前記入力映像の前記各部分に設定された深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするレンダリング部と、
    を備えることを特徴とする３Ｄビデオ変換装置。
13. 前記深さ設定部は、
    前記入力映像の異なる位置の部分を、互いに異なる初期深さ値に設定する深さマップ初期化部、
    を備えることを特徴とする請求項１２に記載の深さ推定装置。
14. 前記深さ設定部は、
    前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記少なくとも１つの画素の前記設定された初期深さを深さマップに格納する深さマップ初期化部と、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値を用いて前記深さマップを更新する深さ更新部と、
    を備え、
    前記レンダリング部は、前記更新された深さマップを用いて前記入力映像を前記３Ｄビデオにレンダリングすることを特徴とする請求項１２に記載の３Ｄビデオ変換装置。
15. 前記特性情報抽出部は、
    前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算し、
    前記深さ更新部は、
    前記加重値に基づいて前記フィルタリングを実行することを特徴とする請求項１４に記載の３Ｄビデオ変換装置。
16. 前記入力映像を予め設定された解像度でダウンスケーリングするダウンスケーリング部と、
    前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納する第２深さマップ初期化部と、
    前記ダウンスケーリングされた入力映像から少なくとも１つの第２特性情報を抽出する第２特性情報抽出部と、
    前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新する第２深さ更新部と、
    前記入力映像の解像度に基づいて前記更新された第２深さマップをアップスケーリングするアップスケーリング部と、
    をさらに備え、
    前記深さマップ初期化部は、前記アップスケーリングされた第２深さマップに格納された深さ値に基づいて前記初期深さ値を設定することを特徴とする請求項１４に記載の３Ｄビデオ変換装置。
17. 前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちのいずれか１つ以上であることを特徴とする請求項１２に記載の３Ｄビデオ変換装置。
18. 前記深さ設定部は、
    前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックに対する初期深さ値を設定し、前記初期深さ値を深さマップに格納する深さマップ初期化部と、
    前記初期深さ値に基づいてフィルタリングを実行して前記少なくとも１つのブロックに対する第２深さ値を演算し、前記第２深さ値を用いて前記深さマップを更新する深さ更新部と、
    を備えることを特徴とする請求項１２に記載の３Ｄビデオ変換装置。
19. 前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするアップスケーリング部、
    をさらに備え、
    前記レンダリング部は、前記アップスケーリングされた深さマップを用いて前記入力映像を３Ｄビデオにレンダリングすることを特徴とする請求項１８に記載の３Ｄビデオ変換装置。
20. 前記入力映像に対して予め存在して予め設定された深さ値は、知らされないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項１２に記載の３Ｄビデオ変換装置。
21. 入力映像から該入力映像の特徴を示す少なくとも１つの特性情報を抽出するステップと、
    前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定するステップと、
    を含むことを特徴とする深さ推定方法。
22. 前記入力映像の前記部分に対する深さ値を設定するステップは、
    前記入力映像内で前記入力映像の前記部分の位置特性に基づいて前記入力映像の前記部分の初期深さを設定し、互いに異なる位置特性を有する前記入力映像の部分が互いに異なる初期深さを有するように設定するステップ、
    をさらに含むことを特徴とする請求項２１に記載の深さ推定方法。
23. 前記深さを設定するステップは、
    前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新するステップと、
    を含むことを特徴とする請求項２１に記載の深さ推定方法。
24. 前記少なくとも１つの特性情報を抽出するステップは、
    前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算するステップ、
    を含み、
    前記深さマップを更新するステップは、
    前記加重値を考慮して前記フィルタリングを実行することを特徴とする請求項２３に記載の深さ推定方法。
25. 前記入力映像を予め設定された解像度でダウンスケーリングするステップと、
    前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納するステップと、
    前記ダウンスケーリングされた入力映像から少なくとも１つの第２特性情報を抽出するステップと、
    前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングすることによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新するステップと、
    前記入力映像の解像度に基づいて前記更新された第２深さマップをアップスケーリングするステップと、
    をさらに含み、
    前記少なくとも１つの画素の前記初期深さ値を設定するステップは、
    前記アップスケーリングされた第２深さマップに格納された深さに基づいて前記初期深さを設定するステップ、
    をさらに含むことを特徴とする請求項２３に記載の深さ推定方法。
26. 前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちのいずれか１つ以上であることを特徴とする請求項２１に記載の深さ推定方法。
27. 前記深さ値を設定するステップは、
    前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新するステップと、
    を含むことを特徴とする請求項１７に記載の深さ推定方法。
28. 前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするステップ、
    をさらに含むことを特徴とする請求項２７に記載の深さ推定方法。
29. 前記入力映像に対して予め存在して予め設定された深さ値は、知らされていないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項２１に記載の深さ推定方法。
30. 入力映像から、該入力映像の特徴を示す少なくとも１つの特性情報を抽出するステップと、
    前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定するステップと、
    前記入力映像の各部分の前記設定された深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするステップと、
    を含むことを特徴とする３Ｄビデオ変換方法。
31. 前記深さ値を設定する前記ステップは、
    前記入力映像内の異なる位置の部分を異なる初期深さ値に設定するステップ、
    をさらに含むことを特徴とする請求項３０に記載の３Ｄビデオ変換方法。
32. 前記深さ値を設定するステップは、
    前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記設定された初期深さ値を深さマップに格納するステップと、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記各部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新するステップと、
    を含み、
    前記入力映像を前記３Ｄビデオにレンダリングするステップは、前記更新された深さマップを用いて前記入力映像を前記３Ｄビデオにレンダリングすることを特徴とする請求項３０に記載の３Ｄビデオ変換方法。
33. 前記少なくとも１つの特性情報を抽出するステップは、
    前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算するステップ、
    を含み、
    前記深さマップを更新するステップは、前記加重値を考慮して前記フィルタリングを実行することを特徴とする請求項３２に記載の３Ｄビデオ変換方法。
34. 前記入力映像を予め設定された解像度でダウンスケーリングするステップと、
    前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納するステップと、
    前記ダウンスケーリングされた入力映像の少なくとも１つの第２特性情報を抽出するステップと、
    前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新するステップと、
    前記入力映像の解像度に基づいて前記更新された第２深さマップをアップスケーリングするステップと、
    をさらに含み、
    前記少なくとも１つの画素の前記初期深さ値を設定する前記ステップは、前記アップスケーリングされた第２深さマップに格納された深さ値に基づいて前記初期深さ値を設定することを特徴とする請求項３２に記載の３Ｄビデオ変換装置。
35. 前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちのいずれか１つ以上であることを特徴とする請求項３４に記載の３Ｄビデオ変換方法。
36. 前記深さ値を設定するステップは、
    前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新するステップと、
    を含むことを特徴とする請求項３４に記載の３Ｄビデオ変換方法。
37. 前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするステップ、
    をさらに含み、
    前記レンダリングするステップは、前記アップスケーリングされた深さマップを用いて前記入力映像を３Ｄビデオにレンダリングすることを特徴とする請求項３６に記載の３Ｄビデオ変換方法。
38. 前記入力映像に対して予め存在して予め設定された深さ値は、知らされていないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項３０に記載の３Ｄビデオ変換方法。
39. 入力映像から、該入力映像の特徴を示す少なくとも１つの特性情報を抽出する特性情報抽出部と、
    前記特性情報抽出部で抽出された前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行きに応じた深さ値を設定する深さ設定部と、
    を備えることを特徴とする深さ推定装置。
40. 前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちの少なくとも１つであることを特徴とする請求項３９に記載の深さ推定装置。
41. 前記深さ設定部は、
    前記入力映像内の異なる位置の部分を異なる初期深さ値に設定する深さマップ初期化部、
    をさらに備えることを特徴とする請求項３９に記載の深さ推定装置。
42. 前記深さ設定部は、
    前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記初期深さ値を深さマップに格納する深さマップ初期化部と、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新する深さ更新部と、
    を備えることを特徴とする請求項３９に記載の深さ推定装置。
43. 前記特性情報抽出部は、
    前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算し、
    前記深さ更新部は、
    前記加重値に基づいて前記フィルタリングを実行することを特徴とする請求項４２に記載の深さ推定装置。
44. 前記深さマップ初期化部は、
    前記少なくとも１つの特性情報に基づいて前記初期深さ値を設定し、前記初期深さ値を前記深さマップに格納することを特徴とする請求項４２に記載の深さ推定装置。
45. 前記入力映像のカラー空間を変更したり、または他の映像に相対的である前記入力映像に対するモーションベクトルを抽出する前処理部、
    をさらに備えることを特徴とする請求項４２に記載の深さ推定装置。
46. 前記入力映像を予め設定された解像度でダウンスケーリングするダウンスケーリング部と、
    前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さ値を設定し、前記第２初期深さ値を第２深さマップに格納する第２深さマップ初期化部と、
    前記ダウンスケーリングされた入力映像から少なくとも１つの第２特性情報を抽出する第２特性情報抽出部と、
    前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新する第２深さ更新部と、
    前記入力映像の解像度に基づいて前記更新された第２深さマップをアップスケーリングするアップスケーリング部と、
    をさらに含み、
    前記深さマップ初期化部は、前記アップスケーリングされた第２深さマップに格納された深さに基づいて前記初期深さ値を設定することを特徴とする請求項４２に記載の深さ推定装置。
47. 前記深さ設定部は、
    前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さ値を設定し、前記初期深さ値を深さマップに格納する深さマップ初期化部と、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新する深さ更新部と、
    を備えることを特徴とする請求項３９に記載の深さ推定装置。
48. 前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするアップスケーリング部、
    をさらに備えることを特徴とする請求項４７に記載の深さ推定装置。
49. 前記入力映像に対して予め存在して予め設定された深さ値は、知らされないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項３９に記載の深さ推定装置。
50. 前記入力映像の前記部分の前記設定された深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするレンダリング部、
    をさらに備えることを特徴とする請求項３９に記載の深さ推定装置。
51. 入力映像から少なくとも１つの特性情報を抽出するステップと、
    前記少なくとも１つの特性情報に基づいて前記入力映像を構成する部分に、各部分の奥行き方向の成分である深さ値を設定するステップと、
    を含むことを特徴とする深さ推定方法。
52. 前記入力映像の前記部分の前記深さ値を設定するステップは、
    前記入力映像内で前記入力映像の前記部分の位置特性に基づいて前記入力映像の前記部分の初期深さ値を設定し、互いに異なる位置特性を有する前記入力映像の部分が互いに異なる初期深さ値を有するように設定されるようにするステップ、
    をさらに含むことを特徴とする請求項５１に記載の深さ推定方法。
53. 前記深さ値を設定するステップは、
    前記入力映像の少なくとも１つの画素の初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記入力映像の前記部分の前記深さ値を演算し、前記演算された深さ値に基づいて前記深さマップを更新するステップと、
    を含むことを特徴とする請求項５１に記載の深さ推定方法。
54. 前記少なくとも１つの特性情報を抽出するステップは、
    前記少なくとも１つの特性情報に基づいて前記少なくとも１つの注目画素と該注目画素に隣接する隣接画素の間の加重値を演算するステップと、
    前記深さマップを更新するステップは、
    前記加重値に基づいて前記フィルタリングを実行することを特徴とする請求項５３に記載の深さ推定方法。
55. 前記入力映像を予め設定された解像度でダウンスケーリングするステップと、
    前記ダウンスケーリングされた入力映像の少なくとも１つの画素の第２初期深さを設定し、前記第２初期深さ値を第２深さマップに格納するステップと、
    前記ダウンスケーリングされた入力映像から少なくとも１つの第２特性情報を抽出するステップと、
    前記少なくとも１つの第２特性情報および前記第２初期深さ値に基づいてフィルタリングを実行することによって、前記ダウンスケーリングされた入力映像の第２深さ値を演算し、前記第２深さ値を用いて前記第２深さマップを更新するステップと、
    前記更新された第２深さマップを前記入力映像の解像度に基づいてアップスケーリングするステップと、
    をさらに含み、
    少なくとも１つの画素の前記初期深さ値を設定する前記ステップは、
    前記アップスケーリングされた第２深さマップに格納された深さ値に基づいて前記初期深さ値を設定することを特徴とする請求項５３に記載の深さ推定方法。
56. 前記少なくとも１つの特性情報は、境界情報、カラー情報、輝度情報、モーション情報、またはヒストグラム情報のうちのいずれか１つ以上であることを特徴とする請求項５１に記載の深さ推定装置。
57. 前記深さ値を設定する前記ステップは、
    前記入力映像の複数の画素を少なくとも１つのブロックにそれぞれグルーピングすることによって、前記入力映像の前記少なくとも１つのブロックの初期深さ値を設定し、前記初期深さ値を深さマップに格納するステップと、
    前記初期深さ値に基づいてフィルタリングを実行することによって、前記少なくとも１つのブロックの第２深さ値を演算し、前記第２深さ値に基づいて前記深さマップを更新するステップと、
    を含むことを特徴とする請求項５１に記載の深さ推定方法。
58. 前記複数の画素に基づいて前記更新された深さマップをアップスケーリングするステップ、
    をさらに含むことを特徴とする請求項５７に記載の深さ推定方法。
59. 前記入力映像に対して予め存在して予め設定された深さ値は、知らされないか存在せず、前記深さ設定部が初期に前記少なくとも１つの特性情報のみに基づいて前記入力映像の前記部分の前記深さ値を設定することを特徴とする請求項５１に記載の深さ推定方法。
60. 前記入力映像の前記部分の前記設定された深さ値を用いて前記入力映像を３Ｄビデオにレンダリングするステップ、
    をさらに含むことを特徴とする請求項５１に記載の深さ推定方法。
61. 請求項２１の方法を少なくとも１つの処理装置が実行するように制御するコンピュータ読み取り可能なコードを記録したコンピュータ読み取り可能な記録媒体。
62. 請求項３０の方法を少なくとも１つの処理装置が実行するように制御するコンピュータ読み取り可能なコードを記録したコンピュータ読み取り可能な記録媒体。
63. 請求項５１の方法を少なくとも１つの処理装置が実行するように制御するコンピュータ読み取り可能なコードを記録したコンピュータ読み取り可能な記録媒体。

Images