JP2000261828A - 立体映像生成方法 - Google Patents

Abstract

(57)【要約】 【課題】撮影条件、画像内の各被写体像の運動、被写体
像の変形など未知パラメータが複数存在する２次元映像
信号を、３次元映像信号に変換する場合、簡単な手段に
より被写体像の奥行き情報を的確に得る。 【解決手段】２次元映像信号を背景領域像とそれ以外の
領域の像の信号に分離し、２次元映像の動きベクトルと
前記背景領域像の動きベクトルとから、背景領域像の代
表動きベクトルを算出し、前記２次元映像の動きベクト
ルから前記代表動きベクトルを減算することで相対動き
ベクトルを算出し、前記相対動きベクトルを用いて前記
２次元映像信号の映像の奥行き情報を推定し、この推定
により得られた奥行き情報を立体映像信号を生成するた
めに用いるものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、２次元映像信号
を用いて立体映像信号を再生する立体映像生成方法に関
するもので、特に２次元映像から奥行きを推定して立体
映像を得る場合、奥行き推定の情報となる動きベクトル
の算出方法に注目したものである。

【０００２】

【従来の技術】現在民生用の立体ディスプレイの開発が
進む一方で民生用の立体映像用ソフトの量は少なく、立
体映像を表示するためには新規に立体映像を制作する必
要がある。

【０００３】そこで従来の2次元映像の資産を活かす方
法として、従来の2次元映像を立体映像に変換する方法
が提案されている。2次元映像を立体映像に変換する立
体映像生成装置については、例えば特開平８−１４９５
１７号に開示されている。この文献に示された構成によ
ると、現フレームの映像を一方の眼に呈示し、所定フレ
ーム遅延した映像を他方の眼に呈示する方法である。2
次元動映像上で被写体が水平方向に移動している場合、
この移動分が視差となり立体的に知覚される。しかし、
この方法では、被写体の水平方向の移動量のみしか奥行
きに反映されない。またフィールド遅延により視差情報
を生成しているために、複数の被写体が互いに異なる方
向で移動しているときその被写体の奥行きを再現できな
い。

【０００４】

【発明が解決しようとする課題】上記したように、従来
の立体映像生成方法であると、複数の被写体が互いに異
なる方向へ移動しているような像の場合、その被写体の
奥行きを再現できないと言う問題がある。

【０００５】そこでこの発明は、撮影条件、画像内の各
被写体像の運動、被写体像の変形など未知パラメータが
複数存在する２次元映像信号を、３次元映像信号に変換
する場合、簡単な手段により被写体像の奥行き情報を的
確に得ることができるようにした立体映像生成方法を提
供することを目的とするものである。

【０００６】

【課題を解決するための手段】この発明は、上記の目的
を達成するために、２次元映像信号から立体映像信号を
生成する方法において、２次元映像信号を用いて映像の
動きベクトルを検出し、前記２次元映像信号を背景領域
像とそれ以外の領域の像の信号に分割し、前記動きベク
トルと前記背景領域像の信号とから、背景領域像の代表
動きベクトルを算出し、前記動きベクトルから前記代表
動きベクトルを減算することで相対動きベクトルを算出
し、前記相対動きベクトルを用いて前記２次元映像信号
の映像の奥行き情報を推定し、この推定により得られた
奥行き情報を立体映像信号を生成するために用いること
を特徴とする。

【０００７】上記の手段により奥行き情報の算出が容易
でしかも正確に得られるようになり、良好な立体映像を
生成することができる。

【０００８】

【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して説明する。

【０００９】図１はこの発明の一実施の形態であり、２
次元映像信号は、２次元映像信号復号部１０２に入力さ
れる。２次元映像信号復号部１０２は、例えば圧縮のた
めに符号化されている映像信号を復号する復号部であ
る。

【００１０】２次元映像信号復号部１０２で復号された
復号映像信号は、動きベクトル検出部１０３、背景領域
抽出部１０４、視差画像生成部１０８に入力される。動
きベクトル検出部１０３は、例えばＭＰＥＧ方式で行わ
れるように基準フレームを一定の大きさの矩形状のマク
ロブロックに分割し、前後フレームの対応ブロックとの
比較を行うブロックマッチングの手法により行われる。

【００１１】背景領域抽出部１０４は、背景領域像の信
号を抽出するもので、ここで抽出された背景領域像の信
号は、背景ベクトル算出部１０５に入力される。この背
景ベクトル算出部１０５には、先の動きベクトル検出部
１０３からの動きベクトルも供給されている。これによ
り背景動きベクトル算出部１０５においては、同一方向
の動きベクトルを検出し、信頼度の低い動きベクトルを
除去し、背景ベクトルの平均を算出する。

【００１２】ここで得られた背景ベクトルは、相対動き
ベクトル算出部１０６に入力される。この相対動きベク
トル算出部１０６では、被写体像の動きベクトルから背
景動きベクトルを減算することにより、被写体像の相対
動きベクトルを算出することができる。この相対動きベ
クトルは、奥行き推定部１０７に入力される。

【００１３】奥行き推定部１０７では、相対動きベクト
ルに基づき被写体の奥行きを推定し、奥行き情報を得
る。つまり、相対動きベクトルのスカラー量を得て、ス
カラー量の大きい方を手前、小さい方を奥として推定
し、この推定情報を得る。

【００１４】この奥行き情報は、視差画像生成部１０８
に入力される。視差画像生成部１０８では、奥行き情報
に基づいて復号された２次元映像信号を立体映像信号に
変換する。視差画像生成部１０８では、例えば右眼用映
像信号としては、２次元映像信号復号部１０３からの２
次元映像信号をそのまま用いる。そして２次元映像信号
から、左眼用映像信号を生成する場合に、推定された奥
行き情報に従って画素を水平方向へずらすことにより、
視差情報を含む画像を生成する。このように生成された
左眼用映像信号と右眼用映像信号とは表示部１０９に与
えられる。

【００１５】図２は、上記の装置の各部の動作を模式的
に示したものである。２０１は、復号された２次元映像
信号、２０２は、動きベクトルの検出の様子、２０３は
背景領域像の抽出の様子を示している。さらに２０４
は、背景ベクトルの算出、２０５は相対動きベクトルの
算出、２０６は奥行き推定の様子を示している。また２
０７、２０８は左眼用映像信号、右眼用映像信号の様子
を示している。

【００１６】以下、各部の構成を更に詳しく説明する。

【００１７】図３、図４、図５は、動きベクトル検出部
１０３の動作を説明するための図である。動きベクトル
を求める方法としては種々の方法が可能である。

【００１８】図３に示すように、例えば、ＭＰＥＧ方式
で行われるように基準フレーム３０１を一定の大きさの
矩形状のマクロブロックに分割し、前後フレーム３０２
のブロックとの比較を行うものである。これは、ブロッ
クマッチング手法と言われる。即ち、基準フレーム３０
１に対して前方あるいは後方のフレーム３０２のブロッ
ク間の画素レベルの比較を行うものである。対応するブ
ロック位置がずれている場合には、動きがあったことで
ある。

【００１９】図４の例は、基準フレーム４０１と前方或
いは後方フレーム４０２の対応ブロックの例にあるよう
に、回転や拡大、縮小などを考慮したアフィン変換を取
り入れた例である。つまり、ブロックの切り出しを行う
場合に被写体像の変形に応じて切り出しを行い、対応ブ
ロック間の画素レベルの比較を行う。これにより正確に
動きベクトルを検出できる。

【００２０】図５は、被写体像の形状によりその輪郭付
近での動きベクトルの精度が低下するので、この精度を
向上するための方法を示している。そこで被写体像の輪
郭を検出し、輪郭形状とマクロブロック形状とを一致さ
せて、ブロック間の画素レベルの比較を行い動きベクト
ルを検出する。

【００２１】求める動きベクトルの画素間隔に付いて
は、全画素毎にマッチングを行い、全画素の動きベクト
ルを求めてもよいし、一定間隔でマッチングを行い代表
の動きベクトルを求め、その間の画素は内挿演算により
求めるようにしてもよい。さらには、画像内を被写体像
の形状に沿って領域分割を行い、その領域の代表動きベ
クトルを求め、領域内の画素は代表動きベクトルで置き
換えてもよい。

【００２２】次に背景領域抽出部１０４について説明す
る。

【００２３】背景領域像を抽出する第１の方法として
は、２次元映像のもつコントラストを利用する。一般に
２次元映像を撮影するときは、被写体が手前にあり、そ
の被写体にピントを合わせて撮影することが多い。この
とき被写体の背景部分はピントがずれているため、背景
は被写体に比べてコントラストが低い。また空気透視の
効果により背景はコントラストが低い場合が多い。そこ
で、コントラストが低い領域を背景像として抽出する。

【００２４】図６（Ａ）には、背景領域抽出部１０４の
構成例を示し、図６（Ｂ）にはその動作説明図を示して
いる。２次元映像は、コントラスト算出部６０１におい
て例えば次のようにコントラストが計算される。このコ
ントラストは、対象画素とこの画素に隣接する８つの画
素との間の輝度値の差分を取り、その総和を対象とする
画素の輝度値で除算して正規化する。閾値処理部６０２
では、求めたコントラストに対して閾値処理を施し、コ
ントラストが閾値以下の領域を背景領域であるものとし
て背景領域情報を出力する。

【００２５】図７（Ａ），図７（Ｂ）は、背景領域を画
面の上方或いは画面の周囲（位置情報に基づき）に自動
的に設定する例を示している。このような場合は、映像
を見ながらユーザがマニュアルにより設定するようにし
てもよい。

【００２６】図８（Ａ）には，画素の持つ色情報を利用
して背景を特定する方法の例を示している。背景領域抽
出部１０４には、背景領域平均特徴量算出部１００１が
設けられている。この背景領域平均特徴量算出部１００
１は、背景領域の平均特徴量を算出している。例えば２
次元座標が上方一定範囲内に位置する画素の色情報Ｒ，
Ｇ，Ｂのそれぞれの平均値（Ｒａｖｅ，Ｇａｖｅ，Ｂａ
ｖｅ）を算出する。この算出結果は、領域統合部１００
２に入力される。領域統合部１００２では、平均値（Ｒ
ａｖｅ，Ｇａｖｅ，Ｂａｖｅ）を用いて、背景領域を特
定する。各画素のＲ，Ｇ，Ｂ値と平均値（Ｒａｖｅ，Ｇ
ａｖｅ，Ｂａｖｅ）を比較し、その差分の自乗和が閾値
以下の画素を背景領域として選択する。ここで求めた背
景領域から再度平均値（Ｒａｖｅ，Ｇａｖｅ，Ｂａｖ
ｅ）を求め、再度背景領域の選択を行ってもよい。つま
り反復して背景領域の選択処理を行ってもよい。

【００２７】また平均値特徴量としては、色情報のみを
用いるのではなく、２次元座標位置情報を組み合わせて
用いてもよい。

【００２８】背景領域の抽出方法として、３つの方法を
用いたがいずれを用いても良いし、組み合わせて用いて
もよい。

【００２９】次に背景ベクトル算出部１０５の動作につ
いて説明する。

【００３０】図９（Ａ）には、背景ベクトル算出部１０
５の構成例を示している。誤推定動きベクトル除去部１
２０１と、背景ベクトル平均演算部１２０２で構成され
ている。誤推定動きベクトル除去部１２０１では、動き
ベクトル情報と背景領域情報とを用いて、誤動きベクト
ルを除去され、修正された動きベクトルを得る。この動
きベクトルと背景領域情報は、背景ベクトル平均演算部
１２０２に入力される。これにより背景ベクトル平均演
算部１２０２は、奥行き情報を生成する。つまり背景ベ
クトル算出部１０５は、背景領域上の動きベクトルの平
均を算出し、これを背景領域での代表ベクトル（背景ベ
クトル）として出力する。

【００３１】背景領域に関しては、コントラストが低い
可能性が高いことから、マッチングにより動きベクトル
を求めた場合には背景領域での動きベクトルは誤推定が
多いことが予想される。このために動きベクトルの信頼
度を参照して信頼度が低いものは背景ベクトルの演算に
使用しないようにする。例えば動きベクトルの空間的な
相関を取り、相関の低いものは誤推定の動きベクトルと
して背景ベクトルの演算には使用しない。これを実現す
る回路が誤推定動きベクトル除去部１２０１である。

【００３２】図９（Ｂ）の映像１２０３には背景領域の
動きベクトルが示されており、誤動きベクトルが含まれ
た様子を示している。次の映像１２０４では誤動きベク
トルが除去された様子を示している。これにより背景ベ
クトルが得られる。

【００３３】図１０は、相対動きベクトル算出部１０６
の動作を説明するために示した図である。相対動きベク
トル算出部１０６では動きベクトル検出部１０３で求め
られた動きベクトル１３０１から背景動きベクトル１３
０２を減算することで相対動きベクトル１３０３を得て
いる。

【００３４】次に奥行き推定部１０７の動作について説
明する。

【００３５】図１１（Ａ）に示すように，奥行き推定部
１０７は、スカラー演算部１４０１と奥行き変換部１４
０２により構成される。スカラー演算部１４０１は、相
対動きベクトルのスカラー量を算出する。次にこのスカ
ラー量は、奥行き変換部１４０２に入力されて奥行き情
報に変換される。このときの特性は、例えば図１４
（Ｂ）に示すような特性である。ここではスカラー量が
大きいほど奥行きは手前であると判断する。

【００３６】図１２は奥行き推定部１０７の他の例であ
る。ここでは、相対動きベクトルと背景領域内動きベク
トルの信頼度情報を用いるようにしている。背景領域内
動きベクトルの信頼度情報は、背景領域の信頼度の高い
動きベクトルであり、例えば、背景ベクトル算出部１０
５において求められたものである。例えば、背景ベクト
ル算出部１０５において背景ベクトルを得るが、この奥
行き情報を再度用いて、誤推定動きベクトルの除去を再
度行い、背景ベクトル平均演算を行い更に信頼度の高い
背景ベクトルを得る。相対動きベクトルを用いてスカラ
ー演算を行い、次にスカラー量を奥行き変換部１４０２
に供給するまでは、図１１に示した例と同じである。

【００３７】この図１２の例では、奥行き変換部１４０
２で得られた１次奥行き情報が、背景領域奥行き平均算
出部１６０１に入力される。この背景領域奥行き平均算
出部１６０１には、背景領域内動きベクトルの信頼度情
報も入力されている。ここで背景領域奥行き平均算出部
１６０１は、背景領域の奥行きの平均値を求めて、奥行
き修正部１６０２に供給する。平均値を求める領域は、
背景領域であるという信頼度の高い領域である。奥行き
修正部１６０２では、信頼度の低い背景領域の部分に対
しては、背景領域の奥行きの平均値（背景領域奥行き平
均算出部１６０１からの値）に置き換える。その他は、
奥行き変換部１４０２からの１次奥行き情報を選択して
出力する。

【００３８】なお、この発明はこの方法に限定される必
要はない。背景領域としての信頼度の低い部分に対し
て、背景領域の奥行きの平均値を割り当てるのではな
く、隣接する信頼度の高い相対動きベクトルにより求め
た奥行き情報から、線形補間により信頼度の低いと見ら
れる背景領域の奥行き情報を生成してもよい。

【００３９】図１３には、更に別の奥行き推定部１０７
の構成例を示している。相対動きベクトルは、スカラー
演算部１４０１、ベクトル誤推定判定部１７０２に入力
される。また２次元映像信号が領域分割部１７０１に入
力される。

【００４０】領域分割部１７０１では、２次元映像信号
の色、位置情報を用いて領域分割を行う。領域分割の一
例は、図１３（Ｂ）に示すように例えば同一色で近接領
域を分割し、かつ同一色の中でコントラストの相違で分
割する。ベクトル誤推定判定部１７０２では、例えば相
対動きベクトルの近傍画素間の相関を取り、その相関が
高いか低いかに応じて相対動きベクトルの信頼度とす
る。この際、領域分割形状にしたがって同一領域内での
み相関をとることにより、被写体の境界付近での動きベ
クトルの信頼度が誤って低く判定されるのを防ぐ。相関
が低いベクトルの場合には、誤り推定と判定される。こ
の誤り推定判定結果は、誤推定部分補間演算部１７０３
に入力される。誤推定部分補間演算部１７０３は、奥行
き変換部１４０２からの奥行き情報と、領域分割部１７
０１からの分割領域の情報と、先の誤り推定判定結果が
入力される。

【００４１】この誤推定部分補間演算部１７０３では、
誤り推定と判定された部分の奥行きを、誤推定部分補間
演算部１７０３で同一領域内の奥行きからの補間演算に
よって求める。そしてこの補間演算で求めた奥行き情報
を奥行き修正部１７０４を介して出力するようにしてい
る。これにより、信頼度の低い相対動きベクトルの存在
する領域に関しては、誤推定部分補間演算部１７０３で
求めた奥行き情報に置き換えられて、最終的な奥行き情
報が出力される。

【００４２】なお上記の方法では、領域分割部１７０１
により領域分割を行っているが、予め領域分割情報が既
知である場合には、それを用いても良い。

【００４３】次に視差画像生成部１０８の動作について
説明する。

【００４４】ここでは例えば推定された奥行き情報に従
って、画素を水平方向へずらすことにより視差を持つ画
像を生成する。図１４には、視差画像生成部１０８の動
作原理を示している。１９０１は２次元映像であり、１
９０２が推定された奥行き情報である。この奥行き情報
は、領域１９０５が手前、領域１９０６が奥であると判
定している。この奥行き情報に従って生成しが画像が視
差映像１９０３である。領域１９０５の映像が視差相当
分水平方向へ移動している。

【００４５】上記のように、撮影条件や被写体に未知の
パラメータが多く含まれる２次元映像から奥行きを推定
する場合、２次元映像から各領域あるいは各画素の動き
ベクトルを求め、各動きベクトルから背景領域の代表動
きベクトルを減算した相対動きベクトルをもとに、各領
域あるいは各画素の奥行きを推定する。そして推定した
奥行き情報に従って視差映像を生成する。

【００４６】

【発明の効果】以上説明したようにこの発明によれば、
撮影条件、画像内の各被写体像の運動、被写体像の変形
など未知パラメータが複数存在する２次元映像信号を、
３次元映像信号に変換する場合、簡単な手段により被写
体像の奥行き情報を的確に得ることができる。この結
果、簡易な演算により２次元映像信号から立体映像信号
を生成することが可能となる。

【図面の簡単な説明】

【図１】 この発明の一実施の形態を説明するために示
した立体映像生成装置の構成図。

【図２】 図２の装置の動作を説明するために示した
図。

【図３】 動きベクトルの検出例を示す図。

【図４】 同じく動きベクトルの他の検出例を示す図。

【図５】 同じく動きベクトルの更に他の検出例を示す
図。

【図６】 背景領域抽出部の具体的構成例と動作説明
図。

【図７】 同じく背景領域抽出部の他の具体的構成例と
動作説明図。

【図８】 同じく背景領域抽出部の更に他の具体的構成
例と動作説明図。

【図９】 背景ベクトル算出部の具体的構成例と動作説
明図。

【図１０】 相対動きベクトルの検出例を示す図。

【図１１】 奥行き推定部の具体的構成例と動作説明
図。

【図１２】 奥行き推定部の他の具体的構成例を示す
図。

【図１３】 奥行き推定部の更に他の具体的構成例を示
す図。

【図１４】 視差画像生成部の動作原理を説明するため
に示した図。

【符号の説明】

１０２…２次元映像信号復号部、１０３…動きベクトル
検出部、１０４…背景領域抽出部、１０５…背景ベクト
ル算出部、１０６…相対動きベクトル算出部、１０７…
奥行き推定部、１０８…視差画像生成部、１０９…表示
部。

Claims (4)

【特許請求の範囲】
1. 【請求項1】 ２次元映像信号から立体映像信号を生成
   する方法において、 前記２次元映像信号を用いて映像の動きベクトルを検出
   し、 前記２次元映像信号を背景領域像とそれ以外の領域の像
   の信号に分離し、 前記動きベクトルと前記背景領域像の信号とから、背景
   領域像の代表動きベクトルを算出し、 前記動きベクトルから前記代表動きベクトルを減算する
   ことで相対動きベクトルを算出し、 前記相対動きベクトルを用いて前記２次元映像信号の映
   像の奥行き情報を推定し、この推定により得られた奥行
   き情報を立体映像信号を生成するために用いることを特
   徴とする立体映像生成方法。
2. 【請求項２】 前記背景領域像の信号を分離する場合、
   前記２次元映像信号のコントラスト、あるいは２次元座
   標の少なくともいずれか１つの要素を用いて分離閾値を
   得ることを特徴とする請求項１記載の立体映像生成方
   法。
3. 【請求項３】 前記相対動きベクトルから前記奥行き情
   報を推定する方法は、相対動きベクトルの大きさが大き
   いほど、奥行き方向の手前であると判断する方法である
   ことを特徴とする請求項１記載の立体映像生成方法。
4. 【請求項４】 前記相対動きベクトルから前記奥行きを
   推定する方法は、前記相対動きベクトルを得た画像領域
   の周辺の画像領域における他の相対動きベクトルから推
   定された奥行き情報で補間する方法も含むことを特徴と
   する請求項１記載の立体映像生成方法。