JP2014014034A - 視差画像生成装置及び視差画像生成方法 - Google Patents

Abstract

【課題】対象画像とは異なる視点に対応する視差画像を順次に生成する場合にも、補間した画素の画素値が時間方向の視差画像間で異なることを低減することができる視差画像生成装置及び視差画像生成方法を提供することである。
【解決手段】実施形態の視差画像生成装置は、視点画像生成部と、判定部と、補間部と、を有する。また、実施形態の視差画像生成装置は、対象画像とは異なる視点に対応する視差画像を生成する。視点画像生成部は、対象画像に対して設定される任意の視点の任意視点画像を、対象画像から生成する。判定部は、対象画像の視点では陰となっていた陰面領域であるか否かを、任意視点画像において判定する。補間部は、対象画像及び任意視点画像の少なくともいずれか、並びに既に生成された視差画像を用いて、任意視点画像の陰面領域を補間する。
【選択図】図１

Description

本発明の実施形態は、視差画像生成装置及び視差画像生成方法に関する。

民生用の立体表示デバイスの開発が活発化しており、例えば２次元画像を元にして、３次元画像の表示を行う場合がある。このような場合、元の２次元画像（原画像）とは異なる視点の画像を生成する必要がある。新たな視点の画像を生成するには、原画像で物体の陰になって見えない部分に対し、画素の補間などを行う必要がある。

Ｌｉｍ ｅｔ ａｌ．"Ｂｉ−Ｌａｙｅｒ Ｉｎｐａｉｎｔｉｎｇ ｆｏｒ Ｎｏｖｅｌ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ"，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．１１１３−１１１６，２０１１． Ｌｅｅ ｅｔ ａｌ．"Ｔｅｍｐｏｒａｌｌｙ Ｃｏｎｓｉｓｔｅｎｔ Ｈｏｌｅ Ｆｉｌｌｉｎｇ ｆｏｒ Ｖｉｅｗ Ｅｘｔｒａｐｏｌａｔｉｏｎ"，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１，２０１１．

しかしながら、対象画像とは異なる視点に対応する視差画像を順次に生成する場合、補間した画素の画素値が時間方向の視差画像間で大きく異なってしまうことがある。

実施形態の視差画像生成装置は、視点画像生成部と、判定部と、補間部と、を有する。また、実施形態の視差画像生成装置は、対象画像とは異なる視点に対応する視差画像を生成する。視点画像生成部は、対象画像に対して設定される任意の視点の任意視点画像を、対象画像から生成する。判定部は、対象画像の視点では陰となっていた陰面領域であるか否かを、任意視点画像において判定する。補間部は、対象画像及び任意視点画像の少なくともいずれか、並びに既に生成された視差画像を用いて、任意視点画像の陰面領域を補間する。

第１の実施形態にかかる視差画像生成装置の構成を例示するブロック図。 第１の実施形態の補間部の詳細な構成を示すブロック図。 視点画像生成部が入力画像の画素を任意視点画像の画素に割当てる過程を示す模式図。 第１の実施形態における補間部の動作を例示するフローチャート。 第１の実施形態の第１の補間画像生成部の動作を示すフローチャート。 画素ブロックの設定の例を示す図。 第２の実施形態の補間部の詳細な構成を示すブロック図。 第２の実施形態の第１の補間画像生成部の動作を示すフローチャート。 参照ブロックの設定の一例を示す図。 第３の実施形態の補間部の詳細な構成を示すブロック図。

以下に添付図面を参照して、実施形態にかかる視差画像生成装置について説明する。各実施形態にかかる視差画像生成装置は、予め定められた視点の入力画像（対象画像）を受入れ、受入れた対象画像とは異なる視点の視差画像を生成する。対象画像は、視差の変位量を表現する視差ベクトルをそれぞれつけられた複数の視差画像であってもよい。視差画像生成装置は、例えば、視聴者が裸眼あるいは立体眼鏡で立体映像を視聴することが可能なＴＶやＰＣ（Personal Computer）等に用いられる。

（第１の実施形態）
図１は、第１の実施形態にかかる視差画像生成装置の構成を例示するブロック図である。第１の実施形態にかかる視差画像生成装置は、視点画像生成部１０１、判定部１０２及び補間部１０３−１を有する。

視差画像生成装置は、例えば入力画像及び視差ベクトル情報（後述）を受入れる。入力画像は、視差画像生成装置が視点の異なる視差画像を生成する処理を行う対象となる対象画像である。

視差画像生成装置は、例えばパーソナルコンピュータ等を用いるコンピュータシステムにおいて実現される。コンピュータシステムは、ＣＰＵ、プログラムメモリ及びワークメモリなどを備える。視差画像生成装置を構成する各ブロックは、プログラムメモリに記憶されたプログラムに従って、ＣＰＵが動作することにより機能する。各ブロックの一部又は全部は、ハードウェアで構成されてもよい。

入力画像及び視差ベクトル情報は、コンピュータシステムに内蔵又は接続される記憶媒体などから、ＣＰＵによって読み出される。また、入力画像は、ネットワークを介して視差画像生成装置へ入力されてもよい。また、視差画像生成装置は、入力画像から視差ベクトル情報を生成するユニットを具備してもよい。

視点画像生成部１０１は、入力画像及び視差ベクトルを受入れる。視点画像生成部１０１は、視差ベクトルに基づく任意の位置を視点とする任意視点画像を入力画像から生成する。図３は、視点画像生成部１０１が視差ベクトルを用いて入力画像の画素（画素値）を、任意視点画像の画素に割当てる過程を示す模式図である。図３に示すように、視点画像生成部１０１は、視点ｖ，時刻ｔの視差画像の座標（Ｘｉ，Ｙｉ）に位置する画素ｉの画素値を、任意視点画像中の座標（Ｘｉ’，Ｙｉ’）に位置する画素ｉ’に割り当てる。このように、任意視点画像は、視点画像生成部１０１が入力画像の各画素の画素値を、対応する視差ベクトルが示す位置に割り当てることにより生成される。任意視点画像生成部１０１は、生成した任意視点画像を判定部１０２及び補間部１０３−１に対して出力する。

判定部１０２は、任意視点画像１０１から入力される任意視点画像において、画素値が割り当てられている領域であるか、画素値が割り当てられていない領域であるかを判定する。判定部１０２は、判定結果を示す陰面マップを作成し、例えばメモリ（図示せず）などに格納する。

陰面マップｏｃｃｌｕｄｅ（ｉ）は、任意視点画像において位置ベクトルｉの画素に画素値が割り当てられていればｏｃｃｌｕｄｅ（ｉ）＝ＤＯＮＥに設定され、位置ベクトルｉの画素に画素値が割り当てられていなければｏｃｃｌｕｄｅ（ｉ）＝ＮＯＴ−ＤＯＮＥに設定される。判定部１０２は、格納した陰面マップを補間部１０３−１に対して出力する。

以下、任意視点画像において、入力画像では陰となっていたために画素値が割り当てられていない領域を、陰面領域と称する。なお、任意視点画像においては、画素値が割当てられている画素であっても、画素値の信頼度が低い画素は、陰面領域に含まれる画素であるとみなしてもよい。例えば、入力画像における物と物の陰との境界付近の画素ように、陰になっていなくても画素値が物の影響を受けてしまう可能性がある画素は、画素値が周囲の画素に比べて大きく異なることがある。この場合、画素値の信頼度が低い画素は、陰面領域に含まれる画素であるとみなす。

補間部１０３−１は、視点画像生成部１０１から任意視点画像を受入れ、判定部１０２から陰面マップを受入れる。また、補間部１０３−１は、入力画像も受入れる。補間部１０３−１は、陰面マップによって特定される画素値が割り当てられていない陰面領域の画素に対して、任意視点画像を補間するように画素値を割り当てる。

次に、補間部１０３−１について、図２を用いて詳細に説明する。図２は、第１の実施形態の補間部１０３−１の詳細な構成を例示するブロック図である。図２に示すように、補間部１０３−１は、第１の補間画像生成部２０１、第２の補間画像生成部２０２及び混合部２０３を有する。

第１の補間画像生成部２０１は、入力画像、任意視点画像及び陰面マップに基づいて、第１の補間画像を生成する。第２の補間画像生成部２０２は、既に陰面の補間が完了している異なる時刻の視差画像（補間結果画像）、任意視点画像及び陰面マップに基づいて、第２の補間画像を生成する。

混合部２０３は、第１の補間画像生成部２０１から第１の補間画像を受入れ、第２の補間画像生成部２０２から第２の補間画像を受入れる。混合部２０３は、第１の補間画像及び第２の補間画像の各画素値を、下式１に示すように重み付き加算する混合を行うことにより、最終的な補間結果画像を生成して出力する。

上式１において、Ｐ（ｖ’，ｔ，ｉ）は、視点ｖ’，時刻ｔの視差画像を生成したときの画素ｉの画素値である。また、Ｐ１（ｖ’，ｔ，ｉ）及びＰ２（ｖ’，ｔ，ｉ）は、それぞれ、視点ｖ’，時刻ｔの視差画像を生成したときの第１の補間画像及び第２の補間画像の画素ｉの画素値である。また、λは、第１の補間画像及び第２の補間画像の混合比率を決定する係数である。例えば、λを大きくすると第２の補間画像の混合比率が高くなり、補間結果画像の画素値は第２の補間画像の画素値により近くなる。つまり、補間した画素の画素値が時間方向の視差画像間で大きく異なることを低減することができる。

一方、λを小さくすると、第１の補間画像の混合比率が高くなり、現在時刻の入力画像の画素値をより考慮した補間結果が得られる。このλの値は、予め定められた定数であってもよいし、ユーザによって指定される値であってもよい。そして、混合部２０３は、全ての画素ｉに対して処理を行うことにより、第１の補間画像と第２の補間画像とを混合し、最終的な補間結果画像を生成する。

なお、補間部１０３−１は、陰面領域であると判定された画素（ｏｃｃｌｕｄｅ（ｉ）＝ＮＯＴ−ＤＯＮＥの画素）に対してのみ上式１による混合処理を適用するように構成されてもよい。この場合には、混合部２０３も陰面マップを受入れる。また、補間部１０３−１は、画素ｉの位置の画素値の混合だけに限らず、例えば下式２に示すように、画素ｉの近傍の画素を重みづけして加算するような処理を行うように構成されてもよい。なお、下式２において、Ｎはｉの近傍画素を表す集合であり、ｗ（ｉ，ｊ）は画素ｊを加算する場合の重みである。Ｗ（ｉ，ｊ）は、例えば、ガウス関数のような画素ｉに近い位置に存在する画素ほど重みを大きくするようなものであってもよい。

次に、第１の実施形態における補間部１０３−１の動作手順について説明する。図４は、第１の実施形態における補間部１０３−１の動作を例示するフローチャートである。図４に示すように、第１の補間画像生成部２０１は、陰面マップｏｃｃｌｕｄｅ（ｉ）の値を参照し、画素値が割り当てられていない位置ｉの画素全てに、入力画像又は非陰面領域の画素値に基づいて画素値を割り当てることにより、第１の補間画像を生成する（Ｓ２０１）。

第２の補間画像生成部２０２は、陰面マップｏｃｃｌｕｄｅ（ｉ）の値を参照し、画素値が割り当てられていない位置の画素全てに、既に補間が完了した時刻の異なる補間結果画像の画素値に基づいて画素値を割り当てることにより、第２の補間画像を生成する（Ｓ２０２）。

混合部２０３は、位置ベクトルｉによって示される画素を処理対象画素として順次に選択する（Ｓ２０３）。そして、混合部２０３は、陰面マップｏｃｃｌｕｄｅ（ｉ）の値を参照し、判定部１０２によって陰面領域と判定された画素であるか否かを判定する（Ｓ２０４）。

混合部２０３は、当該画素に画素値が割り当てられていれば（Ｓ２０４：Ｎｏ）、処理対象画素の位置ｉを変更し、Ｓ２０３の処理に戻る。また、混合部２０３は、当該画素に画素値が割り当てられていなければ（Ｓ２０４：Ｙｅｓ）、上式１に基づいて第１の補間画像及び第２の補間画像の画素値を混合する（Ｓ２０５）。

その後、補間部１０３−１は、ｏｃｃｌｕｄｅ（ｉ）＝ＤＯＮＥに設定し、処理対象画素を次の画素へと変更する（Ｓ２０６）。

次に、第１の補間画像生成部２０１の動作について、図５及び図６を参照して詳細に説明する。図５は、第１の補間画像生成部２０１の動作を示すフローチャートである。図５に示すように、第１の補間画像生成部２０１は、位置ベクトルｉによって示される画素を処理対象画素として選択する（Ｓ３０１）。

補間画像生成部２０１は、位置ｉの画素についてｏｃｃｌｕｄｅ（ｉ）＝ＮＯＴ−ＤＯＮＥに設定されているか否かを判定する（Ｓ３０２）。すなわち、第１の補間画像生成部２０１は、位置ｉの画素が画素値を割り当てられていない陰面領域に属するか否かを判定する。

第１の補間画像生成部２０１は、位置ｉの画素について陰面マップｏｃｃｌｕｄｅ（ｉ）＝ＤＯＮＥに設定されており、当該画素に画素値が割り当てられていれば（Ｓ３０２：Ｎｏ）、ラスタスキャン順に従って、処理対象画素の位置ｉを変更し、Ｓ３０１の処理に戻る。また、第１の補間画像生成部２０１は、処理対象画素の位置ｉが画像終端に達した場合には処理を終了する。

一方、第１の補間画像生成部２０１は、位置ｉの画素について陰面マップがｏｃｃｌｕｄｅ（ｉ）＝ＮＯＴ−ＤＯＮＥに設定されており、当該画素に画素値が割り当てられていなければ（Ｓ３０２：Ｙｅｓ）、当該画素を処理対象画素として設定する。第１の補間画像生成部２０１は、処理対象画素に対し、下式３により画素ブロックＢ１に含まれる画素の画素値に基づいて陰面（陰面画素）を補間する。

ここで、α（ｊ）は、ｏｃｃｌｕｄｅ（ｊ）＝ＤＯＮＥのときに１、ｏｃｃｌｕｄｅ（ｊ）＝ＮＯＴ−ＤＯＮＥのときに０をとる変数である。また、Ｂ１（ｊ）は画素ブロックＢ１の位置ｊの画素の画素値を表す。なお画素ブロックＢ１は、画素ｉを中心とするｍ×ｎ画素の画素ブロックである（ｍ，ｎはｍ＞＝１，ｎ＞＝１かつｍ×ｎ＞２の整数）。

図６は、画素ブロックの設定の例を示す図である。図６においては、破線で示すように処理対象画素を中心とする３×３画素を画素ブロックＢ１と設定している。上式３は、図６の破線内に含まれる、非陰面画素又は補間済み画素の画素値の平均値によって、処理対象画素の画素値を補間することを意味する。なお、画素ブロックの設定においては、上記のみに限定されることはなく、例えば、ブロック内に非陰面領域である画素が含まれる割合が高くなるように画素ブロックを設定してもよい。

また、第１の補間画像生成部２０１は、画素値の補間についても、上式３のみに限定されることはなく、例えばガウシアンフィルタや、バイラテラルフィルタ等のように、処理対象画素ｉとその近傍画素ｊとの空間的距離あるいは色空間内での距離が近い画素ほど重きを置いて重み付き平均化するような処理を行ってもよい。また、第１の補間画像生成部２０１は、画像解析や奥行センサ等により画像中の各画素に対する奥行情報が得られている場合には、より遠景側の背景を表す画素に対応する画素ほど重きを置くような処理を行ってもよい。

その後、第１の補間画像生成部２０１は、ｏｃｃｌｕｄｅ（ｉ）＝ＤＯＮＥと設定し、処理対象画素を次の画素へと移動させる（Ｓ３０４）。

次に、第２の補間画像生成部２０２の動作について説明する。第２の補間画像生成部２０２と、第１の補間画像生成部２０１との違いは、画素ブロックＢ１の設定方法のみが異なる。第１補間画像生成部２０１においては、画素ブロックを入力画像又は任意視点画像の非陰面領域に設定していたが、第２の補間画像生成部２０２では、画素ブロックを既に補間が完了した異なる時刻の補間結果画像内に設定する（画素ブロックＢ２とする）。例えば、第２の補間画像生成部２０２は、処理対象画素と同じ位置の補間結果画像内の画素を中心とする画素ブロックを画素ブロックＢ２と設定する。また、第２の補間画像生成部２０２は、動き探索の技術を用い、処理対象画素に補間結果画像と任意視点画像間での画素の動きをオフセットとして加えた位置を中心として、補間結果画像内に画素ブロックＢ２を設定してもよい。

そして、第２の補間画像生成部２０２は、第１の補間画像生成部２０１と同様に、上式３に従い、画素ブロックＢ２内のｏｃｃｌｕｄｅ（ｊ）＝ＤＯＮＥの画素値の平均値により、位置ｉの画素値を補間する。ここで、第２の補間画像生成部２０２は、上式３のＢ１（ｊ）の代わりに、画素ブロックＢ２内の位置ｊの画素値を表すＢ２（ｊ）を用いる。なお、補間結果画像においては、すでに補間が完了した画像であるため、すべての画素が非陰面領域（ｏｃｃｌｕｄｅ（ｊ）＝ＤＯＮＥ）となる。

また、第２の補間画像生成部２０２は、上式３による平均化処理を行わず、処理対象画素に対応する補間結果画像内画素の画素値をそのまま割り当てるような処理を行ってもよい。第２の補間画像生成部２０２のその他の動作は、第１の補間画像生成部２０１と同様である。

このように、第１の実施形態にかかる視差画像生成装置は、入力画像又は任意視点画像の非陰面領域を用いて補間した第１の補間画像と、既に補間が完了した異なる時刻の補間結果画像を用いて陰面領域を補間した第２の補間画像の画素値を重み付け加算するので、補間した画素の画素値が時間方向の視差画像間で大きく異ることを低減することができる。そして、より自然な視差画像を提供することを可能にする。

（第２の実施形態）
第１の実施形態では、第１の補間画像生成部２０１及び第２の補間画像生成部２０２は、それぞれ陰面領域に属する画素の近傍に位置する画素の画素値の線形和により陰面領域の画素値を補間し、第１の補間画像及び第２の補間画像を重み付け加算して最終的な補間結果画像を生成した。一方、第２の実施形態では、陰面領域に属する画素の近傍に位置する画素の線形和により陰面領域の画素値を補間するのではなく、陰面領域の補間に適した画素値を非陰面領域から探索し、その画素値を陰面領域に割り当てることによって陰面を補間する。また、混合部２０３に対する重み係数を、陰面領域の補間に用いる画素値を探索した結果得られる類似度に基づいて調整する点も、第１の実施形態とは異なっている。

以下、第２の実施形態にかかる視差画像生成装置について説明する。図７は、第２の実施形態の補間部１０３−２の詳細な構成を示すブロック図である。なお、第２の実施形態にかかる視差画像生成装置全体の構成は、図１に示した第１の実施形態と同じである。

第２の実施形態にかかる視差画像生成装置の補間部１０３−２は、第１の補間画像生成部３０１、第２の補間画像生成部３０２、混合部３０３及び重み係数算出部３０４を有する。なお、第１の補間画像生成部３０１、第２の補間画像生成部３０２、混合部３０３は、それぞれ第１の実施形態における第１の補間画像生成部２０１、第２の補間画像生成部２０２及び混合部２０３とは異なる動作をする。

図８は、第１の補間画像生成部３０１の動作を示すフローチャートである。第１の補間画像生成部３０１は、任意視点画像において位置ベクトルｉで指定される画素に対して処理を行う（Ｓ４０１）。

第１の補間画像生成部３０１は、位置ベクトルがｉである画素の陰面マップｏｃｃｌｕｄｅ（ｉ）の値を参照し、位置ｉの画素に画素値が割り当てられているか否かを判定する（Ｓ４０２）。第１の補間画像生成部３０１は、位置ｉの画素に画素値が割り当てられていれば（Ｓ４０２：Ｎｏ）、次の画素に処理を移す。

一方、第１の補間画像生成部３０１は、位置ｉの画素に画素値が割り当てられていないならば（Ｓ４０２：Ｙｅｓ）、位置ｉを含む画素ブロック（参照ブロック）と類似するブロック（第１の類似ブロック）を、テンプレートマッチングにより探索範囲Ｗ１の中から探索する（Ｓ４０３）。

図９は、参照ブロックの設定の一例を示す図である。各正方形はそれぞれ画素を表しており、図９では位置ｉの画素を中心とする５×５画素の画素ブロックを参照ブロックとして設定している。なお、参照ブロックの設定については図９に示した例に限定されることはなく、例えば参照ブロック内に非陰面領域である画素が含まれる割合が高くなるように画素ブロックが設定されてもよい。また、画素ブロックの大きさについても５×５に限定されることはなく、例えばｍ×ｎ（ｍ，ｎはｍ＞＝１，ｎ＞＝１かつｍ×ｎ＞２の整数）画素のブロックサイズとなるように設定されてもよい。

以下、第１の類似ブロックの探索について説明する。第１の補間画像生成部３０１は、受入れた入力画像又は任意視点画像内に、所定の探索領域Ｗ１を設定する。探索領域Ｗ１の設定については、例えば任意視点画像内の画素ｉの近傍に設定すればよい。また、探索領域Ｗ１は、画素ｉに隣接する非陰面領域の画素と対応する入力画像中の画素近傍に設定されてもよい。

第１の補間画像生成部３０１は、探索範囲Ｗ１を設定後、Ｗ１内に参照ブロックと同じサイズの候補対象ブロックを設定する。候補対象ブロックは画素値が割り当てられていない画素を含まないものとする。また、候補対象ブロックは、複数設定されてもよい。

第１の補間画像生成部３０１は、探索領域Ｗ１内に設定された候補対象ブロックから、注目画素ｉについて設定された参照ブロックと最もよく類似する対象ブロックを探索して選択する。例えば、参照ブロックと対象ブロックとの類似度は差分二乗和基準に基づいて下式４により得られる。

ここで、Ｒ（ｊ），Ｔ（ｊ）はそれぞれ参照ブロックの位置ｊにおける画素値、候補対象ブロックの位置ｊにおける画素値である。また、Ｃは定数、εは０の除算を防ぐための定数である。なお、差分二乗和の算出を行う場合には、ｏｃｃｌｕｄｅ（ｊ）＝ＤＯＮＥである画素のみを考慮している。例えば、図９に示した例では、参照ブロック及び候補対象ブロックにおいて、図中の白色の画素位置の画素同士から差分二乗和を算出する。第１の補間画像生成部３０１は、このようにして得られる類似度を最大化する候補対象ブロックを探索することにより、第１の類似ブロックを探索する。なお、第１の補間画像生成部３０１は、下式５に示す差分絶対値和基準に基づいて類似度を算出してもよい。

また、類似度の定義については、差分二乗和又は差分絶対値和の逆数のみに限定されるものではなく、各ブロック間の画素値の差が小さくなるほど、類似度が高くなるように定義されればよい。また、探索範囲Ｗ１は、入力画像又は任意視点画像内の非陰面領域だけでなく、異なる時刻の入力画像に設定されてもよい。

その後、第１の補間画像生成部３０１は、第１の類似ブロック内をラスタスキャン順に操作する位置ベクトルｊを設定する（Ｓ４０４）。

次に、第１の補間画像生成部３０１は、当該位置ベクトルｊの画素について陰面マップがｏｃｃｌｕｄｅ（ｊ）＝ＮＯＴ−ＤＯＮＥに設定されているか否かを判定する（Ｓ４０５）。

第１の補間画像生成部３０１は、位置ベクトルｊの画素について陰面マップがｏｃｃｌｕｄｅ（ｊ）＝ＮＯＴ−ＤＯＮＥに設定されていれば（Ｓ４０５：Ｙｅｓ）、第１の類似ブロックにおける当該位置ベクトルｊの画素の画素値を、参照ブロックにおける位置ベクトルｊの画素に割り当てる（Ｓ４０６）。

さらに第１の補間画像生成部３０１は、当該位置ベクトルｊの画素について、陰面マップをｏｃｃｌｕｄｅ（ｊ）＝ＤＯＮＥに変更する（Ｓ４０７）。

一方、第１の補間画像生成部３０１は、位置ベクトルｊの画素について、陰面マップがｏｃｃｌｕｄｅ（ｊ）＝ＤＯＮＥに設定されていれば（Ｓ４０５：Ｎｏ）、ラスタスキャン順序に従って、位置ベクトルｊを変更して以降の処理を繰り返す。第１の補間画像生成部３０１は、位置ベクトルｊが参照ブロック内を全て走査し終えたら、処理対象画素の位置ベクトルｉをラスタスキャン順に従って変更しＳ４０１に戻り、以降の処理が繰り返される。第１の補間画像生成部３０１は、全ての画素ｉを走査し終えたら、処理を終了する。

このように、第１の補間画像生成部３０１は、陰面領域の補間に適した画素値を探索範囲Ｗ１から探索し、その画素値を陰面領域に割り当てることにより陰面を補間する。そして、第１の補間画像生成部３０１は、第１の補間画像、及び第１の補間画像生成時のテンプレートマッチングの場合に算出した陰面領域の各画素に対する第１の類似度を出力する。

次に、第２の補間画像生成部３０２について説明する。第２の補間画像生成部３０２の動作は第１の補間画像生成部３０１と同じであり、その動作は図８のフローチャートで示される。ここで、第２の補間画像生成部３０２は、探索範囲Ｗ１を入力画像又は任意視点画像でなく、既に補間が完了している異なる時刻の補間結果画像に設定する（探索範囲Ｗ２とする）点が第１の補間画像生成部３０１とは異なる。第２の補間画像生成部３０２の他の動作については、第１の補間画像生成部３０１と同じである。

第２の補間画像生成部３０２は、第２の補間画像、及び第２の補間画像生成時のテンプレートマッチングの場合に算出した、陰面領域の各画素に対する第２の類似度を出力する。

重み係数算出部３０４は、第１の補間画像生成部３０１及び第２の補間画像生成部３０２が出力した第１の類似度及び第２の類似度に基づいて、下式６により陰面領域の画素毎に重み係数を算出する。

ここで、Ｓ１及びＳ２はそれぞれ、画素ｉにおける第１の類似度及び第２の類似度である。また、εは０の除算を防ぐための定数である。なお、重み係数の算出方法については、上記のみに限らず、類似度の高い画素ほどその混合比率が高くなるように設定されればよい。重み係数算出部３０４は、算出した重み係数を混合部３０３に対して出力する。

混合部３０３は、重み係数算出部３０４が出力した重み係数に基づいて、第１の補間画像の画素値及び第２の補間画像の画素値を下式７によって混合する。

このように、第２の実施形態にかかる視差画像生成装置は、陰面領域に属する画素の近傍に位置する画素の線形和により陰面領域の画素値を補間するのではなく、陰面領域の補間に適した画素値をある探索範囲内から探索し、その画素値を陰面領域に割り当てることにより陰面を補間するため、第１の補間画像及び第２の補間画像生成において、ぼけを低減した陰面領域の画素補間を行うことが可能となる。

また、第２の実施形態にかかる視差画像生成装置は、混合部３０３が画素値を重み付け加算するときに、重み係数算出部３０４が第１の類似度及び第２の類似度に基づいて算出した重み係数を用いている。従って、第２の実施形態にかかる視差画像生成装置は、ふたつの補間画像において、信頼度の高い結果に重きを置いて混合することができるようになるので、補間した画素の画素値が時間方向の視差画像間で大きく異なることを低減することができる。また、第２の実施形態にかかる視差画像生成装置により、自然な陰面領域の画素補間が可能となる。

（第３の実施形態）
第２の実施形態では、第１の補間画像生成部３０１及び第２の補間画像生成部３０２によりそれぞれ補間画像を生成しておき、各処理で出力された類似度に基づいてそれらを重み付き加算して最終的な補間結果画像を生成した。第３の実施形態では、第２の実施形態における第１の補間画像生成部３０１及び第２の補間画像生成部３０２の処理が統合され、重み係数算出部３０４及び混合部３０３が存在しない点が第２の実施形態と異なる。

図１０は、第３の実施形態の補間部１０３−３の詳細な構成を示すブロック図である。図１０に示すように、第３の実施形態における補間部１０３−３は、探索部４０１及び割当部４０２を有する。

探索部４０１及び割当部４０２は図８に示した第１の補間画像生成部及び第２の補間画像生成部と同様の動作をする。ただし、第３の実施形態における補間部１０３−３では、探索部４０１が、第２の実施形態における探索範囲Ｗ１及びＷ２の範囲を合わせて探索する点が第２の実施形態と異なる。

探索部４０１は、Ｗ１及びＷ２の範囲内から、最も類似度の高い類似ブロックを探索し、割当部４０２へと出力する。割当部４０２は、図８に示したＳ４０４〜Ｓ４０７の動作のように、陰面領域の画素に類似ブロックの画素値を割り当てる。

第３の実施形態では、探索部４０１が探索範囲Ｗ１及びＷ２の両方から類似ブロックを探索し、探索した類似ブロックの画素値に従って、陰面領域の画素に画素値を割り当てていく。従って、第１の補間画像及び第２の補間画像を保存するメモリなどが不要であるとともに、それらの重み付け加算に係る処理を省くことができる。なお、探索部４０１の探索範囲については、例えばＷ２だけを探索するように設定されてもよい。その場合は、補間した陰面領域の画素値変動のみを考慮した陰面領域の補間を行うことができる。

このように、上述した実施形態の視差画像生成装置は、対象画像及び任意視点画像の少なくともいずれか、並びに既に生成された視差画像を用いて、任意視点画像の陰面領域を補間するので、対象画像とは異なる視点に対応する視差画像を順次に生成する場合にも、補間した画素の画素値が時間方向の視差画像間で異なることを低減することができる。

なお、視差画像生成装置において、画像を走査する順序として、ラスタスキャン順を一例として挙げたが、画像を走査する順序はそれに限られることはなく、その他画像の全ての領域を走査する順序で画像を走査してもよい。また、入力画像の視点は２つ以上でもよく、生成する視差画像の視点も３つ以上であってもよい。

また、本発明のいくつかの実施形態を複数の組み合わせによって説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１ 視点画像生成部
１０２ 判定部
１０３−１、１０３−２、１０３−３ 補間部
２０１ 第１の補間画像生成部
２０２ 第２の補間画像生成部
２０３ 混合部
３０１ 第１の補間画像生成部
３０２ 第２の補間画像生成部
３０３ 混合部
３０４ 重み係数算出部
４０１ 探索部
４０２ 割当部

Claims (6)

1. 対象画像とは異なる視点に対応する視差画像を生成する視差画像生成装置において、
   前記対象画像に対して設定される任意の視点の任意視点画像を、前記対象画像から生成する視点画像生成部と、
   前記対象画像の視点では陰となっていた陰面領域であるか否かを、前記任意視点画像において判定する判定部と、
   前記対象画像及び前記任意視点画像の少なくともいずれか、並びに既に生成された前記視差画像を用いて、前記任意視点画像の前記陰面領域を補間する補間部と、
   を有する視差画像生成装置。
2. 前記補間部は、
   前記対象画像及び前記任意視点画像の少なくともいずれかの画素値を用いて前記任意視点画像の前記陰面領域に対する第１の補間画像を生成する第１の補間画像生成部と、
   既に生成された前記視差画像の画素値を用いて前記任意視点画像の前記陰面領域に対する第２の補間画像を生成する第２の補間画像生成部と、
   を有し、
   前記第１の補間画像及び前記第２の補間画像に基づいて前記任意視点画像の前記陰面領域を補間する
   請求項１に記載の視差画像生成装置。
3. 前記補間部は、
   前記第１の補間画像と前記第２の補間画像とを混合する混合部
   を有し、
   前記混合部が混合した結果によって前記任意視点画像の前記陰面領域を補間する
   請求項２に記載の視差画像生成装置。
4. 前記第１の補間画像生成部は、
   前記陰面領域に属する注目画素を含む参照ブロックに類似する第１の類似ブロックを、前記対象画像及び前記任意視点画像の少なくともいずれかから探索し、探索結果に基づいて前記第１の補間画像を生成し、
   前記第２の補間画像生成部は、
   前記陰面領域に属する注目画素を含む参照ブロックに類似する第２の類似ブロックを、既に生成された前記視差画像から探索し、探索結果に基づいて前記第２の補間画像を生成し、
   前記補間部は、
   前記参照ブロック内の画素と前記第１の補間画像内の画素との類似度、及び前記参照ブロック内の画素と前記第２の補間画像内の画素との類似度に応じて、重み係数を算出する重み係数算出部
   をさらに有し、
   前記混合部は、
   前記重み係数に応じて前記第１の補間画像と前記第２の補間画像との混合比を変更する 請求項３に記載の視差画像生成装置。
5. 前記補間部は、
   前記陰面領域に属する注目画素を含む参照ブロックに類似する類似ブロックを、前記対象画像、前記任意視点画像、及び既に生成された前記視差画像から探索する探索部
   を有し、
   前記探索部が探索した類似ブロックの画素値に基づいて前記任意視点画像の前記陰面領域を補間する
   請求項１に記載の視差画像生成装置。
6. 対象画像とは異なる視点に対応する視差画像を生成する視差画像生成方法において、
   前記対象画像に対して設定される任意の視点の任意視点画像を、前記対象画像から生成する工程と、
   前記対象画像の視点では陰となっていた陰面領域であるか否かを、前記任意視点画像において判定する工程と、
   前記対象画像及び前記任意視点画像の少なくともいずれか、並びに既に生成された前記視差画像を用いて、前記任意視点画像の前記陰面領域を補間する工程と、
   を含む視差画像生成方法。

Images