JP2013005289A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】２次元画像を容易に３次元画像に変換できるようにする。
【解決手段】奥行画像生成部２１は、２次元画像からなる入力画像より奥行画像を生成する。LPF２２は、奥行画像にLPF処理によりぼかし処理を加える。シフト量計算部２３は、ぼかし処理された奥行画像の各画素について、奥行値により設定されるシフト量を計算し、シフト量バッファ２４にバッファリングさせる。右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、各画素について設定されているシフト量に基づいて、入力画像の各画素について、シフト量だけ右方向、および左方向にシフトした位置の画素値を射影することでシフトし、その結果を右眼用画像バッファ２６−１、および左眼用画像バッファ２６−２にバッファリングさせる。本技術は、３次元画像変換装置に適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、簡易な方法で、２次元画像からなる入力画像から、３次元立体視を実現できる左眼用画像、および右眼用画像からなるステレオ画像の生成を実現できるようにした画像処理装置および方法、並びにプログラムに関する。

２次元画像から３次元画像へと変換する処理(2Dto3D変換処理)が一般に存在する。

2Dto3D変換処理は、２次元画像内における被写体の奥行値を画素単位で求め、その奥行値に基づいて設定される画素数分だけ、２次元画像の各画素を左および右にシフトさせて、右眼用画像および左眼用画像からなる３次元画像を作成する処理が知られている。

上記の画素をシフトさせて３次元画像を生成する方式は、一般的には、奥行画像から生成した視差量だけ注目画素を左右方向にシフトさせる方式が用いられる（非特許文献１）。

2Dto3Dコンテンツ変換技術(2010年映像情報メディア学会年次大会)：東芝：三田雄志

この画素シフト方式を用いると原理的には正しい動作することが確認されている。

しかしながら、射影される画素が存在しない領域(陰面領域)が原理的に発生してしまう。また、この陰面領域を埋めるために、例えば、インペインティングなどの処理が後段で必要となるため、処理コストが大きくなってしまう。

本技術はこのような状況に鑑みてなされたものであり、特に、簡易な手法で２次元画像からなる入力画像から３次元立体視可能な右眼用画像、および左眼用画像からなるステレオ画像を適切に生成できるようにするものである。

本技術の一側面の画像処理装置は、２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部と、前記奥行画像をぼかし処理するぼかし処理部と、前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部と、前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部とを含む。

前記ぼかし処理部は、LPF処理するLPFとすることができる。

前記ぼかし処理部には、前記奥行画像の画像サイズを縮小する縮小部と、前記縮小部により縮小された前記奥行画像の画像サイズを元の画像サイズに拡大する拡大部とを含ませるようにすることができ、前記ぼかし処理部には、前記奥行画像の画像サイズを前記縮小部により縮小させ、前記拡大部により元のサイズに拡大させることでぼかし処理させるようにすることができる。

前記ぼかし処理部には、前記奥行画像よりエッジを検出するエッジ検出部と、前記エッジ検出部により検出されたエッジと、その近傍の領域をLPF処理するLPFとを含ませるようにすることができ、前記ぼかし処理部には、前記奥行画像のエッジを前記エッジ検出部により検出させ、前記LPFにより検出されたエッジと、その近傍の領域をLPF処理させることでぼかし処理させるようにすることができる。

本発明の一側面の画像処理方法は、２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部における、前記２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成ステップと、前記奥行画像をぼかし処理するぼかし処理部における、前記奥行画像をぼかし処理するぼかし処理ステップと、前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部における、前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算ステップと、前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部における、前記入力画像信号における各画素について、前記シフト量計算ステップの処理により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフトステップとを含む。

本発明の一側面のプログラムは、２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部と、前記奥行画像をぼかし処理するぼかし処理部と、前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部と、前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、3次元画像信号における右眼用画像または左眼用画像を生成するシフト部とを含む画像処理装置を制御するコンピュータに前記奥行画像生成部における、２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成ステップと、前記ぼかし処理部における、前記奥行画像をぼかし処理するぼかし処理ステップと、前記シフト量計算部における、前記ぼかし処理ステップの処理によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算ステップと、前記シフト部における、前記入力画像信号における各画素について、前記シフト量計算ステップの処理により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部とを含む処理を実行させる。

本技術の一側面においては、２次元画像信号からなる入力画像信号より、奥行画像が生成され、前記奥行画像がぼかし処理され、ぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量が計算され、前記入力画像信号における各画素について、計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素が射影されることで、３次元画像信号における右眼用画像または左眼用画像が生成される。

本技術の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本技術によれば、２次元の入力画像より３次元立体視可能な左眼用画像、および右眼用画像を簡易な手法で生成することが可能となる。

本技術である画像処理装置を適用した画像変換装置の第１の実施の形態の構成例を示すブロック図である。 図１の画像変換装置による画像変換処理を説明するフローチャートである。 入力画像の例を説明する図である。 図３の入力画像に対する奥行画像の例を説明する図である。 図４の奥行画像にLPFを掛けたときの画像を説明する図である。 画素のシフト方法を説明するフローチャートである。 左眼用画像および右眼用画像を説明する図である。 陰面領域が発生する例を説明する図である。 陰面領域が発生する例を説明する図である。 飛地領域が発生する例を説明する図である。 飛地領域が発生する例を説明する図である。 陰面領域および飛地領域が発生しない例を説明する図である。 飛地領域が発生しないときの条件を説明する図である。 奥行画像を縮小してから拡大するようにした画像変換装置の第２の実施の形態の構成例を示す図である。 図１４の画像変換装置による画像変換処理を説明するフローチャートである。 奥行画像にエッジ検出処理を施し、検出されたエッジと、その近傍にLPFを掛けるようにした画像変換装置の第３の実施の形態の構成例を示す図である。 図１６の画像変換装置による画像変換処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行なう。
１．第１の実施の形態
２．第２の実施の形態（LPFに代えて縮小部および拡大部とする例）
３．第３の実施の形態（エッジ検出部を設けて、エッジと、その近傍の領域のみにLPF処理を施す例）

＜１．第１の実施の形態＞
［画像変換装置の構成例］
図１は、２次元画像からなる入力画像から３次元立体視が可能となる左眼用画像、および右眼用画像からなるステレオ画像を生成する画像変換装置の構成例を示している。

画像変換装置１１は、奥行画像生成部２１、LPF２２、シフト量計算部２３、シフト量バッファ２４、右眼用画像シフト部２５−１、左眼用画像シフト部２５−２、右眼用画像バッファ２６−１、および左眼用画像バッファ２６−２を備えている。奥行画像生成部２１は、２次元画像からなる入力画像より、入力画像内の被写体までの距離、すなわち、奥行情報を、画素単位で求める。そして、奥行画像生成部２１は、画素単位で奥行情報に対応する画素値を設定することで奥行画像を生成し、LPF２２に供給する。LPF（Low Pass Filter）２２は、奥行画像をLPF処理し、画像全体を平滑化することで、ぼかし処理を加えてシフト量補正部２３に供給する。シフト量計算部２３は、ぼかし処理された奥行画像の各画素について、奥行値（視差）に対応してシフト量を計算し、シフト量バッファ２４に画素の位置に対応付けてバッファリングさせる。

右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、それぞれ２次元画像からなる入力画像の各画素について、シフト量バッファ２４にバッファリングされているシフト量を読み出す。右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、それぞれ、入力画像の各画素を、読み出したシフト量に対応する画素数分だけ、左方向または右方向にシフトした位置に存在する画素で射影変換する。右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、各画素を、シフト量分だけ左右に存在する画素で射影変換することにより、それぞれ右眼用画像、および左眼用画像を生成する。右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、生成した右眼用画像、および左眼用画像を右眼用画像バッファ２６−１、および左眼用画像２６−２にバッファリングする。右眼用画像バッファ２６−１、および左眼用画像２６−２は、全ての画素について射影による変換が終了した後、右眼用画像、および左眼用画像をそれぞれ出力する。

［図１の画像変換装置による画像変換処理］
次に、図２のフローチャートを参照して、図１の画像変換装置１１による画像変換処理について説明する。

ステップＳ１において、奥行画像生成部２１は、２次元画像からなる入力画像が供給されると、入力画像における各画素単位で、画像内の被写体における撮像位置からの距離、すなわち、奥行値を求める。そして、奥行画像生成部２１は、各画素に対して奥行値に対応する画素値を設定することで奥行画像を生成し、LPF２２に供給する。この奥行値は、例えば、入力画像を撮像する際に、TOF（Time of Flight）法や、ステレオ撮像などにより三角測量の原理を利用して予め求められている値を用いるようにしてもよいし、入力画像の撮像後に実測した値を用いるようにしてもよい。

例えば、入力画像が図３の上段で示されるような画像である場合、奥行画像は、図４で示されるような画像となる。すなわち、図３の上段で示される画像は、図３の下段の側面図で示されるような高さからなるオブジェクトが上面から撮像された画像である。換言すれば、図３の下段で示されるように、側面から見ると、階段状の台のようなオブジェクトが上面から撮像された画像が、図３の上段の画像となる。また、図４の奥行画像は、奥行値が手前であるほど高い輝度、すなわち、白色に近い画素値が設定されており、奥行値が遠い位置であるほど低い輝度、すなわち、黒色に近い画素値が設定されている。図４の奥行画像で示されるように、図３における右上がりの斜線部に対応する領域が、白色に設定されており、最も手前側であることが示されている。また、図３における右下がりの斜線部に対応する領域が、グレーに設定されており、図３の右上がりの斜線部の次に手前側であることが示されている。さらに、図３における格子状の部位に対応する領域が、黒色に設定されており、最も遠い領域であることが示されている。

ステップＳ２において、LPF２２は、供給されてきた奥行画像を平滑化して、画像全体をぼやかしてシフト量計算部２３に供給する。すなわち、図４で示されるような奥行画像の場合、LPF２２により、ぼかし処理がなされて図５で示されるような画像が生成される。すなわち、図５の画像においては、図４の画像の全体にぼかし処理が施されているが、特に、画素値が大きく変化する境界付近において顕著にボケが生じている。

ステップＳ３において、シフト量計算部２３は、ぼかし処理された奥行画像の画素のうち、未処理の画素を注目画素に設定する。

ステップＳ４において、シフト量計算部２３は、ぼかし処理された奥行画像の注目画素の奥行値に基づいて、シフト量を計算する。

ところで、シフト量は、従来、図６の右部で示されるようになされていた。すなわち、位置Ｘｐとなる画素については、図中の最上段で示される現実空間Ｄにおける注目位置ｒを、右眼Ｒが観測するときの視線を視線ＲＢと設定し、左眼ＥＬが観測するときの視線を視線ＬＢと設定する。そして、右眼ＥＲが、現実空間Ｄ上の注目位置ｒを観測したとき、視線ＲＢを通して画像Ｉ上で観測される画素ＲＩを、視線ＲＢを通して右眼用画像Ｒを観測するときの右眼用画像Ｒ上の画素位置にシフトさせる。同様に、左眼ＥＬが、現実空間Ｄ上の注目位置ｒを観測したとき、視線ＲＬを通して画像Ｉ上で観測される画素ＬＩを、視線ＬＢを通して左眼用画像Ｌを観測するときの右眼用画像Ｒ上の画素位置にシフトさせる。このようにシフトさせることで右眼用画像および左眼用画像からなるステレオ画像を生成していた。

一方、シフト量計算部２３が計算するシフト量は、図６の左部で示されるシフト量ｄである。すなわち、後述する右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、図６の左部で示されるように、現実空間Ｄにおける注目位置ｒに対して、画像Ｉの位置Ｘｐの画素について、現実空間Ｄまでの距離、すなわち、奥行値に対応して設定される所定のシフト量ｄだけ左右にシフトした画素を、右眼用画像Ｒ、および左眼用画像Ｌにおける位置Ｘｐ上の画素としてそれぞれ射影変換することで、右眼用画像、および左眼用画像を生成する。このシフト量ｄは、各画素の奥行値に対応して線形的に設定される値である。尚、シフト量ｄの設定方法については、詳細を後述する。

ステップＳ４において、シフト量計算部２３は、計算した注目画素のシフト量をシフト量バッファ２４に画素位置の情報に対応付けてバッファリングさせる。

ステップＳ５において、シフト量計算部２３は、ぼかし処理された奥行画像のうち、未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ３に戻る。すなわち、未処理の画素がなくなり、全画素についてシフト量が計算されるまで、ステップＳ３乃至Ｓ５の処理が繰り返される。そして、ステップＳ５において、未処理の画素がなく、全ての画素についてシフト量が計算されたとみなされた場合、処理は、ステップＳ６に進む。

ステップＳ６において、右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、それぞれ入力画像の画素のうち、未処理の画素を注目画素に設定する。

ステップＳ７において、右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、それぞれ注目画素のシフト量をシフト量バッファ２４より読み出す。

ステップＳ８において、右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、それぞれ読み出した注目画素のシフト量に基づいて、入力画像における注目画素周辺の画素のうち、右方向、または左方向にだけシフト量に応じた位置に存在する画素を注目画素として射影変換して、画素位置に対応付けて、右眼用画像バッファ２６−１、および左眼用画像バッファ２６−２にバッファリングさせる。すなわち、図６の左部を参照して説明したように、右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、シフト量に基づいて、入力画像における注目画素から右方向、または左方向にシフト量だけ移動した位置に存在する画素を、注目画素に射影変換（シフト）する。

ステップＳ９において、右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２は、それぞれ入力画像上に未処理の画素があるか否かを判定し、未処理の画素がある場合、処理は、ステップＳ６に戻る。すなわち、右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２により全ての画素が、注目画素に設定されて射影変換によるシフト処理が終了するまで、ステップＳ６乃至Ｓ９の処理が繰り返される。そして、ステップＳ９において、未処理の画素が存在しないとみなされた場合、処理は、ステップＳ１０に進む。

ステップＳ１０において、右眼用画像バッファ２６−１、および左眼用画像バッファ２６−２は、それぞれバッファリングしていた右眼用画像、および左眼用画像を出力する。今の場合、例えば、図７で示されるような、右眼用画像Ｒ、および左眼用画像Ｌが出力されることになる。図７においては、右眼用画像は、入力画像に対して、全体として奥行値が小さいほど左側にシフトしたような画像となり、逆に、左眼用画像は、入力画像に対して、全体として奥行値が小さいほど右側にシフトしたような画像となる。

ステップＳ１１において、奥行画像生成部２１は、次のフレームとなる入力画像が存在するか否かを判定し、存在する場合、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。一方、ステップＳ１１において、次のフレームとなる入力画像が存在しない場合、処理は、終了する。

［右眼用画像シフト部、および左眼用画像シフト部における射影］
ここで、右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２における射影（シフト）について説明する。

図６の右部で示される、従来のシフト方法を採用する場合、図３の上段で示される入力画像のとき、例えば、左眼用画像は、図８のような画像として生成される。図８においては、オブジェクトの段差部分に陰面領域ＢＬ１，ＢＬ２が発生する。ここで、陰面領域とは、いずれの画素も射影、すなわち、シフトされることがない、画素が存在しない領域である。

これは、以下の理由により生じる。

図９の上段には、中央部に凸部があり、それ以外の領域が凹部となる急峻な段差を持ったオブジェクトの側面図が示されており、図９の中段には、図９の上段で示される側面図からなるオブジェクトを上面から撮像した入力画像の水平側面断面上の画素配列が示されており、下段には、中段で示される画像が左眼用画像として射影変換処理、すなわち、シフト処理された後の画素配列が示されている。また、図９の中段、および下段においては、各マス目が画素であり、右下がりの斜線部の画素が撮像位置から手前のオブジェクト領域の画素を示しており、左下がり斜線の画素が奥側のオブジェクト（背景）の領域の画素を示しており、格子状に塗りつぶされた画素が射影により２画素が射影されてしまう領域の画素を示している。この図９で示されるように、仮想的に設定されるディスプレイ面に対して飛び出している凸部領域、すなわち、入力画像におけるオブジェクト領域の画素は、所定のシフト量分だけ右側にシフトし、逆に凹部、すなわち、入力画像における背景領域の画素は、所定のシフト量分だけ左にシフトすることで左眼用画像が構成される。この結果、視点位置からの距離に段差が生じる近傍の領域付近で、図中の楕円状の領域Ｚ０で示されるような射影画素が存在しない白色で示された画素からなる陰面領域が発生する。尚、入力画像におけるオブジェクト領域は、図９中の位置Ｐ２乃至Ｌ１である。さらに、左眼用画像における、オブジェクト領域は、位置Ｌ０乃至Ｌ１であり、陰面領域は、位置Ｐ１乃至Ｌ０である。

このように陰面領域が発生することになるため、従来の手法を用いる場合、生成された左眼用画像、および右眼用画像に生じた陰面領域を埋めるような画像を生成して、埋める処理をする必要がある。このため、従来の手法では、後段にこのよう陰面領域を埋める処理をする必要があるので、処理コストが掛かることになる。

これに対して、図６の左部で示される、右眼用画像シフト部２５−１、および左眼用画像シフト部２５−２における射影（シフト）方法の場合、陰面領域は生じないが、図３の上段で示される入力画像のとき、左眼用画像は、図１０のような画像として生成される。図１０においては、オブジェクトの段差部分に飛地領域ＢＬ１１，ＢＬ１２が発生する。ここで、飛地領域とは、本来は位置されるべき隣接する画素が、入替って射影、すなわち、シフトされてしまう領域である。

これは、以下の理由により生じる。

すなわち、図１１の上段、および中段は、図９と同様であり、図１１の下段は、図１１の中段における画素に対して、図６の左部で示される処理を施すことにより、生成される左眼用画像を示している。図１１の場合、左眼用画像における仮想的に設定されるディスプレイ面に対して飛び出している凸部、すなわち、オブジェクト領域に入力画像の画素が一律右方向に所定のシフト量分だけシフトし、逆に凹部、すなわち、左眼用画像における奥側のオブジェクト（背景）の領域に入力画像の画素が一律左方向に所定のシフト量分だけシフトする。この結果、視点位置からの距離に段差が生じる近傍の領域付近で、図中の楕円状領域Ｚ１で示されるような射影画素が入替ってしまう飛地領域が発生する。また、入力画像におけるオブジェクト領域は、位置Ｐ１２乃至Ｌ１である。一方、左眼用画像における、オブジェクト領域は、位置Ｌ０乃至Ｌ１であり、飛地領域は、位置Ｐ１１乃至Ｐ１２、および位置Ｐ１２乃至Ｌ０である。

ところで、この飛地領域は、入力画像が急峻な凹凸部の境界近傍で発生することがわかっている。すなわち、図１２で示されるように、オブジェクトとなる凸部と凹部との境界が緩やかな場合、奥行値に応じてシフト量が設定されることにより、飛地領域の発生は抑制することができる。すなわち、図１２においては、図１２の最上段で示されるように、位置Ｐ３１から徐々に奥行値が小さくなり、位置Ｐ３２においてディスプレイ面の位置を越えると、位置Ｌ０において凸部の先端部となり奥行値が最小となる。そして、位置Ｐ３３から徐々に奥行値が大きくなり、位置Ｌ１においてディスプレイ面の位置より低くなると、位置Ｐ３４において奥行値が最大となる。

すなわち、図１２で示されるように奥行値が設定されると、左眼用画像における、ディスプレイとして仮想的に設定されている位置よりも凸部領域に含まれる画素については、いずれも入力画像におけるオブジェクト領域内の画素へとシフトされる。また、同様に、左眼用画像における、ディスプレイとして仮想的に設定されている位置よりも凹部領域に含まれる画素については、いずれも入力画像における奥側のオブジェクト（背景）領域内の画素にシフトされる。この結果、図１１で示されるような飛地領域が発生しない。

より詳細には、図１３で示されるように、奥行値Depth（視差）の変化量（＝傾き）｜α｜≦１であるときには、飛地領域が発生しない。換言すれば、奥行値Depth（視差）に応じて設定される奥行画像の画素値の諧調Hが０乃至２５５であって、最大の視差量（奥行値）が１０である場合については、変化量（＝傾き）｜β｜≦25.5であるとき飛地領域が発生しない。尚、図１２においては、奥行値Depthの変化量α（＝傾き）が｜α｜≦１である。

図１の画像変換装置１１においては、LPF２２により、奥行画像は、図４で示される画像から、図５で示される画像へと平滑化されており、これにより、奥行値の急峻な変化が生じる領域が、緩やかに変化する領域に変換される。この結果、図１の画像変換装置１１における画像変換処理においては、飛地領域の発生が抑制されている。したがって、LPF２２の平滑化の強度についても、最も急峻な変化が生じる領域が発生した場合に、上述した変化量（傾き）｜α｜≦１といった変化量に設定できるようなものとすることが理想的である。

以上の処理により、簡易な手法により、陰面領域および飛地領域の発生を抑制しつつ、２次元画像からなる入力画像を３次元立体視が可能な左眼用画像、および右眼用画像といったステレオ画像の生成が可能となる。

＜２．第２の実施の形態＞
［画像変換装置のその他の構成例］
以上においては、奥行値の急峻な変化を抑制するため、奥行画像にLPF２２を施してぼかし処理する例について説明してきたが、奥行値が急峻に変化する領域については、奥行値の変化が緩やかになるようにできればよいので、例えば、奥行画像を一旦縮小した後、拡大処理することにより、低解像度化するようにして奥行値が急峻に変化する領域を、奥行値が緩やかに変化する領域にするようにしてもよい。

図１４は、奥行画像を縮小した後、拡大することで、奥行値が急峻に変化する領域をなくし、奥行値の変化を緩やかにするようにした画像変換装置１１の構成例を示している。尚、図１４の画像変換装置１１において、図１の画像変換装置と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、図１４の画像変換装置１１において、図１の画像変換装置１１と異なる点は、LPF２２に代えて、縮小部５１、および拡大部５２を備えている点である。縮小部５１は、奥行画像生成部２１により生成された奥行画像を縮小して、拡大部５２に供給する。拡大部５１は、縮小された画像を拡大して、元の奥行画像のサイズに戻して、シフト量計算部２３に供給する。すなわち、縮小部５１により奥行画像は一旦低解像度化された後、拡大部５２により拡大されることになるので、解像度は元の状態に戻っても、一旦縮小されて低解像度化されることにより、隣接する画素間での奥行値の平均的な変化量は小さくなり、奥行値の変化量が緩やかになる。

［図１４の画像変換装置による画像変換処理］
次に、図１５のフローチャートを参照して、画像変換処理について説明する。尚、図１５のフローチャートにおけるステップＳ３１，Ｓ３４乃至Ｓ４２の処理は、図２のフローチャートを参照して説明したステップＳ１，Ｓ３乃至Ｓ１１の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ３１において、奥行画像が生成されると、ステップＳ３２において、縮小部５１は、奥行画像生成部２１より供給されてきた奥行画像を、行単位、または列単位で間引くなどして縮小し、拡大部５２に供給する。

ステップＳ３３において、拡大部５２は、縮小部５１より供給されてくる縮小された奥行画像を行単位、および列単位で複製挿入するなどにより、生成された奥行画像と同一のサイズに戻すように拡大し、シフト量計算部２３に供給する。すなわち、この場合、間引き処理により縮小された後、複製挿入により拡大されることで、元のサイズに戻された奥行画像は、生成された状態よりも、低解像度化された状態となり、実質的にぼかし処理されることになる。結果として、奥行値が急峻に変化する領域については、その変化量が小さくなるので、図６の左部で示される処理により画素がシフトされても、陰面領域および飛地領域の発生を抑制することが可能となる。

以上の処理により奥行画像が縮小した後、拡大してから処理するようにしたことで、奥行画像がぼかし処理されるので、奥行値の変化が急峻な領域における奥行値の変化量が小さくされて、緩やかに変化するようになるので、簡易な方法で、陰面領域および飛地領域の発生を抑制しつつ、２次元画像からなる入力画像を３次元立体視可能な右眼用画像および左眼用画像からなるステレオ画像に変換することが可能となる。

＜３．第３の実施の形態＞
［画像変換装置のさらにその他の構成例］
以上においては、奥行値の急峻な変化を抑制するため、奥行画像に縮小部５１および拡大部５２により縮小化して低解像度化した後、元のサイズに拡大してぼかし処理する例について説明してきたが、奥行値が急峻に変化する領域だけが、問題となるので、奥行値が急峻に変化する領域だけにぼかし処理を施すようにしてもよい。

図１６は、奥行画像のうち、奥行値が急峻に変化する領域を検出して、その領域のみにぼかし処理としてLPFを掛けるようにした画像変換装置１１の構成例を示している。奥行値が急峻に変化する画像内の領域は、エッジ部であると考えることができる。そこで、図１６の画像変換装置１１においては、奥行画像に対してエッジ検出処理を施し、検出したエッジと、その近傍の領域のみをぼかし処理する。尚、図１６の画像変換装置１１において、図１の画像変換装置と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、図１６の画像変換装置１１において、図１の画像変換装置１１と異なる点は、LPF２２に代えて、エッジ検出部７１、およびエッジ近傍領域LPF７２を備えている点である。エッジ検出部７１は、例えば、ラプラシアンフィルタなどであり、エッジとなる画素を検出し、エッジ近傍領域LPF７２に供給する。

エッジ近傍領域LPF７２は、奥行画像生成部２１より供給されてくる奥行画像のうち、エッジ検出部７１より供給されてくるエッジとなる画素の情報に基づいて、エッジ領域、および、エッジの近傍の画素に対してのみLPFを掛けてシフト量計算部２３に出力する。尚、このエッジ領域、およびエッジ近傍の領域の設定と、LPFを掛ける強さについては、上述した奥行値の変化量（傾き）｜α｜≦１となるように設定される。

［図１６の画像変換装置による画像変換処理］
次に、図１７のフローチャートを参照して、画像変換処理について説明する。尚、図１５のフローチャートにおけるステップＳ６１，Ｓ６４乃至Ｓ６２の処理は、図２のフローチャートを参照して説明したステップＳ１，Ｓ３乃至Ｓ１１の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ６１において、奥行画像が生成されると、ステップＳ６２において、エッジ検出部７１は、奥行画像生成部２１より供給されてきた奥行画像に対して、例えば、ラプラシアンフィルタを掛けるなどして、エッジを検出し、エッジ検出画像をエッジ近傍領域LPF７２に供給する。

ステップＳ６３において、エッジ近傍領域LPF７２は、奥行画像生成部２１より供給されてきた奥行画像のうち、供給されてきたエッジ検出画像のうち、エッジ領域と、その近傍領域の画素に対応する画素に対してLPFを掛けて、奥行値が急峻に変化する領域についてのみ、その変化を緩やかな状態にする。

以上の処理により奥行画像からエッジを検出し、検出したエッジ領域と、その近傍領域に対してのみLPFをかけるようにしたことで、奥行画像の中でも飛地領域が発生しやすい、奥行値の変化が急峻となる領域のみがぼかし処理されるので、奥行値の変化が急峻な領域における奥行値の変化量が小さくされて、緩やかに変化するようになるので、簡易な方法で、陰面領域、および飛地領域の発生を抑制しつつ、２次元画像からなる入力画像を３次元立体視可能な右眼用画像および左眼用画像からなるステレオ画像に変換することが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１８は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

尚、本技術は以下のような構成を取ることができる。
（１） ２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部と、
前記奥行画像をぼかし処理するぼかし処理部と、
前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部と、
前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部と
を含む画像処理装置。
（２） 前記ぼかし処理部は、LPF処理するLPFである
（１）に記載の画像処理装置。
（３） 前記ぼかし処理部は、
前記奥行画像の画像サイズを縮小する縮小部と、
前記縮小部により縮小された前記奥行画像の画像サイズを元の画像サイズに拡大する拡大部とを含み、
前記ぼかし処理部は、前記奥行画像の画像サイズを前記縮小部により縮小させ、前記拡大部により元のサイズに拡大させることでぼかし処理する
（１）に記載の画像処理装置。
（４） 前記ぼかし処理部は、
前記奥行画像よりエッジを検出するエッジ検出部と、
前記エッジ検出部により検出されたエッジと、その近傍の領域をLPF処理するLPFとを含み、
前記ぼかし処理部は、前記奥行画像のエッジを前記エッジ検出部により検出させ、前記LPFにより検出されたエッジと、その近傍の領域をLPF処理させることでぼかし処理する
（１）に記載の画像処理装置。
（５） ２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部における、前記２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成ステップと、
前記奥行画像をぼかし処理するぼかし処理部における、前記奥行画像をぼかし処理するぼかし処理ステップと、
前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部における、前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算ステップと、
前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部における、前記入力画像信号における各画素について、前記シフト量計算ステップの処理により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフトステップと
を含む画像処理方法。
（６） ２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部と、
前記奥行画像をぼかし処理するぼかし処理部と、
前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部と、
前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、3次元画像信号における右眼用画像または左眼用画像を生成するシフト部と
を含む画像処理装置を制御するコンピュータに
前記奥行画像生成部における、２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成ステップと、
前記ぼかし処理部における、前記奥行画像をぼかし処理するぼかし処理ステップと、
前記シフト量計算部における、前記ぼかし処理ステップの処理によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算ステップと、
前記シフト部における、前記入力画像信号における各画素について、前記シフト量計算ステップの処理により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部と
を含む処理を実行させるプログラム。

１１ 画像変換装置， ２１ 奥行画像生成部， ２２ LPF， ２３ シフト量計算部， ２４ シフト量バッファ， ２５−１ 右眼用画像シフト部， ２５−２ 左眼用画像シフト部， ２６−１ 右眼用画像バッファ， ２６−２ 左眼用バッファ， ５１ 縮小部， ５２ 拡大部， ７１ エッジ検出部， ７２ エッジ近傍領域LPF

Claims (6)

1. ２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部と、
   前記奥行画像をぼかし処理するぼかし処理部と、
   前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部と、
   前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部と
   を含む画像処理装置。
2. 前記ぼかし処理部は、LPF処理するLPFである
   請求項１に記載の画像処理装置。
3. 前記ぼかし処理部は、
   前記奥行画像の画像サイズを縮小する縮小部と、
   前記縮小部により縮小された前記奥行画像の画像サイズを元の画像サイズに拡大する拡大部とを含み、
   前記ぼかし処理部は、前記奥行画像の画像サイズを前記縮小部により縮小させ、前記拡大部により元のサイズに拡大させることでぼかし処理する
   請求項１に記載の画像処理装置。
4. 前記ぼかし処理部は、
   前記奥行画像よりエッジを検出するエッジ検出部と、
   前記エッジ検出部により検出されたエッジと、その近傍の領域をLPF処理するLPFとを含み、
   前記ぼかし処理部は、前記奥行画像のエッジを前記エッジ検出部により検出させ、前記LPFにより検出されたエッジと、その近傍の領域をLPF処理させることでぼかし処理する
   請求項１に記載の画像処理装置。
5. ２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部における、前記２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成ステップと、
   前記奥行画像をぼかし処理するぼかし処理部における、前記奥行画像をぼかし処理するぼかし処理ステップと、
   前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部における、前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算ステップと、
   前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部における、前記入力画像信号における各画素について、前記シフト量計算ステップの処理により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフトステップと
   を含む画像処理方法。
6. ２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成部と、
   前記奥行画像をぼかし処理するぼかし処理部と、
   前記ぼかし処理部によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算部と、
   前記入力画像信号における各画素について、前記シフト量計算部により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、3次元画像信号における右眼用画像または左眼用画像を生成するシフト部と
   を含む画像処理装置を制御するコンピュータに
   前記奥行画像生成部における、２次元画像信号からなる入力画像信号より、奥行画像を生成する奥行画像生成ステップと、
   前記ぼかし処理部における、前記奥行画像をぼかし処理するぼかし処理ステップと、
   前記シフト量計算部における、前記ぼかし処理ステップの処理によりぼかし処理された奥行画像の各画素について、前記各画素の奥行値に基づいて設定されるシフト量を計算するシフト量計算ステップと、
   前記シフト部における、前記入力画像信号における各画素について、前記シフト量計算ステップの処理により計算された前記奥行画像の各画素に対応するシフト量だけ右方向、または左方向にシフトした位置の画素を射影することで、３次元画像信号における右眼用画像または左眼用画像を生成するシフト部と
   を含む処理を実行させるプログラム。

Images