JP2014186587A - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】 視差角をもって撮像される２つの画像情報から生成される３次元に対応づけられる視差画像対を用いて、正確な二次元画像を生成する。
【解決手段】
被写体の正面に向かって所定の視差角をなす第１の方向から前記被写体を撮像する第１の撮像手段と、被写体の正面に向かって所定の視差角をなす第２の方向から前記被写体を撮像する第２の撮像手段とを備える画像処理装置において、前記第１の撮像手段から撮像される第１の画像情報と、前記第２の撮像手段から撮像される第２の画像情報とから同一被写体に対応付けられる画素対を特定する。特定された画素対から正面画像画素情報を生成し、当該生成された正面画像画素情報の中で、前記所定の視差角から特定できない画素対を特定された周辺の画素対に基づいて補正することを特徴とする。
【選択図】 図６

Description

本発明は、３次元画像情報から２次元画像情報を生成するための画像処理装置、画像処理方法及びプログラムに関するものである。

視差画像対を３次元表示情報として３次元表示器で表示できるが、この画像を紙等へ記録するには通常、２次元的な記録手段を用いる。

特許文献１には異なる角度から写した人の顔をビューモーフィングの技術を用いて正面から見た画像を生成して表示する技術が開示されている。

特開２００４−２９７７３４号公報

３次元画像を表現する視差画像対は両画像共に被写体を正面から見た２次元画像では無い。従って、３次元表示出来る視差画像対その物を、正面から見た画像として２次元表示記録する事は出来ない。
また、特許文献１では視差画像対からビューモーフィングの技術を用いて正面画像を生成し表示しているが、本来ビューモーフィングの技術は視差画像対の両者に存在する被写体を構成する画素から、その奥行き情報を推定する。ところが、実際の視差画像対では、視差角が有るため、視差画像対の一方にしか存在しない画素が有る。
従って、正面画像の全ての画素をビューモーフィングの技術で生成する事は出来ない。

本発明は、上記の課題を解決するためになされたもので、本発明の目的は、視差角をもって撮像される２つの画像情報から生成される３次元に対応づけられる視差画像対を用いて、正確な二次元画像を生成できる仕組みを提供することである。

上記目的を達成する本発明の画像処理装置は以下に示す構成を備える。
被写体の正面に向かって所定の視差角をなす第１の方向から前記被写体を撮像する第１の撮像手段と、被写体の正面に向かって所定の視差角をなす第２の方向から前記被写体を撮像する第２の撮像手段と、前記第１の撮像手段から撮像される第１の画像情報と、前記第２の撮像手段から撮像される第２の画像情報とから同一被写体に対応付けられる画素対を特定する特定手段と、特定された画素対から正面画像画素情報を生成する生成手段と、生成された正面画像画素情報の中で、前記所定の視差角から特定できない画素対を特定された周辺の画素対に基づいて補正する補正手段と、を備えることを特徴とする。

本発明によれば、視差角をもって撮像される２つの画像情報から生成される３次元に対応づけられる視差画像対を用いて、正確な二次元画像を生成できる。

画像処理装置の一例を示すブロック図である。 図１に示した３次元表示装置をより詳細に説明する図である。 図１に示した撮像手段の配置関係を説明する図である。 画像処理装置の画像処理機能のブロックの一例を示す図である。 画像処理装置における正面画像生成の原理を説明する図である。 画像処理装置の制御方法を説明するフローチャートである。 画像処理装置の制御方法を説明するフローチャートである。 画像処理装置の制御方法を説明するフローチャートである。 視差画素対を特定できない画素情報例を示す図である。 画像処理装置の制御方法を説明するフローチャートである。 不定画素に対する補正処理例を示す図である。 画像処理装置の制御方法を説明するフローチャートである。 視差画素対特定部で用いるマッチングパターンの別例を示す図である。 不確定画素の輝度値を補正して生成する例を説明する図である。

＜システム構成の説明＞
〔第１実施形態〕
本実施形態の説明に先立って、本明細書で用いる用語について簡単に説明する。
本明細書において、２次元画像とは、表示器やプリンタで表示記録する、例えば人や図形などを表す２次元の画像そのものを示している。

３次元画像とは、３次元表示器で立体的に表示される、例えば人や図形などを表す３次元の画像そのものを示している。例えば、３次元画像は、視差を有する複数の２次元画像で構成される。例えば左目用と右目用の一対の２次元画像を既定の表示素子で表示し、その画像をそれぞれの目で見る事で得られる画像である。

２次元画像情報または３次元画像情報は、上記の２次元画像または３次元画像を表示するための輝度信号や濃度信号等の信号源を示している。特に３次元画像情報は、少なくとも左目用および右目用の一対の２次元画像情報から成り、該画像対を視差画像対と呼び、同じ被写体を表示し、視差画像対の両画像中に存在する２つの画素を視差画素対と称す。又 視差画像対が被写体と成す角度を視差角と呼ぶ。なお ３次元画像情報はカメラで撮影したり、コンピュータグラフィックスで人工的に制作される。

次に、簡単に３次元表示器について説明する。本実施形態で用いる３次元表示器は、３次元画像情報として、その表示器の画面中に複数の２次元画像情報を同時に表示している。具体的には、３次元表示器に表示される２次元画像は、少なくともユーザの左目および右目の各視点から見た２枚の２次元画像情報に基づいていて、対応するそれぞれの目で見せるための光学的な工夫が表示器に施されている。

次に本発明を実施するための最良の形態について図面を参照して説明する。
本実施形態では、ユーザが３次元表示器で立体的に見る画像に等しい視差角の略中央、即ち正面から見た２次元画像を、３次元表示するための視差画像対から生成する画像処理装置を例に説明するが、これに限定されるものではない。

図１は、本実施形態を示す画像処理装置の一例を示すブロック図である。本実施形態では、画像処理装置を後述するようなパーソナルコンピュータで構成する例を示す。
図１において、１は一般的なパーソナルコンピュータ（以後ＰＣと称する）で、ネットワーク回線１１０等から画像情報等をネットワーク制御部９０を介して取得する。また画像処理装置は、少なくとも、３次元画像情報に基づいた３次元画像を立体表示するための３次元表示装置２と２次元表示装置３を有する。

ＰＣ１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０で制御される。ＰＣ１は、３次元画像情報や本実施形態に用いられるプログラム等を保持する記憶手段８０を有する。またＰＣ１は、各種設定やプログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０及び、一時的な記憶手段として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０を有する。３次元表示装置２は、３次元画像を表示する３次元表示器３０を有する。
また、３次元表示装置２は、３次元表示器の表示面にタッチパネル４０を有し、表示した３次元画像を直接タッチして画像や表示された入力キーを選択すると共に、キーやマウスで構成する操作入力部と同様にユーザのＰＣへの各種の入力操作を可能にする。撮像手段２０は一般的表示器に装備された物で、ユーザの位置やユーザの動作を認識するために３次元表示器３０の近傍に設けられている。なお、撮像手段２０は、図３に示すように被写体の正面に向かって所定の視差角をなす第１の方向から前記被写体を撮像する第１の撮像手段２１と、被写体の正面に向かって所定の視差角をなす第２の方向から前記被写体を撮像する第２の撮像手段２２を備える。従って、撮像手段２０は、第１の撮像手段２１と、第２の撮像手段２２とを用いて、同一被写体２３を所定の視差角θをもって右目用の画像情報と左目用の画像情報を取り込む。

図２は、図１に示した３次元表示器をより詳細に説明する図である。図２に示すパララックスバリア方式の３次元表示器３０の液晶表示器３００は、表示画面の手前に左右の目の視線上に互いに他方の目用の表示素子からの光を遮るための光学的なパララックスバリア１５０を有する。

従って図２に示す様に右目からは左目用表示画素からの光がパララックスバリア１５０でその光路が遮光され、逆に左目からは右目用表示画素からの光がパララックスバリア１５０でその光路が遮光される。その結果両目には例えば、両目の互いに異なる視点で撮影された画像を独立に見る事が出来る。即ち、ユーザに対して立体表示がなされる。
本実施形態の３次元表示器３０は説明の簡略化のために、単色表示で、また以後の図において表示画素の並びを１次元的に表現する。
なお、以下で単に「視点」と述べる場合、３次元表示器３０の位置に対するユーザの両目の位置のことを示し、１つの「視点」では、ユーザの右目には右目用の画像が、左目には左目用の画像が見える。３次元画像を表示するには最低１対の所定の視差を有する右目用の画像と左目用の画像が表示出来れば良い。

図３は、図１に示した撮像手段の配置関係を説明する図である。本例では、上記視点とユーザが目で見るのと同じ右目用の画像と左目用の画像を撮影する場合のカメラの位置関係を示している。両視差画像対は視点を中央に挟み視差角θを有する。本発明で生成する２次元画像は上記視差角の中央、即ち視点から見た正面画像である。

＜画像処理装置の機能ブロック＞
図４は、図１に示した画像処理装置の画像処理機能のブロックの一例を示す図である。図５は、本実施形態を示す画像処理装置における正面画像生成の原理を説明する図である。図４及び図５を用いて詳細な説明に先だって、本発明による画像処理の概要を説明する。
図４において、画像情報入力部４００は、ネットワーク制御部９０等から３次元画像情報を入力し、必要に応じて記憶手段８０で記憶保持する。記憶手段８０で記憶保持した視差画像対に対して、視差画素対特定部４０１は、右目用画像５００中の各画素と同じ被写体を表示する左目用画像５０１中の画素を後述するように特定する。
図５において、右目用画像５００の中、Ｘ＝Ｍ、Ｙ＝Ｙの位置に有り、レッド、グリーン、ブルーの各輝度値がそれぞれＲｒ、Ｇｒ、Ｂｒである注目画素５０３の情報を、ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）と表記する。
なお、視差画像対は一般に人の目が水平方向に存在するため、水平方向に視差角θを有する。従って、右目用画像５００中の注目画素５０３と同じ画素は左目用画像５０１中の同じＹ＝Ｙの線上に存在する。即ち視差画素対特定部４０１は右目用画像５００中の注目画素５０３と同じ被写体を表示する画素を左目画像中の画素５０４が画素対と特定出来る。ここで、画素５０４は左目用画像５０１の中、Ｘ＝Ｌ、Ｙ＝Ｙの位置に有り、レッド、グリーン、ブルーの各輝度値をそれぞれＲｌ、Ｇｌ、Ｂｌ、として、ＰＬ（Ｌ，Ｙ，Ｒｌ，Ｇｌ，Ｂｌ）と表記する。

正面画像中の正面画像画素位置特定部４０２は、特定された画素対、即ち、右目用画像５００中の注目画素５０３と、左目用画像５０１の画素５０４から正面図中に同じ被写体を表示する画素５０６を特定する。
先に説明した様に右目用画像５００中の注目画素５０３と同じ被写体を表示する画素は正面画像５０２の中でも同じＹ＝Ｙの線上に存在する。正面画像５０２は、視差角θの略中央方向であるため、右目用画像５００中の注目画素５０３を仮想平面図５０７にθ／２の角度で射影する。同様に、先の視差画素対特定部４０１で特定された左目用画像５０１中の画素５０４を仮想平面図５０７に−θ／２の角度で射影する。

仮想平面図中に射影して得られた交点Ｐｆ５０５が、注目画素５０３が表示する被写体の奥行きを示すＺ軸方向の位置ＺとＸ軸方向の位置Ｘを示す。ここで、仮想平面上に得られた交点Ｐｆ５０５の位置をＰｆ（Ｘ，Ｚ）と表記する。従って、仮想平面図５０７上の交点Ｐｆ５０５の画素から垂直に正面画像５０２上に射影したＹ＝Ｙの線上の画素５０６が右目用画像５００中の注目画素５０３と左目用画像５０１中の画素５０４と同じ被写体を正面画像中で表示する画素である。そこで、正面画像５０２上の画素５０６の情報を、注目画素５０３、画素５０４と同様にＰＣ（Ｘ，Ｙ，Ｒｃ，Ｇｃ，Ｂｃ）と表記する。

正面画像画素情報生成部４０３は、正面画像中に特定された画素５０６の輝度情報を視差画素対特定部４０１で特定した視差画素対の輝度情報から生成する。即ち得られた正面画像中の画素５０６のレッドの輝度値Ｒｃは右目画像中の注目画素５０３のレッドの輝度値Ｒｒと、左目画像中の同画素５０４のレッドの輝度値Ｒｌとから生成する。また、正面画像中の画素５０６のグリーンの輝度値Ｇｃは右目画像中の注目画素５０３のグリーンの輝度値Ｇｒと、左目画像中の同画素５０４のグリーンの輝度値Ｇｌとから生成する。さらに、正面画像中の画素５０６のブルーの輝度値Ｂｃは右目画像中の注目画素５０３のブルーの輝度値Ｂｒと、左目画像中の同画素５０４のブルーの輝度値Ｂｌとから生成する。

右目用画像５００の全画素に対して、上述した視差画素対特定部４０１、正面画像画素位置特定部４０２、及び正面画像画素情報生成部４０３の処理を施しても、図３に示す様に視差画像対は視差角θを成す。このために、正面画像中の全ての画素に対して画素情報を生成する事は出来ない。何故ならば、右（左）目では見えるが、左（右）目では見えない被写体の一部が必ず存在するために、先の視差画素対特定部４０１では右（左）目用画像中の画素と対を成す画素を左（右）目用画像５０１中に特定出来ない場合が有るからである。
その場合は、正面画像画素位置特定部４０２で仮想平面図５０７上に画素位置を特定出来ない。従って、正面５０２上に対応する同じ画素を射影して生成する事が出来ない。 詳細は後述する正面画像画素情報補正部４０４は、視差画像対特定部で視差画像対から視差画素対が特定出来なかった正面画像５０２中の不確定画素の画素情報を、視差画像対から補正して生成する。なお、生成した正面画像情報はユーザが３次元表示装置２で立体的にみる事が出来る画像と略同じ画像として、２次元表示装置３を用いて２次元表示したり、プリンタ４を用いて紙に２次元的に記録表示したりする事が出来るようになる。
このように本実施形態では、第１の撮像手段２１から撮像される第１の画像情報と、前記第２の撮像手段２２から撮像される第２の画像情報とから同一被写体に対応付けられる画素対を特定することができる。

図６は、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例は、視差画像対から所定の補間処理を行うことで正面画像を生成するための処理例である。なお、各ステップは、ＣＰＵ１０が記憶手段８０等に記憶された制御プログラムを実行することで実現される。また、以下の説明では、ＣＰＵ１０が実行する図４に示したモジュールを主体として説明する。なお、Ｓ６０７に示す「６４０」とは、視差画像対及び正面画像の縦と横の総画素数を示す。より具体的には、両目が並ぶ軸方向（Ｘ）の総画素数に対応する。また、Ｓ６１０の「４００」とは、上記Ｘ軸に直交するＹ軸方向の総ライン数に対応する。
Ｓ６００で、視差画像対と該画像対の付帯情報として両画像間の視差角θを取得し、パラメータＹ＝１、Ｍ＝１に初期設定する。
Ｓ６０１で、視差画素対特定部４０１は、右目用画像５００中の注目画素ＰＲ（１，１，Ｒｒ，Ｇｒ，Ｂｒ）と対を成す左目用画像５０１中の同じ画素ＰＬ（Ｌ，１，Ｒｌ，Ｇｌ，Ｂｌ）を特定する処理を実行する（後述するＳ７１０とＳ７１１）。

なお、Ｓ６０１で、左目用画像５０１中の画素ＰＬ（Ｌ，１，Ｒｌ，Ｇｌ，Ｂｌ）を特定するための処理を実行するが、必ず特定出来るとは限らない。
Ｓ６０２で、視差画素対特定部４０１は、視差画素対が特定されたか（Ｓ７１０）否か（Ｓ７１１）を判定する。
Ｓ６０１で、左目画像中に対を成す画素ＰＬ（Ｌ，１，Ｒｌ，Ｇｌ，Ｂｌ）が特定されたと視差画素対特定部４０１が判断した場合、Ｓ６０２からＳ６０３に分岐する。そして、正面画像画素位置特定部４０２は、Ｓ６０１で得られた画素ＰＲ（１，１，Ｒｒ，Ｇｒ，Ｂｒ）と画素ＰＬ（Ｌ，１，Ｒｌ，Ｇｌ，Ｂｌ）から、図５で示したように視差角θに応じた角度で射影操作を行う。これにより、仮想平面図５０７上に同じ交点Ｐｆ（Ｘ，Ｚ）の画素を求める。

その後、Ｓ６０４で、正面画像画素情報生成部４０３は、仮想平面図上の交点Ｐｆの画素から正面画像５０２に角度０度で射影し、Ｙ＝１との交点にＰＣ（Ｘ，１，Ｒｃ，Ｇｃ，Ｂｃ）を得る。
Ｓ６０５で、正面画像画素情報生成部４０３は、Ｓ６０４で得られた画素、ＰＣ（Ｘ，１，Ｒｃ，Ｇｃ，Ｂｃ）の輝度値Ｒｃ，Ｇｃ，Ｂｃを求める。
なお、Ｓ６０２で、Ｓ６０１で画素対を左目画像中に特定出来ないと視差画素対特定部４０１が判断した場合、Ｓ６０６に分岐する。

次に、Ｓ６０６で、正面画像画素情報生成部４０３は、右目画像中のＸ軸方向に注目画素位置を１画素シフトし（Ｍ＝Ｍ＋１）、Ｓ６０７でＹ＝１のライン上の全ての画素（Ｍ＝６４０）に対して上述した一連の処理が終了した時、Ｓ６０８に分岐する。
そして、Ｓ６０８で、正面画像画素情報補正部４０４が図５に示す正面画像５０２中のＹ＝１の線上に存在する不確定画素に対して補正処理を施して輝度値Ｒｃ、Ｇｃ、Ｂｃを生成する。これで正面画像５０２中のＹ＝１のライン上の全ての画素情報の生成が終了し、Ｓ６０９に移る。
Ｓ６０９は、Ｙ軸方向に１ラインシフトして再び上述の処理をＹ方向の次ラインに施し（Ｙ＝Ｙ＋１、Ｍ＝１）、４００ライン全てに対して処理が終了するまで、Ｓ６０１からＳ６１０迄の一連の処理を繰り返す。これにより、（６４０＊４００）画素の正面画像の生成処理を終了する。

図７は、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例は、視差画素対特定部４０１の詳細処理例である。なお、各ステップは、ＣＰＵ１０が記憶手段８０等に記憶された制御プログラムを実行することで実現される。以下、図６に示したＳ６０１の詳細な処理を説明する。以下の説明では、ＣＰＵ１０が実行する図４に示したモジュールを主体として説明する。

本実施形態では、左右の目用の画像対から同じ被写体を示す各画素対を特定する際に処理を高速に行うために、各画素の輝度値の総和からモノクロ値Ｄを（Ｒ＋２＊Ｇ＋Ｂ）／４と定義する。そして、注目画素と隣接する４画素の該モノクロ値を使って、いわゆるパターンマッチング手法を用いて視差画像対を特定する。
Ｓ７００で、視差画素対特定部４０１は、右目画像中の注目画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）からＰＲ（Ｍ，Ｙ，Ｄｒ）を算出する。ここで、Ｄｒ＝（Ｒｒ＋２＊Ｇｒ＋Ｂｒ）／４である。

同様に、Ｓ７０１で、視差画素対特定部４０１は、該注目画素にＸ方向とＹ方向に隣接する４画素に対しても同様の処理を施し、図５に示す４個の隣接画素（○で示す）のモノクロ値ＭＰＲ（Ｍ，Ｙ−１，Ｄｒ）、モノクロ値ＭＰＲ（Ｍ−１，Ｙ，Ｄｒ）、モノクロ値ＭＰＲ（Ｍ＋１，Ｙ，Ｄｒ）、モノクロ値ＭＰＲ（Ｍ，Ｙ＋１，Ｄｒ）と注目画素（●で示す）のモノクロ値ＭＰＲ（Ｍ，Ｙ，Ｄｒ）を加えた５画素でパターンマッチング処理を行う。

左目用画像５０１中の対を成す画素を特定するために、Ｓ７０２で、視差画素対特定部４０１は、左目画像中のＸ座標をＬ＝１、最小誤差値Ｅｍｉｎ＝Ｋ１とし、Ｓ７０３で、パターンマッチングにて比較すべき左目用画像５０１中の５つの画素に対してそれぞれモノクロ値ＭＰＬ（Ｌ，Ｙ，Ｄｌ）、モノクロ値ＭＰＬ（Ｌ，Ｙ−１，Ｄｌ）、モノクロ値ＭＰＬ（Ｌ−１，Ｙ，Ｄｌ）、モノクロ値ＭＰＬ（Ｌ＋１，Ｙ，Ｄｌ）、及びモノクロ値ＭＰＬ（Ｌ，Ｙ＋１，Ｄｌ）を求める。ここで、Ｄｌ＝（Ｒｌ＋２＊Ｇｌ＋Ｂｌ）／４である。
Ｓ７０４で、視差画素対特定部４０１は、右目用画像５００中の注目画素周辺の５画素と左目用画像５０１中の評価画素周辺の５画素とを比較して、それぞれ中心の画素●に対して相対的に同じ位置の画素間のモノクロ値の差の絶対値の総和を誤差Ｅと定義して求める。得られた誤差Ｅが同じＹ＝Ｙライン上で最小の場合が最もパターンが類似していると判断出来る。

Ｓ７０５で、視差画素対特定部４０１は、随時誤差Ｅを直前迄の最小誤差値Ｅｍｉｎと比較する。ここで、得られた誤差Ｅが最小誤差値Ｅｍｉｎより小さいと視差画素対特定部４０１が判断した場合、Ｓ７０５からＳ７０６に分岐し、その時のＸ座標の値、即ちＬの値と誤差Ｅを最小誤差値Ｅｍｉｎに置き換えて記憶手段８０に一時保持する。
右目画像中の注目画素と対を成す左目画像中の画素ＰＬ（Ｌ，１，Ｒｌ，Ｇｌ，Ｂｌ）は左目画像中の画素をＬ＝１から順次パターンマッチングして探します。通常最も近い画素を見つける方法は、随時評価画素位置をずらしながら、誤差Ｅを求め、それまででより誤差Ｅが小さい画素（番号Ｌ）を候補としてその画素番号とその誤差Ｅで最小誤差値Ｅｍｉｎを更新して記憶手段８０に一時保持する。例えば画素番号１０から１５を評価した際に、Ｌ＝１０、Ｅ＝５、最小誤差値Ｅｍｉｎ＝６である場合は、最小誤差値Ｅｍｉｎ←５に更新し、Ｌ＝１０を記憶手段８０に一時保持する。
また、Ｌ＝１１、Ｅ＝６、最小誤差値Ｅｍｉｎ＝５、Ｌ＝１２、Ｅ＝４、Ｅｍｉｎ＝５である場合は、最小誤差値Ｅｍｉｎ←４に更新し、Ｌ＝１２を記憶手段８０に一時保持する。
さらに、Ｌ＝１３、Ｅ＝６、最小誤差値Ｅｍｉｎ＝４、Ｌ＝１４、Ｅ＝７、最小誤差値Ｅｍｉｎ＝４、Ｌ＝１５、Ｅ＝３、最小誤差値Ｅｍｉｎ＝４である場合は、最小誤差値Ｅｍｉｎ←３に更新し、Ｌ＝１５を記憶手段８０に一時保持する。

そして、Ｌ＝１６〜Ｌ＝６４０、Ｅ＝８、最小誤差値Ｅｍｉｎ＝３である場合、記憶保持した値は、（Ｌ＝１０、Ｅｍｉｎ＝５）（Ｌ＝１２、最小誤差値Ｅｍｉｎ＝４）（Ｌ＝１５、最小誤差値Ｅｍｉｎ＝３）と随時更新される。そして、Ｌ＝６４０までで当該処理が終了し、その時点で記憶手段８０に一時保持しているのが（Ｌ＝１５、最小誤差値Ｅｍｉｎ＝３）であるとする。
なお、誤差Ｅが最小誤差値Ｅｍｉｎより大きいと判断した場合、Ｓ７０７に分岐し、視差画素対特定部４０１は、Ｘ方向に隣接する画素位置を１画素シフトして（Ｌ＝Ｌ＋１）、次の画素位置の画素を評価画素とする。そして、Ｓ７０８で、視差画素対特定部４０１は、全ての画素（６４０画素）に対してパターンマッチング処理が終了するまで、Ｓ７０３からＳ７０８の一連の処理を繰り返す。

Ｓ７０８で、該当するＹ＝Ｙラインの画素全て（６４０）に対するパターンマッチング処理が終了したと、視差画素対特定部４０１が判断した場合、Ｓ７０８からＳ７０９に分岐する。そして、Ｓ７０９で、視差画素対特定部４０１は、最も誤差の小さい、即ち注目画素を含む隣接の５画素のモノクロ値パターンに最も類似した評価画素に対する最小誤差値Ｅｍｉｎが予め決められた十分小さな閾値Ｋ１より小さいかどうかを判断する。
ここで、注目画素を含む隣接の５画素のモノクロ値パターンに最も類似した評価画素に対する最小誤差値Ｅｍｉｎが予め決められた十分小さな閾値Ｋ１より小さいと視差画素対特定部４０１が判断した場合、Ｓ７１０に分岐する。つまり、右目用画像５００中の注目画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）と対を成す左目用画像５０１中の画素ＰＬ（Ｌ，Ｙ，Ｒｌ，Ｇｌ，Ｂｌ）に決定して、Ｓ７１０に分岐する。
ここで、注目画素を含む隣接の５画素のモノクロ値パターンに最も類似した評価画素に対する最小誤差値Ｅｍｉｎが予め決められた十分小さな閾値Ｋ１より小さいとは以下の意味である。例えば視差画素対候補として特定出来る画素番号はＬ＝１５で最も誤差が小さな最小誤差値Ｅｍｉｎ＝３である。この時、閾値Ｋ１＝１０なら（Ｅｍｉｎ＜Ｋ１）、画素番号１５は視差画素対を成す画素であると特定出来たと判断する。より具体的には、視差画素対候補として特定出来る画素番号はＬ＝１５で最も誤差が小さな最小誤差値Ｅｍｉｎ＝３である。この時、閾値Ｋ１＝１０なら（Ｅｍｉｎ＜Ｋ１）、画素番号１５は視差画素対を成す画素であると特定出来たと判断する。
一方、Ｓ７０９で、最小誤差値Ｅｍｉｎが閾値Ｋ１より大きいと視差画素対特定部４０１が判断した場合、Ｓ７１１へ進む。そして、Ｓ７１１で、得られた画素は右目用画像５００中の注目画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）と対を成す左目用画像５０１中の画素とは特定できない。このため、右目用画像５００中の注目画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）は被写体を表示する画素として右目用画像５００中にしか存在しない不確定画素と決定して、Ｓ７１１に分岐する。

〔正面画像画素位置特定部４０２による画像処理〕
図８は、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例は、視差画素対特定部４０１で得られた画素対から仮想平面図５０７上に対応する該交点Ｐｆの画素求め、正面画像５０２中に該画素を特定する正面画像画素位置特定部４０２の処理例である。なお、各ステップは、ＣＰＵ１０が記憶手段８０等に記憶された制御プログラムを実行することで実現される。
本実施形態では、視差画像対に付随する付帯情報から、該画像対が撮影された際の、或いは、コンピュータグラフィックス等で作成された際のパラメータとして視差角θの値を取得する。正面画像５０２はこの視差角θの中央方向から見た２次元画像である。このため、図８の（Ａ）に示すＳ８００において、正面画像画素位置特定部４０２は、右目用画像５００中の注目画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）からθ／２の角度で仮想平面図５０７に該注目画素を射影する。

同様に、図８の（Ａ）に示すＳ８０１において、正面画像画素位置特定部４０２は、左目用画像５０１中に特定した画素ＰＬ（Ｌ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）から−θ／２の角度で仮想平面図５０７に該注目画素を射影する。仮想平面図５０７に射影した得られる交点が両画素対に対応する交点Ｐｆの画素で有り、この画素位置Ｐｆ（Ｘ，Ｚ）から正面画像５０２中に対応する画素を描く事が出来る。上記射影処理はＲＡＭ７０上のビットマップ処理である。

そして、図８の（Ｂ）に示すＳ８０３で、図５に示した仮想平面図５０７の交点Ｐｆの画素（Ｘ，Ｚ）を垂直に正面画像５０２に射影し、正面画像５０２上のＹ＝Ｙとの交点、即ち、ＰＣ（Ｘ，Ｙ）が求める画素の位置である。即ち、Ｓ８０４にて、正面画像画素情報生成部４０３は、右目用画像５００上の画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）と、同じ画素は左目用画像５０１上の画素ＰＬ（Ｌ，Ｙ，Ｒｌ，Ｇｌ，Ｂｌ）と特定する。これにより、該画素は図５に示すように、正面画像５０２上のＰＣ（Ｘ，Ｙ，Ｒｃ，Ｇｃ，Ｂｃ）として生成する事が出来る。

図８の（Ｃ）を用いて正面画像に生成した画素の輝度値を生成する正面画像画素情報生成部４０３の処理を詳説する。通常視差画素対は同じ被写体を表示しているため、その輝度情報は略等しいといえる。
しかし、被写体への照明が正面からで無くどちらかに偏っている場合、両者のそれは異なる。そこで、本実施形態では、この照明の偏りによるムラを軽減するため、Ｓ８０５で正面画像画素情報生成部４０３が得られた画素位置のＸ座標の値に応じて視差画素対の輝度値を内分して正面画像中の画素の輝度値、即ちＲｃ、Ｇｃ、Ｂｃを生成する。

ここで、得られた画素のＸ座標の値が十分小さければ、該画素が表示する被写体の位置は正面から見て右側である。このため、該画素のレッド成分の輝度値Ｒｃは、右目画像中の画素対のレッドの値、即ちＰＲ（Ｍ，Ｙ，Ｒｒ）を左目画像中の画素対のレッドの値、即ちＰＬ（Ｌ，Ｙ，Ｒｌ）より重視して求める。グリーン成分の輝度値Ｇｃ及びブルー成分の輝度値Ｂｃも同様にして生成する。なおＸの値が丁度正面画像５０２の中央の場合、該画素のレッド成分の輝度値Ｒｃは（ＰＲ（Ｍ，Ｙ，Ｒｒ）＋ＰＬ（Ｌ，Ｙ，Ｒｌ））／２となる。
本実施形態における正面画像画素情報補正部４０４を詳説する前に、図９を用いて上述した処理で視差画素対が特定出来ない場合を説明する。

図９は、視差画素対を特定できない画素情報例を示す図である。本例では、画像オブジェクトＡとその手前に中央部で２分された画像オブジェクトＢを被写体とし、それぞれ左右の目用画像として撮影した場合を示している。今処理している１ラインの画像として画像オブジェクトＡは画素Ａ１からＡ２１の画素で構成され、画像オブジェクトＢは画素Ｂ１からＢ１３で構成され、画素Ｂ５とＢ６の間から画像オブジェクトＡが見えるとする。

今右目用画像５００の任意のＹ軸の１ライン上の、Ｘ方向の各Ｒ１からＲ２１の連続した位置の画素を被写体の画素として９０２に示すが、視差角を有する右目視線に従って見える画素は、まず画像オブジェクトＡのＡ１、Ａ２が見える。また、画像オブジェクトＢのＢ１からＢ５がその手前に見え、画像オブジェクトＢの隙間から画像オブジェクトＡの画素Ａ８、Ａ９、及びＡ１０が見える。さらに、再びその手間に画像オブジェクトＢのＢ６からＢ１３がその手前に見え、再び奥の画像オブジェクトＡのＡ１９、Ａ２０、及びＡ２１が見える。

同様に左目用画像５０１の同じＹ軸の１ライン上の、Ｘ軸方向の連続したＬ１からＬ２１の位置の左目画像を９０３に示す。左目視線に従って見える画素はまず画像オブジェクトＡのＡ１、Ａ２、Ａ３及びＡ４が見え、画像オブジェクトＢのＢ１からＢ５がその手前に見える。また、画像オブジェクトＢの隙間から画像オブジェクトＡの画素Ａ１０、Ａ１１、及びＡ１２が見え、再びその手間に画像オブジェクトＢのＢ６からＢ１３がその手前に見え、再び奥の画像オブジェクトＡのＡ２１が見える。

今この被写体を理想的に表示する正面画像のＣ１からＣ２１の画素位置の画像は、被写体の画素で示せば理想的な正面画像９０４のようになる。ここで、この理想的な正面画像９０４の各画素が、両視差画像中に存在するなら先に述べた様に、視差画素対特定部４０１で特定されるため○、どちらか一方にしか存在しない画素を不確定画素としてＳ＊（＊１〜Ｎ（整数））として画像９０５で示す。
理想的な正面画像９０４において、画素位置Ｃ３の画素Ａ３と画素位置Ｃ１１の画素Ａ１１は、右目画像９０２には存在しないため、視差画素対特定部４０１の処理対象にすら成らない。従って、視差画素対は特定出来ず、それぞれ不確定画素Ｓ１及び不確定画素Ｓ３として画像９０５に表記出来る。
一方、理想的な正面画像９０４において、画素位置Ｃ９の画素Ａ９と画素位置Ｃ２０の画素Ａ２０は、右目画像９０２には存在するが、左目画像９０３に存在しない。このため、先に説明した視差画素対特定部４０１の処理では左目画像中に対応する画素を見つける事が出来ない。
従って、画像９０５では、それぞれ不確定画素Ｓ２及びＳ４として表記出来る。本実施形態の正面画像画素情報補正部４０４は、上記処理で生成する事が出来ない不確定の画素位置Ｃ３、Ｃ１１、Ｃ９及びＣ２０に位置する不確定画素の輝度情報を、正面画像画素情報補正部４０４を用いて生成する。

図１０は、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例は、図６のＳ６０８で概説した正面画像画素情報補正部４０４の詳細例である。以下、図９を参照しながら本実施形態における補正処理を詳説する。Ｓ６０８は先に説明した様に不確定画素の輝度値をＹ方向にライン単位で補正する処理である。以下、正面画像画素情報補正部４０４が生成された正面画像画素情報の中で、所定の視差角から特定できない正面画像上の画素対を特定された周辺の画素対に基づいて補間補正する処理を詳述する。
まず、Ｓ１０００で、正面画像画素情報補正部４０４は、Ｘ＝１とし、Ｓ１００１で、正面画像画素情報補正部４０４は、正面画像９０４の画素位置Ｃ１の画素が、不確定画素か否かを判定する。図９の例では、画素位置Ｃ１は視差画素対特定部で視差画素対が特定されている。このため、正面画像９０４の画素位置Ｃ１には視差画素対として、右目画像９０２の画素位置Ｒ１の画素と左目画像９０３の画素位置Ｌ１の画素が視差画素対で有る事が、記憶手段８０に保持されている。
従って、正面画像画素情報補正部４０４は、Ｓ１００１からＳ１００６に分岐し、判定画素位置を１画素移動させ（Ｘ＝Ｘ＋１）、Ｓ１００７で、Ｘ＝６４０でないと正面画像画素情報補正部４０４が判断した場合は、再びＳ１００１に戻る。
一方、Ｓ１００１で、画素位置Ｃ３が不確定画素と正面画像画素情報補正部４０４が判定した場合、Ｓ１００２に分岐する。

Ｓ１００２で、正面画像画素情報補正部４０４は、正面画像９０４の不確定の画素位置Ｃ３をＸ軸方向に挟む確定画素位置、即ち画素位置Ｃ２と画素位置Ｃ４の視差画像の画素位置を右目画像９０２からＲｓとＲｅ、左目画像９０３からＬｓとＬｅとして求める。
即ち、正面画像９０４の画素位置Ｃ２とＣ４に記憶保持された右目用画素は右目画像９０２からそれぞれの画素位置は、Ｒｓ＝Ｒ２、Ｒｅ＝Ｒ３であり、左目用画素は左目画像９０３からそれぞれの画素位置は、Ｌｓ＝Ｌ２、Ｌｅ＝Ｌ５となる。
次に、Ｓ１００３では、正面画像画素情報補正部４０４は、得られた右目用画素ＲｓとＲｅの画素位置の間の画素の有無を判定する。今、Ｒｓ＝Ｒ２、Ｒｅ＝Ｒ３であり、この間に右目用画素は存在しないため、正面画像画素情報補正部４０４はＳ１００５に分岐して、不確定の画素位置Ｃ３の画素の輝度値は左目画像で補い、Ｓ１００６へ進む。即ち右目画像９０２中にはこの不確定画素として補正すべき画素は無いと判断出来る。

なお、不確定の画素位置Ｃ３を挟む左目用画素は左目画像９０３から、それぞれの画素位置は、Ｌｓ＝Ｌ２、Ｌｅ＝Ｌ５である。このため、明らかに不確定の画素位置Ｃ３の画素は左目確定画素位置ＬｓとＬｅの間の左目画像上の画素位置Ｌ３及びＬ４の画素位置の画素の両輝度値が補正に使えると言える。
不確定画素が１つで候補が２画素有るため、Ｓ１００５では両画素位置の画素のレッド、グリーン、ブルーの輝度値の平均値を求め、その値を不確定の画素位置Ｃ３の画素の輝度値として補正して生成する。該補正を簡略化してＣ３＝（Ｌ３＋Ｌ４）／２と記す。
即ち、正面画像９０４の不確定の画素位置Ｃ３の画素の輝度値は、左目画像９０３の画素位置Ｌ３と画素位置Ｌ４の両画素の輝度値、即ち画素Ａ３とＡ４の平均値として補正して生成する。

同様に、Ｓ１００１で、画素位置Ｃ９が不確定画素で有ると正面画像画素情報補正部４０４が判定した場合、Ｓ１００２で、正面画像９０４の画素位置Ｃ８とＣ１０に記憶保持された右目用画素は右目画像９０２の右目目定画素位置Ｒｓ＝Ｒ７、Ｒｅ＝Ｒ１０の画素であり、左目用画素は左目画像９０３の左目確定画素位置Ｌｓ＝Ｌ９、Ｌｅ＝Ｌ１０の画素となる。
次に、Ｓ１００３では得られた右目確定画素位置ＲｓとＲｅの画素位置の間の画素の有無を判定する。今、Ｒｓ＝Ｒ７、Ｒｅ＝Ｒ１０であるため、この間に右目用画素が存在するため、Ｓ１００４に分岐して、不確定の画素位置Ｃ９の画素の輝度値は右目画像で補う。
即ち、明らかに不確定の画素位置Ｃ９の画素はＲｓとＲｅの間の右目画像上の画素位置Ｒ８及びＲ９の画素位置の両輝度値が補正に使えると言える。
正面画像画素情報補正部４０４は、不確定の画素位置Ｃ９の画素の輝度値をＣ９＝（Ｒ８＋Ｒ９）／２なる補正処理して生成する。

そして、Ｓ１００１からＳ１００７迄の一連の処理を正面画像のＸ方向の全ての画素位置に対して繰り返して、正面画像５０２のＸ軸方向の全ての不確定画素位置の画像情報を補正処理で生成する事が出来る。なお、図９の例で示した不確定の画素位置Ｃ１１及びＣ２０における上記右目確定画素位置Ｒｓ，Ｒｅ、左目確定画素位置Ｌｓ，Ｌｅ及び補正候補画素位置、補正例を図１１に示す。
なお、上記補正によって得られる補正値と理想画素との比較を同表に記載したが、略完全な補正が行えていると言える。
〔他の実施形態〕
＜視差画素対特定部の他の処理例＞

図１２は、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例は、視差画素対特定部４０１が実行するＳ６０１に対応する他の特定例である。なお、図７で詳説したステップと同じステップには同じステップ番号を記す。
本実施形態では、左右の目用の画像対から同じ被写体を示す各画素対を特定する際に処理を高速に行う。このために、各画素の輝度値からモノクロ値ＤをＤ＝（Ｒ＋２＊Ｇ＋Ｂ）／４と定義し、注目画素と隣接する４画素の該モノクロ値を元に、いわゆるパターンマッチング手法を用いる。Ｓ７００では、視差画素対特定部４０１が右目画像中の注目画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）からＰＲ（Ｍ，Ｙ，Ｄｒ）を算出する。ここで、Ｄｒ＝（Ｒｒ＋２＊Ｇｒ＋Ｂｒ）／４である。
同様にＳ１１００で、視差画素対特定部４０１は、該注目画素●にＸ方向とＹ方向に隣接する４画素に対しても同様の処理を施す。さらに、図５に示す４個の○画素のモノクロ値、即ちＰＲ（Ｍ，Ｙ−１，Ｄｒ）、ＰＲ（Ｍ−１，Ｙ，Ｄｒ）、ＰＲ（Ｍ＋１，Ｙ，Ｄｒ）、ＰＲ（Ｍ，Ｙ＋１，Ｄｒ）を注目画素のモノクロ値ＰＲ０＝ＰＲ（Ｍ，Ｙ，Ｄｒ）で規格化したモノクロ輝度値でパターンマッチング処理を行う。

次に、Ｓ７０２で、視差画素対特定部４０１は、左目用画像５０１中の対を成す画素を特定するため、左目画像中のＸ座標をＬ＝１として、Ｓ１１０１で、パターンマッチングにて比較すべき左目用画像５０１中の４つの画素に対してそれぞれ注目画素のモノクロ値ＰＬ０＝ＰＬ（Ｌ，Ｙ，Ｄｌ）で規格化したモノクロ値、ＰＬ（Ｌ，Ｙ−１，Ｄｌ）／ＰＬ０、ＰＬ（Ｌ−１，Ｙ，Ｄｌ）／ＰＬ０、ＰＬ（Ｌ＋１，Ｙ，Ｄｌ）／ＰＬ０、及びＰＬ（Ｌ，Ｙ＋１，Ｄｌ）／ＰＬ０を求める。
なお、ここで、Ｄｌ＝（Ｒｌ＋２＊Ｇｌ＋Ｂｌ）／４である。右目用画像５００中の注目画素周辺の４画素と左目用画像５０１中の注目画素周辺の４画素との比較は、それぞれ中心の注目画素に対して相対的に同じ位置の画素間の規格化したモノクロ値の差の絶対値の総和をＳ１１０２で誤差Ｅとして求める。視差画素対特定部４０１は、得られた誤差Ｅが同じＹ＝Ｙライン上で最小の場合が最も類似したパターンと判断出来る。Ｓ７０５では、視差画素対特定部４０１は、随時誤差Ｅを直前迄の最小誤差値Ｅｍｉｎと比較する。

ここで、得られた誤差Ｅが最小誤差値Ｅｍｉｎより小さいと視差画素対特定部４０１が判断した場合、Ｓ７０５からＳ７０６に分岐し、その時のＸ座標の値、即ちＬの値と誤差Ｅを最小誤差値Ｅｍｉｎに置き換えて一時記憶保持する。なお、誤差Ｅが最小誤差値Ｅｍｉｎより大きいと視差画素対特定部４０１が判断した場合、Ｓ７０７に分岐する。そして、Ｘ方向に隣接する画素位置を１画素シフトして、全ての６４０画素に対してパターンマッチング処理が終了するまで、Ｓ１１０３からＳ７０８の一連の処理を繰り返す。

該当するＹ＝Ｙラインの画素全て（Ｌ＝６４０）に対するパターンマッチング処理が終了していると視差画素対特定部４０１が判断した場合、Ｓ７０８からＳ７０９に分岐する。そして、最も誤差の小さい、即ち注目画素を含む隣接の４画素のモノクロ値パターンの最小誤差値Ｅｍｉｎが予め決められた十分小さな閾値Ｋ１より小さいと判断した場合、Ｓ７１０に分岐する。そして、Ｓ７１０で右目用画像５００中の注目画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）と対を成す左目用画像５０１中の画素ＰＬ（Ｌ，Ｙ，Ｒｌ，Ｇｌ，Ｂｌ）と決定して、Ｓ７０３へ戻る。
一方、Ｓ７０９で、最小誤差値Ｅｍｉｎが閾値Ｋ１より大きいと視差画素対特定部４０１が判断した場合、Ｓ７１１へ分岐する。そして、Ｓ７１１で、得られた画素は右目用画像５００中の注目画素ＰＲ（Ｍ，Ｙ，Ｒｒ，Ｇｒ，Ｂｒ）と対を成す左目用画像５０１中の画素とは特定できず、不確定と判断してＳ７０３に戻る。

本実施形態では、注目画素の輝度値でその周辺の画素のそれを規格化してパターンマッチングするため、特に照明が左右の画像に与える影響を緩和できる効果が有る。

〔マッチングパターンの別処理例〕
図１３は、視差画素対特定部４０１で用いるマッチングパターンの別例を示す図である。図１３において、注目画素●と該注目画素に隣接する４画素○で構成するマッチングパターン１２００に対してマッチングパターン１２０１はＹ軸方向にそれぞれ１画素ずつ離れた画素位置の画素を用いる。
視差画像対は紙面水平方向に視差角を有しているため、Ｘ軸方向には局所的に歪んだ画像対のため、Ｘ方向にマッチングパターンを広げると精度が落ちるが、Ｙ方向では略歪まないため、マッチングパターンを広げる事で精度が高まる。
同様に注目画素を含み７画素で構成されるマッチングパターン１２０２を用いれば更に誤判定無く視差画素対を特定する事が出来る。本発明は全ての公知のパターンマッチング手法が適用出来る。

〔不確定画素を補正して生成する他の処理例〕
図１４は、図４に示した正面画像画素情報補正部４０４で不確定画素の輝度値を補正して生成する例を説明する図である。
図１４において、１３００は、正面の画像９０５の画素位置Ｃ２と画素位置Ｃ４を挟む位置に１画素不確定な画素が存在する場合の補正例を示す。
補正例（１）は、視差画像対の一方に１画素のみ補正候補の画素が存在する場合で、不確定の画素位置Ｃ３の画素の輝度値はこの候補の不確定画素Ｓ１の輝度値をそのまま補正値として適用する。補正例（２）は、両視差画像中に補正候補の画素がそれぞれ１画素存在する場合、補正は両者の平均値を用いる。
補正例（３）は、補正候補が一方に２画素、他方に１画素存在する場合、表に図示する様に３画素位置の画素の輝度の加重平均値で補正して生成する。補正例（４）は、両視差画像中に補正画素候補の画素が存在しない場合である。この場合は視差画素対が確定している正面画像の画素位置Ｃ２と不確定の画素位置Ｃ３の画素を確定させた両視差画素対の平均値を補正値とする。

１３０１は、正面の画像９０５の画素位置Ｃ２と画素位置Ｃ５を挟む不確定の画素位置Ｃ３と画素位置Ｃ４に不確定な画素が２画素存在する場合の補正例を示す。
補正例（５）は、両視差画像対の一方に補正候補が１画素存在する場合である。この場合、両不確定画素位置に候補の不確定画素Ｓ１の輝度値を補正値とする。補正例（６）は両視差画像中に補正候補の画素がそれぞれ１画素存在する場合、両不確定画素共に補正は両者の平均値を用いる。
補正例（７）は一方の視差画像中に補正候補の画素が連続して２画素有る場合である。この場合、図示する様に不確定画素位置と補正候補の画素位置に順に従ってそれぞれの補正画素で補正する。
補正例（８）は補正候補が連続して３画素存在する場合である。この場合、不確定画素位置と補正画素位置に応じて図示する様に近い位置の２画素の補正画素の平均値で補正する。補正例（９）は両視差画像中に補正画素候補の画素が存在しない場合である。この場合は視差画素対が確定している正面画像の画素位置Ｃ２とＣ４の画素を確定させた両視差画素対の画素の輝度値平均値を用い、且つその不確定画素位置に応じた加重平均値を補正値とする。

不確定画素は複数の画像オブジェクトの集合であり、手前に有る特定の画像オブジェクトの隙間から見える遠くの画像オブジェクトは、図１３に示す補正例（４）あるいは補正例（９）の場合が想定される。
本実施形態に限らず、本発明は視差画素対特定部で確定出来ない画素をその不確定画素周辺の視差画像対の画素を用いて補正して確度の高い補正処理で正面画像を生成する事が出来る。

本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。

本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。

１ 画像処理装置
３ ２次元表示装置
４ プリンタ
１０ ＣＰＵ
３０ ３次元表示器

Claims (10)

1. 被写体の正面に向かって所定の視差角をなす第１の方向から前記被写体を撮像する第１の撮像手段と、
   被写体の正面に向かって所定の視差角をなす第２の方向から前記被写体を撮像する第２の撮像手段と、
   前記第１の撮像手段から撮像される第１の画像情報と、前記第２の撮像手段から撮像される第２の画像情報とから同一被写体に対応付けられる画素対を特定する特定手段と、
   特定された画素対から正面画像画素情報を生成する生成手段と、
   生成された正面画像画素情報の中で、前記所定の視差角から特定できない画素対を特定された周辺の画素対に基づいて補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記補正手段は、隣接する画素対の誤差が最小となる画素対を用いて特定できない画素対を補間することを特徴とする請求項１記載の画像処理装置。
3. 前記特定手段は、両視差画像中の、注目画素に隣接する複数の画素情報を用いたパターンマッチング処理で特定することを特徴とする請求項1記載の画像処理装置。
4. 前記生成手段は、生成する画素位置に応じて、前記特定手段で特定した画像対の画像情報を用いて画素情報を生成することを特徴とする請求項1記載の画像処理装置。
5. 前記補正手段は、前記特定手段で特定できない正面画像上の画素位置の画素情報を補正して生成することを特徴とする請求項1記載の画像処理装置。
6. 前記補正手段は、前記生成手段で生成できない画素位置に隣接し、前記特定手段で画素対が特定できた画素対の両視差画像中の画素位置に応じて補正することを特徴とする請求項1記載の画像処理装置。
7. 前記補正手段は、前記生成手段で生成できない画素位置に隣接し、前記特定手段で画素対が特定できた画素対の両視差画像中の画素位置に応じてどちらか視差画像対の一方の画像情報を用いて補正することを特徴とする請求項1記載の画像処理装置。
8. 前記生成手段は、前記特定手段で特定した画素対の両視差画像中の画素位置からそれぞれθ／２，−θ／２の角度で射影した平面上の交点から正面画像中の画素位置を特定することを特徴とする請求項1記載の画像処理装置。
9. 被写体の正面に向かって所定の視差角をなす第１の方向から前記被写体を撮像する第１の撮像手段と、被写体の正面に向かって所定の視差角をなす第２の方向から前記被写体を撮像する第２の撮像手段とを備える画像処理装置の制御方法であって、
   前記第１の撮像手段から撮像される第１の画像情報と、前記第２の撮像手段から撮像される第２の画像情報とから同一被写体に対応付けられる画素対を特定する特定工程と、
   特定された画素対から正面画像画素情報を生成する生成工程と、
   生成された正面画像画素情報の中で、前記所定の視差角から特定できない画素対を特定された周辺の画素対に基づいて補正する補正工程と、
   を備えることを特徴とする画像処理装置の制御方法。
10. 請求項９に記載の画像処理装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images