JP2013038454A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】２台のカメラモジュールのそれぞれを右眼用画像および左眼用画像を撮像するカメラモジュールとして対応付けできるようにする。
【解決手段】ユーザ指示実行部３５は、表示部１３にユーザから見て左側のカメラモジュール２１−１に手をかざすことを促す画像を表示させる。輝度分布解析部３２は、２台のカメラモジュール２１−１，２１−２により撮像された、画像取得部３１−１，３１−２により取得される第１の画像、および第２の画像のそれぞれの輝度平均値の差分絶対値を所定の閾値と比較する。画像切替部３３は、比較結果に基づいて、差分絶対値が所定の閾値よりも大きい場合、第１の画像の方が輝度平均値が小さいとき、第１の画像を右眼用画像として右眼用画像出力端子３３ｂより出力し、第２の画像を左眼用画像として左眼用画像出力端子３３ａより出力する。本技術は、ステレオカメラに適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、２台のカメラモジュールを１のステレオカメラとして使用する場合における、２台のカメラモジュールのそれぞれを右眼用画像および左眼用画像を撮像するカメラモジュールとして対応付けできるようにした画像処理装置および方法、並びにプログラムに関する。

近年、３Ｄ（３次元立体視）テレビジョンが実用化され、立体視を実現させるためのステレオ画像（左右カメラ間の視差を有する画像）を撮像する撮像装置（ステレオカメラ）が実用化されている。

こうした状況下において、安価で汎用的なカメラモジュールを用いて、ステレオカメラを実現させることが求められている。

ステレオカメラによるステレオ撮像を実現するには、少なくとも左右のカメラモジュールがそれぞれ左眼用画像、および右眼用画像のいずれを撮像しているかを識別するといった調整が必要である。このようなステレオカメラによるステレオ撮像に際して必要とされる調整技術が提案されている（特許文献１参照）。

特開平１０−３３６７０１

しかしながら、特許文献１に記述されているような調整技術を実現するには大掛かりな構成の装置が必要であり、安価で汎用的なカメラモジュールを用いてステレオカメラを実現させるには、コスト高となる。そこで、安価で汎用的なカメラモジュールによるステレオカメラを実現させるためには、より簡易な手法で左右の画像を特定できる技術が求められることになる。

既存技術を用いて簡易にステレオカメラを実現するには、２台のカメラモジュールを統合し、１つにモジュール化したステレオカメラが一般的に用いられている。こうした構成の場合、当然ながら２個のそれぞれのカメラを独立して使用することはできない。すなわち、ステレオ画像を撮像する場合においては、対象物までの距離や、求められる視差量に応じて、ベースラインを変更することが効果的であるが、１つにモジュール化した構成の場合、カメラ間の間隔（ベースライン）を自由に変更することは必ずしも実現できない構成であることもある。もちろん、ベースラインを変更可能な形で１つのモジュールへとまとめる構成もあるが、これは構成が複雑となるため、コストの増大を招いてしまう。

そこで、２台のカメラモジュールを固定可能な治具を用い、汎用の２台のカメラを固定し、ステレオ画像を撮像する手法が考えられる。このとき、カメラモジュールを機器に接続する際、２台のカメラモジュールそれぞれのどちらがステレオカメラにおける左眼画像用の左カメラ、および右眼画像用の右カメラに対応するかを対応付ける必要がある。

本技術はこのような状況に鑑みてなされたものであり、特に、２台のカメラモジュールを統合し、１つにモジュール化した簡易なステレオカメラを構成するような場合、ステレオカメラにおける２台のカメラモジュールにより撮像された画像が、それぞれ左眼用画像、または右眼用画像のいずれに対応するかを容易に対応付けられるようにするものである。

本技術の一側面の画像処理装置は、３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部と、前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部と、前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部と、前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部とを含む。

前記撮像部のうち、前記左眼用画像、または前記右眼用画像を撮像する方を手でかざすように促す提示部をさらに含ませるようにすることができ、前記比較部には、前記撮像部により撮像された前記第１の画像、および前記第２の画像のそれぞれの輝度、または彩度を比較させ、前記判定部には、前記第１の画像、および前記第２の画像のうち、前記比較部の比較結果が、前記輝度、または前記彩度が低い方を、前記提示部により手をかざすように促した左眼用画像、または右眼用画像であると判定させるようにすることができる。

前記比較部には、前記第１の画像における所定の位置における所定のサイズのブロックを抽出し、抽出したブロックを、前記第２の画像上でテンプレートマッチングし、一致するブロックの前記第２の画像上の位置と、前記所定のブロックの前記第１の画像上の位置とを比較させ、前記判定部には、一致するブロックの前記第２の画像上の位置と、前記所定のブロックの前記第１の画像上の位置との左右の関係から、前記第１の画像、および前記第２の画像を、左眼用画像、または右眼用画像であると判定させるようにすることができる。

本技術の一側面の画像処理方法は、３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部における、前記３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像ステップと、前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部における、前記撮像ステップの処理により撮像された前記第１の画像、および前記第２の画像とを比較する比較ステップと、前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部における、前記比較ステップの処理での比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定ステップと、前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部における、前記判定ステップの処理での判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力ステップとを含む。

本技術の一側面のプログラムは、３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部と、前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部と、前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部と、前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部とを含む画像処理装置を制御するコンピュータに、前記撮像部における、前記３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像ステップと、前記比較部における、前記撮像ステップの処理により撮像された前記第１の画像、および前記第２の画像とを比較する比較ステップと、前記判定部における、前記比較ステップの処理での比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定ステップと、前記出力部における、前記判定ステップの処理での判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力ステップとを含む処理を実行させる。

本技術の一側面においては、３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像がそれぞれ撮像され、撮像された前記第１の画像、および前記第２の画像とが比較され、比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかが判定され、判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像として出力される。

本技術の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本技術の一側面によれば、２個のカメラモジュールよりステレオ画像を撮像するステレオカメラを構成する際に、それぞれのカメラモジュールにより撮像される画像を、左眼用画像、および右眼用画像に対応付けることが可能となる。

本技術を適用した画像処理部の第１の実施の形態の構成例を示すブロック図である。 図１の画像処理部における左右画像認識処理を説明するフローチャートである。 図１の画像処理部における左右画像認識処理を説明する図である。 本技術を適用した画像処理部の第２の実施の形態の構成例を示すブロック図である。 図４の画像処理部における左右画像認識処理を説明するフローチャートである。 図４の画像処理部における左右画像認識処理を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（輝度差により左眼用画像と右眼用画像とを判定する場合の一例）
２． 第２の実施の形態（ずれにより左眼用画像と右眼用画像とを判定する場合の一例）

＜１．第１の実施の形態＞
［画像処理部の構成例］
図１は、本技術を適用した画像処理部の第１の実施の形態の構成例を示している。図１の画像処理部１２は、カメラモジュール２１−１，２１−２が固定治具１１により固定されることで、１つのモジュール化されたステレオカメラとして機能するとき、撮像される２枚の画像をそれぞれ左眼用画像および右眼用画像として対応付けて出力する。

より詳細には、カメラモジュール２１−１，２１−２は、固定治具１１により水平方向に離れた状態で固定されている。そして、カメラモジュール２１−１，２１−２は、固定治具１１に対して着脱可能な構成となっており、対象物までの距離や求められる視差などは変更することができない構成となっている。ただし、カメラモジュール２１−１，２１−２は、固定治具１１に対して、対象物までの距離や求められる視差などを変更できる構成としてもよく、この場合、それらを固定して使用するものとする。さらに、カメラモジュール２１−１，２１−２は、例えば、水平方向６４０画素×垂直方向４８０画素のサイズの画像を撮像して、それぞれ無線、または有線からなる通信経路２２−１，２２−２を介して画像処理部１２に出力する。通信経路２２−１，２２−２は、例えば、USB（Universal Serial Bus）に代表されるような汎用シリアルバス等のケーブルによる有線からなる通信経路でもよいし、IEEE（Institute of Electrical and Electronic Engineers）802.11に代表されるような無線LAN（Local Area Network）などの無線からなる通信経路でもよい。尚、カメラモジュール２１−１，２１−２、および通信経路２２−１，２２−２は、それぞれ特に区別する必要が無い場合、単に、カメラモジュール２１、および通信経路２２と称するものとし、その他の構成についても同様に称するものとする。また、カメラモジュール２１により撮像される画像のサイズについては、水平方向６４０画素×垂直方向４８０画素以外のサイズでもよいことはいうまでもない。

画像処理部１２は、通信経路２２−１，２２−２を介して入力された、２枚の画像を、それぞれ左眼用画像、および右眼用画像として対応付けて出力する。

表示部１３は、画像処理部１２により制御され、指示メッセージをユーザに対して提示する。表示部１３としては、LCD（Liquid Crystal Display）のような表示装置に限らず、後述するように手をかざすように促すタイミングが示せればよいので、例えば、単純に点灯または消灯による２通りの表現のみが可能な、信号装置等を用いてもよい。

画像処理部１２は、より詳細には、画像取得部３１−１，３１−２、輝度分布解析部３２、画像切替部３３、操作部３４、およびユーザ指示実行部３５を備えている。画像取得部３１−１，３１−２は、それぞれ通信経路２２−１，２２−２を介してカメラモジュール２１−１，２１−２により撮像された画像を取得し、輝度分布解析部３２、および画像切替部３３に供給する。

輝度分布解析部３２は、画像取得部３１−１，３１−２よりそれぞれ供給されてくる画像の輝度分布を解析し、ユーザによる動作の有無を検出すると共に、それぞれの画像により得られる輝度分布である輝度平均値を検出結果として画像切替部３３に供給する。

画像切替部３３は、輝度分布解析部３２より供給されてくる画像取得部３１−１，３１−２より供給されてくる２枚の画像について、輝度分布解析部３２より供給されてくる検出結果に基づいて、それぞれを左眼用画像および右眼用画像のいずれか判定する。より詳細には、画像切替部３３は、左右判定部４１を備えており、左右判定部４１は、それぞれの輝度平均値に基づいて、ユーザによる動作があったとみなされた画像と、動作のない画像とに基づいて、それぞれを左眼用画像および右眼用画像のいずれか判定する。そして、画像切替部３３は、判定した左眼用画像および右眼用画像を、それぞれ左眼用画像出力端子３３ａおよび右眼用画像出力端子３３ｂより出力する。尚、画像切替部３３は、入力された２枚の画像に対して、左眼用画像であるか右眼用画像であるかを対応付て出力できればよいので、画像信号を伝送するデジタル信号そのものをセレクタ回路等により電気的に切り替えて出力するようにしてもよい。また、画像切替部３３は、マイクロプロセッサやDSP（Digital Signal Processor）により参照するフレームメモリの番地をソフトウェア的に切り替えるようにして左眼用画像および右眼用画像をそれぞれ出力するようにしてもよい。

操作部３４は、操作ボタンなどからなり、図２を参照して説明する左右画像認識処理の開始を指示するとき操作され、操作に応じた操作信号を発生して、輝度分布解析部３２、およびユーザ指示実行部３５に供給する。

ユーザ指示実行部３５は、操作部３４からの操作信号に基づいて、ユーザに対して、左眼用画像を撮像するカメラモジュール２１−１、または右眼用画像を撮像するカメラモジュール２１−２のいずれかをかざすようなアクションを求めるメッセージを表示部１３に表示させる。

［左右画像認識処理］
次に、図２のフローチャートを参照して、図１の画像処理部１２による左右画像認識処理について説明する。

ステップＳ１において、操作部３４は、ユーザにより左右画像認識処理を開始する操作がなされたか否かを判定し、操作がなされたと判定されるまで、同様の処理を繰り返す。そして、ステップＳ１において、ユーザにより左右画像認識処理の開始を指示するため、操作部３４が操作されると、左右画像認識処理の開始を指示する信号を輝度分布解析部３２、およびユーザ指示実行部３５に供給する。

ステップＳ２において、ユーザ指示実行部３５は、例えば、図３の右上部で示されるような「あなたから見て左側のカメラに手をかざしてください」といったユーザ指示メッセージを表示部１３に表示させ、ユーザＨに対して提示する。

ステップＳ３において、画像取得部３１−１，３１−２は、それぞれ通信経路２２−１，２２−２を介してカメラモジュール２１−１，２１−２により撮像された、新たなフレームの画像を取得し、それぞれ輝度分布解析部３２および画像切替部３３に供給する。

ステップＳ４において、輝度分布解析部３２は、画像取得部３１−１，３１−２より供給されてくる画像における画素単位の輝度値の平均値である輝度平均値I１（ｔ），I２（ｔ）をそれぞれ輝度分布の解析結果として求める。

ステップＳ５において、輝度分布解析部３２は、輝度平均値I１（ｔ），I２（ｔ）に基づいて、ユーザによるアクション、すなわち、カメラに手がかざされたか否かを判定する。より詳細には、輝度分布解析部３２は、輝度平均値の差分絶対値｜Ｉｄｉｆ（ｔ）｜（＝｜I１（ｔ）−I２（ｔ）｜）を求めて所定の閾値よりも高いか否かに基づいて、ユーザによるアクション、すなわち、カメラに手がかざされたか否かを判定する。すなわち、例えば、図３の左部で示されるように、ユーザＨが点線で示される自らの手ＬＨを、自ら見て左側に存在するカメラモジュール２１−１にかざしていない状態であったとすると、輝度値平均I１（ｔ），I２（ｔ）は、いずれもほぼ等しい状態となる。したがって、輝度平均値の差分絶対値｜Ｉｄｉｆ（ｔ）｜はほぼゼロとなるため、ステップＳ５において、このようにアクションがない、すなわち、カメラモジュール２１−１，２１−２のいずれに対しても手がかざされていない場合、アクションが無いものとみなされて、処理は、ステップＳ３に戻る。すなわち、ステップＳ５において、アクションがあるとみなされるまで、ステップＳ３乃至Ｓ５の処理が繰り返される。

そして、ステップＳ５において、例えば、図３の左部における、ユーザＨが実線で示される手ＬＨ’で示されるように、自ら見て左側に存在するカメラモジュール２１−１の撮像方向がかざされると、カメラモジュール２１−１により撮像される画像は全体として暗い画像となる。したがって、このような場合、図３の右下部で示されるように、カメラモジュール２１−１により撮像された画像の平均輝度値Ｉ１（ｔ）は、カメラモジュール２１−２により撮像された画像の平均輝度値Ｉ２（ｔ）よりも低くなる。図３の右下部では、縦軸に輝度平均値が示され、横軸に時刻が示された時系列の輝度平均値の波形が示されており、時刻ｔ１乃至ｔ２におけるタイミングで、図３の左部で示されるように、カメラモジュール２１−１が手ＬＨ’によりかざされていることが示されている。したがって、時刻ｔ２以降においては、輝度平均値の差分絶対値｜Ｉｄｉｆ（ｔ）｜（＝｜I１（ｔ）−I２（ｔ）｜）は、所定の閾値よりも高い値となるので、ステップＳ５において、アクションがあった、すなわち、カメラモジュール２１−１に手がかざされたことが認識され、処理は、ステップＳ６に進む。

ステップＳ６において、輝度分布解析部３２は、平均輝度値I１（ｔ），I２（ｔ）を、それぞれの画像を識別する情報として画像切替部３３に供給する。画像切替部３３は、左右判定部４１を制御して、画像取得部３１−１，３１−２よりそれぞれ供給されてくる画像を、左眼用画像および右眼用画像のいずれかに判定させる。より詳細には、左右判定部４１は、平均輝度値が低い画像の識別信号を、カメラモジュール２１−１により撮像されている右眼用画像と判定する。すなわち、ユーザから見て左側に見えるカメラモジュール２１−１は、カメラモジュール２１−１，２１−２からなるステレオカメラモジュールにおける、右側に対応する視野の右眼用画像を撮像することになる。同様に、ユーザから見て右側に見える、カメラモジュール２１−２は、輝度平均値が高い、ステレオカメラモジュールにおける、左側に対応する視野の左眼用画像を撮像することになる。

ステップＳ７において、画像切替部３３は、左右判定部４１の判定結果に基づいて、画像取得部３１−１，３１−２よりそれぞれ供給されてくる画像のうち、左眼用画像とみなされた画像を左眼用画像出力端子３３ａより出力し、右眼用画像とみなされた画像を右眼用画像出力端子３３ｂより出力する。

すなわち、図３の場合、カメラモジュール２１−１により撮像された、画像取得部３１−１からの画像の平均輝度値Ｉ１（ｔ）の方が、カメラモジュール２１−２により撮像された、画像取得部３１−１からの画像の平均輝度値Ｉ２（ｔ）よりも小さい。このため、画像取得部３１−１より供給されてくる画像が、右眼用画像として右眼用画像出力端子３３ｂより出力され、画像取得部３１−２より供給されてくる画像が、左眼用画像として左眼用画像出力端子３３ａより出力される。

以上の処理により、カメラモジュール２１−１，２１−２により撮像される画像を、それぞれ左眼用画像、および右眼用画像のいずれかに識別することが可能となる。尚、以上においては、ユーザから見て左側のカメラモジュール２１−１を手でかざすようにユーザ指示する例について説明してきたが、当然の如く、ユーザから見て右側のカメラモジュール２１−２を手でかざすようにユーザ指示するようにしてもよく、この場合、左右の認識、すなわち、平均輝度値Ｉ１（ｔ），Ｉ２（ｔ）の大小関係は反転することになる。また、以上においては、平均輝度値の差分絶対値が所定の閾値よりも大きいときにユーザによりアクションがあったものとみなし、そのときの平均輝度値の大小関係から左右を認識するようにしてきたが、例えば、手がかざされたカメラモジュール２１により撮像される画像内に手の画像が認識できたとき、アクションがあったものとみなし、手の画像が撮像されたカメラモジュール２１により左右を認識するようにしてもよい。このような場合、学習による手の画像の画像認識技術が必要となる。このような画像認識技術については、例えば、「SVMと逐次学習を併用したHOG特徴による手形状認識手法」，電子情報通信学会, IEICE technical report 109(471), 459-464, 2010-03-15を参照されたい。また、以上においては、２枚の画像の平均輝度値を用いた例について説明してきたが、手がかざされたことが認識できればよいので、２枚の画像の平均彩度や、平均輝度値と平均彩度とを組み合わせるようにしてもよい。

＜２．第２の実施の形態＞
［画像処理部のその他の構成例］
以上においては、カメラモジュールに手をかざすといった、ユーザによるアクションを要求し、そのアクションに応じて左眼用画像および右眼用画像を認識できるようにする例について説明してきたが、認識方法はこれ以外でもよい。すなわち、例えば、２枚の画像の視差のずれを求め、その視差のずれに基づいて、ユーザによるアクションを要求することなく、画像のみから左眼用画像および右眼用画像を認識できるようにしてもよい。

図４は、視差のずれを用いて、画像のみから左眼用画像および右眼用画像を認識できるようにした画像処理部１２の構成例を示している。尚、図４において、図１の画像処理部１２と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。

図４の画像処理部１２において、図１の画像処理部１２と異なる点は、輝度分布解析部３２、操作部３４、およびユーザ指示実行部３５、並びに画像切替部３３に代えて、視差方向検出部５１を備え、視差方向検出部５１に対応した画像切替部５２を設けた点である。

視差方向検出部５１は、入力された２枚の画像間の特徴点の対応をブロック単位でテンプレートマッチングにより求めることによって、画像間で統計的にどちらの方向に視差が付いているかずれ評価値として求め、求めたずれ評価値の情報を画像切替部５２に供給する。

画像切替部５２は、左右判定部６１を備えており、視差方向検出部５１より供給されてくるずれ評価値の情報に基づいて、画像取得部３１−１，３１−２より供給されてくる画像を、左眼用画像および右眼用画像に対応付けさせる。画像切替部５２は、左右判定部６１の判定結果に基づいて、画像取得部３１−１，３１−２より供給されてくる画像のうち左眼用画像を左眼用画像出力端子５２ａより出力し、右眼用画像を右眼用画像出力端子５２ｂより出力する。

［左右画像認識処理］
次に、図５のフローチャートを参照して、図４の画像処理部１２による左右画像認識処理について説明する。

ステップＳ１１において、画像取得部３１−１，３１−２は、それぞれ通信経路２２−１，２２−２を介して、カメラモジュール２１−１，２１−２により撮像される画像を取得し、視差方向検出部５１および画像切替部５２に供給する。

ステップＳ１２において、視差方向検出部５１は、画像取得部３１−１，３１−２より供給された画像を、例えば、１６画素×１６画素などのブロック単位で分割する。この各ブロックがテンプレートとされる。尚、ブロックサイズは、これに限るものではなく、このサイズと異なるサイズであってもよい。

ステップＳ１３において、視差方向検出部５１は、画像取得部３１−１より供給されてくる画像のうち、未処理のブロックを基準領域として、画像取得部３１−２より供給されてくる画像の各ブロックに対してテンプレートマッチングし、画像取得部３１−２より供給されてくる画像上に対応領域を検索する。尚、テンプレートマッチングの具体的手法については、例えば、「コンピュータ画像処理」，田村秀行 編著，オーム社出版局，8.2 ２次元画像照合による位置検出，p252-259, ISBN4-274-13264-1を参照されたい。

ステップＳ１４において、視差方向検出部５１は、テンプレートマッチングにより検索された画像取得部３１−１より供給されてくる画像における基準領域に対応する、画像取得部３１−２より供給されてくる画像上の対応領域の相互の水平方向の差分を求める。より詳細には、例えば、図６で示されるように、画像取得部３１−１より供給されてくる画像Ｐ１における基準領域Ｚ０となるブロックの左上の座標が（ｘｎ，ｙｎ）であり、画像取得部３１−２より供給されてくる画像Ｐ２における対応領域Ｚ１となるブロックの左上座標が（ｘｎ’，ｙｎ’）であるとき、視差方向検出部５１は、水平方向の差分を（ｘｎ’−ｘｎ）として算出し、この値を記憶する。

ステップＳ１５において、視差方向検出部５１は、画像取得部３１−１より供給されてくる画像内に未処理のブロックが存在するか否かを判定し、未処理のブロックが存在する場合、処理は、ステップＳ１３に戻る。すなわち、画像取得部３１−１より供給されてくる画像上の全てのブロックが基準領域とされ、画像取得部３１−２より供給されてくる画像に対して対応領域が検出され、それらの水平方向の差分が全て求められるまで、ステップＳ１３乃至Ｓ１５の処理が繰り返される。そして、ステップＳ１５において、未処理のブロックがないとみなされた場合、処理は、ステップＳ１６に進む。

ステップＳ１６において、視差方向検出部５１は、求められた水平方向の差分の平均値を求め、これを画像間のずれの評価値とし、画像切替部５２に供給する。すなわち、視差方向検出部５１は、ブロック数ｎがＮ個（ｎ＝０乃至Ｎ−１）であった場合、以下の式で示される演算を実行することによりずれの評価値を算出する。

ここで、Ｅは画像間のずれの評価値、Ｎはブロック数、ｎはブロックの識別子である。このように、水平方向が統計的に平均値として求められることにより、テンプレートマッチングによるエラーを統計的に低減することが可能となる。尚、テンプレートマッチングにおいて、マッチング領域の輝度の分散などを併せて求めるようにして、信頼度を求めておき、信頼度の高い水平方向の差分だけの平均値をずれの評価値とするようにしてもよい。

ステップＳ１７において、画像切替部５２は、左右判定部６１を制御して、ずれの評価値Ｅに基づいて、画像取得部３１−１，３１−２のそれぞれより供給されてくる画像が、左眼用画像および右眼用画像のいずれであるかを判定させる。すなわち、図６で示されるような画像Ｐ１，Ｐ２間のずれ評価値ＥがＥ＜０である場合、画像Ｐ２の対応点が画像Ｐ１の基準領域に対して統計的に左側に位置していることになるので、画像Ｐ１は左眼用画像であり、画像Ｐ２は右眼用画像であることになる。逆に、画像Ｐ１，Ｐ２間のずれ評価値ＥがＥ＞０である場合、画像Ｐ２の対応点が画像Ｐ１の基準領域に対して統計的に右側に位置していることになるので、画像Ｐ１は左眼用画像であり、画像Ｐ２は右眼用画像であることになる。左右判定部６１は、以上のようにずれ評価値Ｅの正負に基づいて、画像取得部３１−１，３１−２のそれぞれより供給されてくる画像が、左眼用画像および右眼用画像のいずれであるかを判定する。

ステップＳ１８において、画像切替部５２は、左右判定部６１の判定結果に基づいて、画像取得部３１−１，３１−２のそれぞれからの画像を切り替えて、左眼用画像を左眼用画像出力端子５２ａより出力し、右眼用画像を右眼用画像出力端子５２ｂより出力する。

以上の処理により、ユーザのアクションを求めることなく、２枚の画像のみから、左眼用画像および右眼用画像を認識して、認識結果に応じて出力することが可能となる。尚、図４の画像処理部１２を使用する際、２枚の画像を撮像するのに用いた２台のカメラモジュール２１−１，２１−２は、水平方向に異なるｘ座標に配置された構成（水平方向の基線長）であることが前提となる。また、テンプレートマッチング処理には、正規化相関など、２枚の画像間の明るさの影響が低減される手法で行われることが望ましい。

さらに、図４の画像処理部１２は、ユーザのアクションを伴わないため、よりユーザの負担を軽減した形で、左右のカメラモジュール２１により撮像される画像の対応付けを実現することができる。しかしながら、２台のカメラモジュール２１から構成されるステレオカメラは、光軸が平行、すなわち無限遠方に対する輻輳角がゼロとなることが望ましいが、これが大きくずれてしまう場合もある。つまり「輻輳角のずれが引き起こす画像間のずれ量」が、「基線長によるずれ量」を上回ってしまう可能性がある。このような場合、図４の画像処理部１２は、必ずしも適切に左右の画像を認識することができない。一方、図１の画像処理部１２は、光軸のずれには影響されず、位置および回転ずれがかなり大きく、「輻輳角のずれが引き起こす画像間のずれ量」が、「基線長によるずれ量」を上回ってしまうような場合においても、適切に左右の画像を識別することが可能である。このように、用途、環境等を含めた条件に応じて、実現方法を変えることが望ましい。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

尚、本技術は、以下のような構成も取ることができる。
（１）
３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部と、
前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部と、
前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部と、
前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部と
を含む画像処理装置。
（２）
前記撮像部のうち、前記左眼用画像、または前記右眼用画像を撮像する方を手でかざすように促す提示部をさらに含み、
前記比較部は、前記撮像部により撮像された前記第１の画像、および前記第２の画像のそれぞれの輝度、または彩度を比較し、
前記判定部は、前記第１の画像、および前記第２の画像のうち、前記比較部の比較結果が、前記輝度、または前記彩度が低い方を、前記提示部により手をかざすように促した左眼用画像、または右眼用画像であると判定する
（１）に記載の画像処理装置。
（３）
前記比較部は、前記第１の画像における所定の位置における所定のサイズのブロックを抽出し、抽出したブロックを、前記第２の画像上でテンプレートマッチングし、一致するブロックの前記第２の画像上の位置と、前記所定のブロックの前記第１の画像上の位置とを比較し、
前記判定部は、一致するブロックの前記第２の画像上の位置と、前記所定のブロックの前記第１の画像上の位置との左右の関係から、前記第１の画像、および前記第２の画像を、左眼用画像、または右眼用画像であると判定する
（１）に記載の画像処理装置。
（４）
３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部における、前記３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像ステップと、
前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部における、前記撮像ステップの処理により撮像された前記第１の画像、および前記第２の画像とを比較する比較ステップと、
前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部における、前記比較ステップの処理での比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定ステップと、
前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部における、前記判定ステップの処理での判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力ステップと
を含む画像処理方法。
（５）
３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部と、
前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部と、
前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部と、
前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部と
を含む画像処理装置を制御するコンピュータに、
前記撮像部における、前記３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像ステップと、
前記比較部における、前記撮像ステップの処理により撮像された前記第１の画像、および前記第２の画像とを比較する比較ステップと、
前記判定部における、前記比較ステップの処理での比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定ステップと、
前記出力部における、前記判定ステップの処理での判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力ステップと
を含む処理を実行させるプログラム。

１１ 固定治具， １２ 画像処理部， １３ 表示部， ２１，２１−１，２１−２ カメラモジュール， ２２−１，２２−２ 通信経路， ３１，３１−１，３１−２ 画像取得部， ３２ 輝度分布解析部， ３３ 画像切替部， ３３ａ 左眼用画像出力端子， ３３ｂ 右眼用画像出力端子， ３４ 操作部， ３５ ユーザ指示実行部， ４１ 左右判定部， ５１ 視差方向検出， ５２ 画像切替部， ６１ 左右判定部

Claims (5)

1. ３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部と、
   前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部と、
   前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部と、
   前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部と
   を含む画像処理装置。
2. 前記撮像部のうち、前記左眼用画像、または前記右眼用画像を撮像する方を手でかざすように促す提示部をさらに含み、
   前記比較部は、前記撮像部により撮像された前記第１の画像、および前記第２の画像のそれぞれの輝度、または彩度を比較し、
   前記判定部は、前記第１の画像、および前記第２の画像のうち、前記比較部の比較結果が、前記輝度、または前記彩度が低い方を、前記提示部により手をかざすように促した左眼用画像、または右眼用画像であると判定する
   請求項１に記載の画像処理装置。
3. 前記比較部は、前記第１の画像における所定の位置における所定のサイズのブロックを抽出し、抽出したブロックを、前記第２の画像上でテンプレートマッチングし、一致するブロックの前記第２の画像上の位置と、前記所定のブロックの前記第１の画像上の位置とを比較し、
   前記判定部は、一致するブロックの前記第２の画像上の位置と、前記所定のブロックの前記第１の画像上の位置との左右の関係から、前記第１の画像、および前記第２の画像を、左眼用画像、または右眼用画像であると判定する
   請求項１に記載の画像処理装置。
4. ３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部における、前記３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像ステップと、
   前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部における、前記撮像ステップの処理により撮像された前記第１の画像、および前記第２の画像とを比較する比較ステップと、
   前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部における、前記比較ステップの処理での比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定ステップと、
   前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部における、前記判定ステップの処理での判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力ステップと
   を含む画像処理方法。
5. ３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像部と、
   前記撮像部により撮像された前記第１の画像、および前記第２の画像とを比較する比較部と、
   前記比較部の比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定部と、
   前記判定部の判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力部と
   を含む画像処理装置を制御するコンピュータに、
   前記撮像部における、前記３次元立体視可能な右眼用画像および左眼用画像を構成する第１の画像、および第２の画像をそれぞれ撮像する撮像ステップと、
   前記比較部における、前記撮像ステップの処理により撮像された前記第１の画像、および前記第２の画像とを比較する比較ステップと、
   前記判定部における、前記比較ステップの処理での比較結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれが前記右眼用画像または前記左眼用画像のいずれであるかを判定する判定ステップと、
   前記出力部における、前記判定ステップの処理での判定結果に基づいて、前記第１の画像、および前記第２の画像のそれぞれを前記右眼用画像または前記左眼用画像として出力する出力ステップと
   を含む処理を実行させるプログラム。

Images