JP2011205587A - マルチバンドステレオ撮像装置 - Google Patents

Abstract

【課題】高い色再現性を有し且つ被写体の３次元位置情報を有するマルチバンドステレオ画像を取得する。
【解決手段】第１及び第２の撮像部１１０ａ，１１０ｂは少なくとも１つが同一又はほぼ同一であり、少なくとも１つが互いに異なる特定の波長帯の光を透過する色成分分離フィルタを有する。対応点算出部２４０は同一又はほぼ同一の色成分分離フィルタを用いて得られた色分解画像より対応点を算出し、視差算出部２５０及び被写体距離算出部２６０はその対応点に基づいて被写体距離情報を求める。画像合成部２７０は、前記同一又はほぼ同一及び前記異なる色成分分離フィルタを用いて得られた複数の色分解画像と被写体距離情報を合成してマルチバンドステレオ画像を生成する。
【選択図】図１

Description

本発明は複数の撮像手段を有するマルチバンドステレオ撮像装置に関する。

一般に、複数の撮像手段を有する撮像装置を用いると、得られた複数枚の画像から、その視差を算出することにより、被写体までの距離を求めることができる。この様な複数の撮像手段を有し被写体の３次元位置情報を有する画像（以下、ステレオ画像と称する）を取得するステレオ撮像装置の技術が、例えば特許文献１に開示されている。
また、撮像装置を用いて被写体のカラー画像を取得する際には、一般に、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色（バンド）に色分解した情報を取得し、それに基づいてフルカラー画像を構築する。これに対して、４色以上に色分解した情報を取得し、それに基づいてフルカラー画像を構築する方が、得られる画像の色再現性が向上することが知られている。このような、４色以上に色分解した画像の情報に基づいて高い色再現性を有するマルチバンド画像を取得するマルチバンド撮像装置の技術が、例えば特許文献２に開示されている。

再表２００６−０６８１２９号公報 特開２００８−１３６２５１号公報

前記背景技術に基づくと、高い色再現性を有し且つ被写体の３次元位置情報を有するマルチバンドステレオ画像を取得できるマルチバンドステレオ撮像装置は、例えば特許文献２に開示されているようなマルチバンド撮像装置の撮像手段を、例えば特許文献１に開示されているように複数設けることにより実現できると考えられる。しかしながら、通常の３バンドの撮像手段に比べて、４バンド以上のマルチバンド撮像手段では、バンド数が多いため、同一画素数の撮像素子を用いてバンド数を増やそうとすると、１バンドあたりに割当てられる画素数が少なくなり好ましくない。逆に１バンドあたりに割当てられる画素数を同一にしようとすると、撮像素子全体の画素数を増やす必要があったり、若しくは同一の画素で複数のバンドの情報を取得するための手段を設ける必要があったりする。そのため後者の場合、通常の３バンドの撮像手段に比べて、４バンド以上のマルチバンド撮像手段は、構造が複雑となり、また、扱う情報量も大きくなる。従って、このようなマルチバンド撮像手段を複数設けるマルチバンドステレオ撮像装置は、大掛かりで煩雑な装置となってしまう。

また、複数色に色分解した画像情報を取得し、それらを合成する場合、光の波長に依存する色収差によって、色毎に画像がずれることを考慮しなければならない。
そこで本発明は、冗長さと煩雑さとを低減し更に色収差を考慮した、高い色再現性を有し且つ被写体の３次元位置情報を有するマルチバンドステレオ画像を取得できるマルチバンドステレオ撮像装置を提供することを目的とする。

前記目的を果たすため、本発明のマルチバンドステレオ撮像装置の一態様は、それぞれ、互いに重複する少なくとも一つの所定の光波長帯の情報を含む画像及び該互いに重複する所定の光波長帯以外の互いに異なる光波長帯の情報を含む画像を撮像する複数個の撮像手段と、前記複数個の撮像手段により撮像された画像より光波長帯毎に分離した複数の色分離画像を取得する画像取得手段と、前記複数の色分解画像における被写体の同一点に対応する位置情報である対応情報を算出する対応点算出手段と、前記対応情報に基づいて視差情報を算出する視差情報算出手段と、前記視差情報に基づいて前記被写体の各点から当該撮像装置までの距離情報を算出する被写体距離算出手段と、前記対応情報に基づいて前記複数の色分解画像と前記距離情報を合成することで、３次元位置情報を有するマルチバンド画像を生成するマルチバンドステレオ画像生成手段とを具備することを特徴とする。

本発明によれば、複数の撮像手段の各々が取得する色のバンド数は少ないながらも、複数の撮像手段を備えた撮像装置全体では多くのバンド数が確保できるため、冗長さと煩雑さとを低減し、更に複数の撮像手段が取得したそれぞれ十分に重複する色分解画像を用いて各色分解画像間の対応情報を算出し、その対応情報に基づいて３次元位置情報を算出して、各色分解画像と３次元位置情報の合成を行うので色収差による色毎のずれの問題を解決できるため、高い色再現性を有し且つ被写体の３次元位置情報を有するマルチバンドステレオ画像を取得できるマルチバンドステレオ撮像装置を提供できる。

本発明の第１の実施形態に係るマルチバンドステレオ撮像装置の構成の一例を示すブロック図。 本発明の各実施形態に係る赤色光、緑色光、青色光の各色成分を分離する色成分分離フィルタの透過光波長帯の一例を示す図。 本発明の各実施形態に係るマゼンタ光、シアン光の各色成分を分離する色成分分離フィルタの透過光波長帯の一例を示す図。 本発明の第１の実施形態に係る色成分分離フィルタの配置の一例を示す図。 本発明の第１の実施形態に係る色成分毎に分離された光に基づく色分解画像の取得方法の一例を説明する図。 本発明の各実施形態に係る歪曲収差情報を予め取得するための方眼チャートとそれを撮像した画像の一例を示す図。 本発明の各実施形態に係るマルチバンドステレオ撮像装置を用いた視差による被写体距離算出方法の一例を説明する図。 本発明の各実施形態に係るマルチバンドステレオ撮像装置を用いたマルチバンド立体画像と被写体距離との表示の一例を示す図。 本発明の各実施形態に係る緑色光（Ｇ）及び黄色光（Ｙ）の各色成分を分離する色成分分離フィルタの透過光波長帯とその重複波長帯を示す図。 本発明の第２の実施形態に係るステレオ撮像装置の構成の一例を示すブロック図。 本発明の第２の実施形態に係る色成分分離フィルタの構成の一例を示す図。 本発明の第２の実施形態に係る色成分毎に分離された光に基づく色分解画像の取得方法の一例を説明する図。

［第１の実施形態］
まず、本発明の第１の実施形態について図面を参照して説明する。本実施形態に係るマルチバンドステレオ撮像装置は、図１に示す様に、ステレオ配置された第１の撮像部１１０ａと第２の撮像部１１０ｂとを備えるカラー撮像部１００を有する。第１の撮像部１１０ａは、第１の撮像光学系１５０ａと、第１の色成分分離部１６０ａと、第１の撮像素子１７０ａと、第１のＡ／Ｄ変換部１８０ａとを具備する。第２の撮像部１１０ｂは同様に、第２の撮像光学系１５０ｂと、第２の色成分分離部１６０ｂと、第２の撮像素子１７０ｂと、第２のＡ／Ｄ変換部１８０ｂとを具備する。本実施形態に係るステレオ撮像装置は、更に、画像取得部２１０と、画像記憶部２２０と、補正部２３０と、対応点算出部２４０と、視差算出部２５０と、被写体距離算出部２６０と、画像合成部２７０と、表示部２８０とを具備する。

第１の撮像光学系１５０ａ及び第２の撮像光学系１５０ｂは、レンズなどの光学素子を有しており、それぞれ被写体Ｈからの光をカラー撮像部１００に取り込み、第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂをそれぞれ透過させ、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂに導く。

第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂは、特定の色の波長帯の光を透過する色成分分離フィルタを複数有する。第１の色成分分離部１６０ａが有する色成分分離フィルタと第２の色成分分離部１６０ｂが有する色成分分離フィルタとは、少なくともそれぞれ１つが同一又はほぼ同一であり、少なくとも１つが互いに異なっている。本実施形態においては、例えば、第１の色成分分離部１６０ａは、図２に示す人間の視覚特性において緑色光（以下「Ｇ」と称する）として認識される波長帯の光を透過する色成分分離フィルタと、青色光（以下「Ｂ」と称する）として認識される波長帯の光を透過する色成分分離フィルタと、赤色光（以下「Ｒ」と称する）として認識される波長帯の光を透過する色成分分離フィルタとを有する。これに対して、第２の色成分分離部１６０ｂは、前記第１の色成分分離部１６０ａと同一の緑色光として認識される波長帯の光を透過する色成分分離フィルタを有すると共に、第１の色成分分離部１６０ａとは異なる色成分分離フィルタとして、図３（ａ）に示す人間の視覚特性においてマゼンタ色光（以下「Ｍ」と称する）として認識される波長帯の光を透過する色成分分離フィルタと、図３（ｂ）に示す人間の視覚特性においてシアン色光（以下「Ｃｙ」と称する）として認識される波長帯の光を透過する色成分分離フィルタとを有している。これら第１及び第２の色成分分離部１６０ａ，１６０ｂの各色成分分離フィルタは、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂの画素と関連付けて配置されている。

第１の色成分分離部１６０ａにおける色成分分離フィルタの配置の一例を図４（ａ）に、第２の色成分分離部１６０ｂにおける色成分分離フィルタの配置の一例を図４（ｂ）にそれぞれ示す。Ｇ、Ｒ、Ｂ、Ｍ又はＣｙが記入されている正方形の１つが１画素に相当し、それぞれの画素が、色成分分離フィルタを透過した表記されている色の光を受光する。図４（ａ）は所謂ベイヤー配列として知られ、図４（ｂ）はそのベイヤー配列のＲとＢをＭとＣｙにそれぞれ置き換えた配列となっている。

第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂは、第１の撮像光学系１５０ａ及び第２の撮像光学系１５０ｂ並びに第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂを通り入射した光を電気信号に変換し、それを第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂに出力する。

第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂは、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂより入力された画像情報を伝達する電気信号を、Ａ／Ｄ変換し、それを画像取得部２１０に出力する。
また、カラー撮像部１００は、撮像する際の光学系及び露光の条件等の撮像情報を、画像記憶部２２０に出力する。

画像取得部２１０は、第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂより入力された画像情報を伝達するデジタル信号に基づき、各色の色分解画像を取得する。画像取得部２１０は、取得した色分解画像を画像記憶部２２０に出力する。
画像記憶部２２０は、画像取得部２１０より入力された色分解画像と、カラー撮像部１００より入力された該色分解画像を撮像する際の撮像情報とを対応付けて記憶する。また、画像記憶部２２０は、要求に応じて記憶している色分解画像及び撮像情報を補正部２３０に出力する。

補正部２３０は、画像記憶部２２０から入力された色分解画像の歪曲歪みを補正する。補正部２３０は、補正した各色分解画像を画像合成部２７０に出力すると共に、補正した色分解画像のうちそれぞれ同一又はほぼ同一の色成分分離フィルタを用いて第１の撮像部１１０ａ及び第２の撮像部１１０ｂにより撮像された色分解画像を対応点算出部２４０に出力する。また、画像記憶部２２０より入力された撮像情報を、対応点算出部２４０に出力する。

対応点算出部２４０は、補正部２３０から入力された補正した色分解画像に関して、それぞれ同一又はほぼ同一の色成分分離フィルタを利用し第１の撮像部１１０ａを用いて得られた色分解画像と第２の撮像部１１０ｂを用いて得られた色分解画像との対応付けを行い、対応点を算出する。対応点算出部２４０は、得られた対応点情報を、視差算出部２５０及び画像合成部２７０に出力する。

視差算出部２５０は、対応点算出部２４０より入力された対応点情報から、撮像範囲の各点の視差情報を算出する。視差算出部２５０は、算出した視差情報を、前記対応点算出部２４０より入力された撮像情報と共に被写体距離算出部２６０に出力する。
被写体距離算出部２６０は、視差算出部２５０より入力された視差情報を用いて、撮像範囲の各点に対応する被写体から本マルチバンドステレオ撮像装置までの距離である被写体距離を算出する。被写体距離算出部２６０は、算出した被写体距離を画像合成部２７０に出力する。また、補正部２３０より入力された撮像情報を視差算出部２５０に出力する。

画像合成部２７０は、対応点算出部２４０より入力された対応点情報に基づいて、例えば、補正部２３０より入力された補正された色分解画像のうち、第１の撮像部１１０ａにより得られた各色分解画像を合成して生成した画像に、第２の撮像部１１０ｂにより得られた各色分解画像を合成し、高い色再現性を有するマルチバンド画像を生成する。また、被写体距離算出部２６０より入力された被写体距離を、生成したマルチバンド画像に付加することにより、被写体の３次元位置情報を有するマルチバンド画像であるマルチバンドステレオ画像を生成する。画像合成部２７０は、生成したマルチバンドステレオ画像を表示部２８０に出力する。

表示部２８０は、画像合成部２７０より入力された前記生成したマルチバンドステレオ画像を表示する。加えて表示部２８０は、例えば、図示しない領域抽出部によって該マルチバンドステレオ画像中より撮像装置の構成に従い設定される一定領域を抽出し、その抽出したマルチバンドステレオ画像を表示する。
勿論、このように表示部２８０に表示するのではなく、画像合成部２７０で生成したマルチバンドステレオ画像を例えば図示しない記憶部に記憶する様にしても良いことは言うまでもない。

このように、例えば第１の撮像部１１０ａ及び第２の撮像部１１０ｂはそれぞれ撮像手段として機能し、例えば第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂは色成分分離手段として機能し、例えば画像取得部２１０は画像信号取得手段として機能し、例えば対応点算出部２４０は対応点算出手段として機能し、例えば視差算出部２５０は視差情報算出手段として機能し、例えば被写体距離算出部２６０は被写体距離算出手段として機能し、例えば画像合成部２７０はマルチバンドステレオ画像生成手段として機能し、例えば領域抽出部は領域抽出手段として機能し、例えば表示部２８０は表示手段として機能する。また、例えば、緑色光として認識される波長帯の光を透過する色成分分離フィルタは、それぞれ、互いに重複する少なくとも一つの所定の光波長帯の情報を含む画像を撮像するために機能し、青色光、赤色光、マゼンタ色光、シアン色光として認識される波長帯の光をそれぞれ透過する色成分分離フィルタは、互いに重複する所定の光波長帯以外の互いに異なる光波長帯の情報を含む画像を撮像するために機能する。

次に本実施形態に係るステレオ撮像装置の動作を説明する。カラー撮像部１００は、図示しない撮像制御部により制御され、撮像動作をする。この際、第１の撮像光学系１５０ａ及び第２の撮像光学系１５０ｂは、被写体の光を、例えば図４（ａ）及び（ｂ）に示す色成分分離フィルタの配置を有する第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂを透過させ、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂに導く。第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂは、入射した光を電気信号に変換し、それをそれぞれ第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂに出力する。第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂは、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂより入力された画像情報を伝達する電気信号を、Ａ／Ｄ変換し、それを画像取得部２１０に出力する。また、カラー撮像部１００は、撮像する際の光学系及び露光の条件等の撮像情報を、画像記憶部２２０に出力する。この撮像情報は、撮像制御部より画像記憶部２２０に出力するものであっても良い。

画像取得部２１０は、第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂより入力された画像情報を伝達するデジタル信号を入力し、色分解画像を取得する。この際の、第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂによって色成分毎に分離された光に基づく色分解画像の取得例を、図５に示している。図５（ａ）は、第１の撮像部１１０ａの出力信号からの色分解画像の取得例を、図５（ｂ）は、第２の撮像部１１０ｂの出力信号からの色分解画像の取得例をそれぞれ示している。即ち、図５（ａ）に示した第１の撮像部１１０ａでは、縦横それぞれ２画素で構成される４画素ごとに、２画素の緑色光（Ｇ）を受光する画素と、それぞれ１画素の赤色光（Ｒ）を受光する画素と、青色光（Ｂ）を受光する画素が含まれている。そこで画像取得部２１０は、この４画素中の２画素の緑色光（Ｇ）の強度の平均値を４画素にそれぞれ割当て、該４画素の緑色光（Ｇ）の強度とする。同様に、この４画素中の１画素の赤色光（Ｒ）の強度を４画素にそれぞれ割当て、該４画素の赤色光（Ｒ）の強度に、１画素の青色光（Ｂ）の強度を４画素にそれぞれ割当て、該４画素の青色光（Ｂ）の強度にする。このようにして、第１の撮像素子１７０ａの出力に基づいて、緑色光（Ｇ）、赤色光（Ｒ）、青色光（Ｂ）の色分解画像を取得する。同様に、画像取得部２１０は、第２の撮像部１１０ｂの出力に基づいて図５（ｂ）に示す様に、緑色光（Ｇ）、マゼンタ色光（Ｍ）、シアン色光（Ｃｙ）の色分解画像を取得する。この処理は、所謂デモザイキングと呼ばれるものである。画像取得部２１０は、取得した複数の色分解画像を画像記憶部２２０に出力する。

画像記憶部２２０は、画像取得部２１０より入力された複数の色分解画像と、カラー撮像部１００より入力された該色分解画像を撮像する際の撮像情報とを対応付けて記憶する。また、画像記憶部２２０は、例えば表示指令等の要求に応じて、記憶している各色分解画像及び撮像情報を補正部２３０に出力する。

補正部２３０は、例えば、予め図６（ａ）に示す様な方眼チャート等を撮像し、図６（ｂ）に示す様な画像を第１の撮像部１１０ａ及び第２の撮像部１１０ｂそれぞれに関して取得しておく。ここで、図６（ｂ）中の実線は撮像された線、破線は図６（ａ）に示した方眼チャートを示す。この様な方眼チャート等の撮像により、各撮像部毎に歪曲収差情報を予め取得し、それを図示しない歪曲収差情報記憶部に記憶しておく。補正部２３０は、この歪曲収差情報記憶部に記憶された歪曲収差情報を読み出し、該歪曲収差情報と前記撮像情報とにより公知の歪曲収差補正手法を用いて、撮像された各色分解画像の歪曲収差を補正する。補正部２３０は、補正した各色分解画像を画像合成部２７０に出力すると共に、補正した色分解画像のうち第１の撮像部１１０ａ及び第２の撮像部１１０ｂにより撮像された２つの緑色（Ｇ）の色分解画像を対応点算出部２４０に出力する。また、画像記憶部２２０より入力された撮像情報を、対応点算出部２４０に出力する。

本実施形態に係るステレオ撮像装置は、図７に示す様に、第１の撮像部１１０ａ及び第２の撮像部１１０ｂが、間隔Ｌａ＋Ｌｂで固定配置されている。このステレオ撮像装置によって被写体Ｈを撮像すると、第１の撮像部１１０ａによる画像と第２の撮像部１１０ｂによる画像との視差を持った２枚の画像が撮像される。対応点算出部２４０は、補正部２３０から入力された第１の撮像部１１０ａ及び第２の撮像部１１０ｂを用いて得られた共通の色成分を有する色分解画像である緑色光（Ｇ）の補正された色分解画像に関して、該２画像の対応点を算出する。即ち、対応点算出部２４０は、例えば第１の撮像部１１０ａを用いて得られた緑色光（Ｇ）の補正された色分解画像中の所定の面積を有する領域に対して、第２の撮像部１１０ｂを用いて得られた緑色光（Ｇ）の補正された色分解画像の画像における該の対応点を、例えば公知の領域ベースマッチングの手法などを用いて算出する。この様な領域ごとの対応点の算出を該色分解画像全領域、即ち、撮像範囲内の全被写体に関して行う。こうして、対応点算出部２４０は、例えば第１の撮像部１１０ａで撮像されたある被写体Ｈが画像中心からΔａの場所に存在し、第２の撮像部１１０ｂで撮像された当該被写体Ｈが画像中心からΔｂの場所に存在する等、各画像のΔａ及びΔｂ等の対応点の情報を算出する。対応点算出部２４０は、得られた対応点情報を、視差算出部２５０及び画像合成部２７０に出力する。また、補正部２３０より入力された撮像情報を視差算出部２５０に出力する。

次に、視差算出部２５０は、対応点算出部２４０より入力された対応点情報から、視差情報を算出する。視差算出部２５０は、前記視差を持った２枚の色分解画像に対して、対応点算出部２４０より入力された対応点を用いて色分解画像中の各被写体Ｈの視差情報Δａ＋Δｂを算出する。視差算出部２５０は、算出した視差情報を、前記対応点算出部２４０より入力された撮像情報と共に被写体距離算出部２６０に出力する。

被写体距離算出部２６０は、視差算出部２５０より入力された視差情報と撮像情報とを用いて、被写体距離を算出する。撮像範囲内の各被写体Ｈまでの距離Ｈｄｉｓは、被写体Ｈを撮像する時における第１の撮像光学系１５０ａ及び第２の撮像光学系１５０ｂと第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂとの距離Ｋと、第１の撮像部１１０ａ及び第２の撮像部１１０ｂの間隔Ｌａ＋Ｌｂと、視差情報Δａ＋Δｂとを用いて次に示す式(１)で算出することができる。尚、Ｌａ＋Ｌｂは固定値であり、Ｋは撮像情報より取得できる。

被写体距離算出部２６０は、算出した被写体距離を画像合成部２７０に出力する。また、被写体距離Ｈｄｉｓを求めるには、次に示す表１の様な被写体距離Ｈｄｉｓと視差情報Δとが関連づけられたルックアップテーブルを用いてもよい。

画像合成部２７０は、補正部２３０より入力された補正された複数の色分解画像を、対応点算出部２４０より入力された対応点情報に基づいて位置合わせ処理を行う。即ち、例えば、第１の撮像部１１０ａにより得られたＲ色の色分解画像と、Ｇ色の色分解画像と、Ｂ色の色分解画像とにおける、被写体の同一位置の光強度情報を有する画素の対応関係は、図５（ａ）を参照して説明した様に既知である。また、第１の撮像部１１０ａにより得られたＧ色の色分解画像と、第２の撮像部１１０ｂにより得られたＧ色の色分解画像における被写体の同一位置の光強度情報を有する画素の対応関係は、対応点算出部２４０により算出された対応点情報によって明らかになる。更に、第２の撮像部１１０ｂにより得られたＧ色の色分解画像と、Ｃｙ色の色分解画像と、Ｍ色の色分解画像とにおける、被写体の同一位置の光強度情報を有する画素の対応関係は、図５（ｂ）を参照して説明した様に既知である。従って、Ｒ色の色分解画像と、Ｇ色の色分解画像と、Ｂ色の色分解画像と、Ｃｙ色の色分解画像と、Ｍ色の色分解画像とにおける、被写体の同一位置の光強度情報を有する画素の対応関係は全て求まる。従って、これらを用いてマルチバンド画像を生成することが可能である。例えば本実施形態では、第１の撮像部１１０ａにより得られた各色分解画像を合成して生成した画像に、第２の撮像部１１０ｂにより得られた他の各色分解画像の光強度情報を前記の通り位置合せをして合成することで、本実施形態係るマルチバンドステレオ撮像装置は、画像中の２次元位置座標（ｘ、ｙ）の各点において、Ｒ、Ｇ，Ｂ、Ｃｙ、Ｍの５色の光強度情報を有するマルチバンド画像を生成することができる。尚、重複する緑色光（Ｇ）の画像情報は、１枚の画像の情報を用いてもよいし、第１の撮像部１１０ａによって得られた緑色光（Ｇ）の色分解画像情報をＧ１、第２の撮像部１１０ｂによって得られた緑色光（Ｇ）の色分解画像情報をＧ２とした時に、例えば（Ｇ１＋Ｇ２）／２のように平均した画像情報を用いてもよい。

更に、画像合成部２７０は、被写体距離算出部２６０より入力された被写体距離Ｈｄｉｓの情報を、生成したマルチバンド画像情報に付加することによって、３次元位置情報を有するマルチバンド画像であるマルチバンドステレオ画像を生成する。即ち、生成されたマルチバンドステレオ画像の各点は、被写体の３次元位置座標情報（ｘ、ｙ、ｚ）と、Ｒ、Ｇ，Ｂ、Ｃｙ、Ｍの５色の光強度情報とを有する。画像合成部２７０は、生成したマルチバンドステレオ画像を表示部２８０に出力する。

表示部２８０は、例えば画像合成部２７０より入力された第１の撮像部１１０ａにより得られた色分解画像に第２の撮像部１１０ｂにより得られた他の各色分解画像を前記の通り位置合せして合成し作成したマルチバンドステレオ画像を表示する。このマルチバンドステレオ画像の表示は、例えば図示しない領域抽出部によって該マルチバンドステレオ画像中より撮像装置の構成に従い設定される一定領域を抽出し、その領域の例えば最近距離の被写体を主要被写体として被写体距離を、例えば図８の様にその抽出したマルチバンドステレオ画像から３次元位置情報を除いたマルチバンド画像と同時に表示する。

尚、例えば十字キー等図示しない入力装置を介して入力されたユーザーの指示に従い、例えば第１の撮像部１１０ａから被写体を見た場合の画像の様な画像合成部２７０が始めに作成し表示しているマルチバンド画像と異なる、別の視点から被写体を見た場合に得られるマルチバンド画像を、得られたマルチバンドステレオ画像における３次元位置情報に基づいて再構築し、それを表示部２８０に次々と表示するようにしても良い。また、前記の入力装置によりユーザーが指定した画像中の任意の点の被写体距離を表示する様にしても良い。

勿論、このように表示部２８０に表示するのではなく、画像合成部２７０で生成したマルチバンドステレオ画像を例えば図示しない記憶部に記憶する様にしても良い。
尚、本実施形態の説明においては、ステレオ配置されるカラー撮像部１００における第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂの構成を、それぞれＲ、Ｇ、Ｂ及びＭ、Ｇ、Ｃｙとしたが、これに限らず、第１の色成分分離部１６０ａが有する色成分分離フィルタと第２の色成分分離部１６０ｂが有する色成分分離フィルタは、２つの撮像部の視差情報を算出可能な様に少なくとも１つが同一のものであり、色再現性を向上させるために少なくとも１つが異なっていれば、例えばＲ、Ｇ、Ｂ、Ｍ、Ｃｙ、黄色光（Ｙ）やその他の色の組み合わせを用いて、例えば、Ｒ、Ｇ、Ｃｙ及びＭ、Ｇ、Ｂ等の様に構成しても良い。
更に、第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂの共通する波長帯の光を透過する色成分分離フィルタの構成は、図９に示す例えば緑色光（Ｇ）及び黄色光（Ｙ）の様に、異なる波長帯の光を透過する色成分分離フィルタであっても十分に重複する波長帯の光を透過する色成分分離フィルタを用いても良く、この様な十分に重複する波長帯の光を透過する様々な色成分分離フィルタの組み合わせを用いても良い。即ち、完全に同一でなく、ほぼ同一の波長帯の光を透過する色成分分離フィルタを用いても良い。

また、本実施形態の説明では、第１の撮像部１１０ａと第２の撮像部１１０ｂとの２つの撮像部を用いた場合を例に説明を行っているが、３つ以上の複数の撮像部を用いても、前記と同様に、それぞれが少なくとも１つの同一又はほぼ同一の色成分分離フィルタを有し、少なくとも１つの互いに異なる色成分分離フィルタを有すれば良い。

以上のような本実施形態に係るマルチバンドステレオ撮像装置によれば、複数の撮像手段を配設することにより、被写体までの距離を算出可能である。また、被写体までの距離を算出する際には、それぞれの撮像手段に備えられている共通の色成分分離フィルタ又は、十分に重複する波長帯の光を透過する色成分分離フィルタにより得られた同一又はほぼ同一バンドの色分解画像データを用いるので、色収差による対応点算出の誤差がない。更に、それぞれの撮像手段には、異なる波長帯の光を透過する色成分分離フィルタが備えられているので、複数バンドの色分解画像を合成して、高い色再現性を有するマルチバンド画像を生成することができる。この際、それぞれの撮像手段が、異なる波長帯の光を透過する色成分分離フィルタを備えているので、マルチバンド画像を生成するにもかかわらず、各々の撮像手段が有する色成分分離フィルタの数を減らすことができ、冗長さと煩雑さとを低減することができる。従って、本実施形態によれば、冗長さと煩雑さとを低減しつつ色収差を考慮した、色再現性が高く３次元位置情報を有する画像を取得できるマルチバンドステレオ撮像装置を提供することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して説明する。ここで第２の実施形態の説明では、第１の実施形態との相違点に限定して説明する。
第１の実施形態においては、第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂは、図４を参照して説明した通り、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂの画素に対応させた色成分分離フィルタであったが、本実施形態においては、特定の波長帯の光を透過させる色成分分離フィルタを円盤に配置した色成分分離円盤を設置し、この円盤を回転させることにより透過する光の波長帯を切り替える様に構成する。

本実施形態に係る撮像装置の構成例の概略を図１０に示す。尚、第１の実施形態と同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態における第１の色成分分離部１６０ａ及び第２の色成分分離部１６０ｂを、第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂにそれぞれ置き換え、それらに第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂを回転させるための、第１の色成分切り替え駆動部３２０ａ及び第２の色成分切り替え駆動部３２０ｂをそれぞれ設置している。その他の構成は第１の実施形態と同じである。

第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂの一構成例を図１１（ａ）及び図１１（ｂ）にそれぞれ示す。この図の様に、第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂは、特定の波長帯の光を透過する色成分分離フィルタを複数有する。第１の色成分分離円盤３１０ａが有する色成分分離フィルタと第２の色成分分離円盤３１０ｂが有する色成分分離フィルタは、第１の実施形態の場合と同様に、少なくとも１つが同一又はほぼ同一のものであり、少なくとも１つが互いに異なっている。本実施形態においては、例えば、第１の色成分分離円盤３１０ａは、図２に示す人間の視覚特性において緑色光（Ｇ）として認識される波長帯の光を透過する色成分分離フィルタと、青色光（Ｂ）として認識される波長帯の光を透過する色成分分離フィルタと、赤色光（Ｒ）として認識される波長帯の光を透過する色成分分離フィルタとを有し、第２の色成分分離円盤３１０ｂは、緑色光（Ｇ）として認識される波長帯の光を透過する色成分分離フィルタと、マゼンタ色光（Ｍ）として認識される波長帯の光を透過する色成分分離フィルタと、シアン色光（Ｃｙ）として認識される波長帯の光を透過する色成分分離フィルタとを有している。

第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂは、回転することにより、それぞれ１枚の色成分分離フィルタが、第１の撮像部１１０ａ及び第２の撮像部１１０ｂへの光路に挿入されるように設置されている。第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂを回転させるために、これらにはそれぞれ第１の色成分切り替え駆動部３２０ａ及び第２の色成分切り替え駆動部３２０ｂが備えられている。

このように、例えば第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂはそれぞれ色成分分離手段として機能し、例えば第１の色成分切り替え駆動部３２０ａ及び第２の色成分切り替え駆動部３２０ｂは切り替え手段として機能する。
次に本実施形態に係るステレオ撮像装置の動作を説明する。撮像時において、第１の色成分切り替え駆動部３２０ａ及び第２の色成分切り替え駆動部３２０ｂは、第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂを回転させる。この時、第１の色成分切り替え駆動部３２０ａ及び第２の色成分切り替え駆動部３２０ｂは同様に動作する。その結果、複数の色成分分離フィルタが順に第１の撮像部１１０ａ及び第２の撮像部１１０ｂの光路に挿入され、それぞれの色成分分離フィルタを透過した被写体からの光が、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂに到達する。

第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂは、第１の実施形態の場合と同様に、入射した光を電気信号に変換し、それを第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂに出力する。第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂは、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂより入力された画像情報を伝達する電気信号を、Ａ／Ｄ変換し、それを画像取得部２１０に出力する。また、カラー撮像部１００は、撮像時に使用した色成分分離フィルタの情報を画像取得部２１０に、撮像する際の光学系及び露光の条件等の撮像情報を画像記憶部２２０に、それぞれ出力する。この撮像情報は、撮像制御部より画像記憶部２２０に出力するものであっても良い。

画像取得部２１０は、第１のＡ／Ｄ変換部１８０ａ及び第２のＡ／Ｄ変換部１８０ｂより入力された画像情報を伝達するデジタル信号を入力し、色分解画像を取得する。ここで第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂによる色成分毎に分離された光に基づく色分解画像の取得例を図１２に示す。図１２（ａ）は第１の色成分分離円盤３１０ａを用いた第１の撮像部１１０ａの出力信号からの色分解画像の取得例を、図１２（ｂ）は第２の色成分分離円盤３１０ｂを用いた第２の撮像部１１０ｂの出力信号からの色分解画像の取得例をそれぞれ示している。即ち、図１２（ａ）に示す様に第１の撮像部１１０ａにおいては、第１の撮像素子１７０ａの全画素により得られた光強度とカラー撮像部１００より入力された撮像時に光路に挿入された色成分分離フィルタの情報とを対応させて、順次、緑色光（Ｇ）、赤色光（Ｒ）、青色光（Ｂ）の画像情報を出力するので、画像取得部２１０はこれらを色分解画像として順次取得する。同様に第２の撮像部１１０ｂにおいても、図１２（ｂ）に示す様に、緑色光（Ｇ）、マゼンタ色光（Ｍ）、シアン色光（Ｃｙ）の画像情報を出力するので、これらを色分解画像として順次取得する。画像取得部２１０は、これら取得した色分解画像を画像記憶部２２０に出力する。以降の動作は第１の実施形態と同様である。

尚、第１の実施形態の場合と同様に、本実施形態の説明においては、ステレオ配置されるカラー撮像部１００における第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂの構成を、それぞれＲ、Ｇ、Ｂ及びＭ、Ｇ、Ｃｙとしたが、これに限らず、第１の色成分分離円盤３１０ａが有する色成分分離フィルタと第２の色成分分離円盤３１０ｂが有する色成分分離フィルタは、２つの撮像部の視差情報を算出可能な様に少なくとも１つが同一のものであり、色再現性を向上させるために少なくとも１つが異なっていれば、例えばＲ、Ｇ、Ｂ、Ｍ、Ｃｙ、Ｙやその他の色の組み合わせを用いて、例えば、Ｒ、Ｇ、Ｃｙ及びＭ、Ｇ、Ｂ等の様に構成しても良い。

更に、第１の色成分分離円盤３１０ａ及び第２の色成分分離円盤３１０ｂの共通する波長帯の光を透過する色成分分離フィルタの構成は、図９に示す例えば緑色光（Ｇ）及び黄色光（Ｙ）の様に、異なる波長帯の光を透過する色成分分離フィルタであっても十分に重複する波長帯域の光を透過する色成分分離フィルタを用いても良く、この様な十分に重複する波長帯の光を透過する様々な色成分分離フィルタの組み合わせを用いても良い。即ち、完全に同一でなく、ほぼ同一の波長帯の光を透過する色成分分離フィルタを用いても良い。

また、本実施形態の説明では、第１の撮像部１１０ａと第２の撮像部１１０ｂとの２つの撮像部を用いた場合を例に説明を行っているが、３つ以上の複数の撮像部を用いても、それぞれが少なくとも１つの同一又はほぼ同一の色成分分離フィルタを有し、少なくとも１つの互いに異なる色成分分離フィルタを有すれば良い。

本実施形態によれば、第１の実施形態と同様に、冗長さと煩雑さとを低減しつつ色収差を考慮した、色再現性が高く３次元位置情報を有する画像を取得できるステレオ撮像装置を提供することができる。
また、本実施形態によれば、第１の実施形態に比べて、色成分分離フィルタを順次切り替えていくために撮像に時間を要するが、第１の撮像素子１７０ａ及び第２の撮像素子１７０ｂの全画素を、それぞれの色の色分解画像情報の取得に用いることができるため、高い解像度を得ることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００…カラー撮像部、１１０ａ…第１の撮像部、１１０ｂ…第２の撮像部、１５０ａ…第１の撮像光学系、１５０ｂ…第２の撮像光学系、１６０ａ…第１の色成分分離部、１６０ｂ…第２の色成分分離部、１７０ａ…第１の撮像素子、１７０ｂ…第２の撮像素子、１８０ａ…第１のＡ／Ｄ変換部、１８０ｂ…第２のＡ／Ｄ変換部、２１０…画像取得部、２２０…画像記憶部、２３０…補正部、２４０…対応点算出部、２５０…視差算出部、２６０…被写体距離算出部、２７０…画像合成部、２８０…表示部、３１０ａ…第１の色成分分離円盤、３１０ｂ…第２の色成分分離円盤、３２０ａ…第１の色成分切り替え駆動部、３２０ｂ…第２の色成分切り替え駆動部。

Claims (6)

1. それぞれ、互いに重複する少なくとも一つの所定の光波長帯の情報を含む画像及び該互いに重複する所定の光波長帯以外の互いに異なる光波長帯の情報を含む画像を撮像する複数個の撮像手段と、
   前記複数個の撮像手段により撮像された画像より光波長帯毎に分離した複数の色分離画像を取得する画像取得手段と、
   前記複数の色分解画像における被写体の同一点に対応する位置情報である対応情報を算出する対応点算出手段と、
   前記対応情報に基づいて視差情報を算出する視差情報算出手段と、
   前記視差情報に基づいて前記被写体の各点から当該撮像装置までの距離情報を算出する被写体距離算出手段と、
   前記対応情報に基づいて前記複数の色分解画像と前記距離情報を合成することで、３次元位置情報を有するマルチバンド画像を生成するマルチバンドステレオ画像生成手段と、
   を具備することを特徴とするマルチバンドステレオ撮像装置。
2. 前記対応点算出手段は、前記互いに重複する所定の光波長帯の色分解画像を、前記対応情報の算出に用いることを特徴とする請求項１に記載のマルチバンドステレオ撮像装置。
3. 前記マルチバンドステレオ画像生成手段は、前記互いに重複する所定の光波長帯の色分解画像と複数個の互いに異なる前記複数色の色分解画像とを合成することを特徴とする請求項１又は２に記載のマルチバンドステレオ撮像装置。
4. 前記マルチバンドステレオ画像における一定領域を抽出する領域抽出手段と、
   前記一定領域の前記距離情報と前記マルチバンドステレオ画像とを同時に表示する表示手段と、
   を更に具備することを特徴とする請求項１乃至３のうちいずれか１項に記載のマルチバンドステレオ撮像装置。
5. 前記撮像手段は、それぞれ、２次元状に配置された受光素子の画素のそれぞれに、互いに重複する及び互いに異なる光波長帯のうちいずれかの光を透過させる色成分分離手段を具備することを特徴とする請求項１乃至４のうちいずれか１項に記載のマルチバンドステレオ撮像装置。
6. 前記撮像手段は、それぞれ、
   被写体から２次元状に配置された受光素子までの光路に順次交換挿入され、互いに重複する及び互いに異なる光波長帯のうちいずれかの光を透過させる複数の色成分分離手段と、
   前記複数の色成分分離手段の前記光路への交換挿入を順次行う切り替え手段と、
   を具備することを特徴とする請求項１乃至４のうちいずれか１項に記載のマルチバンドステレオ撮像装置。

Images