JP2015207862A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】本発明は、測距の精度とＨＤＲ画像のダイナミックレンジの幅とに関するユーザの要求に、１台の複眼カメラで柔軟に応じることを目的とする。
【解決手段】本発明の撮像装置は、一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラと、前記複数の撮像部それぞれの感度を変更する感度変更部と、前記複数の撮像部で撮像された画像から、１枚の画像を作成する画像作成部と、前記対象物が動体であるか否かに関する複数のモードを有し、前記モードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成部に、前記感度に応じた輝度範囲の１枚の画像を作成させる制御部とを備える。
【選択図】図１

Description

本発明は、ハイダイナミックレンジ画像を生成する撮像装置及び撮像方法に関するものである。

近年、各種デジタル技術の進展に伴い、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の固体撮像素子を用いることによってデジタル画像が比較的容易に得られるようになり、このデジタル画像が様々に利用されている。その利用分野として、例えば、複数のデジタル画像から所定の被写体までの距離を計測する技術や、ハイダイナミックレンジ画像（以下、「ＨＤＲ画像」という。）を作成する技術等がある。

複数のデジタル画像からＨＤＲ画像を作成する技術として、カメラの感度（露出）を変えて同一被写体を撮像し、得られた複数の画像を合成してＨＤＲ画像を作成する技術がある。１つのカメラで感度を変えながら被写体を撮像する場合には、被写体が移動すると、きれいなＨＤＲ画像が得られない場合ある。そこで、同じ被写体に対し、複数の画像を同時に撮像できる複眼カメラを用いる技術が提案されている。例えば、個眼カメラの感度をそれぞれ異ならせた複眼カメラによって対象物を撮像し、得られた複数の画像を合成して、ＨＤＲ画像を作成する技術が開示されている（特許文献１参照）。尚、このような複眼カメラを用いて撮影された複数の画像は、視差（位置ずれ）が生じているため、合成の際に視差補正を行う技術が開示されている（特許文献３参照）。また、被写体からの入射光が、ビームスプリッタ等によって多眼光学系の各個眼に入力されて、視差の生じていない画像が撮像される技術が開示されている（特許文献３参照）。

複眼カメラは、複数のデジタル画像から所定の被写体までの距離を計測する技術においても利用されている。例えば、複眼カメラで撮像された複数の画像のうちの一対の画像に対し、対応点探索がピクセル単位で実行される。そして、この一対の個眼カメラ間の視差がピクセル単位で求められ、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。

このように、１台の複眼カメラによって、ＨＤＲ画像が作成でき、更に、被写体までの距離が測定できることになる。

特開２００２−１７１４３０号公報 特開２０１１−２５４２６５号公報 特開２０１２−１９９８０５号公報

しかし、広いダイナミックレンジのＨＤＲ画像を得るためには、ダイナミックレンジの幅に応じた複数種類の感度によって、撮像された撮像画像が必要である。そして、所望するＨＤＲ画像のダイナミックレンジが広くなればなるほど、より多くの種類の感度で撮像された撮像画像が必要となる。

また、測距の精度は、対応点探索を行う画像を撮像する個眼カメラ間の距離が長い程、高くなる。更に、測距の精度は、個眼カメラの数が多い程、つまり、対応点探索を行う画像のペアの数が多い程、高くなる。但し、対応点探索において高精度で視差を求めるためには、対応点探索を行うペアの画像は、同じ感度で撮像された画像あることが望ましい。

従って、通常、複眼カメラに含まれる個眼カメラの個数は限られているため、感度の種類を多くすれば、対応点探索を行う画像のペアの数は減ることになる。つまり、広いダイナミックレンジのＨＤＲ画像を得ようとすれば、測距の精度が落ちることになる。また、測距の精度を上げるために対応点探索を行う画像のペアの数を多くすると、感度の種類を減らすことになる。つまり、測距の精度を上げようとすると、ＨＤＲ画像のダイナミックレンジの幅が狭くなる。

測距の精度や、ＨＤＲ画像のダイナミックレンジの幅は、ユーザによって要求が異なる。従って、ユーザの要求毎に、その要求に応じた複眼カメラを作成することは、高コスト化を招くことになり、現実的ではない。

そこで、本発明は、測距の精度とＨＤＲ画像のダイナミックレンジの幅に関するユーザの要求に、１台の複眼カメラで柔軟に応じることを目的とする。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる撮像装置は、一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラと、前記複数の撮像部それぞれの感度を変更する感度変更部と、前記複数の撮像部で撮像された画像を用いた対応点探索により、前記複数の画像同士の視差を算出する対応点探索部と、前記感度変更部によって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索部に視差を算出させ、算出された視差を用いて前記対象物の位置合わせを行い、前記複数の撮像部で撮像された画像を合成して、１枚の画像を作成する画像作成部と、前記対象物が動体であるか否かに関する複数のモードを有し、前記モードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成部に、前記感度に応じた輝度範囲の１枚の画像を作成させる制御部とを備えることを特徴とする。

また、他の一態様にかかる撮像方法は、一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラを備える撮像装置で用いられる撮像方法であって、前記複数の撮像部それぞれの感度を変更する感度変更ステップと、前記複数の撮像部で撮像された画像を用いた対応点探索により、前記複数の画像同士の視差を算出する対応点探索ステップと、前記感度変更ステップによって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索ステップに視差を算出させ、算出された視差を用いて前記対象物の位置合わせを行い、前記複数の撮像部で撮像された画像を合成して、１枚の画像を作成する画像作成ステップと、前記対象物が動体であるか否かに関する複数のモードを有し、前記モードに応じて、前記感度変更ステップで前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成ステップで、前記感度に応じた輝度範囲の１枚の画像を作成させる制御ステップとを備えることを特徴とする。

このような撮像装置及び撮像方法では、撮像部の感度を変更することができるので、相対輝度の範囲が同じ、又は、それぞれ異なる複数の画像を取得することができる。従って、被写体が動体であるか否かに関するモードに応じて、広い範囲の輝度範囲（ハイダイナミックレンジ）の画像を作成することができる。また、このような撮像装置では、同じ感度範囲の画像を複数撮像することができるので、これらの画像に基づいて、画像のずれ（視差）を算出することができ、合成した１枚の画像を作成することが可能となる。つまり、撮像装置は、１つの複眼カメラを用いて、様々な輝度範囲（ダイナミックレンジ）の画像を作成することが可能となる。

また、他の一態様では、上述の撮像装置において、前記モードが、前記対象物が動体である場合に用いるモードである場合には、前記制御部は、前記感度変更部に、前記複数の撮像部の一部の撮像部の感度を第１感度に変更させ、他の撮像部の感度を第２感度に変更させて、前記複数の撮像部に撮像させた複数の第１画像を用いて、前記画像作成部に１枚の画像を作成させ、前記第１感度及び前記第２感度は、前記第１感度の撮像部により撮像された画像の輝度範囲と、前記第２感度の撮像部で撮像された画像の輝度範囲とが連続するような感度であることを特徴とする。

このような撮像装置では、撮像の対象物が動体である場合には、異なる感度の撮像部を複数用いて、同時に、対象物の画像を複数撮像することができるので、これらの画像に基づいて、像ブレの少ないハイダイナミックレンジの画像を作成することが可能となる。尚、画像の輝度範囲が連続するとは、２つの画像のそれぞれの輝度範囲の一部重なることで連続する場合も含むものとする。

また、他の一態様では、上述の撮像装置において、前記モードが、前記対象物が動体ではない場合に用いるモードである場合には、前記制御部は、前記感度変更部に、前記複数の撮像部の全ての撮像部の感度を第３感度に変更させて、前記複数の撮像部に撮像させた複数の第２画像と、前記複数の撮像部の全ての撮像部の感度を第４感度に変更させて、前記複数の撮像部に撮像させた複数の第３画像とを用いて、前記画像作成部に１枚の画像を作成させ、前記第３感度及び前記第４感度は、前記第３感度の撮像部により撮像された画像の輝度範囲と、前記第４感度の撮像部で撮像された画像の輝度範囲とが連続するような感度であることを特徴とする。

このような撮像装置では、撮像の対象物が動体でない場合には、撮像部の感度を異ならせて複数回、対象物の画像を複数撮像することができるので、これらの画像に基づいて、ハイダイナミックレンジの画像を作成することが可能となる。

また、他の一態様では、上述の撮像装置において、前記モードが、前記対象物が動体であるか否かが不明である場合に用いるモードで場合には、前記制御部は、前記感度変更部に、前記複数の撮像部の一部の撮像部の感度を第５感度に変更させ、他の撮像部の感度を第６感度に変更させて、前記複数の撮像部に撮像させた複数の第４画像と、前記感度変更部に、前記複数の撮像部の全ての撮像部の感度を第６感度に変更させて、前記複数の撮像部に撮像させた複数の第５画像と、前記複数の撮像部の全ての撮像部の感度を第５感度に変更させて、前記複数の撮像部に撮像させた複数の第６画像とを用いて、前記画像作成部に、１枚の画像を作成させ、前記第５感度及び前記第６感度は、前記第５感度の撮像部により撮像された画像の輝度範囲と、前記第６感度の撮像部で撮像された画像の輝度範囲とが連続するような感度であることを特徴とする。

このような撮像装置では、撮像の対象物が動体か否か不明である場合には、異なる感度の撮像部を複数用いて、同時に、対象物の画像を撮像し、撮像部の感度を異ならせて複数回、対象物の画像を撮像することができるので、これらの画像に基づいて、ハイダイナミックレンジの画像を作成することが可能となる。

また、他の一態様では、上述の撮像装置において、前記画像作成部は、第６感度の複数の撮像部のうちの第１撮像部で撮像された前記複数の第４画像のうちの１つの画像と、前記第１撮像部で撮像された前記複数の第５画像のうちの１つの画像との異なる第１領域、又は、第５感度の複数の撮像部のうちの第２撮像部で撮像された前記複数の第４画像のうちの１つの画像と、前記第２撮像部で撮像された前記複数の第６画像のうちの１つの画像との異なる第２領域が存在する場合は、前記対象物が動体であると判断し、前記第１領域と前記第２領域とから成る動体領域を決定し、前記１枚の画像のうちの前記動体領域の画像は、前記第４画像を用いて作成し、前記動体領域以外の領域の画像は、前記第５画像、及び、前記第６画像を用いて作成することを特徴とする。

このような撮像装置では、異なる感度の撮像部を複数用いて、同時に、対象物の画像を撮像し、撮像部の感度を異ならせて複数回、対象物の画像を撮像するので、これらの撮像で得られた画像を用いて、対象物が動体であるか否かが判断できる。そして、動体である場合には、動体領域とそれ以外の領域とを分けて、これらの画像に基づいて、ハイダイナミックレンジの画像を作成することが可能となる。

また、他の一態様では、上述の撮像装置において、前記複数の撮像光学系のうち少なくとも２つの撮像光学系に対応する撮像部で撮像された画像に基づいて前記対象物までの距離を求める距離演算部を、更に備え、前記距離演算部は、前記感度変更部によって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索部に視差を算出させ、算出された視差に基づいて前記対象物までの距離を算出することを特徴とする。

このような撮像装置では、同じ感度範囲の画像を複数撮像することができるので、これらの画像に基づいて、画像における対象物の視差を算出することができ、対象物までの距離を算出することが可能となる。

また、他の一態様では、上述の撮像装置において、前記モードを設定する設定入力手段を更に備え、前記制御部は、前記設定入力手段により設定されたモードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させることを特徴とする。

このような撮像装置では、ユーザは、複眼カメラを所望するモードに設定できるので、ダイナミックレンジの画像を容易に得ることが可能となる。

また、他の一態様では、上述の撮像装置において、前記撮像部は、固体撮像素子を有し、前記感度変更部は、前記複数の撮像部それぞれが有する固体撮像素子の蓄積時間を変更することによって、前記複数の撮像部の感度を変更することを特徴とする。

このような撮像装置では、撮像素子の光子の蓄積時間を変えることにより撮像部の感度を変えるので、複数種類の複眼カメラを用いることなく、容易に、感度の異なる複眼カメラによる撮像を行うことが可能となる。

本発明にかかる撮像装置および撮像方法は、測距の精度とＨＤＲ画像のダイナミックレンジの幅とに関するユーザの要求に、１台の複眼カメラで柔軟に応じることができる。

実施形態の撮像装置の構成を示すブロック図である。 実施形態の撮像装置における画像取得部の構成を示すブロック図である。 （ａ）は、実施形態の画像取得部におけるアレイカメラの構成の一例を示す図であり、（ｂ）は、アレイカメラの構成の他の一例を示す図であり、（ｃ）は、アレイカメラの構成の他の一例を示す図である。 撮像素子の感度範囲（ラチチュード）を説明するための図である。 実施形態のアレイレンズ部とアレイ撮像部の感度とを説明するための図である。 実施形態の撮像装置における、ステレオ法による測距方法を説明するための図である。 実施形態のアレイカメラにより得られた画像の視差を説明するための図である。 実施形態のアレイカメラにより得られた画像の視差を説明するための図である。 実施形態の通常撮像モードにおける対応点探索を説明するための図である。 実施形態の通常撮像モードにおける相対輝度範囲を説明するための図である。 実施形態のＨＤＲ動体撮像モードにおける対応点探索を説明するための図である。 実施形態のＨＤＲ動体撮像モードにおける相対輝度範囲を説明するための図である。 実施形態のＨＤＲ静体撮像モードにおける対応点探索を説明するための図である。 （ａ）は、ＨＤＲ静体撮像モードにおける１回目の撮像画像の相対輝度範囲を説明するための図であり、（ｂ）は、２回目の撮像画像の相対輝度範囲を説明するための図である。 ＨＤＲオートモードにおける対応点探索を説明するための図であり、（ａ）は、１回目の撮像の対応点探索を説明するための図であり、（ｂ）は、２回目の撮像の対応点探索を説明するための図であり、（ｃ）は、３回目の撮像の対応点探索を説明するための図である。 ＨＤＲオートモードにおける相対輝度範囲を説明するための図であり、（ａ）は、１回目の撮像画像の相対輝度範囲を説明するための図であり、（ｂ）は、２回目の撮像画像の相対輝度範囲を説明するための図であり、（ｃ）は、３回目の撮像画像の相対輝度範囲を説明するための図である。 実施形態の撮像装置における画像の合成処理を説明するための図である。 実施形態の撮像装置における撮像処理を示すフローチャートである。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
＜実施形態＞
図１は、実施形態における撮像装置の構成を示すブロック図である。図２は、実施形態の撮像装置における画像取得部の構成を示すブロック図である。図３（ａ）は、前記画像取得部におけるアレイカメラの構成の一例を示す図であり、図３（ｂ）は、前記画像取得部におけるアレイカメラの構成の他の一例を示す図であり、図３（ｃ）は、前記画像取得部におけるアレイカメラの構成の他の一例を示す図である。

実施形態における撮像装置は、アレイカメラを構成する複数の個眼カメラの感度（固体撮像素子の感度）を変えて撮像した画像を用いて、ＨＤＲ画像を作成するとともに、被写体までの距離を算出するものである。実施形態の撮像装置Ｄでは、被写体が動体であるモード、静体であるモード、動体か静体であるかが不明であるモードを提供する。

実施形態における撮像装置Ｄは、例えば、図１に示すように、制御処理部１と、記憶部２と、画像取得部３と、入力部４と、出力部５とを備える。

＜画像取得部＞
画像取得部３は、制御処理部１に接続され、同一の測定対象（物体、被写体）を撮像した複数の画像を取得するものである。このような画像取得部３は、例えば、図２に示すように、アレイカメラ３１を備える。

アレイカメラ３１は、複数の個眼レンズ（撮像光学系）を有するアレイレンズ部３１１と、この複数の個眼レンズそれぞれによって結像された物体の光学像をそれぞれ撮像する複数の個眼撮像部（撮像部）を有するアレイ撮像部３１２とを備える。

図３（ａ）にアレイカメラ３１の構成の一例を示す。アレイレンズ部３１１は、複数のレンズ基盤３１１２を備え、レンズ基盤３１１２それぞれには、１つの個眼レンズ３１１１が設けられる。１個の個眼レンズ３１１１は、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の個眼レンズ３１１１は、図３（ａ）に示す例では、各光軸が互いに略平行となるように、そして、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列される。図３（ａ）に示す例では、複数の個眼レンズ３１１１は、４行４列に２次元マトリクス状に配列された１６個の個眼レンズ３１１１−１１〜３１１１−４４として示されている。

アレイ撮像部３１２は、１つの撮像基盤３１２２と、撮像基板３１２２上に配置された複数の個眼撮像部３１２１を備える。１個の個眼撮像部３１２１は、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、受光した光の光量に応じて変換した電気信号を画像における各画素のデータとして出力する。複数の個眼撮像部３１２１は、アレイレンズ部３１１における複数の個眼レンズ３１１１に対応し、各撮像面が互いに同一平面となるように配列される。図３（ａ）に示す例では、複数の個眼撮像部３１２１は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図３（ａ）に示す例では、複数の個眼撮像部３１２１は、４行４列に２次元マトリクス状に配列された１６個の個眼撮像部３１２１−１１〜３１２１−４４として示されている。撮像基板３１２２は、例えばシリコン等の支持部材であり、撮像素子３１２１を制御する制御回路等を含む。

図３（ｂ）にアレイカメラ３１の他の構成例を示す。図３（ａ）に示したアレイレンズ部３１１は、１つの個眼レンズ３１１１を備えたレンズ基盤３１１２が、複数で構成されていたが、図３（ｂ）に示すアレイレンズ部３１１は、１つのレンズ基盤３１１２を備え、１つのレンズ基盤３１１２に、複数の個眼レンズ３１１１が設けられている。また、図３（ａ）に示したアレイ撮像部３１２は、１つの撮像基盤３１２２上に複数の個眼撮像部３１２１が配置されていたが、図３（ｂ）に示すアレイ撮像部３１２は、１つの撮像基盤３１２２と、撮像基板３１２２上に配置され、複数の個眼撮像部３１２１として利用される１個の固体撮像素子とを備える。この場合、１個の固体撮像素子は、１つの受光部３１２１ｂを備えており、被写体の光学像が、アレイレンズ部３１１の個眼レンズ３１１１それぞれによって、個別に受光部３１２１ｂに結像される。受光部３１２１ｂに個別に結像された複数の光学像のそれぞれが、１つの個眼撮像部３１２１で撮像された画像として読み出される。

図３（ｃ）にアレイカメラ３１の他の構成例を示す。図３（ｃ）のアレイレンズ部３１１は、図３（ｂ）に示したアレイレンズ部３１１と同じである。また、図３（ｂ）に示したアレイ撮像部３１２は、１つの撮像基盤３１２２上に、複数の個眼撮像部３１２１として利用される１個の固体撮像素子が配置されており、この点は、図３（ｃ）のアレイ撮像部３１２と同じである。しかし、図３（ｃ）の場合は、１個の固体撮像素子における有効画素領域が、各個眼撮像部３１２１に対応するように、２次元マトリクス状に配列された複数の領域に分割され、これら各領域が各個眼撮像部３１２１として利用される。

複数の個眼撮像部３１２１の各光電変換素子は、それぞれ、受光した光を、その光量に応じた電気信号に光電変換し、この電気信号を画像における各画素のデータとして制御処理部１へ出力する。複数の個眼撮像部３１２１は、同じ被写体を写した略視差だけずれた画像データを出力する。以下、それぞれ対向する個眼撮像部３１２１と個眼レンズ３１１１との組み合わせを、「個眼カメラ」というものとする。

ここで、撮像素子（個眼カメラ）の感度範囲について、図４を用いて説明する。

図４は、撮像素子の出力とその信頼度との関係を模式的に示したグラフ（以下、「信頼度グラフ」という。）である。横軸に、撮像素子の出力に基づく相対輝度を示し、縦軸に、画素値（出力値）の信頼度を示す。信頼度は、縦軸の矢印の方に行くにしたがって高くなるものとする。信頼度とは、階調表現力、Ｓ／Ｎ比等をいうものとする。横軸の「２^６ ２^４ ２^２ ２^０」は、相対輝度「１０^０」〜「１０^−２」の範囲は、６ビットで表すことを示す（矢印４２参照）。尚、この相対輝度の範囲は、撮像素子の性能に依存する。

図４の信頼度グラフにおいて、実線で示すグラフと破線で示すグラフは、それぞれ感度の異なる撮像素子が出力する画像の相対輝度の範囲を示す。撮像素子の感度の変更（矢印４１参照）は、撮像素子の光子の蓄積時間（積分時間）を変更することで行う。

また、図４の信頼度グラフが示すように、撮像素子の感度範囲（相対輝度１０^−２〜１０^１）内において、撮像素子の出力値の信頼度は一定ではなく、相対的に暗い領域では暗くなるにつれて信頼度が徐々に低下する領域（以下、「裾部分」という。）がある（矢印４３参照）。尚、人間の感じる明るさの範囲は、撮像素子が一度にとらえることができる感度範囲に比べてかなり広いので、人間が一度に見ることができる明るさの範囲をカバーすることが望まれている。

＜入力部＞
図１に戻って、入力部４は、制御処理部１に接続され、例えば、撮像の開始を指示するコマンド等の各種コマンド、及び、撮像モードの設定等の撮像処理を実行する上で必要な各種データを撮像装置Ｄに入力する機器である。例えば、撮像装置Ｄの本体に付属する操作部であり、ボタン、スライドスイッチ等である。また、通信可能に接続されたキーボード等であってもよい。

＜出力部＞
出力部５は、制御処理部１に接続され、入力部４から入力されたコマンドやデータ、および、撮像装置Ｄによって作成されたＨＤＲ画像や、測距された測定対象までの距離等を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤおよび有機ＥＬディスプレイ等の表示装置等である。

尚、入力部４及び出力部５からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部４は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部５は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として撮像装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い撮像装置Ｄが提供される。

＜記憶部＞
記憶部２は、制御処理部１に接続され、撮像処理を実行する上で必要な各種プログラムや各種データを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性記憶素子、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。記憶部２は、例えばハードディスク等の大容量記憶装置を備えても良い。

そして、記憶部２は、画像データを記憶し、この画像データに対し制御処理部１によって後述の撮像処理を行うための作業領域として用いられる。

＜制御処理部＞
制御処理部１は、所定の撮像処理プログラムに基づき後述の撮像処理を実行するべく、撮像装置Ｄの各部を当該各部の機能に応じてそれぞれ制御するものである。前記所定の撮像処理プログラムは、ユーザが設定した撮像モードに従って被写体を撮像し、ＨＤＲ画像を作成し、また、被写体までの距離を測定するためのプログラムである。制御処理部１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成され、所定の撮像処理プログラムを実行することによって、制御処理部１には、機能的に、制御部１１、感度調整部１２、及び、演算部１３が構成される。

制御部１１は、所定の撮像処理を実行するために、撮像装置Ｄの各部を当該各部の機能に応じてそれぞれ制御するものである。

感度調整部１２は、個眼撮像部３１２１の撮像素子の光子の蓄積時間（積分時間）をそれぞれ変更する。つまり、個眼撮像部３１２１の光電変換素子の受光時間を変更することで、個眼カメラの感度を変更する。

図５は、アレイレンズ部３１１を示す、以下、２行２列に２次元マトリクス状に配列された４個の個眼レンズ３１１１から成るアレイレンズ部３１１を用いて説明する。図形の円１つが、１つの個眼レンズ３１１１を示す。以下、円の内部の数値が「１」の個眼レンズ３１１１を「個眼レンズ１」といい、円の内部の数値が「２」の個眼レンズ３１１１を「個眼レンズ２」などというものとする。また、個眼レンズ１と、個眼レンズ１と対向する個眼撮像部３１２１とで構成されるカメラを、「個眼カメラ１」といい、個眼レンズ２と、個眼レンズ２と対向する個眼撮像部３１２１とで構成されるカメラを、「個眼カメラ２」などというものとする。また、個眼カメラ１で撮像された画像を「画像１」、個眼カメラ２で撮像された画像を「画像２」等というものとする。

実施形態では、感度調整部１２は、図５に示すように、個眼レンズ３１１１をグループに分けて、つまり、アレイカメラ３１の４個の個眼カメラを２つのグループ（グループＡ、グループＢ）に分けて、グループごとに感度を変更する。つまり、グループＡは、個眼カメラ１、個眼カメラ３で構成され、グループＢは、個眼カメラ２、個眼カメラ４で構成される。尚、グループ分けは、図５に示すようなグループに限らず、例えば、個眼カメラ１と個眼カメラ２とを同じグループとし、個眼カメラ３と個眼カメラ４とを同じグループとしてもよい。

また、感度調整部１２は、ユーザにより設定された撮像モードに応じて、グループＡ、及び、グループＢの感度を変更する。撮像モードに応じた処理については、＜撮像モード＞の項で、説明する。

演算部１３は、例えば、図１に示すように、ＨＤＲ画像生成部１３１、対応点探索部１３２、及び、距離算出部１３３を備える。

ＨＤＲ画像生成部１３１は、アレイカメラ３１により撮像された画像を、視差だけずらして合成し、１枚のＨＤＲ画像を生成する。つまり、ＨＤＲ画像生成部１３１は、各画像内の被写体の位置合わせを行って、各画像を合成する。各画像間の視差は、対応点探索部１３２が算出する。また、ＨＤＲ画像生成部１３１は、アレイ撮像部３１２の複数の個眼撮像部３１２１それぞれを構成する撮像素子からの出力値に基づいて、ダイナミックレンジ（輝度範囲）を決定し、アレイカメラ３１により撮像された画像を合成して、決定したダイナミックレンジの１枚の画像を作成する。尚、後述する通常撮像モードの場合は、ＨＤＲ画像を作成せずに、グループＡかグループＢのいずれかの画像を作成した画像とする。

ここで、画像のずれについて図７、８を用いて説明する。各画像のずれの現れる方向は、各画像を撮像した個眼カメラの個眼レンズの位置に基づく。図７（ａ）に、２つの個眼カメラで撮像した２つの画像を重ねた合成画像を示し、図７（ｂ）には、図７（ａ）の２つの画像を撮像したアレイカメラのアレイ撮像部を示す。このアレイカメラのアレイ撮像部は、２行２列の２次元マトリクス状に配列された４個の個眼撮像部から成る。内部に数値が表された矩形は、個眼撮像部を示し、ここでは、個眼撮像部で撮像された画像を、矩形の中の数値を用いて、画像１、画像２のように表すものとする。図７（ａ）に示す合成画像は、図７（ｂ）に示す画像１と画像２の合成画像である。画像１と画像２とのずれは、画像１を撮像した個眼レンズの光軸と個眼撮像部の撮像面との交点と、画像２を撮像した個眼レンズの光軸と個眼撮像部の撮像面との交点とを結んだ方向に現れる（矢印７２参照）。図７（ａ）の合成画面の矢印７１の方向が、ずれの方向である。

同様に、図８（ａ）に、２つの個眼カメラで撮像した２つの画像を重ねた合成画像を示し、図８（ｂ）には、図８（ａ）の２つの画像を撮像したアレイカメラのアレイ撮像部を示す。図８（ａ）に示す合成画像は、図８（ｂ）に示す画像２と画像４の合成画像である。画像２と画像４とのずれは、画像２を撮像した個眼レンズの光軸と個眼撮像部の撮像面との交点と、画像４を撮像した個眼レンズの光軸と個眼撮像部の撮像面との交点とを結んだ方向に現れる（矢印８２参照）。図８（ａ）の合成画面の矢印８１の方向が、ずれの方向である。このずれの方向が、いわゆるエピポールラインの方向となる。エピポールラインとは、基準画像側のカメラの視線を参照画像上に投影した線であるからである。個眼カメラが、図３に示すように、互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列され、個眼カメラ間の基線長が等しい場合には、図７に示すように、Ｘ軸方向の２つの画像、例えば、画像１と画像２のずれ量と、図８に示すように、Ｙ軸方向の２つの画像、例えば、画像２と画像４のずれ量とを求めればよい。画像間のＸ軸方向のずれ量は、左右に隣り合う画像間では同じであり、Ｙ軸方向のずれ量は、上下の画像間では同じだからである。具体的には、例えば、画像１と画像２のＸ軸方向のずれ量と、画像２と画像３とのずれ量とは同じである（図７（ｂ）参照）。また、画像４と画像２のＹ軸方向ずれ量と、画像３と画像１とのずれ量とは同じである（図８（ｂ）参照）。つまり、ＨＤＲ画像生成部１３１は、ＨＤＲ画像を作成する際に必要な各画像間の視差を、容易に求めることができる。ＨＤＲ画像生成部１３１が、視差を求めるために選択する画像は、後述する距離算出部１３３が視差を求めるために選択する画像ペアと同じである。いずれの画像ペアを用いるかは、＜撮像モード＞の項で、説明する。尚、画像ペアは、Ｘ軸方向のＹ軸方向の隣り合った画像ペアに限られず、１以上の画像を間に挟んでいてもよく、また、ななめの位置の関係にある画像ペアであってもよい。

また、複数の画像から得られたハイダイナミックレンジデータを、同一枚の画像データにまとめアルゴリズムついては、以下の文献を参照できる。
Ｍ． Ｄｅｂｅｖｅｃ： “Ｒｅｃｏｖｅｒｉｎｇ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｒａｄｉａｎｃｅ Ｍａｐｓ ｆｒｏｍ Ｐｈｏｔｏｇｒａｐｈｉｃ”． Ｉｎ： Ｐｒｏｃ． ＳＩＧＧＲＡＰＨ （１９９７）
Ｓ．Ｂ． Ｋｉｎｇ， Ｍ． Ｕｙｔｔｅｎｄａｅｌｅ， Ｓ． Ｗｉｎｄｅｒ， Ｒ． Ｓｚｅｌｉｓｋｉ： “Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｖｉｄｅｏ”． ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｇｒａｐｈｉｃｓ （ＴＯＧ）， ２２， ３ （Ｊｕｌｙ ２００３）
対応点探索部１３２は、アレイカメラ３１により撮像された複数の画像のずれ量（視差）を算出する。具体的には、対応点探索部１３２は、アレイカメラ３１により撮像された画像のいずれかを基準画像とし、他の画像のいずれかを参照画像として対応点探索を行い、視差（ずれ画素数）を求める。対応点探索部１３２は、基準画像上に、対応点を探索したい所定の画素位置を中心に所定の大きさを持つウィンドウ（テンプレートＴ）を設定する。同様に、対応点探索部１３２は、参照画像上にも同じ大きさを持つウィンドウＷを、エピポールライン上に複数設定する。そして、対応点探索部１３２は、基準画像上におけるテンプレートＴに対する、参照画像上における各ウィンドウＷの一致度（相関度）を所定の手法で求め（テンプレートマッチング）、最も一致度の高いウィンドウＷにおける中心位置の画素を対応点として求める。対応点探索部１３２は、テンプレートＴの中心位置の画素と、対応点との差をずれ量として算出する。一致度を求める前記所定の手法には、公知の常套手段、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法（絶対誤差法）、ＰＯＣ（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）等が用いられる。

距離算出部１３３は、対応点探索部１３２が求めた視差を用いて、被写体までの距離を算出する。距離の算出について、図６を用いて説明する。予め定める間隔（基線長）だけ離間して設けられた一対の個眼カメラによって被写体の各画像が得られ、これら各画像に対し対応点探索がピクセル単位で実行され、これら各画像から前記離間方向における前記一対のカメラ間の視差がピクセル単位で求められる。そして、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。より具体的には、図６において、少なくとも焦点距離（ｆ）、撮像面（個眼撮像部３１２１）の画素数、１画素の大きさ（μ）が相互に等しい２台の第１および第２カメラが、所定の基線長（Ｂ）だけ左右に離間させて光軸ＡＸ−１、ＡＸ−２を平行に配置される。これら第１および第２カメラで物体（被写体）Ｏｂが撮影された場合に、撮像面ＩＰ−１、ＩＰ−２上の視差（ずれ画素数）がｄ（＝ｄ１＋ｄ２）であるとすると、前記物体（被写体）Ｏｂまでの距離（Ｚ）は、斜線を施して示す三角形が相似であることから、
Ｚ：ｆ＝Ｂ：（ｄ×μ）
の関係があり、
Ｚ＝（Ｂ×ｆ）／（ｄ×μ）
で求めることができる。

距離算出部１３３は、被写体までの距離を算出する際の視差を算出するために用いる２つの画像（画像ペア）を選択し、選択した画像ペアを対応点探索部１３２に渡して、視差を求めさせる。いずれの画像ペアを用いて視差を算出させるかは、ユーザによって設定された撮像モードによって異なる。いずれの画像ペアを用いるかは、＜撮像モード＞の項で、説明する。

距離算出部１３３は、複数の画像ペアから複数の視差を求めさせた場合には、算出された距離に基づいて、被写体までの距離を算出する。例えば、それぞれの距離の平均を測定対象物までの距離とする、または、信頼性の高い方の距離を採用するなどである。

＜撮像モード＞
以下、撮像装置Ｄが備える撮像モードについて説明する。撮像装置Ｄは、４つの撮像モードを備える。１つ目のモードは、「通常撮像モード」であり、２つ目のモードは、「ＨＤＲ動体撮像モード」であり、３つ目のモードは、「ＨＤＲ静体撮像モード」であり、４つ目のモードは、「ＨＤＲオートモード」である。

＜通常撮像モード＞
通常撮像モードは、ＨＤＲ画像ではなく、通常の画像を撮像するモードである。但し、アレイカメラ３１により複数の画像が得られるので、撮像装置Ｄは、高い精度の測距を行うことができる。

以下、図９、１０を用いて、通常撮像モード時の、感度調整部１２の感度調整、及び、距離算出部１３３が選択する画像ペアについて説明する。

図９は、個眼カメラの感度調整、及び、画像ペアを説明するためのアレイレンズ部３１１の図である。図１０は、アレイカメラ３１が出力する画像の相対輝度の範囲を説明するための図である。

感度調整部１２は、図５のグループＡ及びグループＢを、同じ感度に調整する。つまり、アレイ撮像部３１２を構成する全ての個眼撮像部３１２１の撮像素子の、受光時間を同じにする。図１０の信頼度グラフは、アレイカメラ３１の４つの個眼カメラが出力する画像の相対輝度の範囲を示す。個眼カメラそれぞれの感度は同じであるので、それぞれの個眼カメラが出力する画像の相対輝度の範囲も同じである。従って、アレイカメラ３１の相対輝度の範囲は、おおむね１０^１．８となる。

距離算出部１３３は、測距のための視差を算出する画像ペアを、４つの個眼カメラが出力する４つの画像から、画像ペアを選択する。図９では、距離算出部１３３は、例えば、画像ペア９１、画像ペア９２、画像ペア９３、画像ペア９４の４つの画像ペアを選択する。つまり、距離算出部１３３は、Ｘ軸上の２つの個眼レンズ１及び個眼レンズ３による画像ペア９１、Ｙ軸上の２つの個眼レンズ２及び個眼レンズ４による画像ペア９４、斜め方向に位置する個眼レンズ１及び個眼レンズ４による画像ペア９２、斜め方向に位置する個眼レンズ２及び個眼レンズ３による画像ペア９３を用いて、対応点探索を行う。このような画像ペアは、ペアとなる個眼カメラ間の基線長がそれぞれ異なり、また、基線長の向きがそれぞれ異なる。このような画像ペアを用いた対応点探索は、被写体を映した画像に、所定の画像が一定の間隔で繰り返し現れる、例えば縞模様が含まれる場合であっても、高精度で視差を算出できる可能性が高い。また、このような画像ペアを用いた対応点探索は、オクルージョンが生じている場合であっても、画像ペアの数が多いので、高精度で視差を算出できる可能性が高くなる。従って、通常撮像モードでは、画像ペアの選択の幅が広く、適切な画像ペアを選択することが可能であるので、測距精度が高くなることになる。

尚、更に、個眼カメラ２及び個眼カメラ４による画像を画像ペアとして選択してもよく、個眼カメラ３及び個眼カメラ４による画像を画像ペアとして選択してもよい。

ＨＤＲ画像生成部１３１は、通常撮像モードでは、アレイカメラ３１が撮像した画像のうちのグループＡかグループＢのいずれかの画像を、生成した画像とするものとする。尚、ＨＤＲ画像生成部１３１は、距離算出部１３が選択する画像ペアのうち、画像間のずれ量を算出するのに必要な画像ペアを選択し、画像間のずれ量を用いて、公知の常套手段を用いて、超解像画像を作成してもよい。超解像画像とは、アレイカメラ３１が撮像した複数の画像を用いて作成した、これらの画像の解像度よりも高い解像度の画像である。この場合、距離算出部１３３は、超解像画像を用いた測距を行ってもよい。

＜ＨＤＲ動体撮像モード＞
ＨＤＲ動体撮像モードは、動く被写体を撮像して、ＨＤＲ画像を作成するモードである。従って、ユーザは、被写体が動体である場合に、このモードを選択する。

以下、図１１、１２を用いて、ＨＤＲ動体撮像モード時の、感度調整部１２の感度調整、及び、距離算出部１３３が選択する画像ペアについて説明する。

図１１は、個眼カメラの感度調整、及び、画像ペアを説明するためのアレイレンズ部３１の図である。図１２は、アレイカメラ３１の相対輝度範囲を説明するための図である。

感度調整部１２は、グループＡの個眼カメラの感度と、グループＢの個眼カメラの感度を異ならせる。例えば、感度調整部１２は、グループＡの受光時間を、グループＢの受光時間より長くなるように調整する。つまり、アレイ撮像部３１２を構成する個眼撮像部３１２１のうち、グループＡに属する個眼撮像部３１２１の撮像素子の受光時間を、グループＢに属する個眼撮像部３１２１の撮像素子の受光時間よりも、長くする。この受光時間を長くする時間は、図１２に示すように、各個眼カメラが出力する画像の相対輝度の範囲が一部重なり、輝度範囲が連続するような時間である。図１２の信頼度グラフにおいて、グラフＧＡは、グループＡの個眼カメラが出力する画像の相対輝度の範囲を示し、グラフＧＢは、グループＢの個眼カメラが出力する画像の相対輝度の範囲を示す。図１２に示すように、アレイカメラ３１の相対輝度範囲は、おおむね１０^３となる。感度調整部１２は、グループＡの受光時間とグループＢの受光時間とを異ならせることで、図１２に示すように、アレイカメラ３１が出力する複数画像全体の相対輝度範囲を広くすることが可能となる。

尚、図１２に示すように各個眼カメラが出力する画像の相対輝度の範囲の一部が重なるようになる受光時間は、予め求め、定めておくものとする。

距離算出部１３３は、図１１に示すように、同じ感度の個眼カメラで撮像された画像の画像ペア１１１、又は、画像ペア１１２を選択する。

このように、ＨＤＲ動体撮像モードでは、同時に、相対輝度範囲の異なる画像を複数枚撮像することができるので、動体を撮像し、ＨＤＲ画像を作成することに適している。

＜ＨＤＲ静体撮像モード＞
ＨＤＲ静体撮像モードは、動かない被写体を撮像し、ＨＤＲ画像を作成し、高精度の測距を行うモードである。従って、ユーザは、被写体が静体である場合に、このモードを選択する。

被写体が、静体である場合には、複数回撮像したとしても、撮像した画像内で被写体が変化することはない。従って、撮像装置Ｄは、個眼カメラの感度を変えて、複数回撮像する。実施形態では、撮像装置Ｄは、２回撮像するものとする。

以下、図１３、１４を用いて、ＨＤＲ静体撮像モード時の、感度調整部１２の感度調整、及び、距離算出部１３３が選択する画像ペアについて説明する。

図１３は、個眼カメラの感度調整、及び、画像ペアを説明するためのアレイレンズ部３１の図である。図１４は、アレイカメラ３１の相対輝度範囲を説明するための図である。

まず、１回目の撮像時において、感度調整部１２は、全ての個眼カメラの感度を同じに設定する。そして、２回目の撮像時には、全ての個眼カメラの感度を、１回目の感度よりも高い感度に設定する。つまり、全ての個眼カメラの個眼撮像部３１２１の撮像素子の受光時間を、１回目の時よりも長くする。

図１４（ａ）に、１回目の撮像によって撮像された画像の相対輝度の範囲を示し、図１４（ｂ）に、２回目の撮像によって撮像された画像の相対輝度の範囲を示す。

図１４に示すように、相対輝度範囲の異なる画像が得られるので、相対輝度範囲の広い画像を作成することが可能となる。

尚、１回目と２回目の受光時間は、予め定めておくものとする。

距離算出部１３３は、図１３に示すように、個眼カメラで撮像された画像の画像ペア１３１、画像ペア１３２、画像ペア１３３、画像ペア１３４を選択する。距離算出部１３３は、１回目の撮像、２回目の撮像のそれぞれで得られる画像において、これら画像ペアを選択することが可能である。

このような個眼カメラ間の基線長がそれぞれ異なり、また、基線長の向きがそれぞれ異なる画像ペアを用いた対応点探索は、被写体を映した画像に、所定の画像が一定の間隔で繰り返し現れる、例えば縞模様が含まれる場合であっても、高精度で視差を算出できる可能性が高い。また、このような画像ペアを用いた対応点探索は、オクルージョンが生じている場合であっても、画像ペアの数が多いので、高精度で視差を算出できる可能性が高くなる。従って、ＨＤＲ静体撮像モードは、画像ペアの選択の幅が広く、適切な画像ペアを選択することが可能であるので、測距精度が高くなることになる。

尚、更に、個眼カメラ２及び個眼カメラ４による画像を画像ペアとして選択してもよく、個眼カメラ３及び個眼カメラ４による画像を画像ペアとして選択してもよい。

ＨＤＲ画像生成部１３１は、上述したように、距離算出部１３が選択する画像ペアのうち、画像間のずれ量を算出するのに必要な画像ペアを選択する。

このように、ＨＤＲ静体撮像モードでは、複数回にわたって、相対輝度範囲の異なる画像を複数枚ずつ撮像するので、撮像装置Ｄは、ＨＤＲ画像を作成し、高精度の測距を行うことが可能となる。

＜ＨＤＲオートモード＞
ＨＤＲオートモードは、被写体が動体であるか静体であるかに関わらず、ＨＤＲ画像を作成し、高精度の測距を行うモードである。従って、ユーザは、被写体が動体であるか静体であるか判断がつかない場合、例えば、頻繁に動いたり止まったりするような、動きが読めない被写体を撮像する場合に、このモードを選択する。

ＨＤＲオートモードで、撮像装置Ｄは、上述の＜ＨＤＲ動体撮像モード＞と＜ＨＤＲ静体撮像モード＞のそれぞれの撮像方法で、被写体を撮像し、ＨＤＲ画像の作成及び測距を行う。実施形態では、撮像装置Ｄは、＜ＨＤＲ動体撮像モード＞で１回、＜ＨＤＲ静体撮像モード＞で１回、被写体を撮像するものとする。つまり、上述のように、＜ＨＤＲ静体撮像モード＞では、２回撮像することから、計３回の画像が得られることになる。

以下、図１５、１６を用いて、ＨＤＲオートモード時の、感度調整部１２の感度調整、及び、距離算出部１３３が選択する画像ペアについて説明する。

図１５は、個眼カメラの感度調整、及び、画像ペアを説明するためのアレイレンズ部３１の図である。図１６は、アレイカメラ３１の相対輝度範囲を説明するための図である。

まず、図１５（ａ）に示すように、１回目の撮像時（ＨＤＲ動体撮像モード）において、感度調整部１２は、グループＡの個眼カメラの感度と、グループＢの個眼カメラの感度を異ならせる。例えば、感度調整部１２は、グループＡの受光時間を、グループＢの受光時間より長くなるように調整する。つまり、アレイ撮像部３１２を構成する個眼撮像部３１２１のうち、グループＡに属する個眼撮像部３１２１の撮像素子の受光時間を、グループＢに属する個眼撮像部３１２１の撮像素子の受光時間よりも、長くする。この受光時間を長くする時間は、図１６（ａ）に示すように、各個眼カメラが出力する画像の相対輝度の範囲が一部重なるような時間である。図１６（ａ）の信頼度グラフにおいて、グラフＧＡは、グループＡの個眼カメラが出力する画像の相対輝度の範囲を示し、グラフＧＢは、グループＢの個眼カメラが出力する画像の相対輝度の範囲を示す。

距離算出部１３３は、図１５（ａ）に示すように、同じ感度の個眼カメラで撮像された画像の画像ペア１６１、又は、画像ペア１６２を選択する。

次に、２回目の撮像時（ＨＤＲ動体撮像モードの１回目）において、感度調整部１２は、全ての個眼カメラの感度を同じに設定する。そして、３回目（の撮像時ＨＤＲ動体撮像モードの２回目）には、全ての個眼カメラの感度を、２回目の感度よりも高い感度に設定する。つまり、全ての個眼カメラの個眼撮像部３１２１の撮像素子の受光時間を、２回目の時よりも長くする。尚、１回目の撮像のグループＡ（図１５（ａ）の破線Ａで囲んだ個眼カメラ１、３）の感度と、３回目の撮像の全個眼カメラ（図１５（ｃ）の破線Ｃで囲んだ個眼カメラ１〜４）の感度とは、同じ感度とする。また、１回目の撮像のグループＢ（図１５（ａ）の個眼カメラ２、４）の感度と、２回目の撮像の全個眼カメラ（図１５（ｂ）の個眼カメラ１〜４）の感度とは、同じ感度とする。そして、破線で囲まれている個眼カメラの感度は、破線で囲まれていない個眼カメラの感度に比べて、高く設定される。

図１６（ｂ）に、２回目の撮像によって撮像された画像の相対輝度の範囲を示し、図１６（ｃ）に、３回目の撮像によって撮像された画像の相対輝度の範囲を示す。図１６（ｂ）の信頼度グラフにおけるグラフＧＢは、２回目の撮像において個眼カメラが出力する画像の相対輝度の範囲を示し、図１６（ｃ）の信頼度グラフにおけるグラフＧＡは、３回目の撮像において個眼カメラが出力する画像の相対輝度の範囲を示す。

ＨＤＲオートモードでは、まず、ＨＤＲ画像生成部１３１は、被写体が動体であるか否かを判断する。ＨＤＲ画像生成部１３１は、異なるタイミングで、同じ感度の同じ位置の個眼カメラで撮像された画像同士を比較し、異なる部分がある場合には、被写体が動体であると判断する。そして、異なる部分を動体領域とする。尚、動体領域以外の領域は、静体領域である。

異なるタイミングで、同じ位置の同じ感度の個眼カメラで撮像された画像は、図１５において、符号１６２で示す画像２、４と、符号１６３で示す画像２、４の、一組である。従って、ＨＤＲ画像生成部１３１は、１回目の撮像で得られた画像２と、２回目の撮像で得られた画像２とを比較し、また、１回目の撮像で得られた画像４と、２回目の撮像で得られた画像４とを比較することで、動体領域を検出する。また、もう一組の、異なるタイミングで、同じ位置の同じ感度の個眼カメラで撮像された画像は、符号１６１で示す画像１、３と、符号１６４で示す画像１、３である。従って、ＨＤＲ画像生成部１３１は、１回目の撮像で得られた画像１と、３回目の撮像で得られた画像１とを比較し、また、１回目の撮像で得られた画像３と、３回目の撮像で得られた画像３とを比較することで、動体領域を検出する。

ＨＤＲ画像生成部１３１は、画像内の動体領域は、ＨＤＲ動体撮像モードで撮像された画像、つまり、１回目の撮像で得られた画像を用いて、画素値を決定し、静体領域は、ＨＤＲ静体撮像モードで撮像された画像、つまり、２回目と３回目の撮像で得られた画像を用いて、画素値を決定する。尚、ＨＤＲ画像生成部１３１は、被写体が動体でないと判断した場合は、ＨＤＲ静体撮像モードで撮像された画像、つまり、２回目と３回目の撮像で得られた画像を用いて、ＨＤＲ画像を作成する。

図１７を用いて、ＨＤＲ画像生成部１３１が、被写体が動体であると判断した場合に、ＨＤＲ画像を作成する方法を説明する。画像Ｐ１は、１回目の撮像タイミングＴ１で得られた画像を示し、画像Ｐ２は、２回目の撮像タイミングＴ２で得られた画像を示し、画像Ｐ３は、３回目の撮像タイミングＴ３で得られた画像を示す。尚、画像Ｐ１〜Ｐ３は、各個眼カメラにより撮像された４つの画像を有する。画像Ｐ０は、ＨＤＲ画像を示す。オブジェクトＯｂが、動体であるとする。

ＨＤＲ画像生成部１３１は、感度が同じ個眼カメラで撮像された画像Ｐ１の画像と、画像Ｐ２の画像とを比較し、画素値が異なる領域を第１動体領域として検出する。更に、ＨＤＲ画像生成部１３１は、感度が同じ個眼カメラで撮像された画像Ｐ１の画像と、画像Ｐ３の画像とを比較し、画素値が異なる領域を第２動体領域として検出する。このようにして抽出した第１動体領域と第２動体領域が合わされて動体領域とされる。画像Ｐ１の破線で示す領域Ａ１が、動体領域である。ＨＤＲ画像生成部１３１は、ＨＤＲ画像Ｐ０内の動体領域である領域Ａ０の画像を、１回目の撮像で得られた画像を用いて作成し、領域Ａ０以外の領域である静体領域の画像を、ＨＤＲ静体撮像モードで撮像された画像、つまり、２回目と３回目の撮像で得られた画像を用いて作成する。

距離算出部１３３は、図１５（ａ）に示すように、個眼カメラで撮像された画像の画像ペア１６１、又は、画像ペア１６２を選択する。

＜動作＞
次に、本実施形態における撮像装置Ｄの動作について、図１８を用いて説明する。図１８は、撮像装置Ｄの撮像処理のフローチャートである。

ユーザは、入力部４を操作して、撮像モードを設定する。ユーザにより設定された撮像モードを、制御処理部１を介して受け付けた制御部１１は、設定された撮像モードが「通常撮像モード」である場合には（ステップＳ１１：Ｙｅｓ）、感度調整部１２にグループＡ及びグループＢの感度を同じにするよう指示する。指示を受けた感度調整部１２は、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間を設定する（ステップＳ１３）。

ユーザが入力部４を操作して、撮像を指示するコマンドを入力すると、制御処理部１を介して撮像指示を受け付けた制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ１３）。

そして、制御部１１は、ＨＤＲ画像生成部１３１に、ＨＤＲ画像の作成を指示する。指示を受けたＨＤＲ画像生成部１３１は、現在のモードが、通常撮像モードであるので、記憶部２から画像を読み出し、いずれかの画像を生成した画像とする（ステップＳ１４）。

また、制御部１１は、距離算出部１３３に、被写体までの距離の算出を指示する。指示を受けた距離算出部１３３は、上述したような画像ペアを記憶部２から読み出し、読み出した画像ペアを対応点探索部１３２に渡し、視差の算出を依頼する。依頼を受けた対応点探索部１３２は、ペアの画像を用いて対応点探索を行い、視差を求め、距離算出部１３３に渡す。

対応点探索部１３２から視差を受け取った距離算出部１３３は、図６を用いて説明したように、被写体までの距離を算出する（ステップＳ１５）。

制御部１１は、ＨＤＲ画像生成部１３１が作成した画像、及び、距離算出部１３３が算出した被写体までの距離を出力部５に出力する。

ステップＳ１１において、設定された撮像モードが「通常撮像モード」ではなく（ステップＳ１１：Ｎｏ）、設定された撮像モードが「ＨＤＲ動体撮像モード」である場合には（ステップＳ２１：Ｙｅｓ）、制御部１１は、＜ＨＤＲ動体撮像モード＞の項で説明したように、感度調整部１２にグループＡの感度とグループＢの感度とを、それぞれ予め定められた感度にするよう指示する。指示を受けた感度調整部１２は、ＨＤＲ動体撮像モード用に予め定められている受光時間を、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、グループごとに設定する（ステップＳ２２）。

ユーザが入力部４を操作して、撮像を指示するコマンドを入力すると、制御処理部１を介して撮像指示を受け付けた制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ２３）。

そして、制御部１１は、ＨＤＲ画像生成部１３１に、ＨＤＲ画像の作成を指示する。指示を受けたＨＤＲ画像生成部１３１は、記憶部２から画像を読み出し、各画像間のずれを算出することが可能な画像ペアを選択し、選択した画像ペアを対応点探索部１３２に渡して、視差（ずれ量）の算出を依頼する。依頼を受けた対応点探索部１３２は、ペアの画像を用いて対応点探索を行い、視差を求め、ＨＤＲ画像生成部１３１に渡す。

対応点探索部１３２から、画像間のずれ量を受け取ったＨＤＲ画像生成部１３１は、記憶部２から読み出した画像を、ずれ量だけずらして合成し、１枚のＨＤＲ画像を生成する（ステップＳ２４）。

また、制御部１１は、距離算出部１３３に、被写体までの距離の算出を指示する。指示を受けた距離算出部１３３は、＜ＨＤＲ動体撮像モード＞の項で説明したような画像ペアを記憶部２から読み出し、読み出した画像ペアを対応点探索部１３２に渡し、視差を算出させ、算出された視差を用いて、被写体までの距離を算出する（ステップＳ２５）。

制御部１１は、ＨＤＲ画像生成部１３１が作成したＨＤＲ画像、及び、距離算出部１３３が算出した被写体までの距離を出力部５に出力する。

ステップＳ２１において、設定された撮像モードが「ＨＤＲ動体撮像モード」ではなく（ステップＳ２１：Ｎｏ）、設定された撮像モードが「ＨＤＲ静体撮像モード」である場合には（ステップＳ３１：Ｙｅｓ）、制御部１１は、＜ＨＤＲ静体撮像モード＞の項で説明したように、感度調整部１２に、全個眼カメラの感度を、１回目の撮像の感度とするよう指示する。指示を受けた感度調整部１２は、１回目の撮像の受光時間を、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、全個眼撮像部３１２１に設定する（ステップＳ３２）。

ユーザが入力部４を操作して、撮像を指示するコマンドを入力すると、制御処理部１を介して撮像指示を受け付けた制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ３３）。

次に、制御部１１は、感度調整部１２に、全個眼カメラの感度を、２回目の撮像の感度とするよう指示する。指示を受けた感度調整部１２は、２回目の撮像の受光時間を、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、全個眼撮像部３１２１に設定する（ステップＳ３４）。

そして、制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ３５）。

制御部１１は、ＨＤＲ画像生成部１３１に、ＨＤＲ画像の作成を指示する。指示を受けたＨＤＲ画像生成部１３１は、記憶部２から画像を読み出し、対応点探索部１３２に渡して視差（ずれ量）を算出させ、算出されたずれ量を用いて、１枚のＨＤＲ画像を生成する１枚のＨＤＲ画像を生成する（ステップＳ３６）。

また、制御部１１は、距離算出部１３３に、被写体までの距離の算出を指示する。指示を受けた距離算出部１３３は、＜ＨＤＲ静体撮像モード＞の項で説明したような画像ペアを記憶部２から読み出し、読み出した画像ペアを対応点探索部１３２に渡し、視差を算出させ、算出された視差を用いて、被写体までの距離を算出する（ステップＳ３７）。

制御部１１は、ＨＤＲ画像生成部１３１が作成したＨＤＲ画像、及び、距離算出部１３３が算出した被写体までの距離を出力部５に出力する。

ステップＳ３１において、設定された撮像モードが「ＨＤＲ静体撮像モード」でない場合には（ステップＳ３１：Ｎｏ）、制御部１１は、＜ＨＤＲオートモード＞の項で説明したように、感度調整部１２にグループＡの感度とグループＢの感度とを、ＨＤＲ動体撮像モードにおける個眼カメラの感度にするよう指示する。指示を受けた感度調整部１２は、ＨＤＲ動体撮像モードで予め定められている受光時間を、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、グループごとに設定する（ステップＳ４１）。

ユーザが入力部４を操作して、撮像を指示するコマンドを入力すると、制御処理部１を介して撮像指示を受け付けた制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ４２）。

次に、制御部１１は、感度調整部１２に、全個眼カメラの感度を、ＨＤＲ静体撮像モードにおける１回目の撮像の感度にするよう指示する。指示を受けた感度調整部１２は、ＨＤＲ静体撮像モードで予め定められている受光時間を、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、設定する（ステップＳ４３）。

そして、制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ４４）。

次に、制御部１１は、感度調整部１２に、全個眼カメラの感度を、ＨＤＲ静体撮像モードにおける２回目の撮像の感度にするよう指示する。指示を受けた感度調整部１２は、ＨＤＲ静体撮像モードで予め定められている受光時間を、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、設定する（ステップＳ４５）。

そして、制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ４６）。

次に、制御部１１は、ＨＤＲ画像生成部１３１に、ＨＤＲ画像の作成を指示する。指示を受けたＨＤＲ画像生成部１３１は、記憶部２から画像を読み出し、対応点探索部１３２に渡して視差（ずれ量）を算出させ、算出されたずれ量を用い、上述のような動体領域及び静体領域の画像を作成して、１枚のＨＤＲ画像を生成する（ステップＳ４７）。

また、制御部１１は、距離算出部１３３に、被写体までの距離の算出を指示する。指示を受けた距離算出部１３３は、＜ＨＤＲオートモード＞の項で説明したような画像ペアを記憶部２から読み出し、読み出した画像ペアを対応点探索部１３２に渡し、視差を算出させ、算出された視差を用いて、被写体までの距離を算出する（ステップＳ４８）。

制御部１１は、ＨＤＲ画像生成部１３１が作成したＨＤＲ画像、及び、距離算出部１３３が算出した被写体までの距離を出力部５に出力する。

このように、撮像装置Ｄでは、画像のダイナミックレンジ、及び、測距精度の選択を、ユーザが容易に行うことが可能となっている。

尚、実施形態では、ハイダイナミックレンジ画像を作成することとしているが、アレイカメラ３１から得られた複数の画像を用いて、超解像画像を作成してもよく、更に、超解像画像を用いた測距を行ってもよい。

また、実施形態では、感度調整部１２は、２種類の感度を個眼カメラに設定することとしているが、個眼カメラの数に応じて３種類以上の感度を設定することとしてもよい。感度の種類が多い程、撮像装置Ｄが、広いダイナミックレンジの画像を作成することが可能となる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

Ｄ 測距装置
１２ 感度調整部
１３ 演算部
１３１ ＨＤＲ画像生成部
１３２ 対応点探索部
１３３ 距離算出部
３ 画像取得部
３１ アレイカメラ
３１１ アレイレンズ部
３１２ アレイ撮像部

Claims (9)

1. 一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラと、
   前記複数の撮像部それぞれの感度を変更する感度変更部と、
   前記複数の撮像部で撮像された画像を用いた対応点探索により、前記複数の画像同士の視差を算出する対応点探索部と、
   前記感度変更部によって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索部に視差を算出させ、算出された視差を用いて前記対象物の位置合わせを行い、前記複数の撮像部で撮像された画像を合成して、１枚の画像を作成する画像作成部と、
   前記対象物が動体であるか否かに関する複数のモードを有し、前記モードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成部に、前記感度に応じた輝度範囲の１枚の画像を作成させる制御部と
   を備えることを特徴とする撮像装置。
2. 前記モードが、前記対象物が動体である場合に用いるモードである場合には、
   前記制御部は、前記感度変更部に、前記複数の撮像部の一部の撮像部の感度を第１感度に変更させ、他の撮像部の感度を第２感度に変更させて、前記複数の撮像部に撮像させた複数の第１画像を用いて、前記画像作成部に１枚の画像を作成させ、
   前記第１感度及び前記第２感度は、前記第１感度の撮像部により撮像された画像の輝度範囲と、前記第２感度の撮像部で撮像された画像の輝度範囲とが連続するような感度である
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記モードが、前記対象物が動体ではない場合に用いるモードである場合には、
   前記制御部は、前記感度変更部に、前記複数の撮像部の全ての撮像部の感度を第３感度に変更させて、前記複数の撮像部に撮像させた複数の第２画像と、前記複数の撮像部の全ての撮像部の感度を第４感度に変更させて、前記複数の撮像部に撮像させた複数の第３画像とを用いて、前記画像作成部に１枚の画像を作成させ、
   前記第３感度及び前記第４感度は、前記第３感度の撮像部により撮像された画像の輝度範囲と、前記第４感度の撮像部で撮像された画像の輝度範囲とが連続するような感度である
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記モードが、前記対象物が動体であるか否かが不明である場合に用いるモードで場合には、
   前記制御部は、前記感度変更部に、前記複数の撮像部の一部の撮像部の感度を第５感度に変更させ、他の撮像部の感度を第６感度に変更させて、前記複数の撮像部に撮像させた複数の第４画像と、前記感度変更部に、前記複数の撮像部の全ての撮像部の感度を第６感度に変更させて、前記複数の撮像部に撮像させた複数の第５画像と、前記複数の撮像部の全ての撮像部の感度を第５感度に変更させて、前記複数の撮像部に撮像させた複数の第６画像とを用いて、前記画像作成部に、１枚の画像を作成させ、
   前記第５感度及び前記第６感度は、前記第５感度の撮像部により撮像された画像の輝度範囲と、前記第６感度の撮像部で撮像された画像の輝度範囲とが連続するような感度である
   ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記画像作成部は、第６感度の複数の撮像部のうちの第１撮像部で撮像された前記複数の第４画像のうちの１つの画像と、前記第１撮像部で撮像された前記複数の第５画像のうちの１つの画像との異なる第１領域、又は、第５感度の複数の撮像部のうちの第２撮像部で撮像された前記複数の第４画像のうちの１つの画像と、前記第２撮像部で撮像された前記複数の第６画像のうちの１つの画像との異なる第２領域が存在する場合は、前記対象物が動体であると判断し、
   前記第１領域と前記第２領域とから成る動体領域を決定し、前記１枚の画像のうちの前記動体領域の画像は、前記第４画像を用いて作成し、前記動体領域以外の領域の画像は、前記第５画像、及び、前記第６画像を用いて作成する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記複数の撮像光学系のうち少なくとも２つの撮像光学系に対応する撮像部で撮像された画像に基づいて前記対象物までの距離を求める距離演算部を、更に備え、
   前記距離演算部は、前記感度変更部によって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索部に視差を算出させ、算出された視差に基づいて前記対象物までの距離を算出する
   ことを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記モードを設定する設定入力手段を更に備え、
   前記制御部は、前記設定入力手段により設定されたモードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させる
   ことを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
8. 前記撮像部は、固体撮像素子を有し、
   前記感度変更部は、前記複数の撮像部それぞれが有する固体撮像素子の蓄積時間を変更することによって、前記複数の撮像部の感度を変更する
   ことを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。
9. 一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラを備える撮像装置で用いられる撮像方法であって、
   前記複数の撮像部それぞれの感度を変更する感度変更ステップと、
   前記複数の撮像部で撮像された画像を用いた対応点探索により、前記複数の画像同士の視差を算出する対応点探索ステップと、
   前記感度変更ステップによって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索ステップに視差を算出させ、算出された視差を用いて前記対象物の位置合わせを行い、前記複数の撮像部で撮像された画像を合成して、１枚の画像を作成する画像作成ステップと、
   前記対象物が動体であるか否かに関する複数のモードを有し、前記モードに応じて、前記感度変更ステップで前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成ステップで、前記感度に応じた輝度範囲の１枚の画像を作成させる制御ステップと
   を備えることを特徴とする撮像方法。