JP2016004152A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2016004152A
JP2016004152A JP2014124202A JP2014124202A JP2016004152A JP 2016004152 A JP2016004152 A JP 2016004152A JP 2014124202 A JP2014124202 A JP 2014124202A JP 2014124202 A JP2014124202 A JP 2014124202A JP 2016004152 A JP2016004152 A JP 2016004152A
Authority
JP
Japan
Prior art keywords
imaging
distance
subject
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014124202A
Other languages
English (en)
Inventor
篤広 野田
Atsuhiro Noda
篤広 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2014124202A priority Critical patent/JP2016004152A/ja
Publication of JP2016004152A publication Critical patent/JP2016004152A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Cameras In General (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】本発明は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する、アレイレンズの各個眼における前記各合焦位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる撮像装置および撮像方法を提供する。【解決手段】本発明の撮像装置は、アレイレンズと、複数の撮像部と、前記アレイレンズを移動させる駆動機構部と、前記複数の撮像部のうちの少なくとも2つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出部と、前記距離算出部で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御部と、前記制御部によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも2個以上の画像を合成することにより新たな合成画像を生成する画像合成部を備える。【選択図】図2

Description

本発明は、物体(被写体)の光学像を撮像する撮像装置および撮像方法に関する。
撮像装置は、一般に、物体(被写体)の光学像を結像する撮像光学系と、前記撮像光学系によって受光面(撮像面)上に結像された前記光学像を電気的な信号に変換する撮像素子とを備えている。このような撮像装置の一つに、アレイ状に配列された複数の撮像光学系(個眼)を備えるアレイレンズを用いた装置が知られている。このようなアレイレンズを用いた撮像装置は、一例として、例えば、特許文献1に開示された撮像装置がある。
この特許文献1に開示された撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、前記レンズアレイの近傍に配置され温度を検知する温度センサーと、前記温度センサーにより検知された温度に基づいて、前記複数のレンズのすべての光軸の移動量に応じて前記撮像領域において生成された撮像信号を補正する温度補償/撮像信号補正部とを備えている。
特許第4264464号明細書
ところで、このようなアレイレンズを用いた撮像装置は、従来、固定焦点方式でアレイレンズによって撮像素子の受光面に物体の光学像を結像している。前記特許文献1に開示された撮像装置は、各個眼の各光軸における各移動量、すなわち、光軸に直交する方向の移動量を温度補償している。したがって、前記特許文献1に開示された撮像装置は、光軸に沿った方向にレンズアレイ(アレイレンズ)を移動しているわけではなく、固定焦点方式である。
一方、近年では、アレイレンズを用いた撮像装置に対し、より高精度に合焦することが要望されてきている。このため、アレイレンズを用いた撮像装置に、オートフォーカス機能を搭載することが考えられる。この場合、アレイレンズの各個眼において、被写体までの距離に応じて結像する各結像位置(合焦位置)が、互いに同一であれば、前記アレイレンズにおける任意の1個の個眼に対し、オートフォーカスを実行することによって、全ての個眼に対しても合焦できる。しかしながら、アレイレンズの各個眼において、被写体までの距離に応じて結像する前記各合焦位置は、全個眼に対し必ずしも同一であるとは限らず、製造誤差等によって各個眼ごとに異なる場合が多い。このため、前記アレイレンズにおける任意の1個の個眼に対し、オートフォーカスを実行しても、全ての個眼に対して必ずしも合焦できるとは限らない。
本発明は、上述の事情に鑑みて為された発明であり、その目的は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する、アレイレンズの各個眼における前記各合焦位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる撮像装置および撮像方法を提供することである。
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる撮像装置は、複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、前記複数の撮像部のうちの少なくとも2つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出部と、前記距離算出部で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御部と、前記制御部によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも2個以上の画像を合成することによって新たな合成画像を生成する画像合成部とを備えることを特徴とする。
このような撮像装置は、少なくとも2つの撮像部によって撮像された複数の画像に基づいてオートフォーカスを実行する。つまり、上記撮像装置では、複数の撮像部のうちの2以上の撮像部によって撮像された画像に基づいて、被写体までの距離を算出し、算出した距離に基づいて、被写体に合焦するようにアレイレンズを移動するので、当該撮像装置は最適に合焦することが可能となる。
また、このような撮像装置は、被写体に合焦したアレイレンズに対応する撮像部により撮像された画像を用いて合成画像を生成するので、より広いダイナミックレンジの画像を生成する画像処理や、より解像度の高い解像度の画像を生成する画像処理(例えば超解像処理等)を精度よく行うことが可能となる。
また、他の一態様では、上述の撮像装置において、前記距離算出部は、前記複数の撮像部から、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部を、変更して選択できることを特徴とする。
このような撮像装置は、被写体までの距離を求めるための撮像部を変更して選択できるので、状況に応じて当該撮像装置にとって適した撮像部を選択することが可能となる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、緑色の波長帯域で撮像する撮像部を選択することを特徴とする。
人の視感感度は、緑色に対して最も高いことが知られている。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、緑色の波長帯域で撮像する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、人の視感感度の高い緑色の波長帯域をより良く合焦した状態で好適に撮像できる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、当該撮像装置の使用用途に応じて予め定められた色の波長帯域で撮像する撮像部を選択することを特徴とする。
一般に、主に撮像したい被写体は、当該撮像装置の使用用途に応じて決まる。例えば、植物の成長を観察する用途の撮像装置では、緑色の被写体が主体となる。また例えば、果実の成熟具合を観察する用途の撮像装置では、赤色の被写体が主体となる。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、当該撮像装置の使用用途に応じて予め設定された色の波長帯域で撮像する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、当該撮像装置の使用用途に応じて、より良く合焦した状態で好適に撮像できる。
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する2つの撮像部として、前記少なくとも2つの撮像部から、前記少なくとも2つの撮像部それぞれに対応する撮像光学系の合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部を選択することを特徴とする。
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、複数の撮像光学系のうちの少なくとも2つの撮像光学系(複数の撮像光学系のうちの一部の撮像光学系)の各合焦位置の平均値から所定の範囲内にある合焦位置を持つ撮像光学系であって、平均値をとった前記少なくとも2つの撮像光学系(前記一部の撮像光学系)から選択された撮像光学系に対応する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、前記少なくとも2つの撮像光学系(前記一部の撮像光学系)それぞれに対し各合焦位置のずれを小さくできるので、より最適に合焦できる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記アレイレンズの所定の対応点に対して互いに対称な位置に配置されている撮像光学系に対応する撮像部を選択することを特徴とする。
仮にアレイレンズが軸方向に対し傾くと、この傾きによって合焦位置がずれる。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、所定の対応点(例えば、中央位置)に対して互いに対称な位置に配置された複数の撮像光学系に対応する複数の撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、アレイレンズが傾いた場合に、この傾きを考慮してオートフォーカスを実施できる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部の1つとして、前記アレイレンズの中央位置から所定の範囲内の位置に配置されている撮像光学系に対応する撮像部を選択することを特徴とする。
通常、撮像したい被写体は、画像の中央に位置すると考えられる。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、中央位置から所定の範囲内に配置された撮像光学系に対応する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、前記中央位置から所定の範囲内に配置された撮像光学系に対応する個眼(撮像光学系)を用いて、被写体までの距離をより正確に求めることができるので、より良く合焦した状態で好適に撮像できる。また、アレイレンズの中央位置が撮像光学系の中心にあるため、アレイレンズの中央位置または中央部分でAF(オートフォーカス)すると周辺側でAFするより広い範囲で焦点があうので全体として好適に補正できる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記アレイレンズの中央位置に寄った位置に配置された撮像光学系、及び、前記アレイレンズの周辺部に寄った位置に配置された撮像光学系に、それぞれ対応する撮像部を選択することを特徴とする。
このような撮像装置では、被写体までの距離を求めるための撮像部は、アレイレンズの中央位置に寄った位置に配置された複数の撮像光学系と、周辺部に寄った位置に配置された撮像光学系に対応する複数の撮像部である。したがって、より離間した複数の個眼が用いられるので、被写体までの距離をより精度よく求めることができ、上記撮像装置は、より良く合焦した状態で好適に撮像できる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記アレイレンズの周辺部に寄った位置に配置されている撮像光学系であって、前記アレイレンズの中央位置に対して互いに対称な位置に配置されている撮像光学系に対応する撮像部を選択することを特徴とする。
このような撮像装置では、被写体までの距離を求めるための撮像部は、アレイレンズの中央位置に対して互いに対称な前記位置に配置された複数の撮像光学系の中でも、周辺部に寄った位置に配置された複数の撮像光学系に対応する複数の撮像部である。したがって、より離間した複数の個眼が用いられるので、上記撮像装置は、より良く合焦した状態で好適に撮像できる。
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記複数の撮像光学系のうちの、前記複数の撮像光学系それぞれの合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部を選択することを特徴とする。
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、複数の撮像光学系全てにおける各合焦位置の平均値から、所定の範囲内にある合焦位置を持つ撮像光学系に対応する撮像部によって撮像された複数の画像に基づいて、決定される。このため、上記撮像装置は、全ての個眼(複数の撮像光学系)それぞれに対し各個眼合焦位置のずれを小さくでき、全ての個眼に対し総合的に最適な合焦状態を実現できるから、当該撮像装置にとってより最適に合焦できる。
また、他の一態様では、これら上述の撮像装置において、前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記少なくとも2つの撮像部に対応する撮像光学系の合焦位置の平均値が、前記複数の撮像光学系それぞれの合焦位置の平均値と同じとなるような撮像光学系に対応する撮像部を選択することを特徴とする。
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、被写体までの距離を求めるための撮像部に対応する撮像光学系における合焦位置の平均値が、前記複数の撮像光学系における全ての撮像光学系の合焦位置の平均値に一致する撮像光学系に対応する撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、前記複数の撮像部に対応する個眼(撮像光学系)に対し、個眼合焦位置のずれを小さくでき、当該撮像装置にとってより最適に合焦できる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、同一色の波長帯域で撮像する撮像部を選択することを特徴とする。
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、同一色の波長帯域で撮像する複数の撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、同一色の波長帯域で撮像する複数の撮像部に対応する各個眼に対し、各個眼合焦位置のずれを小さくでき、同一色の波長帯域をより良く合焦した状態で好適に撮像できる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、互いに異なる色の波長帯域で撮像する撮像部を選択することを特徴とする。
このような撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、互いに異なる色の波長帯域で撮像する複数の撮像部によって撮像された複数の画像に基づいて決定される。このため、上記撮像装置は、互いに異なる色の波長帯域で撮像する複数の撮像部に対応する各個眼に対し、各合焦位置のずれを小さくでき、互いに異なる色の波長帯域をより良く合焦した状態で好適に撮像できる。
また、他の一態様では、これら上述の撮像装置において、前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部のうちの少なくとも1つとして、当該撮像装置の使用用途に応じて予め定められた色の波長帯域で撮像する撮像部を選択することを特徴とする。
一般に、主に撮像したい被写体は、当該撮像装置の使用用途に応じて決まる。例えば、周辺を監視する車載用の撮像装置では、可視光だけでなく、赤外線が主体になる場合がある。上記撮像装置では、オートフォーカスの際におけるアレイレンズの合焦位置は、当該撮像装置の使用用途に応じて予め設定された色の波長帯域で撮像する撮像部を少なくとも1つ含む撮像部で撮像された複数の画像に基づいて求められた被写体までの距離に基づいて決定される。従って、被写体までの距離を求めるために用いる他の撮像部は、例えば、基線長が長くなるような撮像部を選択したりすることができるので、上記撮像装置は、当該撮像装置の使用用途に応じて、より良く合焦した状態で好適に撮像でき、更に、他の撮像部の選択に応じて、測距の精度があがることでより良く合焦した状態とすることができる等の効果を奏することが可能となる。
また、他の一態様では、これら上述の撮像装置において、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部に対応して、前記被写体までの距離に応じた補正情報を記憶する記憶部を、更に備え、前記距離演算部は、前記複数の撮像部のうちの少なくとも2つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求め、求めた前記被写体までの距離を、前記少なくとも2つの撮像部に対応する撮像光学系の前記記憶部に記憶されている誤差に基づいて補正し、前記制御部は、前記補正された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させることを特徴とする。
例えば当該撮像装置の設計上の都合や撮像装置を用いたシステムの設計上の都合等によって、各撮像光学系の合焦位置が設計値と異なる場合が生じ得る。合焦位置が設計値と異なる撮像光学系と対応する撮像部による画像を用いて算出した被写体までの距離は、精度が高くない場合がある。従って、前記被写体までの距離に応じた補正情報に基づいて、算出した被写体までの距離を補正するので、より最適なアレイレンズの合焦位置にオートフォーカスでき、当該撮像装置にとってより最適に合焦できる。
そして、他の一態様にかかる撮像方法は、複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、を備える撮像装置の撮像方法であって、前記複数の撮像部のうちの少なくとも2つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出工程と、前記距離算出工程で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御工程と、前記制御工程によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも2個以上の画像を合成することによって新たな合成画像を生成する画像合成工程とを備えることを特徴とする。
このような撮像方法は、複数の撮像部のうちの2以上の撮像部によって撮像された複数の画像に基づいてオートフォーカスを実行する。この際に、上記撮像方法では、複数の撮像部のうちの2以上の撮像部によって撮像された画像に基づいて、被写体までの距離を算出し、算出した距離に基づいて、被写体に合焦するようにアレイレンズを移動するので、当該撮像装置は最適に合焦することが可能となる。
本発明にかかる撮像装置および撮像方法は、アレイレンズを備える撮像装置において、被写体までの距離に応じて結像する。アレイレンズの各個眼における前記各合焦位置が全個眼に対し同一ではない場合でも、当該撮像装置にとってより最適に合焦できる。
実施形態における撮像装置の構造的な構成を示す図である。 前記撮像装置の電気的な構成を示すブロック図である。 対応点探索を説明するための図である。 いわゆる三角測量の原理で視差から被写体までの距離を求める方法を説明するための図である。 被写体までの距離を求める方を説明するための図である。 各個眼の合焦位置の違いと被写体までの距離とを説明するための図である。 被写体までの距離を求めるために選択する撮像部(第1態様)を説明するための図である。 被写体までの距離を求めるために選択する撮像部(第2態様)を説明するための図である。 被写体までの距離を求めるために選択する撮像部(第3態様)を説明するための図である。 実施形態の撮像装置に用いられる第1態様の色フィルタを説明するための図である。 実施形態の撮像装置に用いられる第2態様の色フィルタを説明するための図である。 被写体までの距離を求めるために選択する撮像部(第4態様)を説明するための図である。 被写体までの距離を求めるために選択する撮像部(第5態様)を説明するための図である。 実施形態の撮像装置に用いられる第3態様の色フィルタを説明するための図である(第6態様)。 実施形態における撮像装置の動作を示す第1のフローチャートである。 実施形態における撮像装置の動作を示す第2のフローチャートである。 アレイレンズにおける、例えば製造誤差等による光軸方向に沿った各合焦位置の変化を説明するための図である。
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。
本実施形態における撮像装置Iは、複数の撮像光学系(個眼)を持つアレイレンズを備え、前記複数の撮像光学系それぞれによって各撮像面(各受光面)上にそれぞれ結像された物体(被写体)の各光学像をそれぞれ撮像し、これら撮像された複数の画像のうちの少なくとも2個以上の画像を合成することによって新たな合成画像を生成する装置である。撮像装置Iは、静止画の画像(画像信号、画像データ)を生成して良く、および/または、動画の画像(画像信号、画像データ)を生成して良い。なお、Aおよび/またはBは、AおよびBのうちの少なくとも一方を意味する。そして、本実施形態における撮像装置Iでは、前記複数の撮像光学系それぞれによって結像された物体の各光学像が撮像される際に、アレイレンズの位置がオートフォーカスによって制御される。したがって、本実施形態における撮像装置Iは、当該撮像装置にとってより最適に合焦できる。以下、このような撮像装置Iの各態様を順に説明する。
図1は、実施形態における撮像装置の構造的な構成を示す図である。図1(A)は、平面図であり、図1(B)は、側面図である。図1(B)は、図示するXYZ直交座標系におけるY方向から見た場合の側面図である。XYZ直交座標系は、例えば、後述するアレイレンズ11における各個眼の配列方向に沿ってX方向およびY方向が設定され、これらX方向およびY方向それぞれに直交する方向にZ方向が設定される。以下、X方向、Y方向およびZ方向を適宜に用いて撮像装置Iの構成を説明する。なお、+X方向は、アレイレンズ11におけるX方向に沿った他方端から一方端に向かう方向であり、−X方向は、アレイレンズ11におけるX方向に沿った一方端から他方端に向かう方向であり、+Y方向は、アレイレンズ11におけるY方向に沿った他方端から一方端に向かう方向であり、−Y方向は、アレイレンズ11におけるY方向に沿った一方端から他方端に向かう方向であり、+Z方向は、アレイレンズ11が撮像部5から離れる方向であり、−Z方向は、アレイレンズ11が撮像部5に近づく方向である。図2は、前記撮像装置の電気的な構成を示すブロック図である。
本実施形態における撮像装置Iは、例えば、図1および図2に示すように、アレイレンズ11を含む光学部品1と、支持機構2と、支持部材3と、駆動部4と、複数の撮像部5と、位置検出部7と、オートフォーカス制御部(AF制御部)82および画像合成部832を含む制御処理部8と、記憶部9とを備える。これら支持機構2および駆動部4は、駆動機構部を構成し、駆動機構部の一例である。またこれら光学部品1、支持機構2、支持部材3および駆動部4は、撮像部5の受光面上に物体の光学像を結像するレンズユニットを構成する。
支持機構2は、光学部品1を支持するための部材である。支持機構2は、例えば、本実施形態では、光学部品1を所定の軸の軸方向に沿ってガイドするように光学部品1を片持ちで弾性支持する平行ばね部材2である。前記所定の軸は、例えば、前記レンズユニットの光軸や撮像部5の光軸等である。この平行ばね部材2は、一方向(図1に示す例ではX方向)に長尺な1対(2個)のばね部材を備え、これら1対のばね部材がその長尺な方向(延伸方向)で互いに平行となるように、その長尺な方向と直交する方向で離間して配置されて構成される。このような平行ばね部材2は、例えば、1対の板バネで構成される。また例えば、平行ばね部材2は、1対のサスペンションワイヤで構成される。このように平行ばね部材2は、平行な2個の1対なばね部材で機能するが、本実施形態では、光学部品1に作用する駆動部4による駆動力および平行ばね部材2による付勢力の各力のバランスを考慮して、光学部品1をY方向の両側から片持ちで弾性支持するように、平行ばね部材2は、1組の第1および第2平行ばね部材21、22で構成されている。そして、第1平行ばね部材21は、Z方向に所定の距離だけ離間してZ方向に平行となるように配置される、2個の1対の第11および第12ばね部材21−1、21−2を備えて構成され、これら第11および第12ばね部材21−1、21−2におけるX方向の各一方端部(第1平行ばね部材21の一方端部)は、光学部品1に連結され、これらのX方向の各他方端部(第1平行ばね部材21の他方端部)は、支持部材3に連結される。第2平行ばね部材22は、Z方向に前記所定の距離だけ離間してX方向に平行となるように配置される、2個の1対の第21および第22ばね部材22−1、22−2を備えて構成され、これら第21および第22ばね部材22−1、22−2におけるX方向の各一方端部(第2平行ばね部材22の一方端部)は、光学部品1に連結され、これらのX方向の各他方端部(第2平行ばね部材22の他方端部)は、支持部材3に連結される。
なお、本実施形態では、支持機構2は、平行ばね部材2であるが、これに限定されるものではなく、他の機構であってもよい。例えば、支持機構2は、前記軸方向に沿ってアレイレンズ11を直進ガイドする平行リンク機構であっても良い。
光学部品1は、支持機構(本実施形態では平行ばね部材)2によって弾性支持され、物体の光学像を撮像部5の受光面(撮像面)上に結像するために、アレイレンズ11を含む部品である。より具体的には、光学部品1は、平面視にて矩形形状(正方形を含む)のアレイレンズ11と、レンズ保持枠12とを備える。なお、光学部品1は、駆動部4の駆動力を直接的にアレイレンズ11に伝達するように構成されてもよいが、本実施形態では、光学部品1は、前記駆動力をレンズ保持枠12に伝達するように構成されており、上述のように、アレイレンズ11とレンズ保持枠12とを備えている。
アレイレンズ11は、線形独立な2方向、より具体的には互いに直交するX方向およびY方向の2方向に2次元マトリクス状に配列された複数の撮像光学系(個眼)111を備える。これら複数の撮像光学系111は、それぞれ、物体の光学像を撮像部5の受光面上に結像するために、1または複数の光学レンズを光軸に沿って含む部品である。複数の撮像光学系111は、この図1に示す例では、各光軸が互いに略平行となるように、配列される。したがって、複数の撮像光学系111を介して物体の各光学像を撮像する複数の撮像部5は、それぞれ、視差だけ互いに異なるが略同じ被写体を写した画像の画像信号を生成することになる。図1に示す例では、アレイレンズ11は、4行4列に2次元マトリクス状に配列された16個の撮像光学系111−11〜111−44を備える。なお、撮像光学系111の個数は、これに限定されるものではなく、また、光軸に関し、必ずしも全ての撮像光学系111が平行である必要はない。
レンズ保持枠12は、アレイレンズ11を保持するための部材である。レンズ保持枠12は、例えば、アレイレンズ11の外形形状に応じた形状の貫通開口を形成した短高の筒状部材である。図1示す例では、アレイレンズ11の外形形状が矩形形状であることから、レンズ保持枠12は、平面視にて、矩形形状の貫通開口を有し、矩形形状の外形形状を有する筒状部材である。アレイレンズ11は、レンズ保持枠12の前記貫通開口に嵌め込まれて例えば接着剤等によって固定される。レンズ保持枠12は、支持機構2の一方端部を取り付けるための第1ばね取付部121を備える。より具体的には、本実施形態では、図1に示すように、光学部品1をその両側から1組(1対のばね部材を1個として2個)の第1および第2平行ばね部材21(21−1、21−2)、22(22−1、22−2)によって片持ちで弾性支持するため、これに応じて第1ばね取付部121は、2個の第11ばね取付部121−1および第12ばね取付部121−2で構成される。これら1対の第11および第12ばね取付部121−1、121−2は、外方向の+Y方向および−Y方向それぞれに延びる各角柱形状で、前記貫通開口を介して互いに対向するように、レンズ保持枠12における互いに対向する各外周側面(Y方向の両端それぞれに位置する各外周側面)のX方向の一方端の各位置に、それぞれ形成されている。角柱形状の第1ばね取付部121における上下面(1対の第11および第12ばね取付部121−1、121−2における各上下面)は、1組の平行ばね部材2の一方端部(1組の第1および第2平行ばね部材21、22の各一方端部)を取り付けるための取付面であり、したがって、第1ばね取付部121のZ方向の長さは、平行ばね部材2における第11ばね部材21−1と第12ばね部材21−2とのZ方向の距離(第21ばね部材22−1と第22ばね部材22−2とのZ方向の距離)に対応した長さである。なお、レンズ保持枠12は、係合突起部122を備えるが、この係合突起部122は、後に、説明される。
支持部材3は、支持機構2を支持するための部材である。本実施形態では、支持機構2が1組の第1および第2平行ばね部材21、22であるので、支持部材3は、第1および第2平行ばね部材21、22における各他方端部が取り付けられて第1および第2平行ばね部材21、22を支持している。より具体的には、図1に示す例では、支持部材3は、基部31と、第2ばね取付部32とを備える。
基部31は、矩形形状の外形形状を有した板状の部材である。基部31の略中央領域には、光学部品1のアレイレンズ11を透過した光学像の各光束を受光する撮像部5を取り付けるための取付領域となっている。
第2ばね取付部32は、平行ばね部材2の他方端部を取り付けるための部材である。より具体的には、本実施形態では、上述したように、光学部品1を1組(前記2個)の第1および第2平行ばね部材21(21−1、21−2)、22(22−1、22−2)によって片持ちで弾性支持するため、これに応じて第2ばね取付部32は、2個の第21ばね取付部32−1および第22ばね取付部32−2で構成される。これら1対の第21および第22ばね取付部32−1、32−2は、上方向の+Z方向に延びる各角柱形状で、第2ばね取付部32に取り付けられた1組の平行ばね部材21、22を介して光学部品1を弾性支持した場合にアレイレンズ11を透過した各光学像の光束が基部31の前記取付領域に到達できる配設位置であって、レンズ保持枠12におけるX方向の他方端に位置する外周側面の外側近傍の配設位置(図1に示す例では矩形形状の基部31の一方主面におけるX方向の他方端の位置)に、基部31の一方主面から略垂直に立設するように基部31に、それぞれ形成されている。そして、1対の第21および第22ばね取付部32−1、32−2は、平行ばね部材2の他方端部(1組の第1および第2平行ばね部材21、22の各他方端部)を取り付けるための取付面を形成するために、平行ばね部材2における第11ばね部材21−1と第12ばね部材21−2とのZ方向の距離(第21ばね部材22−1と第22ばね部材22−2とのZ方向の距離)に対応した長さを持つ角柱形状の突部を備える。この角柱形状の突部における上下面(1対の第21および第22ばね取付部32−1、32−2における各突部の各上下面)が、平行ばね部材2の他方端部(1組の第1および第2平行ばね部材21、22の各他方端部)を取り付けるための取付面となる。なお、図1に示す例では、第2ばね取付部32は、1対の第21および第22ばね取付部32−1、32−2で構成されたが、第2ばね取付部32は、上方向の+Z方向に延びるとともにY方向にも延びる各角柱形状で、第2ばね取付部32に取り付けられた1組の平行ばね部材21、22を介して光学部品1を弾性支持した場合にアレイレンズ11を透過した各光学像の光束が基部31の前記取付領域に到達できる配設位置であって、レンズ保持枠12における+X方向の他方端に位置する外周側面の外側近傍の配設位置に、基部31の一方主面から略垂直に立設するように基部31に、形成された、1個の突条部材で構成されても良い。
このような構造を持つ光学部品1および支持部材3それぞれに対し、第1および第2平行ばね部材21、22は、次のように連結されている。図1(B)に示すように、第2平行ばね部材22の第21および第22ばね部材22−1、22−2におけるX方向の各一方端部は、第12ばね取付部121−2の上下面それぞれに例えば接着剤等によって固定されることで、光学部品1のレンズ保持枠12におけるY方向の他方端に位置する外周側面のX方向の一方端で光学部品1に連結され、そして、第2平行ばね部材22の第21および第22ばね部材22−1、22−2におけるX方向の他方端部は、第22ばね取付部32−2における前記突部の上下面それぞれに例えば接着剤等によって固定されることで、支持部材3に連結される。
同様に、第1平行ばね部材21の第11および第12ばね部材21−1、21−2におけるX方向の各一方端部は、第11ばね取付部121−1の上下面それぞれに例えば接着剤等によって固定されることで、光学部品1のレンズ保持枠12におけるY方向の一方端に位置する外周側面のX方向の一方端で光学部品1に連結され、そして、第1平行ばね部材21の第11および第12ばね部材21−1、21−2におけるX方向の他方端部は、第21ばね取付部32−1における前記突部の上下面それぞれに例えば接着剤等によって固定されることで、支持部材3に連結される。
駆動部4は、制御処理部8に接続され、制御処理部8の制御に従って、所定の軸の軸方向に沿って光学部品1を移動させるための装置である。駆動部4は、例えば、本実施形態では、前記光学部品1に係合し、所定の軸の軸方向に沿って光学部品1を移動させるためのアクチュエータ4である。このようなアクチュエータ4は、例えば、一方向に長尺な板状(帯状、リボン状、テープ状)の形状記憶合金(Shape Memory Alloy、以下、「SMA」と略記する。)を備えたSMAアクチュエータ、一方向に長尺な板状のバイメタルを備えたバイメタルアクチュエータ、および、一方向に長尺な板状のモノモルフ(ユニモルフ)を備えたモノモルフアクチュエータ等である。SMAアクチュエータおよびバイメタルアクチュエータは、それぞれ、金属材料で形成され、モノモルフアクチュエータは、金属材料を含んで形成されるので、これらSMAアクチュエータ、バイメタルアクチュエータおよびモノモルフアクチュエータは、それぞれ、後述するように光学部品1の移動に伴って移動した場合に、弾性限界を超えるまでは弾性変形可能であり、所定の剛性を持つ。したがって、アクチュエータ4は、好ましくは、後述のように光学部品1の移動に伴って移動する場合に、弾性変形の範囲内で移動することである。
このような駆動部4の駆動力を受けるために、レンズ保持枠12は、本実施形態では、駆動部4と係合し、その駆動力を受けるための、係合突起部122を備えている。より具体的には、係合突起部122は、外方向の延びる楕円柱形状で、レンズ保持枠12における外周側面に形成される。図1に示す例では、係合突起部122は、1対の第11および第12ばね取付部121−1、121−2の各取り付け位置を結んだ直線(Y方向に沿う直線)と直交する方向(X方向)に位置するとともにX方向の一方端に位置する外周側面における、Y方向の略中央位置であって−Z方向の一方端に寄った位置に形成されている。係合突起部122における駆動部4と係合する係合面は、係合突起部122と駆動部4とが滑らかに摺動可能に当接するように、曲面となっている。
本実施形態では、例えば、駆動部4としてSMAアクチュエータ4が用いられ、制御処理部8は、SMAアクチュエータ4を通電加熱することによって制御する。
SMAは、変態温度よりも高温側では、オーステナイト相(母相)と呼ばれる結晶構造になり、低温側では、マルテンサイト相と呼ばれる結晶構造になる。一般の金属材料は、所定の外力が加えられると変形前の形に戻らないが、SMAは、マルテンサイト相の状態で所定の外力が加えられて変形しても、変態温度以上になると、マルテンサイト相からオーステナイト相へ相変態し、変形前の元の形に形状が回復する。SMAを用いたSMAアクチュエータ4は、この特性を利用するによって駆動力を生じる。ところで、昇温および降温に対して動作を繰り返すアクチュエータは、この温度転換に対応した二方向性が要求される。二方向性を有するSMAも存在するものの、通常、SMAは、加熱に因り記憶形状に形状回復するが、冷却しても回復した記憶形状のままであり、一方向性しかない。このため、SMAアクチュエータの一態様では、形状回復後に前記一方向とは異なる他方向へSMAを変形する外力(バイアス)を与えるバイアス付与部材が必要であり、本実施形態のSMAアクチュエータ4では、1組の平行ばね部材21、22が前記バイアス付与部材として機能している。なお、支持機構2が例えば上述の平行リンク機構等のように前記バイアス付与部材として機能しない場合、撮像装置Iには、別途、バイアス付与部材が設けられる。
SMAアクチュエータ4は、予め所定の形状が記憶されており、加熱されることによって駆動力を光学部品1に与える。SMAアクチュエータ4は、Ni−Ti合金、Cu−Al−Ni合金、Cu−Zn合金、Cu−Zn−Al合金およびNi−Al合金等で形成される。Ni−Ti合金は、強度、靱性、耐食性および耐摩耗性に優れており、SMAアクチュエータ4に好適である。SMAアクチュエータ4は、レンズ保持枠12の係合突起部122と係合可能な位置であって支持部材3における基部31の一方主面上に配設される。より具体的には、図1に示す例では、SMAアクチュエータ4は、そのY方向の一方端部で係合突起部122に所定の摩擦力で係合しつつY方向に沿って延びるように、矩形形状の基部31の一方主面におけるX方向の一方端の位置に、Y方向の他方端部で例えば接着剤等によって固定されることによって、基部31の一方主面上に配設される。前記所定の形状は、本実施形態では、基部31に固定された他方端部から所定の距離だけ離れた位置(屈曲位置)よりY方向の先の長尺部分が上方向の+Z方向に持ち上がって、前記屈曲位置で屈曲した形状である。
複数の撮像部5は、光学部品1の像側に配置され、アレイレンズ11における複数の撮像光学系111に対応し、アレイレンズ11における複数の撮像光学系111それぞれによって各撮像面(各受光面)に結像された被写体の各光学像をそれぞれ撮像して画像信号(または各画像データ)を出力するものであり、制御処理部8に接続され、制御処理部8の制御に従って動作する。複数の撮像部5は、本実施形態では、アレイレンズ11における複数の撮像光学系111に対応して、線形独立な2方向、より具体的には互いに直交するX方向およびY方向の2方向に2次元マトリクス状に配列されている。複数の撮像部5は、アレイレンズ11の個眼数(撮像光学系111の個数、図1に示す例では16個)に応じた個数の撮像素子5であっても良いが、本実施形態では、複数の撮像部5は、1個の撮像素子5であって、撮像素子5の有効領域がアレイレンズ11の個眼数に応じた個数の分割領域に分けられ、アレイレンズ11の各個眼によって結像された各光学像を各分割領域で撮像するように構成されている。このような撮像素子5は、アレイレンズ11における複数の撮像光学系111それぞれによって結像された物体(被写体)の各光学像における光量に応じてR(赤)、G(緑)、B(青)の各色成分の電気的な各画像信号に光電変換して、所定の画像処理を行う制御処理部8へ出力する。撮像素子5は、例えば、CCD(Charge Coupled Device)型のイメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)型のイメージセンサ等である。
位置検出部7は、前記軸方向に沿ったアレイレンズ11の位置を検出するための装置であり、例えば、永久磁石等の磁石71と、ホール効果を利用して磁界を検出するホール素子72とを備える。磁石71は、アレイレンズ11またはレンズ保持枠12の外周側面に配設され、ホール素子72は、磁石71と対向するように基部31の主面上に配設される。より具体的には、図1に示す例では、磁石71は、係合突起部122を形成した外周側面にアレイレンズ11を介して対向するX方向の他方端に位置する外周側面における、Y方向の略中央位置に例えば接着剤等によって固定され、ホール素子72は、このような位置に配置された磁石71と対向するように基部31の主面上に配設される。位置検出部7は、制御処理部8に接続され、この検出したアレイレンズ11の位置を制御処理部8へ出力する。
記憶部9は、制御処理部8のCPUによって実行される種々のプログラムやその実行に必要なデータ等を予め記憶するROM(Read Only Memory)やEEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性記憶素子、この制御処理部8のCPUのいわゆるワーキングメモリとなるRAM(Random Access Memory)等の揮発性記憶素子およびその周辺回路等を備えて構成される。記憶部9は、機能的に、個眼情報を予め記憶する個眼情報記憶部91と、オートフォーカス情報(AF情報)を記憶するオートフォーカス情報記憶部(AF情報記憶部)92と、補正情報を記憶する補正情報記憶部93を備える。尚、図2において破線で示されている個眼情報記憶部91は、後述する<変形例>で用いる。
個眼情報は、アレイレンズ11における複数の撮像光学系111それぞれと、当該撮像光学系111それぞれの合焦位置情報との対応関係を表すデータである。合焦位置情報は、例えば、予め設定された被写体までの所定距離に対して予め測定された合焦位置を示す情報である。記憶される合焦位置情報は、撮像光学系111の合焦位置自体であっても良い。また例えば、合焦位置情報は、撮像光学系111の設計上の合焦位置(基準合焦位置)を基準に、当該撮像光学系の合焦位置のずれ量(補正値)であって良い。このような個眼情報は、前記複数の撮像光学系111のうちの少なくとも2個以上の撮像光学系111に対し、例えば生産時や出荷時等の適宜なタイミングで、作成され、例えばルックアップテーブルや関数式等の所定の形式で対応関係情報記憶部91に予め記憶される。
AF情報は、所定の距離間隔で、被写体までの距離と、当該被写体までの距離に対し当該撮像光学系111が合焦するアレイレンズ11のレンズ位置との対応関係を表すデータである。AF情報は、前記個眼情報を持つ撮像光学系111に対し、例えば生産時や出荷時等の適宜なタイミングで、作成され、例えばルックアップテーブルや関数式等の所定の形式でAF情報記憶部92に予め記憶される。
補正情報は、測距に用いる撮像光学系111の合焦位置のバラツキに起因する測距精度の低下を補償するために、各撮像光学系111の合焦位置に基づいて、被写体までの距離を補正するための情報である。図3〜6を用いて上述したように、アレイレンズでは、合焦位置の軸方向の各位置ずれによって測距精度が低下してしまう。補正情報は、このような合焦位置のずれに起因する測距精度の低下による測定結果のずれを補正するものである。このような補正情報は、例えば、被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部5に対応する撮像光学系111のペアと、当該2つの画像を用いて求めた被写体までの距離と、補正値との対応関係を表すデータである。補正情報は、前記複数の撮像光学系111のうちの少なくとも2個以上の撮像光学系111であって前記個眼情報を持つ撮像光学系111に対し、例えば生産時や出荷時等の適宜なタイミングで、作成され、例えばルックアップテーブルや関数式等の所定の形式で補正情報記憶部93に予め記憶される。
制御処理部8は、撮影するべく、撮像装置Iの各部を当該機能に応じてそれぞれ制御することによって撮像装置I全体の動作を司る装置である。制御処理部8は、例えば、CPU(Central Processing Unit)およびその周辺装置を備えて構成される。そして、制御処理部8には、制御処理プログラムが実行されることによって、駆動部制御部81、オートフォーカス制御部(AF制御部)82および画像処理部83が機能的に構成される。
駆動部制御部81は、AF制御部82の制御に従って駆動部4を駆動制御するものである。本実施形態では、駆動部4としてSMAアクチュエータ4が用いられているので、駆動部制御部81は、SMAアクチュエータ4を通電加熱することによって制御するものである。
SMAアクチュエータ4は、制御処理部8の駆動部制御部81によって電力が供給されて通電されることによって自己の抵抗に因りジュール熱を発生し、加熱される。そして、SMAアクチュエータ4は、前記変態温度に達すると、温度に応じて前記予め記憶されている形状に回復する。本実施形態では、加熱されると、SMAアクチュエータ4は、そのY方向の一方端が徐々にZ方向に持ち上がる。これによってSMAアクチュエータ4による駆動力が生じ、この駆動力が係合突起部122を介して光学部品1に伝達され、この駆動力によって光学部品1は、Z方向に押し上げられ、1組の平行ばね部材21、22で片持ちされているので、直進ガイドされて前記所定の軸に沿って+Z方向に移動する。一方、電力の供給が停止されると、SMAアクチュエータ4は、自然放熱によって降温し、1組の平行ばね部材21、22による−Z方向のバイアスによって平坦な形状に徐々に戻り、水平になる。このように光学部品1が−Z方向に移動する。したがって、前記通電加熱量は、アレイレンズ11におけるZ方向の目標位置に応じて設定される。
AF制御部82は、後述のように距離演算部84で求めた被写体までの距離に基づいて、駆動部制御部81を介して駆動部4を制御することによって前記軸方向に沿ったアレイレンズ11の位置を制御する。AF制御部82は、現在のアレイレンズ11の位置に基づいて、アレイレンズ11の移動の要否を判定し、判定結果に応じて、前記軸方向に沿ったアレイレンズ11の位置を制御する。
画像処理部83は、複数の撮像部5(本実施形態では撮像素子5の各分割領域)それぞれで得られたR(赤)、G(緑)、B(青)の各色成分の各画像信号に対し、所定の画像処理をそれぞれ行って各画像データを生成するものである。前記所定の画像処理は、例えば、撮像部5からのアナログ出力信号に対して行う増幅処理およびデジタル変換処理、画像全体に対して適正な黒レベルの決定処理、γ補正処理、ホワイトバランス調整(WB調整)処理、輪郭補正処理および色ムラ補正処理等の周知の画像処理である。そして、本実施形態では、このような画像処理によって前記被写体の光学像の画像を形成する際に、画像処理部83は、AF制御部82によってアレイレンズ11の合焦位置を制御した後に、複数の撮像部5によって撮像された複数の画像のうちの少なくとも2個以上の画像を合成することによって新たな合成画像を生成する。
より具体的には、画像処理部83は、個眼画像形成部831と、画像合成部832とを機能的に備える。個眼画像形成部831は、AF制御部82によってアレイレンズ11の合焦位置を制御した後に、複数の撮像部5それぞれで得られた各画像信号に対し、所定の画像処理をそれぞれ行って前記複数の画像を表す各データとして各個眼の各画像データを生成するものである。画像合成部832は、個眼画像形成部831で生成された複数の画像データのうちの少なくとも2個以上の画像データを合成することによって前記新たな合成画像として合成画像データを生成するものである。前記合成は、例えば、互いに異なる輝度のダイナミックレンジを持つ複数の画像からより広いダイナミックレンジの画像を生成する画像処理、および、複数の画像から当該画像の解像度より高い解像度の画像を生成する画像処理(例えば超解像処理等)等である。
距離演算部84は、複数の撮像部5のうちの少なくとも2個以上の撮像部5で撮像された被写体の複数の画像に基づいて前記被写体までの距離を求めるものである。距離演算部84は、公知の常套手段によって距離を求める。例えば、距離演算部84は、複数の画像間における視差を求め、この求めた視差から被写体までの距離をいわゆる三角測量の原理で求める。この距離の算出について、図3、4を用いて説明する。
図3は、対応点探索を説明するための図であり、図3(a)は、基準画像を示し、図3(b)は、参照画像を示す。
基準画像上の点APを注目点とし、参照画像中の対応点CPを探索する場合を考える。参照画像中の対応点は、参照画像上のエピポーラ線上に存在する。従って、参照画像中のエピポーラ線EP上の或る点を重心(中心)とするウィンドウWと、基準画像の注目点APを重心としたウィンドウであるテンプレートTとの相関値を算出し、次に、エピポーラ線EP上の或る点から所定数の画素ずらした点を内包するウィンドウWとテンプレートTとの相関値を算出し、更に、所定数の画素ずらした点を内包するウィンドウWとテンプレートTとの相関値を算出することを繰り返す。そして、算出された相関値が最も高いウィンドウの重心を対応点CPと決定する。つまり、エピポーラ線EP上の複数の点(以下、「走査点」という。)それぞれを重心とするウィンドウWと、基準画像の注目点APを重心としたウィンドウであるテンプレートTとの相関値をそれぞれ算出し、算出された相関値が最も高いウィンドウの重心を対応点CPと決定する。図3(b)では、破線及び実線の矩形でウィンドウWを示し、実線の矩形が対応点CPを内包するウィンドウWを示す。
この場合の、エピポーラ線EPを走査した結果、つまり、エピポーラ線EP上の各走査点と注目点APとの視差と、各走査点を重心とするウィンドウWとテンプレートTとの相関値との関係を表したグラフを図3(c)に示す。このグラフでは、横軸に視差を示し、縦軸に一致度(相関値)を示す。一致度が最も高い点に対応する視差が、対応点CPと注目点APとの視差となる。
図4は、いわゆる三角測量の原理で視差から被写体までの距離を求める方法を説明するための図である。予め定める間隔(基線長)だけ離間して設けられた一対のカメラによって被写体(測定対象物Ob)の各画像が得られ、これら各画像に対し、上述したように対応点探索がピクセル単位で実行される。そして、これら各画像から前記離間方向における前記一対のカメラ間の視差がピクセル単位で求められ、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。より具体的には、図4において、少なくとも焦点距離(f)、撮像面(撮像部5)の画素数、1画素の大きさ(μ)が相互に等しい2台の第1および第2カメラが、所定の基線長(B)だけ左右に離間させてそれぞれの光軸を平行に配置され、これら第1および第2カメラで物体(被写体)Obが撮影された場合に、撮像面IP−1、IP−2上の視差(ずれ画素数)がdであるとすると、前記物体(被写体)Obまでの距離(Z)は、
Z:f=B:(d×μ)
の関係があり、
Z=(B×f)/(d×μ)
で求めることができる。
このような距離演算部84は、被写体までの距離を測定する距離測定部の一例である。
また更に、距離演算部84は、上述のように算出した被写体Obまでの距離の補正の要否を判断し、補正が必要であると判断する場合には、補正情報記憶部93の補正情報を用いて、被写体Obまでの距離を補正する。補正情報は、対応点探索を行う2つの画像を撮像する撮像部5に対応する撮像光学系111のペアと、当該2つの画像を用いて求めた被写体までの距離と、補正値との対応関係を表すデータであるので、測距に用いた画像を撮像した撮像部5に対応する撮像光学系111のペアと算出した距離とに対応付けられている補正値を用いて、算出した距離を補正する。
そして、本実施形態では、距離演算部84は、複数の撮像部5によって複数の画像を撮像する前に(すなわち、オートフォーカスする際における前記画像を撮像する前に)、被写体までの距離を求めるための複数の撮像部5を変更して選択することによって、事前に設定するように構成されている。
<測距用画像>
図17は、アレイレンズにおける、例えば製造誤差等による光軸方向に沿った各合焦位置の変化を説明するための図である。
アレイレンズの各個眼において、被写体までの距離に応じて結像する各合焦位置は、全個眼に対し必ずしも同一であるとは限らず、図17に示すように、光学部品1のアレイレンズ11は、製造誤差等によって光軸方向に沿ってそれぞれ異なるずれ量でずれ、各個眼ごとに異なる場合が多い。前記製造誤差として、例えば、各個眼ごとにその大きさが異なり、あるいは、その厚さが異なり、その結果、合焦位置が設計値からずれ、各個眼ごとにその合焦位置が相違する。また例えば、アレイレンズ11を金型を用いて成型する場合、前記金型内での材料圧力の差に起因して材料が偏り、あるいは、前記金型の部位による冷却条件の相違に起因して材料密度が異なり、その結果、合焦位置が設計値からずれ、各個眼ごとにその合焦位置が相違する。図17に示す例では、紙面左側の位置に配置された個眼は、合焦位置FP0で結像し、紙面右側の位置に配置された個眼は、前記合焦位置FP0よりアレイレンズ11から離れた位置の合焦位置FP2で結像し、これらの間に配置された2個の個眼は、前記合焦位置FP0よりアレイレンズ11に近い位置の合焦位置FP1で結像している。
図5、6は、被写体までの距離の求める際に用いる個眼の合焦位置を説明するための図である。
被写体までの距離は、上述したように、視差に基づいて求められ、視差は、対応点探索により一致度が最も高い点を探索することにより求められる。従って、基準画像及び参照画像それぞれは、ピントが合った画像であることが望ましい。そして、対応点探索による視差に基づく測距方法では、画像を撮像する1対のレンズ間の距離(基線長)が長いほど、遠方の測定対象までの距離を精度よく測定することができる。つまり、図5に示すように、被写体Obまでの距離を求めるために、比較的長い基線長B0の、紙面右側の位置に配置された個眼と紙面左側の位置に配置された個眼とで撮像された画像を用いて対応点探索を行う場合には、それぞれの個眼の合焦位置FP0が等しいことが望ましい。
しかし、図17を用いて説明したように、アレイレンズ11の個眼それぞれの合焦位置は、個眼ごとに異なる場合が多い。従って、図6に示すように、比較的長い基線長B6の、紙面右側の位置に配置された個眼と紙面左側の位置に配置された個眼とで撮像された画像を用いて対応点探索を行った場合、例えば、紙面右側の位置に配置された個眼の合焦位置FP61と、紙面左側の位置に配置された個眼の合焦位置FP62とが異なる場合が生じ得る。この場合には、いずれか一方の画像、又は、双方の画像のピントが合っていない可能性が高いので、被写体Obまでの測距の精度は低くなる。
従って、実施形態の撮像装置Iは、距離を求めるための画像を撮像する複数の撮像部5を、撮像部5に対応する撮像光学系111の合焦位置によって選択するものである。また、撮像装置Iは、その使用用途に応じて撮像部5を選択する場合や、基線長が長くなるように撮像部5が選択する場合には、被写体Obまでの距離を補正するものである。具体的には、距離演算部84は、補正情報記憶部93に記憶されている補正情報を参照して補正する。
以下に説明する第1〜6態様における撮像部5の組み合わせが、予め決定されて記憶されており、オートフォーカス時に、距離演算部84は、予め決定されて記憶されている撮像部5を選択する。
(第1態様)
第1態様では、距離演算部84は、距離を求めるための複数の撮像部5として、合焦位置が、アレイレンズ11に含まれる撮像光学系111の合焦位置の平均値またはその近傍である複数の撮像部5を選択する。撮像光学系111の合焦位置の平均値は、設計値に近いと考えられるからである。
詳細には、以下の、距離を求めるための複数の撮像部5の組み合わせが含まれる。
撮像光学系111のうち少なくとも2つの撮像部(一部の撮像光学系111)から、前記少なくとも2つの撮像部それぞれに対応する撮像光学系の合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系111に対応する撮像部5が選択される。つまり、距離演算部84は、選択する撮像部5に対応する撮像光学系111の合焦位置の平均値が、前記複数の撮像光学系111の一部における合焦位置の平均値から所定の範囲内であるような撮像部5を選択する。この場合、距離演算部84は、測距に用いる撮像部5を、この一部の撮像光学系111に対応する撮像部5から選択する。
複数の撮像光学系111のうちの、前記複数の撮像光学系それぞれの合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部が選択される。つまり、距離演算部84は、選択する前記複数の撮像部5に対応する撮像光学系111の合焦位置が、前記複数の撮像光学系111全ての合焦位置の平均値から所定の範囲内であるような撮像部5を選択する。
選択される複数の撮像部5に対応する撮像光学系111の合焦位置の平均値が、前記複数の撮像光学系111それぞれの合焦位置の平均値と同じとなるような撮像光学系に対応する撮像部が選択される。つまり、距離演算部84は、選択する前記複数の撮像部5に対応する撮像光学系111の合焦位置の平均値が、撮像光学系111全ての合焦位置の平均値と同じになるような撮像部5を選択する。
図7において、撮像光学系111の合焦位置は、FP71〜FP73の間でばらついており、合焦位置FP72が、合焦位置の平均値を示す。従って、合焦位置FP72に近い撮像光学系111−12、及び、撮像光学系111−14にそれぞれ対応する撮像部5が、距離を求めるための複数の撮像部5として選択される。撮像光学系111−12と撮像光学系111−14との間の基線長B7は、撮像光学系111−11と撮像光学系111−14との間の基線長よりは短いが、ピントの合った画像を用いて対応点探索を行うことが可能であり、精度よく視差を求めることができるので、結果として、距離演算部84は、精度よく測距を行うことが可能となる。
尚、説明の便宜上、図7には、図1に示すアレイレンズ11のY軸方向の最上段の撮像光学系111−11、撮像光学系111―12、撮像光学系111−13、撮像光学系111―14を記載しているが、他の段の撮像光学系111であってもよく、また、撮像光学系111−11と撮像光学系111−24のペアのように、段が異なる個眼同士であってもよい。つまり、前記複数の撮像部5は、予め設定された所定の対称点、例えば、アレイレンズ11の中央位置に対して互いに対称な位置に配置された複数の撮像光学系111に対応する複数の撮像部5を含む。例えば、図1に示す例において、前記複数の撮像部5は、前記所定の対称点を中央位置として、1行1列の位置に配置された撮像光学系111−11に対応する撮像部5、および、4行4列の位置に配置された撮像光学系111−44に対応する撮像部5を含む。また例えば、図1に示す例において、前記複数の撮像部5は、前記所定の対称点を2行2列の位置として、2行1列の位置に配置された撮像光学系111−21に対応する撮像部5、および、2行3列の位置に配置された撮像光学系111−23に対応する撮像部5を含む。また例えば、図1に示す例において、前記複数の撮像部5は、前記所定の対称点を3行3列の位置として、2行3列の位置に配置された撮像光学系111−23に対応する撮像部5、および、4行3列の位置に配置された撮像光学系111−43に対応する撮像部5を含む。以下に説明する他の態様も同様である。
(第2態様)
第2態様では、距離演算部84は、距離を求めるための複数の撮像部5として、基線長が長い撮像光学系111のペアに対応する撮像部5を選択する。
対応点探索による視差に基づく測距方法では、画像を撮像する1対のレンズ間の距離(基線長)が長いほど、遠方の測定対象までの距離を精度よく測定することができるからである。また、撮像部5からの画像データ読み出しの都合上、測距を行う画像データを読み出す撮像部5を固定した方が適切である場合があるからである。
詳細には、以下の、距離を求めるための複数の撮像部5の組み合わせが含まれる。
前記アレイレンズ11の所定の対応点に対して互いに対称な位置に配置されている撮像光学系111に対応する撮像部5が選択される。つまり、距離演算部84は、予め設定された所定の対称点(例えば、アレイレンズ11の中央位置)に対して互いに対称な前記位置に配置された複数の撮像光学系111に対応する複数の撮像部5を選択する。
前記アレイレンズ11の周辺部に寄った位置に配置されている撮像光学系111であって、前記アレイレンズ11の中央位置に対して互いに対称な位置に配置されている撮像光学系111に対応する撮像部5が選択される。つまり、距離演算部84は、前記複数の撮像光学系111のうちの周辺部に寄った位置であって予め設定された所定の対称点(例えば、アレイレンズ11の中央位置)に対して互いに対称な前記位置に配置された複数の撮像光学系111に対応する複数の撮像部5を選択する。例えば、図1に示す例において、前記複数の撮像部5は、前記所定の対称点を中央位置として、1行1列の位置に配置された撮像光学系111−11に対応する撮像部5、および、4行4列の位置に配置された撮像光学系111−44に対応する撮像部5を含む。また例えば、図1に示す例において、前記複数の撮像部5は、前記所定の対称点を2行目におけるX方向の中央位置として、2行1列の位置に配置された撮像光学系111−21に対応する撮像部5、および、2行4列の位置に配置された撮像光学系111−24に対応する撮像部5を含む。
図8において、撮像光学系111の合焦位置は、FP81〜FP83の間でばらついており、合焦位置FP82が、合焦位置の平均値を示す。この場合、基線長B8の撮像光学系111−11と撮像光学系111−14とのペアが選択される。撮像光学系111−11の合焦位置は、合焦位置FP81であり、撮像光学系111−14の合焦位置は、合焦位置FP82である。従って、撮像光学系111−11と撮像光学系111−14とによる画像は、いずれか一方の画像、又は、双方の画像が、ピントの合っていない画像であるので、対応点探索による視差に基づいて算出した被写体Obまでの距離は、誤差を含むことになる。このような撮像部5を選択した場合、距離演算部84は、対応点探索による視差に基づいて算出した被写体Obまでの距離を、記憶部9の補正情報記憶部93に記憶されている補正情報を用いて補正する。補正情報は、誤差がどの程度発生しているか正確に把握して、予め作成されるので、補正が可能となり正確な距離を算出することが可能となる。
(第3態様)
第3態様では、距離演算部84は、距離を求めるための複数の撮像部5の1つとして、アレイレンズ11の中央位置または前記中央位置に寄った位置に配置された撮像光学系111に対応する撮像部5を選択する。アレイレンズ11の中央位置または前記中央位置に寄った位置(中央部分)に配置された撮像光学系111に対応する撮像部5を選択するのは、アレイレンズ11の中央部分に位置する撮像光学系111を用いて被写体Obを撮像することが多いからである。つまり、中央部分に配置されている撮像光学系111を用いて撮像された画像を用いて、被写体Obの撮像画像を作成する場合が多いからである。また、アレイレンズの中央位置が撮像光学系の中心にあるため、アレイレンズの中央位置または中央部分でAFすると周辺側でAFするより広い範囲で焦点があうので全体として好適に補正できる。撮像装置Iの本来の目的は、被写体Obを撮像することであるので、被写体Obの画像形成を行うレンズを用いて測距を行うことで、正確な距離が算出できる可能性が高くなる。
詳細には、以下の、距離を求めるための複数の撮像部5の組み合わせが含まれる。
アレイレンズ11の中央位置から所定の範囲内の位置に配置されている撮像光学系11に対応する撮像部5が選択される。つまり、距離演算部84は、例えば、アレイレンズ11の中央位置、又は、中央位置から所定範囲の位置の撮像光学系111に対応する撮像部5を選択する。
アレイレンズ11の中央位置に寄った位置に配置された撮像光学系111、及び、前記アレイレンズ11の周辺部に寄った位置に配置された撮像光学系111に、それぞれ対応する撮像部5が選択される。つまり、距離演算部84は、アレイレンズ11の中央位置または前記中央位置に寄った位置に配置された撮像光学系111と、アレイレンズ11の周辺部に寄った撮像光学系111とにそれぞれ対応する撮像部5を選択する。例えば、図1に示す例では、アレイレンズ11の中央位置に寄った位置に配置された撮像光学系111は、2行2列の位置に配置された撮像光学系111−22、2行3列の位置に配置された撮像光学系111−23、3行2列の位置に配置された撮像光学系111−32、および、3行3列の位置に配置された撮像光学系111−33のうちの撮像光学系111である。
図9において、撮像光学系111の合焦位置は、FP91〜FP93の間でばらついており、合焦位置FP92が、合焦位置の平均値を示す。図9のアレイレンズ11は、5行5列に2次元マトリクス状に配列された25個の撮像光学系111−11〜111−55を備えるものとする。この場合、アレイレンズ11の中央に位置する撮像光学系111−33と、他のいずれかの撮像光学系111が選択される。図9では、撮像光学系111−35が選択されている。図9に示すように、撮像光学系111−35の合焦位置は、合焦位置FP92であり、撮像光学系111−33の合焦位置は、合焦位置FP92からずれている。従って、いずれか一方の画像、又は、双方の画像が、ピントの合っていない画像により対応点探索が行われることとなり、対応点探索による視差に基づいて算出した被写体Obまでの距離は、誤差を含むことになる。このような撮像部5を選択した場合、距離演算部84は、対応点探索による視差に基づいて算出した被写体Obまでの距離を、記憶部9の補正情報記憶部93に記憶されている補正情報を用いて補正する。補正情報は、誤差がどの程度発生しているか正確に把握して、予め作成しておくため、補正が可能となり正確な距離を算出することが可能となる。
(第4態様)
第4態様では、距離演算部84は、距離を求めるための複数の撮像部5として、緑色の波長帯域で撮像する撮像部5を選択する。
ここで、実施形態の撮像装置Iに用いられる色フィルタについて説明する。図10は、第1態様の色フィルタを説明するための図である。図11は、第2態様の色フィルタを説明するための図である。
複数の撮像部5における物体側には、緑色の波長帯域を透過する緑色フィルタが配置される。例えば、図10に示すように、アレイレンズ11の物体側に、赤色の波長帯域を透過する赤色フィルタCF、緑色の波長帯域を透過する緑色フィルタCF、および、青色の波長帯域を透過する青色フィルタCFの各色フィルタがいわゆるベイヤー配列で配置される。また例えば、図11に示すように、アレイレンズ11における複数の撮像光学系111(複数の撮像部5)が複数の領域に区切られ、各領域ごとに、アレイレンズ11の物体側に、赤色の波長帯域を透過する赤色フィルタCF、緑色の波長帯域を透過する緑色フィルタCF、青色の波長帯域を透過する青色フィルタCFおよび赤外線の波長帯域を透過する赤外色フィルタCFIRの各色フィルタが配置される。そして、1行1列の位置、1行2列の位置、1行3列の位置、2行1列の位置、2行2列の位置、2行3列の位置、3行1列の位置、3行2列の位置および3行3列の位置の各位置にそれぞれ配置された各撮像光学系111−11、111−12、111−13、111−21、111−22、111−23、111−31、111−32、111−33を1個の領域としてその物体側には、緑色フィルタCFが配置される。1行4列の位置、2行4列の位置および3行4列の位置の各位置にそれぞれ配置された各撮像光学系111−14、111−24、111−34を1個の領域としてその物体側には、赤色フィルタCFが配置される。4行1列の位置、4行2列の位置および4行3列の位置の各位置にそれぞれ配置された各撮像光学系111−41、111−42、111−43を1個の領域としてその物体側には、青色フィルタCFが配置される。そして、4行4列の位置に配置された各撮像光学系111−44を1個の領域としてその物体側には、赤外色フィルタCFIRが配置される。
図12において、撮像光学系111の合焦位置は、FP121〜FP123の間でばらついており、合焦位置FP122が、合焦位置の平均値を示す。第4態様では、距離演算部84は、距離を求めるための複数の撮像部5として、緑色の波長帯域で撮像する撮像部5を選択する。従って、図12で示すように、合焦位置が合焦位置FP122に近い2つの撮像光学系111であって、緑色の波長帯域で撮像する撮像部5が選択される。
また、基線長B12が長くなる緑色の波長帯で撮像する撮像部5が選択されてもよい、この場合は、選択された撮像部5に対応する撮像光学系111の合焦位置のずれに応じて、距離演算部84は、対応点探索による視差に基づいて算出した被写体Obまでの距離を、記憶部9の補正情報記憶部93に記憶されている補正情報を用いて補正する。補正情報は、誤差がどの程度発生しているか正確に把握して、予め作成しておくため、補正が可能となり正確な距離を算出することが可能となる。
緑色の波長帯域で撮像する撮像部5が選択される第4態様は、図11に示す第2態様の色フィルタよりも、図10に示す第1態様の色フィルタを備えた撮像装置Iにより適している。第1態様の色フィルタの方が、より基線長が長い撮像光学系111のペアで緑色の波長帯域で撮像された画像を得ることができるからである。
人の視感感度は、緑色に対して最も高いことが知られている。従って、緑色の波長帯域で撮像された画像に基づいて、フォーカスを調整すると理想に近くなることが多い。上記構成によれば、被写体Obまでの距離は、緑色の波長帯域で撮像する撮像部5によって撮像された複数の画像に基づいて決定され、オートフォーカスの際におけるアレイレンズ11の合焦位置が決定される。このため、上記撮像装置Iおよびこれに実装された撮像方法は、緑色の波長帯域で撮像する撮像部5に対応する個眼に対し、個眼合焦位置のずれを小さくでき、人の視感感度の高い緑色の波長帯域をより良く合焦した状態で好適に撮像できる。
(第5態様)
第5態様では、距離演算部84は、距離を求めるための複数の撮像部5として、互いに異なる色の波長帯域で撮像する撮像部5を選択する。
図13において、撮像光学系111の合焦位置は、FP131〜FP133の間でばらついており、合焦位置FP132が、合焦位置の平均値を示す。第5態様では、距離演算部84は、距離を求めるための複数の撮像部5として、基線長B13が長くなるような撮像光学系111に対応する撮像部5を選択する。従って、図13で示すように、合焦位置が合焦位置FP132に近い2つの撮像光学系111に対応する撮像部5が選択される。図13では、緑色の波長帯域で撮像する撮像部5と、赤色の波長帯域で撮像する撮像部5とが選択されている。この場合は、画像の色が異なるので、対応点探索を行う際に、画像の色に応じて補正を行って、視差を求める。
また、選択された撮像部5に対応する撮像光学系111の合焦位置が異なる場合は、合焦位置のずれに応じて、距離演算部84は、対応点探索による視差に基づいて算出した被写体Obまでの距離を、記憶部9の補正情報記憶部93に記憶されている補正情報を用いて補正する。
一般に、主に撮像したい被写体は、当該撮像装置Iの使用用途に応じて決まる。例えば、植物の成長を観察する用途の撮像装置Iでは、緑色の被写体が主体となる。したがって、この場合、距離演算部84は、合焦位置が平均値に近い撮像光学系111に対応する撮像部5であって、緑色の波長帯域で撮像する撮像部5を少なくとも1つ選択する。また例えば、果実の成熟具合を観察する用途の撮像装置Iでは、赤色の被写体が主体となる。したがって、この場合、距離演算部84は、合焦位置が平均値に近い撮像光学系111に対応する撮像部5であって、赤色の波長帯域で撮像する撮像部5を少なくとも1つ選択する。また例えば、周辺を監視する車載用の撮像装置Iでは、可視光だけでなく、赤外線が主体になる場合がある。したがって、この場合、例えば、図11に示す第2態様の色フィルタを用いる撮像装置Iにおいて、距離演算部84は、赤外線の波長帯域で撮像する撮像部5と、例えば、赤色の波長帯域で撮像する撮像部5とを選択する。
上記構成によれば、オートフォーカスの際におけるアレイレンズ11の合焦位置は、当該撮像装置Iの使用用途に応じて予め設定された色の波長帯域で撮像する撮像部5を含む複数の撮像部5による画像を用いて算出される被写体Obまでの距離に基づいて決定される。このため、このような撮像装置Iおよびこれに実装された撮像方法は、当該撮像装置Iの使用用途に応じて予め設定された色の波長帯域で撮像する撮像部5が選択されることにより、被写体Obまでの距離を精度よく算出できるので、当該撮像装置Iの使用用途に応じた色の波長帯域をより良く合焦した状態で好適に撮像できる。したがって、上記撮像装置Iおよびこれに実装された撮像方法は、当該撮像装置Iにとってより最適に合焦できる。
(第6態様)
第6態様では、距離演算部84は、距離を求めるための複数の撮像部5として、予め決められた撮像部5を選択する。この場合は、例えば、図14に示すような、第3態様の色フィルタを撮像装置Iに用いる。
第3態様の色フィルタは、アレイレンズ11の物体側に、赤色の波長帯域を透過する赤色フィルタCF、緑色の波長帯域を透過する緑色フィルタCF、および、青色の波長帯域を透過する青色フィルタCFの各色フィルタがいわゆるベイヤー配列で配置され、そそのうちの、最も基線長が長くなる撮像光学系111に対応して赤外線の波長帯域を透過する赤外色フィルタCFIRが配置されたものである。詳細には、アレイレンズ11における複数の撮像光学系111(複数の撮像部5)が複数の領域に区切られ、各領域ごとに、アレイレンズ11の物体側に、赤色の波長帯域を透過する赤色フィルタCF、緑色の波長帯域を透過する緑色フィルタCF、青色の波長帯域を透過する青色フィルタCFおよび赤外線の波長帯域を透過する赤外色フィルタCFIRの各色フィルタが配置される。そして、1行1列の位置および4行4列の位置に配置された各撮像光学系111−11、111−44の各領域の物体側には、赤外色フィルタCFIRが配置される。1行3列の位置、2行2列の位置、2行4列の位置、3行1列の位置、3行3列の位置、および4行2列の位置の各位置にそれぞれ配置された各撮像光学系111−13、111−22、111−24、111−31、111−33の各領域の物体側には、緑色フィルタCFが配置される。2行1列の位置、2行3列の位置、4行1列の位置および4行3列の位置の各位置にそれぞれ配置された各撮像光学系111−21、111−23、111−41、111−43の各領域の物体側には、赤色フィルタCFが配置される。1行2列の位置、1行4列の位置、3行2列の位置および3行4列の位置の各位置にそれぞれ配置された各撮像光学系111−12、111−14、111−32、111−34の各領域の物体側には、青色フィルタCFが配置される。
第6態様では、アレイレンズ11において対角の位置に配置されている撮像光学系111を、測距専用の個眼レンズとし、それら撮像光学系111に対応する撮像部5を、測距用の撮像素子とする。図14に示すような第3態様のフィルタを用いる場合は、撮像光学系111−11と撮像光学系111−44とが測距専用の個眼レンズとされ、これら撮像光学系111に対応する撮像部5が測距専用の撮像素子とされ、赤外色フィルタCFIRが対応付けられている。第3態様の色フィルタのように、赤外色の波長帯域で撮像される場合は、外乱に強く出力が大きいという特徴がある。また、測距専用の個眼レンズに対応付けて、比視感度が高い緑色の波長帯域を透過する緑色フィルタCFを配置してもよい。また、測距専用の撮像光学系111は、アレイレンズ11の対角の位置に配置されたものに限らず、撮像を所望する被写体Obまでの距離に応じた基線長が確保されればよく、オクルージョンの発生を低減させる為にY軸方向にずれていることが望ましい。
第6態様では、あらかじめ測距専用として定められた撮像光学系111は、装置の生産時などに、合焦位置の誤差が測定され、その情報が補正情報記憶部93に記憶されており、撮像光学系111の合焦位置が異なる場合は、合焦位置のずれに応じて、距離演算部84は、対応点探索による視差に基づいて算出した被写体Obまでの距離を、補正情報記憶部93に記憶されている補正情報を用いて補正する。第6実施態様では、測距用の撮像光学系111が予め特定されているため、測距専用の撮像光学系111を生産時に誤差測定しておけばよいことになる。
例えば、撮像装置Iは、複数の撮像部5のうちから、距離を求めるための複数の撮像部5を選択して設定するためのディップスイッチ、例えば、上記第1〜6態様を設定するためのディップスイッチを備え、撮像装置Iの使用前にユーザが前記ディップスイッチを操作することで、いずれかの態様を選択して設定し、距離演算部84は、複数の撮像部5のうちから、前記ディップスイッチで設定された態様に応じて、距離を求めるための複数の撮像部5として選択して設定する。この場合は、上記第1〜6態様ごとに、距離を求めるための複数の撮像部5が決定されているものとする。
例えば、撮像装置Iが植物の成長を観察する用途に使用される場合、ユーザの操作によって前記ディップスイッチが第4態様用に設定され、距離演算部84は、複数の撮像部5のうちから、前記ディップスイッチで設定された、緑色の波長帯域で被写体の光学像を撮像する撮像部を、距離を求めるための複数の撮像部5として選択して設定する。あるいは、例えば、撮像装置Iが周辺を監視する車載用に使用される場合、製造段階でオペレータによって前記ディップスイッチが第5態様用に設定され、距離演算部84は、複数の撮像部5のうちから、前記ディップスイッチで設定された、赤外線の波長帯域で被写体の光学像を撮像する撮像部を、距離を求めるための複数の撮像部5として選択して設定する。
<動作>
次に、本実施形態における撮像装置Iの動作について説明する。図15は、第1態様の撮像装置の動作を示す第1のフローチャートである。図16は、第2〜6態様の撮像装置の動作を示す第2のフローチャートである。第1態様においては、被写体までの距離を求めるための撮像部5として、合焦位置が設計値に近い撮像光学系111に対応する撮像部5が選択されるので、選択された撮像部5による画像を用いた測距の精度は高い可能性が高い。従って、画像を用いて求めた距離をそのまま用いて、オートフォーカスを行う。一方、第2〜6態様においては、撮像装置Iの使用目的等に応じて撮像部5が選択されるので、選択された撮像部5に対応する撮像光学系111の合焦距離にバラツキが生じている可能性が高い。従って、画像を用いて求めた距離を補正情報記憶部93に記憶している補正情報により補正して、補正後の距離を用いて、オートフォーカスを行う。
まず、図15の第1のフローチャートについて説明する。
撮像装置Iでは、図略のシャッターボタン等の操作によって撮影が指示されると、制御処理部8のAF制御部82は、距離演算部84に被写体Obまでの距離の算出を依頼する。
依頼を受けた距離演算部84は、前記事前に設定された複数の撮像部5によって撮像された複数の画像を取得する(S10)。前記事前に設定された複数の撮像部5とは、例えば第1態様が指示されている場合には、複数の撮像光学系111全てにおける各個眼合焦位置の平均値に最も近似した個眼合焦位置を持つ2個以上の撮像光学系111に対応する撮像部5である。
より具体的には、距離演算部84は、制御処理部8を介して各部を制御し、前記事前に設定された複数の撮像部5(本実施形態では撮像素子5の各分割領域)に各画像信号をそれぞれ生成させる。複数の撮像部5は、それぞれ、被写体の光学像をアレイレンズ11の各撮像光学系111を介して撮像し、各画像信号を制御処理部8へ出力する。複数の撮像部5から各画像信号が入力されると、制御処理部8の画像処理部83における個眼画像形成部831は、複数の撮像部5それぞれで得られた各画像信号に対し、所定の画像処理をそれぞれ行って前記複数の画像を表す各データとして各個眼の各画像データを生成する。距離演算部84は、個眼画像形成部831が生成した各個眼の画像データを取得する。
次に、距離演算部84は、図3、4を用いて説明したように、測距処理を実行する(S20)。より具体的には、距離演算部84は、処理S10において取得した画像を用いて対応点探索を行い、被写体Obまでの距離を算出し、算出した距離をAF制御部82に渡す。
距離演算部84から被写体までの距離を取得したAF制御部82は、次に、位置検出部7から、前記軸方向に沿ったアレイレンズ11の現在位置を取得する(S30)。
そして、AF制御部82は、距離演算部84によって求められた被写体までの距離に基づいて、アレイレンズ11の移動の要否、つまり、オートフォーカス機能の実行の要否を判断する(S40)。より具体的には、AF制御部82は、AF情報記憶部92に記憶したAF情報から距離演算部84で求めた被写体までの距離に対応する合焦の各撮像光学系111(レンズ)の位置を取得し、この取得した各レンズ位置の平均値を、被写体までの距離に基づいたアレイレンズ11の位置として求める。そして、AF制御部82は、処理S30で取得した現在のアレイレンズ11の現在位置と、被写体までの距離に応じたアレイレンズ11の位置とを比較し、予め設定された所定の範囲内で一致するか否かを判定する。例えば、AF制御部82は、位置検出部7から取得したアレイレンズ11の現在位置と、被写体までの距離に応じたアレイレンズ11の位置との差の絶対値を求め、この求めた差の絶対値が予め設定された所定の範囲内であるか否かを判定する。前記所定の範囲は、撮像光学系111の焦点深度や当該撮像装置Iに要求される解像度等に応じて適宜に設定される。この判定の結果、アレイレンズ11における両位置が前記所定の範囲内で一致する場合には、オートフォーカス機能の実行が不要である場合(S40:NO)であり、AF制御部82は、処理S60を実行し、一方、前記判定の結果、アレイレンズ11における両位置が前記所定の範囲内で一致しない場合には、オートフォーカス機能の実行が必要である場合(S40:YES)であり、AF制御部82は、処理S50を実行する。
処理S50において、AF制御部82は、オートフォーカス機能を実行し、その後、処理S60を実行する。より具体的には、AF制御部82は、アレイレンズ11の位置が、被写体までの距離に応じたアレイレンズ11の位置になるように、駆動部制御部81を介して駆動部4を制御することによって、前記軸方向に沿ったアレイレンズ11の位置を制御し、処理S50を実行する。この処理S50を実行することによってアレイレンズ11は、オートフォーカスされる(自動的に合焦される)。
処理S60において、このようにAF制御部82によってアレイレンズ11の位置が制御された後に、制御処理部8は、被写体の光学像を撮像し、画像処理部83に合成画像を生成させ、処理を終了する。より具体的には、制御処理部8は、各部を制御し、複数の撮像部5に各画像信号をそれぞれ生成させ、個眼画像形成部831は、複数の撮像部5それぞれで得られた各画像信号に対し、所定の画像処理をそれぞれ行って前記複数の画像を表す各データとして各個眼の各画像データを生成する。そして、画像処理部83における画像合成部832は、個眼画像形成部831で生成された複数の画像データのうちの少なくとも2個以上の画像データを合成することによって新たな合成画像として合成画像データを生成する。そして、制御処理部8は、合成画像データを記憶部9に記憶し、また、図略の表示部に合成画像として表示し、処理を終了する。
次に、図16の第2のフローチャートについて説明する。
第2のフローチャートが第1のフローチャートと異なる点は、第1のフローチャートのS20の処理の後に、S20の処理において求めた被写体Obまでの距離を補正する処理が追加されている点である。従って、この距離を補正するS21の処理について説明する。尚、第2のフローチャートと第1のフローチャートにおいて、ステップ番号が同じ処理は、処理内容が同じである。
処理S20において、距離演算部84は、図3、4を用いて説明したように、測距処理を実行する。より具体的には、距離演算部84は、処理S10において取得した画像を用いて対応点探索を行い、被写体Obまでの距離を算出する。
そして、距離演算部84は、補正情報記憶部93から、S20の処理において算出した被写体Obまでの距離算出するために用いた撮像部5に対応し、且つ、算出した距離に対応する補正情報を読み出して、S20において算出した距離を補正し(S21)、補正後の距離をAF制御部82に渡す。
距離演算部84から、補正した被写体までの距離を取得したAF制御部82は、次に、位置検出部7から、前記軸方向に沿ったアレイレンズ11の現在位置を取得し(S30)、S40からの処理を行う。
<変形例>
実施形態の第1態様においては、被写体Obまでの距離を求めるために用いる撮像部5は、予め測定した撮像光学系111の合焦距離や、撮像装置Iの使用目的等に応じて、予め決定して記憶しておくこととしていた。変形例では、距離を求めるために用いる撮像部5の選択を、オートフォーカス時に行う。
この場合、距離演算部84は、予め決められた撮像部5を選択するのではなく、記憶部9の個眼情報記憶部91に記憶されている各個眼の合焦位置情報を参照して決定する。
撮像光学系111それぞれの合焦距離の平均値を算出し、合焦距離がその平均値から所定範囲内の撮像光学系111に対応する撮像部5を選択する等である。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
I 撮像装置
1 光学部品
2 支持機構
4 駆動部
5 撮像部
7 位置検出部
8 制御処理部
9 記憶部
81 駆動部制御部
82 オートフォーカス制御部
83 画像処理部
11 アレイレンズ
91 個眼情報記憶部
93 補正情報記憶部
111 撮像光学系
832 画像合成部

Claims (16)

  1. 複数の撮像光学系を持つアレイレンズと、
    前記アレイレンズにおける前記複数の撮像光学系に対応し、複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、
    前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、
    前記複数の撮像部のうちの少なくとも2つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出部と、
    前記距離算出部で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御部と、
    前記制御部によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも2個以上の画像を合成することによって新たな合成画像を生成する画像合成部と
    を備えることを特徴とする撮像装置。
  2. 前記距離算出部は、前記複数の撮像部から、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部を、変更して選択できる
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、緑色の波長帯域で撮像する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、当該撮像装置の使用用途に応じて予め定められた色の波長帯域で撮像する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  5. 前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、
    前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する2つの撮像部として、前記少なくとも2つの撮像部から、前記少なくとも2つの撮像部それぞれに対応する撮像光学系の合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  6. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記アレイレンズの所定の対応点に対して互いに対称な位置に配置されている撮像光学系に対応する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  7. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部の1つとして、前記アレイレンズの中央位置から所定の範囲内の位置に配置されている撮像光学系に対応する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  8. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記アレイレンズの中央位置に寄った位置に配置された撮像光学系、及び、前記アレイレンズの周辺部に寄った位置に配置された撮像光学系に、それぞれ対応する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  9. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記アレイレンズの周辺部に寄った位置に配置されている撮像光学系であって、前記アレイレンズの中央位置に対して互いに対称な位置に配置されている撮像光学系に対応する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  10. 前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、
    前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記複数の撮像光学系のうちの、前記複数の撮像光学系それぞれの合焦位置の平均値から所定の範囲内の合焦位置を有する撮像光学系に対応する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  11. 前記複数の撮像光学系それぞれの合焦位置は、予め設定された前記被写体までの所定距離に対して、予め測定されており、
    前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、前記少なくとも2つの撮像部に対応する撮像光学系の合焦位置の平均値が、前記複数の撮像光学系それぞれの合焦位置の平均値と同じとなるような撮像光学系に対応する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  12. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、同一色の波長帯域で撮像する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  13. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部として、互いに異なる色の波長帯域で撮像する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  14. 前記距離算出部は、前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部のうちの少なくとも1つとして、当該撮像装置の使用用途に応じて予め定められた色の波長帯域で撮像する撮像部を選択する
    ことを特徴とする請求項1または2に記載の撮像装置。
  15. 前記被写体までの距離を求めるために用いる画像を撮像する少なくとも2つの撮像部に対応して、前記被写体までの距離に応じた補正情報を記憶する記憶部を、更に備え、
    前記距離演算部は、前記複数の撮像部のうちの少なくとも2つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求め、求めた前記被写体までの距離を、前記少なくとも2つの撮像部に対応する撮像光学系の前記記憶部に記憶されている補正情報に基づいて補正し、
    前記制御部は、前記補正された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる
    ことを特徴とする請求項1〜14のうちのいずれか1項に記載の撮像装置。
  16. 複数の撮像光学系を持つアレイレンズと、前記アレイレンズにおける前記複数の撮像光学系に対応し、複数の撮像光学系それぞれによって各撮像面にそれぞれ結像された被写体の各光学像をそれぞれ撮像する複数の撮像部と、前記アレイレンズを支持し、所定の軸の軸方向に沿って前記アレイレンズを移動させる駆動機構部と、を備える撮像装置の撮像方法であって、
    前記複数の撮像部のうちの少なくとも2つの撮像部で撮像された画像に基づいて、前記被写体までの距離を求める距離算出工程と、
    前記距離算出工程で算出された前記被写体までの距離に基づいて、前記被写体に合焦するように前記駆動機構部に前記アレイレンズを移動させる制御工程と、
    前記制御工程によって前記アレイレンズの位置を移動させた後に、前記複数の撮像部によって撮像された複数の画像のうちの少なくとも2個以上の画像を合成することによって新たな合成画像を生成する画像合成工程と
    を備えることを特徴とする撮像方法。
JP2014124202A 2014-06-17 2014-06-17 撮像装置および撮像方法 Pending JP2016004152A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014124202A JP2016004152A (ja) 2014-06-17 2014-06-17 撮像装置および撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014124202A JP2016004152A (ja) 2014-06-17 2014-06-17 撮像装置および撮像方法

Publications (1)

Publication Number Publication Date
JP2016004152A true JP2016004152A (ja) 2016-01-12

Family

ID=55223467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014124202A Pending JP2016004152A (ja) 2014-06-17 2014-06-17 撮像装置および撮像方法

Country Status (1)

Country Link
JP (1) JP2016004152A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713707A (zh) * 2016-11-18 2017-05-24 成都微晶景泰科技有限公司 透镜阵列成像方法及装置
CN108780263A (zh) * 2016-03-11 2018-11-09 富士胶片株式会社 摄像装置
CN109618102A (zh) * 2019-01-28 2019-04-12 Oppo广东移动通信有限公司 对焦处理方法、装置、电子设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780263A (zh) * 2016-03-11 2018-11-09 富士胶片株式会社 摄像装置
JPWO2017154827A1 (ja) * 2016-03-11 2019-02-14 富士フイルム株式会社 撮像装置
US10823935B2 (en) 2016-03-11 2020-11-03 Fujifilm Corporation Imaging device
CN106713707A (zh) * 2016-11-18 2017-05-24 成都微晶景泰科技有限公司 透镜阵列成像方法及装置
CN106713707B (zh) * 2016-11-18 2019-08-09 成都微晶景泰科技有限公司 透镜阵列成像方法及装置
CN109618102A (zh) * 2019-01-28 2019-04-12 Oppo广东移动通信有限公司 对焦处理方法、装置、电子设备及存储介质
CN109618102B (zh) * 2019-01-28 2021-08-31 Oppo广东移动通信有限公司 对焦处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US8098984B2 (en) Focus detecting apparatus and an imaging apparatus
CN111866340B (zh) 拍摄装置
JP6182681B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
KR20150074641A (ko) 자동 초점 조절 방법 및 자동 초점 조절 장치
US20130240710A1 (en) Imaging apparatus and image sensor thereof
JP5657184B2 (ja) 撮像装置及び信号処理方法
JP2018124527A (ja) フォーカス制御装置、撮像装置、温度補正設定装置およびフォーカス制御方法
JP2016004152A (ja) 撮像装置および撮像方法
US20180039156A1 (en) Camera Module and Auto-Focus Adjustment Method Using Same
WO2016080157A1 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP2019168479A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2014235417A (ja) 撮像装置およびその制御方法
WO2016151928A1 (ja) 測距装置、測距用制御方法、及び測距用制御プログラム
JP2014085599A (ja) 顕微鏡
US20210149148A1 (en) Focus control device, focus control method, program and imaging device
JP6348224B2 (ja) 測距装置、測距用制御方法、及び測距用制御プログラム
JP6348225B2 (ja) 測距装置、測距用制御方法、及び測距用制御プログラム
JP6348222B2 (ja) 測距装置、測距用制御方法、及び測距用制御プログラム
JP2016004181A (ja) 撮像装置および撮像方法
JP2023083980A (ja) 距離計測装置および距離検出技術、撮像装置
JP3940010B2 (ja) 自動合焦機能を有する画像入力装置
JP2016004182A (ja) 撮像装置および撮像方法
JP2017009640A (ja) 撮像装置および撮像装置の制御方法
JP6348221B2 (ja) 測距装置、測距用制御方法、及び測距用制御プログラム
JP2019008246A (ja) 撮像装置及び撮像装置の制御方法