JP2017163297A - 撮像装置 - Google Patents

Abstract

【課題】ユーザーが撮像素子の露光時間を設定して撮影するモードにおいて、設定可能な範囲でそれぞれの撮像素子に適切かつ簡易に設定できることを可能にした撮像装置を提供すること。【解決手段】レンズと、被写体からの光を複数の波長域に分離する光分離手段と、分離された複数の波長域のうち可視光成分を含む光を撮像する可視光撮像手段と、可視光とは異なる成分を含む光を撮像する非可視光撮像手段と、それぞれの撮像手段の適性露光条件を算出する適正露光条件算出手段と、それぞれの撮像手段の露光時間を設定する露光時間設定手段と、を有する撮像装置について、露光時間を指定できる露光時間指定撮影モードを備え、前記撮影モードは、露光時間と、適正露光条件算出手段により算出された適正露光条件と、それぞれの撮像手段の画素サイズを用いて、露光時間設定手段によりそれぞれの撮像手段の露光時間を設定することを特徴とする。【選択図】図１

Description

本発明は、撮像装置に関し、特に撮像装置の露光時間の設定方法に関する。

一台の撮像装置でより広い波長範囲を撮影するために、可視光用と赤外光用の撮像素子を用いて同時に撮影を行うことのできる撮像装置が知られている。

特許文献１には、レンズを透過した光を色分離プリズムで可視光と赤外光に分光し、それぞれを可視光用撮像素子、赤外光用撮像素子を用いて撮像する構成が開示されている。

このとき、それぞれの撮像素子の出力値を被写体の明るさに応じて適正値にするために、通常はレンズの絞り値、撮像素子の露光時間およびゲインを制御する。被写体の可視光での照度と赤外光での照度は通常異なり、また可視光用撮像素子と赤外光用撮像素子のそれぞれの波長に対する感度も異なるため、それぞれの撮像素子は独立に露出制御されることが望ましい。

しかし、一つのレンズを複数の撮像素子で共有するような撮像装置では、絞りの制御をそれぞれの撮像素子に合わせて独立に制御することは出来ない。

特許文献２は、これに鑑み、レンズ絞り値設定手段と、可視光系露出時間設定手段と、赤外光系露出時間設定手段を用いて、可視光および赤外光の露出を適正に行う制御装置について開示している。

特開２００５−００４１８１号公報 特開２０１０−１８３１９１号公報

撮像装置には、通常、撮像素子の露光時間をユーザーが指定して撮影するモードが搭載されており、特に被写体が動いてしまう場合に像ぶれを抑えるため露光時間を高速にしたりするために用いられる。以後、このモードをシャッター優先モードとする。

複数の撮像素子に対して同じ露光時間を設定してシャッター優先モードを実現しようとすると、波長域毎の入射する光量の違いや撮像素子の感度違いにより、片方の撮像素子を適正露光に合わせると、もう片方の撮像素子では適正露光よりも明るくなったり、暗くなったりといったことが起こりうる。

このときレンズ絞り値の設定は両撮像素子で共通のため、撮像素子のゲインを変えて適正露光となる条件を設定するしかないが、撮像素子の出力信号にゲインを掛け過ぎると画像のノイズが増大し、被写体の視認性が低下してしまうなど弊害が出る。また被写体の動きに対する敏感度も異なるため、同じ露光時間を設定しても所望の効果を得られるわけではない。

また両撮像素子に対して別々の露光時間を設定してシャッター優先モードを実現する場合は、少なくとも２つのシャッター速度を設定する必要があるため手間がかかり、またそれぞれの撮像素子の感度等についての情報がないと、いちいち画像を見ながらシャッター速度を設定しなければならないなど、ユーザーに対して負荷が発生してしまう。さらに、そもそも設定が出来ないような条件である可能性もある。

上述の特許文献１、特許文献２ではそれぞれの撮像素子で適正露光を行うが、シャッター優先モードに相当する効果を得られるわけではない。

そこで、本発明の目的は、ユーザーが撮像素子の露光時間を設定して撮影するモードにおいて、設定可能な範囲でそれぞれの撮像素子に適切かつ簡易に設定できることを可能にした撮像装置を提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、
レンズと、
前記レンズを透過した被写体からの光を複数の波長域に分離する光分離手段と、
前記光分離手段で分離された複数の波長域のうち可視光成分を含む被写体からの光を撮像する可視光撮像手段と、
前記光分離手段で分離された複数の波長域のうち可視光とは異なる成分を含む被写体からの光を撮像する非可視光撮像手段と、
前記それぞれの撮像手段の適性露光条件を算出する適正露光条件算出手段と、
前記それぞれの撮像手段の露光時間を設定する露光時間設定手段と、
を有する撮像装置について、
前記撮像装置の露光時間を指定できる露光時間指定撮影モードを備え、
前記撮影モードは、前記指定された露光時間と、
前記適正露光条件算出手段により算出された適正露光条件と、
前記それぞれの撮像手段の画素サイズを用いて、前記露光時間設定手段により前記それぞれの撮像手段の露光時間を設定することを特徴とする。

本発明によれば、ユーザーが撮像素子の露光時間を設定して撮影するモードにおいて、設定可能な範囲でそれぞれの撮像素子に適切かつ簡易に設定できることを可能にした撮像装置を提供することができる。

本発明の実施形態に係る撮像装置を示す模式図である。 図１の信号処理部の内部構造を示す模式図である。 撮像素子の画素サイズ違いによる被写体像のぶれ量を示す模式図である。 本発明の第１の実施形態に係る撮像装置の動作処理を示すフローチャートである。 本発明の第２の実施形態に係る撮像装置の動作処理を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は本発明の実施形態に係る撮像装置の模式図である。

［実施例１］
本撮像装置は一台で広い波長領域の撮像を可能にするため、可視光用撮像素子２００と赤外光用撮像素子２０１を備えている。レンズ１００からの光は分光光学系１０１によって、ある波長域を境に直進して可視光用撮像素子２００に入射する成分と、反射して赤外光用撮像素子２０１に入射する成分とに分光される。レンズ１００は絞り構造を備えていても良く、信号処理部３００から制御される。分光光学系１０１としては、ダイクロイックミラーや色分離プリズムなどがあり、本実施形態では波長７００ナノメートルを境界としている。

可視光用撮像素子２００はＣＭＯＳセンサやＣＣＤセンサなどのシリコン（Ｓｉ）製半導体撮像素子であり、主に可視光（波長３８０〜７８０ナノメートル）に高い感度を有する。これに対し、赤外光用撮像素子２０１は可視光用撮像素子と同じ種類の素子も用いられるが、より好ましくはインジウムガリウムヒ素（ＩｎＧａＡｓ）など、近赤外光（波長９００〜１７００ナノメートル）に高い感度を有するものが望ましい。どちらの撮像素子も外部からシャッター速度、ゲインを設定して撮像を行うことができる。

図２は図１の信号処理部３００のブロック構造を示した模式図である。

それぞれの撮像素子２００、２０１によって、被写体からの光は電気信号に変換され、それぞれ可視光画像処理部３１１、赤外光画像処理部３１２によって画像処理される。またそれぞれの画像処理結果による画像輝度と、適正露光時の画像輝度との差分をもとに、露光条件算出部３１４が適正露光となる露光条件を算出し、画像が明るすぎる場合は撮像素子制御部３１３を通して撮像素子２００、２０１の露光時間を短くする、ゲインを下げるなどの制御を行う。

逆に画像が暗すぎる場合は撮像素子制御部３１３を通して露光時間を長くする、ゲインを上げるなどの制御を行う。ここでレンズ１００が絞り機能を有する場合は、レンズ制御部３１５を通してレンズ１００の絞りを制御する。また、ユーザーにより外部から露光時間、ゲイン、絞り量などが指定された場合、露光条件算出部が指定された値以外を制御することで、画像が適正露光になるようにする。このとき指定された条件で適正露光が実現できない場合、実現可能な範囲で適正露光でない画像が得られるように制御してもよい。また、不図示のユーザーインターフェースを用いてユーザーに設定不可であることを知らせてもよい。

ここで、図３は可視光用撮像素子２００と赤外光用撮像素子２０１による、動いている被写体像３０００の被写体ぶれを模式的に示した図である。

可視光用撮像素子２００に利用されるＳｉ製半導体撮像素子と、赤外光用撮像素子２０１に利用されるＩｎＧａＡｓ製半導体撮像素子では、画素のサイズが異なる場合が多く、一般的にはＳｉ製半導体撮像素子の画素サイズＳ１（一辺がおよそ数マイクロメートル）よりもＩｎＧａＡｓ製半導体撮像素子の画素サイズＳ２（一辺が１０数〜３０マイクロメートル程度）のほうが、画素サイズが大きいことが多い。

被写体が動くことによるぶれ量Ｌは、撮像素子の受光面上で結像された被写体像が何画素移動したかで決まるため、可視光画像で数画素移動するような被写体の動きでも、赤外光画像ではほとんど移動しているように見えないことになる。そのため、まず可視光用撮像素子２００に対して露光条件算出部３１４にて求めた露光時間を設定後、赤外光用撮像素子２０１の露光時間を画素のサイズの比率分まで延ばしても、被写体のうごきによるぶれの影響はほとんど見られない。さらに、露光時間を長くすることにより赤外画像のノイズを抑えることも可能となる。

実際の被写体撮影時においては、撮影時の環境により蛍光灯や白色ＬＥＤ照明下など、可視光が赤外光よりも多いシーンや、逆に夕方などの赤外光が可視光よりも多いシーンが存在する。その場合には片側の撮像素子が白とびや黒つぶれの露出条件になる場合がある。そのため、撮像素子２００、２０１の現在の露光条件と合わせて赤外光用撮像素子２０１の露光時間を調整する、としても良い。

図４は本発明の第1の実施例による、撮像装置の動作フローチャートである。ここでは可視光用撮像素子２００の画素サイズＳ１を３マイクロメートル、赤外光用撮像素子２０１の画素サイズＳ２を１５マイクロメートルとする。またレンズ１００は絞り構造を有し、適正露光となるように絞り値を制御することができる。

（Ｓ４０１）ユーザーにより、指定された露光時間を読み取りシャッター優先モードに入る。（Ｓ４０２）に移動する。

（Ｓ４０２）可視光用撮像素子２００に（Ｓ４０１）で読み取った露光時間を設定した場合に適正露光となるように、露光条件算出部３１４を用いて可視光用撮像素子２００のゲイン、レンズ１００の絞り値を可視光用撮像素子の新たな適正露光条件として算出する。

（Ｓ４０３）（Ｓ４０２）で求めたレンズ１００の絞り値を設定した場合に、露光時間が（Ｓ４０１）で読み取った露光時間の１５／３＝５倍以下となる範囲で適正露光となるように、露光条件算出部３１４を用いて赤外光用撮像素子２０１のゲインと露光時間を赤外光用撮像素子の新たな適正露光条件として算出する。（Ｓ４０４）に移動する。

（Ｓ４０４）（Ｓ４０２）および（Ｓ４０３）で算出したレンズおよび撮像素子の露光条件が設定可能である場合、（Ｓ４０５）に移動する。設定不可能である場合、（Ｓ４０６）に移動する。

（Ｓ４０５）算出した露光条件をそれぞれの撮像素子に設定する。

（Ｓ４０６）算出した露光条件をそれぞれの撮像素子に設定せず、現在の設定のまま撮影を行う。

以上の動作を行うことで、設定可能な範囲において、露光時間を指定された場合に被写体ぶれを抑える効果を得ることができる。

［実施例２］
図５は本発明の第２の実施例による、撮像装置の動作フローチャートである。ここでは可視光用撮像素子２００の画素サイズＳ１を３マイクロメートル、赤外光用撮像素子２０１の画素サイズＳ２を１５マイクロメートルとする。またレンズ１００は絞り構造を有し、適正露光となるように絞り値を制御することができる。

（Ｓ５０１）〜（Ｓ５０２）（Ｓ４０１）〜（Ｓ４０２）と同様の動作を行う。（Ｓ５０３）に移動する。

（Ｓ５０３）可視光用撮像素子に対して、現在の露光条件と（Ｓ５０２）によって算出された露光条件による可視光画像輝度差分Ｖ１を求める。（Ｓ５０４）に進む。

（Ｓ５０４）（Ｓ５０１）で読み取った露光時間と、（Ｓ５０２）で求めたレンズ１００の絞り値を設定した場合に、適正露光となるように、露光条件算出部３１４を用いて赤外光用撮像素子２０１のゲインを算出する。（Ｓ５０５）に移動する。

（Ｓ５０５）赤外光用撮像素子に対して、現在の露光条件と（Ｓ５０３）によって算出された露光条件による赤外光画像輝度差分Ｖ２を求める。（Ｓ５０６）に進む。

（Ｓ５０６）可視光画像輝度差分Ｖ１と赤外光画像輝度差分Ｖ２を比較し、Ｖ１＜Ｖ２である場合、（Ｓ５０７）に進む。それ以外は（Ｓ５０８）に進む。

（Ｓ５０７）赤外光画像のほうが可視光画像よりも明るく撮影可能であり、赤外光用撮像素子の露光時間を長くする必要がないので、算出した露光条件をそのままそれぞれの撮像素子に設定する。

（Ｓ５０８）可視光画像輝度差分Ｖ１と赤外光画像輝度差分Ｖ２の比が、可視光用撮像素子の画素サイズＳ１と赤外光用撮像素子の画素サイズＳ２の比Ｓ１／Ｓ２と比較してＶ１／Ｖ２≧Ｓ１／Ｓ２＝３／１５である場合、（Ｓ５０９）に進む。それ以外は（Ｓ５１１）に進む。

（Ｓ５０９）露光時間が（Ｓ５０１）で読み取った露光時間の１５／３＝５倍以下となる範囲で適正露光となるように、露光条件算出部３１４を用いて赤外光用撮像素子２０１のゲインと露光時間を赤外光用撮像素子の新たな適正露光条件として算出する。（Ｓ５１０）に進む。

（Ｓ５１０）（Ｓ５０２）にて算出した可視光用撮像素子の露光条件と、（Ｓ５０９）にて算出した赤外光用撮像素子の露光条件をそれぞれの撮像素子に設定する。

（Ｓ５１１）算出した露光条件をそれぞれの撮像素子に設定せず、現在の設定のまま撮影を行う。

以上の動作を行うことで、設定可能な範囲において、露光時間を指定された場合に被写体ぶれを抑える効果を得ることができる。

以上、本発明の好ましい実施形態について説明した。これらの実施形態では可視光用撮像素子と赤外光用撮像素子を用いているが、本発明はこれらの実施形態に限定されず、画素サイズの異なる撮像素子などについても同様に適用可能である。また、撮像素子以外についてもその要旨の範囲内で種々の変形及び変更が可能である。

１００ レンズ、１０１ 分光光学系、２００ 可視光用撮像素子、
２０１ 赤外光用撮像素子、３００ 信号処理部、３１１ 可視光画像処理部、
３１２ 赤外光画像処理部、３１３ 撮像素子制御部、３１４ 露光条件算出部、
３１５ レンズ制御部

Claims (6)

1. レンズと、
   前記レンズを透過した被写体からの光を複数の波長域に分離する光分離手段と、
   前記光分離手段で分離された複数の波長域のうち可視光成分を含む被写体からの光を撮像する可視光撮像手段と、
   前記光分離手段で分離された複数の波長域のうち可視光とは異なる成分を含む被写体からの光を撮像する非可視光撮像手段と、
   前記それぞれの撮像手段の適性露光条件を算出する適正露光条件算出手段と、
   前記それぞれの撮像手段の露光時間を設定する露光時間設定手段と、
   を有する撮像装置について、
   前記撮像装置の露光時間を指定できる露光時間指定撮影モードを備え、
   前記撮影モードは、前記指定された露光時間と、
   前記適正露光条件算出手段により算出された適正露光条件と、
   前記それぞれの撮像手段の画素サイズを用いて、前記露光時間設定手段により前記それぞれの撮像手段の露光時間を設定することを特徴とする撮像装置。
2. 前記露光時間指定撮影モードは、前記可視光撮像手段の画素の一辺サイズをＳ１、前記非可視光撮像手段の画素の一辺サイズをＳ２とするとき、前記非可視光撮像手段の露光時間を前記可視光撮像手段の露光時間のＳ２／Ｓ１倍以下とすることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像装置は、前記適正露光条件算出手段によって算出される撮像手段の適正露光条件と、現在の撮像手段の露光条件の露光差を算出する露光差算出手段をさらに備え、前記露光時間指定撮影モードは、前記露光差算出手段によって算出された前記可視光撮像手段の露光差Ｖ１と、前記非可視光撮像手段の露光差Ｖ２をさらに用いて、前記露光時間設定手段により前記それぞれの撮像手段の露光時間を設定することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記露光時間指定撮影モードは、前記可視光撮像手段の露出差Ｖ１と前記非可視光撮像手段の露出差Ｖ２が、Ｖ１＜Ｖ２であるとき、前記非可視光撮像手段の露光時間を前記可視光撮像手段の露光時間のＳ２／Ｓ１倍以下とすることを特徴とする、請求項３に記載の撮像装置。
5. 前記露光時間指定撮影モードは、前記可視光撮像手段の露出差Ｖ１と前記非可視光撮像手段の露出差Ｖ２の関係が、Ｖ１／Ｖ２≧Ｓ１／Ｓ２であるとき、前記非可視光撮像手段の露光時間を前記可視光撮像手段の露光時間のＳ２／Ｓ１倍以下とすることを特徴とする請求項３に記載の撮像装置。
6. 前記非可視光撮像手段が赤外光撮像手段であることを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。