JP2008042607A - 撮影装置、撮影システム - Google Patents

Abstract

【課題】画角を変えることなく周囲の明るさに応じた画像を得ることができる撮影装置、撮影システムを提供する。
【解決手段】被写体の明るさを検出する検出手段と、被写体に向けて非可視光を照射する発光手段と、可視光画像を撮像し、該可視光画像を示す画像信号を出力する可視光撮像素子と、非可視光画像を撮像し、該非可視光画像を示す画像信号を出力する非可視光撮像素子と、被写体を示す入射光の入射先を可視光撮像素子及び非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替えるミラーと、検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は入射先を可視光撮像素子の撮像領域に切り替えるようにミラーを制御し、当該被写体の明るさが所定の明るさ未満である場合には入射光を非可視光撮像素子の撮像領域に切り替えるようにミラーを制御すると共に非可視光を照射するように発光手段を制御する制御手段と、を有する。
【選択図】図３

Description

本発明は、撮影装置、撮影システムに関する。

可視光撮像素子や非可視光撮像素子など、異なる波長帯域の光を撮影対象とする複数の撮像素子を有するカメラがある。このようなカメラとして、例えば特許文献１には、Ｒ光（赤色光）、Ｇ光（緑色光）、ＩＲ光（赤外光）による特殊映像と、Ｒ光、Ｇ光、Ｂ光（青色光）による通常のカラー映像を選択的に撮影するビデオカメラが開示されている。

また、特許文献２には、赤外域撮影用カメラと可視域撮影用のカメラを備えた車両周辺監視装置が開示されている。さらに特許文献３には、ハーフミラーで赤外光と可視光に光を分割し、これらの光により被写体を同時に撮影するカメラが開示されている。

また、特許文献４には、レンズユニットからの光束を光分割手段により二つの方向に分割し、その第１の光束はそのまま第１の固体撮像素子に結合し、第２の光束は赤外線カットフィルターを介して第２の固体撮像素子に結合する撮像装置が開示されている。
特開２００６−２９２２１３号公報 特開２００５−５１４０３号公報 特開２００４−９４０５０号公報 特開２００３−６９８６５号公報

上述した各特許文献に開示されている撮影装置では、画角を変えることなく周囲の明るさに応じた画像を得ることができないという問題点があった。

本発明は上記問題点に鑑み、画角を変えることなく周囲の明るさに応じた画像を得ることができる撮影装置、撮影システムを提供することを目的とする。

上記目的を達成するために請求項１の発明は、被写体の明るさを検出する検出手段と、前記被写体に向けて非可視光を照射する発光手段と、可視光画像を撮像し、該可視光画像を示す画像信号を出力する可視光撮像素子と、非可視光画像を撮像し、該非可視光画像を示す画像信号を出力する非可視光撮像素子と、前記被写体を示す入射光の入射先を前記可視光撮像素子及び前記非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替えるミラーと、前記検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は前記入射先を前記可視光撮像素子の撮像領域に切り替えるように前記ミラーを制御し、当該被写体の明るさが前記所定の明るさ未満である場合には前記入射光を前記非可視光撮像素子の撮像領域に切り替えるように前記ミラーを制御すると共に非可視光を照射するように前記発光手段を制御する制御手段と、を有する。

ここで、請求項１の発明では、発光手段は、被写体の明るさを検出する検出手段と、前記被写体に向けて非可視光を照射し、可視光撮像素子は、可視光画像を撮像し、該可視光画像を示す画像信号を出力し、非可視光撮像素子は、非可視光画像を撮像し、該非可視光画像を示す画像信号を出力し、ミラーは、前記被写体を示す入射光の入射先を前記可視光撮像素子及び前記非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替え、制御手段は、前記検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は前記入射先を前記可視光撮像素子の撮像領域に切り替えるように前記ミラーを制御し、当該被写体の明るさが前記所定の明るさ未満である場合には前記入射光を前記非可視光撮像素子の撮像領域に切り替えるように前記ミラーを制御すると共に非可視光を照射するように前記発光手段を制御するので、画角を変えることなく周囲の明るさに応じた映像を得ることができる撮影装置を提供することができる。

また、請求項２の発明は、前記可視光撮像素子及び非可視光撮像素子の撮像領域に被写体像を結像する結像手段と、前記結像手段による合焦位置を移動する合焦位置移動手段と、前記ミラーの制御前後における前記可視光撮像素子及び前記非可視光撮像素子に対する前記結像手段による合焦位置を示す合焦位置情報を予め記憶した記憶手段と、を更に有し、前記制御手段は、前記ミラーを制御した後に、前記入射光が入射される撮像素子に対応する前記合焦位置情報に基づいて前記結像手段の合焦位置を調整するように前記合焦位置移動手段を制御する。

ここで、請求項２の発明では、ミラーを制御した後に、入射光が入射される撮像素子に対応する結像手段による合焦位置が予め記録されているので、素早く合焦することができる。

また、請求項３の発明は、前記可視光撮像素子の光軸方向に対する位置又は前記非可視光撮像素子の光軸方向に対する位置を移動する撮像素子位置移動手段と、前記ミラーの制御前後における前記可視光撮像素子及び前記非可視光撮像素子の合焦位置を示す合焦位置情報を予め記憶した記憶手段と、を更に有し、前記制御手段は、前記ミラーを制御した後に、前記入射光が入射される撮像素子に対応する前記合焦位置情報に基づいて該撮像素子の位置を調整するように前記撮像素子位置移動手段を制御する。

ここで、請求項３の発明では、ミラーを制御した後に、入射光が入射される撮像素子に対応する前記可視光撮像素子及び前記非可視光撮像素子の合焦位置が予め記録されているので、素早く合焦することができる。

また、請求項４の発明は、前記発光手段は、前記制御手段の制御により発光量を変えることが可能であり、前記制御手段は、前記発光手段の発光量が所定の量以上であり、かつ前記被写体の明るさが前記所定の明るさ未満の場合には、前記非可視光撮像素子に対し、他の場合に比較してより多くの画素を使用して前記被写体を示す画像の１ドットを形成する画像信号を出力させるように前記非可視光撮像素子を制御する。

ここで、請求項４の発明では、発光手段により発光量を例えば最大としたにもかかわらず被写体の明るさが所定の明るさ未満の場合、他の場合に比較してより多くの画素を使用して前記被写体を示す画像の１ドットを形成するので、周囲の明るさに応じた最適な画像を得ることができる。

また、請求項５の発明は、前記非可視光撮像素子は、前記可視光撮像素子に比較して画素感度が高い。

ここで、請求項５の発明では、非可視光撮像素子で撮影するような暗い被写体であっても、画素感度が高くすることで、見やすい画像を得ることができる。

また、請求項６の発明は、前記制御手段は、前記非可視光撮像素子の撮像領域を二等分した２つの領域毎に輝度の積算を求め、更にその２つの積算の比である第１の比を求め、前記可視光撮像素子の撮像領域を二等分した２つの領域毎に輝度の積算を求め、更にその２つの積算の比である第２の比を求め、前記第１の比と前記第２の比とが等しくなるように前記ミラーを制御する。

ここで、請求項６の発明では、機械的に動作するミラーにより発生した光軸ずれを補正することができる。

また、請求項７の発明は、当該撮影装置の温度を検知する温度検知手段と、前記第１の比と前記第２の比とが等しくなるように前記ミラーが制御されたときのミラーの位置を所定の温度毎に記憶している記憶手段を更に有し、前記制御手段は、前記温度検知手段により検知された温度に対応するミラーの位置を前記記憶手段より取得して適用することにより、前記ミラーを制御する。

ここで、請求項７の発明では、当該撮影装置の温度を検出し、その温度に対応したミラーの位置が予め定められているので、撮影装置やその近傍の温度に対応することができる。

また、請求項８の発明は、撮影装置と制御装置とを有する撮影システムであって、前記撮影装置は、被写体の明るさを検出する検出手段と、可視光画像を撮像する可視光撮像素子と、非可視光画像を撮像する非可視光撮像素子と、前記被写体を示す入射光の入射先を前記可視光撮像素子及び前記非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替えるミラーと、を有し、前記制御装置は、前記被写体に向けて非可視光を照射する発光手段と、前記検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は前記入射先を前記可視光撮像素子の撮像領域に切り替えるように前記撮影装置に前記ミラーを制御させ、当該被写体の明るさが前記所定の明るさ未満である場合には前記入射光を前記非可視光撮像素子の撮像領域に切り替えるように前記撮影装置に前記ミラーを制御させると共に非可視光を照射するように前記発光手段を制御する制御手段と、を有する。

ここで、請求項８の発明では、撮影装置と制御装置とを有する撮影システムであって、前記撮影装置の検出手段は、被写体の明るさを検出し、前記撮影装置の可視光撮像素子は可視光画像を撮像し、前記撮影装置の非可視光撮像素子は非可視光画像を撮像し、前記撮影装置のミラーは、前記被写体を示す入射光の入射先を前記可視光撮像素子及び前記非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替え、前記制御装置の発光手段は、前記被写体に向けて非可視光を照射し、前記制御装置の制御手段は、前記検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は前記入射先を前記可視光撮像素子の撮像領域に切り替えるように前記撮影装置に前記ミラーを制御させ、当該被写体の明るさが前記所定の明るさ未満である場合には前記入射光を前記非可視光撮像素子の撮像領域に切り替えるように前記撮影装置に前記ミラーを制御させると共に非可視光を照射するように前記発光手段を制御するので、画角を変えることなく周囲の明るさに応じた映像を得ることができる撮影システムを提供することができる。

本発明によれば、画角を変えることなく周囲の明るさに応じた映像を得ることができる撮影装置、撮影システムを提供することができるという効果が得られる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。本実施の形態においては、本発明の撮影装置をデジタルカメラに適用した場合について説明する。

まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。

デジタルカメラ１０は、被写体像を結像させるためのレンズを含んで構成された光学ユニット２２と、該レンズの光軸後方に配設されたミラー２３と、該レンズの光軸後方でかつミラー２３より下流側に設けられ、非可視光による被写体を撮像する非可視光撮像素子２４と、該レンズの光軸後方でかつミラー２３より下流側に設けられ、可視光による被写体を撮像する可視光撮像素子２５と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。

また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。

非可視光撮像素子２４及び可視光撮像素子２５の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、非可視光撮像素子２４及び可視光撮像素子２５から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

一方、デジタルカメラ１０は、被写体像やメニュー画面等をＬＣＤ（液晶ディスプレイ）３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤドライバ３６と、赤外光を被写体に対して照射する赤外光ＬＥＤ３９を駆動させるためのＬＥＤドライバ３７と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。

更に、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路５４と、を含んで構成されている。

なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてＶＲＡＭ（Video RAM）が用いられ、メモリカード５２としてスマートメディア（Smart Media(登録商標)）が用いられている。

デジタル信号処理部３０、ＬＣＤインタフェース３６、ＬＥＤドライバ３７、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、ＬＥＤドライバ３７を介した赤外光ＬＥＤ３９の発光、メモリ４８及びメモリカード５２へのメモリインタフェース４６、外部メモリインタフェース５０を介したアクセスを各々行うことができる。

一方、デジタルカメラ１０には、主として非可視光撮像素子２４及び可視光撮像素子２５を駆動させるためのタイミング信号を生成して非可視光撮像素子２４及び可視光撮像素子２５に供給するタイミングジェネレータ３２が備えられており、非可視光撮像素子２４及び可視光撮像素子２５の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。

更に、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御され、ミラー２３の駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。なお、焦点調整モータは本実施の形態ではステッピングモータとしている。

すなわち、本実施の形態に係るレンズは複数枚のレンズを有し、焦点距離の移動（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ、及び絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。

更に、図示しないレリーズボタン、電源スイッチなどの各種ボタン類、スイッチ類（同図では、「操作部５６」と総称。）はＣＰＵ４０に接続されており、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握できる。

また、デジタルカメラ１０には、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２が備えられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

次に、本実施の形態に係るデジタルカメラ１０で可視光撮像素子２５を用いた撮影時における全体的な動作について簡単に説明する。

まず、可視光撮像素子２５は、光学ユニット２２を介した撮像を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号をアナログ信号処理部２６に順次出力する。アナログ信号処理部２６は、非可視光撮像素子２４及び可視光撮像素子２５から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にＡＤＣ２８に順次出力する。

ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ、Ｇ、Ｂ毎のアナログ信号を各々１２ビットのＲ、Ｇ、Ｂの信号（デジタル画像データ）に変換してデジタル信号処理部３０に順次出力する。デジタル信号処理部３０は、内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦メモリ４８の所定領域に直接格納する。

メモリ４８の所定領域に格納されたデジタル画像データは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理及びシャープネス処理を行なって所定ビット、例えば８ビットのデジタル画像データを生成する。

そして、デジタル信号処理部３０は、生成した所定ビットのデジタル画像データに対しＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をメモリ４８の上記所定領域とは異なる領域に格納する。

なお、ＬＣＤ３８は、非可視光撮像素子２４及び可視光撮像素子２５による連続的な撮像によって得られた動画像（スルー画像）を表示してファインダとして使用することができるものとして構成されており、ＬＣＤ３８をファインダとして使用する場合には、生成したＹＣ信号を、ＬＣＤインタフェース３６を介して順次ＬＣＤ３８に出力する。これによってＬＣＤ３８にスルー画像が表示されることになる。

ここで、レリーズボタンがユーザによって半押し状態とされた場合、後述する処理が実行され、撮影条件が設定される。その後、引き続き全押し状態とされた場合、この時点でメモリ４８に格納されているＹＣ信号を、圧縮・伸張処理回路５４によって所定の圧縮形式（本実施の形態では、ＪＰＥＧ形式）で圧縮した後に外部メモリインタフェース５０を介してメモリカード５２に記録する。

また、デジタルカメラ１０には、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２が備えられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

次に、図２を用いて、非可視光撮像素子２４、可視光撮像素子２５、ミラー２３、レンズ２１の位置関係及びミラー２３の動作について説明する。

図２（ａ）（ｂ）には、それぞれ非可視光撮像素子２４、可視光撮像素子２５、ミラー２３、光学ユニット２２に含まれるレンズ２１の位置が示されている。なお、ミラー２３の動作は、図１で説明したモータ駆動部３４により行われ、このモータは図２では省略されている。

図２（ａ）（ｂ）は、非可視光撮像素子２４と、可視光撮像素子２５とを垂直に配置した場合の位置関係及びその場合のミラー２３の動作を示している。図２（ａ）（ｂ）において、ミラー２３は、図２（ａ）左端部を回転軸Ｃとして同図矢印Ａ方向に揺動可能に設けられている。なお、回転軸Ｃには不図示のモータの回転軸が取り付けられており、回転軸Ｃは、モータ駆動部３４により作動が制御される。

具体的には、可視光撮像素子２５で撮影する場合、ミラー２３は、レンズ２１から可視光撮像素子２５への光を妨げない位置に回転軸Ｃを中心に回転する。また、非可視光撮像素子２４で撮影する場合には、ミラー２３は、図２（ｂ）に示されるようにレンズ２１からの光を反射することで非可視光撮像素子２４へ光を入射させる位置に回転軸Ｃを中心に回転する。

このように、本実施の形態における撮像素子は、垂直に配置され、ミラー２３が回転軸Ｃを中心に回転することで、光の入射先を切り替えるようになっている。

次に、ＣＰＵ４０により実行されるミラー２３を切り替えるプログラムによる処理を、図３のフローチャートを用いて説明する。

ステップ１０１は、デジタルカメラ１０の電源投入による起動である。次のステップ１０２で、ＣＰＵ４０は、入射光の明るさを検出する。なお、本実施の形態に係るデジタルカメラでは、入射光の明るさを可視光撮像素子２５から出力された画像データにより示される平均的な輝度により検出している。

次のステップ１０３で、ＣＰＵ４０は、検出した入射光の明るさが基準値以上か否か判断する。この基準値での明るさが所定の明るさであり、その基準値は可視光撮像素子２５の特性や、ユーザによる設定で予め定められている。

ＣＰＵ４０が、ステップ１０３で肯定判断した場合、ステップ１０４で、可視光撮像素子２５に光が入射するようにミラー２３を制御し、ステップ１０５で可視光撮像素子２５を駆動することで、ステップ１０６で画像を出力する。この画像の出力とは、ＬＣＤ３８に画像を表示することや、メモリ４８に画像を保存することを意味する。

一方、ステップ１０３でＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ１０７で、赤外光ＬＥＤ３９を点灯し、ステップ１０８で、非可視光撮像素子２４に光が入射するようにミラー２３を制御し、ステップ１０９で非可視光撮像素子２４を駆動することで、ステップ１０６で画像を出力する。

以上の処理は、ステップ１１０で、電源がオフとなるまで繰り返される。

次に、ミラー２３を切り替えた際に合焦する処理について説明する。具体的には、図４に示されるように、入射先を可視光撮像素子２５から非可視光撮像素子２４にミラー２３により切り替えた場合、可視光撮像素子２５と非可視光撮像素子２４とでは合焦するレンズ２１の位置が光軸方向に対して異なるため、レンズ２１を移動する処理である。

ここで、上述したように焦点調整モータはステッピングモータであるため、レンズの位置はステッピングモータを駆動させるためのパルス数に対応するので、以下の説明では、レンズの位置をパルス数を用いて表現する。

また、この処理において、レンズ２１をどれだけ移動するかは、予めメモリ４８にテーブルとして記憶されている。このテーブル（以下、テーブルＡとする）は、可視光撮像素子２５を駆動している時のレンズ位置と、非可視光撮像素子２４を駆動する時のレンズ位置とを対応させたものである。具体的には、例えばレンズの位置が予め定められた基準から何パルス分離れているかで位置を判断し、可視光撮像素子２５を駆動している時のレンズ位置を示すＮパルスと、そのＮパルスの場合の非可視光撮像素子２４のレンズ位置を示すＭパルスとが対応づけられたテーブルである。

レンズ２１を移動するプログラムによる処理を、図５のフローチャートを用いて説明する。

ステップ２０１は、デジタルカメラ１０の電源投入による起動である。次のステップ２０２で、ＣＰＵ４０は、入射光の明るさを検出する。次のステップ２０３で、ＣＰＵ４０は、検出した入射光の明るさが基準値以上か否か判断する。ＣＰＵ４０が、ステップ２０３で肯定判断した場合、ステップ２０４で、可視光撮像素子２５に光が入射するようにミラー２３を制御する。

次に、ＣＰＵ４０は、ステップ２０５で、直前に非可視光撮像素子２４を駆動していたか否かを判断する。ステップ２０５で、ＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ２０６で、可視光撮像素子２５を駆動し、ステップ２０７で画像を出力する。画像出力の後、ステップ２０８で、ＣＰＵ４０が電源オフとされたか否かを判断し、肯定判断した場合は処理が終了し、否定判断した場合はステップ２０２の処理を再び実行する。

一方、ステップ２０５で、ＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ２０９で現時点でのレンズ２１の位置を取得する。次に、ＣＰＵ４０は、ステップ２１０で、上述したテーブルＡを用いて、非可視光撮像素子２４でのレンズの位置（現在のレンズの位置）に対する可視光撮像素子２５でのレンズの位置を読み取る。次のステップ２１１で、ＣＰＵ４０は、テーブルＡから読み取った値に応じてレンズの位置を制御し、上述したステップ２０６の処理を実行する。

ステップ２０３の判断処理に戻る。ステップ２０３で、ＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ２１２で、赤外光ＬＥＤ３９を点灯し、ステップ２１３で、非可視光撮像素子２４に光が入射するようにミラー２３を制御する。次のステップ２１４で、ＣＰＵ４０は、直前に可視光撮像素子２５を駆動していたか否かを判断する。ステップ２１４で、ＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ２１５で、非可視光撮像素子２４を駆動し、ステップ２０７で画像を出力する。

一方、ステップ２１４で、ＣＰＵ４０が肯定判断した場合、ＣＰＵ４０は、ステップ２１６で現時点でのレンズ２１の位置を取得する。次に、ＣＰＵ４０は、ステップ２１７で、上述したテーブルＡを用いて、可視光撮像素子２５でのレンズの位置（現在のレンズの位置）に対する非可視光撮像素子２４でのレンズの位置を読み取る。次のステップ２１８で、ＣＰＵ４０は、テーブルから読み取った値に応じてレンズの位置を制御し、上述したステップ２１５の処理を実行する。

次に、非可視光撮像素子２４を駆動することで、合焦を行う処理について説明する。具体的には、図６に示されるように、非可視光撮像素子２４を駆動する非可視光撮像素子駆動部５１により、非可視光撮像素子２４が上下に駆動することで合焦を行う。

この処理において、非可視光撮像素子２４をどれだけ移動するかは、予めメモリ４８にテーブルとして記憶されている。このテーブル（以下、テーブルＢとする）は、可視光撮像素子２５を駆動している時のレンズ位置と、非可視光撮像素子２４を駆動する時の非可視光撮像素子２４の位置とを対応させたものである。具体的には、例えばレンズの位置が予め定められた基準から何パルス分離れているかで位置を判断し、可視光撮像素子２５を駆動している時のレンズ位置を示すＮパルスと、そのＮパルスの場合の非可視光撮像素子２４の位置を示すＭパルスとが対応づけられたテーブルである。

また、非可視光撮像素子駆動部５１が新たに加わるため、デジタルカメラ１０の電気系の要部構成は、図７に示されるように、非可視光撮像素子駆動部５１が加わったものとなる。

非可視光撮像素子２４を移動するプログラムによる処理を、図８のフローチャートを用いて説明する。ステップ３０１は、デジタルカメラ１０の電源投入による起動である。次のステップ３０２で、ＣＰＵ４０は、入射光の明るさを検出する。次のステップ３０３で、ＣＰＵ４０は、検出した明るさが基準値以上か否か判断する。ＣＰＵ４０が、ステップ３０３で肯定判断した場合、ステップ３０４で、可視光撮像素子２５に光が入射するようにミラー２３を制御する。次に、ＣＰＵ４０は、ステップ３０５で可視光撮像素子２５を駆動し、ステップ３０６で画像を出力する。画像出力の後、ステップ３０７で、ＣＰＵ４０が電源オフとされたか否かを判断し、肯定判断した場合は処理が終了し、否定判断した場合はステップ３０２の処理を再び実行する。

ステップ３０３の判断処理に戻る。ステップ３０３で、ＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ３０８で、赤外光ＬＥＤ３９を点灯し、ステップ３０９で、非可視光撮像素子２４に光が入射するようにミラー２３を制御する。次のステップ３１０で、ＣＰＵ４０は、直前に可視光撮像素子２５を駆動していたか否かを判断する。ステップ３１４で、ＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ３１１で、非可視光撮像素子２４を駆動し、ステップ３０６で画像を出力する。

一方、ステップ３１０で、ＣＰＵ４０が肯定判断した場合、ＣＰＵ４０は、ステップ３１２で現時点でのレンズ２１の位置を取得する。次に、ＣＰＵ４０は、ステップ３１３で、上述したテーブルＢを用いて、可視光撮像素子２５でのレンズの位置（現在のレンズの位置）に対する非可視光撮像素子２４の位置を読み取る。次のステップ３１４で、ＣＰＵ４０は、テーブルから読み取った値に応じて非可視光撮像素子２４の位置を制御し、上述したステップ３１１の処理を実行する。

次に、最適な明るさの画像を得るために、上述した赤外光ＬＥＤの発光量を変えて画像を出力するプログラムの処理について、図９を用いて説明する。なお、この処理では、発光量の判断において用いられる所定の量として発光量が最大となる量としているが、任意の発光量であっても良い。

最初のステップ４０１は、デジタルカメラ１０の電源投入による起動である。次のステップ４０２で、ＣＰＵ４０は、入射光の明るさを検出する。次のステップ４０３で、ＣＰＵ４０は、検出した明るさが基準値以上か否か判断する。ＣＰＵ４０が、ステップ４０３で肯定判断した場合、ステップ４０４で、可視光撮像素子２５に光が入射するようにミラー２３を制御し、ステップ４０５で可視光撮像素子２５を駆動し、ステップ４０６で画像を出力する。画像出力の後、ステップ４０７で、ＣＰＵ４０が電源オフとされたか否かを判断し、肯定判断した場合は処理が終了し、否定判断した場合はステップ４０２の処理を再び実行する。

ステップ４０３の判断処理に戻る。ステップ４０３で、ＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ４０８で、赤外光ＬＥＤ３９を点灯し、ステップ４０９で、非可視光撮像素子２４に光が入射するようにミラー２３を制御し、ステップ４１０で、非可視光撮像素子２４を駆動する。

次のステップ４１１で、ＣＰＵ４０は、指定ブロックの積算データは基準値以上か否か判断する。ここで、指定ブロックとは、所定の画素数の画素のまとまりのうち、予め指定された画素のまとまりをいう。また、積算データとは、指定ブロックの輝度の総和である。従って、ここでの積算データは入射光の明るさを示すものであり、積算データの値が大きいほど入射光が明るいことを示している。

ステップ４１１で、ＣＰＵ４０が肯定判断した場合、ステップ４０６の処理が実行される。ステップ４１１でＣＰＵ４０が否定判断した場合、ステップ４１２でＣＰＵ４０は、点灯中の赤外光の発光量が最大か否か判断する。ステップ４１２で、ＣＰＵ４０が否定判断した場合、ＣＰＵ４０は、ステップ４１５で赤外ＬＥＤの発光量を上げて、再びステップ４１１の判断を行う。

ステップ４１２で、ＣＰＵ４０が肯定判断した場合、ＣＰＵ４０は、ステップ４１３で、画素混合が可能か否か判断し、画素混合が可能であれば、ステップ４１４で画素混合を実行し、再びステップ４１１の判断を行う。一方、ステップ４１３で、ＣＰＵ４０が否定判断した場合、上述したステップ４０６の処理が実行される。なお、画素混合とは、撮像素子の画素を複数使って画像の１ドットを形成するもので、例えば、有効画素数の約２倍の画素数のデータ上で、４画素を一つにまとめることであり、この画素混合により信号レベル(感度)は４倍、Ｓ／Ｎ(信号対ノイズ比)は２倍となるなどの効果がある。

以上説明したプログラムによる処理を実行する場合、可視光撮像素子２５及び非可視光撮像素子２４の画素を異なるようにしても良い。具体的には、図１０に示されるように、非可視光撮像素子２４の画素の大きさを、可視光撮像素子２５の画素の大きさより大きくする。このようにすることで、非可視光撮像素子２４の感度を上げることが可能となる。

今まで説明した処理は、複数のデジタルカメラにも適用することができる。具体的には、複数のデジタルカメラが接続されたパソコンなどの情報処理装置により上述した制御を行う形態である。

まず、デジタルカメラ１０は、図１１に示されるように、情報処理装置と接続するためのネットワークインタフェース６０を更に有する構成となる。ネットワークインタフェース６０により情報処理装置に接続された例を図１２に示す。図１２には、バスに接続されたネットワークインタフェース６０が示されている。

図１２に示される撮影システムは、複数（図１２では２台）のデジタルカメラ１０Ａ、１０Ｂと、情報処理装置９２と、発光制御部９４と、発光部９６とを含む。デジタルカメラ１０Ａ、１０Ｂと情報処理装置９２は、例えばＵＳＢやＬＡＮなどにより接続される。発光制御部９４と情報処理装置９２、発光制御部９４、及び発光部９６も同様にＵＳＢやＬＡＮなどにより接続される。

情報処理装置９２は、システム制御部８０、記憶制御部８２、記憶部８４、表示制御部８６、表示部８８、及び位置情報取得部９０を有する。システム制御部８０は、情報処理装置９２全体を制御する共に、周囲の明るさに応じてデジタルカメラ１０Ａ、１０Ｂを制御する。また、システム制御部８０は、発光制御部９４を制御する。

記憶制御部８２は、記憶部８４を制御する。記憶部８４は、メモリ或いはハードディスクなどの記憶装置であり、上述したテーブルＡ、Ｂなどが記憶されている。表示制御部８６は、表示部８８を制御する。表示部８８は、オペレータなどに対して情報を表示する。位置情報取得部９０は、デジタルカメラ１０Ａ、１０Ｂからレンズの位置を取得する。

このレンズの位置の他に、情報処理装置９２は、デジタルカメラ１０Ａ、１０Ｂからミラーの位置、非可視光撮像素子の位置が通知される。一方、情報処理装置９２からデジタルカメラ１０Ａ、１０Ｂには、レンズの移動量、ミラーの回転指示、非可視光撮像素子の移動量が通知される。

このように、情報処理装置９２とデジタルカメラ１０Ａ、１０Ｂとのインタフェースを定めておくことで、複数のデジタルカメラにも本実施の形態を適用することが可能となる。

以上説明した本実施の形態では、ミラー２３を機械的に動かすため、光軸がずれる可能性がある。そこで、この光軸のずれを補正する方法について、図１３、図１４を用いて説明する。図１３（ａ）（ｂ）のいずれにも、撮像素子Ａ、Ｂとミラー２３とが示されている。この撮像素子Ａ、Ｂとは、非可視光撮像素子や可視光撮像素子などの一般的な撮像素子であり、撮像素子Ａと撮像素子Ｂとが同一の撮像素子であっても良い。

また、撮像素子Ａ、Ｂの撮像領域は、図１４に示されるように領域Ａと領域Ｂの２つに中心線Ｄから論理的に二等分されており、領域Ａ、Ｂの面積は等しくなっている。従って、光軸にずれが生じた場合、領域Ａ、Ｂに入射する光に偏りが生じるため、領域Ａ、Ｂのそれぞれの輝度の積算データが異なることとなる。そこで、ミラー２３の角度を調整することで、光軸のずれを補正することが可能となる。

光軸のずれを補正するプログラムにより実行される処理のフローチャートを、図１５を用いて説明する。ステップ５０１で、ＣＰＵ４０は、撮像素子Ａにおける領域Ａでの積算データと領域Ｂでの積算データとの比ＲＡを求める。次のステップ５０２で、ＣＰＵ４０は、撮像素子Ｂにおける領域Ａでの積算データと領域Ｂでの積算データとの比ＲＢを求める。そして、ステップ５０３で、ＣＰＵ４０は、ＲＡとＲＢが撮像素子Ａ、Ｂで等しくなるようにミラーを制御する。

この処理により、撮像素子Ａ、Ｂでの積算データの比が等しくなるので、撮像素子Ａ、Ｂでの光軸のずれを補正することができる。

なお、撮像素子Ａ、Ｂがそれぞれ可視光撮像素子、非可視光撮像素子の場合、可視光撮像素子でのＲ光（赤色光）を受光するＲ画素での積算データと、非可視光撮像素子でのＩＲを受光するＩＲ画素での積算データとの比を用いるようにしても良い。Ｒ光は、他の光であるＧ光（緑色光）、Ｂ光（青色光）と比較して、ＩＲに近いためである。

また、デジタルカメラに温度センサを設け、温度によりミラーを制御するようにしても良い。この場合のデジタルカメラ１０の電気系の要部構成は、図１６に示されるように、温度センサ５７が加わったものとなる。この温度センサ５７は、ＣＰＵ４０に接続され、検知した温度は、ＣＰＵ４０に通知される。

このような温度センサ５７を設けた構成において、例えば予め定められたいくつかの温度毎に、図１５で示した処理によってミラーの移動量を測定しておき、測定した結果をテーブルとしてメモリ４８に保持する。このテーブルの構造は、温度、その温度に対応する撮像素子Ａでのミラーの移動量、及びその温度に対応する撮像素子Ｂでのミラーの移動量の３つのデータを温度毎に記録される構造である。

このテーブルを用いて、温度センサが検出した温度に対応する移動量を取得し、その移動量だけミラーを制御する。このように制御することで、温度にも対応可能な光軸補正を行うことができる。

以上説明した本実施の形態では、非可視光撮像素子２４と、可視光撮像素子２５とを垂直に配置した場合について説明したが、図１７に示されるように、非可視光撮像素子２４と、可視光撮像素子２５とを平行に配置するようにしても良い。同図は、この場合の位置関係及びその場合のミラー２３の動作を示している。撮像素子を平行に配置した場合、ミラー２３は、ミラー２３の中点を回転軸として動作する。そして、非可視光撮像素子２４で撮影する場合には、ミラー２３は、図１７（ａ）に示されるようにレンズ２１からの光を反射することで非可視光撮像素子２４へ光を入射させる位置に回転軸Ｃを中心に回転する。また、可視光撮像素子２５で撮影する場合には、ミラー２３は、図１７（ｂ）に示されるようにレンズ２１からの光を反射することで可視光撮像素子２５へ光を入射させる角度となるように回転軸Ｃを中心に回転する。

以上説明したように本実施の形態では、被写体の明るさを検出する検出手段（可視光撮像素子２５、ＣＰＵ４０）と、前記被写体に向けて非可視光を照射する発光手段（赤外光ＬＥＤ３９）と、可視光画像を撮像し、該可視光画像を示す画像信号を出力する可視光撮像素子２５と、非可視光画像を撮像し、該非可視光画像を示す画像信号を出力する非可視光撮像素子２４と、前記被写体を示す入射光の入射先を前記可視光撮像素子及び前記非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替えるミラー２３と、前記検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は前記入射先を前記可視光撮像素子の撮像領域に切り替えるように前記ミラーを制御し、当該被写体の明るさが前記所定の明るさ未満である場合には前記入射光を前記非可視光撮像素子の撮像領域に切り替えるように前記ミラーを制御すると共に非可視光を照射するように前記発光手段を制御する制御手段（ＣＰＵ４０）と、を有する。

また、本実施の形態では、前記可視光撮像素子２５及び非可視光撮像素子２４の撮像領域に被写体像を結像する結像手段（レンズ２１）と、前記結像手段による合焦位置を移動する合焦位置移動手段（モータ駆動部３４）と、前記ミラー２３の制御前後における前記可視光撮像素子及び前記非可視光撮像素子に対する前記結像手段による合焦位置を示す合焦位置情報を予め記憶した記憶手段（メモリ４８）と、を更に有し、前記制御手段（ＣＰＵ４０）は、前記ミラーを制御した後に、前記入射光が入射される撮像素子に対応する前記合焦位置情報に基づいて前記結像手段の合焦位置を調整するように前記合焦位置移動手段を制御する。

また、本実施の形態では、前記可視光撮像素子２５の光軸方向に対する位置又は前記非可視光撮像素子２４の光軸方向に対する位置を移動する撮像素子位置移動手段（モータ駆動部）と、前記ミラー２３の制御前後における前記可視光撮像素子及び前記非可視光撮像素子の合焦位置を示す合焦位置情報を予め記憶した記憶手段（メモリ４８）と、を更に有し、前記制御手段（ＣＰＵ４０）は、前記ミラーを制御した後に、前記入射光が入射される撮像素子に対応する前記合焦位置情報に基づいて該撮像素子の位置を調整するように前記撮像素子位置移動手段を制御する。

また、本実施の形態では、前記発光手段（赤外光ＬＥＤ３９）は、前記制御手段（ＣＰＵ４０）の制御により発光量を変えることが可能であり、前記制御手段は、前記発光手段の発光量が所定の量以上であり、かつ前記被写体の明るさが前記所定の明るさ未満の場合には、前記非可視光撮像素子２４に対し、他の場合に比較してより多くの画素を使用して前記被写体を示す画像の１ドットを形成する画像信号を出力させるように前記非可視光撮像素子を制御する。

また、本実施の形態では、請求項５の発明は、前記非可視光撮像素子２４は、前記可視光撮像素子に比較して画素感度が高い。

また、本実施の形態では、前記制御手段（ＣＰＵ４０）は、前記非可視光撮像素子２４の撮像領域を二等分した２つの領域毎に輝度の積算を求め、更にその２つの積算の比である第１の比を求め、前記可視光撮像素子２５の撮像領域を二等分した２つの領域毎に輝度の積算を求め、更にその２つの積算の比である第２の比を求め、前記第１の比と前記第２の比とが等しくなるように前記ミラー２３を制御する。

また、本実施の形態では、当該撮影装置の温度を検知する温度検知手段（温度センサ５７）と、前記第１の比と前記第２の比とが等しくなるように前記ミラーが制御されたときのミラーの位置を所定の温度毎に記憶している記憶手段（メモリ４８）を更に有し、前記制御手段（ＣＰＵ４０）は、前記温度検知手段により検知された温度に対応するミラー２３の位置を前記記憶手段より取得して適用することにより、前記ミラーを制御する。

また、本実施の形態では、撮影装置（デジタルカメラ１０Ａ、１０Ｂ）と制御装置（情報処理装置９２）とを有する撮影システムであって、前記撮影装置は、被写体の明るさを検出する検出手段（可視光撮像素子２５、ＣＰＵ４０）と、可視光画像を撮像する可視光撮像素子２５と、非可視光画像を撮像する非可視光撮像素子２４と、前記被写体を示す入射光の入射先を前記可視光撮像素子及び前記非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替えるミラー２３と、を有し、前記制御装置は、前記被写体に向けて非可視光を照射する発光手段（発光部９６）と、前記検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は前記入射先を前記可視光撮像素子の撮像領域に切り替えるように前記撮影装置に前記ミラーを制御させ、当該被写体の明るさが前記所定の明るさ未満である場合には前記入射光を前記非可視光撮像素子の撮像領域に切り替えるように前記撮影装置に前記ミラーを制御させると共に非可視光を照射するように前記発光手段を制御する制御手段（システム制御部８０）と、を有する。

本実施の形態に係るデジタルカメラの電気系の要部構成を示す図である。 非可視光撮像素子、可視光撮像素子、ミラー、レンズの位置関係及びミラーの動作を示す図である。 明るさによりミラーを切り替える処理を示すフローチャートである。 レンズを移動する様子を示す図である。 レンズを移動する処理を示すフローチャートである。 非可視光撮像素子が上下に駆動する様子を示す図である。 本実施の形態に係る非可視光撮像素子駆動部を設けたデジタルカメラの電気系の要部構成を示す図である。 非可視光撮像素子を移動する処理を示すフローチャートである。 赤外光ＬＥＤの発光量を変えて画像を出力する処理を示すフローチャートである。 非可視光撮像素子の画素の大きさと可視光撮像素子の画素の大きさを示す図である。 本実施の形態に係るネットワークインタフェースを設けたデジタルカメラの電気系の要部構成を示す図である。 撮影システムを示す図である。 撮像素子を２つの領域に分割し、その領域毎の輝度の積算データを用いてミラーを制御する様子を示す図である。 撮像素子の領域を示す図である。 光軸のずれを補正する処理を示すフローチャートである。 本実施の形態に係る温度センサを設けたデジタルカメラの電気系の要部構成を示す図である。 非可視光撮像素子と可視光撮像素子とを平行に配置した場合のミラー、レンズの位置関係及びミラーの動作を示す図である。

符号の説明

１０、１０Ａ、１０Ｂ デジタルカメラ
２１ レンズ
２２ 光学ユニット
２３ ミラー
２４ 非可視光撮像素子
２５ 可視光撮像素子
３４ モータ駆動部
３９ 赤外光ＬＥＤ
６０ ネットワークインタフェース
８０ システム制御部
９６ 発光部
Ｃ 回転軸

Claims (8)

1. 被写体の明るさを検出する検出手段と、
   前記被写体に向けて非可視光を照射する発光手段と、
   可視光画像を撮像し、該可視光画像を示す画像信号を出力する可視光撮像素子と、
   非可視光画像を撮像し、該非可視光画像を示す画像信号を出力する非可視光撮像素子と、
   前記被写体を示す入射光の入射先を前記可視光撮像素子及び前記非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替えるミラーと、
   前記検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は前記入射先を前記可視光撮像素子の撮像領域に切り替えるように前記ミラーを制御し、当該被写体の明るさが前記所定の明るさ未満である場合には前記入射光を前記非可視光撮像素子の撮像領域に切り替えるように前記ミラーを制御すると共に非可視光を照射するように前記発光手段を制御する制御手段と、
   を有する撮影装置。
2. 前記可視光撮像素子及び非可視光撮像素子の撮像領域に被写体像を結像する結像手段と、
   前記結像手段による合焦位置を移動する合焦位置移動手段と、
   前記ミラーの制御前後における前記可視光撮像素子及び前記非可視光撮像素子に対する前記結像手段による合焦位置を示す合焦位置情報を予め記憶した記憶手段と、
   を更に有し、
   前記制御手段は、前記ミラーを制御した後に、前記入射光が入射される撮像素子に対応する前記合焦位置情報に基づいて前記結像手段の合焦位置を調整するように前記合焦位置移動手段を制御する請求項１に記載の撮影装置。
3. 前記可視光撮像素子の光軸方向に対する位置又は前記非可視光撮像素子の光軸方向に対する位置を移動する撮像素子位置移動手段と、
   前記ミラーの制御前後における前記可視光撮像素子及び前記非可視光撮像素子の合焦位置を示す合焦位置情報を予め記憶した記憶手段と、
   を更に有し、
   前記制御手段は、前記ミラーを制御した後に、前記入射光が入射される撮像素子に対応する前記合焦位置情報に基づいて該撮像素子の位置を調整するように前記撮像素子位置移動手段を制御する請求項１に記載の撮影装置。
4. 前記発光手段は、前記制御手段の制御により発光量を変えることが可能であり、
   前記制御手段は、前記発光手段の発光量が所定の量以上であり、かつ前記被写体の明るさが前記所定の明るさ未満の場合には、前記非可視光撮像素子に対し、他の場合に比較してより多くの画素を使用して前記被写体を示す画像の１ドットを形成する画像信号を出力させるように前記非可視光撮像素子を制御する請求項１に記載の撮影装置。
5. 前記非可視光撮像素子は、前記可視光撮像素子に比較して画素感度が高い請求項１から請求項４のいずれか１項に記載の撮影装置。
6. 前記制御手段は、前記非可視光撮像素子の撮像領域を二等分した２つの領域毎に輝度の積算を求め、更にその２つの積算の比である第１の比を求め、前記可視光撮像素子の撮像領域を二等分した２つの領域毎に輝度の積算を求め、更にその２つの積算の比である第２の比を求め、前記第１の比と前記第２の比とが等しくなるように前記ミラーを制御する請求項１から請求項５のいずれか１項に記載の撮影装置。
7. 当該撮影装置の温度を検知する温度検知手段と、
   前記第１の比と前記第２の比とが等しくなるように前記ミラーが制御されたときのミラーの位置を所定の温度毎に記憶している記憶手段を更に有し、
   前記制御手段は、前記温度検知手段により検知された温度に対応するミラーの位置を前記記憶手段より取得して適用することにより、前記ミラーを制御する請求項６に記載の撮影装置。
8. 撮影装置と制御装置とを有する撮影システムであって、
   前記撮影装置は、
   被写体の明るさを検出する検出手段と、
   可視光画像を撮像する可視光撮像素子と、
   非可視光画像を撮像する非可視光撮像素子と、
   前記被写体を示す入射光の入射先を前記可視光撮像素子及び前記非可視光撮像素子のいずれか一方の撮像領域に機械的に切り替えるミラーと、
   を有し、
   前記制御装置は、
   前記被写体に向けて非可視光を照射する発光手段と、
   前記検出手段によって検出された被写体の明るさが所定の明るさ以上である場合は前記入射先を前記可視光撮像素子の撮像領域に切り替えるように前記撮影装置に前記ミラーを制御させ、当該被写体の明るさが前記所定の明るさ未満である場合には前記入射光を前記非可視光撮像素子の撮像領域に切り替えるように前記撮影装置に前記ミラーを制御させると共に非可視光を照射するように前記発光手段を制御する制御手段と、
   を有する撮影システム。

Images