JP2017156464A

JP2017156464A - 撮像装置

Info

Publication number: JP2017156464A
Application number: JP2016038126A
Authority: JP
Inventors: 智博原田; Tomohiro Harada
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-02-29
Filing date: 2016-02-29
Publication date: 2017-09-07

Abstract

【課題】１つの光学系に対して可視光センサと赤外光センサとを設ける場合においても適切なフォーカス動作が可能な撮像装置を提供すること。【解決手段】レンズにより結像された光を電気信号に変換する第一の撮像素子と、レンズにより結像された光のうち第一の撮像素子が変換する光とは異なる波長成分を含む光を電気信号に変換する第二の撮像素子と、第一の撮像素子及び第二の撮像素子に対するレンズのフォーカスを制御するための第一のフォーカス制御手段と、レンズの光軸方向へ少なくとも第二の撮像素子を駆動してフォーカスを制御する第二のフォーカス制御手段と、を備えることを特徴とする。【選択図】図１

Description

本発明は、撮像装置に関し、特に可視光と赤外光を用いて撮像する撮像装置に関するものである。

従来、可視光での撮像と赤外光での撮像を行うために、１つの光学系に対して可視光を受光する可視光センサと、赤外光を受光する赤外光センサとを設ける撮像装置が知られている。このようさ撮像装置において、可視光と赤外光では含まれる光の波長が異なるためにフォーカス位置が異なるという問題がある。そのため、フォーカス操作を行っても一方どちらかのセンサに対してはピントがずれてしまう問題があった。

この問題に対して、特許文献１には赤外センサへ入射される赤外光の光学系にピント補正用のレンズを備えることで、可視画像だけでなく、赤外画像もピント合焦させる方法が開示されている。

特開２００４−３５４７１４号公報

しかしながら、上述の特許文献に開示された従来技術では、赤外センサのピント補正に専用のレンズ光学系を設けることになり、その構造は大きくなってしまう。

そこで、本発明の目的は、１つの光学系に対して可視光センサと赤外光センサとを設ける場合においても適切なフォーカス動作が可能な撮像装置を提供することである。

上記目的を達成するために、本発明は、複数の波長成分を含む光を集光可能なレンズ部を有する撮像装置であって、前記レンズにより結像された光を電気信号に変換する第一の撮像素子と、前記レンズにより結像された光のうち前記第一の撮像素子が変換する光とは異なる波長成分を含む光を電気信号に変換する第二の撮像素子と、前記第一の撮像素子及び前記第二の撮像素子に対する前記レンズのフォーカスを制御するための第一のフォーカス制御手段と、前記レンズの光軸方向へ少なくとも前記第二の撮像素子を駆動してフォーカスを制御する第二のフォーカス制御手段と、を備えることを特徴とすることを特徴とする。

本発明によれば、１つの光学系に対して可視光センサと赤外光センサとを設ける場合においても適切なフォーカス動作が可能な撮像装置を提供することが可能となる。

本発明の第１の実施例を説明するための図である。第１の実施例の要部（映像処理、切り出し処理）を説明するための図である。第１の実施例の要部（可視、赤外センサ、切り出し処理）を説明するための図である。第１の実施例の要部（可視、赤外センサ、切り出し処理）を説明するためのフローチャートである。本発明の第２の実施例を説明するための図である。第２の実施例の要部（可視、赤外センサ、切り出し処理）を説明するためのフローチャートである。ネットワークに通信に関する説明図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。以下の実施形態のおいて示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施例１）
以下、図１を参照して、本発明の第１の実施例における撮像装置の内部構成に関して詳細に説明する。本実施例の撮像装置は、１つの光学系と２つの撮像素子で構成され、２つの撮像素子に対して適切にフォーカス制御を行うことが可能である。

１０１はズームレンズ群であり、複数の光学素子によって構成される。ズームレンズ群１０１の焦点距離はズーム制御回路１０２により制御される。ズームレンズ群１０１に含まれる光学素子は、ズーム制御回路１０２の出力に基づいて不図示のズームレンズモータ及びラック等によって光軸に対して前後に動き、焦点距離を可変する。

１０３はフォーカスレンズ群であり、複数の光学素子によって構成される。フォーカスレンズ群１０３の位置はフォーカス制御回路１０４により制御される。フォーカスレンズ群１０３に含まれる光学素子は、フォーカス制御回路１０４の出力に基づいて不図示のフォーカスレンズモータ及びラック等によって光軸に対して前後に動き、ピント位置を至近から無限までのピント変更動作を行う。

１０５は絞りであり、被写体からの光線に対して開閉動作することで絞り値の変更を行う。絞り１０５の開閉動作は絞り制御回路１０６により制御される。絞り１０５は絞り制御回路１０６の出力に基づいて不図示の絞りモータ等によって開閉動作する。なお、絞り１０５は閉じ切ることによって、被写体からの光線をさえぎるメカシャッターとして用いることも可能である。ここで、ズームレンズ群１０１、フォーカスレンズ群１０３、絞り１０５を含む光学系は可視光や赤外光等の複数の波長成分を含む光を集光可能であり、本実施例においてはレンズ部に相当する。また、絞り１０５は各撮像素子へ結像する光を減光するための減光部に相当する。なお、減光部として絞り機構に加えて、レンズ部を透過する光を減光するためのＮＤフィルタや偏光フィルタ等の光学フィルタを別途備えてもよい。

１０７は波長分離プリズムであり、被写体光を波長毎に分離する。より詳細には、ズームレンズ群１０１、フォーカスレンズ群１０３、絞り１０５を通過した被写体光からに含まれる波長４００ｎｍ〜７００ｎｍ程度の可視光成分と波長７００ｎｍ〜程度の赤外光成分を分離する。本実施例の波長分離プリズム１０７は、被写体からの光に含まれる可視光成分の光は、波長分離プリズム１０７を透過直進する。本実施例においてこの通過した光成分を主光学系とする。一方、被写体からの光に含まれる赤外光成分の光は、波長分離プリズム１０７内のミラー面で反射する。本実施例においてこの反射した光成分を副光学系とする。本実施例において、波長分離プリズム１０７は、レンズ部を通過した被写体光を、可視光とそれ以外の波長の光に分離する光分離手段に相当する。

１０８は可視光撮像素子であり、可視光領域の光に対して感度をもつ撮像素子（例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等）である。波長分離プリズム１０７を透過直進した主光学系の光は、可視光撮像素子１０８へと結像される。そして、被写体からの光の可視光成分を受光した可視光撮像素子１０８によって、結像された被写体像を電気的な撮像信号（電気信号）に変換する。変換された撮像信号は、可視光増幅器１０９にて所定の信号レベルに増幅される。可視光増幅器１０９はアナログーデジタル変換器を含み、可視光撮像素子１０８から出力される撮像信号をデジタル信号に変換する。なお、可視光撮像素子１０８、可視光増幅器１０９等の駆動は、不図示のタイミングジェネレータからの信号によって駆動される。可視光増幅器１０９からの出力信号もタイミングジェネレータからの同期信号に基づいてタイミング同期され、最終的に可視光信号として出力される。

１１０は赤外光撮像素子であり、赤外光領域の光に対して感度をもつ撮像素子（例えば、ヒ化ガリウム（ＧａＡｓ）素子等）である。波長分離プリズム１０７で反射された副光学系の光は、赤外光撮像素子１１０へと結像される。そして、被写体からの光の赤外光成分を受光した赤外光撮像素子１１０によって、結像された被写体像を電気的な撮像信号に変換する。変換された撮像信号は、赤外光増幅器１１１にて所定の信号レベルに増幅される。赤外光増幅器１１１はアナログーデジタル変換器を含み、赤外光撮像素子１１０から出力される撮像信号をデジタル信号に変換する。なお、赤外光撮像素子１１０、赤外光増幅器１１１等の駆動は、不図示のタイミングジェネレータからの信号によって駆動される。赤外光増幅器１１１からの出力信号もタイミングジェネレータからの同期信号に基づいてタイミング同期され、最終的に赤外光信号として出力される。

１１２はセンサ制御回路であり、不図示のセンサ駆動モータを用いて赤外光撮像素子１１０を光軸方向に対して前後に駆動する。より詳細には、赤外光撮像素子１１０を保持する保持枠に連結された副光学系の光軸と平行な方向にガイド軸を備え、このガイド軸に沿って前後に駆動する。これによって、フォーカスレンズ群１０３にてピント調整しきれなかったピント量に対して、撮像素子を光軸方向に駆動することで更なるピント調整／補正を可能にしている。

１１３は映像処理回路であり、各種映像処理を行う。具体的には、可視光信号、赤外光信号それぞれに対して現像処理、カラーバランス処理、ガンマ処理、ノイズ低減処理といった各種処理を行い、映像信号へと変換する。さらに、ピント調整や露出調整のための評価値算出や、可視光信号、赤外光信号の合成処理といった処理も行う。

１１４はネットワーク処理回路であり、映像処理回路１１３からの出力される映像信号を通信プロトコルに準拠して変換した上で、ネットワーク上へと配信する。またカメラ装置を制御する為の制御信号を通信プロトコルに準拠して送受信を行う。より詳細には、Ｈ．２６４やＨ．２６５等の圧縮符号化処理や所定の文字や映像を映像信号中に重畳するＯＳＤ処理を行う。

１１５はＣＰＵであり、撮像装置の各構成要素を統括的に制御及び各種パラメータ等の設定を行う。具体的には、映像処理回路１１３、ネットワーク処理回路１１４の制御を行う。合わせて、ズーム制御回路１０２、フォーカス制御回路１０４、絞り制御回路１０６、センサ制御回路１１２の制御も行う。また、不図示のデータを電気的に消去可能なメモリ等であるデータ記憶部メモリを含み、これに記憶されたプロ不ラムによりＣＰＵ１１５は実行される。なお、データ記憶部メモリは、ＣＰＵ１１５が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。

１１６は上記１０１〜１１５により構成された撮像装置である。なお、本実施例における撮像装置１１６は、ネットワーク経由で外部装置と通信する撮像装置の一例であり、例えば動画像を撮像する監視カメラである。より詳細には、監視に用いられるネットワークカメラであるものとする。

１１７はネットワーク上のローカルエリアネットワーク（ＬＡＮ）である。撮像装置１１６とはＬＡＮケーブル等によって接続され、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足するルータ、スイッチ、ケーブル等から構成される。このＬＡＮ上には複数の撮像装置や、後述するクライアント装置が接続される。なお、ＬＡＮ１１７は、本実施例においては、撮像装置１１６と外部のクライアント装置との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。

例えば、ＬＡＮ１１７は、インターネットや有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、無線ＬＡＮ（ＷｉｒｅｌｅｓｓＬＡＮ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等により構成されていても良い。また、ネットワーク上にクラウドを介する構成としてもより。なお、本実施例における撮像装置１１６は、例えば、ＰｏＥ（ＰｏｗｅｒＯｖｅｒＥｔｈｅｒｎｅｔ（登録商標））に対応していても良く、ＬＡＮケーブルを介して電力を供給されても良い。

１１８はクライアント装置であり、ＬＡＮ１１７を介してネットワーク経由で撮像装置１１６と相互に通信可能な状態に接続されている。クライアント装置１１８は不図示の制御ツールを用いて、撮像装置１１６からの映像を受信、表示、録画し、撮像装置１１６をコントロールするための制御情報（各種コマンド等）を送受信することで各種制御を行う。

また、撮像装置１１６のネットワーク処理回路１１４は通信部を備え、後述するクライアント装置１１８からの映像に対する各種設定の指示や、被写体像に対する露出制御の指示や、符号化に関する指示等の設定コマンドを含む制御コマンドを受信する。映像に対する設定コマンドはＣＰＵ１１５によって解析される。また同時にデータ記憶部メモリに画像設定情報が記憶され、起動時にメモリに記憶されている画像設定情報に従ってＣＰＵ１１５から各構成要素に対して設定が行われる。さらに、ネットワーク処理回路１１４に含まれる通信部は、クライアント装置１１８からのコマンドに対するレスポンスの送信も行う。このレスポンスをクライアント装置１１８で受信することによって、クライアント装置１１８は撮像装置１１６の情報を取得することが可能となる。

次に、映像処理装置１１３での可視光画像、赤外光画像それぞれに対するフォーカス処理の詳細に関して図２を用いて説明する。

可視光撮像素子１０８からの可視光信号は可視光現像処理部２０１にて現像処理が行われ、可視光信号から可視光画像を生成する。

可視光評価値演算部２０２では可視光画像のコントラスト成分等より評価値を算出する。可視光画像のコントラスト情報より画像のピントが合焦しているかどうかを判断する。より詳細には、フォーカスレンズ群１０３を前後に駆動しながら連続して可視光画像を取得し各画像に対するコントラスト情報を取得する。そして、コントラストから算出した評価値が変化し、評価値がピークとなるように駆動することで、可視光画像はピント合焦した画像となる。なお、本実施例ではコントラスト情報に基づいて評価値を算出したが、位相差情報に基づいて評価値を算出するようにしてもよい。また、評価値としてフォーカスに用いる評価値以外にも、露出を決定するための評価値、ホワイトバランスを決定するための評価値、被写体や撮像装置自身の動き量を決定するための評価値等を算出するようにしてもよい。また、評価値の算出は中央部のみではなく、画面内の複数の領域で算出するようにしてもよいし、ユーザ等によって、指定した領域内で算出してもよい。

赤外光撮像素子１１０からの赤外光信号は赤外光現像処理部２０３にて現像処理が行われ、赤外光信号からの赤外光画像を生成する。

赤外光評価値演算部２０４では赤外光画像のコントラスト成分より評価値を算出する。赤外光画像のコントラスト情報より画像のピントが合焦しているかどうかを判断する。ここで赤外光撮像素子１１０をセンサ制御回路１１２の制御に基づいて光軸に対して前後に駆動することで、コントラストによる評価値が変化し、評価値がピークになるように駆動することで、赤外光画像はピント合焦した画像となる。なお、赤外光撮像素子１１０の駆動量はズームレンズ群１０１、フォーカスレンズ群１０３、絞り１０５の位置によって可変することが好ましい。また、可視光画像と赤外光画像とでは被写体の部分ごとの反射量がことなるために、異なる像が映ることとなる。そのため、コントラスト成分より評価値を算出する場合は、画像内の異なる領域でコントラスト成分より評価値を算出することが好ましい。なお、可視光画像と赤外光画像とで評価値を算出する領域が所定範囲を超えるような場合や、評価値を算出する対象（被写体）が異なる場合等はどちらかの領域に限定する動作としてもよい。

画像切り出し部２０５では、赤外光画像の所定領域の切り出し処理を行う。詳細は図３を用いて後述するが、赤外光撮像素子１１０には赤外光評価値演算部２０４での評価値、及びセンサ制御回路１１２での赤外光撮像素子１１０の前後への駆動によりフォーカス調整がされる。しかし、一方で赤外光撮像素子１１０を前後へ駆動することズームレンズ群１０１によって設定される焦点距離が変化することとなる。そして、その変化によって赤外光撮像素子１１０による撮像可能範囲が異なってしまう。このため、画像切り出し部２０５にて可視光画像と同一画像サイズになるように切り出し処理を行う。

画像合成部２０６では、可視光画像、及び赤外光画像の合成処理を行う。被写体や光源によって、各撮像素子に入射される被写体像は、可視光成分に含まれる部分と赤外光成分に含まれる部分とで異なる。そのため。そこで画像合成部２０６にて、可視光画像、赤外画像のそれぞれ見えている範囲を合成することで、可視、赤外両方の帯域で撮像された合成画像を生成することが可能となる。合成の際には各画像から取得した評価値に基づいて、コントラストの高い領域を主に合成することを行う。

出力画像生成部２０７では、可視光画像、赤外光画像それぞれの画像（並列画像）、及び合成画像が入力される。ユーザによる選択や、被写体認識によって並列画像、合成画像のどちらを映像として用いるかを判定し、出力する。

なお、本実施例では画像切り出し部２０６は、画像合成部２０６の前に位置するようにしたが、画像の切り出しは画像合成部２０６にて画像合成を行った後でもよい。

次に、可視光画像、赤外光画像それぞれに対するフォーカス制御、及び画像の切り出し制御に関して図３、及び図４を用いて詳細に説明する。なお、図４のフローチャートの処理はＣＰＵ１１５が実行する。

まず、ＣＰＵ１１５はステップＳ４０１にて、処理を開始する。そして、ステップＳ４０２に処理を進める。

ステップＳ４０２において、ＣＰＵ１１５は、可視光撮像素子１０８、赤外光撮像素子１１０のそれぞれから信号を取得し映像処理回路１１３に取り込むように制御を行う。そして、ステップＳ４０３に処理を進める。

ステップＳ４０３において、ＣＰＵ１１５は、可視光現像処理部２０１より可視光評価値演算部２０２に可視光画像を入力し、可視光画像のコントラスト成分等の評価値を算出するように制御を行う。そして、ステップＳ４０４に処理を進める。

ステップＳ４０４において、ＣＰＵ１１５は、フォーカス制御回路１０４に対して、所定の速度で一定方向に連続して駆動するように制御し、フォーカスレンズ群１０３を光軸方向に駆動する。そして、ステップＳ４０５に処理を進める。

ステップＳ４０５において、ＣＰＵ１１５は、ステップＳ４０３で算出した評価値とそれ以前に算出した評価値との比較を行い、合焦するフォーカスレンズ群１０３の位置を決定する。より詳細には、フォーカスレンズ群１０３を連続的に駆動させながら、ステップＳ４０３乃至ステップＳ４０５までの処理を所定の回数繰り返す。そして、繰り返し取得する評価値の比較を行う。繰り返し当初に評価値が下降する場合は、フォーカスレンズ群１０３を駆動する方向を反転させて、評価値が上昇する方向にフォーカスレンズ群１０３を駆動させる。そして、評価値が上昇した後に下降するまで、処理を繰り返し、評価値がピークとなった状態を合焦した状態と見なし、そのフォーカスレンズ群１０３の位置を決定する。そして、ピークとなった状態、つまり合焦した可視光画像３０１が取得する。ＣＰＵ１１５は、決定した位置でフォーカスレンズ群１０３を停止し、その位置をパラメータとしてメモリに記憶する。そして、位置が決定された場合、ステップＳ４０６に処理を進める。なお、低照度や被写体のコントラストが低い等が理由で評価値のピークを検出できない場合には、至近位置等の決められた位置にフォーカスレンズ群１０３を駆動し次ステップに進めるようにしてもよい。

ステップＳ４０６において、ＣＰＵ１１５は、赤外光現像処理部２０３より赤外光評価値演算部２０４に赤外光画像を入力し、赤外光画像のコントラスト成分等の評価値を算出するように制御を行う。そして、ステップＳ４０７に処理を進める。なお、ステップＳ４０６に処理を進めた直後に撮像された赤外光画像は図３に示した赤外光画像３０２のようにボケた画像が撮像される。これは、可視光と赤外光では波長が大きく異なるために、レンズにおける収差の度合いが異なるためである。

ステップＳ４０７において、ＣＰＵ１１５は、センサ制御回路１１２に対して、所定の速度で一定方向に連続して駆動するように制御し、赤外光撮像素子１１０を副光学系の光軸と平行な方向に駆動する。そして、ステップＳ４０８に処理を進める。

ステップＳ４０８において、ＣＰＵ１１５は、ステップＳ４０６で算出した評価値とそれ以前に算出した評価値との比較を行い、合焦する赤外光撮像素子１１０の位置を決定する。より詳細には、赤外光撮像素子１１０を連続的に駆動させながら、ステップＳ４０６乃至ステップＳ４０８までの処理を所定の回数繰り返す。そして、繰り返し取得する評価値の比較を行う。繰り返し当初に評価値が下降する場合は、赤外光撮像素子１１０を駆動する方向を反転させて、評価値が上昇する方向に赤外光撮像素子１１０を駆動させる。そして、評価値が上昇した後に下降するまで、処理を繰り返し、評価値がピークとなった状態を合焦した状態とみなし、その赤外光撮像素子１１０の位置を決定する。ＣＰＵ１１５は、決定した位置で赤外光撮像素子１１０を停止し、その位置をパラメータとしてメモリに記憶する。そして、位置が決定された場合、ステップＳ４０９に処理を進める。なお、本ステップにておいて、最終的に赤外光撮像素子１１０が停止した際には、図３に示した赤外光画像３０３のようにピントの合った画像が撮像される。これは、可視光と赤外光では波長が大きく異なることに起因する収差の度合いを赤外光撮像素子１１０を移動することで吸収したことを示している。

なお、低照度や被写体のコントラストが低い等が理由で評価値のピークを検出できない場合には、至近位置や可視光撮像素子１１０の共役位置等の決められた位置に赤外光撮像素子１１０を駆動し次ステップに進めるようにしてもよい。なお、ステップＳ４０８では、コントラスト等から求めた評価値がピークとなる位置を探索する動作を示したが、これ限られるものではない。例えばズームレンズ群１０１、フォーカスレンズ群１０３、絞り１０５等の位置や条件から赤外光撮像素子１１０の位置を自動的に算出するようにしてもよい。また、算出しないまでも、駆動範囲や駆動方向を各条件に応じて限定して、ピーク位置を探索する速度を可変するようにしてもよい。

また、ステップＳ４０５及びステップＳ４０８でピーク位置を決定した後に、各構成要素の駆動を停止するようにしたが、これに限られるものではない。ウォブリング等を繰り返して、常に評価値を算出してもよいし、輝度値の変化等の所定の条件で再度評価値の算出を開始してもよい。

ステップＳ４０９において、ＣＰＵ１１５は、赤外光画像３０３を画像切り出し部２０５に入力し、所定の範囲で画像の切り出しを行う。より詳細には、赤外光撮像素子１１０を光軸方向に移動したことに起因して、撮像範囲が異なってしまう分を画像切り出しを行うことで、吸収する。切り出し範囲は図３における赤外光画像３０３内の破線で示した範囲であり、切り出した後の赤外光画像３０４は赤外光画像３０２の範囲と略一致する。切り出した後の赤外光画像３０４は切り出し量に対応して拡大処理を実行する。そして、ステップＳ４１０に処理を進める。

ステップＳ４１０において、ＣＰＵ１１５は、可視光画像３０１と赤外光画像３０４を画像合成部２０６にて合成するように制御する。合成の際には、赤外光画像３０４の輝度成分を抽出し、可視光画像の色成分と組み合わせるように合成を行う。また、エリアごとに合成比率を変える等の処理を行うことで、可視光と赤外光の両方の情報を画像情報として残すことが可能となる。なお、合成の際には、可視光評価値算出部２０２及び赤外光評価値算出部２０４で算出した評価値を用いて合成することが好ましい。

上記処理を行うことで、１つの光学系と２つの撮像素子（可視、赤外）から構成される撮像装置で、可視画像、赤外画像共にピント合焦し、且つ撮像範囲も一致した画像出力が可能となる。

なお、画像切り出し処理の方法を赤外光撮像素子１１０の駆動量により設定したが、ズーム駆動、絞り駆動、ＡＥ制御の量によって駆動量を変更しても構わない。

なお、本実施例において、赤外光撮像素子１１０を駆動する動作を示したが、可視光撮像素子１０８を駆動してもよいし、両撮像素子を駆動するようにしてもよい。また、図４のステップＳ４０９において、切り出し処理を行う画像を可視光画像３０１としてもよい。

（実施例２）
以下、図５を参照して、本発明の第２の実施例における撮像装置の内部構成に関して詳細に説明する。本実施例の撮像装置の一部は実施例１における撮像装置と共通であるため、その説明は省略する。本実施例の撮像装置は１つの光学系と２つの撮像素子に加え照明装置から構成され、２つの撮像素子に対して適切にフォーカス制御を行うことが可能である。

５０１は照明であり、可視光または赤外光の領域まで分光分布を持つ照明で構成される。例えば昼間の状況では可視光領域の成分を多く含む照明を点灯し、夜間の状況では赤外光領域の成分を多く含む照明を点灯する。５０２は照明制御装置であり、照明のＯＮ／ＯＦＦ制御、明るさ（照射強度）の制御、照明の照射範囲の制御、分光分布（波長特性）の制御等を行う。ここで、照明制御装置５０２は明るさの制御として、照明５０１に供給する電力によって制御してもよいし、複数の発光部を備える場合に点灯する発光部の数を変化することによって、明るさを制御してもよい。また、照明制御装置５０２は照明の照射範囲の制御として、配光特性の異なる複数の発光部を備えるようにし、ズームレンズ群１０１による焦点距離等に応じてどの発光部を点灯するかを切換えるように制御する。さらに、照明制御装置５０２は分光分布の制御として、分光特性の異なる複数の発光部を備えるようにし、被写体の輝度値や距離に応じてどの発光部を点灯するかを切換えるように制御する。一例として、被写体が暗い環境に位置している場合に、赤外光を含む照明を照射するように制御する。このように暗い環境において赤外光を用いることによって、被写体を適切に撮像することが可能となる。

次に、本実施例に係る照明５０１が点灯している際の可視光画像、赤外光画像それぞれに対するフォーカス制御、及び切り出し制御に関して図６を用いて詳細に説明する。なお、図６のフローチャートの処理はＣＰＵ１１５が実行する。

可視光素子に対するフォーカスレンズ駆動に関する処理であるステップＳ６０１乃至ステップＳ６０５の処理は、図４におけるステップＳ４０１乃至ステップＳ４０５に対応し、同様の処理内容であるためここではその説明を省略する。

ステップＳ６０６において、ＣＰＵ１１５は、まず照明５０１の発光有無を検出する。発光していない場合は、図４に示したフローチャートと同様の処理（ステップＳ４０６）に処理を進める。一方で、発光している場合には、照明制御部５０２によって制御されている照明５０１の分光分布を取得する。そして、ＣＰＵ１１５は、取得した分光分布より赤外光撮像素子１１０におけるピントずれ量を算出する。そのピントずれ量を初期値として赤外光撮像素子１１０の駆動初期位置を設定する。ここで、赤外光撮像素子１１０の駆動初期位置は、分光分布によるピントずれ量との対応テーブルをメモリ等に記憶しておき、そのテーブルに基づいて設定する。そして、ステップＳ６０７に処理を進める。

この動作を行うことによって、赤外光撮像素子１１０を駆動する範囲を限定することができ、素早いフォーカス制御が可能となる。また、照明５０１の分光分布に加えて、駆動範囲や駆動方向をズームレンズ群１０１、フォーカスレンズ群１０３、絞り１０５等の位置や条件に応じて限定して、ピーク位置を探索する速度を向上するようにしてもよい。

その後の処理である、赤外光素子に対する駆動に関する処理であるステップＳ６０７乃至ステップＳ６０９の処理は、図４におけるステップＳ４０６乃至ステップＳ４０８に対応し、同様の処理内容であるためここではその説明を省略する。また、画像に関する処理であるステップＳ６１０乃至ステップＳ６１２は、図４におけるステップＳ４０９乃至ステップＳ４１１に対応し、同様の処理内容であるためここではその説明を省略する。

また、ステップＳ６１１において、画像合成部２０６にて可視光画像３０１と赤外光画像３０４を合成する際には、各種パラメータに加えて照明５０１が照射されている範囲及び照明５０１の分光分布を考慮して各画像の合成比率等を決定してもよい。より、具体的には、照射光に赤外光が多く含まれている場合に、照射光が多く当たっている被写体には赤外光画像３０４の比率を大きくすることが好ましい。

（ネットワーク通信に係る実施例）
本発明に係る撮像装置１１６は、クライアント装置１１８とネットワーク１１７経由で接続されている。クライアント装置１１８はネットワーク１１７経由で撮像装置１１６を制御するための制御コマンドをネットワーク１１７経由で送信可能である。撮像装置１１６は受信した制御コマンド及び制御コマンドに含まれるパラメータに基づいて自身の制御を行う。そして、撮像装置１１６は制御コマンドを受信した場合、受信したコマンドに対するレスポンスをクライアント装置１１８に送信する。撮像装置１１６からのレスポンスを受けたクライアント装置１１８は、レスポンスに含まれる情報を基に、クライアント装置１１８に設けられた表示部等に表示されたユーザーインターフェースの内容を更新する。

ここで、撮像装置１１６とクライアント装置１１８の制御コマンドに係る通信に関して図７を用いて説明する。クライアント装置１１８と撮像装置１１６はリクエストとレスポンスの組み合わせであるトランザクションを用いて通信を行う。

まず、クライアント装置１１８は、トランザクションＳ１０００において、撮像装置１１６が保持する情報を取得するための情報要求リクエストを送信する。情報要求リクエストには、例えば、撮像装置１１６が有する機能等を問い合わせる要求を含ませることができる。ここで、撮像装置１１６の機能には、画像を圧縮符号化するパラメータ、画像補正機能、パンチルト機構の有無等が含まれる。また、撮像装置１１６の機能には、照明のＯＮ／ＯＦＦの機能や画像を合成する機能に関する設定情報も含まれる。

そして、撮像装置１１６はこの情報要求リクエストに対する応答として、情報要求レスポンスを送信する。情報要求レスポンス内には、クライアント装置１１８から要求された撮像装置の機能に関する情報が含まれる。これらの情報を用いることによって、クライアント装置１１８は撮像装置１１６の機能を認識することが可能となる。

また、クライアント装置１１８は情報要求リクエストを用いて撮像装置１１６の状態も取得可能である。ここで、撮像装置１１６の状態には、現状の制御パラメータ、パンチルト機構の位置等が含まれる。また、撮像装置の状態として、現状の設定情報等が含まれる。これらの情報を用いることによって、クライアント装置１１８は撮像装置１１６の状態を認識することが可能となる。

また、クライアント装置は、トランザクションＳ１１００において、撮像装置に対して各種パラメータ等の設定を行うための設定リクエストを送信する。設定リクエストには、事前にトランザクションＳ１０００にて取得した撮像装置１１６の機能または状態を考慮して行われる。例えば、設定リクエストによって設定可能な一例として、画像を圧縮符号化するパラメータの設定、画像補正機能の設定、パンチルト機構の動作等がある。

そして、撮像装置１１６はこの設定リクエストに対する応答として設定レスポンスを送信する。設定レスポンス内には、クライアント装置１１８から設定された撮像装置の機能等に関して正常設定がなされたか否か等の情報が含まれる。これらの情報を用いることによって、クライアント装置１１８は撮像装置１１６の状態を認識することが可能となる。

また、撮像装置１１６は、クライアント装置１１８からの設定に基づいて、定期的または所定のイベントをトリガーとして、トランザクションＳ１２００において定期通知をクライアント装置に対して送信する。定期通知には情報要求レスポンスに含まれる内容として現在の設定情報等が含まれる。これらの情報を用いることによって、クライアント装置１１８は撮像装置１１６の状態を認識することが可能となる。具体的には、クライアント装置１１８において、現在の設定を知りたい場合に、撮像装置１１６に問い合わせることで知ることが可能となる。なお、階数に関する情報は撮像装置１１６が配信する画像データに関するメタデータ等に記載するようにしてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本実施例においては、撮像装置１１６がエレベータに設置された場合について記載したが、車両やロープウェイ等の移動体内を撮像する撮像装置であれば、本発明を適用することで同様の効果を得ることができる。

１０３フォーカスレンズ
１０４フォーカス制御回路
１０７波長分離プリズム
１０８可視光撮像素子
１１０赤外光撮像素子
１１２センサ制御回路
１１３映像処理回路

Claims

複数の波長成分を含む光を集光可能なレンズ部を有する撮像装置であって、
前記レンズにより結像された光を電気信号に変換する第一の撮像素子と、
前記レンズにより結像された光のうち前記第一の撮像素子が変換する光とは異なる波長成分を含む光を電気信号に変換する第二の撮像素子と、
前記第一の撮像素子及び前記第二の撮像素子に対する前記レンズのフォーカスを制御するための第一のフォーカス制御手段と、
前記レンズの光軸方向へ少なくとも前記第二の撮像素子を駆動してフォーカスを制御する第二のフォーカス制御手段と、
を備えることを特徴とする撮像装置。
前記レンズを通過した被写体光を、可視光とそれ以外の波長の光に分離する光分離手段を更に備えることを特徴とする請求項１に記載の撮像装置。
前記第一の撮像素子は前記光分離手段によって分離された前記可視光を電気信号に変換し、
前記第二の撮像素子は前記光分離手段によって分離された前記それ以外の波長の光を電気信号に変換することを特徴とする請求項２に記載の撮像装置。
前記第一の撮像素子に対するフォーカスは前記第一のフォーカス制御手段によって制御され、
前記第二の撮像素子に対するフォーカスは前記第一のフォーカス制御手段及び前記第二のフォーカス制御手段によって制御されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記第二の撮像素子は赤外光の波長成分を含む光を電気信号に変換することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記第一の撮像素子が変換した電気信号及び前記第二の撮像素子が変換した電気信号を処理して映像信号を生成するための映像処理手段を更に備え、
前記映像処理手段は映像信号の一部を切り出すための切り出し手段と、複数の映像信号を合成する合成手段とを含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記切り出し手段は前記第二のフォーカス制御手段による前記第二の撮像素子の駆動量に基づいて映像信号の切り出し量を変更することを特徴とする請求項６に記載の撮像装置。
前記レンズは焦点距離を変更するためのズーム手段及び前記第一の撮像素子及び第二の撮像素子へ結像する光を減光するための絞り手段を含み、
前記切り出し手段は前記レンズの焦点距離、絞り量、前記第二のフォーカス制御手段による前記第二の撮像素子の駆動量のうち少なくとも一つに基づいて映像信号の切り出し量を変更することを特徴とする請求項６に記載の撮像装置。
前記合成手段は前記映像処理手段が処理した前記第一の撮像素子が変換した電気信号より生成された第一の映像信号と、前記第二の撮像素子が変換した電気信号より生成された第二の映像信号とを合成することと特徴とする請求項６に記載の撮像装置。
照射光を照射するための照明手段をさらに備え、
前記第二のフォーカス制御手段は前記照明手段の照射強度または照射光の波長特性に基づいて、前記第二の撮像素子を駆動することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
ネットワーク経由で外部装置と通信する通信手段をさらに備え、
前記通信手段において前記外部装置より前記第一のフォーカス制御手段又は前記第二の制御手段を制御するための制御コマンドを受信することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
複数の波長成分を含む光を集光可能なレンズ部と、前記レンズ部により結像された光を電気信号に変換する第一の撮像素子と、
前記レンズにより結像された光のうち前記第一の撮像素子が変換する光とは異なる波長成分を含む光を電気信号に変換する第二の撮像素子と、を有する撮像装置の制御方法であって、
前記第一の撮像素子及び前記第二の撮像素子に対する前記レンズのフォーカスを制御するための第一のフォーカス制御ステップと、
前記レンズの光軸方向へ少なくとも前記第二の撮像素子を駆動してフォーカスを制御する第二のフォーカス制御ステップと、
を備えることを特徴とする撮像装置の制御方法。