JP2015149585A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】自己の撮像装置以外に、他の撮像装置が存在する場合でも好ましい映像を撮像することができる撮像装置を提供する。
【解決手段】自己の撮像装置１０１をマスタ、他の撮像装置１０１をスレーブとする。スレーブの撮像装置１０１がタイミング調整モードに設定されているとき、投光制御部７１は波長ＩＲ１〜ＩＲ３の赤外光を無投光とするよう赤外線投光器９を制御する。撮像部３は、マスタの撮像装置１０１が備える投光制御部７１によって制御される赤外線投光器９が波長ＩＲ１〜ＩＲ３の赤外光のうちの１つの赤外光を３つの分割期間における１つの分割期間内で投光し、残りの２つの分割期間を無投光とした状態で被写体を撮像する。スレーブの撮像装置１０１の投光制御部７１は、輝度レベル判定部７５が判定したＲ，Ｇ，Ｂの映像信号の輝度レベルに基づいて、赤外光を投光させるタイミングを調整する。
【選択図】図１

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方法が用いられている。この方法は、可視光を照射するライトを用いることができない場合に有効な撮像方法である。

しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像することが望まれる。

特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化して物体の識別性を向上させることが可能となる。

特開２０１１−５００４９号公報

特許文献１に記載されている撮像装置は、赤外線投光器によって３つの波長の赤外光を順次投光して被写体を撮像する。

監視システム（撮像システム）では複数の監視カメラを用いて、監視対象の被写体を撮像することがある。特許文献１に記載されている撮像装置を複数の監視カメラそれぞれに用いて、監視システムを構成することが考えられる。

複数の撮像装置が個々に赤外光を投光すると異なる波長の赤外光が混ざってしまい、好ましい色再現が可能なカラー映像を撮像することができない。

本発明は、赤外光を投光して被写体を撮像する自己の撮像装置以外に、赤外光を投光して被写体を撮像する他の撮像装置が存在する場合でも好ましい映像を撮像することができる撮像装置及び撮像装置の制御方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、撮像装置であり、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを、所定の期間を３分割した３つの分割期間で選択的に投光させるそれぞれの期間の長さと順番とを制御するよう、第１の赤外線投光器を制御する第１の投光制御部と、前記第１〜第３の赤外光が選択的に投光されている状態で被写体を撮像する撮像部と、前記撮像部によって撮像された撮像信号に基づいて赤色と緑色と青色それぞれの映像信号を生成する映像処理部と、前記映像処理部が生成した赤色と緑色と青色の映像信号の輝度レベルを判定する輝度レベル判定部とを備え、前記撮像装置が、前記第１の投光制御部が前記第１の赤外線投光器によって前記第１〜第３の赤外光を投光させるタイミングを調整するためのタイミング調整モードに設定されているとき、前記第１の投光制御部は、前記第１〜第３の赤外光を無投光とするよう前記第１の赤外線投光器を制御し、前記撮像部は、前記撮像装置以外の他の撮像装置が備える第２の投光制御部によって制御される第２の赤外線投光器が前記第１〜第３の赤外光のうちの１つの赤外光を前記３つの分割期間における１つの分割期間内で投光し、残りの２つの分割期間を無投光とした状態で被写体を撮像するか、前記第２の赤外線投光器が前記第１〜第３の赤外光を投光して、赤外線カットフィルタを介した状態で被写体を撮像し、前記第１の投光制御部は、前記輝度レベル判定部が判定した赤色と緑色と青色の映像信号の輝度レベルに基づいて、前記第１〜第３の赤外光を投光させるタイミングを調整することを特徴とする撮像装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、複数の撮像装置を備える撮像システムに用いる撮像装置の制御方法であり、前記複数の撮像装置を共通の基準クロックで動作させ、前記複数の撮像装置のうちの１つの撮像装置をマスタの撮像装置とし、前記マスタの撮像装置以外をスレーブの撮像装置とし、前記マスタの撮像装置が備える第１の投光制御部が第１の赤外線投光器を制御して、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とのうちの１つの赤外光を、所定の期間を３分割した３つの分割期間における１つの分割期間内で投光させ、残りの２つの分割期間を無投光とするか、前記第１〜第３の赤外光を前記３つの分割期間でそれぞれ投光させ、前記スレーブの撮像装置が備える第２の投光制御部が前記第１〜第３の赤外光を無投光とするよう第２の赤外線投光器を制御し、前記スレーブの撮像装置が備える撮像部が、前記１つの赤外光が投光されている状態か、前記第１〜第３の赤外光を、赤外線カットフィルタを介した状態で被写体を撮像し、前記スレーブの撮像装置が備える輝度レベル判定部が、前記撮像部によって撮像された撮像信号に基づいて生成された赤色と緑色と青色それぞれの映像信号の輝度レベルを判定し、前記第２の投光制御部が、前記輝度レベル判定部が判定した赤色と緑色と青色の映像信号の輝度レベルに基づいて、前記第２の赤外線投光器によって前記第１〜第３の赤外光を投光させるタイミングを調整することを特徴とする撮像装置の制御方法を提供する。

本発明の撮像装置及び撮像装置の制御方法によれば、赤外光を投光して被写体を撮像する自己の撮像装置以外に、赤外光を投光して被写体を撮像する他の撮像装置が存在する場合でも好ましい映像を撮像することができる。

第１実施形態の撮像装置の全体的な構成を示すブロック図である。 各実施形態の撮像装置に用いられるカラーフィルタにおけるフィルタエレメントの配列の一例を示す図である。 各実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。 所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。 図１中の前信号処理部５２の具体的な構成例を示すブロック図である。 各実施形態の撮像装置が通常モードで動作しているときの露光と映像信号のフレームとの関係を概略的に示す図である。 各実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。 各実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を概略的に示す図である。 各実施形態の撮像装置が第１中間モードで動作しているときの前信号処理を説明するための図である。 各実施形態の撮像装置が第１中間モードで動作しているときのデモザイク処理を説明するための図である。 各実施形態の撮像装置が第２中間モードで動作しているときの前信号処理を説明するための図である。 各実施形態の撮像装置が第２中間モードで動作しているときのデモザイク処理を説明するための図である。 各実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。 周囲画素の加算処理が施されたフレームを示す図である。 各実施形態の撮像装置が第１暗視モードで動作しているときの前信号処理を説明するための図である。 各実施形態の撮像装置が第１暗視モードで動作しているときのデモザイク処理を説明するための図である。 各実施形態の撮像装置が第２暗視モードで動作しているときの前信号処理を説明するための図である。 各実施形態の撮像装置が第２暗視モードで動作しているときのデモザイク処理を説明するための図である。 各実施形態の撮像装置におけるモード切換の例を説明するための図である。 各実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。 各実施形態の撮像装置の第１の変形例を示す部分ブロック図である。 各実施形態の撮像装置の第２の変形例を示す部分ブロック図である。 各実施形態の撮像装置の第３の変形例を示す部分ブロック図である。 各実施形態の撮像装置で実行される映像信号処理方法を示すフローチャートである。 図２４におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。 図２４におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。 図２４におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。 各実施形態の撮像装置内に記憶されている映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。 複数の撮像装置によって構成した撮像システムを示すブロック図である。 複数の撮像装置による赤外光の投光タイミングがわずかにずれている場合の問題点を説明するための図である。 複数の撮像装置による赤外光の投光タイミングが大きくずれている場合の問題点を説明するための図である。 第１実施形態の２台の撮像装置の一方をマスタ、他方をスレーブとした状態を示す概略的なブロック図である。 第１〜第３実施形態の撮像装置で用いる同期信号の例を説明するための図である。 第１〜第３実施形態の撮像装置がタイミング調整モードに設定されているときのマスタ及びスレーブの動作の第１の例を説明するための図である。 マスタ及びスレーブの動作の第１の例において、赤外光の投光タイミングのずれに対するＲ，Ｇ，Ｂの輝度レベルの変化の仕方を示す特性図である。 第１〜第３実施形態の撮像装置がタイミング調整モードに設定されているときのマスタ及びスレーブの動作の第２の例を説明するための図である。 マスタ及びスレーブの動作の第２の例において、赤外光の投光タイミングのずれに対するＲ，Ｇ，Ｂの輝度レベルの変化の仕方を示す特性図である。 第２実施形態の撮像装置の全体的な構成を示すブロック図である。 第２実施形態の２台の撮像装置の一方をマスタ、他方をスレーブとした状態を示す概略的なブロック図である。 第３実施形態の撮像装置の概略的な構成を示すブロック図である。 第４実施形態の撮像装置の全体的な構成を示すブロック図である。 第４実施形態の２台の撮像装置の一方をマスタ、他方をスレーブとした状態を示す概略的なブロック図である。 第４〜第６実施形態の撮像装置がタイミング調整モードに設定されているときのマスタ及びスレーブの動作を説明するための図である。 第４〜第６実施形態の撮像装置がタイミング調整モードに設定されているとき、赤外光の投光タイミングのずれに対するＲ，Ｇ，Ｂの輝度レベルの変化の仕方を示す特性図である。 第４〜第６実施形態の撮像装置がタイミング調整モード設定されているときに実行される赤外光の投光タイミングの調整方法を示すフローチャートである。 第５実施形態の撮像装置の概略的な構成を示すブロック図である。 第６実施形態の撮像装置の概略的な構成を示すブロック図である。

以下、各実施形態の撮像装置及び撮像装置の制御方法について、添付図面を参照して説明する。

＜第１実施形態の撮像装置の構成＞
まず、図１を用いて、第１実施形態の撮像装置１０１の全体的な構成について説明する。図１に示す第１実施形態の撮像装置１０１は、昼間等の可視光が十分に存在する環境下に適した通常モードと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。

暗視モードと中間モードとはいずれも可視光が少ない環境下で、赤外線を投光しながら撮像する赤外光投光モードである。赤外光投光モードは暗視モードのみであってもよい。本実施形態では、好ましい構成として、中間モードを含む３つのモードで撮像可能な撮像装置を例とする。

図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射した赤外光が入射される。

可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９より発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。

図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置１０１は複数の光学レンズを備える。

光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態とのいずれかの状態に駆動される。

撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色のフィルタエレメントが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい。

カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂのフィルタエレメントがベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂのフィルタエレメントの所定の配列の一例である。図２において、各行のＲのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｒ、Ｂのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｂとしている。

ベイヤ配列では、ＲのフィルタエレメントとＧｒのフィルタエレメントとが交互に配置された水平方向の行と、ＢのフィルタエレメントとＧｂのフィルタエレメントとが交互に配置された水平方向の行とが、垂直方向に交互に配列されている。

図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示している。相対感度は、最大値が１に正規化されている。撮像装置１０１を通常モードで動作させるとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光をカットする必要がある。

そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。

図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感度を有する。そこで、撮像装置１０１を中間モードまたは暗視モードで動作させるときには、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カットフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。

光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎｍ以上の赤外光はカットされない。よって、撮像装置１０１は、図３に破線の楕円で囲んだ部分の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにするためである。

赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御部７１は、時分割で投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光させるように制御する。

ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそれぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対検出率は、最大値が１に正規化されている。

図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光はＲ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材の反射光との相関性が高い。

そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、波長ＩＲ１〜ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。

投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当てる。

このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができる。

色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当ててもよい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能である。

本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。

制御部７は、撮像部３における撮像と、映像処理部５内の各部とを制御する。撮像部３によって撮像された撮像信号はＡ／Ｄ変換器４によってＡ／Ｄ変換され、映像処理部５に入力される。撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。映像処理部５と制御部７とが一体化されていてもよい。

制御部７は、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２を備える。モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理部５内の動作を後述のように適宜切り換える。モード切換部７２は、赤外線投光器９によって波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを調整するタイミング調整モードに切り換えることができる。

また、制御部７は、１台の撮像装置１０１と他の撮像装置１０１とを含んで撮像システムを構成する場合に、撮像装置１０１をマスタの撮像装置とするか、スレーブの撮像装置とするかを設定するマスタ／スレーブ設定部７４を備える。

マスタ／スレーブ設定部７４は、機械的なスイッチによってマスタとスレーブとを選択して、選択されたマスタまたはスレーブの設定状態を保持してもよい。マスタ／スレーブ設定部７４は、メニューによってマスタとスレーブとを選択して、選択されたマスタまたはスレーブの設定状態を保持してもよい。

さらに、制御部７は、撮像装置１０１の赤外線投光器９と他の撮像装置１０１が備える赤外線投光器とが、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミング（位相）を同期させるための構成を備える。具体的には、制御部７は、輝度レベル判定部７５と、同期信号送信部７６ｔと、同期信号受信部７６ｒとを備える。

撮像装置１０１がマスタの撮像装置として設定されているとき、同期信号送信部７６ｔは基準クロックを基準とした同期信号Ssyncを他の撮像装置１０１へと送出する。同期信号Ssyncは、例えば、この撮像装置１０１における赤外光が投光されるタイミングに基づく信号である。なお、このとき、同期信号受信部７６ｒは不動作である。

撮像装置１０１がスレーブの撮像装置として設定されているとき、同期信号受信部７６ｒは、マスタである他の撮像装置１０１が送出した同期信号Ssyncを受信する。このとき、同期信号送信部７６ｔは不動作である。また、同期信号Ssyncは、マスタの撮像装置から直接受信しなくてもよく、その他の装置を介して受信してもよい。

輝度レベル判定部７５と、同期信号送信部７６ｔ及び同期信号受信部７６ｒの具体的な動作については後述する。

映像処理部５は、スイッチ５１，５３と、前信号処理部５２と、デモザイク処理部５４とを有する。スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像している映像の明るさを検出するために、映像処理部５から映像信号が入力される。

図５に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算部５２２と、合成部５２３とを有する。

映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。

映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力してもよいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。

以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明する。

＜通常モード＞
通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオフにする。

撮像部３によって撮像された撮像信号は、Ａ／Ｄ変換器４によってデジタル信号である映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。

図６の（ａ）は、撮像部３の露光Ｅｘ１，Ｅｘ２，Ｅｘ３…を示している。実際には露光時間はシャッタスピード等の条件によって変化するが、ここでは露光Ｅｘ１，Ｅｘ２，Ｅｘ３は最大露光時間を示している。

図６の（ｂ）は、それぞれの映像信号のフレームが得られるタイミングを示している。露光Ｅｘ１の前の図示していない露光に基づいて、所定時間後に映像信号のフレームＦ０が得られる。露光Ｅｘ１に基づいて、所定時間後に映像信号のフレームＦ１が得られる。露光Ｅｘ２に基づいて、所定時間後に映像信号のフレームＦ２が得られる。露光Ｅｘ３以降も同様である。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。

映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／秒であってもよい。

Ａ／Ｄ変換器４より出力された各フレームの映像データは、スイッチ５１，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力された各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図７を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図７において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレームＦｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。

ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画素データＲｉを生成する。デモザイク処理部５４は、図７の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームＦｍＲを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処理部５４は、図７の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームＦｍＧを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処理部５４は、図７の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームＦｍＢを生成する。

デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データを用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いればよく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよい。

撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。

デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，ＢフレームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図７では、理解を容易にするため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの画素データは画素ごとに順次出力される。

＜中間モード：第１中間モード＞
中間モード（第１中間モード及び後述する第２中間モード）では、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

図８の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順に赤外光を投光させるように制御する。

図８の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１〜ＩＲ３の赤外光を投光する順番は任意である。

図８の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタイミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる。

但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードにおいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光による露光とを合わせた露光となる。

図８の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR3、露光Ex1Bに対応したフレームF1IR2が得られる。

また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレームF2IR1、露光Ex2Gに対応したフレームF2IR3、露光Ex2Bに対応したフレームF2IR2が得られる。露光Ex3R，Ex3G，Ex3B以降も同様である。

図８の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードでは、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１〜ＩＲ３の赤外光を投光するため、通常モードと同じ形式の映像信号を出力するためには、図８の（ｃ）の撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。

後述するように、図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）に示す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。

図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）の各フレームの映像信号を生成する中間モードでの動作を具体的に説明する。

Ａ／Ｄ変換器４より出力された図８の（ｃ）に示す撮像信号に対応する各フレームの映像データは、スイッチ５１を介して前信号処理部５２に入力される。

図９を用いて、前信号処理部５２における前信号処理について説明する。図９の（ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。

図９の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付している。

図９の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付している。

図９の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図９の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図９の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データを以下の式（１）〜（３）に従って個別に加算して、加算画素データR123，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加算部５２１は不動作である。

R123=ka×R1+kb×R2 +kc×R3 …（１）
G123=kd×G1+ke×G2+kf×G3 …（２）
B123=kg×B1+kh×B2+ki×B3 …（３）

式（１）〜（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素データ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka〜kiは所定の係数である。式（２）におけるG123はGr123またはGb123である。

このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データそれぞれを加算する。

即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲの画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算して、加算画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応する領域の画素データだけを用いて赤色用の加算画素データR123を生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素データを加算して、加算画素データG123を生成する。つまり、受光素子における緑色のカラーフィルタに対応する領域の画素データだけを用いて緑色用の加算画素データG123を生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、加算画素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領域の画素データだけを用いて青色用の加算画素データB123を生成する。

前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された加算画素データR123，Gr123，Gb123，B123に基づいて、図９の（ｄ）に示す合成映像信号のフレームFmIR123を生成する。

具体的には、合成部５２３は、フレームFmIR1における加算画素データR123と、フレームFmIR2における加算画素データGr123，Gb123と、フレームFmIR3における加算画素データB123とを選択して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成する。

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、加算画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を生成する。

第１中間モードにおいては、ハッチングを付していない画素データと、ハッチングを付した画素データとを用いて、フレームFmIR123の映像データを生成する。

同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色の感度を上げることができる。

可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データは、赤外光によって露光した映像信号に基づく成分が主となる。

可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長ＩＲ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光との相関性が高いからである。

このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmIR3におけるＢの画素データを主とすることができる。

前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図１０を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１０の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１０の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイク処理部５４は、図１０の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイク処理部５４は、図１０の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123Bを生成する。

通常モードにおける図７に示すデモザイク処理部５４の動作と、中間モードにおける図１０に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても変わらない。

通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜中間モード：第２中間モード＞
図１１及び図１２を用いて、第２中間モードにおける動作を説明する。第２中間モードにおける動作において、第１中間モードにおける動作と同一部分は説明を省略する。図１１の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。

合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2におけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB3とを選択して合成する。これによって合成部５２３は、図１１の（ｄ）に示す合成映像信号のフレームFmIR123’を生成する。

即ち、フレームFmIR123’は、フレームFmIR1，FmIR3，FmIR2におけるハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。

つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素データだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなっている。

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成する。

第２中間モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、第１中間モードにおける動作と同様に、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。

第２中間モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素データを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付していない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。

第２中間モードによれば、第１中間モードよりも感度や色の再現性は低下するものの、演算処理を簡略化したり、フレームメモリを削減したりすることができる。

図１２を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１２の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１２の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイク処理部５４は、図１２の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイク処理部５４は、図１２の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’Bを生成する。

以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成する。

＜暗視モード：第１暗視モード＞
暗視モード（第１暗視モード及び後述する第２暗視モード）では、中間モードと同様、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

暗視モードにおける概略的な動作は、図８と同じである。但し、暗視モードでは、可視光がほとんど存在しない環境下での撮像であるため、図８の（ｂ）における露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。

可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２におけるそれぞれのフィルタエレメントの特性には差がなくなるため、撮像部３を単色の撮像素子とみなすことができる。

そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加算する。

具体的には、図１３の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ及びＢの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから赤色用の画素データを生成することとなる。図１３の例では、各色とも注目画素を含む９画素分の領域から得た画素データを用いている。

図１３の（ｂ）に示すように、Ｇの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧの画素データに対して周囲に位置するＧ及びＢの８画素の画素データを加算する。図１３の（ｂ）におけるＧの画素はＧｒまたはＧｂの画素である。

つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから緑色用の画素データを生成することとなる。

図１３の（ｃ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから青色用の画素データを生成することとなる。

周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算してもよい。

ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子による加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による加算処理と実質的に等価である。

図１４の（ａ）〜（ｃ）のフレームFmIR1，FmIR3，FmIR2は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR3，FmIR2と同じである。図１４の（ｄ）〜（ｆ）において、R1ad，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加算画素データである。

周囲画素加算部５２１は、フレームFmIR1，FmIR3，FmIR2のそれぞれの画素データに対して図１３に示す加算処理を施すことにより、図１４の（ｄ）〜（ｆ）に示すフレームFmIR1ad，FmIR2ad，FmIR3adを生成する。

図１５の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１４の（ｄ）〜（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。

同一位置画素加算部５２２は、第１中間モードと同様に、式（１）に基づいて、フレームFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位置のR2ad，R3adの画素データを加算して、加算画素データR123adを生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad，Gr3ad，Gb3adの画素データを加算して、加算画素データGr123ad，Gb123adを生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素データを加算して、加算画素データB123adを生成する。

合成部５２３は、第１中間モードと同様に、フレームFmIR1adにおける加算画素データR123adと、フレームFmIR2adにおける加算画素データGr123ad，Gb123adと、フレームFmIR3adにおける加算画素データB123adとを選択して合成する。これによって合成部５２３は、図１５の（ｄ）に示す合成映像信号のフレームFmIR123adを生成する。

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、加算画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生成する。

図１６の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１６の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザイク処理部５４は、図１６の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザイク処理部５４は、図１６の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123adBを生成する。

第１中間モードと第１暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。

暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけるデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜暗視モード：第２暗視モード＞
図１７及び図１８を用いて、第２暗視モードにおける動作を説明する。第２暗視モードにおける動作において、第１暗視モードにおける動作と同一部分は説明を省略する。図１７の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１５の（ａ）〜（ｃ）のFmIR1ad，FmIR2ad，FmIR3adと同じである。

合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmIR2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素データであるB3adとを選択して合成する。これによって合成部５２３は、図１７の（ｄ）に示す合成映像信号のフレームFmIR123’adを生成する。

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、加算画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する。

なお、図１３を用いて説明したように、フレームFmIR123’adにおける赤色用の加算画素データR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

また、フレームFmIR123’adにおける緑色用の加算画素データGr2adは、中間モードのときに緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

さらに、フレームFmIR123’adにおける青色用の加算画素データB3adは、中間モードのときに青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

第２暗視モードでは、第２中間モードと同様に、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、第１暗視モードにおける動作と同様に、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成することができる。

図１８を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１８の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図１８の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する。デモザイク処理部５４は、補間して、図１８の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイク処理部５４は、図１８の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’adBを生成する。

第２中間モードと第２暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。

また、中間モードにおいては、受光素子における各色に対応する領域から得た画素データそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれよりも広い領域から得た画素データから各色用の画素データを生成するとも言える。

＜モード切換の例＞
図１９を用いて、モード切換部７２によるモード切換の例を説明する。図１９の（ａ）は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の明るさが変化していく様子を概略的に示している。

図１９の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図１９の（ａ）に示す明るさは実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。

制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づいて周囲環境の明るさを判断することができる。図１９の（ｂ）に示すように、モード切換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2未満であるとき暗視モードとする。

本実施形態の撮像装置１０１は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、モードを自動的に切り換える。図１９の（ｂ）において、中間モードは第１中間モードと第２中間モードとのいずれでもよく、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

図１９の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2としているが、時刻ｔ３の明るさを閾値Th2としてもよい。

図１９の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比較的多い時刻ｔ１側の期間を第１中間モード、可視光が比較的少ない時刻ｔ２側の期間を第２中間モードとしてもよい。図１９の（ｃ）において、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

本実施形態の撮像装置１０１は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞれのモードを実現することができる。

図２０に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動作の状態である。

第１中間モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。第２中間モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。

同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）〜（３）の係数ka〜kiの値を適宜に設定することによって容易に切り換えることができる。

第１暗視モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。第２暗視モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。

ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データを加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。

また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。

周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによって容易に切り換えることができる。

＜第１の実施形態の撮像装置の第１の変形例＞
制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に限定されない。

図２１に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。図２１において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの双方に基づいて、周囲環境の明るさを判断してもよい。

＜第１の実施形態の撮像装置の第２の変形例＞
制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が各モードに切り換えるようにしてもよい。

図２２に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部７内の時計７３は、日にちと時刻を管理している。制御部７は、時計７３が示す日にちと時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。

投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモードとなるように、撮像装置を制御する。

＜第１の実施形態の撮像装置の第３の変形例＞
図２３に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコントローラであってもよい。

＜映像信号処理方法＞
図２４を用いて、図１に示す撮像装置１０１で実行される映像信号処理方法を改めて説明する。

図２４において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなければ（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否かを判定する。

閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モードでの処理を実行させる。

制御部７は、ステップＳ３〜Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降を繰り返す。

図２５は、ステップＳ３の通常モードの具体的な処理を示す。図２５において、制御部７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステップＳ３１〜Ｓ３３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

図２６は、ステップＳ４の中間モードの具体的な処理を示す。図２６において、制御部７（投光制御部７１）は、ステップＳ４１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ４１〜Ｓ４３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮像する。

制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２のフレーム，第３のフレームとする。

合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させる。合成部５２３は、このようにして第１〜第３のフレームを１フレームに合成した合成映像信号を生成する。

制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇのフレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された３原色のフレームを順次生成する。

デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフレームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない画素位置にＢの画素データを補間することによって、Ｂのフレームとを生成することができる。

第１中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動作させ、第２中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を不動作とすればよい。

図２７は、ステップＳ５の暗視モードの具体的な処理を示す。図２７において、制御部７（投光制御部７１）は、ステップＳ５１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ５１〜Ｓ５３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

第１暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動作させ、第２暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を不動作とすればよい。

＜映像信号処理プログラム＞
図１において、制御部７、または、映像処理部５と制御部７との一体化部分をコンピュータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログラム）をコンピュータで実行させることによって、上述した本実施形態の撮像装置１０１と同様の動作を実現させることも可能である。

図２８を用いて、図２４のステップＳ４である中間モードにおける制御を映像信号処理プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図２８は、映像信号処理プログラムがコンピュータに実行させる処理を示す。

図２８において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するように赤外線投光器９を制御する処理を実行させる。

ステップS401に示す処理を映像信号処理プログラムの外部にて実行させてもよい。図２８では、ダミーガラス２２を挿入させる処理を省略している。ダミーガラス２２を挿入させる処理も映像信号処理プログラムの外部にて実行させてもよい。

映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第１のフレームを構成する画素データを取得する処理を実行させる。

映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第２のフレームを構成する画素データを取得する処理を実行させる。

映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第３のフレームを構成する画素データを取得する処理を実行させる。ステップS402〜S404の順番は任意である。

映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させて、１フレームに合成した合成映像信号を生成する処理を実行させる。

中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させない。

映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成する処理を実行させる。

図示は省略するが、図２４のステップＳ５である暗視モードにおける制御を映像信号処理プログラムで構成する場合には、図２８のステップS405にて、コンピュータに、周囲画素の加算処理の処理を実行させればよい。

映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。

図１のように構成される撮像装置において、例えば、必要に応じて各部を複数設けたりして、中間モードと暗視モードとを同時に実行するようにしてもよい。その場合、映像出力部６が、中間モードによって生成された映像信号と、暗視モードによって生成された映像信号との両方を出力するようにしてもよい。

また、モード切換部７２は、映像出力部６が中間モードによって生成された映像信号を出力する状態と、映像出力部６が暗視モードによって生成された映像信号を出力する状態とを切り換えるようにしてもよい。その際、前述のように、周囲環境の明るさや時刻等に応じて切り換えてもよい。また、映像処理部５（映像処理装置）を他の各部と別体にしてもよい。

さらに、中間モードを使用せずに、通常モードから暗視モードに切り換えたり、暗視モードから通常モードに切り換えたりする場合があってもよい。

中間モードを使用しない場合には、上述した中間モードの使用が適した環境下では、通常モードと暗視モードとのいずれかを選択して使用すればよい。この場合、中間モードを使用する場合と比較して良好なカラー映像信号とはならないが、撮像は可能である。

しかしながら、通常モードと暗視モードのみを搭載した撮像装置であっても、例えば監視カメラで被写体を終日撮影する場合のような周囲の明るさが変化する状況で、１つの撮像装置で被写体を撮影することができる、という効果を奏する。

さらにまた、暗視モードを使用せずに、通常モードから中間モードに切り換え、中間モードから通常モードに切り換える場合があってもよい。暗視モードを常時使用しない場合は、暗視モードを搭載しないようにしてもよい。

電灯がある場所等では暗視モードを使用しなくてもよい場合がある。通常モードと中間モードのみを搭載した撮像装置は、暗視モードを使用しなくてもよい場合に利用できる。

暗視モードを使用しない場合には、上述した暗視モードの使用が適した環境下では、中間モードを使用すればよい。この場合、暗視モードを使用する場合と比較して良好なカラー映像信号とはならないが、撮像は可能である。

通常モードと中間モードのみを搭載した撮像装置であっても、同様に、周囲の明るさが変化する状況で、１つの撮像装置で被写体を撮影することができる、という効果を奏する。

＜赤外光投光タイミングの同期方法：第１の例＞
次に、図２９に示すように、例えば２台の撮像装置１０１によって被写体ＳＢ１を撮像する撮像システムを構成して、タイミング調整モードに設定されている場合を考える。タイミング調整モードでは、後述するように、赤外線投光器９によって赤外光を投光して、赤外光の投光タイミングを同期させる。よって、可視光が弱い夜間等にタイミング調整モードに設定するのがよい。

図２９に示す２台の撮像装置１０１のうちの一方を自己の撮像装置１０１、もう一方を他の撮像装置１０１とする。２台の撮像装置１０１は有線または無線にて接続されている。

図３０において、（ａ）は自己の撮像装置１０１の赤外線投光器９による赤外光の投光を、（ｃ）は他の撮像装置１０１の赤外線投光器９による赤外光の投光を示している。２台の撮像装置１０１の赤外線投光器９による赤外光の投光における位相が同期しておらず、１つの波長の赤外光を投光する期間よりも短い期間だけずれているとする。図３０において、（ｂ）は自己の撮像装置１０１による撮像によって生成されるフレームの露光期間（以下、単にフレームとも称する）を示している。

図３０の（ｂ）に示すように、２台の撮像装置１０１の赤外線投光器９による赤外光の投光のタイミングがずれているため、ハッチングを付した期間では、２つの波長の赤外光が混ざった状態となる。よって、ハッチングを付した期間では、色の再現性が損なわれる。

図３１において、（ａ）は自己の撮像装置１０１の赤外線投光器９による赤外光の投光を、（ｃ）は他の撮像装置１０１の赤外線投光器９による赤外光の投光を示している。２台の撮像装置１０１の赤外線投光器９による赤外光の投光は同期しておらず、１つの波長の赤外光を投光する期間だけずれているとする。図３１において、（ｂ）は自己の撮像装置１０１による撮像によって生成されるフレームを示している。

図３１の（ｂ）に示すように、２台の撮像装置１０１の赤外線投光器９による赤外光の投光のタイミングが完全にずれているため、全期間で、２つの波長の赤外光が混ざった状態となってしまう。よって、全期間で色の再現性が損なわれる。

このように、２台の撮像装置１０１の赤外線投光器９が個々に赤外光を投光すると異なる波長の赤外光が混ざってしまい、正しい色再現が可能なカラー映像を撮像することができない。

２台の撮像装置１０１の赤外線投光器９が波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを同期させる同期方法について説明する。図２９では、撮像装置１０１を２台としているが、３台以上であってもよい。

図３２に示すように、マスタ／スレーブ設定部７４によって自己の撮像装置１０１をマスタの撮像装置101M、他の撮像装置１０１をスレーブの撮像装置101Sに設定したとする。図３２は、図１で説明した撮像装置１０１の構成を概略的に示している。

撮像装置101Mの同期信号送信部７６ｔは、撮像装置101Sに同期信号Ssyncを送出する。撮像装置101Sの同期信号受信部７６ｒは、同期信号Ssyncを受信する。撮像装置101Sの制御部７は、受信した同期信号Ssyncに基づいて波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを制御する。

撮像装置101Sは、図示していないＰＬＬ回路等を用いて、受信した同期信号Ssyncを基準とした基準クロックを生成する。撮像装置101Sは、この基準クロックに基づいて各部を動作させる。

同期信号Ssyncは、一例として、図３３の（ａ）に示すように、図３３の（ｂ）に示す波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する１フレーム期間の先頭を示すパルスでよい。即ち、同期信号Ssyncは、フレーム周期のパルスでよい。ここでのフレームとは、映像出力部６より出力される映像信号のフレームである。

波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光それぞれを投光する期間の先頭を示すパルスを同期信号Ssyncとしてもよい。波長ＩＲ１，ＩＲ２，ＩＲ３のうちのいずれかの赤外光を投光する期間の先頭を示すパルスを同期信号Ssyncとしてもよい。同期信号Ssyncは、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する所定の期間（１フレーム期間）に同期していればよい。

同期信号Ssyncは、所定の期間を３分割した分割期間の内の1つまたは２つに同期するようにしてもよい。また、複数種類の同期信号Ssyncを用いて、所定の期間を３分割した分割期間それぞれで異なる同期信号Ssyncを用いるようにしてもよい。

撮像装置101Mから撮像装置101Sへと同期信号Ssyncを供給すれば、原理的には、それぞれの赤外線投光器９による赤外光の投光を同期させて、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを一致させることができる。

ところが、撮像装置101Mと撮像装置101Sとが有線にて接続されている場合であっても、配線長に起因する遅延、２つの撮像装置１０１の内部的な遅延時間の差によって、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングにずれが生じる場合がある。

そこで、さらに精度を高める必要がある場合、次のようにして、撮像装置101Mの赤外線投光器９による赤外光のタイミングに、撮像装置101Sの赤外線投光器９による赤外光のタイミングを一致させて、両者の赤外線投光器９による赤外光の投光を同期させる。

撮像装置101Mがタイミング調整モードに設定されているとき、図３４の（ａ）に示すように、投光制御部７１は、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光のうちの１つの赤外光のみを３つの分割期間における１つの分割期間内で投光させ、残りの２つの分割期間を無投光とするよう赤外線投光器９を制御する。１つの赤外光は、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光のうちのいずれでもよい。本実施形態では、波長ＩＲ１の赤外光のみを投光する。

撮像装置101Sがタイミング調整モードに設定されているとき、投光制御部７１は、全ての期間で赤外光を無投光とするよう赤外線投光器９を制御する。撮像装置101Sは、図３４の（ａ）に示すように撮像装置101Mの赤外線投光器９によって１つの赤外光のみを投光している状態で、被写体ＳＢ１を撮像して映像信号のフレームを生成する。

撮像装置101M，101Sをタイミング調整モードとしたとき、撮像装置101Mを撮像装置101Sに向けて、撮像装置101Mの赤外線投光器９から投光される赤外光が撮像装置101Sに効果的に照射されるようにしてもよい。

図３４の（ｂ）は、図３４の（ａ）の赤外光の投光のタイミングと、撮像装置101Sによる撮像によって生成されるフレームとの位相が一致している状態を示している。フレームFIR1は、波長ＩＲ１の赤外光が投光されている期間で生成されるＲのフレームである。フレームFIR2，FIR3は、本来であればそれぞれ波長ＩＲ２，ＩＲ３の赤外光が投光される無投光の期間で生成されるＧ，Ｂのフレームである。

図３４の（ｂ）に示すように、ＲのフレームFIR1は明るく、Ｇ，ＢのフレームFIR2，FIR3は暗い。よって、図３４の（ｂ）の状態では、撮像装置101Sの輝度レベル判定部７５によって判定される輝度レベルは、フレームFIR1におけるＲの輝度レベルのみ高くなり、Ｇ，ＢのフレームFIR2，FIR3の輝度レベルは非常に低くなる。

図３４の（ｃ）は位相が少し遅れている場合、図３４の（ｄ）は位相が少し進んでいる場合を示している。

図３４の（ｃ）のように位相が遅れると、ＢのフレームFIR3を生成するために撮像している期間内に波長ＩＲ１の赤外光の投光が開始するため、ＢのフレームFIR3は図３４の（ｂ）の場合よりも少し明るいやや暗い状態となる。よって、輝度レベル判定部７５によって判定されるＢのフレームFIR3におけるＢの輝度レベルは、図３４の（ｂ）の場合と比較して若干高くなる。

逆に、図３４の（ｄ）のように位相が進むと、波長ＩＲ１の赤外光の投光が終了するよりも前にＧのフレームFIR2を生成するための撮像が開始するため、ＧのフレームFIR2は図３４の（ｂ）の場合よりも少し明るいやや暗い状態となる。よって、輝度レベル判定部７５によって判定されるＧのフレームFIR2におけるＧの輝度レベルは、図３４の（ｂ）の場合と比較して若干高くなる。

なお、図３４の（ｃ），（ｄ）において、ＲのフレームFIR1に「やや明」と記載しているように、ＲのフレームFIR1におけるＲの輝度レベルは、図３４の（ｂ）の場合と比較すれば若干低い。

よって、Ｒ，Ｇ，Ｂの輝度レベルは、撮像装置101Mの赤外線投光器９が波長ＩＲ１の赤外光を投光するタイミングと、撮像装置101SにおいてＲ，Ｇ，ＢのフレームFIR1，FIR2，FIR3を生成するタイミングとに応じて、図３５に示すように変化する。

図３５に示すように、撮像装置101Mの赤外線投光器９から投光される赤外光のタイミングと、撮像装置101Sによる撮像によって生成されるフレームとの位相が一致している適正な状態では、Ｒの輝度レベルが高く、Ｇ，Ｂの輝度レベルは同等の低い値となる。同等とは、所定の誤差を含んでほぼ同じとみなすことができる状態である。

撮像装置101Mの赤外線投光器９から投光される赤外光のタイミングに対して、撮像装置101Sによる撮像によって生成されるフレームの位相が遅れると、Ｂの輝度レベルがＧの輝度レベルよりも高くなる。Ｒの輝度レベルは適正な状態よりも低下する。

撮像装置101Mの赤外線投光器９から投光される赤外光のタイミングに対して、撮像装置101Sによる撮像によって生成されるフレームの位相が進むと、Ｇの輝度レベルがＢの輝度レベルよりも高くなる。Ｒの輝度レベルは適正な状態よりも低下する。

そこで、撮像装置101Sの輝度レベル判定部７５は、Ｇの輝度レベルとＢの輝度レベルとの大小関係を判定する。制御部７は、大小関係に応じて、撮像装置101Sを動作させている同期信号Ssyncに基づいて赤外線投光器９及び前信号処理部５２を動作させるタイミングを進ませたり、遅らせたりする。

具体的には、投光制御部７１は、Ｂの輝度レベルがＧの輝度レベルよりも高ければ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを進ませるように赤外線投光器９を制御する。これに併せて、制御部７は、Ｒ，Ｇ，ＢのフレームFIR1，FIR2，FIR3を生成するタイミングを進ませるように前信号処理部５２を制御する。

投光制御部７１は、Ｇの輝度レベルがＢの輝度レベルよりも高ければ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを遅らせるように赤外線投光器９を制御する。これに併せて、制御部７は、Ｒ，Ｇ，ＢのフレームFIR1，FIR2，FIR3を生成するタイミングを遅らせるように前信号処理部５２を制御する。

制御部７（投光制御部７１）は、Ｇ，Ｂの輝度レベルが同等の値となるまで赤外線投光器９及び前信号処理部５２を制御する。制御部７は、Ｇ，Ｂの輝度レベルが同等の値となったタイミングの調整量を保持する。

撮像装置101Sは、タイミング調整モードを解除した後、タイミング調整モードで求めて保持した調整量だけ撮像装置101Sを動作させるタイミングをずらすよう各部を制御する。

以上によって、図２９のように構成した撮像システムは、撮像装置101Mと撮像装置101Sとのそれぞれの赤外線投光器９による赤外光の投光タイミングを同期させた状態で、被写体ＳＢ１を撮像することができる。なお、明るさがあまり変わらない環境下であれば、Ｒの輝度レベルが最大となるように調整してもよい。

＜赤外光投光タイミングの同期方法：第２の例＞
赤外光投光タイミングの同期方法の第１の例では、撮像装置101Mの赤外線投光器９による赤外光の投光タイミングに、撮像装置101Sの赤外線投光器９による赤外光の投光タイミングを一致させたが、逆にしてもよい。

赤外光投光タイミングの同期方法の第２の例では、撮像装置101Sの赤外線投光器９による赤外光の投光タイミングに、撮像装置101Mの赤外線投光器９による赤外光の投光タイミングを一致させる。第２の例の説明において、第１の例と共通部分の説明を省略する。

撮像装置101Sがタイミング調整モードに設定されているとき、図３６の（ａ）に示すように、投光制御部７１は、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光のうちの波長ＩＲ１の赤外光のみを３つの分割期間における１つの分割期間内で投光させ、残りの２つの分割期間を無投光とするよう赤外線投光器９を制御する。

撮像装置101Mがタイミング調整モードに設定されているとき、投光制御部７１は、全ての期間で赤外光を無投光とするよう赤外線投光器９を制御する。撮像装置101Mは、図３６の（ａ）に示すように撮像装置101Sの赤外線投光器９によって波長ＩＲ１の赤外光のみを投光している状態で、被写体ＳＢ１を撮像して映像信号のフレームを生成する。

図３６の（ｂ）は、図３６の（ａ）の赤外光の投光のタイミングと、撮像装置101Mによる撮像によって生成されるフレームとが一致している状態を示している。図３６の（ｃ）は位相が遅れている場合、図３６の（ｄ）は位相が進んでいる場合を示している。

第２の例においては、Ｒ，Ｇ，Ｂの輝度レベルは、撮像装置101Sの赤外線投光器９が波長ＩＲ１の赤外光を投光するタイミングと、撮像装置101MにおいてＲ，Ｇ，ＢのフレームFIR1，FIR2，FIR3を生成するタイミングとに応じて、図３７に示すように変化する。

図３７に示すように、撮像装置101Sの赤外線投光器９から投光される赤外光のタイミングに対して、撮像装置101Mによる撮像によって生成されるフレームの位相が遅れると、Ｇの輝度レベルがＢの輝度レベルよりも高くなる。Ｒの輝度レベルは適正な状態よりも低下する。

撮像装置101Sの赤外線投光器９から投光される赤外光のタイミングに対して、撮像装置101Mによる撮像によって生成されるフレームの位相が進むと、Ｂの輝度レベルがＧの輝度レベルよりも高くなる。Ｒの輝度レベルは適正な状態よりも低下する。

撮像装置101Mの制御部７は、輝度レベル判定部７５によって判定されるＧ，Ｂの輝度レベルが同等の値となるまで赤外線投光器９及び前信号処理部５２を制御する。制御部７は、Ｇ，Ｂの輝度レベルが同等の値となったタイミングの調整量を保持する。

撮像装置101Mは、タイミング調整モードを解除した後、タイミング調整モードで求めて保持した調整量だけ撮像装置101Mを動作させるタイミングをずらすよう各部を制御する。

このように、撮像装置101Sの赤外線投光器９による赤外光の投光タイミングに撮像装置101Mの赤外線投光器９による赤外光の投光タイミングを一致させる第２の例おいても、撮像装置101Mと撮像装置101Sとのそれぞれの赤外線投光器９による赤外光の投光タイミングを同期させることができる。なお、第２の例は、撮像装置１０１が２台のみの場合に利用できる。

以上説明した第１の例及び第２の例では、タイミング調整モードにおいて、撮像装置101M（または101S）が波長ＩＲ１の赤外光のみを投光し、撮像装置101S（または101M）が赤外光を無投光とした状態で被写体ＳＢ１を撮像して映像信号を生成する。なお、明るさがあまり変わらない環境下であれば、Ｒの輝度レベルが最大となるように調整してもよい。

その代わりに次のようにすることもできる。赤外光の投光タイミングの基準側である撮像装置101M（または101S）は、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を通常のように投光する。赤外光の投光タイミングを調整する側の撮像装置101S（または101M）は、赤外光を無投光とし、赤外線カットフィルタ２１を挿入した状態で映像信号を生成する。

可視光が弱い夜間等にタイミング調整モードに設定した場合には、ダミーガラス２２が挿入された状態である。ダミーガラス２２の代わりに赤外線カットフィルタ２１を挿入して映像信号を生成すれば、基準側である撮像装置101M（または101S）は、全ての赤外光を投光してもよい。

例えば、投光部９１を７８０ｎｍの赤外光を発光する発光ダイオード（ＬＥＤ）とする。ＬＥＤからの光の波長帯域は一部で可視光の帯域にかかっている。よって、赤外線カットフィルタ２１を挿入した状態で撮像すれば、実質的に波長ＩＲ１の赤外光のみが投光されているのと同等の状態とすることができる。よって、波長ＩＲ１の赤外光のみを投光したのと同様に投光タイミングの調整が可能となる。なお、波長ＩＲ１は、赤外線カットフィルタ２１によってカットされない程度に波長が短いものとする。

＜第２実施形態の撮像装置の構成及び動作＞
図３８に示す第２実施形態の撮像装置１０２において、図１に示す第１実施形態の撮像装置１０１と同一部分には同一符号を付し、その説明を省略する。図２９に示すように、複数台の撮像装置１０２によって撮像システムを構成することができる。

撮像装置１０２は、赤外線投光器９の代わりに赤外線投光器９Ｂを備える。赤外線投光器９Ｂは、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを示す同期信号Ssyncを生成して、制御部７に供給する。赤外線投光器９Ｂは、同期信号Ssyncを送信する同期信号送信部９Ｂｔと同期信号Ssyncを受信する同期信号受信部９Ｂｒを有する。

撮像装置１０２における制御部７は、撮像装置１０１の制御部７における同期信号送信部７６ｔ及び同期信号受信部７６ｒを省いた構成を有する。

図３９に示すように、マスタ／スレーブ設定部７４によって自己の撮像装置１０２をマスタの撮像装置102M、他の撮像装置１０２をスレーブの撮像装置102Sに設定したとする。図３９は、図３８で説明した撮像装置１０２の構成を概略的に示している。

撮像装置102Mの同期信号送信部９Ｂｔは、撮像装置102Sに同期信号Ssyncを送出する。撮像装置102Sの同期信号受信部９Ｂｒは、同期信号Ssyncを受信する。同期信号Ssyncは、図３３の（ａ）で説明したように、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する１フレーム期間の先頭を示すフレーム周期のパルスでよい。

撮像装置102Sは、自己の赤外線投光器９Ｂによって同期信号Ssyncを生成しない。撮像装置102Sの赤外線投光器９Ｂは、受信した同期信号Ssyncを制御部７に供給する。撮像装置102Sの赤外線投光器９Ｂは、受信した同期信号Ssyncに基づいたタイミングで波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する。

撮像装置102Mと撮像装置102Sとで波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングにずれが生じる場合には、図３４〜図３７と同様にして、投光タイミングを調整すればよい。

即ち、撮像装置102Mの赤外線投光器９Ｂによる赤外光の投光タイミングと、撮像装置102Sの赤外線投光器９Ｂによる赤外光の投光タイミングとを一致させて、両者の赤外線投光器９Ｂによる赤外光の投光を同期させる。

図２１〜図２３に示す第１〜第３の変形例は、第２実施形態の撮像装置１０２においても適用することができる。後述する第３〜第６実施形態の撮像装置１０３〜１０６でも同様である。

＜第３実施形態の撮像装置の構成及び動作＞
図４０に示す第３実施形態の撮像装置１０３において、図１に示す第１実施形態の撮像装置１０１と同一部分には同一符号を付し、その説明を省略する。図４０は、撮像装置３の構成を概略的に示している。

図２９に示すように、複数台の撮像装置１０３によって撮像システムを構成することができる。図４０において、自己の撮像装置１０３をマスタの撮像装置103M、他の撮像装置１０３をスレーブの撮像装置103Sに設定している。

マスタの撮像装置103Mの赤外線投光器９Ｃは、同期信号送信部９Ｃｔを有する。赤外線投光器９Ｃは、制御部７による制御に基づいて、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する。同期信号送信部９Ｃｔは、赤外光を投光するタイミングを示す同期信号Ssyncをスレーブの撮像装置103Sに送出する。

撮像装置103Sの赤外線投光器９Ｃは、同期信号受信部９Ｃｒを有する。撮像装置103Sの受信した同期信号Ssyncを制御部７に供給する。撮像装置103Sの赤外線投光器９Ｃは、受信した同期信号Ssyncに基づいたタイミングで波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する。撮像装置103Sは、図３９の撮像装置102Sと同じ構成でよい。

第３実施形態においても、撮像装置103Mと撮像装置103Sとで波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングにずれが生じる場合には、タイミングを一致させて、両者の赤外線投光器９Ｃによる赤外光の投光を同期させる。

＜第４実施形態の撮像装置の構成及び動作＞
図４１に示す第４実施形態の撮像装置１０４において、図１に示す第１実施形態の撮像装置１０１と同一部分には同一符号を付し、その説明を省略する。図２９に示すように、複数台の撮像装置１０４によって撮像システムを構成することができる。

撮像装置１０４における制御部７は、撮像装置１０１の制御部７における同期信号送信部７６ｔ及び同期信号受信部７６ｒの代わりに、基準クロック送信部７７ｔ及び基準クロック受信部７７ｒを有する。

撮像装置１０４がマスタの撮像装置として設定されているとき、基準クロック送信部７７ｔは基準クロックSclkを他の撮像装置１０４へと送出する。このとき、基準クロック受信部７７ｒは不動作である。

撮像装置１０４がスレーブの撮像装置として設定されているとき、基準クロック受信部７７ｒは、マスタである他の撮像装置１０４が送出した基準クロックSclkを受信する。このとき、基準クロック送信部７７ｔは不動作である。

図４２に示すように、マスタ／スレーブ設定部７４によって自己の撮像装置１０４をマスタの撮像装置104M、他の撮像装置１０４をスレーブの撮像装置104Sに設定したとする。図４２は、図４１で説明した撮像装置１０４の構成を概略的に示している。

撮像装置104Mの基準クロック送信部７７ｔは、撮像装置104Sに基準クロックSclkを送出する。撮像装置104Sの基準クロック受信部７７ｒは、基準クロックSclkを受信する。撮像装置104Mと撮像装置104Sとは、共通の基準クロックSclkに同期して動作する。

基準クロックSclkは、例えば、映像信号の色副搬送波周波数（3.58MHz）の４倍の14.32MHzのクロック、GenLock（Generator Lock）と称される放送スタジオ等で使用される基準信号、MPEG2で使用される27MHzのクロックを用いることができる。勿論、基準クロックSclkは、これらのクロックに限定されない。

撮像装置104Mと撮像装置104Sとを共通の基準クロックSclkで動作させることにより、撮像装置104Mと撮像装置104Sとの周波数的な同期をとることができる。しかしながら、撮像装置104M，104Sそれぞれの赤外線投光器９が波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光するタイミングを同期させることはできない。

そこで、第４実施形態の撮像装置１０４においては、撮像装置104M，104Sがタイミング調整モードに設定されているとき、撮像装置104M，104Sの赤外線投光器９による赤外光の投光タイミングを一致させた状態で同期させるように調整する。

図４３は、図４３と同様に、撮像装置104Mの赤外線投光器９による投光のタイミングと、撮像装置104Sによる撮像によって生成されるフレームとの位相の関係を示している。図４３の（ｂ）は、図４３の（ａ）の赤外光の投光のタイミングとフレームとが一致している状態、図４３の（ｃ）は位相が少し遅れている場合を示している。

第４実施形態の撮像装置１０４においては、図４３の（ｄ）に示すように位相が大幅に進んだり、大幅に遅れたりする場合がある。

第４実施形態の撮像装置１０４においては、Ｒ，Ｇ，Ｂの輝度レベルは、撮像装置104Mの赤外線投光器９が波長ＩＲ１の赤外光を投光するタイミングと、撮像装置104SがフレームFIR1，FIR2，FIR3を生成するタイミングとに応じて、図４４に示すように変化する。

図３５に示す特性は、図４４の適正の状態の近傍のみを示したものに相当する。第１〜第３実施形態では、配線長に起因する遅延や遅延時間の差に起因するわずかな投光タイミングのずれを解消すればよい。第４実施形態では、そもそも周波数的な同期しかとれていないので、図４４に示すように、かなり大きな量のタイミング調整が必要となる場合がある。

図４５に示すフローチャートを用いて、制御部７によるタイミング調整の処理を説明する。図４５において、制御部７（輝度レベル判定部７５）は、ステップS101にて、Ｇの輝度レベルとＢの輝度レベルとが同等であるか否かを判定する。

同等であるということは、図４４の位相が一致している適正な状態であるPh0の位置、位相が遅れているPh(-3)の位置、位相が進んでいるPh(+3)の位置のいずれかということである。

同等であれば（YES）、制御部７は、ステップS102にて、Ｒの輝度レベルは最低であるか否かを判定する。最低でなければ（NO）、Ph0の位置で適正な状態ということであるので、処理を終了させる。

ステップS102にて最低であれば（YES）、Ph(-3)またはPh(+3)の位置で１／２周期がずれている(遅れているか進んでいる)ことであるので、制御部７（投光制御部７１）は、ステップS103にて、タイミングを１／２周期進めるか遅らせる。

一方、ステップS101にて同等でなければ（NO）、制御部７は、処理をステップS104に移行させる。制御部７は、ステップS103の処理を終了後も、処理をステップS104に移行させる。

制御部７は、ステップS104にて、Ｇの輝度レベルはＢの輝度レベルより大きいか否かを判定する。Ｇの輝度レベルがＢの輝度レベルより大きければ（YES）、制御部７は、タイミングを少し遅らせて、処理をステップS101に戻す。Ｇの輝度レベルがＢの輝度レベルより大きくなければ（NO）、制御部７は、タイミングを少し進めて、処理をステップS101に戻す。

以上のステップS101〜S106を繰り返すことにより、撮像装置104M，104Sの赤外線投光器９による赤外光の投光タイミングを一致させた状態で同期させることができる。

撮像装置104Sは、タイミング調整モードを解除した後、タイミング調整モードで求めて保持した調整量だけ撮像装置104Sを動作させるタイミングをずらすよう各部を制御する。

なお、撮像装置とは別体の装置から、基準クロックを出力し、各撮像装置でその基準クロックを受信するようにしてもよい。例えば、複数の撮像装置の画像を切り換えて表示するためのスイッチャ等が基準クロックを生成して出力するようにしてもよい。また、基準クロックを出力する撮像装置と、タイミング調整モードでマスタとして動作する撮像装置とが別のものであってもよい。

＜第５実施形態の撮像装置の構成及び動作＞
図４６に示す第５実施形態の撮像装置１０５において、図１に示す第１実施形態の撮像装置１０１と同一部分には同一符号を付し、その説明を省略する。図２９に示すように、複数台の撮像装置１０５によって撮像システムを構成することができる。

撮像装置１０５は、商用交流電源からの電力に基づいて、撮像装置１０５の各部に必要な電力を供給する電源回路１５を備える。撮像装置１０５は、交流電圧の周波数に同期した基準クロックを生成して、撮像装置１０５を動作させる。よって、マスタの撮像装置105Mとスレーブの撮像装置105Sとの周波数的な同期をとることができる。

撮像装置105Sは、第４実施形態と同じ方法で、赤外線投光器９による赤外光の投光タイミングを調整する。これによって、撮像装置105M，105Sは、それぞれの赤外線投光器９による赤外光の投光タイミングを一致させた状態で同期させることができる。

＜第６実施形態の撮像装置の構成の構成及び動作＞
図４７に示す第６実施形態の撮像装置１０６において、図１に示す第１実施形態の撮像装置１０１と同一部分には同一符号を付し、その説明を省略する。図２９に示すように、複数台の撮像装置１０６によって撮像システムを構成することができる。

撮像装置１０６は、全地球航法衛星システム（Global Navigation Satellite System: GNSS）用の衛星２００からの電波を受信するアンテナ１６ａと、アンテナ１６ａが出力するGNSS信号を受信するGNSS受信部１６とを備える。GNSS信号は一般的にＲＦ信号である。GNSSは、一例としてＧＰＳ（Global Positioning System）である。

GNSS受信部１６は、衛星２００からの電波に含まれる時刻情報に基づいてクロック信号を生成する。衛星２００から送信される時刻情報は、衛星２００に内蔵されている原子時計と高精度に同期している。GNSS受信部１６は、原子時計と高精度に同期するクロック信号を制御部７に供給する。制御部７は、このクロック信号を基準クロックとする。制御部７は、基準クロックに基づいて撮像装置１０６を動作させる。

よって、マスタの撮像装置106Mとスレーブの撮像装置106Sとの周波数的な同期をとることができる。

撮像装置106Sは、第４実施形態と同じ方法で、赤外線投光器９による赤外光の投光タイミングを調整する。これによって、撮像装置106M，106Sは、それぞれの赤外線投光器９による赤外光の投光タイミングを一致させた状態で同期させることができる。

＜第７実施形態の撮像装置の構成の構成及び動作＞
第４〜第６実施形態の撮像装置１０４〜１０６では、共通の基準クロックによって周波数的な同期をとることを前提としている。第７実施形態においては、複数の撮像装置で共通の基準クロックを用いない。第７実施形態の撮像装置は、複数の撮像装置それぞれが個別に、高精度な基準クロックを発生する基準クロック発生源を備える。

高精度な基準クロックを発生する基準クロック発生源としては、一例として、水晶発振器である。

第７実施形態複数の撮像装置は、定期的に、第４実施形態と同じ方法で、投光タイミングを一致させるよう投光タイミングを調整する。複数の撮像装置の投光タイミングのずれの許容度に応じて、投光タイミングを調整する時間間隔を設定すればよい。

高い色再現性が求められる場合には位相のずれの許容度が小さくなるので、時間間隔を極力短く設定するのがよい。さほどの高い色再現性が求められない場合には位相のずれの許容度が大きくなるので、時間間隔を比較的長く設定してもよい。

＜第１〜第３実施形態の撮像装置のまとめ＞
第１〜第３実施形態において、マスタの撮像装置101M〜103Mは、次のように構成される。

投光制御部７１は、波長ＩＲ１〜ＩＲ３の赤外光を、所定の期間を３分割した３つの分割期間で選択的に投光させるそれぞれの分割期間の長さと順番とを制御するよう、赤外線投光器９を制御する。

撮像部３は、波長ＩＲ１〜ＩＲ３の赤外光の赤外光が選択的に投光されている状態で被写体を撮像する。同期信号送信部７６ｔ，９Ｂｔ，９Ｃｔは、装置の外部、具体的には、マスタの撮像装置101M〜103M以外の他の撮像装置（スレーブの撮像装置101S〜103S）に同期信号を送信する。同期信号は、スレーブ側の撮像装置が備える投光制御部７１が赤外線投光器９によって赤外光を投光させるタイミングを、マスタ側の投光制御部７１が赤外線投光器９によって赤外光を投光させるタイミングと同期させるために用いられる。

マスタの撮像装置101M〜103Mが、スレーブ側の投光制御部７１がスレーブ側の赤外線投光器９によって赤外光を投光させるタイミングを調整するためのタイミング調整モードに設定されているとき、投光制御部７１は赤外線投光器９を次のように制御する。投光制御部７１は、波長ＩＲ１〜ＩＲ３の赤外光のうちの１つの赤外光のみを３つの分割期間における１つの分割期間内で投光させ、残りの２つの分割期間を無投光とする。

マスタの撮像装置101M，102M，103Mにおける投光制御部７１、赤外線投光器９を第１の投光制御部、第１の赤外線投光器とすると、スレーブの撮像装置101S〜103Sにおける投光制御部７１、赤外線投光器９は、第２の投光制御部、第２の赤外線投光器である。

第１〜第３実施形態において、スレーブの撮像装置101S〜103Sは、次のように構成される。

投光制御部７１は、波長ＩＲ１〜ＩＲ３の赤外光を、所定の期間を３分割した３つの分割期間で選択的に投光させるそれぞれの分割期間の長さと順番とを制御するよう、赤外線投光器９を制御する。

撮像部３は、波長ＩＲ１〜ＩＲ３の赤外光の赤外光が選択的に投光されている状態で被写体を撮像する。映像処理部５は、撮像部３によって撮像された撮像信号に基づいてＲ，Ｇ，Ｂそれぞれの映像信号を生成する。

同期信号受信部７６ｒ，９Ｂｒ，９Ｃｒは、スレーブの撮像装置101S〜103S以外の他の撮像装置（マスタの撮像装置101M〜103M）が送信した同期信号を受信する。同期信号は、スレーブ側の投光制御部７１が赤外線投光器９によって赤外光を投光させるタイミングを、マスタ側の投光制御部７１が赤外線投光器９によって赤外光を投光させるタイミングと同期させるために用いられる。

スレーブの撮像装置101S〜103Sは、映像処理部５が生成したＲ，Ｇ，Ｂの映像信号の輝度レベルを判定する輝度レベル判定部７５を備えるのがよい。スレーブの撮像装置101S〜103Sが、投光制御部７１が赤外線投光器９によって赤外光を投光させるタイミングを調整するためのタイミング調整モードに設定されているとき、次のように動作するのがよい。

投光制御部７１は、赤外光を無投光とするよう赤外線投光器９を制御する。撮像部３は、マスタ側の赤外線投光器９が波長ＩＲ１〜ＩＲ３の赤外光のうちの１つの赤外光のみを３つの分割期間における１つの分割期間内で投光し、残りの２つの分割期間を無投光とした状態で被写体を撮像する。

または、撮像部３は、マスタ側の赤外線投光器９が全ての波長の赤外光を投光して、赤外線カットフィルタ２１を介することによって実質的に１つの波長の赤外光のみが投光されている状態として被写体を撮像する。赤外線カットフィルタ２１とは、スレーブの撮像装置101S〜103Sに備えられている赤外線カットフィルタ２１である。

投光制御部は、輝度レベル判定部７５が判定したＲ，Ｇ，Ｂの映像信号の輝度レベルに基づいて、赤外光を投光させるタイミングを調整する。

スレーブの撮像装置101S〜103Sにおける投光制御部７１、赤外線投光器９を第１の投光制御部、第１の赤外線投光器とすると、マスタの撮像装置101M〜103Mにおける投光制御部７１、赤外線投光器９は、第２の投光制御部、第２の赤外線投光器である。

＜第１〜第７実施形態のスレーブの撮像装置のまとめ＞
第１〜第６実施形態のスレーブの撮像装置101S〜106S及び第７実施形態のスレーブの撮像装置は、投光制御部７１（第１の投光制御部）と、撮像部３と、映像処理部５と、輝度レベル判定部７５とを備える。スレーブの撮像装置は、タイミング調整モードに設定されているとき、次のように動作する。投光制御部７１は、波長ＩＲ１〜ＩＲ３の赤外光を無投光とするよう赤外線投光器９（第１の赤外線投光器）を制御する。

撮像部３は、他の撮像装置が備える投光制御部７１によって制御される赤外線投光器９が波長ＩＲ１〜ＩＲ３の赤外光のうちの１つの赤外光のみを３つの分割期間における１つの分割期間内で投光し、残りの２つの分割期間を無投光とした状態で被写体を撮像する。

他の撮像装置とは、マスタの撮像装置101M〜106M及び第７実施形態のマスタの撮像装置である。マスタの撮像装置における投光制御部７１は第２の投光制御部であり、マスタの撮像装置における赤外線投光器９は第２の赤外線投光器である。

または、撮像部３は、第２の赤外線投光器が波長ＩＲ１〜ＩＲ３の赤外光を投光して、赤外線カットフィルタを介した状態で被写体を撮像する。

投光制御部７１は、輝度レベル判定部７５が判定したＲ，Ｇ，Ｂの映像信号の輝度レベルに基づいて、波長ＩＲ１〜ＩＲ３の赤外光を投光させるタイミングを調整する。

第１の投光制御部は、輝度レベル判定部７５が次のように判定した状態となるように、赤外光を投光させるタイミングを調整するのがよい。第２の赤外線投光器が投光したＲに対応付けられた色以外の２つの色の映像信号の輝度レベルが同等の第１のレベルである。かつ、第２の赤外線投光器が投光したＲに対応付けられた色の映像信号の輝度レベルが第１のレベルより大きい第２のレベルである。

＜第１〜第７実施形態の撮像装置の制御方法のまとめ＞
複数の撮像装置を備える撮像システムに用いる撮像装置の制御方法は次のとおりである。複数の撮像装置それぞれが、個々の赤外線投光器９によって、波長ＩＲ１〜ＩＲ３の赤外光を、所定の期間を３分割した３つの分割期間で選択的に投光させるタイミングを互いに同期させる。複数の撮像装置それぞれによって、波長ＩＲ１〜ＩＲ３の赤外光が選択的に投光されている状態で被写体を撮像させる。

＜第４〜第６実施形態の撮像装置の制御方法のまとめ＞
複数の撮像装置を備える撮像システムに用いる撮像装置の制御方法は次のとおりである。複数の撮像装置を共通の基準クロックで動作させる。複数の撮像装置のうちの１つの撮像装置をマスタの撮像装置とし、マスタの撮像装置以外をスレーブの撮像装置とする。

マスタの撮像装置が備える第１の投光制御部が第１の赤外線投光器を制御して、波長ＩＲ１〜ＩＲ３の赤外光とのうちの１つの赤外光のみを、所定の期間を３分割した３つの分割期間における１つの分割期間内で投光させ、残りの２つの分割期間を無投光とする。または、波長ＩＲ１〜ＩＲ３の赤外光を３つの分割期間でそれぞれ投光させる。

スレーブの撮像装置が備える第２の投光制御部が波長ＩＲ１〜ＩＲ３の赤外光を無投光とするよう第２の赤外線投光器を制御する。

スレーブの撮像装置が備える撮像部３が、１つの赤外光のみが投光されている状態か、波長ＩＲ１〜ＩＲ３の赤外光を、赤外線カットフィルタを介した状態で被写体を撮像する。スレーブの撮像装置が備える輝度レベル判定部７５が、撮像部３によって撮像された撮像信号に基づいて生成されたＲ，Ｇ，Ｂそれぞれの映像信号の輝度レベルを判定する。

第２の投光制御部が、輝度レベル判定部７５が判定したＲ，Ｇ，Ｂの映像信号の輝度レベルに基づいて、第２の赤外線投光器によって波長ＩＲ１〜ＩＲ３の赤外光を投光させるタイミングを調整する。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。例えば、図１，図３８，図４０，図４１，図４６，図４７に示す撮像装置において、赤外線投光器９を撮像装置の筐体と着脱自在にしてもよい。赤外線投光器９を、撮像装置外部の構成としてもよい。撮像装置は、赤外線投光器９を装着したときに、赤外線投光器９を制御する構成を有すればよい。

また、複数の撮像装置における赤外光を投光させるタイミングを同期させるには、赤外光を発光させるタイミングと消灯させるタイミングとを完全に一致させなくてもよい。マスタの撮像装置における所定の赤外光に対応する露光区間において、スレーブの撮像装置が、その所定の赤外光以外の赤外光を投光しないようにすればよい。

撮影に影響が少ない程度の時間であれば、マスタの撮像装置における所定の赤外光に対応する露光区間において、スレーブの撮像装置が、その所定の赤外光以外の赤外光を投光することを許容してもよい。

例えば、マスタの撮像装置における所定の赤外光に対応する露光区間の少なくとも半分以上の区間において、スレーブの撮像装置が、その所定の赤外光以外の赤外光を投光しないようにすればよい。

さらに、本発明は以上説明した本実施形態に限定されるものではなく、赤外光を用いた他の撮像技術にも適用可能である。制御部７や映像処理部５は、１または複数のハードウェアのプロセッサを用いて実現することができる。

以上の説明において、マスタとスレーブの定義は各実施形態において異なっていてもよい。

３ 撮像部
５ 映像処理部
７ 制御部
９ 赤外線投光器
７１ 投光制御部
７５ 輝度レベル判定部
７６ｔ 同期信号送信部
７６ｒ 同期信号受信部

Claims (3)

1. 撮像装置であり、
   赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とを、所定の期間を３分割した３つの分割期間で選択的に投光させるそれぞれの期間の長さと順番とを制御するよう、第１の赤外線投光器を制御する第１の投光制御部と、
   前記第１〜第３の赤外光が選択的に投光されている状態で被写体を撮像する撮像部と、
   前記撮像部によって撮像された撮像信号に基づいて赤色と緑色と青色それぞれの映像信号を生成する映像処理部と、
   前記映像処理部が生成した赤色と緑色と青色の映像信号の輝度レベルを判定する輝度レベル判定部と、
   を備え、
   前記撮像装置が、前記第１の投光制御部が前記第１の赤外線投光器によって前記第１〜第３の赤外光を投光させるタイミングを調整するためのタイミング調整モードに設定されているとき、
   前記第１の投光制御部は、前記第１〜第３の赤外光を無投光とするよう前記第１の赤外線投光器を制御し、
   前記撮像部は、前記撮像装置以外の他の撮像装置が備える第２の投光制御部によって制御される第２の赤外線投光器が前記第１〜第３の赤外光のうちの１つの赤外光を前記３つの分割期間における１つの分割期間内で投光し、残りの２つの分割期間を無投光とした状態で被写体を撮像するか、前記第２の赤外線投光器が前記第１〜第３の赤外光を投光して、赤外線カットフィルタを介した状態で被写体を撮像し、
   前記第１の投光制御部は、前記輝度レベル判定部が判定した赤色と緑色と青色の映像信号の輝度レベルに基づいて、前記第１〜第３の赤外光を投光させるタイミングを調整する
   ことを特徴とする撮像装置。
2. 前記第１の投光制御部は、前記第１〜第３の赤外光を投光させるタイミングを、前記輝度レベル判定部が、前記第２の赤外線投光器が投光した赤色に対応付けられた色以外の２つの色の映像信号の輝度レベルが同等の第１のレベルであり、前記第２の赤外線投光器が投光した赤色に対応付けられた色の映像信号の輝度レベルが前記第１のレベルより大きい第２のレベルであると判定した状態のタイミングに調整することを特徴とする請求項１記載の撮像装置。
3. 複数の撮像装置を備える撮像システムに用いる撮像装置の制御方法であり、
   前記複数の撮像装置を共通の基準クロックで動作させ、
   前記複数の撮像装置のうちの１つの撮像装置をマスタの撮像装置とし、前記マスタの撮像装置以外をスレーブの撮像装置とし、
   前記マスタの撮像装置が備える第１の投光制御部が第１の赤外線投光器を制御して、赤色に対応付けられた第１の波長を有する第１の赤外光と、緑色に対応付けられた第２の波長を有する第２の赤外光と、青色に対応付けられた第３の波長を有する第３の赤外光とのうちの１つの赤外光を、所定の期間を３分割した３つの分割期間における１つの分割期間内で投光させ、残りの２つの分割期間を無投光とするか、前記第１〜第３の赤外光を前記３つの分割期間でそれぞれ投光させ、
   前記スレーブの撮像装置が備える第２の投光制御部が前記第１〜第３の赤外光を無投光とするよう第２の赤外線投光器を制御し、
   前記スレーブの撮像装置が備える撮像部が、前記１つの赤外光が投光されている状態か、前記第１〜第３の赤外光を、赤外線カットフィルタを介した状態で被写体を撮像し、
   前記スレーブの撮像装置が備える輝度レベル判定部が、前記撮像部によって撮像された撮像信号に基づいて生成された赤色と緑色と青色それぞれの映像信号の輝度レベルを判定し、
   前記第２の投光制御部が、前記輝度レベル判定部が判定した赤色と緑色と青色の映像信号の輝度レベルに基づいて、前記第２の赤外線投光器によって前記第１〜第３の赤外光を投光させるタイミングを調整する
   ことを特徴とする撮像装置の制御方法。

Images