JP2017108211A - 撮像装置、撮像制御方法、および、プログラム - Google Patents

Abstract

【課題】フレームレートを落とさずに、赤外光を用いてカラー画像を得る。
【解決手段】撮像装置は、第１の画素および第２の画素を備える撮像素子と、前記撮像素子の露光期間、および、赤外光照射部からの赤外光の照射期間を制御する制御部とを備える。制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する。本技術は、例えば、監視カメラに適用できる。
【選択図】図２３

Description

本技術は、撮像装置、撮像制御方法、および、プログラムに関し、特に、赤外光を照射して撮像する場合に用いて好適な撮像装置、撮像制御方法、および、プログラムに関する。

従来、日中の自然光下や白色光などの可視光の照明下で撮像を行うデイモードと、赤外光を照射して撮像を行うナイトモードの２種類のモードを備える監視カメラがある。そのような監視カメラでは、デイモードではカラー画像が得られる。一方、ナイトモードでは、照射した赤外光が被写体で反射した反射光を受光することになるので、Ｒ，Ｇ，Ｂなどの色情報が得られず、反射光（赤外光）の受光強度のみが得られる。よって、得られる画像はグレーやグリーンなどのモノクロ画像となる。

一方、監視カメラの用途を考慮した場合、ナイトモードにおいてもカラー画像を得られることが望ましい。そこで、従来、撮像範囲（被写体）に赤外光を照射した状態で撮像して得られる画像（以下、赤外画像と称する）に基づいてカラー画像を生成する手法が提案されている。

例えば、特許文献１には、赤外光を照射した状態の赤外画像と、赤外光を照射していない低照度下での可視画像をフレーム毎に交互に撮像し、これらを用いてカラー画像を生成する技術が開示されている。

特開２０１１−２３３９８３号公報

しかしながら、特許文献１に記載の発明では、赤外画像と可視画像の２フレーム分の画像からカラー画像が生成されるため、フレームレートが１／２に落ちてしまう。

本技術は、このような状況に鑑みてなされたものであり、フレームレートを落とさずに、赤外光を用いてカラー画像を得ることができるようにするものである。

本技術の一側面の撮像装置は、第１の画素および第２の画素を備える撮像素子と、前記撮像素子の露光期間、および、赤外光照射部からの赤外光の照射期間を制御する制御部とを備え、前記制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する。

主に前記第１の画素からの第１の画素信号に基づいて輝度情報を生成し、主に前記第２の画素からの第２の画素信号に基づいて色情報を生成する画像処理部をさらに設けることができる。

前記画像処理部には、主に前記第１の画素信号に基づいて高周波の輝度情報を生成させ、主に前記第２の画素信号に基づいて色情報および低周波の輝度情報を生成させることができる。

前記第１の画素には、ホワイト画素を含ませ、前記第２の画素には、所定の色の検出に用いるカラー画素を含ませることができる。

前記第１の画素には、赤外光の検出に用いるＩＲ画素を含ませ、前記第２の画素には、所定の色の検出に用いるカラー画素を含ませることができる。

前記第１の画素には、緑色の検出に用いる第１のＧ画素を含ませ、前記第２の画素には、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含ませることができる。

前記第１の画素の露光期間を前記第２の画素の露光期間より長くすることができる。

前記制御部には、周囲の明るさ、および、環境光に含まれる赤外光の強度である環境赤外光強度に基づいて、前記撮像素子の露光期間、および、前記赤外光照射部からの赤外光の照射期間を制御させることができる。

前記制御部には、周囲の明るさが第１の閾値以上第２の閾値未満であり、かつ、前記環境赤外光強度が第３の閾値未満である第１の状態において、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御させることができる。

前記制御部は、周囲の明るさが前記第２の閾値以上である第２の状態において、前記赤外光を照射しないように制御させることができる。

レンズと前記撮像素子の間に挿脱可能で、赤外光成分を減衰するフィルタをさらに設け、前記第１の画素には、緑色の検出に用いる第１のＧ画素を含ませ、前記第２の画素には、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含ませ、前記制御部には、前記第２の状態において、前記レンズと前記撮像素子の間に前記フィルタを挿入させ、前記第２の状態と異なる状態において、前記レンズと前記撮像素子の間から前記フィルタを外させることができる。

前記制御部には、前記第２の状態において、前記第１の画素の露光期間を前記第２の画素の露光期間より短くすることができる。

前記制御部には、周囲の明るさが前記第１の閾値未満である状態、または、周囲の明るさが前記第１の閾値以上前記第２の閾値未満であり、かつ、前記環境赤外光強度が前記第３の閾値以上である状態である第３の状態において、前記赤外光を連続して照射するように制御させることができる。

前記第３の状態において、前記第１の画素からの第１の画素信号、および、前記第２の画素からの第２の画素信号に基づいて、モノクロの画像を生成し、前記第３の状態と異なる状態において、前記第１の画素信号および前記第２の画素信号に基づいて、カラーの画像を生成する画像処理部をさらに設けることができる。

前記制御部には、前記第３の状態において、前記第１の画素と前記第２の画素の露光期間を合わせることができる。

本技術の一側面の撮像制御方法は、各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップとを含む。

本技術の一側面のプログラムは、各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップとを含む処理をコンピュータに実行させる。

本技術の一側面においては、各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間が設けられ、前記単独露光期間内に赤外光が照射される。

本技術の一側面によれば、フレームレートを落とさずに、赤外光を用いてカラー画像を得ることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施の形態における撮像装置の構成例を示すブロック図である。 第１の実施の形態における光学フィルタの透過特性の例を示すグラフである。 第１の実施の形態における撮像素子の構成例を示すブロック図である。 第１の実施の形態における画素配列の例を示す図である。 第１の実施の形態における画素ごとの感度特性の例を示すグラフである。 第１の実施の形態におけるベイヤ化部の構成例を示すブロック図である。 第１の実施の形態における補間前後の画像信号の例を示す図である。 第１の実施の形態における赤外線分離後の感度特性の例を示す図である。 第１の実施の形態における赤外線分離後の色信号の例を示す図である。 第１の実施の形態におけるベイヤ化前後の画像信号の例を示す図である。 第１の実施の形態における輝度・色差調整部の構成例を示すブロック図である。 第１の実施の形態における色差信号補正部の構成例を示すブロック図である。 第１の実施の形態におけるクロマゲインの設定例を示すグラフである。 第１の実施の形態における輝度信号合成部の構成例を示すブロック図である。 第１の実施の形態における合成比率の設定例を示すグラフである。 第１の実施の形態における信号処理部の構成例を示すブロック図である。 第１の実施の形態における撮像モード設定処理の例を示すフローチャートである。 周囲の明るさの判定処理に用いる閾値の例を示す図である。 環境赤外光の強度の判定処理に用いる閾値の例を示す図である。 第１の実施の形態における撮像処理の例を示すフローチャートである。 第１の実施の形態におけるベイヤ化処理の例を示すフローチャートである。 第１の実施の形態におけるデイモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 第１の実施の形態におけるＣＮＶモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 第１の実施の形態におけるナイトモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 第２の実施の形態における撮像装置の構成例を示すブロック図である。 第２の実施の形態における画素配列の例を示す図である。 第２の実施の形態におけるベイヤ化部の構成例を示すブロック図である。 第２の実施の形態における色差調整部の構成例を示すブロック図である。 第２の実施の形態における撮像モード設定処理の例を示すフローチャートである。 第２の実施の形態における撮像処理の例を示すフローチャートである。 第２の実施の形態におけるベイヤ化処理の例を示すフローチャートである。 第２の実施の形態におけるデイモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 第２の実施の形態におけるＣＮＶモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 第２の実施の形態におけるナイトモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 第１の実施の形態における撮像装置の変形例を示すブロック図である。 輝度・色差調整部の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ＲＧＢＷ配列の画素を用いる例）
２．第２の実施の形態（ベイヤ配列の画素を用いる例）
３．変形例
４．応用例

＜１．第１の実施の形態＞
まず、図１乃至図２４を参照して、本技術の第１の実施の形態について説明する。

｛撮像装置１００の構成例｝
図１は、本技術の第１の実施の形態である撮像装置１００の構成例を示すブロック図である。撮像装置１００は、測光部１０１、制御部１０２、赤外光照射部１０３、撮像レンズ１０４、光学フィルタ１０５、撮像素子１０６および画像処理部１０７を備える。また、画像処理部１０７は、ベイヤ化部１２１および信号処理部１２２を備える。

測光部１０１は、撮像装置１００の周囲の明るさを測定し、測定結果を示す測光量Ｑを制御部１０２およびベイヤ化部１２１に供給する。

制御部１０２は、撮像装置１００全体を制御する。例えば、制御部１０２は、画像信号における可視光成分の比率を示す可視光比率Ｒｃをベイヤ化部１２１から取得する。そして、制御部１０２は、測光量Ｑおよび可視光比率Ｒｃに基づいて、撮像装置１００の撮像モードを設定する。制御部１０２は、設定した撮像モードを示すモード信号をベイヤ化部１２１に供給する。

撮像モードは、例えば、デイモード、ＣＮＶモード、ナイトモードの３つに分かれる。デイモードは、例えば、撮像装置１００の周囲が明るい状態で撮像する場合に用いられるモードである。ＣＮＶモードは、例えば、撮像装置１００の周囲が暗く、環境光に含まれる赤外光（以下、環境赤外光と称する）の強度が低い状態で撮像する場合に用いられるモードである。ナイトモードは、例えば、撮像装置１００の周囲が非常に暗い状態、または、撮像装置１００の周囲が暗く、環境赤外光の強度が高い状態で撮像する場合に用いられるモードである。デイモードとＣＮＶモードでは、カラー画像が得られ、ナイトモードでは、モノクロ画像が得られる。

なお、各撮像モードの詳細は、後述する。

また、例えば、制御部１０２は、ユーザの操作などに従って撮像素子１０６を制御して画像信号を生成させる。例えば、制御部１０２は、撮像のタイミングを示す垂直同期信号ＶＳＹＮＣを生成して撮像素子１０６に供給する。また、制御部１０２は、撮像モードに応じて、撮像素子１０６の画素別シャッタのオン／オフを制御する。画素別シャッタとは、後述するように、画素の色毎に露光期間を制御する機能である。

さらに、例えば、制御部１０２は、撮像モードに応じて、赤外光照射部１０３の照射期間を制御する。

また、例えば、制御部１０２は、撮像モードに応じて、ベイヤ化部１２１の赤外線分離部３０３（図６）のオン、オフを制御する。

赤外光照射部１０３は、制御部１０２の制御に従って、赤外光を撮像範囲（被写体）に照射する。

撮像レンズ１０４は、被写体からの光を集光して、光学フィルタ１０５を介して撮像素子１０６に導く。

光学フィルタ１０５は、例えば、撮像レンズ１０４からの光のうち可視光および赤外光を透過するデュアルバンドパスフィルタにより構成される。

図２は、光学フィルタ１０５の透過特性の例を示すグラフである。同図において縦軸は、光学フィルタ１０５の分光透過率を示し、横軸は、光の波長を示す。同図に例示するように、光学フィルタ１０５は、例えば、３８０乃至６５０ナノメートル（ｎｍ）の波長域の可視光と、それより波長の長い赤外光とを透過する。

なお、光学フィルタ１０５を設けない構成とすることもできるが、赤外光を高い精度で分離する観点から、光学フィルタ１０５を設けることが望ましい。

撮像素子１０６は、撮像レンズ１０４および光学フィルタ１０５を介して受光した光を電気信号に変換して、画像データを生成する。撮像素子１０６には、例えば、図４を参照して後述するように、赤色の検出に用いるＲ（Red）画素、緑色の検出に用いるＧ(Green)画素、青色の検出に用いるＢ（Blue）画素、および、可視光全体の検出に用いるＷ（White）画素のそれぞれが二次元格子状に設けられる。

撮像素子１０６は、各画素で光電変換したアナログの電気信号を画素毎にＡＤ（Analog to Digital）変換し、デジタル信号である画素信号を生成し、これらの画素信号を含む画像信号（以下、ＲＧＢＷ画像信号と称する）を生成する。撮像素子１０６としては、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。撮像素子１０６は、生成したＲＧＢＷ画像信号をベイヤ化部１２１に供給する。

ベイヤ化部１２１は、ＲＧＢＷ画像信号から不可視光成分（例えば、赤外光成分）を除去し、不可視光成分を除去したＲＧＢＷ画像信号を、画素信号がベイヤ配列に従って並べられたベイヤ画像信号に変換する。ベイヤ化部１２１は、ベイヤ画像信号を信号処理部１２２に供給する。

信号処理部１２２は、デモザイク処理などの所定の信号処理をベイヤ画像信号に対して行う。信号処理部１２２は、デモザイク処理後の画像信号を、輝度信号および色差信号を画素毎に含むＹＣ画像信号に変換して撮像装置１００の外部の装置（例えば、表示装置等）へ出力する。

なお、撮像装置１００は、ＹＣ画像信号を外部へ出力しているが、この構成に限定されない。例えば、撮像装置１００は、メモリ等の記録部をさらに備え、その記録部にＹＣ画像信号を記録してもよい。また、撮像装置１００は、液晶モニタなどの表示部をさらに備え、その表示部にＹＣ画像信号に基づく画像を表示してもよい。

また、図１では、測光部１０１、制御部１０２、赤外光照射部１０３、撮像レンズ１０４、光学フィルタ１０５、撮像素子１０６および画像処理部１０７を全て撮像装置１００内に設ける例を示しているが、これらを複数の装置に分散して設けてもよい。例えば、測光部１０１、制御部１０２、撮像レンズ１０４、光学フィルタ１０５および撮像素子１０６などを撮像装置１００に設け、画像処理部１０７を画像処理装置に設けてもよい。また、例えば、赤外光照射部１０３を撮像装置１００とは別に設けるようにしてもよい。

｛撮像素子の構成例｝
図３は、撮像素子１０６の構成例を示すブロック図である。撮像素子１０６は、行走査回路２０１、画素アレイ部２０２、タイミング制御回路２０３、ＡＤ（Analog to Digital）変換部２０４および列走査回路２０５を備える。画素アレイ部２０２には、２次元格子状に複数の画素２１１が設けられる。

タイミング制御回路２０３は、行および列の走査のタイミングを制御する。ここで、行は画素アレイ部２０２において、ある一方向に複数の画素２１１が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部２０２において行と直交する方向に複数の画素２１１が配列されたものである。画素アレイ部２０２には、ｎ行、ｍ列の画素２１１が配列される。ここで、ｎおよびｍは整数である。

タイミング制御回路２０３は、制御部１０２からの垂直同期信号ＶＳＹＮＣに同期して、行を走査するタイミングを指示する水平同期信号ＨＳＹＮＣを生成し、行走査回路２０１に供給する。また、タイミング制御回路２０３は、水平同期信号ＨＳＹＮＣに同期して列を走査するタイミングを指示するタイミング信号を生成し、列走査回路２０５に供給する。

行走査回路２０１は、水平同期信号ＨＳＹＮＣに同期して行の各々を選択する。行走査回路２０１は、行選択信号を行の各々へ信号線２０６を介して順に出力することにより行を選択する。また、行走査回路２０１は、行を選択するたびに、その行の画素２１１を、撮像モードに応じて、所定の露光期間に亘って露光させる。

画素２１１は、入射光を電気信号に変換し、対応する列の信号線２０７を介して、生成した電気信号をＡＤ変換部２０４に供給する。

図４は、画素アレイ部２０２の画素２１１の配列の例を示している。この例では、縦４画素×横４画素からなるパターンを１単位とする画素配列の例が示されており、Ｒ画素：Ｇ画素：Ｂ画素：Ｗ画素＝２：４：２：８の割合で、画素２１１が配置されている。より具体的には、Ｗ画素は、市松状に配置されている。Ｒ画素は、４行目の１列目と２行目の３列目に配置されている。Ｂ画素は、１行目の２列目と４行目の３列目に配置されている。Ｇ画素は、残りの画素位置に配置されている。そして、この画素配列のパターンが、画素アレイ部２０２上の行方向及び列方向に繰り返し配置される。

図５は、画素２１１ごとの感度特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その波長の光に対する画素２１１の感度を示す。また、実線は、Ｗ画素の感度特性を示し、細かい点線は、Ｒ画素の感度特性を示す。また、一点鎖線は、Ｇ画素の感度特性を示し、粗い点線は、Ｂ画素の感度特性を示す。

Ｒ画素、Ｇ画素およびＢ画素のそれぞれの感度は、赤、緑および青のそれぞれの可視光に対してピークを示す。Ｗ画素の感度は、Ｒ画素、Ｇ画素およびＢ画素の感度の波形を包含するような波形を示す。Ｒ、Ｇ、ＢおよびＷ画素の赤外光に対する感度は同程度である。

また、後述するように、Ｗ画素が、赤外光照射部１０３からの赤外光の受光に用いられる赤外光受光用の画素に設定される。一方、Ｒ画素、Ｇ画素およびＢ画素は、赤外光照射部１０３からの赤外光の受光に用いられない画素に設定される。

図３に戻り、ＡＤ変換部２０４は、列ごとに設けられ、画素２１１からの電気信号をＡＤ変換してデジタル信号を生成する。また、列走査回路２０５により選択された列のＡＤ変換部２０４は、生成したデジタル信号を画素信号として画像処理部１０７のベイヤ化部１２１に供給する。

列走査回路２０５は、タイミング信号に従って、列選択信号をＡＤ変換部２０４のそれぞれに順に出力することにより列を選択する。

｛ベイヤ化部の構成例｝
図６は、ベイヤ化部１２１の構成例を示すブロック図である。ベイヤ化部１２１は、ＲＧＢＷ補間フィルタ３０１、Ｗ補間フィルタ３０２、赤外線分離部３０３、ホワイトバランス処理部３０４、比率算出部３０５、輝度・色差調整部３０６、高周波成分抽出部３０７、高周波成分復元部３０８およびベイヤ画像信号出力部３０９を備える。

ＲＧＢＷ補間フィルタ３０１は、ＲＧＢＷ画像信号において、画素信号ごとに色信号の全てを補間する。

ここで、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれは、可視光とともに赤外光を受光して、それらの光から、１つの色信号を含む画素信号を生成する。このため、これらの画素の色信号は、可視光から光電変換された信号である可視光成分と、赤外光から光電変換された信号である赤外光成分とを含む。したがって、赤外光成分を分離する前のＲ画素、Ｇ画素、Ｂ画素およびＷ画素の各色信号を以下、「Ｒ_＋ＩＲ」、「Ｇ_＋ＩＲ」、「Ｂ_＋ＩＲ」および「Ｗ_＋ＩＲ」と称する。添え字の「_＋ＩＲ」は、色信号に赤外光成分が含まれていることを示す。

ＲＧＢＷ補間フィルタ３０１は画素信号に順に着目し、着目した画素信号を補間対象として、その周囲の画素信号を用いて、例えば、次の式（１）乃至（４）を使用して色信号を補間する。

式（１）乃至（４）において、Ｍは、補間に用いられる画素信号の個数であり、以下、タップ数と称する。ｉは、０乃至Ｍ−１の整数であり、補間に用いられる画素信号を識別する番号を示す。ｋ_ｉは実数の係数である。係数ｋ_ｉは、ｉに係る画素信号から補間対象までの距離が近いほど大きな値に設定され、その距離が同一であれば同じ値に設定される。例えば、補間対象の上下左右のＲ_＋ＩＲ__０乃至Ｒ_＋ＩＲ__３が補間に用いられる場合には、それらの補間対象までの距離は同一であるため、係数ｋ_０乃至ｋ_３の全てに１／４が設定される。

ＲＧＢＷ補間フィルタ３０１は、補間後のＲ_{＋ＩＲ_Ｌ}信号、Ｇ_{＋ＩＲ_Ｌ}信号およびＢ_{＋ＩＲ_Ｌ}信号を赤外線分離部３０３に供給し、Ｗ_{＋ＩＲ_Ｌ}信号を赤外線分離部３０３、比率算出部３０５、輝度・色差調整部３０６、高周波成分抽出部３０７および高周波成分復元部３０８に供給する。

図７は、ＲＧＢＷ補間フィルタ３０１による補間前後の画像信号の例を示している。補間前のＲＧＢＷ画像信号３２１において、Ｒ_＋ＩＲ信号、Ｇ_＋ＩＲ信号、Ｂ_＋ＩＲ信号およびＷ_＋ＩＲ信号のそれぞれが、上述した図４と同様の配列により並べられている。

データ３２２Ｗは、補間後のＷ_{＋ＩＲ_Ｌ}信号からなるデータの例を示している。データ３２２Ｒは、補間後のＲ_{＋ＩＲ_Ｌ}信号からなるデータの例を示している。データ３２２Ｇは、補間後のＧ_{＋ＩＲ_Ｌ}信号からなるデータの例を示している。データ３２２Ｂは、補間後のＢ_{＋ＩＲ_Ｌ}信号からなるデータの例を示している。これらのデータ３２２Ｗ乃至３２２Ｇに示すように、画素ごとに、全ての色信号が補間される。

Ｗ補間フィルタ３０２は、ＲＧＢＷ画像信号において、上述した式（４）などを使用して、画素ごとにＷ_＋ＩＲ信号を補間する。ただし、Ｗ画素においては、周囲の画素信号からの補間を行う必要はない。

また、Ｗ補間フィルタ３０２のタップ数Ｍの値は、ＲＧＢＷ補間フィルタ３０１よりも小さな値に設定される。例えば、ＲＧＢＷ補間フィルタ３０１では、タップ数Ｍは８１（＝９行×９列）に設定される。一方、Ｗ補間フィルタ３０２では、タップ数Ｍは２５（＝５行×５列）に設定される。Ｗ補間フィルタ３０２は、補間後のＷ_＋ＩＲ’信号を高周波成分抽出部３０７に供給する。

なお、Ｗ補間フィルタ３０２は、特定方向におけるエッジを検出し、そのエッジの方向に沿った画素信号を優先的に用いて補間を行ってもよい。例えば、Ｗ補間フィルタ３０２は、水平方向や垂直方向におけるエッジを検出する。そして、Ｗ補間フィルタ３０２は、水平方向のエッジを検出した場合には、補間対象の上下の画素信号の平均により補間し、垂直方向のエッジを検出した場合には、補間対象の左右の画素信号の平均により補間する。ＲＧＢＷ補間フィルタ３０１も同様に、エッジを検出し、そのエッジの方向に沿った画素信号を優先的に用いて補間を行ってもよい。

赤外線分離部３０３は、制御部１０２の制御に従って、オンまたはオフする。赤外線分離部３０３は、オンしている場合、Ｒ_{＋ＩＲ_Ｌ}信号、Ｇ_{＋ＩＲ_Ｌ}信号およびＢ_{＋ＩＲ_Ｌ}信号のそれぞれから赤外光成分を分離して除去する。例えば、赤外線分離部３０３は、次の式（５）乃至（８）を使用して、赤外光成分を分離して除去する。

ＩＲ＝（Ｒ_{＋ＩＲ_Ｌ}＋Ｇ_{＋ＩＲ_Ｌ}＋Ｂ_{＋ＩＲ_Ｌ}−Ｗ_{＋ＩＲ_Ｌ}）／２ ・・・（５）
Ｒ_Ｌ＝Ｒ_{＋ＩＲ_Ｌ}−ＩＲ ・・・（６）
Ｇ_Ｌ＝Ｇ_{＋ＩＲ_Ｌ}−ＩＲ ・・・（７）
Ｂ_Ｌ＝Ｂ_{＋ＩＲ_Ｌ}−ＩＲ ・・・（８）

式（５）乃至（８）において、ＩＲは、赤外光成分を示す。また、Ｒ_Ｌ、Ｇ_ＬおよびＢ_Ｌは、赤外光成分が除去された色信号を示す。

なお、式（５）乃至（８）は、赤外光成分の分離および除去を行うための数式の一例であり、赤外線分離部３０３は、他の数式を用いて赤外光成分の分離および除去を行うことも可能である。

赤外線分離部３０３は、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号をホワイトバランス処理部３０４に供給する。また、赤外線分離部３０３は、分離した赤外光成分ＩＲを比率算出部３０５に供給する。

図８は、赤外線分離後の感度特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その光に対する画素の感度を示す。実際には、感度でなく、画素信号から赤外光成分と可視光成分とが分離されるが、同図では、これらの成分を感度に置き換えて表している。同図の実線は、赤外光成分ＩＲの感度特性を示し、細かい点線は、Ｒ_Ｌ信号の感度特性を示す。また、一点鎖線は、Ｇ_Ｌ信号の感度特性を示し、粗い点線は、Ｂ_Ｌ信号の感度特性を示す。同図に例示するように、色信号のそれぞれにおいて、ある程度、赤外光成分ＩＲが除去されている。

図９は、赤外線分離後の色信号の例を示している。データ３２３Ｒは、図７のデータ３２２Ｒに対して赤外線分離を行った後のＲ_Ｌ信号からなるデータの例を示している。データ３２３Ｇは、図７のデータ３２２Ｇに対して赤外線分離を行った後のＧ_Ｌ信号からなるデータの例を示している。データ３２３Ｂは、図７のデータ３２２Ｂに対して赤外線分離を行った後のＢ_Ｌ信号からなるデータの例を示している。これらのデータ３２３Ｒ乃至３２３Ｂに示すように、色信号のそれぞれから赤外光成分が除去される。

一方、赤外線分離部３０３は、オフしている場合、Ｒ_{＋ＩＲ_Ｌ}信号、Ｇ_{＋ＩＲ_Ｌ}信号およびＢ_{＋ＩＲ_Ｌ}信号のそれぞれから赤外光成分を分離および除去せずに、そのままＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号としてホワイトバランス処理部３０４に供給する。この場合、Ｒ_{＋ＩＲ_Ｌ}信号、Ｇ_{＋ＩＲ_Ｌ}信号およびＢ_{＋ＩＲ_Ｌ}信号と、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号との関係は、次の式（９）乃至（１１）のようになる。

Ｒ_Ｌ＝Ｒ_{＋ＩＲ_Ｌ} ・・・（９）
Ｇ_Ｌ＝Ｇ_{＋ＩＲ_Ｌ} ・・・（１０）
Ｂ_Ｌ＝Ｂ_{＋ＩＲ_Ｌ} ・・・（１１）

ホワイトバランス処理部３０４は、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号においてホワイトバランスを調整する。ホワイトバランス処理部３０４は、例えば、Ｒ_Ｌ信号およびＢ_Ｌ信号のそれぞれに対して、ゲインを乗算することにより、ホワイトバランスを調整する。ホワイトバランス処理部３０４は、ホワイトバランスを調整したＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を輝度・色差調整部３０６に供給する。

比率算出部３０５は、例えば、次の式（１２）乃至（１４）を使用して可視光比率Ｒｃを算出し、制御部１０２および輝度・色差調整部３０６に供給する。

式（１２）において、Ｎは、画像信号内の画素信号の個数である。ＩＲ_ｊは、ｊ（ｊは、０乃至Ｎ−１の整数）番目の画素信号内の赤外光成分を示す。ＩＲ_ａｖは、赤外光成分の平均値である。また、式（１３）において、Ｗ_{＋ＩＲ_Ｌ_ｊ}は、ｊ番目のＷ_{＋ＩＲ_Ｌ}信号を示す。Ｗ_{＋ＩＲ_Ｌ_ａｖ}は、Ｗ_{＋ＩＲ_Ｌ}信号の平均値である。

輝度・色差調整部３０６は、撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて、輝度信号および色差信号を調整する。具体的には、輝度・色差調整部３０６は、画素信号ごとに、その画素信号内のＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を輝度信号および色差信号に変換する。そして、輝度・色差調整部３０６は、それらの輝度信号および色差信号を、撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて調整し、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に戻して高周波成分復元部３０８に供給する。

高周波成分抽出部３０７は、ＲＧＢＷ補間フィルタ３０１からのＷ_{＋ＩＲ_Ｌ}信号と、Ｗ補間フィルタ３０２からのＷ_＋ＩＲ’信号との差分を高周波成分Ｗ_{＋ＩＲ_Ｈ}として抽出する。前述したように、Ｗ補間フィルタ３０２のタップ数Ｍは、ＲＧＢＷ補間フィルタ３０１よりも小さい。このため、Ｗ補間フィルタ３０２からのＷ_＋ＩＲ’信号には、ＲＧＢＷ補間フィルタ３０１からのＷ_{＋ＩＲ_Ｌ}信号よりも高い周波数成分が含まれている。したがって、それらの差分をとることにより、高周波成分Ｗ_{＋ＩＲ_Ｈ}を抽出することができる。高周波成分抽出部３０７は、抽出した高周波成分Ｗ_{＋ＩＲ_Ｈ}を高周波成分復元部３０８に供給する。

高周波成分復元部３０８は、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号において高周波成分Ｗ_{＋ＩＲ_Ｈ}を復元する。高周波成分復元部３０８は、例えば、次の式（１５）乃至（１７）を使用して、高周波成分Ｗ_{＋ＩＲ_Ｈ}を復元する。

Ｒ＝Ｒ_Ｌ＋Ｗ_{＋ＩＲ_Ｈ}×Ｒ_Ｌ／Ｗ_{＋ＩＲ_Ｌ} ・・・（１５）
Ｇ＝Ｇ_Ｌ＋Ｗ_{＋ＩＲ_Ｈ}×Ｇ_Ｌ／Ｗ_{＋ＩＲ_Ｌ} ・・・（１６）
Ｂ＝Ｂ_Ｌ＋Ｗ_{＋ＩＲ_Ｈ}×Ｂ_Ｌ／Ｗ_{＋ＩＲ_Ｌ} ・・・（１７）

式（１５）乃至（１７）において、Ｒ、ＧおよびＢは、復元後の色信号である。ＲＧＢＷ補間フィルタ３０１における補間により、各色信号の高周波成分が失われるため、そのままでは画像の画質が低下してしまう。しかし、その高周波成分を高周波成分復元部３０８において復元することにより、復元しない場合と比較して画質が向上する。高周波成分復元部３０８は、復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。

ベイヤ画像信号出力部３０９は、Ｒ信号、Ｇ信号およびＢ信号をベイヤ配列に従って並べ、ベイヤ画像信号として信号処理部１２２へ出力する。

図１０は、ベイヤ化前後の画像信号の例を示している。データ３２４Ｒは、高周波成分を復元した後のＲ信号からなるデータの例を示している。データ３２４Ｇは、高周波成分を復元した後のＧ信号からなるデータの例を示している。データ３２４Ｂは、高周波成分を復元した後のＢ信号からなるデータの例を示している。なお、データ３２４Ｒ乃至３２４Ｂにおいて、Ｒ信号、Ｇ信号およびＢ信号のそれぞれの添え字は、画素信号が並べられる行および列の位置を示す。例えば、１行目および１列目のＲ信号は、Ｒ_１１と表記され、１行目および２列目のＲ信号は、Ｒ_１２と表記される。

そして、高周波成分復元後のＲ信号、Ｇ信号およびＢ信号のそれぞれが、ベイヤ配列に従って並べられ、ベイヤ画像信号３２５が生成される。例えば、データ３２４Ｒの４×４のＲ信号のうち、Ｒ_２１、Ｒ_２３、Ｒ_４１およびＲ_４３が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。また、例えば、データ３２４Ｇの４×４のＧ信号のうち、Ｇ_１１、Ｇ_１３、Ｇ_２２、Ｇ_２４、Ｇ_３１、Ｇ_３３、Ｇ_４２およびＧ_４４が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。また、例えば、データ３２４Ｂの４×４のＢ信号のうち、Ｂ_１２、Ｂ_１４、Ｂ_３２およびＢ_３４が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。このようにして、Ｒ信号、Ｇ信号およびＢ信号がベイヤ配列で並べられたベイヤ画像信号３２５が生成される。

なお、Ｗ補間フィルタ３０２、高周波成分抽出部３０７および高周波成分復元部３０８により、高周波成分の抽出および復元を行っているが、これらを設けない構成としてもよい。ただし、画質を向上させる観点から、Ｗ補間フィルタ３０２、高周波成分抽出部３０７および高周波成分復元部３０８を設けることが望ましい。

また、比率算出部３０５および輝度・色差調整部３０６をベイヤ化部１２１に設けているが、これらを後段の信号処理部１２２に設けてもよい。ただし、画質を向上させる観点から、比率算出部３０５および輝度・色差調整部３０６をベイヤ化部１２１に設けることが望ましい。

さらに、ベイヤ画像信号出力部３０９を設けない構成とし、画像信号をベイヤ化せずに信号処理部１２２に供給するようにしてもよい。

｛輝度・色差調整部の構成例｝
図１１は、輝度・色差調整部３０６の構成例を示すブロック図である。輝度・色差調整部３０６は、ＹＣ変換部３５１、飽和色消し部３５２、色差信号補正部３５３、輝度信号合成部３５４およびＲＧＢ変換部３５５を備える。

ＹＣ変換部３５１は、画素毎に、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を輝度信号Ｙ_Ｌと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、例えば、ＩＴＵ−Ｒ(International Telecommunication Union Radiocommunication Sector) ＢＴ．６０１の規格に基づいて次の式（１８）乃至（２０）により変換を行う。ＹＣ変換部３５１は、輝度信号Ｙ_Ｌと色差信号ＣｒおよびＣｂとを飽和色消し部３５２に供給する。

Ｙ_Ｌ＝０．２９９×Ｒ_Ｌ＋０．５８７×Ｇ_Ｌ＋０．１４４×Ｂ_Ｌ
・・・（１８）
Ｃｂ＝−０．１６８７３６×Ｒ_Ｌ−０．３３１２６４×Ｇ_Ｌ＋０．５×Ｂ_Ｌ
・・・（１９）
Ｃｒ＝０．５×Ｒ_Ｌ−０．４１８６８８×Ｇ_Ｌ−０．０８１３１２×Ｂ_Ｌ
・・・（２０）

飽和色消し部３５２は、入力信号(Ｒ_＋ＩＲ、Ｇ_＋ＩＲ、Ｂ_＋ＩＲ、Ｗ_＋ＩＲ)のいずれかが飽和して、赤外線分離が正しく行われず誤った色となることを防ぐために用いられる。飽和レベルとして、例えば、Ｗ_{＋ＩＲ_Ｌ}の信号レベルが用いられる。Ｗ_{＋ＩＲ_Ｌ}の信号レベルが飽和レベルを超えると、飽和色消し部３５２は、１未満のゲインを、その信号に乗じて、飽和した分の色消しを行う。飽和色消し部３５２は、色消し後の色差信号ＣｒおよびＣｂを色差信号補正部３５３に供給し、色消し後の輝度信号Ｙ_Ｌを輝度信号合成部３５４に供給する。

色差信号補正部３５３は、色差信号ＣｒおよびＣｂを補正する。具体的には、色差信号補正部３５３は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、クロマゲインＧｃを設定する。そして、色差信号補正部３５３は、設定したゲインを色差信号ＣｒおよびＣｂのそれぞれに乗じる補正を行い、補正後の色差信号Ｃｒ’およびＣｂ’信号をＲＧＢ変換部３５５に供給する。クロマゲインの設定方法の詳細については後述する。

輝度信号合成部３５４は、輝度信号Ｙ_Ｌと色信号Ｗ_{＋ＩＲ_Ｌ}とを合成する。具体的には、輝度信号合成部３５４は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて合成比率αを設定する。そして、輝度信号合成部３５４は、設定した合成比率αにより輝度信号Ｙ_Ｌと色信号Ｗ_{＋ＩＲ_Ｌ}とを合成して輝度信号Ｙ_Ｌ’を生成し、ＲＧＢ変換部３５５に供給する。合成比率の設定方法の詳細については後述する。

ＲＧＢ変換部３５５は、画素毎に、輝度信号Ｙ_Ｌ’および色差信号Ｃｒ’，Ｃｂ’をＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に変換して高周波成分復元部３０８に供給する。ＲＧＢ変換部３５５は、例えば、ＩＴＵ−Ｒ ＢＴ．６０１の規格に基づいて次の式（２１）乃至（２３）を使用して変換を行う。

Ｒ_Ｌ＝Ｙ_Ｌ’＋１．４０２×Ｃｒ’ ・・・（２１）
Ｇ_Ｌ＝Ｙ_Ｌ’−０．３４４１３６×Ｃｒ’−０．７１４１３６×Ｃｂ’
・・・（２２）
Ｂ_Ｌ＝Ｙ_Ｌ’＋１．７７２×Ｃｂ’ ・・・（２３）

｛色差信号補正部の構成例｝
図１２は、色差信号補正部３５３の構成例を示すブロック図である。色差信号補正部３５３は、クロマゲイン制御部４０１と、乗算器４０２および４０３とを備える。

クロマゲイン制御部４０１は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、色差信号に乗算するゲインであるクロマゲインＧｃを制御する。

例えば、クロマゲイン制御部４０１は、デイモードまたはＣＮＶモードに設定されている場合、図１３のグラフを用いて、クロマゲインＧｃを設定する。

図１３の縦軸は、クロマゲインＧｃを示し、横軸は測光量Ｑを示す。また、同図の一点鎖線は、可視光比率Ｒｃが１．０の場合のクロマゲインＧｃの設定例であり、実線は、可視光比率Ｒｃが０．９の場合のクロマゲインＧｃの設定例である。また、点線は、可視光比率Ｒｃが０．８の場合のクロマゲインＧｃの設定例である。同図に例示するように、測光量Ｑが小さいほど、また、可視光比率Ｒｃが低い（すなわち、赤外光成分の割合が高い）ほど、小さなクロマゲインＧｃが設定される。この結果、撮像装置１００の周囲が暗いほど、あるいは、赤外光成分の割合が高いほど、画像をモノクロ画像に近づけて、画像信号のＳＮ（Signal-to-Noise）比を良好に保つことができる。

一方、クロマゲイン制御部４０１は、ナイトモードに設定されている場合、クロマゲインＧｃの値を０に設定する。

クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。

なお、クロマゲイン制御部４０１を画像処理部１０７内に設けているが、例えば、このクロマゲイン制御部４０１を制御部１０２内に設けてもよい。

乗算器４０２は、色差信号ＣｒにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５５に供給する。

乗算器４０３は、色差信号ＣｂにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５５に供給する。

従って、デイモードまたはＣＮＶモードに設定されている場合、色差信号Ｃｒ’、Ｃｂ’は、次の式（２４）および（２５）のようになる。

Ｃｒ’＝Ｇｃ×Ｃｒ ・・・（２４）
Ｃｂ’＝Ｇｃ×Ｃｂ ・・・（２５）

一方、ナイトモードに設定されている場合、色差信号Ｃｒ’、Ｃｂ’は、次の式（２６）および（２７）のようになる。

Ｃｒ’＝０ ・・・（２６）
Ｃｂ’＝０ ・・・（２７）

従って、ナイトモードに設定されている場合、ＲＧＢ変換部３５５から出力されるＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号は、輝度信号Ｙ_Ｌ’のみを含むようになり、モノクロの画像信号となる。

｛輝度信号合成部の構成例｝
図１４は、輝度信号合成部３５４の構成例を示すブロック図である。輝度信号合成部３５４は、合成比率制御部４５１と、乗算器４５２および４５３と、加算器４５４とを備える。

合成比率制御部４５１は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、合成比率αを制御する。

例えば、合成比率制御部４５１は、デイモードまたはＣＮＶモードに設定されている場合、図１５のグラフを用いて、合成比率αを設定する。

図１５の縦軸は、合成比率αを示し、横軸は測光量Ｑを示す。また、同図の一点鎖線は、可視光比率Ｒｃが１．０の場合の合成比率αの設定例であり、実線は、可視光比率Ｒｃが０．９の場合の合成比率αの設定例である。また、点線は、可視光比率Ｒｃが０．８の場合の合成比率αの設定例である。

同図に例示するように、測光量Ｑが小さいほど、また、赤外光成分の割合が高いほど、小さな合成比率αが設定される。この結果、撮像装置１００の周囲が暗いほど、または、赤外光成分の比率が高いほど、ＳＮ比が良好なＷ_{＋ＩＲ_Ｌ}信号の割合を高くすることができる。したがって、画像の画質を向上することができる。

一方、合成比率制御部４５１は、ナイトモードに設定されている場合、合成比率αの値を０に設定する。

合成比率制御部４５１は、設定した合成比率αを乗算器４５２に供給し、合成比率αを１から減算した減算結果１−αを乗算器４５３に供給する。

なお、合成比率制御部４５１を画像処理部１０７内に設けているが、例えば、この合成比率制御部４５１を制御部１０２内に設けてもよい。

乗算器４５２は、合成比率αを輝度信号Ｙ_Ｌに乗算して乗算結果を加算器４５４に供給する。

乗算器４５３は、合成比率制御部４５１からの減算結果１−αをＷ_{＋ＩＲ_Ｌ}信号に乗算して乗算結果を加算器４５４に供給する。

加算器４５４は、乗算器４５２および４５３のそれぞれの乗算結果を加算し、その加算結果を輝度信号Ｙ_Ｌ’としてＲＧＢ変換部３５５に供給する。

従って、デイモードまたはＣＮＶモードに設定されている場合、輝度信号Ｙ_Ｌ’は、次の式（２８）のようになる。

Ｙ_Ｌ’＝α×Ｙ_Ｌ＋（１−α）×Ｗ_{＋ＩＲ_Ｌ} ・・・（２８）

上述した図１５に示されるように、測光量Ｑが所定のレベル以上の場合、合成比率αは１に設定される。従って、輝度信号Ｙ_Ｌ’は、Ｒ画素、Ｇ画素およびＢ画素の画素信号から生成された輝度信号Ｙ_Ｌのみを含むようになる。

一方、測光量Ｑが小さいほど、また、赤外光成分の割合が高いほど、小さな合成比率αが設定される。この結果、撮像装置１００の周囲が暗いほど、または、赤外光成分の比率が高いほど、輝度信号Ｙ_Ｌ’において、ＳＮ比が良好なＷ_{＋ＩＲ_Ｌ}信号の割合を高くすることができる。

一方、ナイトモードに設定されている場合、輝度信号Ｙ_Ｌ’は、次の式（２９）のようになる。

Ｙ_Ｌ’＝Ｗ_{＋ＩＲ_Ｌ} ・・・（２９）

すなわち、ナイトモードに設定されている場合、輝度信号Ｙ_Ｌ’は、ＳＮ比が良好なＷ_{＋ＩＲ_Ｌ}信号のみが含まれるようになる。

したがって、いずれの撮像モードにおいても、特に低周波の輝度情報の再現性が向上し、画質が向上する。

｛信号処理部の構成例｝
図１６は、信号処理部１２２の構成例を示すブロック図である。信号処理部１２２は、デモザイク処理部５０１、リニアマトリックス演算部５０２、ガンマ補正部５０３およびＹＣ変換部５０４を備える。

デモザイク処理部５０１は、所定のデモザイクアルゴリズムを使用して、ベイヤ画像信号を、画像信号ごとにＲ信号、Ｇ信号およびＢ信号を含むデモザイク画像信号に変換する。デモザイク処理部５０１は、変換後のデモザイク画像信号をリニアマトリックス演算部５０２に供給する。

リニアマトリックス演算部５０２は、色再現性を高める目的でリニアマトリックス演算を行う。リニアマトリックス演算部５０２は、例えば、次の式（３０）乃至（３２）に示すリニアマトリックス演算を行う。

Ｒ’＝Ｒ＋ｋ_ａ×（Ｒ−Ｇ）＋ｋ_ｂ×（Ｒ−Ｂ） ・・・（３０）
Ｇ’＝Ｒ＋ｋ_ｃ×（Ｇ−Ｒ）＋ｋ_ｄ×（Ｇ−Ｂ） ・・・（３１）
Ｂ’＝Ｂ＋ｋ_ｅ×（Ｂ−Ｒ）＋ｋ_ｆ×（Ｂ−Ｇ） ・・・（３２）

式（３０）乃至（３２）において、ｋ_ａ、ｋ_ｂ、ｋ_ｃ、ｋ_ｄ、ｋ_ｅおよびｋ_ｆは、実数の係数である。

リニアマトリックス演算部５０２は、演算後のＲ’信号、Ｇ’信号およびＢ’信号をガンマ補正部５０３に供給する。このリニアマトリックス演算により、輝度信号や色差信号の信号レベルが変化する。このため、リニアマトリックス演算の前に、色差信号補正部３５３における色信号の補正や、輝度信号合成部３５４における輝度信号の合成を行うことが望ましい。これらの補正や合成を、前述したようにベイヤ化部１２１で行うことにより、画質を向上させることができる。

ガンマ補正部５０３は、ディスプレイの特性に合わせて、ガンマ補正を行う。ガンマ補正部５０３は、補正後のデモザイク画像信号をＹＣ変換部５０４に供給する。

ＹＣ変換部５０４は、デモザイク画像において、Ｒ’信号、Ｇ’信号およびＢ’信号を輝度信号および色差信号に変換する。ＹＣ変換部５０４は、例えば、上述した式（１８）乃至（２０）を使用して変換を行い、変換後の画像信号をＹＣ画像信号として出力する。なお、ＹＣ変換部５０４は、式（１８）乃至（２０）において、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号の代わりに、Ｒ’信号、Ｇ’信号およびＢ’信号を用いる。

なお、上述したようにベイヤ化部１２１においてベイヤ画像信号出力部３０９を設けない構成とした場合、信号処理部１２２において、デモザイク処理部５０１を設けない構成とすることが可能である。

｛撮像装置１００の処理｝
次に、図１７乃至図２４を参照して、撮像装置１００の処理について説明する。

（撮像モード設定処理）
まず、図１７のフローチャートを参照して、撮像装置１００により実行される撮像モード設定処理について説明する。この処理は、例えば、撮像を開始するときや、撮像中の所定の間隔ごと等の所定のタイミングで実行される。

ステップＳ１において、撮像装置１００は、赤外光の照射、画素別シャッタをオフする。具体的には、制御部１０２は、赤外光照射部１０３を制御して消灯させる。また、制御部１０２は、撮像素子１０６を制御して、画素別シャッタをオフする。

ステップＳ２において、制御部１０２は、赤外線分離部３０３をオンする。

ステップＳ３において、制御部１０２は、周囲の明るさの判定を行う。例えば、制御部１０２は、図１８に示されるように、測光部１０１による測光量Ｑに基づいて、周囲の明るさを「明るい」、「暗い」、「非常に暗い」の３段階に分ける。具体的には、測光量Ｑが０から撮像素子１０６の光電変換素子が飽和するレベルまでの範囲内において、閾値ＴＨ_Ｑ０及び閾値ＴＨ_Ｑ１が予め設定されている。そして、制御部１０２は、測光量Ｑ≧閾値ＴＨ_Ｑ１の場合、周囲が明るいと判定し、閾値ＴＨ_Ｑ０≦測光量Ｑ＜閾値ＴＨ_Ｑ１の場合、周囲が暗いと判定し、測光量Ｑ＜閾値ＴＨ_Ｑ０の場合、周囲が非常に暗いと判定する。そして、周囲が暗いと判定された場合、処理はステップＳ４に進む。

ステップＳ４において、制御部１０２は、環境赤外光の強度の判定を行う。具体的には、上述したように、比率算出部３０５は、式（１２）乃至（１４）を使用して可視光比率Ｒｃを算出し、制御部１０２に供給する。

制御部１０２は、可視光比率Ｒｃに基づいて、環境赤外光の強度の判定を行う。例えば、図１９に示されるように、可視光比率Ｒｃの０から１までの範囲内において、閾値ＴＨ_Ｒｃが予め設定されている。制御部１０２は、可視光比率Ｒｃ≧ＴＨ_Ｒｃの場合、環境赤外光の強度が低いと判定し、可視光比率Ｒｃ＜ＴＨ_Ｒｃの場合、環境赤外光の強度が高いと判定する。そして、環境赤外光の強度が高いと判定された場合、処理はステップＳ５に進む。

一方、ステップＳ３において、周囲が非常に暗いと判定された場合、ステップＳ４の処理はスキップされ、処理はステップＳ５に進む。

ステップＳ５において、制御部１０２は、ナイトモードに設定する。すなわち、制御部１０２は、周囲が非常に暗い状態、または、周囲が暗く、環境赤外光の強度が高い状態の場合、ナイトモードに設定する。制御部１０２は、ナイトモードに設定したことを示すモード信号をクロマゲイン制御部４０１および合成比率制御部４５１に供給する。

ステップＳ６において、赤外光照射部１０３は、制御部１０２の制御に従って、赤外光の連続照射を開始する。このとき、画素別シャッタはオフされたままとなる。

なお、ナイトモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２４を参照して後述する。

ステップＳ７において、制御部１０２は、赤外線分離部３０３をオフする。

その後、撮像モード設定処理は終了する。

一方、ステップＳ４において、環境赤外光の強度が低いと判定された場合、処理はステップＳ８に進む。

ステップＳ８において、制御部１０２は、ＣＮＶモードに設定する。すなわち、制御部１０２は、周囲が暗く、環境赤外光の強度が低い状態の場合、ＣＮＶモードに設定する。制御部１０２は、ＣＮＶモードに設定したことを示すモード信号をクロマゲイン制御部４０１および合成比率制御部４５１に供給する。

ステップＳ９において、撮像装置１００は、赤外光の間欠照射を開始し、画素別シャッタをオンする。具体的には、赤外光照射部１０３を制御して、赤外光の間欠照射を開始させる。また、制御部１０２は、撮像素子１０６を制御して、画素別シャッタをオンする。

なお、ＣＮＶモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２３を参照して後述する。

ステップＳ１０において、制御部１０２は、赤外線分離部３０３をオフする。

その後、撮像モード設定処理は終了する。

一方、ステップＳ３において、周囲が明るいと判定された場合、処理はステップＳ１１に進む。

ステップＳ１１において、制御部１０２は、デイモードに設定する。制御部１０２は、デイモードに設定したことを示すモード信号をクロマゲイン制御部４０１および合成比率制御部４５１に供給する。

ステップＳ１２において、制御部１０２は、撮像素子１０６を制御して、画素別シャッタをオンする。このとき、赤外光照射部１０３は消灯したままとなる。また、赤外線分離部３０３は、オンされたままとなる。

なお、デイモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２２を参照して後述する。

その後、撮像モード設定処理は終了する。

（撮像処理）
次に、図２０のフローチャートを参照して、撮像装置１００により実行される撮像処理について説明する。

ステップＳ１０１において、撮像素子１０６は、ＲＧＢＷ画像を撮像する。具体的には、撮像素子１０６は、撮像レンズ１０４および光学フィルタ１０５を介して受光した光の像を撮像し、撮像の結果得られたＲＧＢＷ画像信号をＲＧＢＷ補間フィルタ３０１及びＷ補間フィルタ３０２に供給する。

ステップＳ１０２において、撮像装置１００は、ベイヤ化処理を実行する。ここで、図２１のフローチャートを参照して、ベイヤ化処理の詳細について説明する。

ステップＳ１５１において、ＲＧＢＷ補間フィルタ３０１およびＷ補間フィルタ３０２は、画素の補間を行う。

具体的には、ＲＧＢＷ補間フィルタ３０１は、上述したように、ＲＧＢＷ画像信号において、画素ごとに色信号の全てを補間する。ＲＧＢＷ補間フィルタ３０１は、補間後のＲ_{＋ＩＲ_Ｌ}信号、Ｇ_{＋ＩＲ_Ｌ}信号およびＢ_{＋ＩＲ_Ｌ}信号を赤外線分離部３０３に供給し、Ｗ_{＋ＩＲ_Ｌ}信号を赤外線分離部３０３、比率算出部３０５、高周波成分抽出部３０７、高周波成分復元部３０８、飽和色消し部３５２および乗算器４５３に供給する。

Ｗ補間フィルタ３０２は、上述したように、ＲＧＢＷ画像信号において、画素ごとにＷ_＋ＩＲ信号を補間する。Ｗ補間フィルタ３０２は、補間後のＷ_＋ＩＲ’信号を高周波成分抽出部３０７に供給する。

ステップＳ１５２において、赤外線分離部３０３がオンされているか否かが判定される。赤外線分離部３０３がオンされていると判定された場合、処理はステップＳ１５３に進む。

ステップＳ１５３において、赤外線分離部３０３は、赤外光成分を分離、除去する。具体的には、赤外線分離部３０３は、上述したように、Ｒ_{＋ＩＲ_Ｌ}信号、Ｇ_{＋ＩＲ_Ｌ}信号およびＢ_{＋ＩＲ_Ｌ}信号のそれぞれから赤外光成分を分離して除去する。赤外線分離部３０３は、赤外光成分が除去されたＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号をホワイトバランス処理部３０４に供給する。また、赤外線分離部３０３は、分離した赤外光成分ＩＲを比率算出部３０５に供給する。

ホワイトバランス処理部３０４は、上述したように、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号においてホワイトバランスを調整し、ホワイトバランスを調整したＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号をＹＣ変換部３５１に供給する。

その後、処理はステップＳ１５４に進む。

一方、ステップＳ１５２において、赤外線分離部３０３がオフされていると判定された場合、ステップＳ１５３の処理はスキップされ、処理はステップＳ１５４に進む。このとき、赤外線分離部３０３に入力されたＲ_{＋ＩＲ_Ｌ}信号、Ｇ_{＋ＩＲ_Ｌ}信号およびＢ_{＋ＩＲ_Ｌ}信号は、赤外光成分の分離および除去が行われることなく、そのままＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号としてＹＣ変換部３５１に供給される。

ステップＳ１５４において、クロマゲイン制御部４０１および合成比率制御部４５１は、ナイトモードに設定されているか否かを判定する。ナイトモードに設定されていると判定された場合、処理はステップＳ１５５に進む。

ステップＳ１５５において、輝度・色差調整部３０６は、ナイトモード用の輝度および色差の調整を行う。

具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を輝度信号Ｙ_Ｌと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、輝度信号Ｙ_Ｌと色差信号ＣｒおよびＣｂとを飽和色消し部３５２に供給する。

飽和色消し部３５２は、上述したように、輝度信号Ｙ_Ｌ、並びに、色差信号ＣｒおよびＣｂの色消しを行う。飽和色消し部３５２は、色消し後の色差信号Ｃｒを乗算器４０２に供給し、色消し後の色差信号Ｃｂを乗算器４０３に供給する。また、飽和色消し部３５２は、色消し後の輝度信号Ｙ_Ｌを乗算器４５２に供給する。

クロマゲイン制御部４０１は、クロマゲインＧｃを０に設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。

乗算器４０２は、色差信号ＣｒにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５５に供給する。

乗算器４０３は、色差信号ＣｂにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５５に供給する。

合成比率制御部４５１は、合成比率αを０に設定する。合成比率制御部４５１は、設定した合成比率αを乗算器４５２に供給し、合成比率αを１から減算した減算結果１−αを乗算器４５３に供給する。

乗算器４５２は、合成比率α（＝０）を輝度信号Ｙ_Ｌに乗算して乗算結果を加算器４５４に供給する。

乗算器４５３は、合成比率制御部４５１からの減算結果１−α（＝１）をＷ_{＋ＩＲ_Ｌ}信号に乗算して乗算結果を加算器４５４に供給する。

加算器４５４は、乗算器４５２および４５３のそれぞれの乗算結果を加算し、その加算結果を輝度信号Ｙ_Ｌ’としてＲＧＢ変換部３５５に供給する。

ＲＧＢ変換部３５５は、上述したように、画素毎に、輝度信号Ｙ_Ｌ’および色差信号Ｃｒ’，Ｃｂ’を、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に変換して高周波成分復元部３０８に供給する。

ここで、色差信号Ｃｒ’，Ｃｂ’は０なので、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号からなる画像はモノクロ画像となる。

その後、処理はステップＳ１５７に進む。

一方、ステップＳ１５４において、デイモードまたはＣＮＶモードに設定されていると判定された場合、処理はステップＳ１５６に進む。

ステップＳ１５６において、輝度・色差調整部３１５は、デイモード、ＣＮＶモード用の輝度および色差の調整を行う。

具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を輝度信号Ｙ_Ｌと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、輝度信号Ｙ_Ｌと色差信号ＣｒおよびＣｂとを飽和色消し部３５２に供給する。

飽和色消し部３５２は、上述したように、輝度信号Ｙ_Ｌ、並びに、色差信号ＣｒおよびＣｂの色消しを行う。飽和色消し部３５２は、色消し後の色差信号Ｃｒを乗算器４０２に供給し、色消し後の色差信号Ｃｂを乗算器４０３に供給する。また、飽和色消し部３５２は、色消し後の輝度信号Ｙ_Ｌを乗算器４５２に供給する。

比率算出部３０５は、上述したように、可視光比率Ｒｃを算出し、制御部１０２、クロマゲイン制御部４０１および合成比率制御部４５１に供給する。

クロマゲイン制御部４０１は、上述したように、測光量Ｑおよび可視光比率Ｒｃに基づいて、図１３のグラフを用いて、クロマゲインＧｃを設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。

乗算器４０２は、色差信号ＣｒにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５５に供給する。

乗算器４０３は、色差信号ＣｂにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５５に供給する。

合成比率制御部４５１は、上述したように、測光量Ｑおよび可視光比率Ｒｃに基づいて、図１５のグラフを用いて、合成比率αを設定する。合成比率制御部４５１は、設定した合成比率αを乗算器４５２に供給し、合成比率αを１から減算した減算結果１−αを乗算器４５３に供給する。

乗算器４５２は、合成比率αを輝度信号Ｙ_Ｌに乗算して乗算結果を加算器４５４に供給する。

乗算器４５３は、合成比率制御部４５１からの減算結果１−αをＷ_{＋ＩＲ_Ｌ}信号に乗算して乗算結果を加算器４５４に供給する。

加算器４５４は、乗算器４５２および４５３のそれぞれの乗算結果を加算し、その加算結果を輝度信号Ｙ_Ｌ’としてＲＧＢ変換部３５５に供給する。

ＲＧＢ変換部３５５は、上述したように、画素毎に、輝度信号Ｙ_Ｌ’および色差信号Ｃｒ’，Ｃｂ’をＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に変換して高周波成分復元部３０８に供給する。

その後、処理はステップＳ１５７に進む。

ステップＳ１５７において、高周波成分抽出部３０７は、上述したように、Ｗ_{＋ＩＲ_Ｌ}信号およびＷ_＋ＩＲ’信号に基づいて、高周波成分Ｗ_{＋ＩＲ_Ｈ}を抽出する。高周波成分抽出部３０７は、抽出した高周波成分Ｗ_{＋ＩＲ_Ｈ}を高周波成分復元部３０８に供給する。

ステップＳ１５８において、高周波成分復元部３０８は、上述したように、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号において高周波成分Ｗ_{＋ＩＲ_Ｈ}を復元する。高周波成分復元部３０８は、高周波成分を復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。

ステップＳ１５９において、ベイヤ画像信号出力部３０９は、Ｒ信号、Ｇ信号およびＢ信号をベイヤ配列に従って並べ、ベイヤ画像信号としてデモザイク処理部５０１に供給する。

その後、ベイヤ化処理は終了する。

図２０に戻り、ステップＳ１０３において、信号処理部１２２は、信号処理を行う。

具体的には、デモザイク処理部５０１は、上述したように、ベイヤ画像信号を、画像信号ごとにＲ信号、Ｇ信号およびＢ信号を含むデモザイク画像信号に変換し、変換後のデモザイク画像信号をリニアマトリックス演算部５０２に供給する。

リニアマトリックス演算部５０２は、上述したように、デモザイク画像信号に対してリニアマトリックス演算を行い、演算後のデモザイク画像信号をガンマ補正部５０３に供給する。

ガンマ補正部５０３は、ディスプレイの特性に合わせて、デモザイク画像信号のガンマ補正を行い、補正後のデモザイク画像信号をＹＣ変換部５０４に供給する。

ＹＣ変換部５０４は、上述したように、デモザイク画像信号をＹＣ画像信号に変換し、変換後のＹＣ画像信号を出力する。

ステップＳ１０４において、制御部１０２は、撮像を停止するか否かを判定する。撮像を停止しないと判定された場合、処理はステップＳ１０１に戻り、ステップＳ１０４において、撮像を停止すると判定されるまで、ステップＳ１０１乃至Ｓ１０４の処理が繰り返し実行される。

一方、ステップＳ１０４において、制御部１０２は、例えば、ユーザにより所定の操作が行われた場合や、撮像を継続する時間が経過した場合等に、撮像を停止すると判定し、撮像処理は終了する。

ここで、図２２乃至図２４を参照して、各撮像モードにおける赤外光の照射期間および各画素の露光期間の例について説明する。なお、図２２乃至図２４において、時刻ｔ０からｔ４の期間、時刻ｔ４から時刻ｔ８の期間が、それぞれ１フレーム期間である。

図２２は、デイモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。デイモードに設定されている場合、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオンされることにより、同じ行の画素であっても、Ｒ画素、Ｇ画素およびＢ画素（以下、カラー画素と称する）とＷ画素とで異なる露光期間が設定される。

例えば、時刻ｔ１において、画素アレイ部２０２の１行目のカラー画素の露光期間が開始される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のカラー画素の露光期間が開始される。そして、時刻ｔ２において、画素アレイ部２０２の最終行のカラー画素の露光期間が開始される。このように、時刻ｔ１から時刻ｔ２の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。

次に、時刻ｔ４において、画素アレイ部２０２の１行目のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。そして、時刻ｔ５において、画素アレイ部２０２の最終行のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このように、時刻ｔ４から時刻ｔ５の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。

次に、時刻ｔ５から時刻ｔ６の期間において、時刻ｔ１から時刻ｔ２の期間と同様に、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。

次に、時刻ｔ８から時刻ｔ９の期間において、時刻ｔ４から時刻ｔ５の期間と同様に、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。

以降、同様の処理が繰り返される。

一方、時刻ｔ２において、画素アレイ部２０２の１行目のＷ画素の露光期間が開始される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のＷ画素の露光期間が開始される。そして、時刻ｔ３において、画素アレイ部２０２の最終行のＷ画素の露光期間が開始される。このように、時刻ｔ２から時刻ｔ３の期間において、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。

次に、時刻ｔ４において、画素アレイ部２０２の１行目のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。そして、時刻ｔ５において、画素アレイ部２０２の最終行のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このように、時刻ｔ４から時刻ｔ５の期間において、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。

次に、時刻ｔ６から時刻ｔ７の期間において、時刻ｔ２から時刻ｔ３の期間と同様に、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。

次に、時刻ｔ８から時刻ｔ９の期間において、時刻ｔ４から時刻ｔ５の期間と同様に、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。

以降、同様の処理が繰り返される。

なお、デイモードに設定されている場合、環境光の強度が十分であるため、赤外光の照射は行われない。

以上のように、デイモードに設定されている場合、各フレーム期間内にカラー画素とＷ画素の露光期間が設定される。

また、Ｗ画素がカラー画素より感度が高いことを考慮して、カラー画素の露光期間がＷ画素の露光期間より長く設定される。これにより、画像のＳＮ比が最適化される。

なお、カラー画素とＷ画素の露光期間を同じ長さに設定することも可能である。

図２３は、ＣＮＶモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。ＣＮＶモードに設定されている場合、デイモードに設定されている場合と同様に、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオンされることにより、カラー画素とＷ画素とで、同じ行の画素の露光期間がずらされる。

例えば、時刻ｔ２から時刻ｔ３の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。

次に、時刻ｔ４から時刻ｔ５の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。

次に、時刻ｔ６から時刻ｔ７の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。

次に、時刻ｔ８から時刻ｔ９の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。

以降、同様の処理が繰り返される。

一方、時刻ｔ０から時刻ｔ１の期間において、Ｗ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。

次に、時刻ｔ４において、画素アレイ部２０２の１行目のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。電荷信号の読み出し後、画素アレイ部２０２の１行目のＷ画素の新たな露光期間が開始される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。そして、時刻ｔ５において、画素アレイ部２０２の最終行のＷ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。このように、時刻ｔ４から時刻ｔ５の期間において、Ｗ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。

次に、時刻ｔ８から時刻ｔ９の期間において、時刻ｔ４から時刻ｔ５の期間と同様に、Ｗ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。

以降、同様の処理が繰り返される。

このように、各フレーム期間内にカラー画素とＷ画素の露光期間が設定される。また、赤外光受光用のＷ画素の露光期間が、赤外光の受光に用いられないカラー画素の露光期間より長く設定される。さらに、各フレーム期間において、時刻ｔ１から時刻ｔ２の期間、時刻ｔ５から時刻ｔ６の期間、および、時刻ｔ９から時刻ｔ１０の期間のように、Ｗ画素とカラー画素の露光期間が重複していない期間、より具体的には、全てのＷ画素が露光しており、全てのカラー画素が露光していない期間（以下、単独露光期間と称する）が設けられる。

一方、赤外光は、各フレーム期間の一部の期間のみ照射される。具体的には、赤外光は、各フレーム期間のうち単独露光期間内に集中的に照射される。

なお、必ずしも単独露光期間の全期間において赤外光を照射する必要はなく、単独露光期間の一部の期間においてのみ赤外光を照射するようにしてもよい。

以上のように、ＣＮＶモードに設定されている場合、Ｗ画素のみが赤外光照射部１０３からの赤外光を受光し、カラー画素は赤外光照射部１０３からの赤外光を受光しない。

ここで、上述したように、色情報はカラー画素の画素信号から生成されるが、カラー画素は照射した赤外光を受光しないため、色再現性の低下が防止される。

一方、上述したように、輝度情報は、主にW画素の画素信号から生成される。より厳密には、輝度情報の高周波成分は、主にＷ画素の画素信号から生成され、輝度情報の低周波成分は、主にカラー画素の画素信号から生成される。そして、Ｗ画素が赤外光を受光することにより、周囲が暗くても、輝度成分の特に高周波成分の再現性が向上する。

この結果、撮像装置１００により生成される画像の画質が向上する。

図２４は、ナイトモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。ナイトモードに設定されている場合、他のモードに設定されている場合と同様に、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオフされることにより、カラー画素とＷ画素の露光期間が合わせられる。

例えば、時刻ｔ０から時刻ｔ１の期間において、カラー画素およびＷ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。

次に、時刻ｔ４から時刻ｔ５の期間において、カラー画素およびＷ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。

次に、時刻ｔ８から時刻ｔ９の期間において、カラー画素およびＷ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。

以降、同様の処理が繰り返される。

一方、赤外光は連続して照射される。

上述したように、ナイトモードに設定されている場合、色情報を用いずに、モノクロの画像が生成される。従って、赤外光を連続照射することにより、輝度情報の再現性が向上し、撮像装置１００により生成される画像の画質が向上する。

以上のように、ＣＮＶモードに設定することにより、周囲が暗くても、赤外光を照射しながら、フレームレートを落とすことなく、高画質のカラー画像を得ることができる。

また、赤外光を照射して撮像した画像と、赤外光を照射せずに撮像した画像を合成するためのフレームバッファを設ける必要がないため、回路の規模の増大や複雑化を防ぐことができる。

さらに、ＩＲカットフィルタを用いたり、ＩＲカットフィルタの挿脱を行ったりすることなく、デイモードとＣＮＶモードの両モードにおいて、高画質のカラー画像を得ることができる。

＜２．第２の実施の形態＞
次に、図２５乃至図３４を参照して、本技術の第２の実施の形態について説明する。

｛撮像装置の構成例｝
図２５は、本技術の第２の実施の形態である撮像装置７００の構成例を示すブロック図である。なお、図中、図１と対応する部分には、同じ符号を付してある。

撮像装置７００は、図１の撮像装置１００と比較して、測光部１０１、赤外光照射部１０３および撮像レンズ１０４を備える点で一致する。一方、撮像装置７００は、撮像装置１００と比較して、制御部１０２、光学フィルタ１０５、撮像素子１０６および画像処理部１０７の代わりに、制御部７０２、ＩＲカットフィルタ７０３、撮像素子７０４および画像処理部７０５を備えている点、並びに、環境光センサ７０１が追加されている点が異なる。画像処理部７０５は、画像処理部１０７と比較して、ベイヤ化部１２１の代わりにベイヤ化部７２１が設けられている点が異なる。

環境光センサ７０１は、フォトダイオード７１１ａおよび７１１ｂ、並びに、ＩＲカットフィルタ（ＩＲＣＦ）７１２を備えている。

フォトダイオード７１１ａは、撮像装置７００の周囲の環境光の強度を測定する。フォトダイオード７１１ａは、測定結果を示す環境光強度ＰＤａを制御部１０２に供給する。

フォトダイオード７１１ｂは、ＩＲカットフィルタ７１２を介して入射する環境光、すなわち、赤外光成分を減衰した環境光の強度を測定する。フォトダイオード７１１ｂは、測定結果を示す環境光強度ＰＤｂを制御部１０２に供給する。

制御部７０２は、撮像装置７００全体を制御する。例えば、制御部７０２は、次の式（３３）を使用して可視光比率Ｒｃを算出し、ベイヤ化部７２１に供給する。

Ｒｃ＝ＰＤｂ／ＰＤａ ・・・（３３）

また、例えば、制御部７０２は、測光量Ｑ及び可視光比率Ｒｃに基づいて、撮像モードを設定し、設定した撮像モードを示すモード信号をベイヤ化部７２１に供給する。

さらに、例えば、制御部７０２は、デイモードまたはナイトモードに設定した場合、ベイヤ化部７２１の低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２（図２７）を補間フィルタＡに設定する。一方、例えば、制御部７０２は、ＣＮＶモードに設定した場合、ベイヤ化部７２１の低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２を補間フィルタＢに設定する。

また、例えば、制御部７０２は、ユーザの操作などに従って撮像素子７０４を制御して画像信号を生成させる。例えば、制御部７０２は、撮像のタイミングを示す垂直同期信号ＶＳＹＮＣを生成して撮像素子７０４に供給する。また、制御部７０２は、撮像モードに応じて、撮像素子７０４の画素別シャッタのオン／オフを制御する。

さらに、例えば、制御部７０２は、撮像モードに応じて、赤外光照射部１０３の照射期間を制御する。

また、例えば、制御部７０２は、撮像モードに応じて、撮像レンズ１０４と撮像素子７０４の間にＩＲカットフィルタ７０３を挿入したり、撮像レンズ１０４と撮像素子７０４の間からＩＲカットフィルタ７０３を外したりする。

ＩＲカットフィルタ７０３は、撮像レンズ１０４と撮像素子７０４の間に挿脱可能に配置されている。ＩＲカットフィルタ７０３は、撮像レンズ１０４からの光のうち赤外光成分を減衰し、赤外光成分以外の光を透過する。

撮像素子７０４は、撮像素子１０６と比較して、画素の配列が異なる。具体的には、撮像素子７０４では、図２６に示されるように、Ｒ画素、Ｇ画素およびＢ画素がベイヤ配列に従って配置されている。また、Ｇ画素は、Ｇｒ画素とＧｂ画素に分かれ、後述するように、Ｇｂ画素が赤外光受光用の画素に設定される。一方、Ｒ画素、Ｇｒ画素およびＢ画素は、赤外光照射部１０３からの赤外光の受光に用いられない画素に設定される。

また、撮像素子７０４は、撮像レンズ１０４を介して、または、撮像レンズ１０４およびＩＲカットフィルタ７０３を介して受光した光を電気信号に変換して、ＲＧＢ画像信号を生成する。より具体的には、Ｒ画素からはＲ_＋ＩＲ信号が生成され、Ｇｒ画素からはＧｒ_＋ＩＲ信号が生成され、Ｇｂ画素からはＧｂ_＋ＩＲ信号が生成され、Ｂ画素からはＢ_＋ＩＲ信号が生成される。撮像素子７０４は、生成したＲＧＢ画像信号をベイヤ化部７２１に供給する。

ベイヤ化部７２１は、ＲＧＢ画像信号を色差信号および輝度信号に変換し、色差信号を補正した後、さらに画素信号がベイヤ配列に従って並べられたベイヤ画像信号に変換する。ベイヤ化部７２１は、ベイヤ画像信号を信号処理部１２２に供給する。

｛ベイヤ化部の構成例｝
図２７は、ベイヤ化部７２１の構成例を示すブロック図である。なお、図中、図６と対応する部分には、同じ符号を付してある。

ベイヤ化部７２１は、図６のベイヤ化部１２１と比較して、ホワイトバランス処理部３０４ベイヤ画像信号出力部３０９を備える点が共通する。一方、ベイヤ化部７２１は、ベイヤ化部１２１と比較して、ＲＧＢＷ補間フィルタ３０１、Ｗ補間フィルタ３０２、輝度・色差調整部３０６、高周波成分抽出部３０７および高周波成分復元部３０８の代わりに、低周波用ＲＧＢ補間フィルタ８０１、高周波用Ｇ補間フィルタ８０２、色差調整部８０３、高周波成分抽出部８０４および高周波成分復元部８０５が設けられている点が異なる。また、ベイヤ化部７２１は、ベイヤ化部１２１と比較して、赤外線分離部３０３および比率算出部３０５が設けられていない点が異なる。

低周波用ＲＧＢ補間フィルタ８０１は、ＲＧＢ画像信号において、画素信号ごとに色信号の全てを補間する。

例えば、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＡまたは補間フィルタＢのいずれに設定されている場合においても、画素信号に順に着目し、着目した画素信号を補間対象として、その周囲の画素信号を用いて、次の式（３４）乃至（３７）を使用して、Ｒ信号、Ｇｂ信号、Ｇｒ信号およびＢ信号を補間する。

式（３４）乃至（３７）において、Ｍ、ｉ、ｋｉは、それぞれ上述した式（１）乃至（４）と同様のものである。なお、例えば、タップ数Ｍは８１（＝９行×９列）に設定される。

また、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＡに設定されている場合、次の式（３８）および（３９）を使用して、画素ごとにＧ_Ｌ信号およびＧＨ_Ｌ信号を生成する。

Ｇ_Ｌ＝（Ｇｒ_Ｌ＋Ｇｂ_Ｌ）／２ ・・・（３８）
ＧＨ_Ｌ＝（Ｇｒ_Ｌ＋Ｇｂ_Ｌ）／２ ・・・（３９）

すなわち、補間フィルタＡに設定されている場合、Ｇ_Ｌ信号およびＧＨ_Ｌ信号は、ともに同じ画素のＧｒ_Ｌ信号とＧｂ_Ｌ信号の平均値となる。

一方、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＢに設定されている場合、次の式（４０）および（４１）を使用して、画素ごとにＧ_Ｌ信号およびＧＨ_Ｌ信号を生成する。

Ｇ_Ｌ＝Ｇｒ_Ｌ ・・・（４０）
ＧＨ_Ｌ＝Ｇｂ_Ｌ ・・・（４１）

すなわち、補間フィルタＢに設定されている場合、Ｇ_Ｌ信号として、赤外光照射部１０３からの赤外光の成分を含まないＧｒ_Ｌ信号が選択される。一方、ＧＨ_Ｌ信号として、赤外光照射部１０３からの赤外光の成分を含むＧｂ_Ｌ信号が選択される。

低周波用ＲＧＢ補間フィルタ８０１は、補間後のＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号をホワイトバランス処理部３０４に供給し、ＧＨ_Ｌ信号を高周波成分抽出部８０４および高周波成分復元部８０５に供給する。

このように、低周波用ＲＧＢ補間フィルタ８０１が補間フィルタＡに設定されている場合、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号は、Ｒ_＋ＩＲ信号、Ｇｒ_＋ＩＲ信号、Ｇｂ_＋ＩＲ信号およびＢ_＋ＩＲ信号に基づいて生成される。また、ＧＨ_Ｌ信号は、Ｇｒ_＋ＩＲ信号およびＧｂ_＋ＩＲ信号に基づいて生成される。

一方、低周波用ＲＧＢ補間フィルタ８０１が補間フィルタＢに設定されている場合、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号は、Ｒ_＋ＩＲ信号、Ｇｒ_＋ＩＲ信号およびＢ_＋ＩＲ信号に基づいて生成される。また、ＧＨ_Ｌ信号は、Ｇｂ_＋ＩＲ信号に基づいて生成される。

高周波用Ｇ補間フィルタ８０２は、ＲＧＢ画像信号において、画素信号ごとにＧ信号のみを補間する。

例えば、高周波用Ｇ補間フィルタ８０２は、補間フィルタＡに設定されている場合、次の式（４２）および式（４３）を使用して、Ｇｒ信号およびＧｂ信号を補間する。

なお、式（４２）および式（４３）において、Ｎはタップ数である。ｉ、ｋｉは、それぞれ上述した式（３５）および（３６）と同様のものである。なお、タップ数Ｎは、例えば、低周波用ＲＧＢ補間フィルタのタップ数Ｍより小さな値に設定される。例えば、タップ数Ｎは、２５（＝５行×５列）に設定される。

さらに、高周波用Ｇ補間フィルタ８０２は、次の式（４４）を使用して、画素ごとにＧＨ_Ｈ信号を生成する。

ＧＨ_Ｈ＝（Ｇｒ_Ｈ＋Ｇｂ_Ｈ）／２ ・・・（４４）

一方、高周波用Ｇ補間フィルタ８０２は、補間フィルタＢに設定されている場合、次の式（４５）を使用して、赤外光照射部１０３からの赤外光の成分を含むＧｂ信号のみを補間する。

なお、式（４５）において、Ｎ、ｉ、ｋは、上述した式（４３）と同様のものである。

高周波用Ｇ補間フィルタ８０２は、補間後のＧＨ_Ｈ信号のそれぞれを高周波成分抽出部８０４に供給する。

このように、高周波用Ｇ補間フィルタ８０２が補間フィルタＡに設定されている場合、ＧＨ_Ｈ信号は、Ｇｒ_＋ＩＲ信号およびＧｂ_＋ＩＲ信号に基づいて生成される。一方、高周波用Ｇ補間フィルタ８０２が補間フィルタＢに設定されている場合、ＧＨ_Ｈ信号は、Ｇｂ_＋ＩＲ信号のみに基づいて生成される。

ホワイトバランス処理部３０４は、上述したように、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号においてホワイトバランスを調整し、ホワイトバランスを調整したＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を色差調整部８０３に供給する。

色差調整部８０３は、撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて、色差信号を調整する。具体的には、色差調整部８０３は、画素信号ごとに、その画素信号内のＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を輝度信号および色差信号に変換する。そして、色差調整部８０３は、色差信号を撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて調整し、輝度信号および色差信号を、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に戻して高周波成分復元部８０５に供給する。

高周波成分抽出部８０４は、低周波用ＲＧＢ補間フィルタ８０１からのＧＨ_Ｌ信号と、高周波用Ｇ補間フィルタ８０２からのＧＨ_Ｈ信号との差分を高周波成分ＧＨとして抽出する。前述したように、高周波用Ｇ補間フィルタ８０２のタップ数Ｎは、低周波用ＲＧＢ補間フィルタ８０１のタップ数Ｍより小さい。このため、高周波用Ｇ補間フィルタ８０２からのＧＨ_Ｈ信号には、低周波用ＲＧＢ補間フィルタ８０１からのＧＨ_Ｌ信号よりも高い周波数成分が含まれている。したがって、それらの差分をとることにより、その高周波成分ＧＨを抽出することができる。高周波成分抽出部８０４は、抽出した高周波成分ＧＨを高周波成分復元部８０５に供給する。

高周波成分復元部８０５は、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号において高周波成分ＧＨを復元する。高周波成分復元部８０５は、例えば、次の式（４６）乃至（４８）を使用して、高周波成分ＧＨを復元する。

Ｒ＝Ｒ_Ｌ＋ＧＨ×Ｒ_Ｌ／ＧＨ_Ｌ ・・・（４６）
Ｇ＝Ｇ_Ｌ＋ＧＨ×Ｇ_Ｌ／ＧＨ_Ｌ ・・・（４７）
Ｂ＝Ｂ_Ｌ＋ＧＨ×Ｂ_Ｌ／ＧＨ_Ｌ ・・・（４８）

式（４６）乃至（４８）において、Ｒ、ＧおよびＢは、復元後の色信号である。低周波用ＲＧＢ補間フィルタ８０１における補間により、各色信号の高周波成分が失われるため、そのままでは画像の画質が低下してしまう。しかし、その高周波成分を高周波成分復元部８０５において復元することにより、復元しない場合と比較して画質が向上する。高周波成分復元部８０５は、復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。

なお、ベイヤ画像信号出力部３０９を設けない構成とし、画像信号をベイヤ化せずに信号処理部１２２に供給するようにしてもよい。

｛色差調整部の構成例｝
図２８は、色差調整部８０３の構成例を示すブロック図である。なお、図中、図１１と対応する部分には、同じ符号を付してある。

色差調整部８０３は、図１１の輝度・色差調整部３１５と比較して、ＹＣ変換部３５１および色差信号補正部３５３が設けられている点で一致する。一方、色差調整部８０３は、輝度・色差調整部３１５と比較して、ＲＧＢ変換部３５５の代わりにＲＧＢ変換部８５１が設けられている点、並びに、飽和色消し部３５２および輝度信号合成部３５４が削除されている点が異なる。

ＲＧＢ変換部８５１は、輝度信号Ｙ_ＬをＹＣ変換部３５１から取得し、色差信号Ｃｒ’およびＣｂ’を色差信号補正部３５３から取得する。ＲＧＢ変換部８５１は、図１１のＲＧＢ変換部３５５と同様に、上述した式（２１）乃至（２３）を使用して、輝度信号Ｙ_Ｌと色差信号Ｃｒ’およびＣｂ’を、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に変換する。ただし、ＲＧＢ変換部８５１は、式（２１）乃至（２３）において、輝度信号Ｙ_Ｌ’の代わりに輝度信号Ｙ_Ｌを使用する。ＲＧＢ変換部８５１は、変換後のＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を高周波成分復元部８０５に供給する。

｛撮像装置７００の処理｝
次に、図２９乃至図３４を参照して、撮像装置７００の処理について説明する。

（撮像モード設定処理）
まず、図２９のフローチャートを参照して、撮像装置７００により実行される撮像モード設定処理について説明する。この処理は、例えば、撮像を開始するときや、撮像中の所定の間隔ごと等の所定のタイミングで実行される。

ステップＳ２０１において、図１７のステップＳ１の処理と同様に、赤外光の照射、画素別シャッタがオフされる。

ステップＳ２０２において、制御部７０２は、撮像レンズ１０４と撮像素子７０４の間にＩＲカットフィルタ７０３を挿入する。

ステップＳ２０３において、図１７のステップＳ３の処理と同様に、周囲の明るさの判定が行われる。周囲が暗いと判定された場合、処理はステップＳ２０４に進む。

ステップＳ２０４おいて、制御部７０２は、環境赤外光の強度の判定を行う。具体的には、制御部７０２は、上述した式（３３）を使用して可視光比率Ｒｃを算出する。そして、制御部７０２は、図１７のステップＳ４の処理と同様の方法により、可視光比率Ｒｃに基づいて、環境赤外光の強度が高いか低いかを判定する。環境赤外光の強度が高いと判定された場合、処理はステップＳ２０５に進む。

一方、ステップＳ２０３において、周囲が非常に暗いと判定された場合、ステップＳ２０４の処理はスキップされ、処理はステップＳ２０５に進む。

ステップＳ２０５において、制御部７０２は、ナイトモードに設定する。すなわち、制御部７０２は、周囲が非常に暗い状態、または、周囲が暗く、環境赤外光の強度が高い状態の場合、ナイトモードに設定する。制御部７０２は、ナイトモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。

ステップＳ２０６において、図１７のステップＳ６の処理と同様に、赤外光の連続照射が開始される。このとき、画素別シャッタはオフされたままとなる。

ステップＳ２０７において、制御部７０２は、ＩＲカットフィルタ７０３を外し、補間フィルタＡに設定する。具体的には、制御部７０２は、ＩＲカットフィルタ７０３を撮像レンズ１０４と撮像素子７０４の間から外す。また、制御部７０２は、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２を補間フィルタＡに設定する。

その後、撮像モード設定処理は終了する。

一方、ステップＳ２０４において、環境赤外光の強度が低いと判定された場合、処理はステップＳ２０８に進む。

ステップＳ２０８において、制御部７０２は、ＣＮＶモードに設定する。すなわち、制御部７０２は、周囲が暗く、環境赤外光の強度が低い状態の場合、ＣＮＶモードに設定する。制御部７０２は、ＣＮＶモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。

ステップＳ２０９において、図１７のステップＳ９の処理と同様に、赤外光の間欠照射が開始され、画素別シャッタがオンされる。

ステップＳ２１０において、制御部７０２は、ＩＲカットフィルタ７０３を外し、補間フィルタＢに設定する。具体的には、制御部７０２は、ＩＲカットフィルタ７０３を撮像レンズ１０４と撮像素子７０４の間から外す。また、制御部７０２は、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２を補間フィルタＢに設定する。

その後、撮像モード設定処理は終了する。

一方、ステップＳ２０３において、周囲が明るいと判定された場合、処理はステップＳ２１１に進む。

ステップＳ２１１において、制御部７０２は、デイモードに設定する。制御部７０２は、デイモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。

ステップＳ２１２において、図１７のステップＳ１２の処理と同様に、画素別シャッタがオンされる。このとき、赤外光照射部１０３は消灯したままとなる。

ステップＳ２１３において、制御部７０２は、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２を補間フィルタＡに設定する。このとき、ＩＲカットフィルタ７０３は、撮像レンズ１０４と撮像素子７０４の間に挿入されたままとなる。

その後、撮像モード設定処理は終了する。

（撮像処理）
次に、図３０のフローチャートを参照して、撮像装置７００により実行される撮像処理について説明する。

ステップＳ３０１において、撮像素子７０４は、ＲＧＢ画像を撮像する。具体的には、撮像素子７０４は、デイモードに設定されている場合、撮像レンズおよびＩＲカットフィルタ７０３を介して受光した光の像を撮像する。一方、撮像素子７０４は、ＣＮＶモードまたはナイトモードに設定されている場合、ＩＲカットフィルタ７０３を介さずに、撮像レンズを介して受光した光の像を撮像する。撮像素子７０４は、撮像の結果得られたＲＧＢ画像信号を低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２に供給する。

ステップＳ３０２において、撮像装置７００は、ベイヤ化処理を実行する。ここで、図３１のフローチャートを参照して、ベイヤ化処理の詳細について説明する。

ステップＳ３５１において、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２は、画素の補間を行う。

具体的には、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＡに設定されている場合、上述した式（３４）乃至（３９）を使用して、画素ごとに色信号の全てを補間する。一方、低周波用ＲＧＢ補間フィルタ８０１は、補間フィルタＢに設定されている場合、上述した式（３４）乃至（３７）、式（４０）および式（４１）を使用して、画素ごとに色信号の全てを補間する。低周波用ＲＧＢ補間フィルタ８０１は、補間後のＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号をホワイトバランス処理部３０４に供給し、ＧＨ_Ｌ信号を高周波成分抽出部８０４および高周波成分復元部８０５に供給する。

高周波用Ｇ補間フィルタ８０２は、補間フィルタＡに設定されている場合、上述した式（４２）乃至（４４）を使用して、Ｇ信号を補間する。一方、高周波用Ｇ補間フィルタ８０２は、補間フィルタＢに設定されている場合、上述した式（４５）を使用して、Ｇ信号を補間する。高周波用Ｇ補間フィルタ８０２は、補間後のＧＨ_Ｈ信号のそれぞれを高周波成分抽出部８０４に供給する。

ホワイトバランス処理部３０４は、上述したように、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号においてホワイトバランスを調整し、ホワイトバランスを調整したＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号をＹＣ変換部３５１に供給する。

ステップＳ３５２において、クロマゲイン制御部４０１は、ナイトモードに設定されているか否かを判定する。ナイトモードに設定されていると判定された場合、処理はステップＳ３５３に進む。

ステップＳ３５３において、色差調整部８０３は、ナイトモード用の色差の調整を行う。

具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を輝度信号Ｙ_Ｌと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、色差信号Ｃｒを乗算器４０２に供給し、色差信号Ｃｂを乗算器４０３に供給し、輝度信号Ｙ_ＬをＲＧＢ変換部８５１に供給する。

クロマゲイン制御部４０１は、クロマゲインＧｃを０に設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。

乗算器４０２は、色差信号ＣｒにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部８５１に供給する。

乗算器４０３は、色差信号ＣｂにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部８５１に供給する。

ＲＧＢ変換部８５１は、上述したように、画素毎に、輝度信号Ｙ_Ｌおよび色差信号Ｃｒ’，Ｃｂ’を、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に変換して高周波成分復元部８０５に供給する。

ここで、色差信号Ｃｒ’，Ｃｂ’は０なので、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号からなる画像はモノクロ画像となる。

その後、処理はステップＳ３５５に進む。

一方、ステップＳ３５２において、デイモードまたはＣＮＶモードに設定されていると判定された場合、処理はステップＳ３５４に進む。

ステップＳ３５４において、色差調整部８０３は、デイモード、ＣＮＶモード用の輝度および色差の調整を行う。

具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を輝度信号Ｙ_Ｌと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、色差信号Ｃｒを乗算器４０２に供給し、色差信号Ｃｂを乗算器４０３に供給し、輝度信号Ｙ_ＬをＲＧＢ変換部８５１に供給する。

クロマゲイン制御部４０１は、上述したように、測光量Ｑおよび可視光比率Ｒｃに基づいて、図１３のグラフを用いて、クロマゲインＧｃを設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。

乗算器４０２は、色差信号ＣｒにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部８５１に供給する。

乗算器４０３は、色差信号ＣｂにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部８５１に供給する。

ＲＧＢ変換部８５１は、上述したように、画素毎に、輝度信号Ｙ_Ｌおよび色差信号Ｃｒ’，Ｃｂ’を、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に変換して高周波成分復元部８０５に供給する。

その後、処理はステップＳ３５５に進む。

ステップＳ３５５において、高周波成分抽出部８０４は、上述したように、ＧＨ_Ｈ信号およびＧＨ_Ｌ信号に基づいて、高周波成分ＧＨを抽出する。高周波成分抽出部８０４は、抽出した高周波成分ＧＨを高周波成分復元部８０５に供給する。

ステップＳ３５６において、高周波成分復元部８０５は、上述したように、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号において高周波成分ＧＨを復元する。高周波成分復元部８０５は、高周波成分を復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。

ステップＳ３５７において、図２１のステップＳ１５８の処理と同様に、ベイヤ画像信号が出力される。

その後、ベイヤ化処理は終了する。

図３０に戻り、ステップＳ３０３において、図２０のステップＳ１０３の処理と同様に、信号処理が行われる。

ステップＳ３０４において、図２０のステップＳ１０４の処理と同様に、撮像を停止するか否かが判定される。撮像を停止しないと判定された場合、処理はステップＳ３０１に戻り、ステップＳ３０４において、撮像を停止すると判定されるまで、ステップＳ３０１乃至Ｓ３０４の処理が繰り返し実行される。

一方、ステップＳ３０４において、撮像を停止すると判定された場合、撮像処理は終了する。

ここで、図３２乃至図３４を参照して、各撮像モードにおける赤外光の照射期間および各画素の露光期間の例について説明する。

図３２は、デイモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。

この例において、Ｒ画素およびＢ画素の露光期間は、上述した図２２のカラー画素（Ｒ、Ｇ、Ｂ画素）の露光期間と同じ期間に設定されている。また、Ｇｒ画素およびＧｂ画素の露光期間は、上述した図２２のＷ画素の露光期間と同じ期間に設定されている。

なお、デイモードに設定されている場合、環境光の強度が十分であるため、赤外光の照射は行われない。

以上のように、デイモードに設定されている場合、一般的な環境下ではＧｒ画素，Ｇｂ画素の平均信号出力はＲ画素，Ｂ画素の平均信号出力より大きいため、Ｒ、Ｂ画素の露光期間がＧｒ、Ｇｂ画素の露光期間より長く設定される。

なお、全ての画素の露光期間を同じ長さに設定することも可能である。

図３３は、ＣＮＶモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。

この例において、Ｒ、Ｇｒ、Ｂ画素の露光期間は、上述した図２３のカラー画素（Ｒ、Ｇ、Ｂ画素）の露光期間と同じ期間に設定される。一方、Ｇｂ画素の露光期間は、上述した図２３のＷ画素の露光期間と同じ期間に設定される。

一方、赤外光は、上述した図２３と同じ期間に照射される。すなわち、赤外光は、各フレーム期間のうち、全てのＧｂ画素が露光しており、全てのＲ、Ｇｒ、Ｂ画素が露光していない期間（単独露光期間）内に集中的に照射される。

なお、必ずしも単独露光期間の全期間において赤外光を照射する必要はなく、単独露光期間の一部の期間においてのみ赤外光を照射するようにしてもよい。

以上のように、ＣＮＶモードに設定されている場合、Ｇｂ画素のみが赤外光照射部１０３からの赤外光を受光し、Ｒ画素、Ｇｒ画素およびＢ画素は赤外光照射部１０３からの赤外光を受光しない。

ここで、ＣＮＶモードに設定されている場合、低周波用ＲＧＢ補間フィルタ８０１および高周波用Ｇ補間フィルタ８０２は、補間フィルタＢに設定される。そして、補間フィルタＢに設定されている場合、色情報は、Ｒ画素、Ｇｒ画素およびＢ画素の画素信号から生成されるが、それらの画素は赤外光を受光しないため、色再現性の低下が防止される。

一方、補間フィルタＢに設定されている場合、輝度情報は、主にＧｂ画素の画素信号から生成される。より厳密には、輝度情報の高周波成分は、主にＧｂ画素の画素信号から生成され、輝度情報の低周波成分は、主にＲ画素、Ｇｒ画素およびＢ画素の画素信号から生成される。そして、Ｇｂ画素が赤外光を受光することにより、周囲が暗くても、輝度成分の特に高周波成分の再現性が向上する。

この結果、撮像装置７００により生成される画像の画質が向上する。

図３４は、ナイトモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。

この例において、Ｒ、Ｇｒ、Ｇｂ、Ｂ画素の露光期間は、上述した図２４のＲ、Ｇ、Ｂ、Ｗ画素の露光期間と同じ期間に設定される。

一方、赤外光は連続して照射される。

上述したように、ナイトモードに設定されている場合、色情報を用いずに、モノクロの画像が生成される。従って、赤外光を連続照射することにより、輝度情報の再現性が向上し、撮像装置７００により生成される画像の画質が向上する。

以上のように、ＣＮＶモードに設定することにより、周囲が暗くても、赤外光を照射しながら、フレームレートを落とすことなく、高画質のカラー画像を得ることができる。

また、赤外光を照射して撮像した画像と、赤外光を照射せずに撮像した画像を合成するためのフレームバッファを設ける必要がないため、回路の規模の増大や複雑化を防ぐことができる。

さらに、ＩＲカットフィルタの挿脱を行うことにより、デイモードとＣＮＶモードの両モードにおいて、高画質のカラー画像を得ることができる。

＜３．変形例＞
以下、上述した本技術の実施の形態の変形例について説明する。

例えば、上述した図４の画素配列を採用する場合においても、ＩＲカットフィルタを用いて色再現性能を向上させるようにしてもよい。

図３５は、図１の撮像装置１００の変形例である撮像装置９００の構成例を示すブロック図である。なお、図中、図１及び図２５と対応する部分には、同じ符号を付してある。

撮像装置９００は、撮像装置１００と比較して、図２５の撮像装置７００に設けられているＩＲカットフィルタ７０３が設けられている点が異なる。そして、例えば、光学フィルタ１０５とＩＲカットフィルタ７０３の中から撮像レンズ１０４と撮像素子１０６の間に配置するフィルタを機械的に切り替えることができる。

例えば、昼間は、撮像レンズ１０４と撮像素子１０６の間にＩＲカットフィルタ７０３を配置し、撮像素子１０６に入射する赤外光成分を減衰させることにより、色再現性能を向上させることができる。一方、夜間は、撮像レンズ１０４と撮像素子１０６の間に光学フィルタ１０５を配置し、上述した処理が行われる。

また、例えば、図２７のベイヤ化部７２１において、色差調整部８０３の代わりに、図３６の輝度・色差調整部１００１を設け、図２５の撮像装置７００において、色差信号だけでなく、輝度信号の補正も行うようにしてもよい。なお、図３６において、図２８と対応する部分には同じ符号を付してある。

図３６の輝度・色差調整部１００１は、図２８の色差調整部８０３と比較して、輝度信号生成部１０１１および輝度信号補正部１０１２が追加されている点が異なる。

輝度信号生成部１０１１は、次の式（４９）を使用して、撮像素子７０４から供給されるＲ_＋ＩＲ信号、Ｇｒ_＋ＩＲ信号、Ｇｂ_＋ＩＲ信号およびＢ_＋ＩＲ信号から輝度信号Ｙ_＋ＩＲを生成する。

Ｙ_＋ＩＲ＝（Ｒ_＋ＩＲ＋Ｇｒ_＋ＩＲ＋Ｇｂ_＋ＩＲ＋Ｂ_＋ＩＲ）／４ ・・・（４９）

輝度信号生成部１０１１は、生成した輝度信号Ｙ_＋ＩＲを輝度信号補正部１０１２に供給する。

輝度信号補正部１０１２は、図１４の輝度信号合成部３５４と同様の構成を有している。そして、輝度信号補正部１０１２は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて合成比率αを設定する。また、輝度信号補正部１０１２は、次の式（５０）を使用して、設定した合成比率αにより輝度信号Ｙ_Ｌと輝度信号Ｙ_＋ＩＲとを合成して輝度信号Ｙ_Ｌ’を生成し、ＲＧＢ変換部８５１に供給する。

Ｙ_Ｌ’＝α×Ｙ_Ｌ＋（１−α）×Ｙ_＋ＩＲ ・・・（５０）

ＲＧＢ変換部８５１は、図１１のＲＧＢ変換部３５５と同様に、上述した式（２１）乃至（２３）を使用して、輝度信号Ｙ_Ｌ’と色差信号Ｃｒ’およびＣｂ’を、Ｒ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号に変換する。ＲＧＢ変換部８５１は、変換後のＲ_Ｌ信号、Ｇ_Ｌ信号およびＢ_Ｌ信号を高周波成分復元部８０５に供給する。

さらに、上述した画素の配列は、その一例であり、他の配列を用いることも可能である。例えば、赤外光受光用画素として、Ｗ画素の代わりに赤外光の検出に用いるＩＲ画素を用いるようにしてもよい。この場合、画素の配列は、例えば、図２６のＧｂ画素の代わりにＩＲ画素を用いた配列とすることが考えられる。

また、ＣＮＶモードにおいて、上述した方法と異なる方法により、主に赤外光受光用画素の画素信号から輝度情報を生成し、主に赤外光の受光に用いない画素の画素信号から色情報を生成するようにしてもよい。或いは、ＣＮＶモードにおいて、赤外光受光用画素の画素信号のみから輝度情報を生成し、赤外光の受光に用いない画素の画素信号のみから色情報を生成するようにしてもよい。

さらに、ナイトモードを設けずに、デイモードとＣＮＶモードのみを設けるようにしてもよい。例えば、周囲の明るさを「明るい」、「暗い」の２段階に分け、周囲が明るい場合に、デイモードに設定し、周囲が暗い場合に、ＣＮＶモードに設定するようにしてもよい。

また、以上の説明では、撮像装置１００および撮像装置７００からＹＣ画像信号を出力する例を示したが、他のフォーマットの画像信号を出力するようにしてもよい。例えば、ベイヤ配列の画像信号や、各画素がＲ、ＧおよびＢの各信号を含む画像信号を出力するようにしてもよい。

＜４．応用例＞
｛コンピュータの構成例｝
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３７は、上述した一連の処理をプログラムにより実行するコンピュータ１２００のハードウエアの構成例を示すブロック図である。

コンピュータ１２００において、CPU（Central Processing Unit）１２０１，ROM（Read Only Memory）１２０２，RAM（Random Access Memory）１２０３は、バス１２０４により相互に接続されている。

バス１２０４には、さらに、入出力インタフェース１２０５が接続されている。入出力インタフェース１２０５には、入力部１２０６、出力部１２０７、記憶部１２０８、通信部１２０９、及びドライブ１２１０が接続されている。

入力部１２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１２０７は、ディスプレイ、スピーカなどよりなる。記憶部１２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１２０９は、ネットワークインタフェースなどよりなる。ドライブ１２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１２１１を駆動する。

以上のように構成されるコンピュータ１２００では、CPU１２０１が、例えば、記憶部１２０８に記憶されているプログラムを、入出力インタフェース１２０５及びバス１２０４を介して、RAM１２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１２００（CPU１２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ１２００では、プログラムは、リムーバブルメディア１２１１をドライブ１２１０に装着することにより、入出力インタフェース１２０５を介して、記憶部１２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１２０９で受信し、記憶部１２０８にインストールすることができる。その他、プログラムは、ROM１２０２や記憶部１２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ１２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、例えば、本技術は以下のような構成も取ることができる。

（１）
第１の画素および第２の画素を備える撮像素子と、
前記撮像素子の露光期間、および、赤外光照射部からの赤外光の照射期間を制御する制御部と
を備え、
前記制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する
撮像装置。
（２）
主に前記第１の画素からの第１の画素信号に基づいて輝度情報を生成し、主に前記第２の画素からの第２の画素信号に基づいて色情報を生成する画像処理部を
さらに備える前記（１）に記載の撮像装置。
（３）
前記画像処理部は、主に前記第１の画素信号に基づいて高周波の輝度情報を生成し、主に前記第２の画素信号に基づいて色情報および低周波の輝度情報を生成する
前記（２）に記載の撮像装置。
（４）
前記第１の画素は、ホワイト画素を含み、
前記第２の画素は、所定の色の検出に用いるカラー画素を含む
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記第１の画素は、赤外光の検出に用いるＩＲ画素を含み、
前記第２の画素は、所定の色の検出に用いるカラー画素を含む
前記（１）乃至（３）のいずれかに記載の撮像装置。
（６）
前記第１の画素は、緑色の検出に用いる第１のＧ画素を含み、
前記第２の画素は、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含む
前記（１）乃至（３）のいずれかに記載の撮像装置。
（７）
前記第１の画素の露光期間が前記第２の画素の露光期間より長い
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
前記制御部は、周囲の明るさ、および、環境光に含まれる赤外光の強度である環境赤外光強度に基づいて、前記撮像素子の露光期間、および、前記赤外光照射部からの赤外光の照射期間を制御する
前記（１）に記載の撮像装置。
（９）
前記制御部は、周囲の明るさが第１の閾値以上第２の閾値未満であり、かつ、前記環境赤外光強度が第３の閾値未満である第１の状態において、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する
前記（８）に記載の撮像装置。
（１０）
前記制御部は、周囲の明るさが前記第２の閾値以上である第２の状態において、前記赤外光を照射しないように制御する
前記（９）に記載の撮像装置。
（１１）
レンズと前記撮像素子の間に挿脱可能で、赤外光成分を減衰するフィルタを
さらに備え、
前記第１の画素は、緑色の検出に用いる第１のＧ画素を含み、
前記第２の画素は、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含み、
前記制御部は、前記第２の状態において、前記レンズと前記撮像素子の間に前記フィルタを挿入し、前記第２の状態と異なる状態において、前記レンズと前記撮像素子の間から前記フィルタを外す
前記（１０）に記載の撮像装置。
（１２）
前記第２の状態において、前記第１の画素の露光期間が前記第２の画素の露光期間より短い
前記（１０）または（１１）に記載の撮像装置。
（１３）
前記制御部は、周囲の明るさが前記第１の閾値未満である状態、または、周囲の明るさが前記第１の閾値以上前記第２の閾値未満であり、かつ、前記環境赤外光強度が前記第３の閾値以上である状態である第３の状態において、前記赤外光を連続して照射するように制御する
前記（９）乃至（１２）のいずれかに記載の撮像装置。
（１４）
前記第３の状態において、前記第１の画素からの第１の画素信号、および、前記第２の画素からの第２の画素信号に基づいて、モノクロの画像を生成し、前記第３の状態と異なる状態において、前記第１の画素信号および前記第２の画素信号に基づいて、カラーの画像を生成する画像処理部を
さらに備える前記（１３）に記載の撮像装置。
（１５）
前記第３の状態において、前記第１の画素と前記第２の画素の露光期間が合わせられる
前記（１３）または（１４）に記載の撮像装置。
（１６）
各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、
前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップと
を含む撮像制御方法。
（１７）
各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、
前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。

１００ 撮像装置， １０１ 測光部， １０２ 制御部， １０３ 赤外光照射部， １０４ 撮像レンズ， １０５ 光学フィルタ， １０６ 撮像素子， １０７ 画像処理部， １２１ ベイヤ化部， １２２ 信号処理部， ２０１ 行走査回路， ２０２ 画素アレイ部， ２０３ タイミング制御回路， ２０５ 列走査回路， ２１１ 画素， ３０１ ＲＧＢＷ補間フィルタ， ３０２ Ｗ補間フィルタ， ３０３ 赤外線分離部， ３０５ 比率算出部， ３０６ 輝度・色差調整部， ３０７ 高周波成分抽出部， ３０８ 高周波成分復元部， ３０９ ベイヤ画像信号出力部， ３５１ ＹＣ変換部， ３５３ 色差信号補正部， ３５４ 輝度信号合成部， ３５５ ＲＧＢ変換部， ４０１ クロマゲイン制御部， ４５１ 合成比率制御部， ７００ 撮像装置， ７０１ 環境光センサ， ７０２ 制御部， ７０３ ＩＲカットフィルタ， ７０４ 撮像素子， ７０５ 画像処理部， ７２１ ベイヤ化部， ８０１ 低周波用ＲＧＢ補間フィルタ， ８０２ 高周波用Ｇ補間フィルタ， ８０３ 色差調整部， ８０４ 高周波成分抽出部， ８０５ 高周波成分復元部， ８５１ ＲＧＢ変換部， ９００ 撮像装置， １００１ 輝度・色差調整部， １０１１ 輝度信号生成部， １０１２ 輝度信号補正部

Claims (17)

1. 第１の画素および第２の画素を備える撮像素子と、
   前記撮像素子の露光期間、および、赤外光照射部からの赤外光の照射期間を制御する制御部と
   を備え、
   前記制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する
   撮像装置。
2. 主に前記第１の画素からの第１の画素信号に基づいて輝度情報を生成し、主に前記第２の画素からの第２の画素信号に基づいて色情報を生成する画像処理部を
   さらに備える請求項１に記載の撮像装置。
3. 前記画像処理部は、主に前記第１の画素信号に基づいて高周波の輝度情報を生成し、主に前記第２の画素信号に基づいて色情報および低周波の輝度情報を生成する
   請求項２に記載の撮像装置。
4. 前記第１の画素は、ホワイト画素を含み、
   前記第２の画素は、所定の色の検出に用いるカラー画素を含む
   請求項１に記載の撮像装置。
5. 前記第１の画素は、赤外光の検出に用いるＩＲ画素を含み、
   前記第２の画素は、所定の色の検出に用いるカラー画素を含む
   請求項１に記載の撮像装置。
6. 前記第１の画素は、緑色の検出に用いる第１のＧ画素を含み、
   前記第２の画素は、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含む
   請求項１に記載の撮像装置。
7. 前記第１の画素の露光期間が前記第２の画素の露光期間より長い
   請求項１に記載の撮像装置。
8. 前記制御部は、周囲の明るさ、および、環境光に含まれる赤外光の強度である環境赤外光強度に基づいて、前記撮像素子の露光期間、および、前記赤外光照射部からの赤外光の照射期間を制御する
   請求項１に記載の撮像装置。
9. 前記制御部は、周囲の明るさが第１の閾値以上第２の閾値未満であり、かつ、前記環境赤外光強度が第３の閾値未満である第１の状態において、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に赤外光を照射するように制御する
   請求項８に記載の撮像装置。
10. 前記制御部は、周囲の明るさが前記第２の閾値以上である第２の状態において、前記赤外光を照射しないように制御する
    請求項９に記載の撮像装置。
11. レンズと前記撮像素子の間に挿脱可能で、赤外光成分を減衰するフィルタを
    さらに備え、
    前記第１の画素は、緑色の検出に用いる第１のＧ画素を含み、
    前記第２の画素は、赤色の検出に用いるＲ画素、第２のＧ画素、および、青色の検出に用いるＢ画素を含み、
    前記制御部は、前記第２の状態において、前記レンズと前記撮像素子の間に前記フィルタを挿入し、前記第２の状態と異なる状態において、前記レンズと前記撮像素子の間から前記フィルタを外す
    請求項１０に記載の撮像装置。
12. 前記第２の状態において、前記第１の画素の露光期間が前記第２の画素の露光期間より短い
    請求項１０に記載の撮像装置。
13. 前記制御部は、周囲の明るさが前記第１の閾値未満である状態、または、周囲の明るさが前記第１の閾値以上前記第２の閾値未満であり、かつ、前記環境赤外光強度が前記第３の閾値以上である状態である第３の状態において、前記赤外光を連続して照射するように制御する
    請求項９に記載の撮像装置。
14. 前記第３の状態において、前記第１の画素からの第１の画素信号、および、前記第２の画素からの第２の画素信号に基づいて、モノクロの画像を生成し、前記第３の状態と異なる状態において、前記第１の画素信号および前記第２の画素信号に基づいて、カラーの画像を生成する画像処理部を
    さらに備える請求項１３に記載の撮像装置。
15. 前記第３の状態において、前記第１の画素と前記第２の画素の露光期間が合わせられる
    請求項１３に記載の撮像装置。
16. 各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、
    前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップと
    を含む撮像制御方法。
17. 各フレーム期間において撮像素子の第１の画素および第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるように制御する露光制御ステップと、
    前記単独露光期間内に赤外光を照射するように赤外光照射部を制御する照射制御ステップと
    を含む処理をコンピュータに実行させるためのプログラム。

Images