JP2011015086A - 撮像装置 - Google Patents

Abstract

【課題】画像の画質劣化を防ぐ。
【解決手段】現在時刻が第１期間に含まれると判定された場合、係数制御部３０は、赤外信号に乗算される係数を第１期間において徐々に減少させ、現在時刻が第２期間に含まれると判定された場合、第２期間において係数を徐々に増加させる。また、輝度算出部３３８は、輝度信号を、赤外信号に係数を乗算することにより信号量が制御された赤外信号と、複数種類の可視光信号とから算出する。
【選択図】図４

Description

本発明は、可視光と近赤外光を受光する撮像装置に関する。

近年、セキュリティ、ネットワーク、車載用途のカメラとして、昼夜兼用カメラまたはデイナイトカメラと称される撮像装置（以下、昼夜兼用撮像装置という）の需要が急速に高まりつつある。昼夜兼用撮像装置は、昼間は可視光を使用してカラー画像を撮像し、夜間は近赤外（ＮＩＲ（Near Infrared Radiation））光を使用して白黒画像を撮像する機能を有する。

特許文献１には、昼間および夜間において画像を撮像するための撮像装置が開示されている。特許文献１の撮像装置は、モータの動作により、赤外カットフィルタを使用する状態と、赤外カットフィルタを使用しない状態とを切替えて、撮像を行う。すなわち、特許文献１の撮像装置は、撮像において、近赤外光を使用するか否かを機械的に切替える。

また、特許文献２には、近赤外光を透過させるフィルタと、可視光を透過させるフィルタとを組み合わせて配列することにより、可視光を使用した撮像および近赤外光を使用した撮像が可能な固体撮像装置が開示されている。

特開２００３−１９８９３３号公報 特開２００８−０３５０９０号公報

しかしながら、特許文献１の撮像装置は、近赤外光を使用するか否かを機械的に切替えるため、切替え時において、使用される近赤外光成分の信号である赤外信号の量が急激に変化する。すなわち、当該切替え時において、使用される赤外信号の割合が急激に変化する。使用される赤外信号の割合が急激に変化した場合、当該赤外信号の割合の急激な変化に対応させて、画像の撮像における明度調整やホワイトバランス調整等を追従させることができない。

そのため、特許文献１では、使用される赤外信号の割合が急激に変化した直後に撮像された画像において、画質劣化が発生するという問題がある。すなわち、特許文献１の撮像装置では、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化が問題となる。

なお、特許文献２の固体撮像装置において、近赤外光を使用するか否かを電子的に切替えた場合でも、同様に、上記問題が起こりうる。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、画像の画質劣化を防ぐことを可能とする撮像装置を提供することである。

上述の課題を解決するために、この発明のある局面に従う撮像装置は、イメージセンサと、該イメージセンサの出力信号からカラー画像または白黒画像を生成する信号処理回路とを備えた昼夜兼用の撮像装置である。イメージセンサは、複数種類の可視光を少なくとも透過させる複数種類の第１の色フィルタと、近赤外光のみを透過させる第２の色フィルタとを含む複数の色フィルタと、複数の色フィルタのいずれかを搭載し、搭載された色フィルタを透過する光が入射される、２次元状に配置された複数の受光素子と、複数の受光素子が光電変換することにより生成した信号である光変換信号を読み出す読出し回路とを含み、信号処理回路は、複数種類の第１の色フィルタに対応する光変換信号および第２の色フィルタに対応する光変換信号から、複数種類の可視光に対応する複数種類の可視光信号および近赤外光に対応する赤外信号を分離する色分離部と、赤外信号に係数を乗算することにより、赤外信号の量を制御する信号量制御部と、複数種類の可視光信号と、信号量が制御された赤外信号とから輝度信号を算出する輝度算出部と、複数種類の可視光信号から色差信号を算出する色差信号算出部と、現在時刻を計測する時刻計測部と、現在時刻が、夜から昼に変化する第１期間または昼から夜に変化する第２期間に含まれるか否かを判定する判定部と、判定部により現在時刻が第１期間に含まれると判定された場合、第１期間において係数を徐々に減少させ、判定部により現在時刻が第２期間に含まれると判定された場合、第２期間において係数を徐々に増加させる係数制御部とを含む。

すなわち、現在時刻が第１期間に含まれると判定された場合、係数制御部は、赤外信号に乗算される係数を第１期間において徐々に減少させ、現在時刻が第２期間に含まれると判定された場合、第２期間において係数を徐々に増加させる。また、輝度算出部は、赤外信号に係数を乗算することにより信号量が制御された赤外信号と、複数種類の可視光信号とから輝度信号を算出する。また、色差信号算出部は、色差信号を算出する。

したがって、輝度信号の算出に使用される赤外信号の割合が急激に変化することがない。なお、輝度信号および色差信号は画像の生成に使用される信号である。そのため、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。

また、信号処理回路は、さらに、第１期間に含まれる第１所定時刻と、第２期間に含まれる第２所定時刻とを記憶する時刻記憶部を含み、判定部は、第１所定時刻と現在時刻との差の時間である第１差分時間と、第２所定時刻と現在時刻との差の時間である第２差分時間とを算出する差分時間算出部と、第１差分時間が第２差分時間より短く、かつ、第１差分時間が所定の調整時間以下の時間である場合、現在時刻が第１期間に含まれると判定し、第２差分時間が第１差分時間より短く、かつ、第２差分時間が調整時間以下の時間である場合、当該現在時刻が第２期間に含まれると判定する時刻判定部とを含むことが好ましい。

また、係数制御部は、判定部により現在時刻が第２期間に含まれると判定された場合、第２期間にわたって、係数を第１の値から第１の値より大きい第２の値に向かって所定時間経過毎に増加させることが好ましい。

また、係数制御部は、判定部により現在時刻が第１期間に含まれると判定された場合、第１期間にわたって、係数を第２の値から第２の値より小さい第１の値に向かって所定時間経過毎に減少させることが好ましい。

また、信号処理回路は、さらに、赤外信号および複数種類の可視光信号に基づいて明度を算出する明度算出部を含み、係数制御部は、判定部の判定結果と明度算出部により算出された明度とが所定の条件を満たす場合、係数を徐々に変化させる処理を開始することが好ましい。

これにより、明度に応じて、使用される赤外信号の割合の制御を行うことができる。
また、係数制御部は、判定部により現在時刻が第２期間に含まれると判定され、かつ、明度算出部により算出された明度が第１所定値以下の場合、係数を第１の値から第１の値より大きい第２の値に向かって所定時間経過毎に増加させる処理を開始することが好ましい。

また、係数制御部は、判定部により現在時刻が第１期間に含まれると判定され、かつ、明度算出部により算出された明度が第１所定値より大きい場合、係数を第２の値から第２の値より小さい第１の値に向かって所定時間経過毎に減少させる処理を開始することが好ましい。

また、信号処理回路は、さらに、複数種類の可視光信号に基づいて色温度を算出する色温度算出部を含み、係数制御部は、判定部の判定結果と色温度算出部により算出された色温度とが所定の条件を満たす場合、係数を徐々に変化させる処理を開始することが好ましい。

これにより、色温度に応じて、使用される赤外信号の割合の制御を行うことができる。
また、係数制御部は、判定部により現在時刻が第２期間に含まれると判定され、かつ、色温度算出部により算出された色温度が第２所定値以下の場合、係数を第１の値から第１の値より大きい第２の値に向かって所定時間経過毎に増加させる処理を開始することが好ましい。

また、係数制御部は、判定部により現在時刻が第１期間に含まれると判定され、かつ、色温度算出部により算出された色温度が第２所定値より大きい場合、係数を第２の値から第２の値より小さい第１の値に向かって所定時間経過毎に減少させる処理を開始することが好ましい。

また、信号処理回路は、さらに、赤外信号および複数種類の可視光信号に基づいて色温度の代替として使用可能な値である色温度近似値を算出する色温度近似値算出部を含み、係数制御部は、判定部の判定結果と色温度近似値算出部により算出された色温度近似値とが所定の条件を満たす場合、係数を徐々に変化させる処理を開始することが好ましい。

これにより、色温度の代替として使用可能な色温度近似値に応じて、使用される赤外信号の割合の制御を行うことができる。

また、係数制御部は、判定部により現在時刻が第２期間に含まれると判定され、かつ、色温度近似値算出部により算出された色温度近似値が第３所定値以下の場合、係数を第１の値から第１の値より大きい第２の値に向かって所定時間経過毎に増加させる処理を開始することが好ましい。

また、係数制御部は、判定部により現在時刻が第１期間に含まれると判定され、かつ、色温度近似値算出部により算出された色温度近似値が第３所定値より大きい場合、係数を第２の値から第２の値より小さい第１の値に向かって所定時間経過毎に減少させる処理を開始することが好ましい。

また、撮像装置は、さらに、撮像装置の動作の基準となる基準クロックを発生するクロック発生部を備え、所定時間は、基準クロックにおける２周期分の時間以上の時間であることが好ましい。

また、第１の値は０であり、第２の値は１であることが好ましい。
また、撮像装置は、さらに、複数の受光素子の各々が光電変換により信号を生成するための露光時間を変化させるための露光時間制御部を含み、露光時間制御部は、信号量制御部により信号量が制御された赤外信号の量に応じて、露光時間を変化させることが好ましい。

これにより、赤外信号の量に応じて、露光時間を変化させることができる。

本発明により、画像の画質劣化を防ぐことができる。

第１の実施の形態における撮像装置の構成を示すブロック図である。 イメージセンサの構成を示すブロック図である。 画像生成処理のフローチャートである。 第１の実施の形態における信号処理回路の構成を示すブロック図である。 第１期間および第２期間等を説明するための図である。 赤外信号割合変化処理のフローチャートである。 露光時間制御処理のフローチャートである。 第２の実施の形態における撮像装置の構成を示すブロック図である。 第２の実施の形態における信号処理回路の構成を示すブロック図である。 赤外信号割合変化処理Ａのフローチャートである。 第３の実施の形態における撮像装置の構成を示すブロック図である。 第３の実施の形態における信号処理回路の構成を示すブロック図である。 赤外信号割合変化処理Ｂのフローチャートである。 第４の実施の形態における撮像装置の構成を示すブロック図である。 第４の実施の形態における信号処理回路の構成を示すブロック図である。 赤外信号割合変化処理Ｃのフローチャートである。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

なお、以下の実施の形態は例示を目的としており、本発明はこれらに限定されることを意図しない。

＜第１の実施の形態＞
図１は、第１の実施の形態における撮像装置１０００の構成を示すブロック図である。

撮像装置１０００は、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置１０００は、動画像を撮像可能なデジタルビデオカメラである。なお、撮像装置１０００は静止画像を撮像可能なデジタルスチルカメラであってもよい。

撮像装置１０００は、レンズ１０と、クロック発生部２０と、イメージセンサ１００と、露光時間制御部２００と、信号処理回路３００とを備える。

イメージセンサ１００は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。なお、イメージセンサ１００は、ＣＭＯＳイメージセンサに限定されることなく、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサであってもよい。

露光時間制御部２００は、詳細は後述するが、イメージセンサ１００における露光時間を変更する機能を有する。露光時間制御部２００は、後述する条件が満たされて露光時間を変更させる場合、露光時間を変更するための指示（以下、露光時間変更指示という）を、イメージセンサ１００に含まれる、後述する垂直走査回路１２１および水平走査回路１２２へ送信する。露光時間変更指示には、変更後の露光時間（以下、変更露光時間という）が示される。

図２は、イメージセンサ１００の構成を示すブロック図である。
図２を参照して、イメージセンサ１００は、受光部１１０と、垂直走査回路１２１と、水平走査回路１２２と、増幅回路１３０と、ＡＤ変換部１４０とを含む。

受光部１１０は、光が入射される部分である。図１のレンズ１０は、レンズ１０に入射される光を、受光部１１０において結像させる。受光部１１０は、行列状に配列されたｍ個（４以上の整数）の画素ＰＸを有する。例えば、撮像装置１０００が、１０００万画素の画像を生成する装置である場合、ｍは、１０００万となる。

ｍ個の画素ＰＸの各々は、サブ画素としての光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４を有する。光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々は、入射する光を光電変換することにより信号（以下、光変換信号という）を生成する。光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々は、受光素子としてのフォトダイオードである。

光電変換素子ＳＰ１の上部には、色フィルタＣＦ１が形成される。すなわち、光電変換素子ＳＰ１には、色フィルタＣＦ１が搭載される。色フィルタＣＦ１は、可視光としての赤色成分の光（以下、赤色光という）と、近赤外（Near Infrared Radiation）光とを透過させる色フィルタである。以下においては、近赤外光を、ＩＲ光とも表記する。

光電変換素子ＳＰ１には、色フィルタＣＦ１を透過する赤色光およびＩＲ光が入射される。光電変換素子ＳＰ１は、入射された赤色光およびＩＲ光の強度に応じた光変換信号（以下、第１光変換信号という）を生成する。

以下においては、赤色成分の信号をＲ信号という。また、以下においては、ＩＲ光成分の信号をＩＲ信号という。ＩＲ信号は、赤外信号である。第１光変換信号は、可視光信号としてのＲ信号と、ＩＲ信号とを含む。すなわち、第１光変換信号は、可視光信号である。ここで、可視光信号は、可視光成分の信号である。以下においては、第１光変換信号を、Ｒ＋ＩＲ信号ともいう。

光電変換素子ＳＰ２の上部には、色フィルタＣＦ２が形成される。すなわち、光電変換素子ＳＰ２には、色フィルタＣＦ２が搭載される。色フィルタＣＦ２は、可視光としての緑色成分の光（以下、緑色光という）と、ＩＲ光とを透過させる色フィルタである。

光電変換素子ＳＰ２には、色フィルタＣＦ２を透過する緑色光およびＩＲ光が入射される。光電変換素子ＳＰ２は、入射された緑色光およびＩＲ光の強度に応じた光変換信号（以下、第２光変換信号という）を生成する。

以下においては、緑色成分の信号をＧ信号という。第２光変換信号は、可視光信号としてのＧ信号と、ＩＲ信号と含む。すなわち、第２光変換信号は、可視光信号である。以下においては、第２光変換信号を、Ｇ＋ＩＲ信号ともいう。

光電変換素子ＳＰ３の上部には、色フィルタＣＦ３が形成される。すなわち、光電変換素子ＳＰ３には、色フィルタＣＦ３が搭載される。色フィルタＣＦ３は、可視光としての青色成分の光（以下、青色光という）と、ＩＲ光とを透過させる色フィルタである。

光電変換素子ＳＰ３には、色フィルタＣＦ３を透過する青色光およびＩＲ光が入射される。光電変換素子ＳＰ３は、入射された青色光およびＩＲ光の強度に応じた光変換信号（以下、第３光変換信号という）を生成する。

以下においては、青色成分の信号をＢ信号という。第３光変換信号は、可視光信号としてのＢ信号と、ＩＲ信号とを含む。すなわち、第３光変換信号は、可視光信号である。以下においては、第３光変換信号を、Ｂ＋ＩＲ信号ともいう。

光電変換素子ＳＰ４の上部には、色フィルタＣＦ４が形成される。すなわち、光電変換素子ＳＰ４には、色フィルタＣＦ４が搭載される。色フィルタＣＦ４は、ＩＲ光のみを透過させる色フィルタである。

光電変換素子ＳＰ４には、色フィルタＣＦ４を透過するＩＲ光が入射される。光電変換素子ＳＰ４は、入射されたＩＲ光の強度に応じた光変換信号（以下、第４光変換信号という）を生成する。第４光変換信号は、近赤外光成分の信号（ＩＲ信号）のみを含む赤外信号である。以下においては、第４光変換信号を、ＩＲ信号ともいう。

垂直走査回路１２１および水平走査回路１２２は、共同して動作することにより、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々が生成した光変換信号を読み出す。すなわち、垂直走査回路１２１および水平走査回路１２２は、光変換信号を読み出す読出し回路を構成する。

垂直走査回路１２１および水平走査回路１２２は、所定の露光時間に基づいて、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々が生成した光変換信号を読み出す。

ここで、露光時間は、各画素ＰＸに対する、リセットタイミングから読出しタイミングまでの時間である。リセットタイミングとは、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々が有する光変換信号をなくすためのリセット信号を、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々へ送信するタイミングである。読出しタイミングは、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々が生成した光変換信号を読み出すタイミングである。

垂直走査回路１２１および水平走査回路１２２は、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４がそれぞれ生成した第１〜第４光変換信号を順次読み出す処理（以下、信号読出し処理という）を行う。なお、信号読出し処理は、ＣＭＯＳイメージセンサにおいて信号を読み出す周知な処理なので詳細な説明は行わない。

なお、詳細は後述するが、垂直走査回路１２１および水平走査回路１２２は、露光時間制御部２００から前述した露光時間変更指示を受信した場合、当該露光時間変更指示が示す変更露光時間に基づいて、各画素ＰＸに含まれる光電変換素子ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４の各々が生成した光変換信号を読み出す。

垂直走査回路１２１および水平走査回路１２２が、信号読出し処理により１つの光変換信号を読み出す毎に、読み出した光変換信号（例えば、第１光変換信号）は、増幅回路１３０へ送信される。

増幅回路１３０は、光変換信号の信号レベルを増幅させる処理を行う。増幅回路１３０は、光変換信号を受信する毎に、受信した光変換信号の信号レベルを増幅させた光変換信号を、ＡＤ変換部１４０へ送信する。

前述の信号読出し処理が行われることにより、増幅回路１３０は、第１〜第４光変換信号を順次受信する。そして、増幅回路１３０は、増幅後の第１〜第４光変換信号を、順次、ＡＤ変換部１４０へ送信する。

第１〜第４光変換信号は、１組の光変換信号群を構成する。すなわち、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号は、１組の光変換信号群を構成する。前述したように、第１〜第３光変換信号の各々は、可視光信号を含む。つまり、１組の光変換信号群は、３個の可視光信号と、ＩＲ信号（赤外信号）とから構成される。

垂直走査回路１２１および水平走査回路１２２は、前述の信号読出し処理を、ｍ回繰り替えし行うことにより、１フレーム分の画像の全ての信号を読み出す。この場合、増幅回路１３０は、信号読出し処理が行われる毎に、ｍ組の増幅後の光変換信号群を、１組の光変換信号群単位で、順次、ＡＤ変換部１４０へ送信する。

ＡＤ変換部１４０は、光変換信号群を受信する毎に、受信した光変換信号群を構成する４個の光変換信号の各々を、ｓ（自然数）ビットのデジタル信号に変換する。

ＡＤ変換部１４０は、光変換信号群を受信する毎に、デジタル信号に変換した４個の光変換信号から構成される光変換信号群を、信号処理回路３００へ送信する。ここで、ＡＤ変換部１４０は、例えば、各光変換信号を、８ビットのデジタル信号に変換するとする。この場合、デジタル信号に変換された各光変換信号は、０〜２５５の範囲の値を示す信号である。

本実施の形態では、デジタル信号の示す値が大きい程、当該デジタル信号に対応する成分量が大きいものとする。例えば、ＡＤ変換部１４０により変換された、デジタル信号としてのＩＲ信号が示す値が大きい程、近赤外光成分の量が大きいとする。

ＡＤ変換部１４０は、ｍ組の変換後の光変換信号群を、１組の光変換信号群単位で、順次、信号処理回路３００へ送信する。

撮像装置１０００において動画像が撮像される場合、ＡＤ変換部１４０が、ｍ組の変換後の光変換信号群を信号処理回路３００へ送信する処理が繰り返し行われる。

再び、図１を参照して、クロック発生部２０は、撮像装置１０００の動作の基準となる基準クロックＣＬＫを発生する。基準クロックＣＬＫは、例えば、周波数が４０ＭＨｚのクロックである。クロック発生部２０は、信号処理回路３００へ、基準クロックＣＬＫを供給する。なお、基準クロックＣＬＫの周波数は、４０ＭＨｚに限定されることなく、４０ＭＨｚ未満の周波数または４０ＭＨｚより大きい周波数でもよい。

以下においては、イメージセンサ１００が撮像した画像を生成するための処理を、画像生成処理という。

図３は、画像生成処理のフローチャートである。画像生成処理は、信号処理回路３００により行われる。

再び、図１を参照して、信号処理回路３００は、イメージセンサ１００から、ｍ組の光変換信号群を１組の光変換信号群単位で順次受信する（Ｓ１１０）。信号処理回路３００は、詳細は後述するが、光変換信号群を受信する毎に、受信した光変換信号群を使用して、画素信号ＰＳを生成する（Ｓ２１０）。詳細は後述するが、画素信号ＰＳは、Ｒ，Ｇ，Ｂ信号を含む。

そして、信号処理回路３００は、生成したｍ個の画素信号ＰＳを使用して画像を生成する（Ｓ４００）。

撮像装置１０００において動画像が撮像される場合、図３の画像生成処理が繰り返し行われる。

次に、信号処理回路３００の構成について説明する。
図４は、第１の実施の形態における信号処理回路３００の構成を示すブロック図である。なお、図４には、説明のために、信号処理回路３００に含まれない露光時間制御部２００およびクロック発生部２０が示される。

図４を参照して、信号処理回路３００は、信号生成部３３０と、判定部３５０と、第１時刻記憶部３６１と、第２時刻記憶部３６２と、時刻計測部３６３と、画像生成部３９０とを含む。

信号生成部３３０は、黒調整部３３１と、ローパスフィルター３３２と、色分離部３３３と、ホワイトバランス部３３４と、色差信号算出部３３５と、ゲイン調整部３３６と、信号量制御部３３７と、係数制御部３０と、輝度算出部３３８と、加算部３３９と、γ補正部３４０とを含む。

黒調整部３３１は、信号の黒レベルの調整を行う。
ローパスフィルター３３２は、信号の高域成分を除去するローパスフィルター処理を行う。

色分離部３３３は、後述の信号分離処理を行なう。
ホワイトバランス部３３４は、受信した信号に対し、ホワイトバランス調整を行う。

色差信号算出部３３５は、可視光信号としてのＲ，Ｇ，Ｂ信号の各々が示す値を使用して、色差信号Ｃｂ，Ｃｒを算出する。すなわち、色差信号算出部３３５は、Ｒ，Ｇ，Ｂ信号を使用して、色差信号Ｃｂ，Ｃｒを生成する。

ゲイン調整部３３６は、受信した信号のゲイン調整を行う。
係数制御部３０は、詳細は後述するが、後述する係数Ｋ（ｔ）を、信号量制御部３３７へ送信する。

信号量制御部３３７は、詳細は後述するが、係数Ｋ（ｔ）を使用して、ＩＲ信号の量を制御する。

輝度算出部３３８は、詳細は後述するが、輝度Ｙを算出する。
加算部３３９は、輝度算出部３３８から受信した輝度信号Ｙと、ゲイン調整部３３６から受信した色差信号Ｃｂ，Ｃｒとを使用して、デジタル信号としてのＲ，Ｇ，Ｂ信号を生成する。

γ補正部３４０は、ガンマ補正処理を行う。
画像生成部３９０は、画像を生成するための処理を行う。

次に、信号処理回路３００が行う処理について説明する。
信号処理回路３００は、図３のステップＳ１１０の処理、ステップＳ２１０の画素信号生成処理およびステップＳ２２０の処理を行う。

黒調整部３３１は、イメージセンサ１００から、ｍ組の光変換信号群を１組の光変換信号群単位で順次受信する（Ｓ１１０）。１組の光変換信号群は、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号から構成される。

ステップＳ２１０の画素信号生成処理では、まず、黒調整部３３１が、光変換信号群を受信する毎に、黒レベル調整処理を行なう。黒レベル調整処理では、黒調整部３３１が、光変換信号群に含まれる各信号の黒レベルの調整を行う。そして、黒調整部３３１は、黒レベルが調整された各信号を含む光変換信号群を、ローパスフィルター３３２へ送信する。これにより、黒レベル調整処理は終了する。

ローパスフィルター３３２は、信号の高域成分を除去するローパスフィルター処理を行う。ローパスフィルター処理は、例えば、３行３列のローパスフィルター用のマトリクス（以下、ＬＰＦマトリクスという）を使用した処理である。ローパスフィルター処理は、周知な技術であるので詳細な説明は行わない。

なお、ＬＰＦマトリクスを使用するローパスフィルター処理において必要なデータは、例えば、図示されないメモリに記憶されているとする。ここで、ローパスフィルター処理において必要なデータは、処理対象の光変換信号群に対応する画素の周辺の８個の画素の各々に対応する光変換信号群のデータである。

ローパスフィルター３３２は、光変換信号群を受信する毎に、ローパスフィルター処理により高域成分を除去した当該光変換信号群を、色分離部３３３へ送信する。

色分離部３３３は、光変換信号群を受信する毎に、信号分離処理を行なう。信号分離処理では、色分離部３３３が、光変換信号群を構成する、デジタル信号としてのＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号を使用して、デジタル信号としてのＲ信号、Ｇ信号、Ｂ信号を生成する。

例えば、色分離部３３３は、Ｒ＋ＩＲ信号が示す値から、ＩＲ信号が示す値を減算することに得られた値を示す信号を、Ｒ信号として生成する。Ｇ信号およびＢ信号も、Ｒ信号と同様に生成される。すなわち、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号の各々が、可視光信号（例えば、Ｒ信号）と、ＩＲ信号（赤外信号）とに分離される。

以下においては、デジタル信号としてのＲ信号、Ｇ信号、Ｂ信号およびＩＲ信号がそれぞれ示す値を、Ｒ値、Ｇ値、Ｂ値およびＩＲ値という。

そして、色分離部３３３は、Ｒ，Ｇ，Ｂ信号を、輝度算出部３３８およびホワイトバランス部３３４へ送信するとともに、ＩＲ信号を、信号量制御部３３７へ送信する。これにより、信号分離処理は終了する。

ホワイトバランス部３３４は、Ｒ，Ｇ，Ｂ信号を受信する毎に、受信したＲ，Ｇ，Ｂ信号に対し、ホワイトバランス調整の処理を行い、処理後のＲ，Ｇ，Ｂ信号を、色差信号算出部３３５へ送信する。なお、ホワイトバランス調整の処理は、周知な処理なので詳細な説明は行わない。

色差信号算出部３３５は、可視光信号としてのＲ，Ｇ，Ｂ信号を受信する毎に、受信したＲ，Ｇ，Ｂ信号の各々が示す値を使用して、色差信号Ｃｂ，Ｃｒを算出する。すなわち、色差信号算出部３３５は、Ｒ，Ｇ，Ｂ信号を使用して、色差信号Ｃｂ，Ｃｒを生成する。そして、色差信号算出部３３５は、生成した色差信号Ｃｂ，Ｃｒを、ゲイン調整部３３６へ送信する。

ゲイン調整部３３６は、色差信号Ｃｂ，Ｃｒを受信する毎に、受信した色差信号Ｃｂ，Ｃｒに対し、ゲイン調整の処理を行う。ゲイン調整の処理は、周知な技術なので詳細な説明は繰り返さない。そして、ゲイン調整部３３６は、処理後の色差信号Ｃｂ，Ｃｒを、加算部３３９へ送信する。

信号量制御部３３７は、色分離部３３３からＩＲ信号を受信する毎に、後述の係数に基づいて、ＩＲ信号の量を変化させる。具体的には、色分離部３３３からＩＲ信号を受信する毎に、受信したＩＲ信号が示す値を、以下の式１により算出される値に変化させたＩＲ信号（以下、Ｋ（ｔ）ＩＲ信号という）を生成する。

Ｋ（ｔ）×ＩＲ ・・・（式１）

式１において、Ｋ（ｔ）は、詳細は後述するが、信号量制御部３３７が後述の係数制御部３０から受信した係数のうちの最新の係数である。係数Ｋ（ｔ）は、“０”〜“１”の範囲の値を示す実数である。式１において、ＩＲは、受信したＩＲ信号が示すＩＲ値である。

ここで、例えば、係数Ｋ（ｔ）が、“０．５”であり、ＩＲ値が“１００”であるとする。この場合、ＩＲ値“５０”を示すＫ（ｔ）ＩＲ信号が生成される。すなわち、信号量制御部３３７は、受信したＩＲ信号（赤外信号）に係数Ｋ（ｔ）を乗算することにより、ＩＲ信号（赤外信号）の量を制御する。

なお、係数Ｋ（ｔ）が、例えば、“１”の場合、Ｋ（ｔ）ＩＲ信号は、受信したＩＲ信号が示すＩＲ値と同じ値を示す。すなわち、ＩＲ信号およびＫ（ｔ）ＩＲ信号において、ＩＲ値（ＩＲ信号の量）は変化しない。

そして、信号量制御部３３７は、生成したＫ（ｔ）ＩＲ信号を、輝度算出部３３８および露光時間制御部２００へ送信する。

輝度算出部３３８は、色分離部３３３から受信した可視光信号としてのＲ，Ｇ，Ｂ信号と、信号量制御部３３７から受信した赤外信号としてのＫ（ｔ）ＩＲ信号とを使用して、以下の式２により輝度Ｙを算出する。

Ｙ＝Ｋ１×Ｒ＋Ｋ２×Ｇ＋Ｋ３×Ｂ＋Ｋ（ｔ）ＩＲ ・・・（式２）

式２において、Ｋ１，Ｋ２，Ｋ３は、１未満の係数である。Ｋ（ｔ）ＩＲは、Ｋ（ｔ）ＩＲ信号が示すＩＲ値である。なお、係数Ｋ１，Ｋ２，Ｋ３，Ｋ（ｔ）ＩＲは、Ｋ１＋Ｋ２＋Ｋ３＋Ｋ（ｔ）ＩＲ＝１の条件を満たす。式２において、Ｒ，Ｇ，Ｂは、それぞれ、Ｒ値、Ｇ値、Ｂ値である。なお、輝度Ｙは、式２に限定されることなく、例えば、以下の式３により算出されてもよい。

Ｙ＝（Ｒ＋Ｇ＋Ｂ＋Ｋ（ｔ）ＩＲ）／４ ・・・（式３）

輝度算出部３３８は、算出した輝度Ｙを示す、デジタル信号としての輝度信号Ｙを生成する。すなわち、輝度算出部３３８は、可視光信号としてのＲ，Ｇ，Ｂ信号と、赤外信号としてのＫ（ｔ）ＩＲ信号とから輝度信号Ｙを算出する。そして、輝度算出部３３８は、輝度信号Ｙを加算部３３９へ送信する。

加算部３３９は、輝度算出部３３８から受信した輝度信号Ｙと、ゲイン調整部３３６から受信した色差信号Ｃｂ，Ｃｒとを使用して、デジタル信号としてのＲ，Ｇ，Ｂ信号を生成する。輝度信号Ｙと、色差信号Ｃｂ，Ｃｒとから、Ｒ，Ｇ，Ｂ信号を生成する処理は、周知な処理であるので詳細な説明は行わない。

そして、加算部３３９は、Ｒ，Ｇ，Ｂ信号を含む画素信号ＰＳを、γ補正部３４０へ送信する。

以上により、ステップＳ２１０の画素信号生成処理は終了する。
γ補正部３４０は、受信した画素信号ＰＳに含まれるＲ，Ｇ，Ｂ信号に対し、ガンマ補正処理を行い、処理後のＲ，Ｇ，Ｂ信号を含む画素信号ＰＳを、画像生成部３９０へ送信する（Ｓ２２０）。

信号処理回路３００がイメージセンサ１００から光変換信号群を受信してから画素信号ＰＳを画像生成部３９０へ送信する処理が、ｍ回繰り返し行われることにより、ｍ個の画素信号ＰＳが、順次、画像生成部３９０へ送信される。

ステップＳ３００では、１フレームに対応する全ての画素信号ＰＳの送信が終了したか否かが判定される。１フレームに対応する全ての画素信号ＰＳは、１フレームに対応する画像を構成するｍ個の画素信号ＰＳである。

すなわち、ステップＳ３００において、ＹＥＳと判定されるまで、ステップＳ１１０，Ｓ２１０，Ｓ２２０の処理が繰り返される。ｍ個の画素信号ＰＳが、画像生成部３９０へ送信されると（Ｓ３００でＹＥＳ）、画像生成部３９０は、受信したｍ個の画素信号ＰＳを使用して画像を生成する（Ｓ４００）。

撮像装置１０００において動画像が撮像される場合、図３の画像生成処理が繰り返し行われる。

次に、前述の画素信号生成処理において、信号生成部３３０が生成する輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合を徐々に変化させるための処理（以下、赤外信号割合変化処理という）について説明する。

まず、図４を参照して、判定部３５０、第１時刻記憶部３６１、第２時刻記憶部３６２および時刻計測部３６３について説明する。

第１時刻記憶部３６１は、第１所定時刻を記憶する。第１所定時刻は、夜から昼に変化する第１期間に含まれる時刻である。第２時刻記憶部３６２は、第２所定時刻を記憶する。第２所定時刻は、昼から夜に変化する第２期間に含まれる時刻である。第１時刻記憶部３６１および第２時刻記憶部３６２は、第１所定時刻および第２所定時刻を記憶する時刻記憶部を構成する。

図５は、第１期間Ｔ１および第２期間Ｔ２等を説明するための図である。
図５において、横軸は時間を示す。縦軸は、係数Ｋ（ｔ）の値を示す。

第１所定時刻および第２所定時刻は、それぞれ、時刻ｔ１および時刻ｔ２である。
第１期間Ｔ１は、時刻ｔ１ａ〜時刻ｔ１ｂまでの期間である。時刻ｔ１ａは、第１所定時刻（時刻ｔ１）より調整時間Ｔ３だけ前の時刻である。時刻ｔ１ｂは、第１所定時刻（時刻ｔ１）より調整時間Ｔ３だけ後の時刻である。

第１所定時刻は、一例として、６時００分であるとする。また、調整時間Ｔ３は、一例として、３０分であるとする。この場合、第１期間Ｔ１は、一例として、５時３０分〜６時３０分までの期間である。

なお、第１所定時刻は、上記時刻に限定されず、例えば、７時００分であってもよい。また、第１期間Ｔ１は、上記定義に限定されず、夜から昼に変化する期間であれば、他の定義に基づく期間であってもよい。

第２期間Ｔ２は、時刻ｔ２ａ〜時刻ｔ２ｂまでの期間である。時刻ｔ２ａは、第２所定時刻（時刻ｔ２）より調整時間Ｔ３だけ前の時刻である。時刻ｔ２ｂは、第２所定時刻（時刻ｔ２）より調整時間Ｔ３だけ後の時刻である。

第２所定時刻は、一例として、１７時００分であるとする。また、調整時間Ｔ３は、一例として、３０分であるとする。この場合、第２期間Ｔ２は、一例として、１６時３０分〜１７時３０分までの期間である。

なお、第２所定時刻は、上記時刻に限定されず、例えば、１８時００分であってもよい。また、第２期間Ｔ２は、上記定義に限定されず、昼から夜に変化する期間であれば、他の定義に基づく期間であってもよい。

なお、調整時間Ｔ３は、３０分に限定されず、３０分未満の時間または３０分より長い時間であってもよい。

再び、図４を参照して、時刻計測部３６３は、クロック発生部２０から供給される基準クロックＣＬＫに基づいて、時刻を計測する。すなわち、時刻計測部３６３は、現在の時刻を計測する。時刻計測部３６３は、時刻が変化する毎に、変化後の時刻を、後述の差分時間算出部３５２へ送信する。

判定部３５０は、時刻判定部３５１と、差分時間算出部３５２とを有する。
差分時間算出部３５２は、時刻計測部３６３から時刻を受信する毎に、第１所定時刻と、受信した時刻（現在の時刻）との差の時間（以下、第１差分時間という）を算出するとともに、算出した第１差分時間を、時刻判定部３５１へ送信する。なお、第１差分時間は正の値で示される。

例えば、第１所定時刻が６時００分であり、現在の時刻が５時５０分であるとする。この場合、算出される第１差分時間は１０分である。また、第１所定時刻が６時００分であり、現在の時刻が６時１５分であるとする。この場合、算出される第１差分時間は１５分である。

また、差分時間算出部３５２は、時刻計測部３６３から時刻を受信する毎に、第２所定時刻と、受信した時刻（現在の時刻）との差の時間（以下、第２差分時間という）を算出するとともに、算出した第２差分時間を、時刻判定部３５１へ送信する。なお、第２差分時間は正の値で示される。

例えば、第２所定時刻が１７時００分であり、現在の時刻が１７時２０分であるとする。この場合、算出される第２差分時間は２０分である。

すなわち、時刻判定部３５１は、差分時間算出部３５２から、第１差分時間および第２差分時間を、時刻が変化する毎に受信する。

時刻判定部３５１は、詳細は後述するが、第１差分時間および第２差分時間に基づいて、現在の時刻が、第１期間Ｔ１または第２期間Ｔ２に含まれるか否かを判定する。

すなわち、判定部３５０は、第１所定時刻および第２所定時刻に基づいて、現在の時刻が、第１期間Ｔ１または第２期間Ｔ２に含まれるか否かを判定する。

次に、前述の画素信号生成処理において、信号生成部３３０が生成する輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合を徐々に変化させるための処理（以下、赤外信号割合変化処理という）について説明する。

係数制御部３０は、図５に示される昼の期間のうち、第１期間Ｔ１および第２期間Ｔ２を除いた期間Ｔ１１においては、係数Ｋ（ｔ）“０”を、信号量制御部３３７へ送信する。また、係数制御部３０は、図５に示される夜の期間のうち、第１期間Ｔ１および第２期間Ｔ２を除いた期間Ｔ０１においては、係数Ｋ（ｔ）“１”を、信号量制御部３３７へ送信する。

図６は、赤外信号割合変化処理のフローチャートである。
赤外信号割合変化処理では、まず、ステップＳ５１１の処理が行われる。

ステップＳ５１１では、時刻判定部３５１が、差分時間算出部３５２から受信した最新の第１差分時間および第２差分時間に基づいて、現在の時刻が、第１期間Ｔ１に含まれるか否かを判定する。

具体的には、時刻判定部３５１は、第１差分時間が第２差分時間より短く、かつ、第１差分時間が前述の調整時間Ｔ３以下の時間である場合、現在の時刻が第１期間Ｔ１に含まれると判定する。

ここで、一例として、第１所定時刻が６時００分であり、現在の時刻が５時５０分であるとする。また、第２所定時刻が１７時００分であるとする。この場合、第１差分時間は１０分であり、第２差分時間は１１時間１０分である。また、調整時間Ｔ３は３０分であるとする。この場合、現在の時刻が第１期間Ｔ１に含まれると判定される。

ステップＳ５１１において、ＹＥＳならば、処理は、ステップＳ５１２に移行する。一方、ステップＳ５１１において、ＮＯならば、処理は、ステップＳ５２１に移行する。ここでは、現在の時刻が、第１期間Ｔ１に含まれるとして、ステップＳ５１２に移行する。

ステップＳ５１２では、赤外信号割合減少処理が行われる。赤外信号割合減少処理では、時刻判定部３５１が、係数減少指示を、係数制御部３０へ送信する。係数減少指示は、所定の係数減少時間かけて、“１”の係数Ｋ（ｔ）の値を、“０”になるまで徐々に値を減少させる処理を係数制御部３０に実行させるための指示である。

係数制御部３０は、係数減少指示を受信すると、減少係数送信処理を複数回繰り返す。減少係数送信処理では、係数制御部３０が、“１”の係数Ｋ（ｔ）の値を、“０”になるまで、徐々に減少させる。

具体的には、減少係数送信処理では、係数制御部３０が、所定時間経過毎に、“１”の係数Ｋ（ｔ）の値を、一例として、“０．０１”ずつ減少させるとともに、減少後の係数Ｋ（ｔ）を信号量制御部３３７へ送信する。すなわち、係数制御部３０は、係数Ｋ（ｔ）の値を、一定速度で減少させる。係数制御部３０は、係数Ｋ（ｔ）の値が、“０”になるまで減少係数送信処理を繰り返す。

減少係数送信処理における所定時間は、基準クロックＣＬＫの２周期分の時間以上の時間に設定される。

ここで、係数減少時間は、一例として、１時間（３６００秒）であるとする。すなわち、係数減少時間は、第１期間Ｔ１の時間と同じであるとする。この場合、減少係数送信処理における所定時間は、３６００／１００＝３６（秒）である。

前述したように、クロック発生部２０が発生する基準クロックＣＬＫは、周波数が４０ＭＨｚのクロックであるとする。この場合、基準クロックＣＬＫの１周期の時間は、１／４０Ｍ＝０．０２５マイクロ秒である。すなわち、減少係数送信処理における所定時間（３６（秒））は、基準クロックＣＬＫの２周期分の時間（０．０５マイクロ秒）以上の時間である。

この場合、係数制御部３０は、３６秒経過毎に、係数Ｋ（ｔ）の値を、“０．０１”ずつ減少させるとともに、減少後の係数Ｋ（ｔ）を信号量制御部３３７へ送信する減少係数送信処理を、１００回繰り返し行う。

減少係数送信処理は、一例として、図５の時刻ｔ１ａから開始されるとする。この場合、減少係数送信処理が１００回行われることにより、係数Ｋ（ｔ）の値は、図５に示されるように、第１期間Ｔ１の初め（時刻ｔ１ａ）から終わり（時刻ｔ１ｂ）までの間にかけて、徐々に減少する。

なお、係数Ｋ（ｔ）の値を減少させる値は“０．０１”に限定されない。係数Ｋ（ｔ）の値を減少させる値は、例えば、“０．００１”であってもよい。この場合、赤外信号割合減少処理において、減少係数送信処理は３．６秒毎に１回行われ、最終的に減少係数送信処理は１０００回行われる。

信号量制御部３３７は、前述した画素信号生成処理において、所定時間経過毎に係数制御部３０から受信する最新の係数Ｋ（ｔ）を使用してＫ（ｔ）ＩＲ信号を生成し、生成したＫ（ｔ）ＩＲ信号を輝度算出部３３８および露光時間制御部２００へ送信する。輝度算出部３３８は、前述したように、受信したＲ，Ｇ，Ｂ信号と、受信したＫ（ｔ）ＩＲ信号とを使用して、輝度Ｙを計算し、輝度信号Ｙを生成する。

前述したように、輝度信号Ｙは、前述の式２（Ｙ＝Ｋ１×Ｒ＋Ｋ２×Ｇ＋Ｋ３×Ｂ＋Ｋ（ｔ）ＩＲ）または式３を使用して生成される。すなわち、係数Ｋ（ｔ）の値が大きい程、輝度信号Ｙに含まれるＩＲ信号の割合は大きい。また、係数Ｋ（ｔ）の値が小さい程、輝度信号Ｙに含まれるＩＲ信号の割合は小さい。

したがって、上記の減少係数送信処理が、係数減少時間かけて、１００回繰り返し行われることにより、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。その後、ステップＳ５１２の処理は終了し、再度、ステップＳ５１１の処理が行われる。

次に、時刻計測部３６３により計測される現在の時刻が、第２期間Ｔ２に含まれる場合の処理について説明する。ここで、図６のステップＳ５１１でＮＯと判定され、処理はステップＳ５２１に移行するとする。

ステップＳ５２１では、時刻判定部３５１が、差分時間算出部３５２から受信した最新の第１差分時間および第２差分時間に基づいて、現在の時刻が、第２期間Ｔ２に含まれるか否かを判定する。

具体的には、時刻判定部３５１は、第２差分時間が第１差分時間より短く、かつ、第２差分時間が前述の調整時間Ｔ３以下の時間である場合、現在の時刻が第２期間Ｔ２に含まれると判定する。

ここで、一例として、第１所定時刻が６時００分であり、現在の時刻が１６時５０分であるとする。また、第２所定時刻が１７時００分であるとする。この場合、第１差分時間は１０時間５０分であり、第２差分時間は１０分である。また、調整時間Ｔ３は３０分であるとする。この場合、現在の時刻が第２期間Ｔ２に含まれると判定される。

ステップＳ５２１において、ＹＥＳならば、処理は、ステップＳ５２２に移行する。一方、ステップＳ５２１において、ＮＯならば、再度、ステップＳ５１１の処理が行われる。ここでは、現在の時刻が、第２期間Ｔ２に含まれるとして、ステップＳ５２２に移行する。

ステップＳ５２２では、赤外信号割合増加処理が行われる。赤外信号割合増加処理では、時刻判定部３５１が、係数増加指示を、係数制御部３０へ送信する。係数増加指示は、所定の係数増加時間かけて、“０”の係数Ｋ（ｔ）の値を、“１”になるまで徐々に値を増加させる処理を係数制御部３０に実行させるための指示である。

係数制御部３０は、係数増加指示を受信すると、増加係数送信処理を複数回繰り返す。増加係数送信処理では、係数制御部３０が、“０”の係数Ｋ（ｔ）の値を、“１”になるまで、徐々に増加させる。

具体的には、増加係数送信処理では、係数制御部３０が、所定時間経過毎に、“０”の係数Ｋ（ｔ）の値を、一例として、“０．０１”ずつ増加させるとともに、増加後の係数Ｋ（ｔ）を信号量制御部３３７へ送信する。すなわち、係数制御部３０は、係数Ｋ（ｔ）の値を、一定速度で増加させる。係数制御部３０は、係数Ｋ（ｔ）の値が、“１”になるまで増加係数送信処理を繰り返す。

増加係数送信処理における所定時間は、基準クロックＣＬＫの２周期分の時間以上の時間に設定される。

ここで、係数増加時間は、一例として、１時間（３６００秒）であるとする。すなわち、係数増加時間は、第２期間Ｔ２の時間と同じであるとする。この場合、増加係数送信処理における所定時間は、３６００／１００＝３６（秒）である。

前述したように、基準クロックＣＬＫの１周期の時間は、０．０２５マイクロ秒であるとする。すなわち、増加係数送信処理における所定時間（３６（秒））は、基準クロックＣＬＫの２周期分の時間（０．０５マイクロ秒）以上の時間である。

この場合、係数制御部３０は、３６秒経過毎に、係数Ｋ（ｔ）の値を、“０．０１”ずつ増加させるとともに、増加後の係数Ｋ（ｔ）を信号量制御部３３７へ送信する増加係数送信処理を、１００回繰り返し行う。

増加係数送信処理は、一例として、図５の時刻ｔ２ａから開始されるとする。この場合、増加係数送信処理が１００回行われることにより、係数Ｋ（ｔ）の値は、図５に示されるように、第２期間Ｔ２の初め（時刻ｔ２ａ）から終わり（時刻ｔ２ｂ）までの間にかけて、徐々に増加する。

なお、係数Ｋ（ｔ）の値を増加させる値は“０．０１”に限定されない。係数Ｋ（ｔ）の値を増加させる値は、例えば、“０．００１”であってもよい。この場合、赤外信号割合増加処理において、増加係数送信処理は３．６秒毎に１回行われ、最終的に増加係数送信処理は１０００回行われる。

信号量制御部３３７は、前述した画素信号生成処理において、所定時間経過毎に係数制御部３０から受信する最新の係数Ｋ（ｔ）を使用してＫ（ｔ）ＩＲ信号を生成し、生成したＫ（ｔ）ＩＲ信号を輝度算出部３３８および露光時間制御部２００へ送信する。輝度算出部３３８は、前述したように、受信したＲ，Ｇ，Ｂ信号と、受信したＫ（ｔ）ＩＲ信号とを使用して、輝度Ｙを計算し、輝度信号Ｙを生成する。

したがって、上記の増加係数送信処理が、係数増加時間かけて、１００回繰り返し行われることにより、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。その後、ステップＳ５２２の処理は終了し、再度、ステップＳ５１１の処理が行われる。

なお、露光時間制御部２００は、信号量制御部３３７から受信した最新のＫ（ｔ）ＩＲ信号を使用して、以下の露光時間制御処理を行う。

図７は、露光時間制御処理のフローチャートである。
ステップＳ６１１では、露光時間制御部２００が、信号量制御部３３７から受信したＫ（ｔ）ＩＲ信号（赤外信号）の量が所定量未満であるか否かを判定する。具体的には、受信したＫ（ｔ）ＩＲ信号の値が、予め定められた第１露光時間閾値未満であるか否かを判定する。

ここで、第１露光時間閾値とは、露光時間を、所定の露光時間よりも長くするか否かを決定するための閾値である。第１露光時間閾値は、昼から夜に変化する期間において、Ｋ（ｔ）ＩＲ信号（赤外信号）の量が少なくなった場合においても、できる限り感度の高い画像が得られるように、値が設定される。

Ｋ（ｔ）ＩＲ信号の値が、例えば、８ビットで表現される場合、第１露光時間閾値は、例えば、“２０”である。

ステップＳ６１１において、ＹＥＳならば、処理はステップＳ６１２に移行する。一方、ステップＳ６１１において、ＮＯならば、処理はステップＳ６２１に移行する。

ここでは、Ｋ（ｔ）ＩＲ信号の値が第１露光時間閾値未満であるとして、ステップＳ６１２の処理が行われるとする。

ステップＳ６１２では、露光時間変更処理が行われる。露光時間変更処理では、露光時間制御部２００が、露光時間を、所定の露光時間よりも長くするための第１露光時間変更指示を、イメージセンサ１００に含まれる、垂直走査回路１２１および水平走査回路１２２へ送信する。第１露光時間変更指示には、所定の露光時間より長い第１変更露光時間が示される。そして、ステップＳ６１２の処理は終了し、再度、ステップＳ６１１の処理が行われる。

第１露光時間変更指示を受信した垂直走査回路１２１および水平走査回路１２２は、露光時間を、第１露光時間変更指示が示す第１変更露光時間に変更する。

この処理により、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。

次に、赤外信号の量が所定量未満でない場合の処理について説明する。
この場合、ステップＳ６１１でＮＯと判定され、ステップＳ６２１の処理が行われる。

ステップＳ６２１では、露光時間制御部２００が、信号量制御部３３７から受信したＫ（ｔ）ＩＲ信号（赤外信号）の量が所定量以上であるか否かを判定する。具体的には、受信したＫ（ｔ）ＩＲ信号の値が、予め定められた第２露光時間閾値以上であるか否かを判定する。

ここで、第２露光時間閾値とは、露光時間を所定の露光時間よりも短くするか否かを決定するための閾値または変更後の第１変更露光時間を所定の露光時間に戻すか否かを決定するための閾値である。第２露光時間閾値は、第１露光時間閾値より大きな値であるとする。なお、第２露光時間閾値は、第１露光時間閾値と同じ値であってもよい。

第２露光時間閾値は、夜から昼に変化する期間または昼において、Ｋ（ｔ）ＩＲ信号（赤外信号）の量が所定量以上である場合において、感度が低く、ノイズが少ない画像が得られるように、値が設定される。

ステップＳ６２１において、ＹＥＳならば、処理はステップＳ６２２に移行する。一方、ステップＳ６２１において、ＮＯならば、再度、ステップＳ６１１の処理が行われる。

ステップＳ６２２では、露光時間変更処理Ａが行われる。露光時間変更処理Ａでは、露光時間制御部２００が、露光時間を、所定の露光時間よりも短くするための第２露光時間変更指示を、イメージセンサ１００に含まれる、垂直走査回路１２１および水平走査回路１２２へ送信する。第２露光時間変更指示には、所定の露光時間より短い第２変更露光時間が示される。そして、ステップＳ６２２の処理は終了し、再度、ステップＳ６１１の処理が行われる。

第２露光時間変更指示を受信した垂直走査回路１２１および水平走査回路１２２は、露光時間を、第２露光時間変更指示が示す第２変更露光時間に変更する。

この処理により、感度が低く、ノイズが少ない画像を得ることができる。
なお、ステップＳ６１２の処理により、露光時間が第１変更露光時間に変更されている場合、第２露光時間変更指示を受信した垂直走査回路１２１および水平走査回路１２２は、第１変更露光時間を、所定の露光時間に戻す。

以上の露光時間制御処理が行われることにより、赤外信号の量に応じて、適切な露光時間が設定される。その結果、赤外信号の量が少なくなった場合においても高い感度の画像を得ることができ、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。

なお、露光時間制御部２００は、露光時間制御処理に限定されることなく、以下の処理を行ってもよい。

露光時間制御部２００は、信号量制御部３３７から受信するＫ（ｔ）ＩＲ信号（赤外信号）の量が徐々に増加するにつれ、露光時間を徐々に長くするように、垂直走査回路１２１および水平走査回路１２２を制御する。また、露光時間制御部２００は、信号量制御部３３７から受信するＫ（ｔ）ＩＲ信号（赤外信号）の量が徐々に減少するにつれ、露光時間を徐々に短くするように、垂直走査回路１２１および水平走査回路１２２を制御する。このような制御が行われることにより、第１期間Ｔ１または第２期間Ｔ２において、露光時間をスムーズに変化させることができる。

以上説明したように、本実施の形態によれば、現在の時刻が、第２期間Ｔ２に含まれる場合、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。第２期間Ｔ２は、昼から夜に変化する期間である。また、輝度信号Ｙは、画像の生成に使用される画素信号を生成するための信号である。

また、現在の時刻が、第１期間Ｔ１に含まれる場合、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。第１期間Ｔ１は、夜から昼に変化する期間である。

したがって、昼から夜に変化する期間または夜から昼に変化する期間においても、画質の劣化が極めて少ない自然な画像を得ることができる。また、撮像時における、画像パラメーターの急激な変化を抑止することが可能となる。

また、輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合は、現在の時刻が、第２期間Ｔ２または第１期間Ｔ１に含まれる場合、徐々に変化するので、ＩＲ信号の割合が急激に変化することがない。

したがって、第２期間Ｔ２または第１期間Ｔ１において、輝度信号Ｙに含まれる赤外信号の割合が急激に変化することがない。なお、当該輝度信号Ｙを利用して画像が生成される。つまり、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。

本実施の形態によれば、昼間は、可視光信号を最適量抽出してカラー画像を生成することが可能である。また、夜間は、ＩＲ信号（近赤外成分の信号）を最適量抽出し、輝度信号Ｙを生成することにより、白黒画像の生成が可能である。

また、昼から夜または夜から昼へと時間が経過するに従い、輝度信号Ｙに含ませるＩＲ信号の量を、常に最適化することによって、画像の画質劣化が生じる時間の発生を完全に防ぐことが可能となる。

本実施の形態の赤外信号割合変化処理が行なわれることにより、輝度信号Ｙに含まれるＩＲ信号の割合を、図５の特性線Ｌ１に示されるように、例えば、第１期間Ｔ１および第２期間Ｔ２において、緩やかに変化させることが可能となる。なお、特性線Ｌ０は、従来のように、使用されるＩＲ信号の割合が急激に変化する場合の特性を示す。

また、本実施の形態では、信号量制御部３３７から出力されるＩＲ信号（赤外信号）の量が所定量未満である場合、露光時間を長くする。また、信号量制御部３３７から出力されるＩＲ信号（赤外信号）の量が所定量以上である場合、露光時間を短くする。

これにより、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。また、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。

＜第２の実施の形態＞
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に明度を追加する。

図８は、第２の実施の形態における撮像装置１０００Ａの構成を示すブロック図である。撮像装置１０００Ａは、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置１０００Ａは、デジタルビデオカメラである。なお、撮像装置１０００Ａはデジタルスチルカメラであってもよい。

撮像装置１０００Ａは、図１の撮像装置１０００と比較して、信号処理回路３００の代わりに信号処理回路３００Ａを備える点が異なる。それ以外の構成は、撮像装置１０００と同様なので詳細な説明は繰り返さない。

図９は、第２の実施の形態における信号処理回路３００Ａの構成を示すブロック図である。なお、図９には、説明のために、信号処理回路３００Ａに含まれない露光時間制御部２００およびクロック発生部２０が示される。

信号処理回路３００Ａは、図４の信号処理回路３００と比較して、信号生成部３３０の代わりに信号生成部３３０Ａを含む点が異なる。それ以外は、信号処理回路３００と同様なので詳細な説明は繰り返さない。

信号生成部３３０Ａは、信号生成部３３０と比較して、明度算出部３４１をさらに含む点が異なる。それ以外は、信号生成部３３０と同様なので詳細な説明は繰り返さない。

なお、信号処理回路３００Ａに含まれる、明度算出部３４１以外の各部は、第１の実施の形態と同様な処理を行うので詳細な説明は繰り返さない。

信号処理回路３００Ａの黒調整部３３１は、黒レベルが調整された各信号を含む光変換信号群を、ローパスフィルター３３２および明度算出部３４１へ送信する。

明度算出部３４１は、黒調整部３３１から光変換信号群を受信する毎に、明度算出処理を行なう。明度算出処理では、明度算出部３４１が、当該光変換信号群を構成するＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号から、明度を算出する。

具体的には、明度算出部３４１は、Ｒ＋ＩＲ信号の値、Ｇ＋ＩＲ信号の値、Ｂ＋ＩＲ信号の値およびＩＲ信号の値の合計値を、明度として算出する。明度算出部３４１は、明度を算出する毎に、当該算出した明度を、時刻判定部３５１へ送信する。

第２の実施の形態においても、第１の実施の形態と同様、撮像装置１０００Ａは、図３の画像生成処理を行う。画像生成処理は、第１の実施の形態で説明したので詳細な説明は繰り返さない。画像生成処理では、ステップＳ２１０の画素信号生成処理が行われる。

次に、本実施の形態における画素信号生成処理において、信号生成部３３０が生成する輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合を徐々に変化させるための処理（以下、赤外信号割合変化処理Ａという）について説明する。

図１０は、赤外信号割合変化処理Ａのフローチャートである。
図１０において、図６のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ５１１では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第１期間Ｔ１に含まれるとして、処理はステップＳ５１１Ａに移行する。

ステップＳ５１１Ａでは、時刻判定部３５１が、明度算出部３４１から受信した最新の明度が、第１所定値より大きいか否かを判定する。第１所定値は、現在の時刻が第１期間Ｔ１に含まれる場合であっても、前述した赤外信号割合減少処理を行うか否かを決定するための閾値である。第１所定値は、現在の時刻が第１期間Ｔ１に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合を判定可能な値が設定される。

現在の時刻が第１期間Ｔ１に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合は、例えば、環境により、撮像装置１０００Ａの周囲が非常に暗い場合である。当該環境は、例えば、季節、天候等である。第１所定値は、ＡＤ変換部１４０により変換された信号が８ビットで表現される場合、例えば、４０に設定される。

ステップＳ５１１Ａにおいて、ＹＥＳならば、処理はステップＳ５１２に移行する。一方、ステップＳ５１１Ａにおいて、ＮＯならば、処理は、ステップＳ５１２に移行する。

例えば、現在の時刻が第１期間Ｔ１に含まれる場合であっても、季節が冬であり、撮像装置１０００Ａの周囲が非常に暗い場合は、ステップＳ５１１ＡでＮＯと判定され、赤外信号割合減少処理は実行されない。

ステップＳ５１２では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部３０が、“１”の係数Ｋ（ｔ）の値を“０”になるまで徐々に減少させる。すなわち、明度が、第１所定値より大きい場合（Ｓ５１１ＡでＹＥＳ）、係数制御部３０は、係数Ｋ（ｔ）の値を所定時間経過毎に徐々に減少させる処理を開始する。

また、この処理により、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。

ステップＳ５２１では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第２期間Ｔ２に含まれるとして、処理はステップＳ５２１Ａに移行する。

ステップＳ５２１Ａでは、時刻判定部３５１が、明度算出部３４１から受信した最新の明度が、第１所定値以下であるか否かを判定する。第１所定値は、現在の時刻が第２期間Ｔ２に含まれる場合であっても、前述した赤外信号割合増加処理を行うか否かを決定するための閾値でもある。ステップＳ５２１Ａにおいて、ＹＥＳならば、処理はステップＳ５２２に移行する。一方、ステップＳ５２１Ａにおいて、ＮＯならば、再度、ステップＳ５１１の処理が行われる。

現在の時刻が第２期間Ｔ２に含まれる場合であっても、赤外信号割合増加処理を行う必要がない場合は、例えば、季節、天候等により、撮像装置１０００Ａの周囲が十分に明るい場合である。例えば、現在の時刻が第２期間Ｔ２に含まれる場合であっても、季節が夏であり、撮像装置１０００Ａの周囲が十分に明るい場合は、ステップＳ５２１ＡでＮＯと判定され、赤外信号割合増加処理は実行されない。

ステップＳ５２２では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部３０が、“０”の係数Ｋ（ｔ）の値を“１”になるまで、徐々に増加させる。すなわち、明度が、第１所定値以下である場合（Ｓ５２１ＡでＹＥＳ）、係数制御部３０は、係数Ｋ（ｔ）の値を所定時間経過毎に徐々に増加させる処理を開始する。

また、この処理により、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。

なお、本実施の形態では、第１の実施の形態と同様、露光時間制御部２００は、図７の露光時間制御処理を行う。

以上説明したように、本実施の形態によれば、現在の時刻が第２期間Ｔ２に含まれ、かつ、明度が第１所定値以下である場合にのみ、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。

また、現在の時刻が第１期間Ｔ１に含まれ、かつ、明度が第１所定値より大きい場合にのみ、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。

したがって、本実施の形態では、第１の実施の形態と同様、昼から夜に変化する期間または夜から昼に変化する期間においても、画質の劣化が極めて少ない自然な画像を得ることができる。

また、輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合は、第２期間Ｔ２または第１期間Ｔ１において、徐々に変化するので、ＩＲ信号の割合が急激に変化することがない。

したがって、第２期間Ｔ２または第１期間Ｔ１において、輝度信号Ｙに含まれる赤外信号の割合が急激に変化することがない。なお、当該輝度信号Ｙを利用して画像が生成される。つまり、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。

さらに、本実施の形態では、第１の実施の形態よりも、適切な明度において、輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合を変化させることができる。すなわち、本実施の形態では、第１の実施の形態よりも、さらに、画質の劣化が少ない画像を得ることができる。

また、明度を、赤外信号の割合を変化させるための判定となる要素として使用することで、第１期間Ｔ１または第２期間Ｔ２において、明るさが一定速度で変化しない場合、当該明るさの変化の速度に順応させて、輝度信号Ｙに含まれるＩＲ信号の割合を変化させることができる。

また、本実施の形態においても、図７の露光時間制御処理が行われるので、第１の実施の形態と同様な効果を得ることができる。すなわち、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。また、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。

＜第３の実施の形態＞
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に色温度を追加する。

図１１は、第３の実施の形態における撮像装置１０００Ｂの構成を示すブロック図である。撮像装置１０００Ｂは、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置１０００Ｂは、デジタルビデオカメラである。なお、撮像装置１０００Ｂはデジタルスチルカメラであってもよい。

撮像装置１０００Ｂは、図１の撮像装置１０００と比較して、信号処理回路３００の代わりに信号処理回路３００Ｂを備える点が異なる。それ以外の構成は、撮像装置１０００と同様なので詳細な説明は繰り返さない。

図１２は、第３の実施の形態における信号処理回路３００Ｂの構成を示すブロック図である。なお、図１２には、説明のために、信号処理回路３００Ｂに含まれない露光時間制御部２００およびクロック発生部２０が示される。

信号処理回路３００Ｂは、図４の信号処理回路３００と比較して、信号生成部３３０の代わりに信号生成部３３０Ｂを含む点が異なる。それ以外は、信号処理回路３００と同様なので詳細な説明は繰り返さない。

信号生成部３３０Ｂは、信号生成部３３０と比較して、色温度算出部３４２をさらに含む点が異なる。それ以外は、信号生成部３３０と同様なので詳細な説明は繰り返さない。

なお、信号処理回路３００Ｂに含まれる、色温度算出部３４２以外の各部は、第１の実施の形態と同様な処理を行うので詳細な説明は繰り返さない。

信号生成部３３０Ｂの色分離部３３３は、Ｒ，Ｇ，Ｂ信号を、輝度算出部３３８、ホワイトバランス部３３４および色温度算出部３４２へ送信する。

色温度算出部３４２は、色分離部３３３から、Ｒ，Ｇ，Ｂ信号を受信する毎に、色温度算出処理を行なう。色温度算出処理では、色温度算出部３４２が、Ｒ，Ｇ，Ｂ信号から、色温度を算出する。

具体的には、色温度算出部３４２が、Ｒ，Ｇ，Ｂ信号がそれぞれ示すＲ値、Ｇ値、Ｂ値から、ＸＹＺ色空間におけるＸＹＺ値を、周知な変換式を利用して算出する。そして、色温度算出部３４２は、算出されたＸ値、Ｙ値が、ｘｙ色度図上のどの位置に対応するかを判定することにより、色温度を算出する。

色温度算出部３４２は、色温度を算出する毎に、当該算出した色温度を、時刻判定部３５１へ送信する。

第３の実施の形態においても、第１の実施の形態と同様、撮像装置１０００Ｂは、図３の画像生成処理を行う。画像生成処理は、第１の実施の形態で説明したので詳細な説明は繰り返さない。画像生成処理では、ステップＳ２１０の画素信号生成処理が行われる。

次に、本実施の形態における画素信号生成処理において、信号生成部３３０が生成する輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合を徐々に変化させるための処理（以下、赤外信号割合変化処理Ｂという）について説明する。

図１３は、赤外信号割合変化処理Ｂのフローチャートである。
図１３において、図６のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ５１１では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第１期間Ｔ１に含まれるとして、処理はステップＳ５１１Ｂに移行する。

ステップＳ５１１Ｂでは、時刻判定部３５１が、色温度算出部３４２から受信した最新の色温度が、第２所定値より大きいか否かを判定する。第２所定値は、現在の時刻が第１期間Ｔ１に含まれる場合であっても、前述した赤外信号割合減少処理を行うか否かを決定するための閾値である。第２所定値は、現在の時刻が第１期間Ｔ１に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合を判定可能な値が設定される。

現在の時刻が第１期間Ｔ１に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合は、例えば、環境により、撮像装置１０００Ｂの周囲が暗い場合である。当該環境は、例えば、季節、天候等である。第２所定値は、一例として、３０００であるとする。

ステップＳ５１１Ｂにおいて、ＹＥＳならば、処理はステップＳ５１２に移行する。一方、ステップＳ５１１Ｂにおいて、ＮＯならば、処理は、ステップＳ５１２に移行する。

例えば、現在の時刻が第１期間Ｔ１に含まれる場合であっても、季節が冬であり、撮像装置１０００Ｂの周囲が暗い場合は、ステップＳ５１１ＢでＮＯと判定され、赤外信号割合減少処理は実行されない。

ステップＳ５１２では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部３０が、“１”の係数Ｋ（ｔ）の値を“０”になるまで徐々に減少させる。すなわち、色温度が、第２所定値より大きい場合（Ｓ５１１ＢでＹＥＳ）、係数制御部３０は、係数Ｋ（ｔ）の値を所定時間経過毎に徐々に減少させる処理を開始する。

また、この処理により、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。

ステップＳ５２１では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第２期間Ｔ２に含まれるとして、処理はステップＳ５２１Ｂに移行する。

ステップＳ５２１Ｂでは、時刻判定部３５１が、明度算出部３４１から受信した最新の色温度が、第２所定値以下であるか否かを判定する。第２所定値は、現在の時刻が第２期間Ｔ２に含まれる場合であっても、前述した赤外信号割合増加処理を行うか否かを決定するための閾値でもある。ステップＳ５２１Ｂにおいて、ＹＥＳならば、処理はステップＳ５２２に移行する。一方、ステップＳ５２１Ｂにおいて、ＮＯならば、再度、ステップＳ５１１の処理が行われる。

現在の時刻が第２期間Ｔ２に含まれる場合であっても、赤外信号割合増加処理を行う必要がない場合は、例えば、季節、天候等により、撮像装置１０００Ｂの周囲が十分に明るい場合である。例えば、現在の時刻が第２期間Ｔ２に含まれる場合であっても、季節が夏であり、撮像装置１０００Ｂの周囲が十分に明るい場合は、ステップＳ５２１ＢでＮＯと判定され、赤外信号割合増加処理は実行されない。

ステップＳ５２２では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部３０が、“０”の係数Ｋ（ｔ）の値を“１”になるまで、徐々に増加させる。すなわち、色温度が、第２所定値以下である場合（Ｓ５２１ＢでＹＥＳ）、係数制御部３０は、係数Ｋ（ｔ）の値を所定時間経過毎に徐々に増加させる処理を開始する。

また、この処理により、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。

なお、本実施の形態では、第１の実施の形態と同様、露光時間制御部２００は、図７の露光時間制御処理を行う。

以上説明したように、本実施の形態によれば、現在の時刻が第２期間Ｔ２に含まれ、かつ、色温度が第２所定値以下である場合にのみ、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。

また、現在の時刻が第１期間Ｔ１に含まれ、かつ、色温度が第２所定値より大きい場合にのみ、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。

したがって、本実施の形態では、第１の実施の形態と同様、昼から夜に変化する期間または夜から昼に変化する期間においても、画質の劣化が極めて少ない自然な画像を得ることができる。

また、輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合は、第２期間Ｔ２または第１期間Ｔ１において、徐々に変化するので、ＩＲ信号の割合が急激に変化することがない。

したがって、第２期間Ｔ２または第１期間Ｔ１において、輝度信号Ｙに含まれる赤外信号の割合が急激に変化することがない。なお、当該輝度信号Ｙを利用して画像が生成される。つまり、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。

さらに、本実施の形態では、第１の実施の形態よりも、適切な色温度において、輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合を変化させることができる。すなわち、本実施の形態では、第１の実施の形態よりも、さらに、画質の劣化が少ない画像を得ることができる。

また、色温度を、赤外信号の割合を変化させるための判定となる要素として使用することで、第１期間Ｔ１または第２期間Ｔ２において、色温度が一定速度で変化しない場合、当該色温度の変化の速度に順応させて、輝度信号Ｙに含まれるＩＲ信号の割合を変化させることができる。

また、本実施の形態においても、図７の露光時間制御処理が行われるので、第１の実施の形態と同様な効果を得ることができる。すなわち、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。また、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。

＜第４の実施の形態＞
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に色温度の代替として使用可能な値を追加する。

図１４は、第４の実施の形態における撮像装置１０００Ｃの構成を示すブロック図である。撮像装置１０００Ｃは、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置１０００Ｃは、デジタルビデオカメラである。なお、撮像装置１０００Ｃはデジタルスチルカメラであってもよい。

撮像装置１０００Ｃは、図１の撮像装置１０００と比較して、信号処理回路３００の代わりに信号処理回路３００Ｃを備える点が異なる。それ以外の構成は、撮像装置１０００と同様なので詳細な説明は繰り返さない。

図１５は、第４の実施の形態における信号処理回路３００Ｃの構成を示すブロック図である。なお、図１５には、説明のために、信号処理回路３００Ｃに含まれない露光時間制御部２００およびクロック発生部２０が示される。

信号処理回路３００Ｃは、図４の信号処理回路３００と比較して、信号生成部３３０の代わりに信号生成部３３０Ｃを含む点が異なる。それ以外は、信号処理回路３００と同様なので詳細な説明は繰り返さない。

信号生成部３３０Ｃは、信号生成部３３０と比較して、色温度近似値算出部３４３をさらに含む点が異なる。それ以外は、信号生成部３３０と同様なので詳細な説明は繰り返さない。

なお、信号処理回路３００Ｃに含まれる、色温度近似値算出部３４３以外の各部は、第１の実施の形態と同様な処理を行うので詳細な説明は繰り返さない。

信号生成部３３０Ｃの色分離部３３３は、Ｒ，Ｇ，Ｂ信号を、輝度算出部３３８、ホワイトバランス部３３４および色温度近似値算出部３４３へ送信するとともに、ＩＲ信号を、信号量制御部３３７および色温度近似値算出部３４３へ送信する。

色温度近似値算出部３４３は、色分離部３３３から、Ｒ，Ｇ，Ｂ信号およびＩＲ信号を受信する毎に、色温度近似値算出処理を行なう。色温度近似値算出処理では、色温度近似値算出部３４３が、Ｒ，Ｇ，Ｂ信号およびＩＲ信号から、色温度近似値を算出する。ここで、色温度近似値は、実際の色温度とは異なるが、色温度の代替として使用可能な値である。色温度近似値は、以下の式４により算出される。

（Ｒ＋Ｇ＋Ｂ−ＩＲ）／（Ｒ＋Ｇ＋Ｂ＋ＩＲ） ・・・（式４）

式４において、Ｒ，Ｇ，Ｂ，ＩＲは、それぞれ、Ｒ値、Ｇ値、Ｂ値およびＩＲ値である。当該Ｒ値、Ｇ値、Ｂ値およびＩＲ値は、Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号がそれぞれ示すＲ値、Ｇ値、Ｂ値およびＩＲ値である。

なお、色温度近似値を算出する式は、式４に限定されず、色温度の代替として使用可能な値を算出可能な他の式であってもよい。

色温度近似値が正の値の場合は、可視光の量が近赤外光の量より多いことになる。すなわち、色温度が高いことになる。一方、色温度近似値が負の値の場合は、可視光の量が近赤外光の量より少ないことになる。すなわち、色温度が低いことになる。

色温度近似値算出部３４３は、色温度近似値を算出する毎に、当該算出した色温度近似値を、時刻判定部３５１へ送信する。

第４の実施の形態においても、第１の実施の形態と同様、撮像装置１０００Ｃは、図３の画像生成処理を行う。画像生成処理は、第１の実施の形態で説明したので詳細な説明は繰り返さない。画像生成処理では、ステップＳ２１０の画素信号生成処理が行われる。

次に、本実施の形態における画素信号生成処理において、信号生成部３３０が生成する輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合を徐々に変化させるための処理（以下、赤外信号割合変化処理Ｃという）について説明する。

図１６は、赤外信号割合変化処理Ｃのフローチャートである。
図１６において、図６のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ５１１では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第１期間Ｔ１に含まれるとして、処理はステップＳ５１１Ｃに移行する。

ステップＳ５１１Ｃでは、時刻判定部３５１が、色温度近似値算出部３４３から受信した最新の色温度近似値が、第３所定値より大きいか否かを判定する。第３所定値は、現在の時刻が第１期間Ｔ１に含まれる場合であっても、前述した赤外信号割合減少処理を行うか否かを決定するための閾値である。

現在の時刻が第１期間Ｔ１に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合は、例えば、環境により、撮像装置１０００Ｃの周囲が暗い場合、すなわち、可視光の量が近赤外光の量より少ない場合である。当該環境は、例えば、季節、天候等である。第３所定値は、一例として、“０”であるとする。

ステップＳ５１１Ｃにおいて、ＹＥＳならば、処理はステップＳ５１２に移行する。一方、ステップＳ５１１Ｃにおいて、ＮＯならば、処理は、ステップＳ５１２に移行する。

例えば、現在の時刻が第１期間Ｔ１に含まれる場合であっても、季節が冬であり、撮像装置１０００Ｃの周囲が暗い場合は、ステップＳ５１１ＣでＮＯと判定され、赤外信号割合減少処理は実行されない。

ステップＳ５１２では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部３０が、“１”の係数Ｋ（ｔ）の値を“０”になるまで徐々に減少させる。すなわち、色温度近似値が、第３所定値より大きい場合（Ｓ５１１ＣでＹＥＳ）、係数制御部３０は、係数Ｋ（ｔ）の値を所定時間経過毎に徐々に減少させる処理を開始する。

また、この処理により、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。

ステップＳ５２１では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第２期間Ｔ２に含まれるとして、処理はステップＳ５２１Ｃに移行する。

ステップＳ５２１Ｃでは、時刻判定部３５１が、明度算出部３４１から受信した最新の色温度近似値が、第３所定値以下であるか否かを判定する。第３所定値は、現在の時刻が第２期間Ｔ２に含まれる場合であっても、前述した赤外信号割合増加処理を行うか否かを決定するための閾値でもある。ステップＳ５２１Ｃにおいて、ＹＥＳならば、処理はステップＳ５２２に移行する。一方、ステップＳ５２１Ｃにおいて、ＮＯならば、再度、ステップＳ５１１の処理が行われる。

現在の時刻が第２期間Ｔ２に含まれる場合であっても、赤外信号割合増加処理を行う必要がない場合は、例えば、季節、天候等により、撮像装置１０００Ｃの周囲が十分に明るい場合、すなわち、可視光の量が近赤外光の量より多い場合である。例えば、現在の時刻が第２期間Ｔ２に含まれる場合であっても、季節が夏であり、撮像装置１０００Ｂの周囲が十分に明るい場合は、ステップＳ５２１ＣでＮＯと判定され、赤外信号割合増加処理は実行されない。

ステップＳ５２２では、第１の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部３０が、“０”の係数Ｋ（ｔ）の値を“１”になるまで、徐々に増加させる。すなわち、色温度近似値が、第３所定値以下である場合（Ｓ５２１ＣでＹＥＳ）、係数制御部３０は、係数Ｋ（ｔ）の値を所定時間経過毎に徐々に増加させる処理を開始する。

また、この処理により、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。

なお、本実施の形態では、第１の実施の形態と同様、露光時間制御部２００は、図７の露光時間制御処理を行う。

以上説明したように、本実施の形態によれば、現在の時刻が第２期間Ｔ２に含まれ、かつ、色温度近似値が第３所定値以下である場合にのみ、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。

また、現在の時刻が第１期間Ｔ１に含まれ、かつ、色温度近似値が第３所定値より大きい場合にのみ、信号量制御部３３７は、輝度信号Ｙに含まれるＩＲ信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。

したがって、本実施の形態では、第１の実施の形態と同様、昼から夜に変化する期間または夜から昼に変化する期間においても、画質の劣化が極めて少ない自然な画像を得ることができる。

また、輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合は、第２期間Ｔ２または第１期間Ｔ１において、徐々に変化するので、ＩＲ信号の割合が急激に変化することがない。

したがって、第２期間Ｔ２または第１期間Ｔ１において、輝度信号Ｙに含まれる赤外信号の割合が急激に変化することがない。なお、当該輝度信号Ｙを利用して画像が生成される。つまり、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。

さらに、本実施の形態では、近赤外光の量に応じて、輝度信号Ｙに含まれるＩＲ信号（赤外信号）の割合を変化させることができる。すなわち、本実施の形態では、第１の実施の形態よりも、さらに、画質の劣化が少ない画像を得ることができる。

また、色温度近似値を、赤外信号の割合を変化させるための判定となる要素として使用することで、第１期間Ｔ１または第２期間Ｔ２において、色温度近似値が一定速度で変化しない場合、当該色温度近似値の変化の速度に順応させて、輝度信号Ｙに含まれるＩＲ信号の割合を変化させることができる。

また、本実施の形態においても、図７の露光時間制御処理が行われるので、第１の実施の形態と同様な効果を得ることができる。すなわち、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。また、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。

なお、第１〜第４の実施の形態における、各画素ＰＸに形成される色フィルタＣＦ１，ＣＦ２，ＣＦ３，ＣＦ４は、図２のように、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号をそれぞれ得るための４つの色フィルタに限定されない。

例えば、各画素ＰＸに形成される色フィルタＣＦ１，ＣＦ２，ＣＦ３，ＣＦ４は、Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号をそれぞれ得るための４つの色フィルタであってもよい。当該４つの色フィルタは、赤色光を透過させる色フィルタ、緑色光を透過させる色フィルタ、青色光を透過させる色フィルタ、ＩＲ光を透過させる色フィルタである。

この場合、色分離部３３３は、イメージセンサ１００から、Ｒ信号、Ｇ信号、Ｂ信号、ＩＲ信号を受信する。そのため、色分離部３３３は、前述した信号分離処理を行なうことなく、受信したＲ信号、Ｇ信号、Ｂ信号と、ＩＲ信号とを、前述したように、各部へ送信すればよい。

なお、第１〜第４の実施の形態における、信号処理回路３００、信号処理回路３００Ａ、信号処理回路３００Ｂおよび信号処理回路３００Ｃの各々における各部の全てまたは一部は、ハードウエアで構成されてもよい。また、信号処理回路３００、信号処理回路３００Ａ、信号処理回路３００Ｂおよび信号処理回路３００Ｃの各々における各部の全てまたは一部は、ＣＰＵ（Central Processing Unit）等により実行されるプログラムのモジュールであってもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の撮像装置は、昼間および夜間において画像を撮像可能な監視カメラ、ネットワークカメラ、車載カメラなどに利用可能である。

ＣＦ１，ＣＦ２，ＣＦ３，ＣＦ４ 色フィルタ
ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４ 光電変換素子
２０ クロック発生部
３０ 係数制御部
１００ イメージセンサ
１１０ 受光部
２００ 露光時間制御部
３００，３００Ａ，３００Ｂ，３００Ｃ 信号処理回路
３３０，３３０Ａ，３３０Ｂ，３３０Ｃ 信号生成部
３３３ 色分離部
３３５ 色差信号算出部
３３７ 信号量制御部
３４１ 明度算出部
３４２ 色温度算出部
３４３ 色温度近似値算出部
３５０ 判定部
３６１ 第１時刻記憶部
３６２ 第２時刻記憶部
３６３ 時刻計測部
３９０ 画像生成部
１０００，１０００Ａ，１０００Ｂ，１０００Ｃ 撮像装置

Claims (16)

1. イメージセンサと、該イメージセンサの出力信号からカラー画像または白黒画像を生成する信号処理回路とを備えた昼夜兼用の撮像装置であって、
   前記イメージセンサは、
   複数種類の可視光を少なくとも透過させる複数種類の第１の色フィルタと、近赤外光のみを透過させる第２の色フィルタとを含む複数の色フィルタと、
   前記複数の色フィルタのいずれかを搭載し、搭載された色フィルタを透過する光が入射される、２次元状に配置された複数の受光素子と、
   前記複数の受光素子が光電変換することにより生成した信号である光変換信号を読み出す読出し回路とを含み、
   前記信号処理回路は、
   前記複数種類の第１の色フィルタに対応する光変換信号および前記第２の色フィルタに対応する光変換信号から、前記複数種類の可視光に対応する複数種類の可視光信号および前記近赤外光に対応する赤外信号を分離する色分離部と、
   前記赤外信号に係数を乗算することにより、前記赤外信号の量を制御する信号量制御部と、
   前記複数種類の可視光信号と、信号量が制御された前記赤外信号とから輝度信号を算出する輝度算出部と、
   前記複数種類の可視光信号から色差信号を算出する色差信号算出部と、
   現在時刻を計測する時刻計測部と、
   前記現在時刻が、夜から昼に変化する第１期間または昼から夜に変化する第２期間に含まれるか否かを判定する判定部と、
   前記判定部により前記現在時刻が前記第１期間に含まれると判定された場合、前記第１期間において前記係数を徐々に減少させ、前記判定部により前記現在時刻が前記第２期間に含まれると判定された場合、前記第２期間において前記係数を徐々に増加させる係数制御部とを含む、
   撮像装置。
2. 前記信号処理回路は、さらに、
   前記第１期間に含まれる第１所定時刻と、前記第２期間に含まれる第２所定時刻とを記憶する時刻記憶部を含み、
   前記判定部は、
   前記第１所定時刻と前記現在時刻との差の時間である第１差分時間と、前記第２所定時刻と前記現在時刻との差の時間である第２差分時間とを算出する差分時間算出部と、
   前記第１差分時間が前記第２差分時間より短く、かつ、前記第１差分時間が所定の調整時間以下の時間である場合、前記現在時刻が前記第１期間に含まれると判定し、前記第２差分時間が前記第１差分時間より短く、かつ、前記第２差分時間が前記調整時間以下の時間である場合、当該現在時刻が前記第２期間に含まれると判定する時刻判定部とを含む、
   請求項１に記載の撮像装置。
3. 前記係数制御部は、前記判定部により前記現在時刻が前記第２期間に含まれると判定された場合、前記第２期間にわたって、前記係数を第１の値から前記第１の値より大きい第２の値に向かって所定時間経過毎に増加させる、
   請求項１または２に記載の撮像装置。
4. 前記係数制御部は、前記判定部により前記現在時刻が前記第１期間に含まれると判定された場合、前記第１期間にわたって、前記係数を第２の値から前記第２の値より小さい第１の値に向かって所定時間経過毎に減少させる、
   請求項１〜３のいずれかに記載の撮像装置。
5. 前記信号処理回路は、さらに、
   前記赤外信号および前記複数種類の可視光信号に基づいて明度を算出する明度算出部を含み、
   前記係数制御部は、前記判定部の判定結果と前記明度算出部により算出された明度とが所定の条件を満たす場合、前記係数を徐々に変化させる処理を開始する、
   請求項１または２に記載の撮像装置。
6. 前記係数制御部は、前記判定部により前記現在時刻が前記第２期間に含まれると判定され、かつ、前記明度算出部により算出された明度が第１所定値以下の場合、前記係数を第１の値から前記第１の値より大きい第２の値に向かって所定時間経過毎に増加させる処理を開始する、
   請求項５に記載の撮像装置。
7. 前記係数制御部は、前記判定部により前記現在時刻が前記第１期間に含まれると判定され、かつ、前記明度算出部により算出された明度が第１所定値より大きい場合、前記係数を第２の値から前記第２の値より小さい第１の値に向かって所定時間経過毎に減少させる処理を開始する、
   請求項５または６に記載の撮像装置。
8. 前記信号処理回路は、さらに、
   前記複数種類の可視光信号に基づいて色温度を算出する色温度算出部を含み、
   前記係数制御部は、前記判定部の判定結果と前記色温度算出部により算出された色温度とが所定の条件を満たす場合、前記係数を徐々に変化させる処理を開始する、
   請求項１または２に記載の撮像装置。
9. 前記係数制御部は、前記判定部により前記現在時刻が前記第２期間に含まれると判定され、かつ、前記色温度算出部により算出された色温度が第２所定値以下の場合、前記係数を第１の値から前記第１の値より大きい第２の値に向かって所定時間経過毎に増加させる処理を開始する、
   請求項８に記載の撮像装置。
10. 前記係数制御部は、前記判定部により前記現在時刻が前記第１期間に含まれると判定され、かつ、前記色温度算出部により算出された色温度が第２所定値より大きい場合、前記係数を第２の値から前記第２の値より小さい第１の値に向かって所定時間経過毎に減少させる処理を開始する、
    請求項８または９に記載の撮像装置。
11. 前記信号処理回路は、さらに、
    前記赤外信号および前記複数種類の可視光信号に基づいて色温度の代替として使用可能な値である色温度近似値を算出する色温度近似値算出部を含み、
    前記係数制御部は、前記判定部の判定結果と前記色温度近似値算出部により算出された色温度近似値とが所定の条件を満たす場合、前記係数を徐々に変化させる処理を開始する、
    請求項１または２に記載の撮像装置。
12. 前記係数制御部は、前記判定部により前記現在時刻が前記第２期間に含まれると判定され、かつ、前記色温度近似値算出部により算出された色温度近似値が第３所定値以下の場合、前記係数を第１の値から前記第１の値より大きい第２の値に向かって所定時間経過毎に増加させる処理を開始する、
    請求項１１に記載の撮像装置。
13. 前記係数制御部は、前記判定部により前記現在時刻が前記第１期間に含まれると判定され、かつ、前記色温度近似値算出部により算出された色温度近似値が第３所定値より大きい場合、前記係数を第２の値から前記第２の値より小さい第１の値に向かって所定時間経過毎に減少させる処理を開始する、
    請求項１１または１２に記載の撮像装置。
14. 前記撮像装置は、さらに、
    前記撮像装置の動作の基準となる基準クロックを発生するクロック発生部を備え、
    前記所定時間は、前記基準クロックにおける２周期分の時間以上の時間である、
    請求項３，４，６，７，９，１０，１２，１３のいずれかに記載の撮像装置。
15. 前記第１の値は０であり、前記第２の値は１である、
    請求項３，４，６，７，９，１０，１２，１３，１４のいずれかに記載の撮像装置。
16. 前記撮像装置は、さらに、
    前記複数の受光素子の各々が光電変換により信号を生成するための露光時間を変化させるための露光時間制御部を含み、
    前記露光時間制御部は、前記信号量制御部により信号量が制御された前記赤外信号の量に応じて、前記露光時間を変化させる、
    請求項１〜１５のいずれかに記載の撮像装置。

Images