JP2011015086A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2011015086A JP2011015086A JP2009156291A JP2009156291A JP2011015086A JP 2011015086 A JP2011015086 A JP 2011015086A JP 2009156291 A JP2009156291 A JP 2009156291A JP 2009156291 A JP2009156291 A JP 2009156291A JP 2011015086 A JP2011015086 A JP 2011015086A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- time
- value
- coefficient
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像の画質劣化を防ぐ。
【解決手段】現在時刻が第1期間に含まれると判定された場合、係数制御部30は、赤外信号に乗算される係数を第1期間において徐々に減少させ、現在時刻が第2期間に含まれると判定された場合、第2期間において係数を徐々に増加させる。また、輝度算出部338は、輝度信号を、赤外信号に係数を乗算することにより信号量が制御された赤外信号と、複数種類の可視光信号とから算出する。
【選択図】図4
【解決手段】現在時刻が第1期間に含まれると判定された場合、係数制御部30は、赤外信号に乗算される係数を第1期間において徐々に減少させ、現在時刻が第2期間に含まれると判定された場合、第2期間において係数を徐々に増加させる。また、輝度算出部338は、輝度信号を、赤外信号に係数を乗算することにより信号量が制御された赤外信号と、複数種類の可視光信号とから算出する。
【選択図】図4
Description
本発明は、可視光と近赤外光を受光する撮像装置に関する。
近年、セキュリティ、ネットワーク、車載用途のカメラとして、昼夜兼用カメラまたはデイナイトカメラと称される撮像装置(以下、昼夜兼用撮像装置という)の需要が急速に高まりつつある。昼夜兼用撮像装置は、昼間は可視光を使用してカラー画像を撮像し、夜間は近赤外(NIR(Near Infrared Radiation))光を使用して白黒画像を撮像する機能を有する。
特許文献1には、昼間および夜間において画像を撮像するための撮像装置が開示されている。特許文献1の撮像装置は、モータの動作により、赤外カットフィルタを使用する状態と、赤外カットフィルタを使用しない状態とを切替えて、撮像を行う。すなわち、特許文献1の撮像装置は、撮像において、近赤外光を使用するか否かを機械的に切替える。
また、特許文献2には、近赤外光を透過させるフィルタと、可視光を透過させるフィルタとを組み合わせて配列することにより、可視光を使用した撮像および近赤外光を使用した撮像が可能な固体撮像装置が開示されている。
しかしながら、特許文献1の撮像装置は、近赤外光を使用するか否かを機械的に切替えるため、切替え時において、使用される近赤外光成分の信号である赤外信号の量が急激に変化する。すなわち、当該切替え時において、使用される赤外信号の割合が急激に変化する。使用される赤外信号の割合が急激に変化した場合、当該赤外信号の割合の急激な変化に対応させて、画像の撮像における明度調整やホワイトバランス調整等を追従させることができない。
そのため、特許文献1では、使用される赤外信号の割合が急激に変化した直後に撮像された画像において、画質劣化が発生するという問題がある。すなわち、特許文献1の撮像装置では、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化が問題となる。
なお、特許文献2の固体撮像装置において、近赤外光を使用するか否かを電子的に切替えた場合でも、同様に、上記問題が起こりうる。
本発明は、上述の問題点を解決するためになされたものであって、その目的は、画像の画質劣化を防ぐことを可能とする撮像装置を提供することである。
上述の課題を解決するために、この発明のある局面に従う撮像装置は、イメージセンサと、該イメージセンサの出力信号からカラー画像または白黒画像を生成する信号処理回路とを備えた昼夜兼用の撮像装置である。イメージセンサは、複数種類の可視光を少なくとも透過させる複数種類の第1の色フィルタと、近赤外光のみを透過させる第2の色フィルタとを含む複数の色フィルタと、複数の色フィルタのいずれかを搭載し、搭載された色フィルタを透過する光が入射される、2次元状に配置された複数の受光素子と、複数の受光素子が光電変換することにより生成した信号である光変換信号を読み出す読出し回路とを含み、信号処理回路は、複数種類の第1の色フィルタに対応する光変換信号および第2の色フィルタに対応する光変換信号から、複数種類の可視光に対応する複数種類の可視光信号および近赤外光に対応する赤外信号を分離する色分離部と、赤外信号に係数を乗算することにより、赤外信号の量を制御する信号量制御部と、複数種類の可視光信号と、信号量が制御された赤外信号とから輝度信号を算出する輝度算出部と、複数種類の可視光信号から色差信号を算出する色差信号算出部と、現在時刻を計測する時刻計測部と、現在時刻が、夜から昼に変化する第1期間または昼から夜に変化する第2期間に含まれるか否かを判定する判定部と、判定部により現在時刻が第1期間に含まれると判定された場合、第1期間において係数を徐々に減少させ、判定部により現在時刻が第2期間に含まれると判定された場合、第2期間において係数を徐々に増加させる係数制御部とを含む。
すなわち、現在時刻が第1期間に含まれると判定された場合、係数制御部は、赤外信号に乗算される係数を第1期間において徐々に減少させ、現在時刻が第2期間に含まれると判定された場合、第2期間において係数を徐々に増加させる。また、輝度算出部は、赤外信号に係数を乗算することにより信号量が制御された赤外信号と、複数種類の可視光信号とから輝度信号を算出する。また、色差信号算出部は、色差信号を算出する。
したがって、輝度信号の算出に使用される赤外信号の割合が急激に変化することがない。なお、輝度信号および色差信号は画像の生成に使用される信号である。そのため、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。
また、信号処理回路は、さらに、第1期間に含まれる第1所定時刻と、第2期間に含まれる第2所定時刻とを記憶する時刻記憶部を含み、判定部は、第1所定時刻と現在時刻との差の時間である第1差分時間と、第2所定時刻と現在時刻との差の時間である第2差分時間とを算出する差分時間算出部と、第1差分時間が第2差分時間より短く、かつ、第1差分時間が所定の調整時間以下の時間である場合、現在時刻が第1期間に含まれると判定し、第2差分時間が第1差分時間より短く、かつ、第2差分時間が調整時間以下の時間である場合、当該現在時刻が第2期間に含まれると判定する時刻判定部とを含むことが好ましい。
また、係数制御部は、判定部により現在時刻が第2期間に含まれると判定された場合、第2期間にわたって、係数を第1の値から第1の値より大きい第2の値に向かって所定時間経過毎に増加させることが好ましい。
また、係数制御部は、判定部により現在時刻が第1期間に含まれると判定された場合、第1期間にわたって、係数を第2の値から第2の値より小さい第1の値に向かって所定時間経過毎に減少させることが好ましい。
また、信号処理回路は、さらに、赤外信号および複数種類の可視光信号に基づいて明度を算出する明度算出部を含み、係数制御部は、判定部の判定結果と明度算出部により算出された明度とが所定の条件を満たす場合、係数を徐々に変化させる処理を開始することが好ましい。
これにより、明度に応じて、使用される赤外信号の割合の制御を行うことができる。
また、係数制御部は、判定部により現在時刻が第2期間に含まれると判定され、かつ、明度算出部により算出された明度が第1所定値以下の場合、係数を第1の値から第1の値より大きい第2の値に向かって所定時間経過毎に増加させる処理を開始することが好ましい。
また、係数制御部は、判定部により現在時刻が第2期間に含まれると判定され、かつ、明度算出部により算出された明度が第1所定値以下の場合、係数を第1の値から第1の値より大きい第2の値に向かって所定時間経過毎に増加させる処理を開始することが好ましい。
また、係数制御部は、判定部により現在時刻が第1期間に含まれると判定され、かつ、明度算出部により算出された明度が第1所定値より大きい場合、係数を第2の値から第2の値より小さい第1の値に向かって所定時間経過毎に減少させる処理を開始することが好ましい。
また、信号処理回路は、さらに、複数種類の可視光信号に基づいて色温度を算出する色温度算出部を含み、係数制御部は、判定部の判定結果と色温度算出部により算出された色温度とが所定の条件を満たす場合、係数を徐々に変化させる処理を開始することが好ましい。
これにより、色温度に応じて、使用される赤外信号の割合の制御を行うことができる。
また、係数制御部は、判定部により現在時刻が第2期間に含まれると判定され、かつ、色温度算出部により算出された色温度が第2所定値以下の場合、係数を第1の値から第1の値より大きい第2の値に向かって所定時間経過毎に増加させる処理を開始することが好ましい。
また、係数制御部は、判定部により現在時刻が第2期間に含まれると判定され、かつ、色温度算出部により算出された色温度が第2所定値以下の場合、係数を第1の値から第1の値より大きい第2の値に向かって所定時間経過毎に増加させる処理を開始することが好ましい。
また、係数制御部は、判定部により現在時刻が第1期間に含まれると判定され、かつ、色温度算出部により算出された色温度が第2所定値より大きい場合、係数を第2の値から第2の値より小さい第1の値に向かって所定時間経過毎に減少させる処理を開始することが好ましい。
また、信号処理回路は、さらに、赤外信号および複数種類の可視光信号に基づいて色温度の代替として使用可能な値である色温度近似値を算出する色温度近似値算出部を含み、係数制御部は、判定部の判定結果と色温度近似値算出部により算出された色温度近似値とが所定の条件を満たす場合、係数を徐々に変化させる処理を開始することが好ましい。
これにより、色温度の代替として使用可能な色温度近似値に応じて、使用される赤外信号の割合の制御を行うことができる。
また、係数制御部は、判定部により現在時刻が第2期間に含まれると判定され、かつ、色温度近似値算出部により算出された色温度近似値が第3所定値以下の場合、係数を第1の値から第1の値より大きい第2の値に向かって所定時間経過毎に増加させる処理を開始することが好ましい。
また、係数制御部は、判定部により現在時刻が第1期間に含まれると判定され、かつ、色温度近似値算出部により算出された色温度近似値が第3所定値より大きい場合、係数を第2の値から第2の値より小さい第1の値に向かって所定時間経過毎に減少させる処理を開始することが好ましい。
また、撮像装置は、さらに、撮像装置の動作の基準となる基準クロックを発生するクロック発生部を備え、所定時間は、基準クロックにおける2周期分の時間以上の時間であることが好ましい。
また、第1の値は0であり、第2の値は1であることが好ましい。
また、撮像装置は、さらに、複数の受光素子の各々が光電変換により信号を生成するための露光時間を変化させるための露光時間制御部を含み、露光時間制御部は、信号量制御部により信号量が制御された赤外信号の量に応じて、露光時間を変化させることが好ましい。
また、撮像装置は、さらに、複数の受光素子の各々が光電変換により信号を生成するための露光時間を変化させるための露光時間制御部を含み、露光時間制御部は、信号量制御部により信号量が制御された赤外信号の量に応じて、露光時間を変化させることが好ましい。
これにより、赤外信号の量に応じて、露光時間を変化させることができる。
本発明により、画像の画質劣化を防ぐことができる。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
なお、以下の実施の形態は例示を目的としており、本発明はこれらに限定されることを意図しない。
<第1の実施の形態>
図1は、第1の実施の形態における撮像装置1000の構成を示すブロック図である。
図1は、第1の実施の形態における撮像装置1000の構成を示すブロック図である。
撮像装置1000は、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置1000は、動画像を撮像可能なデジタルビデオカメラである。なお、撮像装置1000は静止画像を撮像可能なデジタルスチルカメラであってもよい。
撮像装置1000は、レンズ10と、クロック発生部20と、イメージセンサ100と、露光時間制御部200と、信号処理回路300とを備える。
イメージセンサ100は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。なお、イメージセンサ100は、CMOSイメージセンサに限定されることなく、例えば、CCD(Charge Coupled Device)イメージセンサであってもよい。
露光時間制御部200は、詳細は後述するが、イメージセンサ100における露光時間を変更する機能を有する。露光時間制御部200は、後述する条件が満たされて露光時間を変更させる場合、露光時間を変更するための指示(以下、露光時間変更指示という)を、イメージセンサ100に含まれる、後述する垂直走査回路121および水平走査回路122へ送信する。露光時間変更指示には、変更後の露光時間(以下、変更露光時間という)が示される。
図2は、イメージセンサ100の構成を示すブロック図である。
図2を参照して、イメージセンサ100は、受光部110と、垂直走査回路121と、水平走査回路122と、増幅回路130と、AD変換部140とを含む。
図2を参照して、イメージセンサ100は、受光部110と、垂直走査回路121と、水平走査回路122と、増幅回路130と、AD変換部140とを含む。
受光部110は、光が入射される部分である。図1のレンズ10は、レンズ10に入射される光を、受光部110において結像させる。受光部110は、行列状に配列されたm個(4以上の整数)の画素PXを有する。例えば、撮像装置1000が、1000万画素の画像を生成する装置である場合、mは、1000万となる。
m個の画素PXの各々は、サブ画素としての光電変換素子SP1,SP2,SP3,SP4を有する。光電変換素子SP1,SP2,SP3,SP4の各々は、入射する光を光電変換することにより信号(以下、光変換信号という)を生成する。光電変換素子SP1,SP2,SP3,SP4の各々は、受光素子としてのフォトダイオードである。
光電変換素子SP1の上部には、色フィルタCF1が形成される。すなわち、光電変換素子SP1には、色フィルタCF1が搭載される。色フィルタCF1は、可視光としての赤色成分の光(以下、赤色光という)と、近赤外(Near Infrared Radiation)光とを透過させる色フィルタである。以下においては、近赤外光を、IR光とも表記する。
光電変換素子SP1には、色フィルタCF1を透過する赤色光およびIR光が入射される。光電変換素子SP1は、入射された赤色光およびIR光の強度に応じた光変換信号(以下、第1光変換信号という)を生成する。
以下においては、赤色成分の信号をR信号という。また、以下においては、IR光成分の信号をIR信号という。IR信号は、赤外信号である。第1光変換信号は、可視光信号としてのR信号と、IR信号とを含む。すなわち、第1光変換信号は、可視光信号である。ここで、可視光信号は、可視光成分の信号である。以下においては、第1光変換信号を、R+IR信号ともいう。
光電変換素子SP2の上部には、色フィルタCF2が形成される。すなわち、光電変換素子SP2には、色フィルタCF2が搭載される。色フィルタCF2は、可視光としての緑色成分の光(以下、緑色光という)と、IR光とを透過させる色フィルタである。
光電変換素子SP2には、色フィルタCF2を透過する緑色光およびIR光が入射される。光電変換素子SP2は、入射された緑色光およびIR光の強度に応じた光変換信号(以下、第2光変換信号という)を生成する。
以下においては、緑色成分の信号をG信号という。第2光変換信号は、可視光信号としてのG信号と、IR信号と含む。すなわち、第2光変換信号は、可視光信号である。以下においては、第2光変換信号を、G+IR信号ともいう。
光電変換素子SP3の上部には、色フィルタCF3が形成される。すなわち、光電変換素子SP3には、色フィルタCF3が搭載される。色フィルタCF3は、可視光としての青色成分の光(以下、青色光という)と、IR光とを透過させる色フィルタである。
光電変換素子SP3には、色フィルタCF3を透過する青色光およびIR光が入射される。光電変換素子SP3は、入射された青色光およびIR光の強度に応じた光変換信号(以下、第3光変換信号という)を生成する。
以下においては、青色成分の信号をB信号という。第3光変換信号は、可視光信号としてのB信号と、IR信号とを含む。すなわち、第3光変換信号は、可視光信号である。以下においては、第3光変換信号を、B+IR信号ともいう。
光電変換素子SP4の上部には、色フィルタCF4が形成される。すなわち、光電変換素子SP4には、色フィルタCF4が搭載される。色フィルタCF4は、IR光のみを透過させる色フィルタである。
光電変換素子SP4には、色フィルタCF4を透過するIR光が入射される。光電変換素子SP4は、入射されたIR光の強度に応じた光変換信号(以下、第4光変換信号という)を生成する。第4光変換信号は、近赤外光成分の信号(IR信号)のみを含む赤外信号である。以下においては、第4光変換信号を、IR信号ともいう。
垂直走査回路121および水平走査回路122は、共同して動作することにより、各画素PXに含まれる光電変換素子SP1,SP2,SP3,SP4の各々が生成した光変換信号を読み出す。すなわち、垂直走査回路121および水平走査回路122は、光変換信号を読み出す読出し回路を構成する。
垂直走査回路121および水平走査回路122は、所定の露光時間に基づいて、各画素PXに含まれる光電変換素子SP1,SP2,SP3,SP4の各々が生成した光変換信号を読み出す。
ここで、露光時間は、各画素PXに対する、リセットタイミングから読出しタイミングまでの時間である。リセットタイミングとは、各画素PXに含まれる光電変換素子SP1,SP2,SP3,SP4の各々が有する光変換信号をなくすためのリセット信号を、各画素PXに含まれる光電変換素子SP1,SP2,SP3,SP4の各々へ送信するタイミングである。読出しタイミングは、各画素PXに含まれる光電変換素子SP1,SP2,SP3,SP4の各々が生成した光変換信号を読み出すタイミングである。
垂直走査回路121および水平走査回路122は、各画素PXに含まれる光電変換素子SP1,SP2,SP3,SP4がそれぞれ生成した第1〜第4光変換信号を順次読み出す処理(以下、信号読出し処理という)を行う。なお、信号読出し処理は、CMOSイメージセンサにおいて信号を読み出す周知な処理なので詳細な説明は行わない。
なお、詳細は後述するが、垂直走査回路121および水平走査回路122は、露光時間制御部200から前述した露光時間変更指示を受信した場合、当該露光時間変更指示が示す変更露光時間に基づいて、各画素PXに含まれる光電変換素子SP1,SP2,SP3,SP4の各々が生成した光変換信号を読み出す。
垂直走査回路121および水平走査回路122が、信号読出し処理により1つの光変換信号を読み出す毎に、読み出した光変換信号(例えば、第1光変換信号)は、増幅回路130へ送信される。
増幅回路130は、光変換信号の信号レベルを増幅させる処理を行う。増幅回路130は、光変換信号を受信する毎に、受信した光変換信号の信号レベルを増幅させた光変換信号を、AD変換部140へ送信する。
前述の信号読出し処理が行われることにより、増幅回路130は、第1〜第4光変換信号を順次受信する。そして、増幅回路130は、増幅後の第1〜第4光変換信号を、順次、AD変換部140へ送信する。
第1〜第4光変換信号は、1組の光変換信号群を構成する。すなわち、R+IR信号、G+IR信号、B+IR信号およびIR信号は、1組の光変換信号群を構成する。前述したように、第1〜第3光変換信号の各々は、可視光信号を含む。つまり、1組の光変換信号群は、3個の可視光信号と、IR信号(赤外信号)とから構成される。
垂直走査回路121および水平走査回路122は、前述の信号読出し処理を、m回繰り替えし行うことにより、1フレーム分の画像の全ての信号を読み出す。この場合、増幅回路130は、信号読出し処理が行われる毎に、m組の増幅後の光変換信号群を、1組の光変換信号群単位で、順次、AD変換部140へ送信する。
AD変換部140は、光変換信号群を受信する毎に、受信した光変換信号群を構成する4個の光変換信号の各々を、s(自然数)ビットのデジタル信号に変換する。
AD変換部140は、光変換信号群を受信する毎に、デジタル信号に変換した4個の光変換信号から構成される光変換信号群を、信号処理回路300へ送信する。ここで、AD変換部140は、例えば、各光変換信号を、8ビットのデジタル信号に変換するとする。この場合、デジタル信号に変換された各光変換信号は、0〜255の範囲の値を示す信号である。
本実施の形態では、デジタル信号の示す値が大きい程、当該デジタル信号に対応する成分量が大きいものとする。例えば、AD変換部140により変換された、デジタル信号としてのIR信号が示す値が大きい程、近赤外光成分の量が大きいとする。
AD変換部140は、m組の変換後の光変換信号群を、1組の光変換信号群単位で、順次、信号処理回路300へ送信する。
撮像装置1000において動画像が撮像される場合、AD変換部140が、m組の変換後の光変換信号群を信号処理回路300へ送信する処理が繰り返し行われる。
再び、図1を参照して、クロック発生部20は、撮像装置1000の動作の基準となる基準クロックCLKを発生する。基準クロックCLKは、例えば、周波数が40MHzのクロックである。クロック発生部20は、信号処理回路300へ、基準クロックCLKを供給する。なお、基準クロックCLKの周波数は、40MHzに限定されることなく、40MHz未満の周波数または40MHzより大きい周波数でもよい。
以下においては、イメージセンサ100が撮像した画像を生成するための処理を、画像生成処理という。
図3は、画像生成処理のフローチャートである。画像生成処理は、信号処理回路300により行われる。
再び、図1を参照して、信号処理回路300は、イメージセンサ100から、m組の光変換信号群を1組の光変換信号群単位で順次受信する(S110)。信号処理回路300は、詳細は後述するが、光変換信号群を受信する毎に、受信した光変換信号群を使用して、画素信号PSを生成する(S210)。詳細は後述するが、画素信号PSは、R,G,B信号を含む。
そして、信号処理回路300は、生成したm個の画素信号PSを使用して画像を生成する(S400)。
撮像装置1000において動画像が撮像される場合、図3の画像生成処理が繰り返し行われる。
次に、信号処理回路300の構成について説明する。
図4は、第1の実施の形態における信号処理回路300の構成を示すブロック図である。なお、図4には、説明のために、信号処理回路300に含まれない露光時間制御部200およびクロック発生部20が示される。
図4は、第1の実施の形態における信号処理回路300の構成を示すブロック図である。なお、図4には、説明のために、信号処理回路300に含まれない露光時間制御部200およびクロック発生部20が示される。
図4を参照して、信号処理回路300は、信号生成部330と、判定部350と、第1時刻記憶部361と、第2時刻記憶部362と、時刻計測部363と、画像生成部390とを含む。
信号生成部330は、黒調整部331と、ローパスフィルター332と、色分離部333と、ホワイトバランス部334と、色差信号算出部335と、ゲイン調整部336と、信号量制御部337と、係数制御部30と、輝度算出部338と、加算部339と、γ補正部340とを含む。
黒調整部331は、信号の黒レベルの調整を行う。
ローパスフィルター332は、信号の高域成分を除去するローパスフィルター処理を行う。
ローパスフィルター332は、信号の高域成分を除去するローパスフィルター処理を行う。
色分離部333は、後述の信号分離処理を行なう。
ホワイトバランス部334は、受信した信号に対し、ホワイトバランス調整を行う。
ホワイトバランス部334は、受信した信号に対し、ホワイトバランス調整を行う。
色差信号算出部335は、可視光信号としてのR,G,B信号の各々が示す値を使用して、色差信号Cb,Crを算出する。すなわち、色差信号算出部335は、R,G,B信号を使用して、色差信号Cb,Crを生成する。
ゲイン調整部336は、受信した信号のゲイン調整を行う。
係数制御部30は、詳細は後述するが、後述する係数K(t)を、信号量制御部337へ送信する。
係数制御部30は、詳細は後述するが、後述する係数K(t)を、信号量制御部337へ送信する。
信号量制御部337は、詳細は後述するが、係数K(t)を使用して、IR信号の量を制御する。
輝度算出部338は、詳細は後述するが、輝度Yを算出する。
加算部339は、輝度算出部338から受信した輝度信号Yと、ゲイン調整部336から受信した色差信号Cb,Crとを使用して、デジタル信号としてのR,G,B信号を生成する。
加算部339は、輝度算出部338から受信した輝度信号Yと、ゲイン調整部336から受信した色差信号Cb,Crとを使用して、デジタル信号としてのR,G,B信号を生成する。
γ補正部340は、ガンマ補正処理を行う。
画像生成部390は、画像を生成するための処理を行う。
画像生成部390は、画像を生成するための処理を行う。
次に、信号処理回路300が行う処理について説明する。
信号処理回路300は、図3のステップS110の処理、ステップS210の画素信号生成処理およびステップS220の処理を行う。
信号処理回路300は、図3のステップS110の処理、ステップS210の画素信号生成処理およびステップS220の処理を行う。
黒調整部331は、イメージセンサ100から、m組の光変換信号群を1組の光変換信号群単位で順次受信する(S110)。1組の光変換信号群は、R+IR信号、G+IR信号、B+IR信号およびIR信号から構成される。
ステップS210の画素信号生成処理では、まず、黒調整部331が、光変換信号群を受信する毎に、黒レベル調整処理を行なう。黒レベル調整処理では、黒調整部331が、光変換信号群に含まれる各信号の黒レベルの調整を行う。そして、黒調整部331は、黒レベルが調整された各信号を含む光変換信号群を、ローパスフィルター332へ送信する。これにより、黒レベル調整処理は終了する。
ローパスフィルター332は、信号の高域成分を除去するローパスフィルター処理を行う。ローパスフィルター処理は、例えば、3行3列のローパスフィルター用のマトリクス(以下、LPFマトリクスという)を使用した処理である。ローパスフィルター処理は、周知な技術であるので詳細な説明は行わない。
なお、LPFマトリクスを使用するローパスフィルター処理において必要なデータは、例えば、図示されないメモリに記憶されているとする。ここで、ローパスフィルター処理において必要なデータは、処理対象の光変換信号群に対応する画素の周辺の8個の画素の各々に対応する光変換信号群のデータである。
ローパスフィルター332は、光変換信号群を受信する毎に、ローパスフィルター処理により高域成分を除去した当該光変換信号群を、色分離部333へ送信する。
色分離部333は、光変換信号群を受信する毎に、信号分離処理を行なう。信号分離処理では、色分離部333が、光変換信号群を構成する、デジタル信号としてのR+IR信号、G+IR信号、B+IR信号およびIR信号を使用して、デジタル信号としてのR信号、G信号、B信号を生成する。
例えば、色分離部333は、R+IR信号が示す値から、IR信号が示す値を減算することに得られた値を示す信号を、R信号として生成する。G信号およびB信号も、R信号と同様に生成される。すなわち、R+IR信号、G+IR信号、B+IR信号の各々が、可視光信号(例えば、R信号)と、IR信号(赤外信号)とに分離される。
以下においては、デジタル信号としてのR信号、G信号、B信号およびIR信号がそれぞれ示す値を、R値、G値、B値およびIR値という。
そして、色分離部333は、R,G,B信号を、輝度算出部338およびホワイトバランス部334へ送信するとともに、IR信号を、信号量制御部337へ送信する。これにより、信号分離処理は終了する。
ホワイトバランス部334は、R,G,B信号を受信する毎に、受信したR,G,B信号に対し、ホワイトバランス調整の処理を行い、処理後のR,G,B信号を、色差信号算出部335へ送信する。なお、ホワイトバランス調整の処理は、周知な処理なので詳細な説明は行わない。
色差信号算出部335は、可視光信号としてのR,G,B信号を受信する毎に、受信したR,G,B信号の各々が示す値を使用して、色差信号Cb,Crを算出する。すなわち、色差信号算出部335は、R,G,B信号を使用して、色差信号Cb,Crを生成する。そして、色差信号算出部335は、生成した色差信号Cb,Crを、ゲイン調整部336へ送信する。
ゲイン調整部336は、色差信号Cb,Crを受信する毎に、受信した色差信号Cb,Crに対し、ゲイン調整の処理を行う。ゲイン調整の処理は、周知な技術なので詳細な説明は繰り返さない。そして、ゲイン調整部336は、処理後の色差信号Cb,Crを、加算部339へ送信する。
信号量制御部337は、色分離部333からIR信号を受信する毎に、後述の係数に基づいて、IR信号の量を変化させる。具体的には、色分離部333からIR信号を受信する毎に、受信したIR信号が示す値を、以下の式1により算出される値に変化させたIR信号(以下、K(t)IR信号という)を生成する。
K(t)×IR ・・・(式1)
式1において、K(t)は、詳細は後述するが、信号量制御部337が後述の係数制御部30から受信した係数のうちの最新の係数である。係数K(t)は、“0”〜“1”の範囲の値を示す実数である。式1において、IRは、受信したIR信号が示すIR値である。
ここで、例えば、係数K(t)が、“0.5”であり、IR値が“100”であるとする。この場合、IR値“50”を示すK(t)IR信号が生成される。すなわち、信号量制御部337は、受信したIR信号(赤外信号)に係数K(t)を乗算することにより、IR信号(赤外信号)の量を制御する。
なお、係数K(t)が、例えば、“1”の場合、K(t)IR信号は、受信したIR信号が示すIR値と同じ値を示す。すなわち、IR信号およびK(t)IR信号において、IR値(IR信号の量)は変化しない。
そして、信号量制御部337は、生成したK(t)IR信号を、輝度算出部338および露光時間制御部200へ送信する。
輝度算出部338は、色分離部333から受信した可視光信号としてのR,G,B信号と、信号量制御部337から受信した赤外信号としてのK(t)IR信号とを使用して、以下の式2により輝度Yを算出する。
Y=K1×R+K2×G+K3×B+K(t)IR ・・・(式2)
式2において、K1,K2,K3は、1未満の係数である。K(t)IRは、K(t)IR信号が示すIR値である。なお、係数K1,K2,K3,K(t)IRは、K1+K2+K3+K(t)IR=1の条件を満たす。式2において、R,G,Bは、それぞれ、R値、G値、B値である。なお、輝度Yは、式2に限定されることなく、例えば、以下の式3により算出されてもよい。
Y=(R+G+B+K(t)IR)/4 ・・・(式3)
輝度算出部338は、算出した輝度Yを示す、デジタル信号としての輝度信号Yを生成する。すなわち、輝度算出部338は、可視光信号としてのR,G,B信号と、赤外信号としてのK(t)IR信号とから輝度信号Yを算出する。そして、輝度算出部338は、輝度信号Yを加算部339へ送信する。
加算部339は、輝度算出部338から受信した輝度信号Yと、ゲイン調整部336から受信した色差信号Cb,Crとを使用して、デジタル信号としてのR,G,B信号を生成する。輝度信号Yと、色差信号Cb,Crとから、R,G,B信号を生成する処理は、周知な処理であるので詳細な説明は行わない。
そして、加算部339は、R,G,B信号を含む画素信号PSを、γ補正部340へ送信する。
以上により、ステップS210の画素信号生成処理は終了する。
γ補正部340は、受信した画素信号PSに含まれるR,G,B信号に対し、ガンマ補正処理を行い、処理後のR,G,B信号を含む画素信号PSを、画像生成部390へ送信する(S220)。
γ補正部340は、受信した画素信号PSに含まれるR,G,B信号に対し、ガンマ補正処理を行い、処理後のR,G,B信号を含む画素信号PSを、画像生成部390へ送信する(S220)。
信号処理回路300がイメージセンサ100から光変換信号群を受信してから画素信号PSを画像生成部390へ送信する処理が、m回繰り返し行われることにより、m個の画素信号PSが、順次、画像生成部390へ送信される。
ステップS300では、1フレームに対応する全ての画素信号PSの送信が終了したか否かが判定される。1フレームに対応する全ての画素信号PSは、1フレームに対応する画像を構成するm個の画素信号PSである。
すなわち、ステップS300において、YESと判定されるまで、ステップS110,S210,S220の処理が繰り返される。m個の画素信号PSが、画像生成部390へ送信されると(S300でYES)、画像生成部390は、受信したm個の画素信号PSを使用して画像を生成する(S400)。
撮像装置1000において動画像が撮像される場合、図3の画像生成処理が繰り返し行われる。
次に、前述の画素信号生成処理において、信号生成部330が生成する輝度信号Yに含まれるIR信号(赤外信号)の割合を徐々に変化させるための処理(以下、赤外信号割合変化処理という)について説明する。
まず、図4を参照して、判定部350、第1時刻記憶部361、第2時刻記憶部362および時刻計測部363について説明する。
第1時刻記憶部361は、第1所定時刻を記憶する。第1所定時刻は、夜から昼に変化する第1期間に含まれる時刻である。第2時刻記憶部362は、第2所定時刻を記憶する。第2所定時刻は、昼から夜に変化する第2期間に含まれる時刻である。第1時刻記憶部361および第2時刻記憶部362は、第1所定時刻および第2所定時刻を記憶する時刻記憶部を構成する。
図5は、第1期間T1および第2期間T2等を説明するための図である。
図5において、横軸は時間を示す。縦軸は、係数K(t)の値を示す。
図5において、横軸は時間を示す。縦軸は、係数K(t)の値を示す。
第1所定時刻および第2所定時刻は、それぞれ、時刻t1および時刻t2である。
第1期間T1は、時刻t1a〜時刻t1bまでの期間である。時刻t1aは、第1所定時刻(時刻t1)より調整時間T3だけ前の時刻である。時刻t1bは、第1所定時刻(時刻t1)より調整時間T3だけ後の時刻である。
第1期間T1は、時刻t1a〜時刻t1bまでの期間である。時刻t1aは、第1所定時刻(時刻t1)より調整時間T3だけ前の時刻である。時刻t1bは、第1所定時刻(時刻t1)より調整時間T3だけ後の時刻である。
第1所定時刻は、一例として、6時00分であるとする。また、調整時間T3は、一例として、30分であるとする。この場合、第1期間T1は、一例として、5時30分〜6時30分までの期間である。
なお、第1所定時刻は、上記時刻に限定されず、例えば、7時00分であってもよい。また、第1期間T1は、上記定義に限定されず、夜から昼に変化する期間であれば、他の定義に基づく期間であってもよい。
第2期間T2は、時刻t2a〜時刻t2bまでの期間である。時刻t2aは、第2所定時刻(時刻t2)より調整時間T3だけ前の時刻である。時刻t2bは、第2所定時刻(時刻t2)より調整時間T3だけ後の時刻である。
第2所定時刻は、一例として、17時00分であるとする。また、調整時間T3は、一例として、30分であるとする。この場合、第2期間T2は、一例として、16時30分〜17時30分までの期間である。
なお、第2所定時刻は、上記時刻に限定されず、例えば、18時00分であってもよい。また、第2期間T2は、上記定義に限定されず、昼から夜に変化する期間であれば、他の定義に基づく期間であってもよい。
なお、調整時間T3は、30分に限定されず、30分未満の時間または30分より長い時間であってもよい。
再び、図4を参照して、時刻計測部363は、クロック発生部20から供給される基準クロックCLKに基づいて、時刻を計測する。すなわち、時刻計測部363は、現在の時刻を計測する。時刻計測部363は、時刻が変化する毎に、変化後の時刻を、後述の差分時間算出部352へ送信する。
判定部350は、時刻判定部351と、差分時間算出部352とを有する。
差分時間算出部352は、時刻計測部363から時刻を受信する毎に、第1所定時刻と、受信した時刻(現在の時刻)との差の時間(以下、第1差分時間という)を算出するとともに、算出した第1差分時間を、時刻判定部351へ送信する。なお、第1差分時間は正の値で示される。
差分時間算出部352は、時刻計測部363から時刻を受信する毎に、第1所定時刻と、受信した時刻(現在の時刻)との差の時間(以下、第1差分時間という)を算出するとともに、算出した第1差分時間を、時刻判定部351へ送信する。なお、第1差分時間は正の値で示される。
例えば、第1所定時刻が6時00分であり、現在の時刻が5時50分であるとする。この場合、算出される第1差分時間は10分である。また、第1所定時刻が6時00分であり、現在の時刻が6時15分であるとする。この場合、算出される第1差分時間は15分である。
また、差分時間算出部352は、時刻計測部363から時刻を受信する毎に、第2所定時刻と、受信した時刻(現在の時刻)との差の時間(以下、第2差分時間という)を算出するとともに、算出した第2差分時間を、時刻判定部351へ送信する。なお、第2差分時間は正の値で示される。
例えば、第2所定時刻が17時00分であり、現在の時刻が17時20分であるとする。この場合、算出される第2差分時間は20分である。
すなわち、時刻判定部351は、差分時間算出部352から、第1差分時間および第2差分時間を、時刻が変化する毎に受信する。
時刻判定部351は、詳細は後述するが、第1差分時間および第2差分時間に基づいて、現在の時刻が、第1期間T1または第2期間T2に含まれるか否かを判定する。
すなわち、判定部350は、第1所定時刻および第2所定時刻に基づいて、現在の時刻が、第1期間T1または第2期間T2に含まれるか否かを判定する。
次に、前述の画素信号生成処理において、信号生成部330が生成する輝度信号Yに含まれるIR信号(赤外信号)の割合を徐々に変化させるための処理(以下、赤外信号割合変化処理という)について説明する。
係数制御部30は、図5に示される昼の期間のうち、第1期間T1および第2期間T2を除いた期間T11においては、係数K(t)“0”を、信号量制御部337へ送信する。また、係数制御部30は、図5に示される夜の期間のうち、第1期間T1および第2期間T2を除いた期間T01においては、係数K(t)“1”を、信号量制御部337へ送信する。
図6は、赤外信号割合変化処理のフローチャートである。
赤外信号割合変化処理では、まず、ステップS511の処理が行われる。
赤外信号割合変化処理では、まず、ステップS511の処理が行われる。
ステップS511では、時刻判定部351が、差分時間算出部352から受信した最新の第1差分時間および第2差分時間に基づいて、現在の時刻が、第1期間T1に含まれるか否かを判定する。
具体的には、時刻判定部351は、第1差分時間が第2差分時間より短く、かつ、第1差分時間が前述の調整時間T3以下の時間である場合、現在の時刻が第1期間T1に含まれると判定する。
ここで、一例として、第1所定時刻が6時00分であり、現在の時刻が5時50分であるとする。また、第2所定時刻が17時00分であるとする。この場合、第1差分時間は10分であり、第2差分時間は11時間10分である。また、調整時間T3は30分であるとする。この場合、現在の時刻が第1期間T1に含まれると判定される。
ステップS511において、YESならば、処理は、ステップS512に移行する。一方、ステップS511において、NOならば、処理は、ステップS521に移行する。ここでは、現在の時刻が、第1期間T1に含まれるとして、ステップS512に移行する。
ステップS512では、赤外信号割合減少処理が行われる。赤外信号割合減少処理では、時刻判定部351が、係数減少指示を、係数制御部30へ送信する。係数減少指示は、所定の係数減少時間かけて、“1”の係数K(t)の値を、“0”になるまで徐々に値を減少させる処理を係数制御部30に実行させるための指示である。
係数制御部30は、係数減少指示を受信すると、減少係数送信処理を複数回繰り返す。減少係数送信処理では、係数制御部30が、“1”の係数K(t)の値を、“0”になるまで、徐々に減少させる。
具体的には、減少係数送信処理では、係数制御部30が、所定時間経過毎に、“1”の係数K(t)の値を、一例として、“0.01”ずつ減少させるとともに、減少後の係数K(t)を信号量制御部337へ送信する。すなわち、係数制御部30は、係数K(t)の値を、一定速度で減少させる。係数制御部30は、係数K(t)の値が、“0”になるまで減少係数送信処理を繰り返す。
減少係数送信処理における所定時間は、基準クロックCLKの2周期分の時間以上の時間に設定される。
ここで、係数減少時間は、一例として、1時間(3600秒)であるとする。すなわち、係数減少時間は、第1期間T1の時間と同じであるとする。この場合、減少係数送信処理における所定時間は、3600/100=36(秒)である。
前述したように、クロック発生部20が発生する基準クロックCLKは、周波数が40MHzのクロックであるとする。この場合、基準クロックCLKの1周期の時間は、1/40M=0.025マイクロ秒である。すなわち、減少係数送信処理における所定時間(36(秒))は、基準クロックCLKの2周期分の時間(0.05マイクロ秒)以上の時間である。
この場合、係数制御部30は、36秒経過毎に、係数K(t)の値を、“0.01”ずつ減少させるとともに、減少後の係数K(t)を信号量制御部337へ送信する減少係数送信処理を、100回繰り返し行う。
減少係数送信処理は、一例として、図5の時刻t1aから開始されるとする。この場合、減少係数送信処理が100回行われることにより、係数K(t)の値は、図5に示されるように、第1期間T1の初め(時刻t1a)から終わり(時刻t1b)までの間にかけて、徐々に減少する。
なお、係数K(t)の値を減少させる値は“0.01”に限定されない。係数K(t)の値を減少させる値は、例えば、“0.001”であってもよい。この場合、赤外信号割合減少処理において、減少係数送信処理は3.6秒毎に1回行われ、最終的に減少係数送信処理は1000回行われる。
信号量制御部337は、前述した画素信号生成処理において、所定時間経過毎に係数制御部30から受信する最新の係数K(t)を使用してK(t)IR信号を生成し、生成したK(t)IR信号を輝度算出部338および露光時間制御部200へ送信する。輝度算出部338は、前述したように、受信したR,G,B信号と、受信したK(t)IR信号とを使用して、輝度Yを計算し、輝度信号Yを生成する。
前述したように、輝度信号Yは、前述の式2(Y=K1×R+K2×G+K3×B+K(t)IR)または式3を使用して生成される。すなわち、係数K(t)の値が大きい程、輝度信号Yに含まれるIR信号の割合は大きい。また、係数K(t)の値が小さい程、輝度信号Yに含まれるIR信号の割合は小さい。
したがって、上記の減少係数送信処理が、係数減少時間かけて、100回繰り返し行われることにより、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。その後、ステップS512の処理は終了し、再度、ステップS511の処理が行われる。
次に、時刻計測部363により計測される現在の時刻が、第2期間T2に含まれる場合の処理について説明する。ここで、図6のステップS511でNOと判定され、処理はステップS521に移行するとする。
ステップS521では、時刻判定部351が、差分時間算出部352から受信した最新の第1差分時間および第2差分時間に基づいて、現在の時刻が、第2期間T2に含まれるか否かを判定する。
具体的には、時刻判定部351は、第2差分時間が第1差分時間より短く、かつ、第2差分時間が前述の調整時間T3以下の時間である場合、現在の時刻が第2期間T2に含まれると判定する。
ここで、一例として、第1所定時刻が6時00分であり、現在の時刻が16時50分であるとする。また、第2所定時刻が17時00分であるとする。この場合、第1差分時間は10時間50分であり、第2差分時間は10分である。また、調整時間T3は30分であるとする。この場合、現在の時刻が第2期間T2に含まれると判定される。
ステップS521において、YESならば、処理は、ステップS522に移行する。一方、ステップS521において、NOならば、再度、ステップS511の処理が行われる。ここでは、現在の時刻が、第2期間T2に含まれるとして、ステップS522に移行する。
ステップS522では、赤外信号割合増加処理が行われる。赤外信号割合増加処理では、時刻判定部351が、係数増加指示を、係数制御部30へ送信する。係数増加指示は、所定の係数増加時間かけて、“0”の係数K(t)の値を、“1”になるまで徐々に値を増加させる処理を係数制御部30に実行させるための指示である。
係数制御部30は、係数増加指示を受信すると、増加係数送信処理を複数回繰り返す。増加係数送信処理では、係数制御部30が、“0”の係数K(t)の値を、“1”になるまで、徐々に増加させる。
具体的には、増加係数送信処理では、係数制御部30が、所定時間経過毎に、“0”の係数K(t)の値を、一例として、“0.01”ずつ増加させるとともに、増加後の係数K(t)を信号量制御部337へ送信する。すなわち、係数制御部30は、係数K(t)の値を、一定速度で増加させる。係数制御部30は、係数K(t)の値が、“1”になるまで増加係数送信処理を繰り返す。
増加係数送信処理における所定時間は、基準クロックCLKの2周期分の時間以上の時間に設定される。
ここで、係数増加時間は、一例として、1時間(3600秒)であるとする。すなわち、係数増加時間は、第2期間T2の時間と同じであるとする。この場合、増加係数送信処理における所定時間は、3600/100=36(秒)である。
前述したように、基準クロックCLKの1周期の時間は、0.025マイクロ秒であるとする。すなわち、増加係数送信処理における所定時間(36(秒))は、基準クロックCLKの2周期分の時間(0.05マイクロ秒)以上の時間である。
この場合、係数制御部30は、36秒経過毎に、係数K(t)の値を、“0.01”ずつ増加させるとともに、増加後の係数K(t)を信号量制御部337へ送信する増加係数送信処理を、100回繰り返し行う。
増加係数送信処理は、一例として、図5の時刻t2aから開始されるとする。この場合、増加係数送信処理が100回行われることにより、係数K(t)の値は、図5に示されるように、第2期間T2の初め(時刻t2a)から終わり(時刻t2b)までの間にかけて、徐々に増加する。
なお、係数K(t)の値を増加させる値は“0.01”に限定されない。係数K(t)の値を増加させる値は、例えば、“0.001”であってもよい。この場合、赤外信号割合増加処理において、増加係数送信処理は3.6秒毎に1回行われ、最終的に増加係数送信処理は1000回行われる。
信号量制御部337は、前述した画素信号生成処理において、所定時間経過毎に係数制御部30から受信する最新の係数K(t)を使用してK(t)IR信号を生成し、生成したK(t)IR信号を輝度算出部338および露光時間制御部200へ送信する。輝度算出部338は、前述したように、受信したR,G,B信号と、受信したK(t)IR信号とを使用して、輝度Yを計算し、輝度信号Yを生成する。
したがって、上記の増加係数送信処理が、係数増加時間かけて、100回繰り返し行われることにより、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。その後、ステップS522の処理は終了し、再度、ステップS511の処理が行われる。
なお、露光時間制御部200は、信号量制御部337から受信した最新のK(t)IR信号を使用して、以下の露光時間制御処理を行う。
図7は、露光時間制御処理のフローチャートである。
ステップS611では、露光時間制御部200が、信号量制御部337から受信したK(t)IR信号(赤外信号)の量が所定量未満であるか否かを判定する。具体的には、受信したK(t)IR信号の値が、予め定められた第1露光時間閾値未満であるか否かを判定する。
ステップS611では、露光時間制御部200が、信号量制御部337から受信したK(t)IR信号(赤外信号)の量が所定量未満であるか否かを判定する。具体的には、受信したK(t)IR信号の値が、予め定められた第1露光時間閾値未満であるか否かを判定する。
ここで、第1露光時間閾値とは、露光時間を、所定の露光時間よりも長くするか否かを決定するための閾値である。第1露光時間閾値は、昼から夜に変化する期間において、K(t)IR信号(赤外信号)の量が少なくなった場合においても、できる限り感度の高い画像が得られるように、値が設定される。
K(t)IR信号の値が、例えば、8ビットで表現される場合、第1露光時間閾値は、例えば、“20”である。
ステップS611において、YESならば、処理はステップS612に移行する。一方、ステップS611において、NOならば、処理はステップS621に移行する。
ここでは、K(t)IR信号の値が第1露光時間閾値未満であるとして、ステップS612の処理が行われるとする。
ステップS612では、露光時間変更処理が行われる。露光時間変更処理では、露光時間制御部200が、露光時間を、所定の露光時間よりも長くするための第1露光時間変更指示を、イメージセンサ100に含まれる、垂直走査回路121および水平走査回路122へ送信する。第1露光時間変更指示には、所定の露光時間より長い第1変更露光時間が示される。そして、ステップS612の処理は終了し、再度、ステップS611の処理が行われる。
第1露光時間変更指示を受信した垂直走査回路121および水平走査回路122は、露光時間を、第1露光時間変更指示が示す第1変更露光時間に変更する。
この処理により、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。
次に、赤外信号の量が所定量未満でない場合の処理について説明する。
この場合、ステップS611でNOと判定され、ステップS621の処理が行われる。
この場合、ステップS611でNOと判定され、ステップS621の処理が行われる。
ステップS621では、露光時間制御部200が、信号量制御部337から受信したK(t)IR信号(赤外信号)の量が所定量以上であるか否かを判定する。具体的には、受信したK(t)IR信号の値が、予め定められた第2露光時間閾値以上であるか否かを判定する。
ここで、第2露光時間閾値とは、露光時間を所定の露光時間よりも短くするか否かを決定するための閾値または変更後の第1変更露光時間を所定の露光時間に戻すか否かを決定するための閾値である。第2露光時間閾値は、第1露光時間閾値より大きな値であるとする。なお、第2露光時間閾値は、第1露光時間閾値と同じ値であってもよい。
第2露光時間閾値は、夜から昼に変化する期間または昼において、K(t)IR信号(赤外信号)の量が所定量以上である場合において、感度が低く、ノイズが少ない画像が得られるように、値が設定される。
ステップS621において、YESならば、処理はステップS622に移行する。一方、ステップS621において、NOならば、再度、ステップS611の処理が行われる。
ステップS622では、露光時間変更処理Aが行われる。露光時間変更処理Aでは、露光時間制御部200が、露光時間を、所定の露光時間よりも短くするための第2露光時間変更指示を、イメージセンサ100に含まれる、垂直走査回路121および水平走査回路122へ送信する。第2露光時間変更指示には、所定の露光時間より短い第2変更露光時間が示される。そして、ステップS622の処理は終了し、再度、ステップS611の処理が行われる。
第2露光時間変更指示を受信した垂直走査回路121および水平走査回路122は、露光時間を、第2露光時間変更指示が示す第2変更露光時間に変更する。
この処理により、感度が低く、ノイズが少ない画像を得ることができる。
なお、ステップS612の処理により、露光時間が第1変更露光時間に変更されている場合、第2露光時間変更指示を受信した垂直走査回路121および水平走査回路122は、第1変更露光時間を、所定の露光時間に戻す。
なお、ステップS612の処理により、露光時間が第1変更露光時間に変更されている場合、第2露光時間変更指示を受信した垂直走査回路121および水平走査回路122は、第1変更露光時間を、所定の露光時間に戻す。
以上の露光時間制御処理が行われることにより、赤外信号の量に応じて、適切な露光時間が設定される。その結果、赤外信号の量が少なくなった場合においても高い感度の画像を得ることができ、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。
なお、露光時間制御部200は、露光時間制御処理に限定されることなく、以下の処理を行ってもよい。
露光時間制御部200は、信号量制御部337から受信するK(t)IR信号(赤外信号)の量が徐々に増加するにつれ、露光時間を徐々に長くするように、垂直走査回路121および水平走査回路122を制御する。また、露光時間制御部200は、信号量制御部337から受信するK(t)IR信号(赤外信号)の量が徐々に減少するにつれ、露光時間を徐々に短くするように、垂直走査回路121および水平走査回路122を制御する。このような制御が行われることにより、第1期間T1または第2期間T2において、露光時間をスムーズに変化させることができる。
以上説明したように、本実施の形態によれば、現在の時刻が、第2期間T2に含まれる場合、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。第2期間T2は、昼から夜に変化する期間である。また、輝度信号Yは、画像の生成に使用される画素信号を生成するための信号である。
また、現在の時刻が、第1期間T1に含まれる場合、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。第1期間T1は、夜から昼に変化する期間である。
したがって、昼から夜に変化する期間または夜から昼に変化する期間においても、画質の劣化が極めて少ない自然な画像を得ることができる。また、撮像時における、画像パラメーターの急激な変化を抑止することが可能となる。
また、輝度信号Yに含まれるIR信号(赤外信号)の割合は、現在の時刻が、第2期間T2または第1期間T1に含まれる場合、徐々に変化するので、IR信号の割合が急激に変化することがない。
したがって、第2期間T2または第1期間T1において、輝度信号Yに含まれる赤外信号の割合が急激に変化することがない。なお、当該輝度信号Yを利用して画像が生成される。つまり、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。
本実施の形態によれば、昼間は、可視光信号を最適量抽出してカラー画像を生成することが可能である。また、夜間は、IR信号(近赤外成分の信号)を最適量抽出し、輝度信号Yを生成することにより、白黒画像の生成が可能である。
また、昼から夜または夜から昼へと時間が経過するに従い、輝度信号Yに含ませるIR信号の量を、常に最適化することによって、画像の画質劣化が生じる時間の発生を完全に防ぐことが可能となる。
本実施の形態の赤外信号割合変化処理が行なわれることにより、輝度信号Yに含まれるIR信号の割合を、図5の特性線L1に示されるように、例えば、第1期間T1および第2期間T2において、緩やかに変化させることが可能となる。なお、特性線L0は、従来のように、使用されるIR信号の割合が急激に変化する場合の特性を示す。
また、本実施の形態では、信号量制御部337から出力されるIR信号(赤外信号)の量が所定量未満である場合、露光時間を長くする。また、信号量制御部337から出力されるIR信号(赤外信号)の量が所定量以上である場合、露光時間を短くする。
これにより、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。また、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。
<第2の実施の形態>
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に明度を追加する。
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に明度を追加する。
図8は、第2の実施の形態における撮像装置1000Aの構成を示すブロック図である。撮像装置1000Aは、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置1000Aは、デジタルビデオカメラである。なお、撮像装置1000Aはデジタルスチルカメラであってもよい。
撮像装置1000Aは、図1の撮像装置1000と比較して、信号処理回路300の代わりに信号処理回路300Aを備える点が異なる。それ以外の構成は、撮像装置1000と同様なので詳細な説明は繰り返さない。
図9は、第2の実施の形態における信号処理回路300Aの構成を示すブロック図である。なお、図9には、説明のために、信号処理回路300Aに含まれない露光時間制御部200およびクロック発生部20が示される。
信号処理回路300Aは、図4の信号処理回路300と比較して、信号生成部330の代わりに信号生成部330Aを含む点が異なる。それ以外は、信号処理回路300と同様なので詳細な説明は繰り返さない。
信号生成部330Aは、信号生成部330と比較して、明度算出部341をさらに含む点が異なる。それ以外は、信号生成部330と同様なので詳細な説明は繰り返さない。
なお、信号処理回路300Aに含まれる、明度算出部341以外の各部は、第1の実施の形態と同様な処理を行うので詳細な説明は繰り返さない。
信号処理回路300Aの黒調整部331は、黒レベルが調整された各信号を含む光変換信号群を、ローパスフィルター332および明度算出部341へ送信する。
明度算出部341は、黒調整部331から光変換信号群を受信する毎に、明度算出処理を行なう。明度算出処理では、明度算出部341が、当該光変換信号群を構成するR+IR信号、G+IR信号、B+IR信号およびIR信号から、明度を算出する。
具体的には、明度算出部341は、R+IR信号の値、G+IR信号の値、B+IR信号の値およびIR信号の値の合計値を、明度として算出する。明度算出部341は、明度を算出する毎に、当該算出した明度を、時刻判定部351へ送信する。
第2の実施の形態においても、第1の実施の形態と同様、撮像装置1000Aは、図3の画像生成処理を行う。画像生成処理は、第1の実施の形態で説明したので詳細な説明は繰り返さない。画像生成処理では、ステップS210の画素信号生成処理が行われる。
次に、本実施の形態における画素信号生成処理において、信号生成部330が生成する輝度信号Yに含まれるIR信号(赤外信号)の割合を徐々に変化させるための処理(以下、赤外信号割合変化処理Aという)について説明する。
図10は、赤外信号割合変化処理Aのフローチャートである。
図10において、図6のステップ番号と同じステップ番号の処理は、第1の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。
図10において、図6のステップ番号と同じステップ番号の処理は、第1の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。
ステップS511では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第1期間T1に含まれるとして、処理はステップS511Aに移行する。
ステップS511Aでは、時刻判定部351が、明度算出部341から受信した最新の明度が、第1所定値より大きいか否かを判定する。第1所定値は、現在の時刻が第1期間T1に含まれる場合であっても、前述した赤外信号割合減少処理を行うか否かを決定するための閾値である。第1所定値は、現在の時刻が第1期間T1に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合を判定可能な値が設定される。
現在の時刻が第1期間T1に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合は、例えば、環境により、撮像装置1000Aの周囲が非常に暗い場合である。当該環境は、例えば、季節、天候等である。第1所定値は、AD変換部140により変換された信号が8ビットで表現される場合、例えば、40に設定される。
ステップS511Aにおいて、YESならば、処理はステップS512に移行する。一方、ステップS511Aにおいて、NOならば、処理は、ステップS512に移行する。
例えば、現在の時刻が第1期間T1に含まれる場合であっても、季節が冬であり、撮像装置1000Aの周囲が非常に暗い場合は、ステップS511AでNOと判定され、赤外信号割合減少処理は実行されない。
ステップS512では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部30が、“1”の係数K(t)の値を“0”になるまで徐々に減少させる。すなわち、明度が、第1所定値より大きい場合(S511AでYES)、係数制御部30は、係数K(t)の値を所定時間経過毎に徐々に減少させる処理を開始する。
また、この処理により、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。
ステップS521では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第2期間T2に含まれるとして、処理はステップS521Aに移行する。
ステップS521Aでは、時刻判定部351が、明度算出部341から受信した最新の明度が、第1所定値以下であるか否かを判定する。第1所定値は、現在の時刻が第2期間T2に含まれる場合であっても、前述した赤外信号割合増加処理を行うか否かを決定するための閾値でもある。ステップS521Aにおいて、YESならば、処理はステップS522に移行する。一方、ステップS521Aにおいて、NOならば、再度、ステップS511の処理が行われる。
現在の時刻が第2期間T2に含まれる場合であっても、赤外信号割合増加処理を行う必要がない場合は、例えば、季節、天候等により、撮像装置1000Aの周囲が十分に明るい場合である。例えば、現在の時刻が第2期間T2に含まれる場合であっても、季節が夏であり、撮像装置1000Aの周囲が十分に明るい場合は、ステップS521AでNOと判定され、赤外信号割合増加処理は実行されない。
ステップS522では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部30が、“0”の係数K(t)の値を“1”になるまで、徐々に増加させる。すなわち、明度が、第1所定値以下である場合(S521AでYES)、係数制御部30は、係数K(t)の値を所定時間経過毎に徐々に増加させる処理を開始する。
また、この処理により、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。
なお、本実施の形態では、第1の実施の形態と同様、露光時間制御部200は、図7の露光時間制御処理を行う。
以上説明したように、本実施の形態によれば、現在の時刻が第2期間T2に含まれ、かつ、明度が第1所定値以下である場合にのみ、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。
また、現在の時刻が第1期間T1に含まれ、かつ、明度が第1所定値より大きい場合にのみ、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。
したがって、本実施の形態では、第1の実施の形態と同様、昼から夜に変化する期間または夜から昼に変化する期間においても、画質の劣化が極めて少ない自然な画像を得ることができる。
また、輝度信号Yに含まれるIR信号(赤外信号)の割合は、第2期間T2または第1期間T1において、徐々に変化するので、IR信号の割合が急激に変化することがない。
したがって、第2期間T2または第1期間T1において、輝度信号Yに含まれる赤外信号の割合が急激に変化することがない。なお、当該輝度信号Yを利用して画像が生成される。つまり、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。
さらに、本実施の形態では、第1の実施の形態よりも、適切な明度において、輝度信号Yに含まれるIR信号(赤外信号)の割合を変化させることができる。すなわち、本実施の形態では、第1の実施の形態よりも、さらに、画質の劣化が少ない画像を得ることができる。
また、明度を、赤外信号の割合を変化させるための判定となる要素として使用することで、第1期間T1または第2期間T2において、明るさが一定速度で変化しない場合、当該明るさの変化の速度に順応させて、輝度信号Yに含まれるIR信号の割合を変化させることができる。
また、本実施の形態においても、図7の露光時間制御処理が行われるので、第1の実施の形態と同様な効果を得ることができる。すなわち、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。また、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。
<第3の実施の形態>
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に色温度を追加する。
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に色温度を追加する。
図11は、第3の実施の形態における撮像装置1000Bの構成を示すブロック図である。撮像装置1000Bは、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置1000Bは、デジタルビデオカメラである。なお、撮像装置1000Bはデジタルスチルカメラであってもよい。
撮像装置1000Bは、図1の撮像装置1000と比較して、信号処理回路300の代わりに信号処理回路300Bを備える点が異なる。それ以外の構成は、撮像装置1000と同様なので詳細な説明は繰り返さない。
図12は、第3の実施の形態における信号処理回路300Bの構成を示すブロック図である。なお、図12には、説明のために、信号処理回路300Bに含まれない露光時間制御部200およびクロック発生部20が示される。
信号処理回路300Bは、図4の信号処理回路300と比較して、信号生成部330の代わりに信号生成部330Bを含む点が異なる。それ以外は、信号処理回路300と同様なので詳細な説明は繰り返さない。
信号生成部330Bは、信号生成部330と比較して、色温度算出部342をさらに含む点が異なる。それ以外は、信号生成部330と同様なので詳細な説明は繰り返さない。
なお、信号処理回路300Bに含まれる、色温度算出部342以外の各部は、第1の実施の形態と同様な処理を行うので詳細な説明は繰り返さない。
信号生成部330Bの色分離部333は、R,G,B信号を、輝度算出部338、ホワイトバランス部334および色温度算出部342へ送信する。
色温度算出部342は、色分離部333から、R,G,B信号を受信する毎に、色温度算出処理を行なう。色温度算出処理では、色温度算出部342が、R,G,B信号から、色温度を算出する。
具体的には、色温度算出部342が、R,G,B信号がそれぞれ示すR値、G値、B値から、XYZ色空間におけるXYZ値を、周知な変換式を利用して算出する。そして、色温度算出部342は、算出されたX値、Y値が、xy色度図上のどの位置に対応するかを判定することにより、色温度を算出する。
色温度算出部342は、色温度を算出する毎に、当該算出した色温度を、時刻判定部351へ送信する。
第3の実施の形態においても、第1の実施の形態と同様、撮像装置1000Bは、図3の画像生成処理を行う。画像生成処理は、第1の実施の形態で説明したので詳細な説明は繰り返さない。画像生成処理では、ステップS210の画素信号生成処理が行われる。
次に、本実施の形態における画素信号生成処理において、信号生成部330が生成する輝度信号Yに含まれるIR信号(赤外信号)の割合を徐々に変化させるための処理(以下、赤外信号割合変化処理Bという)について説明する。
図13は、赤外信号割合変化処理Bのフローチャートである。
図13において、図6のステップ番号と同じステップ番号の処理は、第1の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。
図13において、図6のステップ番号と同じステップ番号の処理は、第1の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。
ステップS511では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第1期間T1に含まれるとして、処理はステップS511Bに移行する。
ステップS511Bでは、時刻判定部351が、色温度算出部342から受信した最新の色温度が、第2所定値より大きいか否かを判定する。第2所定値は、現在の時刻が第1期間T1に含まれる場合であっても、前述した赤外信号割合減少処理を行うか否かを決定するための閾値である。第2所定値は、現在の時刻が第1期間T1に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合を判定可能な値が設定される。
現在の時刻が第1期間T1に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合は、例えば、環境により、撮像装置1000Bの周囲が暗い場合である。当該環境は、例えば、季節、天候等である。第2所定値は、一例として、3000であるとする。
ステップS511Bにおいて、YESならば、処理はステップS512に移行する。一方、ステップS511Bにおいて、NOならば、処理は、ステップS512に移行する。
例えば、現在の時刻が第1期間T1に含まれる場合であっても、季節が冬であり、撮像装置1000Bの周囲が暗い場合は、ステップS511BでNOと判定され、赤外信号割合減少処理は実行されない。
ステップS512では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部30が、“1”の係数K(t)の値を“0”になるまで徐々に減少させる。すなわち、色温度が、第2所定値より大きい場合(S511BでYES)、係数制御部30は、係数K(t)の値を所定時間経過毎に徐々に減少させる処理を開始する。
また、この処理により、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。
ステップS521では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第2期間T2に含まれるとして、処理はステップS521Bに移行する。
ステップS521Bでは、時刻判定部351が、明度算出部341から受信した最新の色温度が、第2所定値以下であるか否かを判定する。第2所定値は、現在の時刻が第2期間T2に含まれる場合であっても、前述した赤外信号割合増加処理を行うか否かを決定するための閾値でもある。ステップS521Bにおいて、YESならば、処理はステップS522に移行する。一方、ステップS521Bにおいて、NOならば、再度、ステップS511の処理が行われる。
現在の時刻が第2期間T2に含まれる場合であっても、赤外信号割合増加処理を行う必要がない場合は、例えば、季節、天候等により、撮像装置1000Bの周囲が十分に明るい場合である。例えば、現在の時刻が第2期間T2に含まれる場合であっても、季節が夏であり、撮像装置1000Bの周囲が十分に明るい場合は、ステップS521BでNOと判定され、赤外信号割合増加処理は実行されない。
ステップS522では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部30が、“0”の係数K(t)の値を“1”になるまで、徐々に増加させる。すなわち、色温度が、第2所定値以下である場合(S521BでYES)、係数制御部30は、係数K(t)の値を所定時間経過毎に徐々に増加させる処理を開始する。
また、この処理により、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。
なお、本実施の形態では、第1の実施の形態と同様、露光時間制御部200は、図7の露光時間制御処理を行う。
以上説明したように、本実施の形態によれば、現在の時刻が第2期間T2に含まれ、かつ、色温度が第2所定値以下である場合にのみ、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。
また、現在の時刻が第1期間T1に含まれ、かつ、色温度が第2所定値より大きい場合にのみ、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。
したがって、本実施の形態では、第1の実施の形態と同様、昼から夜に変化する期間または夜から昼に変化する期間においても、画質の劣化が極めて少ない自然な画像を得ることができる。
また、輝度信号Yに含まれるIR信号(赤外信号)の割合は、第2期間T2または第1期間T1において、徐々に変化するので、IR信号の割合が急激に変化することがない。
したがって、第2期間T2または第1期間T1において、輝度信号Yに含まれる赤外信号の割合が急激に変化することがない。なお、当該輝度信号Yを利用して画像が生成される。つまり、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。
さらに、本実施の形態では、第1の実施の形態よりも、適切な色温度において、輝度信号Yに含まれるIR信号(赤外信号)の割合を変化させることができる。すなわち、本実施の形態では、第1の実施の形態よりも、さらに、画質の劣化が少ない画像を得ることができる。
また、色温度を、赤外信号の割合を変化させるための判定となる要素として使用することで、第1期間T1または第2期間T2において、色温度が一定速度で変化しない場合、当該色温度の変化の速度に順応させて、輝度信号Yに含まれるIR信号の割合を変化させることができる。
また、本実施の形態においても、図7の露光時間制御処理が行われるので、第1の実施の形態と同様な効果を得ることができる。すなわち、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。また、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。
<第4の実施の形態>
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に色温度の代替として使用可能な値を追加する。
本実施の形態では、使用される赤外信号の割合を変化させるための判定となる要素に色温度の代替として使用可能な値を追加する。
図14は、第4の実施の形態における撮像装置1000Cの構成を示すブロック図である。撮像装置1000Cは、カラー画像および白黒画像を生成可能な昼夜兼用の撮像装置である。撮像装置1000Cは、デジタルビデオカメラである。なお、撮像装置1000Cはデジタルスチルカメラであってもよい。
撮像装置1000Cは、図1の撮像装置1000と比較して、信号処理回路300の代わりに信号処理回路300Cを備える点が異なる。それ以外の構成は、撮像装置1000と同様なので詳細な説明は繰り返さない。
図15は、第4の実施の形態における信号処理回路300Cの構成を示すブロック図である。なお、図15には、説明のために、信号処理回路300Cに含まれない露光時間制御部200およびクロック発生部20が示される。
信号処理回路300Cは、図4の信号処理回路300と比較して、信号生成部330の代わりに信号生成部330Cを含む点が異なる。それ以外は、信号処理回路300と同様なので詳細な説明は繰り返さない。
信号生成部330Cは、信号生成部330と比較して、色温度近似値算出部343をさらに含む点が異なる。それ以外は、信号生成部330と同様なので詳細な説明は繰り返さない。
なお、信号処理回路300Cに含まれる、色温度近似値算出部343以外の各部は、第1の実施の形態と同様な処理を行うので詳細な説明は繰り返さない。
信号生成部330Cの色分離部333は、R,G,B信号を、輝度算出部338、ホワイトバランス部334および色温度近似値算出部343へ送信するとともに、IR信号を、信号量制御部337および色温度近似値算出部343へ送信する。
色温度近似値算出部343は、色分離部333から、R,G,B信号およびIR信号を受信する毎に、色温度近似値算出処理を行なう。色温度近似値算出処理では、色温度近似値算出部343が、R,G,B信号およびIR信号から、色温度近似値を算出する。ここで、色温度近似値は、実際の色温度とは異なるが、色温度の代替として使用可能な値である。色温度近似値は、以下の式4により算出される。
(R+G+B−IR)/(R+G+B+IR) ・・・(式4)
式4において、R,G,B,IRは、それぞれ、R値、G値、B値およびIR値である。当該R値、G値、B値およびIR値は、R信号、G信号、B信号およびIR信号がそれぞれ示すR値、G値、B値およびIR値である。
なお、色温度近似値を算出する式は、式4に限定されず、色温度の代替として使用可能な値を算出可能な他の式であってもよい。
色温度近似値が正の値の場合は、可視光の量が近赤外光の量より多いことになる。すなわち、色温度が高いことになる。一方、色温度近似値が負の値の場合は、可視光の量が近赤外光の量より少ないことになる。すなわち、色温度が低いことになる。
色温度近似値算出部343は、色温度近似値を算出する毎に、当該算出した色温度近似値を、時刻判定部351へ送信する。
第4の実施の形態においても、第1の実施の形態と同様、撮像装置1000Cは、図3の画像生成処理を行う。画像生成処理は、第1の実施の形態で説明したので詳細な説明は繰り返さない。画像生成処理では、ステップS210の画素信号生成処理が行われる。
次に、本実施の形態における画素信号生成処理において、信号生成部330が生成する輝度信号Yに含まれるIR信号(赤外信号)の割合を徐々に変化させるための処理(以下、赤外信号割合変化処理Cという)について説明する。
図16は、赤外信号割合変化処理Cのフローチャートである。
図16において、図6のステップ番号と同じステップ番号の処理は、第1の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。
図16において、図6のステップ番号と同じステップ番号の処理は、第1の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。
ステップS511では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第1期間T1に含まれるとして、処理はステップS511Cに移行する。
ステップS511Cでは、時刻判定部351が、色温度近似値算出部343から受信した最新の色温度近似値が、第3所定値より大きいか否かを判定する。第3所定値は、現在の時刻が第1期間T1に含まれる場合であっても、前述した赤外信号割合減少処理を行うか否かを決定するための閾値である。
現在の時刻が第1期間T1に含まれる場合であっても、赤外信号割合減少処理を行う必要がない場合は、例えば、環境により、撮像装置1000Cの周囲が暗い場合、すなわち、可視光の量が近赤外光の量より少ない場合である。当該環境は、例えば、季節、天候等である。第3所定値は、一例として、“0”であるとする。
ステップS511Cにおいて、YESならば、処理はステップS512に移行する。一方、ステップS511Cにおいて、NOならば、処理は、ステップS512に移行する。
例えば、現在の時刻が第1期間T1に含まれる場合であっても、季節が冬であり、撮像装置1000Cの周囲が暗い場合は、ステップS511CでNOと判定され、赤外信号割合減少処理は実行されない。
ステップS512では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部30が、“1”の係数K(t)の値を“0”になるまで徐々に減少させる。すなわち、色温度近似値が、第3所定値より大きい場合(S511CでYES)、係数制御部30は、係数K(t)の値を所定時間経過毎に徐々に減少させる処理を開始する。
また、この処理により、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。
ステップS521では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。ここでは、現在の時刻が、第2期間T2に含まれるとして、処理はステップS521Cに移行する。
ステップS521Cでは、時刻判定部351が、明度算出部341から受信した最新の色温度近似値が、第3所定値以下であるか否かを判定する。第3所定値は、現在の時刻が第2期間T2に含まれる場合であっても、前述した赤外信号割合増加処理を行うか否かを決定するための閾値でもある。ステップS521Cにおいて、YESならば、処理はステップS522に移行する。一方、ステップS521Cにおいて、NOならば、再度、ステップS511の処理が行われる。
現在の時刻が第2期間T2に含まれる場合であっても、赤外信号割合増加処理を行う必要がない場合は、例えば、季節、天候等により、撮像装置1000Cの周囲が十分に明るい場合、すなわち、可視光の量が近赤外光の量より多い場合である。例えば、現在の時刻が第2期間T2に含まれる場合であっても、季節が夏であり、撮像装置1000Bの周囲が十分に明るい場合は、ステップS521CでNOと判定され、赤外信号割合増加処理は実行されない。
ステップS522では、第1の実施の形態で説明したのと同様な処理が行われるので詳細な説明は繰り返さない。この処理により、係数制御部30が、“0”の係数K(t)の値を“1”になるまで、徐々に増加させる。すなわち、色温度近似値が、第3所定値以下である場合(S521CでYES)、係数制御部30は、係数K(t)の値を所定時間経過毎に徐々に増加させる処理を開始する。
また、この処理により、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。
なお、本実施の形態では、第1の実施の形態と同様、露光時間制御部200は、図7の露光時間制御処理を行う。
以上説明したように、本実施の形態によれば、現在の時刻が第2期間T2に含まれ、かつ、色温度近似値が第3所定値以下である場合にのみ、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数増加時間かけて、所定時間経過毎に、徐々に増加させる。
また、現在の時刻が第1期間T1に含まれ、かつ、色温度近似値が第3所定値より大きい場合にのみ、信号量制御部337は、輝度信号Yに含まれるIR信号の割合を、係数減少時間かけて、所定時間経過毎に、徐々に減少させる。
したがって、本実施の形態では、第1の実施の形態と同様、昼から夜に変化する期間または夜から昼に変化する期間においても、画質の劣化が極めて少ない自然な画像を得ることができる。
また、輝度信号Yに含まれるIR信号(赤外信号)の割合は、第2期間T2または第1期間T1において、徐々に変化するので、IR信号の割合が急激に変化することがない。
したがって、第2期間T2または第1期間T1において、輝度信号Yに含まれる赤外信号の割合が急激に変化することがない。なお、当該輝度信号Yを利用して画像が生成される。つまり、使用される赤外信号の割合の急激な変化を起因とする画像の画質劣化を防ぐことができる。
さらに、本実施の形態では、近赤外光の量に応じて、輝度信号Yに含まれるIR信号(赤外信号)の割合を変化させることができる。すなわち、本実施の形態では、第1の実施の形態よりも、さらに、画質の劣化が少ない画像を得ることができる。
また、色温度近似値を、赤外信号の割合を変化させるための判定となる要素として使用することで、第1期間T1または第2期間T2において、色温度近似値が一定速度で変化しない場合、当該色温度近似値の変化の速度に順応させて、輝度信号Yに含まれるIR信号の割合を変化させることができる。
また、本実施の形態においても、図7の露光時間制御処理が行われるので、第1の実施の形態と同様な効果を得ることができる。すなわち、赤外信号の量が少なくなった場合においても、感度の高い画像を得ることができる。また、赤外信号の量が多くなった場合、感度が低く、ノイズが少ない画像を得ることができる。
なお、第1〜第4の実施の形態における、各画素PXに形成される色フィルタCF1,CF2,CF3,CF4は、図2のように、R+IR信号、G+IR信号、B+IR信号およびIR信号をそれぞれ得るための4つの色フィルタに限定されない。
例えば、各画素PXに形成される色フィルタCF1,CF2,CF3,CF4は、R信号、G信号、B信号およびIR信号をそれぞれ得るための4つの色フィルタであってもよい。当該4つの色フィルタは、赤色光を透過させる色フィルタ、緑色光を透過させる色フィルタ、青色光を透過させる色フィルタ、IR光を透過させる色フィルタである。
この場合、色分離部333は、イメージセンサ100から、R信号、G信号、B信号、IR信号を受信する。そのため、色分離部333は、前述した信号分離処理を行なうことなく、受信したR信号、G信号、B信号と、IR信号とを、前述したように、各部へ送信すればよい。
なお、第1〜第4の実施の形態における、信号処理回路300、信号処理回路300A、信号処理回路300Bおよび信号処理回路300Cの各々における各部の全てまたは一部は、ハードウエアで構成されてもよい。また、信号処理回路300、信号処理回路300A、信号処理回路300Bおよび信号処理回路300Cの各々における各部の全てまたは一部は、CPU(Central Processing Unit)等により実行されるプログラムのモジュールであってもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明の撮像装置は、昼間および夜間において画像を撮像可能な監視カメラ、ネットワークカメラ、車載カメラなどに利用可能である。
CF1,CF2,CF3,CF4 色フィルタ
SP1,SP2,SP3,SP4 光電変換素子
20 クロック発生部
30 係数制御部
100 イメージセンサ
110 受光部
200 露光時間制御部
300,300A,300B,300C 信号処理回路
330,330A,330B,330C 信号生成部
333 色分離部
335 色差信号算出部
337 信号量制御部
341 明度算出部
342 色温度算出部
343 色温度近似値算出部
350 判定部
361 第1時刻記憶部
362 第2時刻記憶部
363 時刻計測部
390 画像生成部
1000,1000A,1000B,1000C 撮像装置
SP1,SP2,SP3,SP4 光電変換素子
20 クロック発生部
30 係数制御部
100 イメージセンサ
110 受光部
200 露光時間制御部
300,300A,300B,300C 信号処理回路
330,330A,330B,330C 信号生成部
333 色分離部
335 色差信号算出部
337 信号量制御部
341 明度算出部
342 色温度算出部
343 色温度近似値算出部
350 判定部
361 第1時刻記憶部
362 第2時刻記憶部
363 時刻計測部
390 画像生成部
1000,1000A,1000B,1000C 撮像装置
Claims (16)
- イメージセンサと、該イメージセンサの出力信号からカラー画像または白黒画像を生成する信号処理回路とを備えた昼夜兼用の撮像装置であって、
前記イメージセンサは、
複数種類の可視光を少なくとも透過させる複数種類の第1の色フィルタと、近赤外光のみを透過させる第2の色フィルタとを含む複数の色フィルタと、
前記複数の色フィルタのいずれかを搭載し、搭載された色フィルタを透過する光が入射される、2次元状に配置された複数の受光素子と、
前記複数の受光素子が光電変換することにより生成した信号である光変換信号を読み出す読出し回路とを含み、
前記信号処理回路は、
前記複数種類の第1の色フィルタに対応する光変換信号および前記第2の色フィルタに対応する光変換信号から、前記複数種類の可視光に対応する複数種類の可視光信号および前記近赤外光に対応する赤外信号を分離する色分離部と、
前記赤外信号に係数を乗算することにより、前記赤外信号の量を制御する信号量制御部と、
前記複数種類の可視光信号と、信号量が制御された前記赤外信号とから輝度信号を算出する輝度算出部と、
前記複数種類の可視光信号から色差信号を算出する色差信号算出部と、
現在時刻を計測する時刻計測部と、
前記現在時刻が、夜から昼に変化する第1期間または昼から夜に変化する第2期間に含まれるか否かを判定する判定部と、
前記判定部により前記現在時刻が前記第1期間に含まれると判定された場合、前記第1期間において前記係数を徐々に減少させ、前記判定部により前記現在時刻が前記第2期間に含まれると判定された場合、前記第2期間において前記係数を徐々に増加させる係数制御部とを含む、
撮像装置。 - 前記信号処理回路は、さらに、
前記第1期間に含まれる第1所定時刻と、前記第2期間に含まれる第2所定時刻とを記憶する時刻記憶部を含み、
前記判定部は、
前記第1所定時刻と前記現在時刻との差の時間である第1差分時間と、前記第2所定時刻と前記現在時刻との差の時間である第2差分時間とを算出する差分時間算出部と、
前記第1差分時間が前記第2差分時間より短く、かつ、前記第1差分時間が所定の調整時間以下の時間である場合、前記現在時刻が前記第1期間に含まれると判定し、前記第2差分時間が前記第1差分時間より短く、かつ、前記第2差分時間が前記調整時間以下の時間である場合、当該現在時刻が前記第2期間に含まれると判定する時刻判定部とを含む、
請求項1に記載の撮像装置。 - 前記係数制御部は、前記判定部により前記現在時刻が前記第2期間に含まれると判定された場合、前記第2期間にわたって、前記係数を第1の値から前記第1の値より大きい第2の値に向かって所定時間経過毎に増加させる、
請求項1または2に記載の撮像装置。 - 前記係数制御部は、前記判定部により前記現在時刻が前記第1期間に含まれると判定された場合、前記第1期間にわたって、前記係数を第2の値から前記第2の値より小さい第1の値に向かって所定時間経過毎に減少させる、
請求項1〜3のいずれかに記載の撮像装置。 - 前記信号処理回路は、さらに、
前記赤外信号および前記複数種類の可視光信号に基づいて明度を算出する明度算出部を含み、
前記係数制御部は、前記判定部の判定結果と前記明度算出部により算出された明度とが所定の条件を満たす場合、前記係数を徐々に変化させる処理を開始する、
請求項1または2に記載の撮像装置。 - 前記係数制御部は、前記判定部により前記現在時刻が前記第2期間に含まれると判定され、かつ、前記明度算出部により算出された明度が第1所定値以下の場合、前記係数を第1の値から前記第1の値より大きい第2の値に向かって所定時間経過毎に増加させる処理を開始する、
請求項5に記載の撮像装置。 - 前記係数制御部は、前記判定部により前記現在時刻が前記第1期間に含まれると判定され、かつ、前記明度算出部により算出された明度が第1所定値より大きい場合、前記係数を第2の値から前記第2の値より小さい第1の値に向かって所定時間経過毎に減少させる処理を開始する、
請求項5または6に記載の撮像装置。 - 前記信号処理回路は、さらに、
前記複数種類の可視光信号に基づいて色温度を算出する色温度算出部を含み、
前記係数制御部は、前記判定部の判定結果と前記色温度算出部により算出された色温度とが所定の条件を満たす場合、前記係数を徐々に変化させる処理を開始する、
請求項1または2に記載の撮像装置。 - 前記係数制御部は、前記判定部により前記現在時刻が前記第2期間に含まれると判定され、かつ、前記色温度算出部により算出された色温度が第2所定値以下の場合、前記係数を第1の値から前記第1の値より大きい第2の値に向かって所定時間経過毎に増加させる処理を開始する、
請求項8に記載の撮像装置。 - 前記係数制御部は、前記判定部により前記現在時刻が前記第1期間に含まれると判定され、かつ、前記色温度算出部により算出された色温度が第2所定値より大きい場合、前記係数を第2の値から前記第2の値より小さい第1の値に向かって所定時間経過毎に減少させる処理を開始する、
請求項8または9に記載の撮像装置。 - 前記信号処理回路は、さらに、
前記赤外信号および前記複数種類の可視光信号に基づいて色温度の代替として使用可能な値である色温度近似値を算出する色温度近似値算出部を含み、
前記係数制御部は、前記判定部の判定結果と前記色温度近似値算出部により算出された色温度近似値とが所定の条件を満たす場合、前記係数を徐々に変化させる処理を開始する、
請求項1または2に記載の撮像装置。 - 前記係数制御部は、前記判定部により前記現在時刻が前記第2期間に含まれると判定され、かつ、前記色温度近似値算出部により算出された色温度近似値が第3所定値以下の場合、前記係数を第1の値から前記第1の値より大きい第2の値に向かって所定時間経過毎に増加させる処理を開始する、
請求項11に記載の撮像装置。 - 前記係数制御部は、前記判定部により前記現在時刻が前記第1期間に含まれると判定され、かつ、前記色温度近似値算出部により算出された色温度近似値が第3所定値より大きい場合、前記係数を第2の値から前記第2の値より小さい第1の値に向かって所定時間経過毎に減少させる処理を開始する、
請求項11または12に記載の撮像装置。 - 前記撮像装置は、さらに、
前記撮像装置の動作の基準となる基準クロックを発生するクロック発生部を備え、
前記所定時間は、前記基準クロックにおける2周期分の時間以上の時間である、
請求項3,4,6,7,9,10,12,13のいずれかに記載の撮像装置。 - 前記第1の値は0であり、前記第2の値は1である、
請求項3,4,6,7,9,10,12,13,14のいずれかに記載の撮像装置。 - 前記撮像装置は、さらに、
前記複数の受光素子の各々が光電変換により信号を生成するための露光時間を変化させるための露光時間制御部を含み、
前記露光時間制御部は、前記信号量制御部により信号量が制御された前記赤外信号の量に応じて、前記露光時間を変化させる、
請求項1〜15のいずれかに記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009156291A JP2011015086A (ja) | 2009-06-30 | 2009-06-30 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009156291A JP2011015086A (ja) | 2009-06-30 | 2009-06-30 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011015086A true JP2011015086A (ja) | 2011-01-20 |
Family
ID=43593563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009156291A Pending JP2011015086A (ja) | 2009-06-30 | 2009-06-30 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011015086A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013183330A1 (ja) * | 2012-06-08 | 2013-12-12 | 日立コンシューマエレクトロニクス株式会社 | 撮像装置 |
WO2017090462A1 (ja) * | 2015-11-27 | 2017-06-01 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US10367998B2 (en) | 2017-02-03 | 2019-07-30 | Panasonic Intellectual Property Management Co., Ltd. | Method for controlling imaging device, and imaging device |
US10477121B2 (en) | 2017-02-03 | 2019-11-12 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus including unit pixel, counter electrode, photoelectric conversion layer, and computing circuit |
JP2020061759A (ja) * | 2019-12-19 | 2020-04-16 | 株式会社ニコン | 撮像装置 |
-
2009
- 2009-06-30 JP JP2009156291A patent/JP2011015086A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013183330A1 (ja) * | 2012-06-08 | 2013-12-12 | 日立コンシューマエレクトロニクス株式会社 | 撮像装置 |
WO2017090462A1 (ja) * | 2015-11-27 | 2017-06-01 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US10798307B2 (en) | 2015-11-27 | 2020-10-06 | Sony Semiconductor Solutions Corporation | Information processing device, information processing method, and program |
US10367998B2 (en) | 2017-02-03 | 2019-07-30 | Panasonic Intellectual Property Management Co., Ltd. | Method for controlling imaging device, and imaging device |
US10477121B2 (en) | 2017-02-03 | 2019-11-12 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus including unit pixel, counter electrode, photoelectric conversion layer, and computing circuit |
US10735652B2 (en) | 2017-02-03 | 2020-08-04 | Panasonic Intellectual Property Management Co., Ltd. | Method for controlling imaging device, and imaging device |
US10951839B2 (en) | 2017-02-03 | 2021-03-16 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus including unit pixel, counter electrode, photoelectric conversion layer, and computing circuit |
US11233955B2 (en) | 2017-02-03 | 2022-01-25 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus including unit pixel, counter electrode, photoelectric conversion layer, and computing circuit |
JP2020061759A (ja) * | 2019-12-19 | 2020-04-16 | 株式会社ニコン | 撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8723958B2 (en) | Image pickup apparatus and image pickup element | |
US9288399B2 (en) | Image processing apparatus, image processing method, and program | |
JP5432075B2 (ja) | 撮像装置および色温度算出方法 | |
JP5527448B2 (ja) | 画像入力装置 | |
US8213063B2 (en) | Image sensing apparatus, image sensing system, and operating program product for image sensing system | |
JP4635828B2 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
US8411176B2 (en) | Image input device | |
KR101449805B1 (ko) | 화상 처리를 실행하는 화상 처리 장치 | |
JP5675996B2 (ja) | 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体 | |
US20120162467A1 (en) | Image capture device | |
US20180077397A1 (en) | Image processing apparatus, image processing method, and program | |
KR100842335B1 (ko) | 시모스 이미지 센서 및 그 구동방법 | |
JP2011015086A (ja) | 撮像装置 | |
WO2014041845A1 (ja) | 撮像装置及び信号処理方法 | |
US10395347B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
US20230388650A1 (en) | Image sensing device and image sensing method thereof | |
JP4736792B2 (ja) | 撮像装置及びそれに用いる画像処理方法 | |
JP2010068020A (ja) | 画像入力装置 | |
JP5464008B2 (ja) | 画像入力装置 | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
JP2012244533A (ja) | 撮像装置および画像信号処理方法 | |
JP2007049533A (ja) | 撮像装置および電子情報機器 | |
JP2024000839A (ja) | 撮像装置および画像処理方法 | |
JP2003309857A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
Johannesson et al. | Dynamic capability of sensors with nonlinear pixels utilized by security cameras |