JP2021111892A - 画像生成装置、画像生成方法 - Google Patents

Abstract

【課題】モーションブラーを低減させた赤外線画像を生成する。【解決手段】本技術に係る画像生成装置は、第１期間に光の照射を継続して行う光照射部と、光電変換を行うことにより得た電荷が蓄積される第１電荷蓄積部と第２電荷蓄積部と、前記第１期間の開始に同期させて前記第１電荷蓄積部への電荷の蓄積を開始させる処理と、前記第１電荷蓄積部への電荷の蓄積が開始されてから第２期間経過後に前記第１電荷蓄積部から前記第２電荷蓄積部へと電荷が蓄積される蓄積部を切り換える処理と、を行う切換制御部と、前記第１電荷蓄積部から出力される第１信号と前記第２電荷蓄積部から出力される第２信号に基づいて赤外線画像を生成する画像生成部と、を備えたものとした。【選択図】図７

Description

本技術は、赤外線画像を生成する画像生成装置及び画像生成方法についての技術分野に関する。

赤外線画像の生成には、複数回の撮像を要するものがある。例えば、生成する赤外線画像からフレアを除去するために４枚の画像を撮像し、４枚の画像からフレアが除去された１枚の赤外線画像を生成する。
しかし、４枚の画像を撮影する間に被写体が動く可能性があり、その場合には生成された赤外線画像にブラーの影響が出てしまう。

特許文献１では、生成された画像にブラーが発生していないかを判断し、ブラーが発生した場合に周辺の正常のピクセル値を用いて除去する構成が開示されている。

特表２０１４−５２８０５９号公報

ところが、特許文献１に記載した方法は、ブラーが発生した領域のピクセル値をその周辺でブラーが発生していない領域のピクセル値で代替することから、画像が劣化してしまう虞がある。
そこで、モーションブラーを低減させた赤外線画像を生成することを目的とする。

本技術に係る画像生成装置は、第１期間に光の照射を継続して行う光照射部と、光電変換を行うことにより得た電荷が蓄積される第１電荷蓄積部と第２電荷蓄積部と、前記第１期間の開始に同期させて前記第１電荷蓄積部への電荷の蓄積を開始させる処理と、前記第１電荷蓄積部への電荷の蓄積が開始されてから第２期間経過後に前記第１電荷蓄積部から前記第２電荷蓄積部へと電荷が蓄積される蓄積部を切り換える処理と、を行う切換制御部と、前記第１電荷蓄積部から出力される第１信号と前記第２電荷蓄積部から出力される第２信号に基づいて赤外線画像を生成する画像生成部と、を備えたものである。
複数の電荷蓄積部が設けられることにより、１回の撮像動作で第１信号と第２信号を含む複数の信号が出力される。

上記した画像生成装置においては、前記第２電荷蓄積部への電荷の蓄積は第３期間に行われ、前記第１期間と前記第２期間と前記第３期間は同じ時間長とされていてもよい。
これにより、第１信号に含まれる環境光の成分と第２信号に含まれる環境光の成分が略同じ強度となる。

上記した画像生成装置における前記画像生成部は、前記第２信号に係数γを乗算して得られた信号と前記第１信号を加算することにより前記赤外線画像を生成してもよい。但し、−１≦γ≦１を満たす。
これにより、被写体までの距離が近く環境光の成分が第２信号に含まれる支配的な成分となった場合に、照射光が被写体に反射した反射光の成分を多く含む第１信号に含まれる環境光の成分を細かく調整することができる。

上記した画像生成装置における前記画像生成部は、係数γを調整する調整処理を実行してもよい。
これにより、フレアが除去されると共に照射光が被写体に反射した反射光の成分を多く含む赤外線画像を生成するための係数γが算出される。

上記した画像生成装置における前記画像生成部は、係数γの初期値を設定する初期値設定処理を実行してもよい。
係数γの初期値が適切に設定されることにより、フレアの除去と照射光が被写体に反射した反射光の成分の確保の両立がしやすくなる。

上記した画像生成装置における前記初期値設定処理では、撮像画像におけるフレアの有無に基づいて係数γの初期値を設定してもよい。
これにより、係数γの調整がし易くなる。

上記した画像生成装置における前記初期値設定処理では、フレアの発生有りと判定した場合に係数γの初期値として負の値を設定してもよい。
例えば、屋外などの環境光が強い場所での撮像に基づいて被写体を認識しやすい赤外線画像を生成するためには、第１信号から環境光の成分を除去した信号を用いることが考えられる。この場合の最適な係数γは負の値とされる。本構成によれば、係数γの初期値が負の値に設定される。

上記した画像生成装置における前記初期値設定処理では、フレアの発生無しと判定した場合に係数γの初期値として正の値を設定してもよい。
例えば、屋内などの環境光が弱い場所での撮像に基づいて被写体を認識しやすい赤外線画像を生成するためには、第２信号に含まれる照射光が被写体に反射した反射光の成分を第１信号に加算することが考えられる。この場合の最適な係数γは正の値とされる。本構成によれば、係数γの初期値が正の値に設定される。

上記した画像生成装置における前記調整処理では、前記光照射部が照射した光が被写体に反射した反射光の受光量と環境光の受光量の比率を画素ごとに算出し、前記比率に応じて係数γを調整してもよい。
これにより、照射光が被写体に反射した反射光の成分と環境光の成分の比率に基づいた係数γの調整が行われる。

上記した画像生成装置における前記調整処理では、前記反射光の受光量より前記環境光の受光量の方が大きい画素が多いほど係数γをマイナス方向へ調整し、前記反射光の受光量より前記環境光の受光量の方が大きい画素が少ないほど係数γをプラス方向へ調整してもよい。
これにより、環境光の大きさに応じて係数γの調整が行われる。

上記した画像生成装置においては、検出対象物が含まれる領域を対象領域として指定する領域指定部を備え、前記調整処理は、前記対象領域ごとに実行されてもよい。
これにより、対象領域ごとに係数γが調整される。

上記した画像生成装置における前記画像生成部は、検出対象物と特徴が一致する領域を検出する第１検出処理と前記領域に検出対象物が含まれるか否かを判定する第２検出処理とを実行し、前記調整処理では、前記第１検出処理及び前記第２検出処理の検出結果に応じて係数γを調整してもよい。
即ち、検出対象物と特徴が一致する領域を第１検出処理で特定し、該特定した領域に対して第２検出処理が実行される。

上記した画像生成装置においては、前記第１期間は前記前記第２期間よりも短い期間とされてもよい。
これにより、被写体までの距離を遠くしても照射光が被写体に反射した反射光の成分が第１信号に全て含まれやすくなる。即ち、第１信号から第２信号を減算したとしても、照射光が被写体に反射した反射光の成分が減少しない。

上記した画像生成装置においては、前記光照射部が照射する光は７０ＭＨｚ以下の変調周波数によって強度変調された光とされてもよい。
これにより、第１信号に含まれる照射光が被写体に反射した反射光の成分の割合が多くなり、第２信号に含まれる照射光が被写体に反射した反射光の成分の割合が小さくされる。

上記した画像生成装置においては、前記光照射部が照射する光は矩形波の信号に基づいて強度変調された光とされてもよい。
これにより、照射光を生成するための回路等のハードウェアの構成が簡易化される。

上記した画像生成装置における前記切換制御部は、一回の撮像動作において前記第１電荷蓄積部から前記第２電荷蓄積部への切り換えと前記第２電荷蓄積部から前記第１電荷蓄積部への切り換えをそれぞれ複数回行い、前記画像生成部は、複数回に亘って前記第１電荷蓄積部に蓄積された電荷に基づいた前記第１信号と複数回に亘って前記第２電荷蓄積部に蓄積された電荷に基づいた前記第２信号を用いて赤外線画像を生成してもよい。
蓄積が第１電荷蓄積部及び第２電荷蓄積部のそれぞれにおいて複数回の電荷の蓄積が行われることにより、第１信号及び第２信号の強度を増すことができる。

本技術に係る画像生成方法は、第１期間に光の照射を継続して行い、前記第１期間の開始に同期させて第１電荷蓄積部への電荷の蓄積を開始させ、前記第１電荷蓄積部への電荷の蓄積が開始されてから第２期間経過後に前記第１電荷蓄積部から第２電荷蓄積部へと電荷が蓄積される蓄積部を切り換え、前記第１電荷蓄積部から出力される第１信号と前記第２電荷蓄積部から出力される第２信号に基づいて赤外線画像を生成するものである。

本技術の実施の形態の画像生成装置の構成を示すブロック図である。 画素の構成の一例を示す概略図である。 露光に用いる制御信号と照射光信号と各電荷蓄積部に与える制御信号を示すタイミングチャートである。 照射信号と反射光信号と各電荷蓄積部に与える制御信号を示すタイミングチャートである。 フレアが発生した画像の例である。 フレアの発生を抑えた画像の例である。 係数γ設定処理の第１例のフローチャートである。 係数γ設定処理の第１例のフローチャートである。 係数γ設定処理の第２例のフローチャートである。 フレアが発生しにくい環境における比率αのヒストグラムの例である。 フレアが発生しやすい環境における比率αのヒストグラムの例である。 変形例における露光に用いる制御信号と照射光信号と各電荷蓄積部に与える制御信号を示すタイミングチャートである。 変形例における照射信号と反射光信号と各電荷蓄積部に与える制御信号を示すタイミングチャートである。 照射光のＤｕｔｙ比が５０％の場合における被写体との距離と第１反射光の信号量の関係を示す図である。 照射光のＤｕｔｙ比が２５％の場合における被写体との距離と第１反射光の信号量の関係を示す図である。

以下、実施の形態を次の順序で説明する。
＜１．画像生成装置の構成＞
＜２．係数γ設定処理の第１例＞
＜３．係数γ設定処理の第２例＞
＜４．変形例＞
＜５．まとめ＞
＜６．本技術＞

＜１．画像生成装置の構成＞
実施の形態における画像生成装置１の構成について、図１を参照して説明する。
図１は、画像生成装置１のブロック図である。画像生成装置１は、強度変調された赤外光を照射する光照射部２と、照射光が被写体１００に反射した反射光が入光されるレンズ系３と、レンズ系３を通過した光を受光し光電変換を行う撮像素子４と、画像生成装置１の各部の制御を行う制御部５と、レンズ系３を駆動するドライバ部６とを備えている。

光照射部２は、強度変調された赤外光を被写体１００に向けて照射するための光源を備えている。該光源は、例えば赤外線（ＩＲ：Infrared）ＬＥＤ（Light Emitting Diode）とされている。

レンズ系３は、ズームレンズやフォーカスレンズなどの各種レンズや絞り機構などを備えている。レンズ系３により被写体１００からの反射光が導かれ撮像素子４へ集光される。

撮像素子４は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサとされ、２次元配列された受光素子（ＰＤ：Photodiode）を有している。本例における撮像素子４が有する受光素子は、例えば、赤外領域の光についての感度を有するものとされている。

なお、以下の説明においては、光照射部２からの照射光が被写体１００で反射して撮像素子４に入射される光を「第１反射光」と記載する。また、太陽光や蛍光灯などの環境光が被写体１００で反射して撮像素子４に入射される光を「第２反射光」と記載する。

各受光素子は受光した光を光電変換して電荷を生成する。生成された電荷は、後述する電荷蓄積部に蓄積される。
撮像素子４は、読み出し信号に基づいて電荷蓄積部に蓄積された電荷を電気信号として出力する。
撮像素子４は、該電気信号に対してＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そして撮像素子４は、デジタルデータとしての撮像信号を後段の制御部に出力する。

撮像素子４の各画素の構成について、図２を参照して説明する。
画素１１は、ＰＤ１２と、二つの電荷蓄積部（第１電荷蓄積部Ｃ１と第２電荷蓄積部Ｃ２）と、電荷蓄積部ごとに設けられたスイッチＳＷ１，ＳＷ２とを備えている。

スイッチＳＷ１とスイッチＳＷ２は一方がＯＮ状態に制御された場合に他方がＯＦＦ状態に制御される。即ち、スイッチＳＷ１とスイッチＳＷ２の双方が共にＯＮ状態とならないように制御される。

第１電荷蓄積部Ｃ１は、スイッチＳＷ１がＯＮ状態とされた場合にＰＤ１２における光電変換で得られた電荷が蓄積される。
第２電荷蓄積部Ｃ２は、スイッチＳＷ２がＯＮ状態とされた場合にＰＤ１２における光電変換で得られた電荷が蓄積される。

第１電荷蓄積部Ｃ１に蓄積された電荷は、読み出し信号に応じて第１信号Ｓ１として制御部５に出力される。
第２電荷蓄積部Ｃ２に蓄積された電荷は、読み出し信号に応じて第２信号Ｓ２として制御部５に出力される。

図１の説明に戻る。
制御部５は、変調制御部５ａ、切換制御部５ｂ、初期値設定部５ｃ、調整部５ｄ、フレア判定部５ｅ、検出部５ｆ、領域特定部５ｇ、赤外線画像生成部５ｈを備えている。

変調制御部５ａは、光照射部２が強度変調された光を照射するために低周波数（例えば７０ＭＨｚやそれ以下など）の駆動信号を光照射部２に供給する。光照射部２は、供給された低周波の矩形波の駆動信号に基づいて強度変調された光を照射する（パルス発光）。なお、光照射部２は正弦波の駆動信号に基づいて強度変調された光を照射してもよい。

切換制御部５ｂは、スイッチＳＷ１及びスイッチＳＷ２の制御を行うことにより、電荷が蓄積される電荷蓄積部を切り換える。切り換え周波数は、光照射部２から照射される照射光の変調周波数と同じものとされている。例えば、７０ＭＨｚの矩形波の駆動信号によって強度変調された照射光を光照射部２が照射する場合、切換制御部５ｂのスイッチの切り換えも７０ＭＨｚで行われる。

１回の露光時間において、切換制御部５ｂは複数回（例えば数百回から数万回など）のスイッチの切り換えを行う。具体的に図３を用いて説明する。図３は、露光制御に用いる制御信号Ｓｅと、所定の変調周波数で強度変調させた光を照射させるために光照射部２に付与される照射光信号ＳＬと、第１電荷蓄積部Ｃ１に与えられる制御信号Ｓｃ１と、第２電荷蓄積部Ｃ２に与えられる制御信号Ｓｃ２の関係を示した図である。
スイッチＳＷ１は制御信号Ｓｃ１に基づいてＯＮ／ＯＦＦ制御される。また、スイッチＳＷ２は制御信号Ｓｃ２に基づいてＯＮ／ＯＦＦ制御される。

図示するように、露光時間Ｔｅの間に、第１期間Ｔ１に亘る光の照射が複数回行われる。複数回の光の照射は、光の照射期間と非照射期間が交互に繰り返されることで行われる。光の非照射期間は、第１期間Ｔ１と同じ時間長とされる。即ち、Ｄｕｔｙ比は５０％とされている。

切換制御部５ｂは、光の照射に同期させて、即ち第１期間Ｔ１に同期させて、第１電荷蓄積部Ｃ１へ第２期間Ｔ２に亘って電荷が蓄積され、続けて第２電荷蓄積部Ｃ２へ第３期間Ｔ３に亘って電荷が蓄積されるようにスイッチＳＷ１及びスイッチＳＷ２を用いた切替制御を行う。第１期間Ｔ１と第２期間Ｔ２は同じ時間長とされている。また、第２期間Ｔ２と第３期間Ｔ３は同じ時間長とされている。

これにより、第１電荷蓄積部Ｃ１及び第２電荷蓄積部Ｃ２には強度変調数百回や数千回或いは数万回に亘って電荷が断続的に蓄積される。
照射光の一周期分についての光の受光量がごく微量である場合には、有意なデータが取得できない可能性があるため、数千、数万周期分についての光に基づいて電荷を蓄積することにより、十分な受光量を得ることができ有意な情報を取得することが可能となる。

なお、１回の露光時間において第１電荷蓄積部Ｃ１と第２電荷蓄積部Ｃ２がそれぞれ１回ずつ電荷を蓄積するようにスイッチの切り換えを１回行うようにしてもよい。即ち、露光時間Ｔｅの前半に第１電荷蓄積部Ｃ１が電荷を蓄積するようにスイッチＳＷ１をＯＮ状態に制御し、露光時間Ｔｅの後半の開始時にスイッチＳＷ１をＯＦＦ状態且つスイッチＳＷ２をＯＮ状態に切り換える切替制御を行うことにより露光時間の後半は第２電荷蓄積部Ｃ２に電荷が蓄積されるようにしてもよい。

初期値設定部５ｃは、第２電荷蓄積部Ｃ２に蓄積された電荷ｅ２の係数γの初期値を設定する処理を行う。

ここで、係数γについて説明する。
図４は、照射光が被写体１００に反射した光である第１反射光と第１電荷蓄積部Ｃ１及び第２電荷蓄積部Ｃ２に蓄積される電荷の関係を示す図である。反射光信号ＳＲは、照射光信号ＳＬによって照射された照射光が被写体１００に反射された第１反射光が画像生成装置１に到達することにより画像生成装置１が検出する信号である。
図示するように、反射光信号ＳＲは照射光信号ＳＬに対して時間Ｔｄだけ遅れる。時間Ｔｄの長さは画像生成装置１と被写体１００の距離に比例する。

画像生成装置１と被写体１００の距離が所定の距離以下とされることにより、時間Ｔｄが０よりも大きく且つ第２期間Ｔ２（＝第３期間Ｔ３）未満とされる。これにより、第１反射光の受光に基づき生成された電荷の一部は第１電荷蓄積部Ｃ１に蓄積され（図４に示す領域ＡＲ１）、残りの電荷は第２電荷蓄積部Ｃ２に蓄積される（図４に示す領域ＡＲ２）。

ここで、時間Ｔｄが第２期間Ｔ２に対して十分に小さい場合には、第１反射光の受光に基づき生成された電荷の大部分が第１電荷蓄積部Ｃ１に蓄積される（図４参照）。特に本例のように、変調周波数が低周波とされている場合には、第１期間Ｔ１が時間Ｔｄに対して相対的に長くなるため、第１反射光の受光に基づき生成された電荷の大部分が第１電荷蓄積部Ｃ１に蓄積されることとなる。
この場合には、第１電荷蓄積部Ｃ１から出力される第１信号Ｓ１は、第１反射光と第２反射光の双方に基づく信号とされる。また、第２電荷蓄積部Ｃ２から出力される第２信号Ｓ２は略第２反射光に基づく信号とされる。これにより、第１信号Ｓ１から第２信号Ｓ２を減算することにより、第２反射光の成分をキャンセルし第１反射光の成分を取り出すことができる。

また、第１信号Ｓ１と第２信号Ｓ２に含まれる第１反射光の成分が略同じ場合などには、第１信号Ｓ１と第２信号Ｓ２を加算することにより、第１反射光の成分を増やすことができる。

係数γはこのような信号量の調整を行うために用いられる係数であり、具体的には第２信号Ｓ２に乗算する係数である。例えば、「第１信号Ｓ１＋係数γ×第２信号Ｓ２」で表される式を用いることにより適切な信号を得ることができる。但し、係数γは−１以上且つ１以下の実数とされる。

調整部５ｄは、係数γの調整処理を行う。具体的な調整処理については後述する。
設定される係数γと生成される赤外線画像の関係について、図５及び図６を参照して説明する。
例えば、晴れた日の屋外など、画像にフレアが発生し易い状況において、係数γを１に設定すると、太陽光が被写体１００で反射した光である第２反射光が大きいことにより、図５に示すように画像にフレアＦＬが発生してしまう。

そこで、画像にフレアが発生し易い状況においては、係数γを−１に設定することで、第２反射光の成分を除去した図６に示すような画像を生成することができる。
なお、係数γは＋０．５や−０．５などのように整数でなくてもよい。

フレア判定部５ｅは、画像にフレアが発生しているか否かを判定する処理を行う。

検出部５ｆは、画像から検出対象物を検出する処理を行う。具体的には、検出対象物と特徴量が一致する領域を判定する第１検出処理と、特徴量が一致すると判定した領域に実際に検出対象物が含まれているか否かを判定する第２検出処理を実行する。
後述する例では、検出対象物が人物の顔である例を説明するが、これに限られることはない。例えば、検出対象物が車や動物などであってもよい。
第１検出処理及び第２検出処理では、例えばＣＮＮ（Convolutional Neural Network）などのディープラーニングなどを用いた検出処理が行われてもよい。

領域特定部５ｇは、画像における一部の領域をＲＯＩ（Region Of Interest）として設定する処理を行う。具体的には、第１検出処理において特徴量が一致する領域をＲＯＩとして設定する。なお、一枚の画像に複数の検出対象物が含まれている場合や含まれている可能性がある場合は、複数の領域がＲＯＩとして設定される。
また、前述した係数γは、設定されたＲＯＩごとに設定されてもよい。

赤外線画像生成部５ｈは、赤外線画像（ＩＲ画像）を生成する処理を行う。例えば、検出対象物が認識し易いように適切な係数γが設定された赤外線画像を生成する。
なお、複数のＲＯＩが設定されている場合は、それぞれのＲＯＩに含まれる全ての検出対象物が認識しやすいように領域ごとに異なる係数γが設定された１枚の赤外線画像を生成してもよいし、ＲＯＩに含まれる検出対象物ごとに赤外線画像を生成してもよい。検出対象物ごとに赤外線画像を生成する場合は、検出対象物ごと、或いはＲＯＩごとに係数γが設定されてもよい。

図１に示すドライバ部６は、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等を備えている。
これらのモータドライバは制御部５からの指示に応じた駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

画像生成装置１は、他にも図示しないメモリ部や記録部や出力部を有していてもよい。また、画像生成装置１の姿勢等を検出するＩＭＵ（Inertial Measurement Unit）などのセンサ類を備えていてもよい。

＜２．係数γ設定処理の第１例＞
制御部５が実行する係数γ設定処理の第１例について、図７及び図８を参照して説明する。
制御部５は、先ずステップＳ１０１において、フレア検出を行う。フレア検出の対象とされる画像は、例えば、第１信号Ｓ１に基づいて生成された赤外線画像であってもよいし、第１信号Ｓ１及び第２信号Ｓ２の双方を用いて生成された赤外線画像であってもよい。

フレア検出は、例えば、信号レベルが飽和した領域が画像内に存在するか否かを判定することにより検出してもよいし、信号レベルが飽和した所定面積以上の領域が存在するか否かを判定することにより検出してもよい。また、信号レベルの飽和だけでなく信号レベルが閾値よりも大きな領域が存在するか否かを判定してもよい。フレア検出は、公知の多様な技術を用いて行うことが可能である。

制御部５はステップＳ１０２において、フレアを検出したか否かに応じた分岐処理を行う。フレアを検出していないと判定した場合、制御部５はステップＳ１０３において係数γの初期値γ０に正の値を設定する。正の値は、例えば、０．１であってもよいし、０．５であってもよい。

一方、フレアを検出したと判定した場合、制御部５はステップＳ１０４において係数γの初期値γ０に負の値を設定する。負の値を、例えば、−０．１であってもよいし、−０．５であってもよい。

ステップＳ１０３またはステップＳ１０４のいずれかの処理を行うことにより、係数γの初期値γ０が設定される。

なお、ステップＳ１０２において、画像にフレアが発生したか否かを判定するのではなく、画像にフレアが発生しやすい状況であるか否かを判定してもよい。これによりフレアが発生するか否かを確認するためだけに行われる画像の生成処理を行わなくて済む。また、この場合には、ステップＳ１０１の検出処理も不要となる。

初期値γ０の設定を終えた制御部５は、続いてステップＳ１０５において、初期値γ０に応じた赤外線画像を生成する。具体的には、「第１信号Ｓ１＋γ０×第２信号Ｓ２」に基づく赤外線画像が生成される。

ステップＳ１０２，Ｓ１０３，Ｓ１０４及びＳ１０５の各処理が実行されることにより、フレアが発生しやすいシーンにおいては、初期値γ０に負の値が設定され、ステップＳ１０５で第２信号Ｓ２に含まれる第２反射光の成分が減少されたフレアが発生し難い赤外線画像が生成される。
また、フレアが発生し難いシーンにおいては、初期値γ０に正の値が設定され、ステップＳ１０５で第１信号Ｓ１及び第２信号Ｓ２に含まれる第１反射光の成分が確保された赤外線画像が生成される。

赤外線画像を生成した後、制御部５はステップＳ１０６において、第１検出処理を行う。本例における検出対象物は人物の顔であるため、第１検出処理では、人物の顔と特徴が一致する領域を検出する処理である。例えば、瞳検出を行うことにより、人物の顔が含まれている可能性がある領域を検出する。

第１検出処理は、あくまで検出対象物と特徴が一致する領域を検出する処理であるため、木目などが検出される場合もある。
なお、検出する特徴量は検出対象物によって異なる。例えば、検出対象物が車である場合には、第１検出処理において車と特徴が一致する領域を検出する。

制御部５は、ステップＳ１０７において、第１検出処理の処理結果に応じた分岐処理を行う。検出対象物と特徴が一致する領域を検出したと判定した場合、制御部５は係数γの調整処理を行う。

具体的には、ステップＳ１０８において初期値γ０の符号に応じた分岐処理を行う。初期値γ０が正の値である場合、制御部５はステップＳ１０９で係数γをプラス方向に調整する。係数γの調整処理は、現在の係数γの値に０．１を加減算することにより行う。即ち、現在の係数γが初期値である０．１とされている場合は、プラス方向の調整として０．１を加算した０．２が係数γの新しい値とされる。

ステップＳ１０８で初期値γ０が正の値でない場合、制御部５はステップＳ１１０で係数γをマイナス方向に調整する。例えば、係数γの値が−０．１である場合はマイナス方向の調整として０．１を減算した−０．２が係数γの新しい値とされる。

係数γの調整を行った後、制御部５はステップＳ１１１で調整された係数γの値が所定範囲内に収まっているか否かを判定する。具体的には、ステップＳ１０９またはステップＳ１１０で算出した新たな係数γが−１以上且つ１以下の値であるか否かを判定する。
係数γが所定範囲に収まっている場合、制御部５はステップＳ１０９またはステップＳ１１０で調整された新たな係数γを用いてステップＳ１０５の赤外線画像の生成を行う。

制御部５は、検出対象物と特徴が一致している領域を検出するか、或いは、検出できずに所定範囲外の値が係数γに設定されるまで、ステップＳ１０５乃至ステップＳ１１１の各処理を繰り返し実行する。

検出できずに所定範囲外の値が係数γに設定された場合、制御部５は図７及び図８に示す係数γ設定処理を終了する。

ステップＳ１０７において検出対象物と特徴が一致している領域を検出した場合、制御部５は図８のステップＳ１１２において第２検出処理を行う。
第２検出処理は、第１検出処理で検出した領域に実際に検出対象物が含まれているか否かを判定する処理である。

先の第１検出処理において瞳検出に基づく領域特定がなされた場合であれば、第２検出処理では、例えば、瞳以外の鼻や口を検出する処理を行う。

第２検出処理を実行した後、制御部５はステップＳ１１３において、対象領域に写ったものを特定できたか否かを判定する。
瞳検出に加えて適切な位置に人物の鼻や人物の口を検出できた場合には、検出対象物としての人物の顔が特定できたと判定し、ステップＳ１１９へと進む。一方、人物の鼻や人物の口が検出できなかった場合は、ステップＳ１１４の処理へと進む。
なお、人物の鼻や人物の口が検出できなかった場合であっても、人物の顔とは違う特徴を検出することにより人物の顔以外のものであると特定した場合、例えば、猫のひげや耳などを検出したことにより、対象領域には写っているものが猫であると特定した場合には、画像認識の結果写っているものが特定できたとして、ステップＳ１１９の処理へと進む。

なお、ステップＳ１１２の第２検出処理では、ＣＮＮなどのディープラーニングを用いた画像認識を実行してもよい。その場合には、対象領域に写っているものに応じてラベル付けを行い、ラベル付けの確度に応じて特定できたか否かの判定を行ってもよい。例えば、８０％以上の確率で人物の顔であると特定できた場合にステップＳ１１９の処理へと進んでもよい。

ステップＳ１１３で特定できなかったと判定した場合、制御部５はステップＳ１１４において、初期値γ０の符号に応じた分岐処理を行う。
初期値γ０の符号が正である場合、制御部５はステップＳ１１５において、係数γをプラス方向へ調整する。一方、初期値γ０の符号が正でない場合、制御部５はステップＳ１１６において、係数γをマイナス方向へ調整する。
これらの調整処理は、図７のステップＳ１０９及びＳ１１０の各処理と同様の処理であり、例えば、現在の係数γに０．１を加算或いは減算することにより新たな係数γを設定する処理である。

ステップＳ１１５またはステップＳ１１６により係数γの調整を行った後、制御部５はステップＳ１１７において、調整後の係数γが所定範囲内に入っているか否かを判定する。
具体的には、図７のステップＳ１１１と同様に、ステップＳ１１５またはステップＳ１１６で算出した新たな係数γが−１以上且つ１以下の値であるか否かを判定する。
係数γが所定範囲に収まっている場合、制御部５はステップＳ１１８で新たな係数γを用いた赤外線画像の生成を行い、再度ステップＳ１１３の処理へと戻る。

制御部５は、対象領域に写ったものを特定できるか、或いは、特定できずに所定範囲外の値が係数γに設定されるまで、ステップＳ１１３乃至ステップＳ１１８の各処理を繰り返し実行する。

検出できずに所定範囲外の値が係数γに設定された場合、制御部５は図７及び図８に示す係数γ設定処理を終了する。

ステップＳ１１３において検出対象物としての人物の顔が特定できたと判定した場合、制御部５はステップＳ１１９で特定したものが検出対象物であるか否かを判定する。特定したものが検出対象物である場合、即ち、人物の顔である場合、制御部５はステップＳ１２０で赤外線画像を出力する。

一方、特定はできたものの検出対象物でなかった場合、制御部５は図７及び図８に示す係数γ設定処理を終了する。

制御部５は、図７及び図８に示す一連の処理を実行することにより、係数γの値を適切に設定すると共に、検出対象物が認識しやすい赤外線画像を生成することができる。

なお、ステップＳ１０６の第１検出処理において人物の顔と特徴が一致する領域を検出した際に、当該領域をＲＯＩとして設定してもよい。

また、人物の顔と特徴が一致する領域が画像内に複数検出された場合には、複数のＲＯＩを設定してもよい。
その場合には、図８のステップＳ１１２乃至ステップＳ１２０の各処理をＲＯＩごとに実行してもよい。即ち、ＲＯＩごとに係数γが適切に設定され赤外線画像が生成される。或いは、係数γはＲＯＩごとに設定されるが、生成される赤外線画像はＲＯＩごとに係数γが適切に設定された一枚の画像であってもよい。

＜３．係数γ設定処理の第２例＞
係数γ設定処理の第２例では、図７のステップＳ１０７の分岐処理において検出対象物と特徴が一致する領域を検出したと判定した後の処理が第１例と異なる。
具体的に図９を参照して説明する。

なお、本例では、ステップＳ１０６の第１検出処理において複数の領域がＲＯＩとして設定された場合を例に挙げる。

制御部５はステップＳ１３１において、複数設定されたＲＯＩから一つのＲＯＩを選択する。
続いて、制御部５は、ステップＳ１３２において第２検出処理を行い、ステップＳ１３３においてＲＯＩに写ったものを特定できたか否かを判定する。これらの処理は、図８のステップＳ１１２及びＳ１１３の各処理と同様の処理である。

特定できなかった場合、制御部５はステップＳ１３４でＲＯＩ内の画素ごとに比率αを算出する処理を行う。
比率αは、第１反射光と第２反射光の比を示す数値である。具体的には、第２反射光の成分を第１反射光の成分で除算したものが比率αである。
本例では、光照射部２から照射される光の変調周波数は低周波とされるため、第１反射光に基づく電荷は第１電荷蓄積部Ｃ１に略蓄積される。

従って、比率αは、第２電荷蓄積部Ｃ２に蓄積された電荷に基づいて出力される第２信号Ｓ２を第１電荷蓄積部Ｃ１に蓄積された電荷に基づいて出力される第１信号Ｓ１で除算することで算出することができる。即ち比率αは以下の式１で算出できる。

［数１］
α＝Ｓ２／Ｓ１・・・（式１）

式１で算出される比率αはＲＯＩに含まれる画素ごとに算出される。制御部５は、比率αのヒストグラムから係数γを算出する。ヒストグラムの例について図１０及び図１１に示す。

図１０に示すように、比率αが小さい画素が多い場合、即ち、第１反射光の成分が多い場合、フレアが発生し難い環境であるため、係数γをプラス方向に調整する。
一方、図１１に示すように、比率αが大きい画素が多い場合、即ち、第２反射光の成分が多い場合、フレアが発生しやすい環境であるため、係数γをマイナス方向に調整する。

具体的に、例えば、図９のステップＳ１３５の処理では、ヒストグラムの形状に応じて−１．０から１．０まで０．１刻みで設定された候補値の中から係数γの値を決定する。即ち、比率αが小さい画素が多いほど１．０に近い値が係数γに設定され、比率αが大きい画素が多いほど−１．０に近い値が係数γに設定される。

ステップＳ１３４で比率αを画素ごとに算出し、比率αの分布に基づいて係数γを適切に選択することにより、係数γの調整と第２検出処理を繰り返すことが不要となり、処理負担の軽減が図られる。
なお、画素ごとの比率αのヒストグラムに応じて係数γを設定した後に、第２検出処理を実行し検出できなかった場合、即ち、ＲＯＩに写っているものが何か判別できなかった場合は、係数γ設定処理の第１例のように係数γを０．１ずつ変更していく処理を行ってもよい。

制御部５はステップＳ１３６において、新たな係数γに基づく赤外線画像を生成する。

制御部５はステップＳ１３７において、未処理のＲＯＩがあるか否かに基づく分岐処理を行う。未処理のＲＯＩがある場合、制御部５は未処理のＲＯＩに対してステップＳ１３１乃至Ｓ１３７の各処理を再度実行する。

未処理のＲＯＩがない場合、制御部５はステップＳ１３８において、赤外線画像の出力をする。
これにより、ＲＯＩごとに赤外線画像が出力される。
なお、複数のＲＯＩが設定された１枚の赤外線画像を出力してもよい。その場合には、ＲＯＩごとに適切な係数γが設定されることにより、各ＲＯＩに写った検出対象物が視認しやすい赤外線画像が１枚生成される。

なお、図９に示す例は、あるＲＯＩにおいて第２検出処理で特定したものが検出対象物でなかったとしても、当該ＲＯＩに写ったものが認識しやすい赤外線画像が出力されるものである。しかし、係数γ設定処理の第１例のように、検出対象物ではない場合は赤外線画像を出力しなくてもよい。

なお、図９に示す例では、ヒストグラムを用いる例を説明したが、ＬＵＴ（Lookup Table）を用いてもよい。具体的には、比率αごとの係数γが対応付けられたＬＵＴを予め作成しておく。そして、ＲＯＩにおいて画素ごとの比率αを算出したあと、ＲＯＩにおける比率αの代表値として例えば比率αの平均値を算出し、比率αの平均値に基づいてＬＵＴから一つの係数γを取得する。この処理をＲＯＩごとに行うことにより、ＲＯＩごとに係数γを設定する。
このような処理を図９のステップＳ１３５の処理の代わりに実行することにより、赤外線画像を出力することができる。

＜４．変形例＞
変形例では、光照射部２によって照射される照射光のＤｕｔｙ比が前述した例とは異なる。図３では、光照射部２の光の照射時間と非照射時間が同じ時間長、即ち第１期間Ｔ１と同じ時間長とされている。即ち、前述の例では、光の照射のＤｕｔｙ比は５０％とされている。

本変形例では、Ｄｕｔｙ比は２５％とされている。
具体的に図１２を参照して説明する。
図示するように、光の非照射期間は光の照射期間である第１期間Ｔ１の３倍の時間長とされている。

Ｄｕｔｙ比を２５％とした場合の反射光信号ＳＲと第１電荷蓄積部Ｃ１及び第２電荷蓄積部Ｃ２に蓄積される電荷の関係を図１３に示す。
図示するように、Ｄｕｔｙ比を小さくすることにより、第１反射光の受光により発生した電荷の全てが第１電荷蓄積部Ｃ１に蓄積されやすくなる（図１３における領域ＡＲ１）。また、第１反射光の受光により発生した電荷の一部が第２電荷蓄積部Ｃ２に蓄積され始めるまでの被写体１００との距離を長くすることができる。

Ｄｕｔｙ比を５０％とした場合と２５％とした場合の第１反射光の信号量の比較、即ち、第１反射光を受光したことにより生成される電荷の大きさの比較について、図１４及び図１５に示す。
図示するように、Ｄｕｔｙ比を２５％とすることにより、第１反射光の信号量は小さくなる。しかし、Ｄｕｔｙ比を２５％とすることにより、被写体１００との距離が一定以上離れるまで第１反射光の信号量（図中のＳ１−Ｓ２）を一定に保つことができる。これにより、係数γの調整がしやすくされる。

なお、上述した構成においては、第１電荷蓄積部Ｃ１と第２電荷蓄積部Ｃ２はそれぞれ一つの電荷蓄積部によって構成されていたが、第１電荷蓄積部Ｃ１及び第２電荷蓄積部Ｃ２がそれぞれ複数の電荷蓄積部によって構成されていてもよい。例えば、四つの電荷蓄積部のうちの二つの電荷蓄積部によって第１電荷蓄積部Ｃ１が構成され、残りの二つの電荷蓄積部によって第２電荷蓄積部Ｃ２が構成されていてもよい。

また、画像生成装置１が備える撮像素子４は、ＴｏＦ（Time of Flight）による測距とフレアが除去された赤外線画像の生成の双方に用いられるものであってもよい。

＜５．まとめ＞
上述した各例で説明したように、画像生成装置１は、第１期間Ｔ１に光の照射を継続して行う光照射部２と、光電変換を行うことにより得た電荷が蓄積される第１電荷蓄積部Ｃ１と第２電荷蓄積部Ｃ２と、第１期間Ｔ１の開始に同期させて第１電荷蓄積部Ｃ１への電荷の蓄積を開始させる処理と、第１電荷蓄積部Ｃ１への電荷の蓄積が開始されてから第２期間Ｔ２経過後に第１電荷蓄積部Ｃ１から第２電荷蓄積部Ｃ２へと電荷が蓄積される蓄積部を切り換える処理と、を行う切換制御部５ｂと、第１電荷蓄積部Ｃ１から出力される第１信号Ｓ１と第２電荷蓄積部Ｃ２から出力される第２信号Ｓ２に基づいて赤外線画像を生成する画像生成部（赤外線画像生成部５ｈ）と、を備えている。
複数の電荷蓄積部が設けられることにより、１回の撮像動作で第１信号Ｓ１と第２信号Ｓ２を含む複数の信号が出力される。
即ち、複数の信号を取得するための撮像回数を減らすことができる。従って、モーションブラーが発生する可能性を低減させることができる。

また、図３に示すように、第２電荷蓄積部Ｃ２への電荷の蓄積は第３期間Ｔ３に行われ、第１期間Ｔ１と第２期間Ｔ２と第３期間Ｔ３は同じ時間長とされてもよい。
これにより、第１信号Ｓ１に含まれる環境光の成分（第２反射光）と第２信号Ｓ２に含まれる環境光の成分（第２反射光）が略同じ強度となる。
従って、第１信号Ｓ１と第２信号Ｓ２に基づいて環境光の成分をキャンセルすることが容易となり、フレアが除去された赤外線画像を生成することが可能となる。

各例で説明したように、画像生成部（赤外線画像生成部５ｈ）は、第２信号Ｓ２に係数γを乗算して得られた信号と第１信号Ｓ１を加算することにより赤外線画像を生成してもよい。但し、−１≦γ≦１を満たす。
これにより、被写体１００までの距離が近く環境光の成分（第２反射光）が第２信号Ｓ２に含まれる支配的な成分となった場合に、照射光が被写体に反射した反射光（第１反射光）の成分を多く含む第１信号Ｓ１に含まれる環境光の成分を細かく調整することができる。
従って、フレアの除去と被写体１００の認識のし易さの両立を図ることが容易となる。

係数γ設定処理の各例（図７，図８及び図９）で説明したように、画像生成部（赤外線画像生成部５ｈ）は、係数γを調整する調整処理を実行してもよい。
これにより、フレアが除去されると共に照射光が被写体１００に反射した反射光（第１反射光）の成分を多く含む赤外線画像を生成するための係数γが算出される。
従って、被写体１００を認識しやすい赤外線画像を生成することができる。

係数γ設定処理の第１例（図７）で説明したように、画像生成部（赤外線画像生成部５ｈ）は、係数γの初期値（初期値γ０）を設定する初期値設定処理を実行してもよい。
係数γの初期値が適切に設定されることにより、フレアの除去と照射光が被写体１００に反射した反射光（第１反射光）の成分の確保の両立がしやすくなる。
従って、被写体１００を認識しやすい赤外線画像を生成することができる。

係数γ設定処理の第１例（図７）で説明したように、初期値設定処理では、撮像画像におけるフレアの有無に基づいて係数γの初期値（初期値γ０）を設定してもよい。
これにより、係数γの調整がし易くなる。
従って、被写体１００を認識しやすい赤外線画像を生成することができる。

係数γ設定処理の第１例（図７）で説明したように、初期値設定処理では、フレアの発生有りと判定した場合に係数γの初期値（初期値γ０）として負の値を設定してもよい。
例えば、屋外などの環境光が強い場所での撮像に基づいて被写体１００を認識しやすい赤外線画像を生成するためには、第１信号Ｓ１から環境光の成分を除去した信号を用いることが考えられる。この場合の最適な係数γは負の値とされる。本構成によれば、係数γの初期値が負の値に設定される。
これにより、係数γの調整処理に要する時間を短縮化することができる。

係数γ設定処理の第１例（図７）で説明したように、初期値設定処理では、フレアの発生無しと判定した場合に係数γの初期値（初期値γ０）として正の値を設定してもよい。
例えば、屋内などの環境光が弱い場所での撮像に基づいて被写体１００を認識しやすい赤外線画像を生成するためには、第２信号に含まれる照射光が被写体に反射した反射光（第１反射光）の成分を第１信号に加算することが考えられる。この場合の最適な係数γは正の値とされる。本構成によれば、係数γの初期値が正の値に設定される。
これにより、係数γの調整処理に要する時間を短縮化することができる。

係数γ設定処理の第２例（図９）で説明したように、調整処理では、光照射部２が照射した光が被写体１００に反射した反射光（第１反射光）の受光量と環境光（第２反射光）の受光量の比率αを画素１１ごとに算出し、比率αに応じて係数γを調整してもよい。
これにより、照射光が被写体１００に反射した反射光（第１反射光）の成分と環境光（第２反射光）の成分の比率に基づいた係数γの調整が行われる。
従って、被写体１００を認識しやすい赤外線画像を生成することができる。

係数γ設定処理の第２例（図９）で説明したように、調整処理では、反射光（第１反射光）の受光量より環境光（第２反射光）の受光量の方が大きい画素１１が多いほど係数γをマイナス方向へ調整し、反射光の受光量より環境光の受光量の方が大きい画素１１が少ないほど係数γをプラス方向へ調整してもよい。
これにより、環境光の大きさに応じて係数γの調整が行われる。
従って、環境光が大きくフレアが発生しそうな撮影環境であっても、環境光が小さく被写体１００が不鮮明になりがちな撮影状況であっても係数γの調整が適切に行われ、被写体１００を認識しやすい赤外線画像を生成することができる。

係数γ設定処理の第２例（図９）などで説明したように、検出対象物が含まれる領域を対象領域（ＲＯＩ）として指定する領域指定部５ｇを備え、調整処理は、対象領域ごとに実行されてもよい。
これにより、対象領域ごとに係数γが調整される。
従って、複数の検出対象物が写っていたとしても、それぞれの検出対象物が認識しやすい赤外線画像を生成することができる。

係数γ設定処理の第１例（図７，図８）及び第２例（図９）で説明したように、画像生成部（赤外線画像生成部５ｈ）は、検出対象物と特徴が一致する領域を検出する第１検出処理と領域に検出対象物が含まれるか否かを判定する第２検出処理とを実行し、調整処理では、第１検出処理及び第２検出処理の検出結果に応じて係数γを調整してもよい。
即ち、検出対象物と特徴が一致する領域を第１検出処理で特定し、該特定した領域に対して第２検出処理が実行される。
これにより、第２検出処理の対象領域が一部の領域とされるため、画像生成装置１の処理負担の軽減を図ることができる。

変形例（図１３）で説明したように、第１期間Ｔ１は前記第２期間Ｔ２よりも短い期間とされてもよい。
これにより、被写体１００までの距離を遠くしても照射光が被写体１００に反射した反射光（第１反射光）の成分が第１信号Ｓ１に全て含まれやすくなる。即ち、第１信号Ｓ１から第２信号Ｓ２を減算したとしても、照射光が被写体に反射した反射光の成分が減少しない。
従って、被写体１００を認識しやすい赤外線画像を生成することができる。

前述したように、光照射部２が照射する光は７０ＭＨｚ以下の変調周波数によって強度変調された光とされてもよい。
これにより、第１信号Ｓ１に含まれる照射光が被写体に反射した反射光（第１反射光）の成分の割合が多くなり、第２信号Ｓ２に含まれる照射光が被写体に反射した反射光の成分の割合が小さくされる。
従って、被写体１００を認識しやすい赤外線画像を生成することができる。

図３等で説明したように、光照射部２が照射する光は矩形波の信号に基づいて強度変調された光とされてもよい。
これにより、照射光を生成するための回路等のハードウェアの構成が簡易化される。
従って、回路部品の削減やコスト削減に寄与することができる。

上述したように、切換制御部５ｂは、一回の撮像動作において第１電荷蓄積部Ｃ１から第２電荷蓄積部Ｃ２への切り換えと第２電荷蓄積部Ｃ２から第１電荷蓄積部Ｃ１への切り換えをそれぞれ複数回行い、画像生成部（赤外線画像生成部５ｈ）は、複数回に亘って第１電荷蓄積部Ｃ１に蓄積された電荷に基づいた第１信号Ｓ１と複数回に亘って第２電荷蓄積部Ｃ２に蓄積された電荷に基づいた第２信号Ｓ２を用いて赤外線画像を生成してもよい。
蓄積が第１電荷蓄積部Ｃ１及び第２電荷蓄積部Ｃ２のそれぞれにおいて複数回の電荷の蓄積が行われることにより、第１信号Ｓ１及び第２信号Ｓ２の強度を増すことができる。
従って、被写体１００を認識しやすい赤外線画像を生成することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜６．本技術＞
なお本技術は以下のような構成も採ることができる。
（１）
第１期間に光の照射を継続して行う光照射部と、
光電変換を行うことにより得た電荷が蓄積される第１電荷蓄積部と第２電荷蓄積部と、
前記第１期間の開始に同期させて前記第１電荷蓄積部への電荷の蓄積を開始させる処理と、前記第１電荷蓄積部への電荷の蓄積が開始されてから第２期間経過後に前記第１電荷蓄積部から前記第２電荷蓄積部へと電荷が蓄積される蓄積部を切り換える処理と、を行う切換制御部と、
前記第１電荷蓄積部から出力される第１信号と前記第２電荷蓄積部から出力される第２信号に基づいて赤外線画像を生成する画像生成部と、を備えた
画像生成装置。
（２）
前記第２電荷蓄積部への電荷の蓄積は第３期間に行われ
前記第１期間と前記第２期間と前記第３期間は同じ時間長とされた
上記（１）に記載の画像生成装置。
（３）
前記画像生成部は、前記第２信号に係数γを乗算して得られた信号と前記第１信号を加算することにより前記赤外線画像を生成する
上記（１）から上記（２）の何れかに記載の画像生成装置。
但し、−１≦γ≦１を満たす。
（４）
前記画像生成部は、係数γを調整する調整処理を実行する
上記（３）に記載の画像生成装置。
（５）
前記画像生成部は、係数γの初期値を設定する初期値設定処理を実行する
上記（３）から上記（４）の何れかに記載の画像生成装置。
（６）
前記初期値設定処理では、撮像画像におけるフレアの有無に基づいて係数γの初期値を設定する
上記（５）に記載の画像生成装置。
（７）
前記初期値設定処理では、フレアの発生有りと判定した場合に係数γの初期値として負の値を設定する
上記（６）に記載の画像生成装置。
（８）
前記初期値設定処理では、フレアの発生無しと判定した場合に係数γの初期値として正の値を設定する
上記（６）から上記（７）の何れかに記載の画像生成装置。
（９）
前記調整処理では、前記光照射部が照射した光が被写体に反射した反射光の受光量と環境光の受光量の比率を画素ごとに算出し、前記比率に応じて係数γを調整する
上記（４）に記載の画像生成装置。
（１０）
前記調整処理では、前記反射光の受光量より前記環境光の受光量の方が大きい画素が多いほど係数γをマイナス方向へ調整し、前記反射光の受光量より前記環境光の受光量の方が大きい画素が少ないほど係数γをプラス方向へ調整する
上記（９）に記載の画像生成装置。
（１１）
検出対象物が含まれる領域を対象領域として指定する領域指定部を備え、
前記調整処理は、前記対象領域ごとに実行される
上記（４）、上記（９）または上記（１０）の何れかに記載の画像生成装置。
（１２）
前記画像生成部は、検出対象物と特徴が一致する領域を検出する第１検出処理と前記領域に検出対象物が含まれるか否かを判定する第２検出処理とを実行し、
前記調整処理では、前記第１検出処理及び前記第２検出処理の検出結果に応じて係数γを調整する
上記（４）、上記（９）、上記（１０）または上記（１１）の何れかに記載の画像生成装置。
（１３）
前記第１期間は前記前記第２期間よりも短い期間とされた
上記（１）から上記（１２）の何れかに記載の画像生成装置。
（１４）
前記光照射部が照射する光は７０ＭＨｚ以下の変調周波数によって強度変調された光とされた
上記（１）から上記（１３）の何れかに記載の画像生成装置。
（１５）
前記光照射部が照射する光は矩形波の信号に基づいて強度変調された光とされた
上記（１）から上記（１４）の何れかに記載の画像生成装置。
（１６）
前記切換制御部は、一回の撮像動作において前記第１電荷蓄積部から前記第２電荷蓄積部への切り換えと前記第２電荷蓄積部から前記第１電荷蓄積部への切り換えをそれぞれ複数回行い、
前記画像生成部は、複数回に亘って前記第１電荷蓄積部に蓄積された電荷に基づいた前記第１信号と複数回に亘って前記第２電荷蓄積部に蓄積された電荷に基づいた前記第２信号を用いて赤外線画像を生成する
上記（１）から上記（１５）の何れかに記載の画像生成装置。
（１７）
第１期間に光の照射を継続して行い、
前記第１期間の開始に同期させて第１電荷蓄積部への電荷の蓄積を開始させ、
前記第１電荷蓄積部への電荷の蓄積が開始されてから第２期間経過後に前記第１電荷蓄積部から第２電荷蓄積部へと電荷が蓄積される蓄積部を切り換え、
前記第１電荷蓄積部から出力される第１信号と前記第２電荷蓄積部から出力される第２信号に基づいて赤外線画像を生成する
画像生成方法。

１…画像生成装置
２…光照射部
５…制御部
５ｂ…切換制御部
５ｇ…領域特定部
５ｈ…赤外線画像生成部
Ｃ１…第１電荷蓄積部
Ｃ２…第２電荷蓄積部
Ｓ１…第１信号
Ｓ２…第２信号
Ｔ１…第１期間
Ｔ２…第２期間
Ｔ３…第３期間
γ…係数
γ０…初期値
α…比率
１００…被写体

Claims (17)

1. 第１期間に光の照射を継続して行う光照射部と、
   光電変換を行うことにより得た電荷が蓄積される第１電荷蓄積部と第２電荷蓄積部と、
   前記第１期間の開始に同期させて前記第１電荷蓄積部への電荷の蓄積を開始させる処理と、前記第１電荷蓄積部への電荷の蓄積が開始されてから第２期間経過後に前記第１電荷蓄積部から前記第２電荷蓄積部へと電荷が蓄積される蓄積部を切り換える処理と、を行う切換制御部と、
   前記第１電荷蓄積部から出力される第１信号と前記第２電荷蓄積部から出力される第２信号に基づいて赤外線画像を生成する画像生成部と、を備えた
   画像生成装置。
2. 前記第２電荷蓄積部への電荷の蓄積は第３期間に行われ、
   前記第１期間と前記第２期間と前記第３期間は同じ時間長とされた
   請求項１に記載の画像生成装置。
3. 前記画像生成部は、前記第２信号に係数γを乗算して得られた信号と前記第１信号を加算することにより前記赤外線画像を生成する
   請求項１に記載の画像生成装置。
   但し、−１≦γ≦１を満たす。
4. 前記画像生成部は、係数γを調整する調整処理を実行する
   請求項３に記載の画像生成装置。
5. 前記画像生成部は、係数γの初期値を設定する初期値設定処理を実行する
   請求項３に記載の画像生成装置。
6. 前記初期値設定処理では、撮像画像におけるフレアの有無に基づいて係数γの初期値を設定する
   請求項５に記載の画像生成装置。
7. 前記初期値設定処理では、フレアの発生有りと判定した場合に係数γの初期値として負の値を設定する
   請求項６に記載の画像生成装置。
8. 前記初期値設定処理では、フレアの発生無しと判定した場合に係数γの初期値として正の値を設定する
   請求項６に記載の画像生成装置。
9. 前記調整処理では、前記光照射部が照射した光が被写体に反射した反射光の受光量と環境光の受光量の比率を画素ごとに算出し、前記比率に応じて係数γを調整する
   請求項４に記載の画像生成装置。
10. 前記調整処理では、前記反射光の受光量より前記環境光の受光量の方が大きい画素が多いほど係数γをマイナス方向へ調整し、前記反射光の受光量より前記環境光の受光量の方が大きい画素が少ないほど係数γをプラス方向へ調整する
    請求項９に記載の画像生成装置。
11. 検出対象物が含まれる領域を対象領域として指定する領域指定部を備え、
    前記調整処理は、前記対象領域ごとに実行される
    請求項４に記載の画像生成装置。
12. 前記画像生成部は、検出対象物と特徴が一致する領域を検出する第１検出処理と前記領域に検出対象物が含まれるか否かを判定する第２検出処理とを実行し、
    前記調整処理では、前記第１検出処理及び前記第２検出処理の検出結果に応じて係数γを調整する
    請求項４に記載の画像生成装置。
13. 前記第１期間は前記前記第２期間よりも短い期間とされた
    請求項１に記載の画像生成装置。
14. 前記光照射部が照射する光は７０ＭＨｚ以下の変調周波数によって強度変調された光とされた
    請求項１に記載の画像生成装置。
15. 前記光照射部が照射する光は矩形波の信号に基づいて強度変調された光とされた
    請求項１に記載の画像生成装置。
16. 前記切換制御部は、一回の撮像動作において前記第１電荷蓄積部から前記第２電荷蓄積部への切り換えと前記第２電荷蓄積部から前記第１電荷蓄積部への切り換えをそれぞれ複数回行い、
    前記画像生成部は、複数回に亘って前記第１電荷蓄積部に蓄積された電荷に基づいた前記第１信号と複数回に亘って前記第２電荷蓄積部に蓄積された電荷に基づいた前記第２信号を用いて赤外線画像を生成する
    請求項１に記載の画像生成装置。
17. 第１期間に光の照射を継続して行い、
    前記第１期間の開始に同期させて第１電荷蓄積部への電荷の蓄積を開始させ、
    前記第１電荷蓄積部への電荷の蓄積が開始されてから第２期間経過後に前記第１電荷蓄積部から第２電荷蓄積部へと電荷が蓄積される蓄積部を切り換え、
    前記第１電荷蓄積部から出力される第１信号と前記第２電荷蓄積部から出力される第２信号に基づいて赤外線画像を生成する
    画像生成方法。

Images