JP2014135627A

JP2014135627A - 撮像装置

Info

Publication number: JP2014135627A
Application number: JP2013002352A
Authority: JP
Inventors: Satoshi Sano; 諭佐野; Akihito Nishizawa; 明仁西澤; Junji Shiokawa; 淳司塩川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2013-01-10
Filing date: 2013-01-10
Publication date: 2014-07-24
Anticipated expiration: 2033-01-10
Also published as: JP6055681B2; US9338371B2; US20140192202A1; CN103929628A; CN103929628B

Abstract

【課題】低照度環境においてもより自然な被写体の色を再現する撮像装置を提供すること。
【解決手段】撮像部１１は被写体を撮影して可視光信号と非可視光信号を得る。可視光輝度抽出部１４は可視光輝度信号Ｙ１を抽出し、非可視光輝度抽出部１５は非可視光輝度信号Ｙ２を抽出する。色信号抽出部１３は可視光信号から色信号を抽出し色信号を補正する。画像合成部１６は、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２を合成し、合成した輝度信号Ｙ３と補正された色信号を用いてカラー画像を生成する。制御部１７は、可視光輝度信号Ｙ１の値に応じて、画像合成部１６にて合成する可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の合成比率と、色信号抽出部１３にて補正する色信号の増幅度と色ノイズ除去を制御する。
【選択図】図１

Description

本発明は、可視光と非可視光（近赤外光など）を使用してカラー画像を生成する撮像装置に関する。

低照度環境でのカラー画像撮影のため、赤外光を用いた画像生成技術が提案されている。例えば特許文献１に記載される赤外線カラー画像形成装置は、「対象物から放射又は反射される赤外線を受光し、赤外スペクトル画像を得る赤外線カメラと、該対象物について、色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、該対応データに基づいて、前記赤外スペクトル画像の各位置における赤外スペクトルの放射強度又は赤外スペクトル反射率の値から、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得た色信号を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段」を備えている。

特開２００２−１７１５１９号公報

撮像装置の基本性能として、撮影対象の被写体の色を忠実に再現できることが要求される。しかしながら、例えば監視カメラとして用いる場合、明るさが不十分な低照度環境にて使用されることがあり、撮影した被写体の色を正しく認識することが困難となる。そのような低照度環境であっても、被写体の色を正しく再現できることが望まれる。

前記特許文献１では、赤外スペクトル放射強度又は赤外スペクトル反射率の対応データを用いて被写体の色を決定している。しかしこの方法では、被写体の色を決定するために赤外スペクトルの対応データを予め測定して記憶しておく必要がある。また色を決定するために赤外線の受光信号のみを使用しているため、可視光信号から得られる色信号を用いる場合と比較して、必ずしも自然な色を再現することができず、改善の余地がある。

本発明の目的は、上記課題を鑑み、低照度環境においてもより自然な被写体の色を再現する撮像装置を提供することである。

本発明の撮像装置は、被写体を撮影して撮像画素により可視光信号と非可視光信号に変換する撮像部と、前記可視光信号から可視光輝度信号Ｙ１を抽出する可視光輝度抽出部と、前記非可視光信号から非可視光輝度信号Ｙ２を抽出する非可視光輝度抽出部と、前記可視光信号から色信号を抽出するとともに該色信号を補正する色信号抽出部と、前記可視光輝度信号Ｙ１と前記非可視光輝度信号Ｙ２を合成して合成輝度信号Ｙ３とし、該合成輝度信号Ｙ３と前記補正された色信号を用いてカラー画像を生成する画像合成部と、前記撮像部と前記色信号抽出部と前記画像合成部を制御する制御部と、を備える。

ここに前記制御部は、前記可視光輝度抽出部にて抽出した可視光輝度信号Ｙ１の値に応じて、前記画像合成部にて合成する前記可視光輝度信号Ｙ１と前記非可視光輝度信号Ｙ２の合成比率と、前記色信号抽出部にて補正する前記色信号の増幅度と色ノイズ除去を制御する。

または前記制御部は、前記撮像部の露出条件に応じて、前記画像合成部にて合成する前記可視光輝度信号Ｙ１と前記非可視光輝度信号Ｙ２の合成比率と、前記色信号抽出部にて補正する前記色信号の増幅度と色ノイズ除去を制御する。

本発明によれば、低照度環境においてもより自然な被写体の色を再現する撮像装置を提供することができる。

実施例１における撮像装置の機能構成を示すブロック図である。撮像部１１の内部構成を示す図である。撮像部１１の撮像画素２４の構成例を示す図である。撮像画素の光の波長に対する感度特性を示す図である。画像合成部１６の内部構成を示す図である。カラー画像生成の流れを示すフローチャートである。撮像部１１の露出制御（Ｓ１０６）を具体的に説明する図である。画像合成部１６の輝度信号合成（Ｓ１１０）を具体的に説明する図である。色信号抽出部１３における色信号補正（Ｓ１１１）を具体的に説明する図である。実施例２におけるカラー画像生成の流れを示すフローチャートである。露出設定値の判定（Ｓ２０５）と、これに応じた輝度信号の合成（Ｓ２０７）及び色信号の補正（Ｓ２０８）を具体的に説明する図である。実施例３における撮像部の内部構成を示す図である。

以下、本発明の実施形態を図面を用いて説明する。

図１は、実施例１における撮像装置の機能構成を示すブロック図である。撮像装置１は、撮像部１１と画像処理部１２を備える。

撮像部１１は、被写体からの可視光と非可視光を受光する撮像画素を有し、可視光信号と非可視光信号に変換して画像処理部１２へ送る。ここでいう可視光とは赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の波長帯域、非可視光とは赤外または近赤外（ＩＲ）の波長帯域を指す。

画像処理部１２は、色信号抽出部１３、可視光輝度抽出部１４、非可視光輝度抽出部１５、画像合成部１６、制御部１７を備える。
色信号抽出部１３は、撮像部１１から入力した可視光信号から色信号Ｒ，Ｇ，Ｂを抽出する。その際、制御部１７からの指示に従い、入力された色信号Ｒ，Ｇ，Ｂを所定の量だけ増幅し、色信号の増幅により発生した色ノイズの除去を行う補正を行う。

可視光輝度抽出部１４は、撮像部１１から入力した可視光信号から輝度信号を抽出する。ここで抽出した可視光輝度信号をＹ１とする。
非可視光輝度抽出部１５は、撮像部１１から入力した非可視光信号ＩＲから各画素の値をモノクロ画像の輝度として捉え、非可視光輝度信号Ｙ２を抽出する。
これらの抽出（補正）した色信号Ｒ，Ｇ，Ｂと２つの輝度信号Ｙ１，Ｙ２は、画像合成部１６ならびに制御部１７に送られる。

画像合成部１６は、入力した可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２を、制御部１７からの指示に従い所定の比率で合成し、合成した輝度信号Ｙ３と補正した色信号ＲＧＢを用いてカラー画像を生成して出力する。

制御部１７は、入力した可視光輝度信号Ｙ１の値に応じて、色信号抽出部１３、画像合成部１６、及び撮像部１１の動作を制御する。色信号抽出部１３に対しては、可視光輝度信号Ｙ１の値に応じて、色信号を補正させる（具体的には、色信号抽出に使用する撮像部１１から入力した可視光信号を補正させる）。画像合成部１６に対しては、可視光輝度信号Ｙ１の値に応じて、輝度信号Ｙ１と輝度信号Ｙ２の合成比率を決定して合成させる。撮像部１１に対しては、可視光輝度信号Ｙ１の値に応じて、露出設定値（アイリス開口度、シャッター速度、信号増幅度）を変更させる。あるいは逆に、露出設定値を参照して現在の照度環境（輝度信号Ｙ１に相当）を推定し、色信号抽出部１３及び画像合成部１６を制御する（実施例２）。

このような構成により、撮影時の照度環境に応じて、可視光信号から抽出した輝度信号Ｙ１と非可視光信号から抽出した輝度信号Ｙ２とを適切な比率で合成し、視認性の良い輝度信号を得ることができる。また、照度が不十分でカラー画像を生成するために必要な色信号が少ない環境においては、可視光信号から抽出した色信号を適切に増幅するようにした。そして、合成した輝度信号Ｙ３と補正した色信号を組み合わせることで、より自然な被写体の色のカラー画像を生成することができる。

以下、各部の構成と動作を詳細に説明する。
図２は、撮像部１１の内部構成を示す図である。
撮像部１１は、被写体からの光を集光するレンズ２１と、光の入力量を調整するアイリス２２と、アイリス開口度を調整するアイリス駆動部２３と、可視光及び非可視光を受光し電気信号に変換する撮像画素２４と、撮像画素のシャッター速度（露光時間）を制御するシャッター制御部２５と、撮像画素で得た信号を増幅するゲイン制御部２６を備える。撮像画素２４は可視光用画素と非可視光用画素を有し、ゲイン制御部２６からは可視光信号と非可視光信号を出力する。

撮影時の露出条件を設定するアイリス駆動部２３、シャッター制御部２５、ゲイン制御部２６は、制御部１７により制御され、また設定値が変化した場合にはその設定値を制御部１７に送る。照度が低い時（すなわち可視光輝度信号Ｙ１が少ない時）、制御部１７は撮像部１１のアイリス駆動部２３、シャッター制御部２５、ゲイン制御部２６の露出設定値を変更し、可視光信号を増大させ必要な色信号を確保するように制御する。

図３は、撮像部１１の撮像画素２４の構成例を示す図である。撮像画素２４は、共通の素子面上に、可視光用と非可視光用の画素を配置している。可視光用としては、Ｒ光に主な感度を持つ画素３１、Ｇ光に主な感度を持つ画素３２、Ｂ光に主な感度を持つ画素３３を有し、非可視光用としては近赤外光ＩＲに主な感度を持つ画素３４を有する。これらの各画素を素子面上に繰返し配置している。

図４は、図３における各画素３１〜画素３４の光の波長に対する感度特性、すなわち分光特性を示す図である。画素Ｒ，Ｇ，Ｂの感度特性は、それぞれＲ，Ｇ，Ｂ可視光の波長域に加えて近赤外光ＩＲの波長域にも感度を有している。この特性は一般的な可視光カメラに用いられる撮像画素の性質であり、ＩＲ成分を除去するために、図示しない光学フィルターを画素Ｒ，Ｇ，Ｂの前に挿入している。画素ＩＲは近赤外光ＩＲのみに感度を有する。その結果、画素Ｒ，Ｇ，Ｂからは、可視光域の色信号と輝度信号が、画素ＩＲからは非可視光域の輝度信号が得られる。

図５は、画像合成部１６の内部構成を示す図である。ここでは、可視光輝度抽出部１４からの可視光輝度信号Ｙ１と、非可視光輝度抽出部１５からの非可視光輝度信号Ｙ２を合成する。その合成比率（ｋ１：ｋ２）は制御部１７からの指示に従い、それぞれ乗算器５１，５２の係数ｋ１，ｋ２として設定し輝度信号Ｙ１，Ｙ２に乗じる。これらを加算器５３により加算して合成輝度信号Ｙ３を生成する。これを（１）式で示す。合成輝度信号Ｙ３は前記色信号Ｒ，Ｇ，Ｂとともに、カラー画像信号として出力される。
Ｙ３＝ｋ１・Ｙ１＋ｋ２・Ｙ２（１）

なお、図５では、色差生成部５４により色信号抽出部１３からの色信号Ｒ，Ｇ，Ｂを色差信号Ｃｂ，Ｃｒに変換する場合を示す。そのため（２）〜（４）式の変換を行う。これによれば、輝度信号と色差信号を用いたＹＣｂＣｒ形式のカラー画像信号として出力することもできる。
Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６（２）
Ｃｂ＝−０．１４８Ｒ−０．２９１Ｇ＋０．４３９Ｂ＋１２８（３）
Ｃｒ＝０．４３９Ｒ−０．３６８Ｇ−０．０７１Ｂ＋１２８（４）

図６は、本実施例におけるカラー画像生成の流れを示すフローチャートである。以下の各処理ステップは、制御部１７の指示により実行される。

Ｓ１０１では、可視光輝度抽出部１４は可視光信号から輝度信号Ｙ１を抽出する。
Ｓ１０２では、色信号抽出部１３は可視光信号から色信号ＲＧＢを抽出する。
Ｓ１０３では、非可視光輝度抽出部１５は非可視光信号から輝度信号Ｙ２を抽出する。
なお、Ｓ１０１〜Ｓ１０３の処理は、制御部１７からの要求で実行するのではなく、色信号抽出部１３、可視光輝度抽出部１４、非可視光輝度抽出部１５が所定の時間間隔で色信号や輝度信号の抽出を行い、これらを図示しないメモリに一旦格納し、制御部１７がメモリから格納された色信号や輝度信号を読み出すようにしても良い。

Ｓ１０４では、制御部１７は、可視光輝度抽出部１４から取得した可視光輝度信号Ｙ１の値が、所定の閾値Ｔｈ以上か否かを判定する。ここに閾値Ｔｈは、可視光信号のみからカラー画像を生成するのに必要な照度環境（輝度レベル）をもとに定める。判定がＹｅｓ（Ｙ１≧Ｔｈ）の場合は十分な照度が得られていると判断し、Ｓ１０５に進む。判定がＮｏ（Ｙ１＜Ｔｈ）の場合は照度が不足していると判断し、Ｓ１０６に進む。
Ｓ１０５では、色信号抽出部１３は色信号ＲＧＢを補正する処理を行わず、画像合成部１６は、色信号ＲＧＢと可視光輝度信号Ｙ１を使用してカラー画像を生成する。

Ｓ１０６では、照度の不足（色信号ＲＧＢの不足）を補うため、制御部１７は撮像部１１に対し、可視光輝度信号Ｙ１の値に応じて露出を増大し可視光信号を増大させるように制御する。撮像部１１の露出制御の詳細は図７に後述する。
Ｓ１０７では、Ｓ１０６の露出制御により変化した可視光輝度信号Ｙ１、非可視光輝度信号Ｙ２、色信号ＲＧＢを、それぞれ可視光輝度抽出部１４、非可視光輝度抽出部１５、色信号抽出部１３にて抽出する。

Ｓ１０８では、Ｓ１０７で取得した可視光輝度信号Ｙ１の値が所定の閾値Ｔｈ以上となったか否かを判定する。この判定はＳ１０４と同様に行う。判定がＹｅｓ（Ｙ１≧Ｔｈ）の場合は十分な照度が得られていると判断し、Ｓ１０５に進む。判定がＮｏ（Ｙ１＜Ｔｈ）の場合はＳ１０９へ進む。
Ｓ１０９では、撮像部１１にてさらなる露出増大が可能であるかどうかを判定する。判定がＹｅｓ（増大可能）の場合はＳ１０６へ戻り、撮像部１１に対しさらなる露出増大を行わせる。判定がＮｏ（増大不可能）の場合はＳ１１０へと進む。なお、Ｓ１０６からＳ１０９の工程は必要に応じて実行しても良い。

Ｓ１１０では、制御部１７は画像合成部１６に対し、可視光輝度信号Ｙ１の値に応じて可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の合成比率（ｋ１：ｋ２）を指示する。画像合成部１６は指示された合成比率にて輝度信号Ｙ３を合成する。合成比率の決定については図８にて後述する。

Ｓ１１１では、制御部１７は色信号抽出部１３に対し、可視光輝度信号Ｙ１の値に応じて色信号の補正（振幅増幅、色ノイズ除去）を指示する。色信号抽出部１３は指示に従い、色信号ＲＧＢを色信号Ｒ’Ｇ’Ｂ’に補正し画像合成部１６へ送る。色信号の補正処理については図９にて後述する。
Ｓ１１２では、画像合成部１６は輝度信号Ｙ３と補正された色信号Ｒ’Ｇ’Ｂ’を用いてカラー画像を生成する。

上記フローチャートでは、可視光輝度信号Ｙ１の値に応じて、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の合成比率を変えて輝度信号を合成し（Ｓ１１０）、色信号ＲＧＢを補正（増幅、ノイズ除去）する（Ｓ１１１）。これにより、低照度環境においてもより自然な被写体の色信号を生成し、視認性のよいカラー画像を生成できる。また、可視光輝度信号Ｙ１が所定の閾値Ｔｈより低い場合には、撮像部１１の露出を増大させることにより（Ｓ１０６）、撮像部１１から画像処理部１２に送られる可視光信号を増大させることができる。なお、ステップＳ１０６の工程（撮像部１１の露出増大処理）は、ユーザが選択した場合に実施するようにしても良い。

以下、ステップＳ１０６、Ｓ１１０、Ｓ１１１の各処理について具体的に説明する。
図７は、撮像部１１の露出制御（ステップＳ１０６）を具体的に説明する図である。横軸は可視光輝度信号Ｙ１の強度で、２つの閾値Ｔｈ１，Ｔｈ２（Ｔｈ１＜Ｔｈ２）で範囲を区分している。閾値Ｔｈ２はステップＳ１０４における閾値Ｔｈと等しい。これらの閾値は、予め制御部１７が固定値として記憶してもよいし、撮像装置の外部から入力して設定してもよい。縦軸は、撮像部１１で設定する露出設定値（アイリス開口度Ｉ、シャッター速度Ｓ、信号増幅度Ｇ）である。

制御部１７は、輝度信号Ｙ１がＴｈ２以上の場合には、撮像部１１から入力する可視光信号はカラー画像を生成するために十分なものであると判定し、撮像部１１の露出設定値を変更しない（基準値とする）。

輝度信号Ｙ１がＴｈ２未満の場合には、制御部１７は、可視光信号がカラー画像を生成するために不十分であると判定し、撮像部１１のアイリス駆動部２３、シャッター制御部２５、ゲイン制御部２６に対して、露出増大の制御を行い可視光信号を増大させる。すなわち、アイリス開口度Ｉ、シャッター速度Ｓ、信号増幅度Ｇの露出設定値を変更する。ここでは３個のパラメータＩ，Ｓ，Ｇを取り上げたが、これらから適宜選択して制御しても良い。本例では閾値Ｔｈ１を境界にして露出設定を２段階に与え、輝度信号Ｙ１がＴｈ１未満の場合には、輝度信号Ｙ１がＴｈ１以上の場合よりも露出量を大きく与えている。さらに閾値を２個以上設けることで、よりきめ細かな制御が可能となる。これにより、過剰な露出（過剰な可視光信号の増幅）により画像の細部情報が失われることを抑止し、カラー画像を合成するために適切な可視光信号を画像処理部１２に送ることができる。

このように露出処理（Ｓ１０６）によれば、撮像部１１の段階での照度不足（可視光信号不足）を改善し、カラー画像を生成するために必要な可視光信号を得る（またはそれに近づける）ことが可能になる。

図８は、画像合成部１６の輝度信号合成（ステップＳ１１０）を具体的に説明する図である。横軸は可視光輝度信号Ｙ１の強度で、２つの閾値Ｔｈ１，Ｔｈ２（Ｔｈ１＜Ｔｈ２）で範囲を区分している。閾値Ｔｈ２はステップＳ１０４，Ｓ１０８における閾値Ｔｈと等しい。縦軸は、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の合成比率（ｋ１：ｋ２）を縦方向の幅で示している。

制御部１７は、輝度信号Ｙ１の値に応じて画像合成部１６で使用する輝度信号Ｙ１，Ｙ２の合成比率ｋ１，ｋ２を決定する。輝度信号Ｙ１がＴｈ２以上の場合には、撮像部１１から入力する可視光信号はカラー画像を生成するために十分なものであると判定し、ｋ１＝１、ｋ２＝０とし、画像合成部１６では可視光輝度信号Ｙ１をそのまま合成輝度信号Ｙ３とする。

輝度信号Ｙ１がＴｈ２未満の場合には、制御部１７は、可視光信号がカラー画像を生成するために不十分であると判定し、画像合成部１６では可視光輝度信号Ｙ１に非可視光輝度信号Ｙ２を加算して合成輝度信号Ｙ３とする。本例ではこの領域を閾値Ｔｈ１で区分し、輝度信号Ｙ１がＴｈ１以上の場合は、ｋ１＝ｋ２＝０．５とし、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の平均値を合成輝度信号Ｙ３とする。また輝度信号Ｙ１がＴｈ１未満の場合には、ｋ１＝０、ｋ２＝１とし、非可視光輝度信号Ｙ２のみを合成輝度信号Ｙ３とする。

この例では簡単のために可視光輝度信号Ｙ１を３つの領域に区分したが、２個以上の閾値を設けて破線のように細分化して合成比率を決定することもできる。これにより、非可視光信号を過剰に使用することで画像の輝度情報の一部が失われることを抑止し、画像合成部１６では適切な輝度信号を用いてカラー画像を生成することができる。

このように輝度合成処理（Ｓ１１０）によれば、撮像部１１において照度不足（可視光信号不足）が解消されない場合であっても、カラー画像を生成するために必要な輝度信号を得ることが可能になる。

図９は、色信号抽出部１３における色信号補正（ステップＳ１１１）を具体的に説明する図である。横軸は可視光輝度信号Ｙ１の強度で、２つの閾値Ｔｈ１，Ｔｈ２（Ｔｈ１＜Ｔｈ２）で範囲を区分している。閾値Ｔｈ２はステップＳ１０４における閾値Ｔｈと等しい。縦軸は、色信号ＲＧＢの補正量、すなわち色信号の増幅量Ｐと色ノイズの除去量ＮＲを示している。

制御部１７は、可視光輝度信号Ｙ１の値に応じて、色信号抽出部１３に対し色信号の補正を指示する。輝度信号Ｙ１がＴｈ２以上の場合には、撮像部１１から入力する可視光信号はカラー画像を生成するために十分なものであると判定し、色信号ＲＧＢの補正を行わない。

輝度信号Ｙ１がＴｈ２未満の場合には、制御部１７は、可視光信号がカラー画像を生成するために不十分であると判定し、色信号抽出部１３に対し色信号の増幅量Ｐと色ノイズの除去量ＮＲを指示する。この色信号の補正は、前記図８における可視光輝度信号Ｙ１の減少分を補うものであるから、その補正量は、図８における非可視光輝度信号Ｙ２の合成比率ｋ２の大きさに応じて増加させるのが望ましい。色信号の増幅では、色信号Ｒ，Ｇ，Ｂを指定された増幅量Ｐだけ増加させ、色信号Ｒ’，Ｇ’，Ｂ’とする。もしくは色差信号Ｃｂ，Ｃｒを用いる場合には、前記（３）（４）式のＲ，Ｇ，Ｂの係数を指定された増幅量Ｐに合わせて変更すれば良い。また色ノイズ除去では、色信号の増幅に伴う色ノイズの増加を抑えるものであり、色信号の増幅に合わせて色ノイズ除去量ＮＲだけフィルター処理の強度を増加させる。

本例では閾値Ｔｈ１を境界にして色信号補正量を２段階に与え、輝度信号Ｙ１がＴｈ１未満の場合には、輝度信号Ｙ１がＴｈ１以上の場合よりも補正量（Ｐ，ＮＲ）を大きく与えている。さらに閾値を２個以上設けて破線で示すように細分化して補正量を設定することもできる。これにより、色信号を過剰に増幅することで不要な色ノイズが発生することを回避し、カラー画像を合成するために適切な色信号を画像処理部１２に送ることができる。なお、色信号の増幅量Ｐに対する閾値と色ノイズ除去量ＮＲに対する閾値を共通の値としたが、それぞれに異なる値を設定してもよい。

このように色信号補正（Ｓ１１１）によれば、撮像部１１において照度不足（可視光信号不足）が解消されない場合であっても、カラー画像を生成するために必要な色信号を得ることが可能になる。

実施例１によれば、可視光信号から抽出した輝度信号Ｙ１の値に応じて、可視光信号から抽出した輝度信号Ｙ１と非可視光信号から抽出した輝度信号Ｙ２の比率を変えて合成し輝度信号Ｙ３とする。また、可視光信号から抽出した輝度信号Ｙ１の値に応じて、可視光信号から抽出した色信号ＲＧＢの増幅と色ノイズ除去を行い色信号Ｒ’Ｇ’Ｂ’とする。これらの輝度信号Ｙ３と色信号Ｒ’Ｇ’Ｂ’とを使用することで、低照度環境においてもより自然な被写体の色を再現し、視認性の良いカラー画像を生成することができる。

前記実施例１では、可視光信号から抽出した輝度信号Ｙ１の値に応じて、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２を合成し、色信号ＲＧＢの補正を行った。これに対し実施例２では、撮像部１１の露出設定条件に応じて、輝度信号の合成と色信号の補正を行うようにする。これは、低照度（低輝度）環境では露出大のカメラ設定がなされるように、抽出される輝度信号Ｙ１の値と撮像部１１の露出設定条件には相関があるからである。

図１０は、実施例２におけるカラー画像生成の流れを示すフローチャートである。以下の各処理ステップは、制御部１７の指示により実行される。

Ｓ２０１では、可視光輝度抽出部１４は可視光信号から輝度信号Ｙ１を抽出する。
Ｓ２０２では、色信号抽出部１３は可視光信号から色信号ＲＧＢを抽出する。
Ｓ２０３では、非可視光輝度抽出部１５は非可視光信号から輝度信号Ｙ２を抽出する。
なお、Ｓ２０１〜Ｓ２０３の処理は、制御部１７からの要求で実行するのではなく、色信号抽出部１３、可視光輝度抽出部１４、非可視光輝度抽出部１５が所定の時間間隔で色信号や輝度信号の抽出を行い、これらを図示しないメモリに一旦格納し、制御部１７がメモリから格納された色信号や輝度信号を読み出すようにしても良い。

Ｓ２０４では、制御部１７は、撮像部１１が備えるアイリス駆動部２３、シャッター制御部２５、ゲイン制御部２６から露出設定値を取得する。これらの設定値には、アイリス開口度、シャッター速度、信号増幅度が含まれる。

Ｓ２０５では、撮像部１１の露出設定値が低照度環境での撮影に適したものか否かを判定する。この判定は、可視光信号のみから良好なカラー画像を生成するのが可能か否かに基づいている。判定がＹｅｓ（低照度向けの設定）の場合には照度が不足していると判断し、Ｓ２０７に進む。判定がＮｏ（高照度向けの設定）の場合には十分な照度が得られていると判断し、Ｓ２０６に進む。なお、通常の照度向けの設定の場合は十分な照度が得られていると判断し、判定はＮｏ（高照度向け）に含める。判定処理の具体例は図１１で後述するように、各露出設定値から合計露出判定値Ｅを算出して判断する。
Ｓ２０６では、色信号抽出部１３は色信号ＲＧＢを補正する処理を行わず、画像合成部１６は、色信号ＲＧＢと可視光輝度信号Ｙ１を使用してカラー画像を生成する。

Ｓ２０７では、制御部１７は画像合成部１６に対し、合計露出判定値Ｅに応じて可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の合成比率（ｋ１：ｋ２）を指示する。画像合成部１６は指示された合成比率にて輝度信号Ｙ３を合成する。

Ｓ２０８では、制御部１７は色信号抽出部１３に対し、合計露出判定値Ｅに応じて色信号の補正（振幅増幅、色ノイズ除去）を指示する。色信号抽出部１３は指示に従い、色信号ＲＧＢを色信号Ｒ’Ｇ’Ｂ’に補正し画像合成部１６へ送る。合成比率の決定と色信号の補正処理については図１１にて後述する。
Ｓ２０９では、画像合成部１６は輝度信号Ｙ３と補正された色信号Ｒ’Ｇ’Ｂ’を用いてカラー画像を生成する。

上記フローチャートでは、撮像部１１のアイリス駆動部２３、シャッター制御部２５、ゲイン制御部２６の露出設定値を取得して、低照度環境の設定の場合には、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の合成比率を変えて輝度信号を合成し（Ｓ２０７）、可視光色信号ＲＧＢを補正（増幅、ノイズ除去）する（Ｓ２０８）。これにより、低照度環境においてもより自然な被写体の色信号を生成し、視認性のよいカラー画像を生成できる。

図１１は、露出設定値の判定（Ｓ２０５）と、これに応じた輝度信号の合成（Ｓ２０７）及び色信号の補正（Ｓ２０８）を具体的に説明する図である。制御部１７は、撮像部１１が備えるアイリス駆動部２３、シャッター制御部２５、ゲイン制御部２６から、それぞれの露出設定値であるアイリス開口度Ｉ、シャッター速度Ｓ、信号増幅度Ｇを取得する。

図１１（ａ）は、これらの露出設定値Ｉ，Ｓ，Ｇからそれぞれの露出判定値を算出する方法を示す。露出判定値算出にはそれぞれ関数ｆ（Ｉ）、ｇ（Ｓ）、ｈ（Ｇ）を用いるが、各関数は露出設定値が低照度向けであるほど大きな値を返す。すなわち、アイリス開口度Ｉが大きいほど、シャッター速度Ｓが遅いほど、また信号増幅度Ｇが大きいほど関数値は大きくなる。ここでは簡単のために、露出設定値Ｉ，Ｓ，Ｇの値がそれぞれの閾値以上の場合には露出判定値＝１、閾値未満の場合には露出判定値＝０となる関数とした。

次に、算出した各露出判定値ｆ（Ｉ）、ｇ（Ｓ）、ｈ（Ｇ）を（５）式により合計して、合計露出判定値Ｅを求める。本例の場合、合計露出判定値Ｅは、０，１，２，３のいずれかの値をとる。合計露出判定値Ｅは撮像部１１全体の露出の大きさの指標となるもので、これに従い輝度信号の合成と色信号の補正を決定する。
合計露出判定値Ｅ＝ｆ（Ｉ）＋ｇ（Ｓ）＋ｈ（Ｇ）（５）

図１１（ｂ）は、合計露出判定値Ｅと輝度信号の合成比率及び色信号補正処理の対応関係の一例を示す。合計露出判定値Ｅ＝０の場合は高照度向けの設定であり、入力する可視光信号は十分であると判断する。この場合は、画像合成部１６での輝度信号合成比率をｋ１＝１、ｋ２＝０とし、可視光輝度信号Ｙ１をそのまま合成輝度信号Ｙ３とする。また色信号抽出部１３での色信号補正を行わない。

合計露出判定値Ｅが１以上の場合には、入力する可視光信号がカラー画像を生成するために不十分であると判断する。Ｅ＝１の場合は、輝度信号合成比率をｋ１＝０．７、ｋ２＝０．３とし、可視光輝度信号Ｙ１に非可視光輝度信号Ｙ２を加算して合成輝度信号Ｙ３とする。なお、色信号補正はなしとする。Ｅ＝２の場合は、輝度信号合成比率をｋ１＝０．３、ｋ２＝０．７とし、非可視光輝度信号Ｙ２の割合を増加する。色信号補正（振幅増幅、色ノイズ除去）はありとし、色信号Ｒ’Ｇ’Ｂ’に補正する。Ｅ＝３の場合は、輝度信号合成比率をｋ１＝０、ｋ２＝１とし、非可視光輝度信号Ｙ２のみを合成輝度信号Ｙ３とする。色信号補正はありとする。

上記例では、合計露出判定値Ｅを０〜３の４通りに区分して輝度信号の合成と色信号の補正を行うものとしたが、合計露出判定値Ｅをさらに細分化してきめ細かな制御を行うことで、より撮影環境に適した視認性のよい画像生成を行うことができる。

実施例２によれば、撮像部１１の露出設定値から現在の撮影環境の照度が十分であるか否かを判定するようにしたので、実施例１のように可視光信号から抽出した輝度信号Ｙ１を使用して判定する必要がない。よって、実施例１に比較してより簡便に照度不足を判定し、輝度信号の合成と色信号の補正を行うことが可能となる。

前記実施例１，２では、撮像部１１を１つの光学系で構成し、共通の撮像画素から可視光信号と非可視光信号を出力するようにした。これに対し実施例３では、撮像部を２つの光学系で構成し、可視光信号と非可視光信号を異なる撮像画素から出力するようにした。

図１２は、実施例３における撮像部の内部構成を示す図である。本実施例では２つの撮像部１１ａ，１１ｂを備え、撮像部１１ａは可視光用、撮像部１１ｂは非可視光用に使い分けている。可視光用の撮像部１１ａには、レンズ２１ａ、アイリス２２ａ、アイリス駆動部２３ａ、可視光撮像画素２４ａ、シャッター制御部２５ａ、ゲイン制御部２６ａを有する。非可視光用の撮像部１１ｂには、レンズ２１ｂ、アイリス２２ｂ、アイリス駆動部２３ｂ、非可視光撮像画素２４ｂ、シャッター制御部２５ｂ、ゲイン制御部２６ｂを有する。可視光撮像画素２４ａはＲ，Ｇ，Ｂ画素であり、非可視光撮像画素２４ｂはＩＲ画素である。そして、撮像部１１ａのゲイン制御部２６ａから可視光信号を出力し、撮像部１１ｂのゲイン制御部２６ｂから非可視光信号を出力する。

アイリス駆動部２３ａ，２３ｂ、シャッター制御部２５ａ，２５ｂ、ゲイン制御部２６ａ，２６ｂは、制御部１７により制御される。また、アイリス駆動部２３ａ，２３ｂ、シャッター制御部２５ａ，２５ｂ、ゲイン制御部２６ａ，２６ｂは、動作のための設定値が変化した場合には、設定値を制御部１７に送る。

実施例３の構成によれば、可視光及び非可視光の露出設定（アイリス開口度、シャッター速度、信号増幅度）を、それぞれ独立にかつ最適に制御できる。よって、低照度環境において可視光信号と非可視光信号の両方を使用するとき、より視認性の良いカラー画像を生成することができる。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部がハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や信号線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や信号線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…撮像装置、
１１…撮像部、
１１ａ…可視光用撮像部、
１１ｂ…非可視光用撮像部、
１２…画像処理部、
１３…色信号抽出部、
１４…可視光輝度抽出部、
１５…非可視光輝度抽出部、
１６…画像合成部、
１７…制御部、
２１，２１ａ，２１ｂ…レンズ、
２２，２２ａ，２２ｂ…アイリス、
２３，２３ａ，２３ｂ…アイリス駆動部、
２４…撮像画素（可視光＋非可視光）、
２４ａ…可視光撮像画素、
２４ｂ…非可視光撮像画素、
２５，２５ａ，２５ｂ…シャッター制御部、
２６，２６ａ，２６ｂ…ゲイン制御部、
ｋ１，ｋ２…輝度信号合成比率、
Ｙ１…可視光輝度信号、
Ｙ２…非可視光輝度信号、
Ｙ３…合成輝度信号、
ＲＧＢ…色信号、
Ｒ’Ｇ’Ｂ’…補正された色信号。

Claims

被写体を撮影してカラー画像を生成する撮像装置において、
被写体を撮影して撮像画素により可視光信号と非可視光信号に変換する撮像部と、
前記可視光信号から可視光輝度信号Ｙ１を抽出する可視光輝度抽出部と、
前記非可視光信号から非可視光輝度信号Ｙ２を抽出する非可視光輝度抽出部と、
前記可視光信号から色信号を抽出するとともに該色信号を補正する色信号抽出部と、
前記可視光輝度信号Ｙ１と前記非可視光輝度信号Ｙ２を合成して合成輝度信号Ｙ３とし、該合成輝度信号Ｙ３と前記補正された色信号を用いてカラー画像を生成する画像合成部と、
前記撮像部と前記色信号抽出部と前記画像合成部を制御する制御部と、を備え、
該制御部は、前記可視光輝度抽出部にて抽出した可視光輝度信号Ｙ１の値に応じて、前記画像合成部にて合成する前記可視光輝度信号Ｙ１と前記非可視光輝度信号Ｙ２の合成比率と、前記色信号抽出部にて補正する前記色信号の増幅度と色ノイズ除去を制御することを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記制御部は前記画像合成部に対し、前記可視光輝度信号Ｙ１の値が閾値Ｔｈ２以上の場合には前記可視光輝度信号Ｙ１を前記合成輝度信号Ｙ３として使用し、前記可視光輝度信号Ｙ１の値が閾値Ｔｈ１（ただしＴｈ１＜Ｔｈ２）未満の場合には前記非可視光輝度信号Ｙ２を前記合成輝度信号Ｙ３として使用するよう制御することを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記制御部は前記色信号抽出部に対し、前記可視光輝度信号Ｙ１の値が閾値Ｔｈ２以上の場合には前記色信号の補正を行わず、前記可視光輝度信号Ｙ１の値が閾値Ｔｈ２未満の場合には、前記非可視光輝度信号Ｙ２の合成比率に応じて前記色信号の増幅と色ノイズ除去を行うよう制御することを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記撮像部は露出条件設定のため、アイリス開口度を調整するアイリス駆動部と、前記撮像画素のシャッター速度を制御するシャッター制御部と、前記撮像画素で得た信号を増幅するゲイン制御部とを有し、
前記制御部は前記可視光輝度信号Ｙ１の値が閾値Ｔｈ２未満の場合には、前記撮像部に対し、前記アイリス開口度、前記シャッター速度、前記信号増幅度の各設定値を変更し、露出を増大させるよう制御することを特徴とする撮像装置。
被写体を撮影してカラー画像を生成する撮像装置において、
被写体を撮影して撮像画素により可視光信号と非可視光信号に変換する撮像部と、
前記可視光信号から可視光輝度信号Ｙ１を抽出する可視光輝度抽出部と、
前記非可視光信号から非可視光輝度信号Ｙ２を抽出する非可視光輝度抽出部と、
前記可視光信号から色信号を抽出するとともに該色信号を補正する色信号抽出部と、
前記可視光輝度信号Ｙ１と前記非可視光輝度信号Ｙ２を合成して合成輝度信号Ｙ３とし、該合成輝度信号Ｙ３と前記補正された色信号を用いてカラー画像を生成する画像合成部と、
前記撮像部と前記色信号抽出部と前記画像合成部を制御する制御部と、を備え、
該制御部は、前記撮像部の露出条件に応じて、前記画像合成部にて合成する前記可視光輝度信号Ｙ１と前記非可視光輝度信号Ｙ２の合成比率と、前記色信号抽出部にて補正する前記色信号の増幅度と色ノイズ除去を制御することを特徴とする撮像装置。
請求項５に記載の撮像装置において、
前記撮像部は露出条件設定のため、アイリス開口度を調整するアイリス駆動部と、前記撮像画素のシャッター速度を制御するシャッター制御部と、前記撮像画素で得た信号を増幅するゲイン制御部とを有し、
前記制御部は、前記撮像部における前記アイリス開口度、前記シャッター速度、前記信号増幅度の各設定値から露出判定値を算出し、該露出判定値に応じて前記輝度信号の合成比率と前記色信号の補正を制御することを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記撮像部は、前記可視光信号を出力する撮像画素を有する可視光用撮像部と、前記非可視光信号を出力する撮像画素を有する非可視光用撮像部とを備えることを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、
前記撮像部の前記撮像画素は、前記非可視光信号として近赤外領域の信号を出力することを特徴とする撮像装置。