JP2014107852A - 撮像装置 - Google Patents

Abstract

【課題】赤外を用いる撮像装置において、赤外波長が可視光の色の信号処理に混じってしまっても正しく色再現を行う。
【解決手段】被写体を撮影する少なくとも、赤色域、緑色域、青色域の可視光域、及び、赤外域に感度を持つ撮像部と、撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、抽出領域処理部により設定された映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、抽出領域処理部により設定された映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、ホワイトバランス処理部の制御を行うシステム制御部と、を具備し、システム制御部は、映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御する。
【選択図】図１

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、特許文献１がある。特許文献１には「赤外線撮像制御を行って撮像を行う場合に、赤外線撮像信号を色毎に可視光演算撮像信号と、赤外線演算撮像信号と、に分離する。また、可視光撮像信号に基づいて光源判別を行い、光源判別の結果に基づいてホワイトバランス撮像信号を生成し、ホワイトバランス撮像信号を色毎に積分し、可視光演算撮像信号の色バランスを整合して、色整合撮像信号を生成する。この色整合撮像信号に対して、光源判別の結果に基づいて、ホワイトバランス補正撮像信号を生成し、赤外線演算撮像信号とホワイトバランス補正撮像信号とに画像処理を施して、カラー画像信号を生成する。」 と記載されている。

特開２０１０−１６１４５３号公報

近年、交通事故の予防安全への関心が高まってきており、自動車の運転支援システムにおける一要素として車載監視用の撮像装置の研究開発が盛んに行われている。車載撮像装置の主な機能として、例えば写体として道路標示物である車線を認識する機能がある。その際、車線の色の種別を正しく識別するためには、車線の色（例えば白色）を正しく再現することが必要である。また車線以外で認識対象となる特定の被写体(例えば標識)の種別を正しく識別する場合にも、被写体の色を正しく再現することが必要である。加えて夜間など暗い環境下でこれらの被写体を認識する事も必要となってくる。そのために可視光に加えて赤外波長を信号処理に用いる事で夜間などの低照度環境下における撮像装置の感度向上を実現させることが重要となっている。これら可視光及び赤外線を用いた撮像装置において被写体の色を正しく再現するために、ホワイトバランス処理が施されるが、赤外を用いる撮像装置において例えば赤外波長が可視光の色信号処理に混じってしまうと色のバランスが変わってしまい色再現性を正しく再現出来ない場合がある。その為ホワイトバランス処理を制御するための色信号は赤外成分を含まず、かつモニタ表示や画像認識等に使用する映像信号と色成分が同等であることが望ましい。前記特許文献１では、赤外線カットフィルタを用いて赤外線を除去した映像信号の可視光色毎比率に基づいて、可視光演算撮像信号の色バランスを整合することが記載されている。なお可視光演算撮像信号とは、赤外線を含む映像信号から可視光演算撮像信号と赤外線演算撮像信号に分離した信号の可視光分である。しかし一般に各フィルタの赤色域から赤外域における分光特性は一致せず、また赤外線カットフィルタの特性、実環境での様々な光源特性、演算による赤外域除去精度などから上記公知例の赤外線カットフィルタを用いた際の可視光特性と、赤外線カットフィルタを用いず演算により可視光を求めた色信号特性は同等にならない事から、上記公知例によるホワイトバランスの色再現性については改善の余地がある。さらに構成として赤外線カットフィルタが必要で、また赤外線カットフィルタ挿抜が必要であり改善の余地がある。本発明は、赤外を信号処理に用いた被写体の撮影において、簡単な構成で低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性のよい撮像装置を提供するものである。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。

撮像装置であって、被写体を撮影する少なくとも、赤色域（以下Ｒと記載）、緑色域（以下Ｇと記載）、青色域（以下Ｂと記載）の可視光域、及び、赤外域に感度を持つ撮像部と、前記撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、前記抽出領域処理部により設定された前記映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、前記抽出領域処理部により設定された前記映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、前記映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、前記ホワイトバランス処理部の制御を行うシステム制御部と、を具備し、前記システム制御部は、前記映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御すること、を特徴とする撮像装置である。

本発明によれば、簡単な構成で赤外光を含む低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性のよい撮像装置の提供が可能である。

本発明に係る撮像装置の一実施形態を示すブロック図である。 本撮像装置の表示部におけるホワイトバランスの検波範囲を示す図である。 検波範囲内の赤外信号が無い場合のＲＧＢ信号平均のイメージである。 検波範囲内の赤外信号が有る場合のＲir、Ｇir、Ｂir信号平均のイメージである。 検波範囲内の赤外信号を信号処理で除去した場合のＲ-ir、Ｇ-ir、Ｂ-ir信号平均のイメージである。 Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、Ｗフィルタ、Ｉｒフィルタの分光特性と示す図である 赤外線カットフィルタを使用した際のＲフィルタ、Ｇフィルタ、Ｂフィルタの分光特性と示す図である 撮像装置の表示部における赤外信号の分布イメージを示す図である。 撮像装置による赤外信号量に応じた適切なホワイトバランス処理の処理フローの一例を示す図である。 撮像装置による赤外信号量に応じた適切なホワイトバランス処理の処理フローの他の例を示す図である。 撮像装置による赤外信号量に応じた適切なホワイトバランス処理の処理フローの他の例を示す図である。

以下、本発明の実施形態を図面を用いて説明する。

本実施形態では、撮像装置の一例である車載カメラによる撮影例を用いて説明する。本実施例に係る車載撮像装置は、少なくとも赤色域、緑色域、青色域、及び赤外域の４種類のフィルタを用いた撮像部１０１と、後述の赤外抽出処理部および可視光抽出処理部に対してシステム制御部１０６より指定された１画素以上の領域を設定する抽出領域処理部１０２と、少なくとも赤色域信号、緑色域信号、青色域信号、及び赤外域信号を含む信号から、抽出領域処理部１０２で設定された領域の少なくとも赤外域信号を含む信号を抽出する赤外抽出処理部１０３と、少なくとも赤色域信号、緑色域信号、青色域信号、及び赤外域信号を含む信号から、抽出領域処理部１０２で設定された領域の少なくとも赤色域信号、緑色域信号、青色域信号を含む信号を生成する可視光抽出処理部１０４と、後述のシステム制御部１０６からの制御情報に基づき赤色域信号、緑色域信号、青色域信号が所望の値となる所定の色ゲインをかけることで信号処理を行うホワイトバランス処理部１０５と、赤外抽出処理部１０３と可視光抽出部１０４からの信号情報に基づきホワイトバランス処理部の制御を行うシステム制御部１０６と、ホワイトバランス処理部１０５からの信号を所定の映像信号に信号変換する出力ＩＦ部１０７とを適宜用いて構成される。

本構成によれば、撮像部１０１で赤色域、緑色域、青色域に加え、赤外域の情報を得ることができ、これを用いることでシステム制御部１０６は、簡単な構成で赤外光を含む撮影環境下においてホワイトバランス処理で正しく色再現が出来ない赤外域が含まれる映像領域を抽出し、その抽出された映像領域を除外した色信号を用いる事で、ホワイトバランス処理による正しい色ゲイン制御が可能となり、赤外光を含む低照度下でも視認性や認識に適した輝度信号を得ると共に色再現性を実施することができる。

ここで、図１のシステム制御部１０６で制御する赤色域信号、緑色域信号、青色域信号、赤外域信号を用いたホワイトバランス処理の詳細について、図２から図８を用いて説明する。

はじめに、図２のホワイトバランス検波枠２０１について説明する。図２は赤外線を含む太陽光下における車載撮像装置の撮影画面のイメージであり、本例においては、路面と空が映るような画角であるので、ホワイトバランスによる色再現が正しく制御されるように、青色が占める可能性の高い空を除いたホワイトバランス検波枠を例としている。またこのようなホワイトバランス検波枠では、路面や、白線、ガードレールなど無彩色の比率が高くなる傾向にある。

次に図３は図２の撮影画面の検波枠２０１内における赤外線カットフィルタを用いて赤外域をカットした場合の赤色域、緑色域、青色域の信号量平均（R、G、Bと示す）の例である。また信号量を０から２５５の範囲で表されるとし、例えば枠２０１内のＲ、Ｇ、Ｂ信号量平均は上記で述べたように、無彩色の被写体が多いため、６４、６５、６６といった値であると仮定する。このような赤外成分を含まない映像例に対するホワイトバランス処理は、例えば、Ｇ信号に対してＲ信号、Ｂ信号を一致させるように制御する事でホワイトバランスを調整する場合、Ｒ信号に対する色ゲインを大きく、Ｂ信号に対する色ゲインを小さく設定するようにホワイトバランス処理部１０５を図１のシステム制御部１０６が制御することになる。

図４は図２の撮影画面の検波枠２０１内における赤外域を含んだ赤色域、緑色域、青色域 信号量平均（Ｒir、Ｇir、Ｂirと示す）の例である。図２の撮影画面例の太陽光は赤外光を含む為、色信号は図４のように各色の赤外感度の違いに応じ、Ｒir、Ｇir、Ｂirで示す信号量とすると、図３の赤外線カットフィルタを用いた際の色信号レベルと異なり、本信号を用いて図３同様にホワイトバランス処理を実施した際にはＲir信号の色ゲインは小さく、Ｂir信号の色ゲインは大きく設定するように図１のシステム制御部１０６がホワイトバランス処理部１０５を制御することになり、実際の可視光成分のＲ＝６４、Ｇ＝６５、Ｂ＝６６を含む信号に対してさらにＲを強調、Ｂを低減する結果となり正しいホワイトバランス処理による色再現が困難となる。
そこで、特許文献１で示したホワイトバランス処理では、赤外線カットフィルタで赤外線をカットした可視光信号から得られる信号情報を用いて、赤外線を含む信号のホワイトバランス処理を制御するが、赤外線カットフィルタが必要であり、また赤外線カットフィルタ挿抜が必要である。

また図５に信号処理により赤外域（近赤外域を含む）を除去した赤色域、緑色域、青色域の信号量平均（Ｒ-ir、Ｇ-ir、Ｂ-irと示す）の例、図６にＲＧＢＩｒフィルタあるいはＲＧＢＷフィルタの分光感度特性の例、図７に赤外線カットフィルタを考慮した分光特性の例を示す。図６のように各フィルタの赤外域のうち特に近赤外域の分光特性は、一般にＲフィルタとＷフィルタあるいは、ＲフィルタとＩｒフィルタは類似した特性であるが、Ｇフィルタあるいは、Ｂフィルタは特に近赤外域で特性が異なる事から、信号処理によりＲ、Ｇ、Ｂ信号の各分光特性を考慮してＲ＞Ｇ＞Ｂ信号の大小関係で近赤外域信号を除去したとすると、Ｒ、Ｇ、Ｂ信号の平均値は例えば図５のようになり、図７で示す赤外線カットフィルタを用いたＲＧＢ信号特性の例から得られるＲ、Ｇ、Ｂ信号の平均値を示す図３とは一致が困難である。よって赤外線カットフィルタを用いた信号を用いてホワイトバランス処理を実施しても、信号処理を実施する実際のＲ、Ｇ、Ｂ信号量と異なり、正しいホワイトバランス処理による色再現は困難である為、本実施例の構成及び色再現性について改善の余地がある。

また可視光域に近赤外線が含まれる場合の影響を軽減する方法として、赤外線カットフィルタで近赤外域を除去する方法もあるが、急峻な特性を持つ光学フィルタは高価であり、コスト的に不利である
そこで、本実施例１のホワイトバランス処理では、図２の検波領域２０１内にあり、図１の抽出領域処理部１０２が処理した抽出領域ごとの赤外抽出処理部１０３が抽出した赤外成分がある所定の値以下であるかをシステム制御部１０６が判定し、その赤外成分が所定の値以下の場合、可視光抽出処理部１０４が抽出した上記抽出領域と同じ領域の可視光信号を元にシステム制御部１０６がホワイトバランス処理を制御する事で、赤外線成分が少ない可視光信号をホワイトバランス処理に用いる事ができるのでより正しい色再現が可能となる。

なお赤外成分量の大小は、光源の違いによるものと、被写体の赤外線反射率の違いによるものがあり、本実施例は光源の違いや被写体の赤外線反射率の違いによらず、撮像した信号のうち、より赤外線が少ない信号が得られる画素の信号を用いてホワイトバランス処理を実施する。
また図８のように、夜間等の場合、車両のヘッドライト、街灯、建物の照明など様々な光源がある場合、例えば車両のヘッドライトは赤外成分多く含まれておりヘッドライト等の光源が照射されている図８の領域８０１内の被写体を撮像した信号は赤外線が多い信号となると仮定し、ヘッドライト等の光源が照射されてない領域８０２内の被写体を撮像した信号は赤外線が少ない信号となると仮定すると、本実施例はより赤外線が少ない領域８０２の信号を主に用いてホワイトバランス処理を実施する。

また図１の抽出領域処理部１０２で設定する領域は１画素以上からなる領域であり、例えば領域が１画素から構成される場合は、１画素ごとに赤外線量が一定以下であるか判定し、一定値以下であればその画素の可視光信号（Ｒ、Ｇ、Ｂ信号）をホワイトバランス処理に用いる。あるいは領域が複数画素から構成される場合は、その領域内の画素の赤外線量の合計が一定値以下と判定した場合、あるいは領域内の画素のうち赤外線量がある一定以下の画素の個数が所定の個数以下で合った場合、その領域の可視光信号をホワイトバランス処理に用いるという判定でもよい。

図９は本撮像装置におけるシステム制御部（図１）が行う制御の赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
まず、ステップ９０１は撮像装置による撮影画面内の赤外情報及び、可視光情報の抽出範囲を抽出領域処理部１０３（図１）に設定する。ステップ９０２では抽出範囲における赤外線信号情報（Ｉｒ信号情報）と可視光信号情報（Ｒ、Ｇ、Ｂ信号情報）を赤外抽出処理部（図１）より取得する。ステップ９０３ではステップ９０２による抽出領域内の赤外線量が所定の値以下かを判定する。ステップ９０４では、ステップ９０３の判定がｙｅｓの場合、抽出領域内の信号は赤外線成分が少なく、赤外線による色信号への影響が少ないので、ステップ９０２で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いる。またステップ９０５ではステップ９０３の判定がｎｏの場合、抽出領域内の内の信号は赤外線成分が多く、赤外線による色信号への影響が多いので、ステップ９０２で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いない。
以上のフローにより所定の領域の信号ごとに、赤外成分がある所定の値以下であるかを判定し、所定の値以下の領域の可視光信号をホワイトバランス処理に用いる事で、赤外線を含む光源下においてもより赤外線の影響が少ない色信号による正しいホワイトバランス処理が可能となる。

図１０は本撮像装置による赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
ステップ１００１から１００２については、図９のステップ９０１から９０２と同様である。ステップ１００３では、ホワイトバランス処理で使用する可視光信号（Ｒ、Ｇ、Ｂ信号）に対してステップ１００２による各抽出領域内の赤外線（Ｉｒ）量に応じて、ステップ１００２で抽出した可視光信号の重み付けを調整する。例えばホワイトバランス処理に使用する可視光信号は、検波領域内の画素ごとのＲ、Ｇ、Ｂ信号の総和を求め、その各Ｒ、Ｇ、Ｂの総和が等しくなるように色ゲインを制御するが、その総和を求める際、抽出領域内の赤外線量が多い領域については、Ｒ、Ｇ、Ｂ信号量を、数１から数３あるいは、数４から数６のように、調整後のＲ，Ｇ，Ｂを赤外の相対量に応じて制御、あるいは調整後のＲ，Ｇ，Ｂを赤外の絶対量に応じて制御し赤外線が多い抽出領域のＲ、Ｇ、Ｂ信号値については値を小さくなるように調整し、ホワイトバランス処理への影響度を小さくし、抽出領域内の赤外線量が小さい領域については、Ｒ、Ｇ、Ｂ信号値を小さくしないことでホワイトバランス処理に正しく反映されるようにする。
（数１） 調整後Ｒ = Ｒ ×（Ｒ／（Ｒ＋Ｉｒ））
（数２） 調整後Ｇ = Ｇ ×（Ｇ／（Ｇ＋Ｉｒ））
（数３） 調整後Ｂ = Ｂ ×（Ｂ／（Ｂ＋Ｉｒ））
（数４） 調整後Ｒ = Ｒ ×（Ｒ／Ｉｒ）
（数５） 調整後Ｇ = Ｇ ×（Ｇ／Ｉｒ）
（数６） 調整後Ｂ = Ｂ ×（Ｂ／Ｉｒ）
以上のフローにより所定の抽出領域の信号ごとに、赤外成分量に応じて抽出領域の可視光信号を調整した信号量をホワイトバランス処理に用いる事で、赤外線を含む光源下においてより赤外線の影響が少ない色信号に重みを置いた正しいホワイトバランス処理が可能となる。

図１１は本撮像装置による赤外線量に応じた適切なホワイトバランス処理の処理フローの一例を説明する図である。
ステップ１１０１から１１０３については、図９のステップ９０１から９０３と同様である。ステップ１１０４では、ステップ１１０３の判定がｙｅｓの場合、抽出領域内の信号は赤外線（Ｉｒ）による色信号への影響が少ないと判断し、またホワイトバランス処理で使用する可視光信号（Ｒ、Ｇ、Ｂ信号）に対してステップ１１０２による各抽出領域内の赤外線量に応じて、ステップ１１０２で抽出した可視光信号の重み付けを調整する。
またステップ１１０５ではステップ１１０３の判定がｎｏの場合、抽出領域内の内の信号は赤外線による色信号への影響が多いと判断しステップ１１０２で生成した同領域内の可視光信号情報をホワイトバランス処理の制御情報に用いない。

以上のフローにより所定の領域の信号ごとに、赤外成分がある所定の値以下であるかを判定し、赤外光が所定の値以下の領域の可視光信号に対して、赤外成分量に応じて抽出領域の可視光信号を調整した信号量をホワイトバランス処理に用いる事で、赤外線を含む光源下においてもより赤外線の影響が少ない色信号による正しいホワイトバランス処理が可能となる。
以上のフローにより、より簡単な処理で赤外線の影響を軽減することが可能となり正しいホワイトバランス処理が可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１ 撮像部
１０２ 抽出領域処理部
１０３ 赤外抽出処理部
１０４ 可視光抽出処理部
１０５ ホワイトバランス処理部
１０６ システム制御部
１０７ 出力ＩＦ部
２０１ 検波枠

Claims (4)

1. 撮像装置であって、
   被写体を撮影する少なくとも、赤色域、緑色域、青色域の可視光域、及び、赤外域に感度を持つ撮像部と、
   前記撮像部が撮影して得た映像に対して領域を設定する抽出領域処理部と、
   前記抽出領域処理部により設定された前記映像の領域毎に赤外域信号情報を抽出する赤外抽出処理部と、
   前記抽出領域処理部により設定された前記映像の領域毎に可視光域信号情報を抽出する可視光抽出処理部と、
   前記映像に対して所定の色ゲインを用いてホワイトバランス処理を行うホワイトバランス処理部と、
   前記ホワイトバランス処理部の制御を行うシステム制御部と、
   を具備し、
   前記システム制御部は、前記映像の領域毎に抽出された赤外信号情報と可視光情報に応じて、ホワイトバランス処理部の色ゲインを所定の値に制御すること、
   を特徴とする撮像装置。
2. 請求項１記載の撮像装置であって、
   前記システム制御部は、前記赤外抽出処理部によって抽出された前記映像の領域毎の赤外量に応じて前記領域毎の可視光信号に重み付けを行った信号に応じて前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
   を特徴とする撮像装置。
3. 請求項１記載の撮像装置であって、
   前記システム制御部は、前記赤外抽出処理部により抽出された赤外量が所定の値以下の領域の前記可視光情報を用いて前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
   を特徴とする撮像装置。
4. 請求項１記載の撮像装置であって、
   前記システム制御部は、前記赤外抽出処理部によって抽出された前記領域の赤外情報に関して、赤外量が所定の値以下の領域の赤外量に応じて可視光信号に重み付けを行った信号に応じて、前記ホワイトバランス処理部の色ゲインを所定の値に設定するように制御を行うこと、
   を特徴とする撮像装置。

Images