JP2019194034A - 車載カメラ装置 - Google Patents

Abstract

【課題】赤外線成分を除去すべき被写体が映る領域を自車両の動作状況に応じて的確に特定し、その領域内のみで赤外線成分を除去することのできる車載カメラ装置を提供する。【解決手段】車載カメラ装置１０は、自車両１の周辺に赤外線を照射する赤外線照射部４０と、赤外線照射部４０により赤外線が照射された周辺を撮像する撮像部２０と、撮像部２０により周辺を撮像して得られた画像における所定領域の赤外線成分を除去する除去部６２と、自車両１の操舵角の情報を取得する操舵角情報取得部５０と、所定領域を操舵角に基づいて変化させる領域制御部６３と、を有する。【選択図】図１

Description

本発明は、車載カメラ装置に関する。

従来、例えば道路標識のように近赤外光を強く反射する被写体が存在する。道路標識は近赤外光が反射する輝度も比較的大きいから、これを車載カメラで撮像したとき白飛びし易くなる。そのため、道路標識の近赤外光成分を除去することが望ましい。近赤外光成分を除去するには、道路標識の位置を検知せざるを得ない。例えば、可視光及び近赤外光の信号を用いて輝度を計算し、その輝度を基に道路標識の位置を検知するものがある（例えば、特許文献１参照）。

特開２０１３−１６９８１号公報

しかしながら、特許文献１に開示された技術は、自車両の動作状況によって一律に一定の部分だけ近赤外光成分を除去するので、適切に対応できない場合がある。そのため、近赤外光を強く反射する可能性のある歩行者や対向車両等も近赤外光成分を除去せざるを得なかった。

本発明は、上記課題に鑑みてなされたもので、赤外線成分を除去すべき被写体が映る領域を自車両の動作状況に応じて的確に特定し、その領域内のみで赤外線成分を除去することのできる車載カメラ装置を提供することを目的とする。

本発明に係る車載カメラ装置は、自車両の周辺に赤外線を照射する赤外線照射部と、前記赤外線照射部により前記赤外線が照射された前記周辺を撮像する撮像部と、前記撮像部により前記周辺を撮像して得られた画像における所定領域の赤外線成分を除去する除去部と、前記自車両の操舵角の情報を取得する操舵角情報取得部と、前記所定領域を前記操舵角に基づいて変化させる領域制御部と、を有することを特徴とする。

この発明によれば、赤外線成分を除去すべき被写体が映る領域を自車両の動作状況に応じて的確に特定し、その領域内のみで赤外線成分を除去することができる。

車載カメラ装置を構成するハードウェア要素を示すハードウェアブロック図である。 自車両の操舵角が０度のときに自車両の周辺を撮像して得られた画像の一例を示す説明図である。 車載カメラ装置で行われる一連の処理の流れを示すフローチャートである。 操舵角が０度で走行する自車両が左に操舵された場合の上側領域の変化を示す説明図である。 操舵角が０度で走行する自車両が右に操舵された場合の上側領域の変化を示す説明図である。

以下、本発明に係る車載カメラ装置の具体的な実施形態について、図面を参照して説明する。

（車載カメラ装置１０の構成の説明）
図１は、車載カメラ装置１０を構成するハードウェア要素を示すハードウェアブロック図である。まず、車載カメラ装置１０の構成について図１を用いて説明する。

車載カメラ装置１０は、車両１に実装される。車載カメラ装置１０が搭載される車両１を以下では「自車両」と称する。

車載カメラ装置１０は、前方カメラ２０（撮像部）と、可視光投光器３０と、赤外光投光器４０（赤外線照射部）と、操舵角情報取得部５０と、制御装置６０と、出力部７０とを有する。

前方カメラ２０は、自車両の前方に向けて自車両の前部に取り付けられる。前方カメラ２０は、可視光と近赤外光の双方に感応する。前方カメラ２０は、可視光投光器３０により可視光が照射された自車両の前方を含む周辺を撮像する。

同様に、前方カメラ２０は、赤外光投光器４０により近赤外線が照射された自車両の前方を含む周辺を撮像する。その結果、前方カメラ２０は、自車両の前方を含む周辺の画像Ｉ（図２）を取得する。

前方カメラ２０は、被写体を観測する光学系２１と、撮像素子２２等を有する。光学系２１は、レンズやミラー等の光学素子から構成されて、被写体から出射した光又は被写体で反射した光を撮像素子２２に導く。

撮像素子２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の光電変換素子が用いられる。

撮像素子２２は、光学系２１を通して観測された被写体の像が結像して、入力した光をその輝度に応じたＲＡＷデータに光電変換する。その光電変換されたＲＡＷデータは撮像素子２２の内部に備えられた不図示のアンプやＡＤ（Analog-to-Digital）コンバータ等を通してデジタル化される。

撮像素子２２は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）と、Ｃ（透明）の光の強度を示す画素が撮像面に配置される。画素には、透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ、透明フィルタＣ）が配列される。赤色フィルタＲは赤色波長帯の光を透過する。緑色フィルタＧは緑色波長帯の光を透過する。青色フィルタＢは青色波長帯の光を透過する。透明フィルタＣは近赤外光を含む全光を透過する。

可視光投光器３０は、例えば、複数のＬＥＤを備えたものを適用可能であり、自車両の前方に向けて自車両の前部に取り付けられる。可視光投光器３０は、自車両の前方を含む周辺に可視光を照射する。

赤外光投光器４０は、例えば、ハロゲンランプ、ＬＥＤ、半導体レーザ等を適用可能であり、自車両の前方に向けて自車両の前部に取り付けられる。赤外光投光器４０は、自車両の前方を含む周辺に赤外光を照射する。この赤外線には、近赤外線が含まれる。

操舵角情報取得部５０は、自車両の操舵角の情報を取得する。自車両には、操舵角を検出する操舵角センサが設けられて、そのセンサの出力は、ＣＡＮ（Controller Area Network）バスを介して操舵角情報取得部５０に送られる。

制御装置６０の内部には、例えば、周辺デバイスを含めたマイクロプロセッサ及びプログラム、必要な処理を実行するＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、画像処理や信号処理を行う専用ＡＳＩＣ（Application Specific Integrated Circuit）等のモジュールが実装されている。

制御装置６０には、ＣＡＮバスを介して、操舵角情報取得部５０、表示装置７０及びシステム制御部８０が接続される。システム制御部８０には、ＣＡＮバスを介して、前方カメラ２０、可視光投光器３０及び赤外光投光器４０が接続される。制御装置６０は、システム制御部８０を介して、可視光投光器３０及び赤外光投光器４０の点灯状態を制御する。

制御装置６０は、例えば、撮像素子２２により光電変換されたＲＡＷデータを信号処理によりカラー化したり、歩行者や道路標識ＴＳを検知したりする。制御装置６０は、図１に示すように、比較領域設定部６１、近赤外除去処理部６２（除去部）、領域制御部６３、標識識別部６４、メモリ部６５及び信号処理部６６を有する。

比較領域設定部６１には、撮像素子２２からＲＡＷデータが入力される。比較領域設定部６１では、近赤外光の除去を行う領域の画素かどうかの判断が行われる。

近赤外除去処理部６２は、前方カメラ２０が自車両の周辺を撮像して得られた画像における所定領域の近赤外光成分を除去する。例えば、近赤外除去処理部６２は、所定領域内の近赤外光成分の高い画素について、近赤外光成分の除去を行う。

標識識別部６４は、撮像素子２２から出力される画像信号に基づいて道路標識ＴＳ（図２）を識別する。

信号処理部６６では、撮像素子２２からのＲＡＷデータに対し、各種の信号処理が実施される。各種の信号処理としては、例えば、カラー化処理、ホワイトバランス処理、ゲインガンマ処理等が含まれる。

なお、比較領域設定部６１、近赤外除去処理部６２、領域制御部６３、標識識別部６４、メモリ部６５及び信号処理部６６の詳細は後述する。

出力部７０は、不図示の表示装置に、表示するための情報を出力する。表示装置は、例えば矩形状のフラットパネルディスプレイ（液晶、有機ＥＬ、プラズマ等）であり、自車両の運転手が視認できる位置に配置される。

システム制御部８０は、前方カメラ２０に対してシャッタ速度や絞り値等の露出制御を行う。

図２は、自車両の操舵角が０度のときに自車両の周辺を撮像して得られた画像Ｉの一例を示す説明図である。この画像Ｉには、歩行者や道路標識ＴＳが被写体として含まれている。なお、図２では、後述する上側領域ＵＲと下側領域ＬＲとを区別するために、上側領域ＵＲを斜線で示している。

近赤外除去処理部６２（図１）は、放射状に延びる２本の白線ＷＬが交わる消失点（不図示）に基づいて、画像Ｉを上側領域ＵＲと下側領域ＬＲに区分する。近赤外除去処理部６２（図１）は、消失点が下側領域ＬＲに入るように上側領域ＵＲを所定領域に設定し、設定した所定領域の近赤外光成分を除去する。

図２中に示す辺ＵＳは、画像Ｉの上側辺である。辺ＲＳは、画像Ｉの右側辺である。辺ＬＳは、画像Ｉの左側辺である。辺ＢＳは、画像Ｉの下側辺である。

図２中に示す仮想線ＣＬは、画像Ｉの左右の中心線を示している。第１の点Ｐ１は、中心線ＣＬ上で消失点よりも画像Ｉの若干上側に予め設定された点である。第２の点Ｐ２は、画像Ｉの右側辺ＲＳ上の点である。第３の点Ｐ３は、画像Ｉの左側辺ＬＳ上の点である。下側辺ＢＳから第２の点Ｐ２までの高さは、下側辺ＢＳから第１の点Ｐ１までの高さよりも高く、下側辺ＢＳから第３の点Ｐ３までの高さと同じである。

図２中に示す第１の直線Ｌ１は、第１の点Ｐ１と第２の点Ｐ２とを結んだ直線である。第２の直線Ｌ２は、第１の点Ｐ１と第３の点Ｐ３とを結んだ直線である。

上側領域ＵＲは、上側辺ＵＳと右側辺ＲＳと第１の直線Ｌ１と第２の直線Ｌ２と左側辺ＬＳとで囲まれた領域である。下側領域ＬＲは、下側辺ＢＳと右側辺ＲＳと第１の直線Ｌ１と第２の直線Ｌ２と左側辺ＬＳとで囲まれた領域である。

上側領域ＵＲは、右側領域Ａ１と左側領域Ａ２とに区分される。右側領域Ａ１は、上側辺ＵＳと右側辺ＲＳと第１の直線Ｌ１と中心線ＣＬとで囲まれた領域である。左側領域Ａ２は、上側辺ＵＳと左側辺ＬＳと第２の直線Ｌ２と中心線ＣＬとで囲まれた領域である。

（車載カメラ装置１０で行われる一連の処理の流れ）
次に、車載カメラ装置１０で行われる一連の処理の流れを、図３に示すフローチャートと、図１、図２、図４及び図５に示す説明図とを用いて説明する。

図４は、操舵角が０度で走行する自車両が左に操舵された場合の上側領域ＵＲの変化を示す説明図である。図５は、操舵角が０度で走行する自車両が右に操舵された場合の上側領域ＵＲの変化を示す説明図である。

車載カメラ装置１０で行われる一連の処理は、赤外光投光器４０が自車両の前方を含む周辺に赤外光を照射している期間に限って行われる。

ここでは、前提として、撮像素子２２（図１）は、自車両の前方を含む周辺に照射された近赤外光の反射光を受光し電圧信号に光電変換する。そして、信号処理部６６（図１）は、例えば、画素毎に、色の全部を検知する電圧信号Ｃから、Ｒ、Ｇ、Ｂの成分のＲＡＷデータを引き算して、近赤外光成分を得る。このようにして得られたＲ、Ｇ、Ｂの各成分及び近赤外光成分は近赤外除去処理部６２に出力される。

（ステップＳ１）
まず、比較領域設定部６１において、操舵角が０度で自車両が走行するときの上側領域ＵＲ（図２）が比較領域としてデフォルト設定される。比較領域の設定に必要な情報（例えば、消失点を示す情報及び道路標識ＴＳの高さを示す情報）は、メモリ部６５から必要に応じて読み出されて使用される。

（ステップＳ２）
次に、領域制御部６３は、操舵角情報取得部５０が取得する操舵角の情報に応じて、上側領域ＵＲの左右の大きさを変化させる。具体的に、領域制御部６３は、操舵角情報取得部５０が取得する操舵角の情報に応じて、自車両の操舵角が変化したか否かを判断する。自車両の操舵角が変化していないと判断された場合（ステップＳ２におけるＮＯ）、処理はステップＳ５に移行する。

（ステップＳ３）
ステップＳ２で操舵角情報取得部５０が取得する操舵角の情報に応じて、自車両が左に操舵されたことが判断された場合、すなわち、自車両の操舵角が左方向に旋回し始めた場合（ステップＳ２における左旋回）、領域制御部６３は、上側領域ＵＲの右側を左側よりも広くするように上側領域ＵＲを変化させる（図４）。すなわち、領域制御部６３は、下側辺ＢＳから第３の点Ｐ３までの高さを下側辺ＢＳから第２の点Ｐ２までの高さよりも高くして、右側領域Ａ１を左側領域Ａ２よりも広くする（図４）。この後、処理はステップＳ５に移行する。

（ステップＳ４）
一方、ステップＳ２で操舵角情報取得部５０が取得する操舵角の情報に応じて、自車両が右に操舵されたことが判断された場合、すなわち、自車両の操舵角が右方向に旋回し始めた場合（ステップＳ２における右旋回）、領域制御部６３は、上側領域ＵＲの左側を右側よりも広くするように上側領域ＵＲを変化させる（図５）。すなわち、領域制御部６３は、下側辺ＢＳから第２の点Ｐ２までの高さを下側辺ＢＳから第３の点Ｐ３までの高さよりも高くして、左側領域Ａ２を右側領域Ａ１よりも広くする（図５）。この後、処理はステップＳ５に移行する。

（ステップＳ５）
近赤外除去処理部６２は、上側領域ＵＲの近赤外光成分を除去する。例えば、近赤外除去処理部６２は、上側領域ＵＲのうち、画素値が閾値を上回っている画素について、Ｒ、Ｇ、Ｂの各成分の画素値よりも近赤外光成分の画素値を小さく重み付けて近赤外光成分を除去する。具体的に、近赤外除去処理部６２は、上側領域ＵＲ内に存在する道路標識ＴＳの近赤外光成分の画素値を小さく重み付けて近赤外光成分を除去する。

本実施形態では、領域制御部６３は、操舵角情報取得部５０が取得する操舵角の情報に応じて、上側領域ＵＲを変化させる。すなわち、領域制御部６３は、自車両の左方向への操舵角が大きくなるほど、下側辺ＢＳから第３の点Ｐ３までの高さを下側辺ＢＳから第２の点Ｐ２までの高さと比べて高くする。同様に、領域制御部６３は、自車両の右方向への操舵角が大きくなるほど、下側辺ＢＳから第２の点Ｐ２までの高さを下側辺ＢＳから第３の点Ｐ３までの高さと比べて高くする。したがって、近赤外光成分を除去すべき道路標識ＴＳが映る領域を自車両の動作状況に応じて的確に特定することができる。その結果、近赤外除去処理部６２は、道路標識ＴＳが映る領域内のみで近赤外光成分を除去することができる。

本実施形態では、近赤外除去処理部６２は、消失点が下側領域ＬＲに入るように上側領域ＵＲを所定領域に設定し、設定した所定領域の近赤外光成分を除去する。このため、歩行者等と比べて道路標識ＴＳが存在する可能性の高い上側領域ＵＲに所定領域を設定できる。

以上、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎないものであるため、本発明は実施形態の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

上記実施形態では、近赤外光を強く反射する被写体として道路標識ＴＳ（図２）に本発明を適用する例を示したが、この態様に限らず、近赤外光を強く反射する被写体として例えば看板等に本発明を適用しても良い。

上記実施形態では、画素の上には、透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ、透明フィルタＣ）が配列される例を示した。しかし、フィルタの配列は特に限定されず、４種類のフィルタがどのように配置されてもよい。

上記実施形態では、標識識別部６４は、撮像素子２２から出力される画像信号に基づいて道路標識ＴＳを識別する例を示した。領域制御部６３は、標識識別部６４が識別した道路標識ＴＳが上側領域ＵＲ内に入るように上側領域ＵＲを操舵角に基づいて変化させても良い。これにより、操舵角の大きさの如何に関わらず常に道路標識ＴＳを上側領域ＵＲ内に含ませることができる。したがって、近赤外除去処理部６２は、上側領域ＵＲ内に存在する道路標識ＴＳに対して確実に近赤外光成分を除去することができる。

上記実施形態では、近赤外除去処理部６２は、上側領域ＵＲ内に存在する道路標識ＴＳの近赤外光成分の画素値を小さく重み付けて近赤外光成分を除去する例を示した。しかし、これに限られない。近赤外除去処理部６２は、道路標識ＴＳが存在する領域の画素値を０にして、近赤外光成分を除去しても良い。

１・・・車両
１０・・・車載カメラ装置
２０・・・前方カメラ（撮像部）
４０・・・赤外光投光器（赤外線照射部）
５０・・・操舵角情報取得部
６２・・・近赤外除去処理部（除去部）
６３・・・領域制御部
６４・・・標識識別部
Ａ１・・・右側領域
Ａ２・・・左側領域
ＢＳ・・・下側辺
ＣＬ・・・中心線
Ｉ・・・画像
Ｌ１・・・第１の直線
Ｌ２・・・第２の直線
ＬＳ・・・左側辺
Ｐ１・・・第１の点
Ｐ２・・・第２の点
Ｐ３・・・第３の点
ＲＳ・・・右側辺
ＴＳ・・・道路標識
ＵＲ・・・上側領域
ＵＳ・・・上側辺

Claims (7)

1. 自車両の周辺に赤外線を照射する赤外線照射部と、
   前記赤外線照射部により前記赤外線が照射された前記周辺を撮像する撮像部と、
   前記撮像部により前記周辺を撮像して得られた画像における所定領域の赤外線成分を除去する除去部と、
   前記自車両の操舵角の情報を取得する操舵角情報取得部と、
   前記所定領域を前記操舵角に基づいて変化させる領域制御部と、
   を有することを特徴とする車載カメラ装置。
2. 請求項１に記載の車載カメラ装置において、
   前記除去部は、
   消失点に基づいて、前記画像を上側領域と下側領域に区分するとともに、前記上側領域を前記所定領域に設定し、設定した前記所定領域の赤外線成分を除去することを特徴とする車載カメラ装置。
3. 請求項２に記載の車載カメラ装置において、
   前記除去部は、前記消失点が前記下側領域に入るように前記上側領域を前記所定領域に設定し、設定した前記所定領域の赤外線成分を除去することを特徴とする車載カメラ装置。
4. 請求項１乃至請求項３の何れか一項に記載の車載カメラ装置において、
   前記領域制御部は、前記操舵角情報取得部が取得する前記操舵角の情報に応じて、前記所定領域の左右の大きさを変化させることを特徴とする車載カメラ装置。
5. 請求項４に記載の車載カメラ装置において、
   前記領域制御部は、
   前記操舵角情報取得部が取得する前記操舵角の情報に応じて、前記自車両が左に操舵された場合、前記所定領域の右側を左側よりも広くするように前記所定領域を変化させ、
   前記操舵角情報取得部が取得する前記操舵角の情報に応じて、前記自車両が右に操舵された場合、前記所定領域の左側を右側よりも広くするように前記所定領域を変化させることを特徴とする車載カメラ装置。
6. 請求項２乃至請求項５の何れか一項に記載の車載カメラ装置において、
   前記上側領域は、
   前記画像の左右の中心線上で前記消失点よりも前記画像の上側に予め設定された第１の点と前記画像の右側辺上の第２の点とを結んだ第１の直線と前記第１の点と前記画像の左側辺上の第３の点とを結んだ第２の直線と前記右側辺と前記左側辺と前記画像の上側辺とで囲まれた領域であり、
   前記領域制御部は、
   前記操舵角情報取得部が取得する前記操舵角の情報に応じて、前記第１の直線と前記右側辺と前記中心線と前記上側辺とで囲まれた領域を、前記第２の直線と前記左側辺と前記中心線と前記上側辺とで囲まれた領域よりも広くしたり狭くしたりすることを特徴とする車載カメラ装置。
7. 請求項１乃至請求項６の何れか一項に記載の車載カメラ装置において、
   前記撮像部から出力される画像信号に基づいて道路標識を識別する標識識別部を備え、
   前記領域制御部は、前記標識識別部が識別した前記道路標識が前記所定領域内に入るように前記所定領域を前記操舵角に基づいて変化させることを特徴とする車載カメラ装置。