JP2015066956A - 車両制御システム、画像センサ - Google Patents

Abstract

【課題】画像を利用して対象物を検出する際の検出精度を向上させる。
【解決手段】受光部（１１）は、通過帯域が異なる複数種類のフィルタ、およびそれぞれがフィルタのいずれかを介して、入射光を受光する複数の受光素子を有する。画像データ生成部（１２）は、受光部の出力である全体画像データの受信に対応して、フィルタに対応づけられた受光素子からの出力を抽出することで、フィルタの種類毎の画像データである個別画像データを生成する。画像データ処理部（１２）は、画像データ生成部にて生成される個別画像データまたは個別画像データを合成することで生成される合成画像データに基づいて対象物を検出する。車両制御部（３０）は、画像データ処理部が検出した対象物に従って車両制御を実行する。
【選択図】図１

Description

本発明は、画像を用いて対象物を検出する技術、その検出された対象物を利用して車両制御を行う技術に関する。

従来、車載カメラから取得した撮像画像を利用して車両の周囲に存在する様々な対象物を検出し、その検出結果をドライバに提示したり、各種車両制御に利用したりする技術が知られている。

ところで、撮像した風景の明暗差が大きい場合、カメラのダイナミックレンジ不足により、画像中に白とびや黒つぶれした領域が生じ、これらの領域に存在する対象物を検出できない場合がある。

これに対して、異なる露光条件で撮像された複数の撮像画像を取得し、これら複数の画像のコントラストの良好な部位を用いて画像認識を行う技術が知られている（例えば、特許文献１参照）。

特開２０１２−８８７８５号公報

しかし、従来技術では、取得したタイミングが異なる複数の画像を用いるため、各画像で検出される対象物が、同一の対象物であるか否かを判断する必要があり、処理に手間を要するだけでなく、単一の対象物を異なる複数の対象物であると誤検出したり、別体の対象物を一つの対象物であると誤検出したりしてしまう可能性があるという問題があった。

本発明は、こうした問題にかんがみてなされたものであり、画像を利用して対象物を検出する際の検出精度を向上させることを目的とする。

本発明の車両制御システムは、受光部と、画像データ生成部と、画像データ処理部と、車両制御部とを備える。
受光部は、通過帯域が異なる複数種類のフィルタ、およびそれぞれが前記フィルタのいずれかを介して、入射光を受光する複数の受光素子を有する。画像データ生成部は、受光部からの出力である全体画像データの受信に対応して、前記フィルタに対応づけられた受光素子からの出力を抽出することで、フィルタの種類毎の画像データである個別画像データを生成する。画像データ処理部は、画像データ生成部にて生成される個別画像データまたは個別画像データを合成することで生成される合成画像データに基づいて、障害物、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、路面状態、道路形状、光源、道路標識、交通信号、前記受光部の視界をさえぎるもの、車両外部環境のうち少なくとも一つの対象物を検出する。なお、受光部の視界をさえぎるものには、例えば、ガラスやレンズの汚れや曇り、遮蔽物等が含まれ、車両外部環境には、例えば、雨、雪、霧、空、雲、太陽、月等が含まれる。車両制御部は、画像データ処理部が検出した対象物に従って、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、前方クロストラフィック警報、後方クロストラフィック警報、踏み間違い防止、自動駐車のうち少なくとも一つに関する車両制御を実行する。

なお、各個別画像データは、それぞれの個別画像データの生成源となる受信素子に対応づけられたフィルタの通過帯域が異なっているため、これら個別画像データは同じタイミングで取得されているにも関わらず、個別画像データによって表現される画像の明るさは互いに異なったものとなる。

このように構成された本発明の車両制御システムでは、同じタイミングで撮像された、明るさの異なる複数の画像データが得られるため、撮像した風景の明暗差が大きくてダイナミックレンジが不足するようなシーンであっても、対象物の検出に適した明るさの画像データを適宜選択することにより、撮像領域内に存在する対象物を漏れなく検出することができる。

また、複数の画像データは、同じタイミングで取得されたものであるため、複数の画像間で対象物の位置ずれが生じることがなく、同じ位置に存在する対象物は直ちに同一物体であると判断することができるため、対象物の誤検出を抑制することができ、対象物の検出精度を向上させることができる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

また、本発明は、前述した車両制御システムの他、受光部の代わりに、電磁波を受信する受信部を備えた車両制御システム、受光部および受信部の出力をいずれも利用して対象物を検出する車両制御システム、更には、受光部および画像データ生成部を備えた画像センサ等、種々の形態で実現することができる。

車両制御システムの全体構成を示すブロック図である。 センサ部の概略構成図である。 ＲＧＢＣベイヤを構成する各フィルタの配置を示す説明図であり、（ａ）が単位パターン、（ｂ）が全体のパターンである。 ＲＧＢＣベイヤを構成する各フィルタの通過特性を示すグラフである。 信号処理部が実行する画像データ生成処理の内容を示す説明図である。 信号処理部が実行する対象物検出処理のフローチャートである。 第２実施形態における対象物検出処理のフローチャートである。 ベイヤの基本パターンの他の構成例を示す説明図である。

以下に本発明が適用された実施形態について、図面を用いて説明する。
［第１実施形態］
＜全体構成＞
図１に示す車両制御システム１は、車両の周囲に存在する各種対象物を検出し、その検出結果、および車載センサ群５から取得する各種情報に基づき、車両制御装置群７を利用して各種車両制御を実行する。

車載センサ群５は、車速センサ、各種加速度センサ、舵角センサ等、車両の挙動を検出するセンサのほか、自車両の位置データを出力する装置（例えばＧＰＳ）、地図データの供給源となる装置（例えばナビゲーション装置）、通信装置（例えば路車間通信装置やスマートホン等の携帯端末）、レーダ等、車両の周辺環境を検出するセンサも含まれるものとする。これらのセンサを単独で或いは各センサの検出結果を融合して使用する。

車両制御装置群７は、車両におけるボディ系、パワートレイン系、シャーシ系の制御対象の挙動を制御する複数の装置からなる。その制御対象には、操舵装置（電動パワーステアリング等）７１、スピーカ７２、ディスプレイ７３、制動装置（ブレーキ等）７４、駆動装置（アクセル等）７５、灯火類７６が少なくとも含まれている。車両制御装置群７を構成する各装置は、車両の走行状態に応じて制御対象の挙動を制御する他、検出ＥＣＵ３０からの指令によって制御対象の挙動を制御することにより、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール（ＡＣＣ）、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、前方クロストラフィック警報、後方クロストラフィック警報、踏み間違い防止、自動駐車等の周知の車両制御を実行する。

＜車両制御システム＞
車両制御システム１は、画像センサ１０、レーダセンサ２０、検出ＥＣＵ３０を備える。

画像センサ１０は、車両の前方を撮影することで画像データを繰り返し取得し、取得した画像データを画像処理することによって、所定の撮像範囲内に存在する対象物を検出するものであり、対象物の位置、対象物の横幅、物体の対象物の高さを少なくとも含んだ対象物情報を生成して、表示用の画像データと共に検出ＥＣＵ３０に出力する。

レーダセンサ２０は、ミリ波帯またはレーザ光によるレーダ波を送受信することによって所定の探査範囲内に存在するレーダ波を反射した物体を検出する周知のものであり、車両からの距離、車両との相対速度、および車両に対する横位置を少なくとも含んだ対象物情報を生成して検出ＥＣＵ３０に出力する。

なお、画像センサ１０，レーダセンサ２０では、検出した物体に関する情報を生成する際に、車載センサ群５から得られる情報も利用する。また、画像センサ１０，レーダセンサ２０が検出する対象物には、例えば、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、道路標識、交通信号等が含まれている。但し、これら全ての対象物を検出する必要はなく、検出ＥＣＵ３０が実行する車両制御処理（後述する）に必要な対象物を少なくとも検出できればよい。

検出ＥＣＵ３０は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３を少なくとも備えた周知のマイクロコンピュータを中心に構成されており、ＲＯＭ３３には、画像センサ１０およびレーダセンサ２０から出力される検出された対象物の情報に基づき、車両制御装置群７を用いて上述した各種車両制御を実現する車両制御処理を実行するための制御プログラムが記憶されている。検出ＥＣＵ３０は、車両制御装置群７に対する指令を出力すると共に、特にディスプレイ７３に対して、画像センサ１０において生成された画像データ、またはその画像データを情報提示用に加工したものを出力する。

なお、車両制御処理では、必ずしも上述した全ての車両制御を実現する必要はなく、少なくとも一つを実行するように構成されていればよい。また、車両制御は、外部からの指示や車載センサ群５から把握される情報状況に応じて適宜実行されるように構成されていてもよい。

＜画像センサ＞
画像センサ１０は、入射光を電気信号に変換して出力するセンサ部１１と、センサ部１１の出力から画像データを生成する画像データ生成処理、画像データ生成処理によって生成された画像データを用いて各種物体を検出し、その検出結果を検出ＥＣＵ３０に出力する物体検出処理を実行する信号処理部１２とを備えている。また、画像センサ１０は、周期的に作動して車両外部の風景を撮像する。

センサ部１１は、いわゆる単眼カメラを構成するものであり、図２に示すように、レンズ装置１３、赤外線カットフィルタ１４、光学ローパスフィルタ１５、イメージセンサ１６を備えている。

レンズ装置１３は、入射光をイメージセンサ１６の表面に結像させる複数のレンズで構成されている。具体的には、光が入る側（図中左側）から、平凸レンズ１３ａ、両凹レンズ１３ｂ、平凸レンズ１３ｃ、凸メニスカスレンズ１３ｄの４枚を用いて、色収差やコマ収差などの収差を抑制する構造となるように構成されている。

赤外線カットフィルタ１４は、レンズ装置１３の後段に配置され、入射光に含まれる近赤外線を遮断する。光学ローパスフィルタ１５は、赤外線カットフィルタ１４の後段に配置され、レンズ装置１３および赤外線カットフィルタ１４を通過した入射光を、偏光特性を利用して４分割し、その４分割された入射光のそれぞれが、イメージセンサ１６の基本単位を構成する４画素のいずれかに入力するように構成されている。なお、図２において、イメージセンサ１６は、図面を見やすくすると共に、光学ローパスフィルタ１５の動作を理解しやすくするため、基本単位を構成する４画素分のみを拡大して示している。

なお、これらレンズ装置１３，赤外線カットフィルタ１４，光学ローパスフィルタ１５は、例えば特開２０１１−２３３７６３号公報等に記載された周知のものであるため、その詳細についての説明は省略する。

イメージセンサ１６は、光画像を取得するためのＣＭＯＳセンサやＣＣＤセンサなどの受光素子をアレイ状に配置した周知のアレイ型イメージセンサと、それぞれが異なった通過帯域を有する複数種類の光学フィルタの集合であるＲＧＢＣベイヤとで構成され、各受光素子は、ＲＧＢＣベイヤを構成するいずれか一つの光学フィルタを介して入射光を受光するように構成されている。なお受光素子は、少なくとも可視光に相当する波長に対して感度を持つような受光帯域を有する。

ＲＧＢＣベイヤは、各受光素子に対応づけられる光学フィルタを一定のパターンで配置したものである。ここでは、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）、Ｃ（透明色）の４種類の光学フィルタからなり、図３（ａ）に示す４画素分のパターンを単位パターンとして、図３（ｂ）に示すように、アレイ型イメージセンサの全体を覆うように配置されている。以下、ＲＧＢＣベイヤを構成する上記４種類の光学フィルタを、Ｒ用フィルタ、Ｇ用フィルタ、Ｂ用フィルタ、Ｃ用フィルタとよぶ。

そして、図４に示すように、Ｒ用フィルタ、Ｇ用フィルタ、Ｂ用フィルタ（以下、総称して「カラーフィルタ」ともいう）の通過帯域は、それぞれ特定色（赤色、緑色、青色）に対応する波長の光を通過させるように設定され、Ｃ用フィルタの通過帯域は、３種類のカラーフィルタの通過帯域の全体を含み、かつ、各波長における量子効率が各カラーフィルタと同等以上となるように設定されている。つまり、カラーフィルタが本発明の限定フィルタに相当し、Ｃ用フィルタが本発明の全域フィルタに相当する。

更に、センサ部１１は、図示しない増幅器およびＡ／Ｄ変換器を備えている。これら増幅部およびＡ／Ｄ変換部は、イメージセンサ１６を構成する各受光素子から読み出された出力（画素の明るさを示すアナログ信号）を、所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値（画素値）に変換して信号処理部１２に出力する。このセンサ部１１の出力を、以下では「ベイヤ画像データ」（本発明の全体画像データに相当）とよび、そのベイヤ画像データによって表される画像を「ベイヤ画像」とよぶものとする。

＜信号処理部＞
信号処理部１２は、ＣＰＵ、ＲＡＭ、ＲＯＭを少なくとも備えた周知のマイクロコンピュータを中心に構成されており、ＲＯＭには、後述する画像データ生成処理および対象物検出処理を実行するための制御プログラムが記憶されている。

画像データ生成処理では、図５に示すように、センサ部１１から１フレーム分のベイヤ画像データを取得すると、Ｃ用フィルタに対応づけられた受光素子の出力を抽出することでＣ画像を表す高感度画像データを生成すると共に、カラーフィルタ毎に、そのカラーフィルタに対応づけられた受光素子の出力を抽出することで、Ｒ画像，Ｇ画像，Ｂ画像を表す３種類の低感度画像データを生成する。これら４種類の画像データを、以下では個別画像データという。

なお、ＲＧＢＣベイヤを構成する各フィルタは、ベイヤ画像の全画面に渡って均等に配置されているため、フィルタ毎に生成されるこれらの個別画像データは、画角、分解能がいずれもほぼ同じ条件となる。

画像データ生成処理では、更に、３種類の低感度画像データに基づく色計算（所定割合での足し合わせ）を行うことで、１種類以上のＭ画像（モノクロまたは任意カラーの低感度画像）を生成し、これを個別画像データに加えるようにしてもよい。

次に、対象物検出処理の内容を、図６に示すフローチャートに沿って説明する。本処理は、画像データ生成処理によって、１フレーム分の個別画像データが生成される毎に起動する。

本処理では、まず、センサ部１１によって取得されたベイヤ画像データによって表現される画像（ベイヤ画像）が、どのようなシーンを表しているのかを推定し（Ｓ１１０）、その推定されたシーンが、ダイナミックレンジが不足して白とびや黒つぶれした領域を含んでいる可能性がある特定シーンであるか否かを判定する（Ｓ１２０）。

具体的には、画像中の他の領域と比較して明るさが極端に異なる領域が存在している可能性の有無によって特定シーンであるか否かを判断する。特定シーンの具体例としては、例えば、トンネルの出入口付近、高架下、ビル脇など、対象物と同程度以上の大きさの影を生じさせる建造物が写り込んでいるシーンが考えられる。このような特定シーンは、例えば、ナビゲーション装置から取得した現在位置付近の地図データや対象物検出処理での過去の検出結果等から判断することが可能である。また、特定シーンであるか否かの判定は、ベイヤ画像データまたは個別画像データのいずれかに基づいて、画像各部の明るさを比較することで判定してもよい。

特定シーンではないと判定した場合（Ｓ１２０：ＮＯ）、高感度画像データ（Ｃ画像データ）に基づいて、画像に移り込んでいる対象物を検出する処理を実行し、検出した対象物に関する対象物情報を生成する（Ｓ１３０）。

特定シーンであると判定した場合（Ｓ１２０：ＹＥＳ）、高感度画像データと少なくとも一つの低感度画像データを選択し、選択した画像データのそれぞれについて、画像に移り込んでいる対象物を検出する処理を実行し、検出した対象物に関する対象物情報を生成する（Ｓ１４０）。更に、Ｓ１４０にて画像データ毎に生成された対象物情報を合成する（Ｓ１５０）。このとき、両画像データで同じ位置に検出された対象物は、同一の対象物であるとして一つにまとめる。即ち、各画像データは同時に取得されたものであるため、同じ位置で検出された対象物は、トラッキング等の別処理を実行することなく、同一の対象物であると直ちに判断することができる。

そして、Ｓ１３０またはＳ１５０で生成された対象物情報を、所定の表示用画像データ（例えば、高感度画像データあるいは対象物の検出に用いた画像データ）と共に検出ＥＣＵ３０に出力して（Ｓ１６０）、本処理を終了する。なお、Ｓ１６０では、対象物情報のみを検出ＥＣＵ３０に出力するようにしてもよい。

＜効果＞
以上説明したように、車両制御システム１では、一つのベイヤ画像データから、明るさ（感度）の異なる複数の個別画像データを生成し、明暗差が大きくてダイナミックレンジが不足するような特定シーンでは、明るさの異なる複数の個別画像データを用いて対象物の検出を行っている。このため、例えば、高感度画像または低感度画像のいずれかで白とびや黒つぶれが発生している領域があったとしても、そのような状況が発生していない他方の画像によって、その領域に存在する対象物を検出することができるため、撮像領域内に存在する対象物を漏れなく検出することができる。具体的には、トンネルの出入口付近の車両や、ビル影の歩行者、高架下の車両、橋の欄干の側の車両など、大きな建造物の影の影響で検出し難い状況にある対象物を漏れなく検出することができる。

また、複数の個別画像データは、同じタイミングで取得された一つのベイヤ画像データから生成されるため、個別画像データ間で対象物の位置ずれが生じることがなく、同じ位置に存在する対象物は直ちに同一物体であると判断することができる。その結果、トラッキングなどの特別な処理を行うことなく、対象物の誤検出を抑制すること、即ち、対象物の検出精度を向上させることができる。

［第２実施形態］
第２実施形態は、基本的な構成は第１実施形態と同様であり、信号処理部１２が実行する対象物検出処理の内容が第１実施形態とは異なるだけであるため、共通する構成については説明を省略し、相違点を中心に説明する。

＜対象物検出処理＞
本処理が起動すると、まず、シーン推定を行い（Ｓ１１０）、推定されたシーンが特定シーンであるか否かを判断する（Ｓ１２０）。

特定シーンではない場合（Ｓ１２０：ＮＯ）、Ｃ画像データに基づく画像の平均的な明るさが、予め設定された閾値以下であれば高感度画像データ（Ｃ画像データ）を、閾値より大きければ低感度画像データ（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ、Ｍ画像データのいずれか）を、処理対象画像データとして選択する（Ｓ１２２）。

特定シーンである場合（Ｓ１２０：ＹＥＳ）、高感度画像データと低感度画像データとを合成した合成画像データを生成し、この生成した合成画像データを処理対象画像データとして選択する（Ｓ１２４）。

合成画像データは、例えば、他の部分より極端に明るい部位（即ち、白とびが発生している可能性のある領域）がある場合は、その部位については低感度画像データを用い、それ以外の部位は高感度画像データを用いた合成画像データを生成する。逆に、他の部分より極端に暗い部位（即ち、黒つぶれが発生している可能性のある領域）がある場合は、その部位については高感度画像データを用い、それ以外の部位は低感度画像データを用いた合成画像データを生成する。

次に、Ｓ１２２またはＳ１２４で選択された処理対象画像データに基づき、画像に移り込んでいる対象物を検出する処理を実行し、検出した対象物に関する対象物情報を生成する（Ｓ１３５）。

そして、Ｓ１３５で生成された対象物情報を、所定の表示用画像データと共に検出ＥＣＵ３０に出力して（Ｓ１６０）、本処理を終了する。
＜効果＞
本実施形態では、特定シーンの場合に、画像データ生成処理によって生成された複数の個別画像データから、一つの合成画像データを生成し、この合成画像データを用いて対象物を検出している。このように、対象物検出処理での処理対象となる画像データが、常に一つになるため、対象物検出処理での処理負荷を軽減することができる。

［第３実施形態］
第３実施形態は、基本的な構成は第１実施形態と同様であり、対象物検出処理の内容、および検出ＥＣＵ３０が実行する処理の一部が第１実施形態とは異なるだけであるため、共通する構成については説明を省略し、相違点を中心に説明する。

＜検出ＥＣＵ＞
検出ＥＣＵ３０では、第１実施形態で説明した各種車両制御を実現するための処理に加えて、有効に作動している車両制御や、車載センサ群５から把握される車両周囲の状況（天気や時間帯など）に基づき、それら車両制御に必要な対象物の検出に適した処理対象画像データを指定する画像データ指定指令を、画像センサ１０に出力する。

＜信号処理部＞
信号処理部１２では、検出ＥＣＵ３０からの画像データ指定指令の内容をＲＡＭに設けられた所定の記憶エリアに記憶する。

そして、対象物検出処理として、図６または図７で説明した処理を実行する。
但し、図６に示した処理を実行する場合、Ｓ１３０では、上述の記憶エリアに記憶された画像データ指定指令によって指定された個別画像データまたは合成画像データを用いて対象物の検出を行う。

また、図７に示した処理を実行する場合、Ｓ１２２では、上記記憶エリアに記憶された画像データ指令によって指定された個別画像データまたは合成画像データを、処理画像データとして選択する。

＜効果＞
本実施形態によれば、実際に作動している車両制御に適した個別画像データまたは合成画像データを用いて対象物の検出を行うため、対象物の検出精度をより向上させることができる。

具体的には、例えば、夜間、前方車両を対象物として検出する必要がある車両制御が作動している場合、前方車両のテールライトが明る過ぎるため、対象物の検出には低感度画像データを使用し、また、夜間、歩行者を対象物として検出する必要がある車両制御が作動している場合には、歩行者が暗いため高感度画像データを使用するような画像データ指示指令を出力することが考えられる。

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（１）上記実施形態において、画像センサ１０の撮像領域とレーダセンサ２０の探査領域との関係を特に規定していないが、両者は互いに重なり合うように設定されていてもよいし、互いに異なるように設定されていてもよい。特に前者の場合は、種類の異なるセンサで得られたデータを統合的に扱う。いわゆるセンサフュージョンによって、より高度な認識機能を実現することができ、対象物の検出精度をより向上させることができる。

（２）上記実施形態では、ＲＧＢＣベイヤの単位パターンを、図３（ａ）に示すように、４画素にそれぞれ異なるフィルタを配置したが、受光素子の出力の読み取り方向の列毎にフィルタの種類が異なるようにフィルタを配置してもよい。例えば、図８に示すように、受光素子の出力の読み取り方向が図中の左右方向であるものとして、上側半分にはＲ用フィルタとＧ用フィルタの組合せのカラーフィルタを配置し、下側半分にはＣ用フィルタのみを配置するようにしてもよい。この場合、高分解能画像データ（Ｃ画像データ）のみが必要な状況では、センサ部からＣ用フィルタに対応づけられた受光素子が配置された受光素子列のデータだけ読み取るようにすればよく、処理量を削減することができる。尚、フィルタの配置は図８に示す例に限らず、例えば、単色のフィルタを列毎に交互に配置してもよい。例えば、Ｒ用フィルタが配置された列とＣ用フィルタ、Ｒ用フィルタが配置された列とを交互に配置するような構成としてもよい。

（３）上記実施形態では、ＲＧＢＣベイヤを介して受光素子が入射光を受光するようにセンサ部１１を構成することにより、センサ部１１が出力するベイヤ画像データから、明るさの異なる複数の個別画像データを生成することができるように構成されている。これと同様に、レーダセンサ２０も、通過帯域が異なる複数種類のフィルタ、およびそれぞれがフィルタのいずれかを介して、電磁波を受信する複数の受信素子を有する受信部を用いて構成することにより、受信部の出力である全体走査データに基づき、同じフィルタに対応づけられた受信素子からの出力を抽出することで、フィルタの種類毎の走査データである個別走査データを生成し、これら個別走査データ、または個別走査データを合成することで生成される合成走査データに基づいて対象物を検出するように構成してもよい。

（４）上記実施形態では、対象物検出処理を、画像センサ１０の信号処理部１２で実行しているが、これを検出ＥＣＵ３０で実行するように構成してもよい。更に、画像センサ１０から信号処理部１２を省略して、信号処理部１２で実行する処理を全て検出ＥＣＵ３０で実行するように構成してもよい。

（５）上記実施形態では、シーンを推定し、そのシーンが特定シーンであるか否かに応じて、対象物の検出に使用する個別画像データの選択や、合成画像データの生成を行うようにしているが、シーンの推定や判定を行うことなく、個別画像データから合成画像データを生成するようにしてもよい。例えば、画像中の遠方は太陽の反射などの影響で車両が明るく写る傾向があるため、遠方の領域では低感度画像データを用い、近傍の領域では高感度画像データを用いた合成画像データを生成してもよい。

（６）上記実施形態では、合成画像データを生成する際に、画像中の領域毎にいずれかの個別画像データをそのまま使用しているが、高感度画像データのダイナミックレンジと低感度画像データのダイナミックレンジをいずれも単一の画像データで表現できるように、画素値のビットサイズを増やすと共に、画素値を調整したものを合成画像データとして生成するようにしてもよい。

（７）上記実施形態では、特定シーンでない場合は高感度画像データを用い、特定シーンである場合は、高感度画像データおよび低感度画像データを、それぞれ又は合成して用いたが、特定シーンである場合は高感度画像データを用い、特定シーンでない場合は低感度画像データを用いてもよい。

（８）上記実施形態では、高感度画像データおよび低感度画像データを、それぞれ又は合成して用いたが、低感度画像データと高感度画像データとを比較して用いてもよい。例えば、遠方の暗いテールランプは低い画素値となり、ノイズに埋もれる場合がある。そこで低感度画像データに対応する高感度画像データの両方を比較することにより光源の候補がノイズであるか否かを判別してもよい。つまり、Ｒ画像をＣ画像でチェックしてもよい。具体的には、Ｃ画素値がＲ画素値に対して所定倍以上なければ、光源の候補はノイズであると判定してもよい。これにより、先行車のテールランプ、対向車のヘッドライトなどの光源認識を用いたオートハイビームなどのシステムに適した画像データの使用方法を採用することができ、光源の認識精度を向上させることができる。

（８）上記実施形態では、特定シーンの具体例として、トンネルの出入口付近、高架下、ビル脇など、対象物と同程度以上の大きさの影を生じさせる建造物を判定しているが、特定シーンの別の例として、昼のシーン、夜のシーンを判定してもよい。昼のシーン、夜のシーンは、例えば、照度センサを用いて、照度が所定の閾値を下回った場合に夜のシーンと判定してもよい。そして、明るい昼のシーンでは、低感度画像データを用い、感度を下げることで、周期性がある物標（車両ライト、ＬＥＤ電光標識、信号等）をより長い露光時間で撮像することができ、フリッカー（ちらつき）を防ぐことができる。また、暗い夜のシーンは、逆に感度低下によりノイズに埋もれる可能性が高い為、高感度画像データを用いてもよい。これにより、標識認識を用いた速度警報や標識表示などのシステムに適した画像データの使用方法を採用することができ、標識の認識精度を向上させることができる。

但し、暗い夜のシーンであっても、ハイビームで標識を照らした場合には、撮像した画像が飽和してしまい標識の識別ができなくなる場合がある。そこで、特定シーンとして、画像が飽和しているか否かを判定してもよい。そして、画像が飽和している場合には、低感度画像データを用いてもよい。

また、明るい昼のシーンであっても、逆光等により画像が暗くなりすぎてしまう場合がある。そこで、特定シーンとして、画像が暗くなりすぎているか否かを判定してもよい。そして、画像が暗くなりすぎている場合には、高感度画像データを用いて感度を上げてもよい。

（９）本発明の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。

１…車両制御システム ５…車載センサ群 ７…車両制御装置群 １０…画像センサ １１…センサ部 １２…信号処理部 １３…レンズ装置 １３ａ…平凸レンズ １３ｂ…両凹レンズ １３ｃ…平凸レンズ １３ｄ…凸メニスカスレンズ １４…赤外線カットフィルタ １５…光学ローパスフィルタ １６…イメージセンサ ２０…レーダセンサ ３０…検出ＥＣＵ ７１…操舵装置 ７２…スピーカ ７３…ディスプレイ ７４…制動装置 ７５…駆動装置 ７６…灯火類

Claims (23)

1. 通過帯域が異なる複数種類のフィルタ、およびそれぞれが前記フィルタのいずれかを介して、入射光を受光する複数の受光素子を有する受光部（１１）と、
   前記受光部の出力である全体画像データの受信に対応して、前記フィルタに対応づけられた受光素子からの出力を抽出することで、前記フィルタの種類毎の画像データである個別画像データを生成する画像データ生成部（１２）と、
   前記画像データ生成部にて生成される前記個別画像データまたは前記個別画像データを合成することで生成される合成画像データに基づいて、障害物、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、路面状態、道路形状、光源、道路標識、交通信号、前記受光部の視界をさえぎるもの、車両外部環境のうち少なくとも一つの対象物を検出する画像データ処理部（１２）と、
   前記画像データ処理部が検出した対象物に従って、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、前方クロストラフィック警報、後方クロストラフィック警報、踏み間違い防止、自動駐車のうち少なくとも一つに関する車両制御を実行する車両制御部（３０）と、
   を備えることを特徴とする車両制御システム。
2. 前記フィルタは、前記受光素子が感度を持つ帯域を受光帯域として、該受光帯域の一部を通過帯域とする一種類以上の限定フィルタと、全ての前記限定フィルタの通過帯域を通過帯域とする全域フィルタとを備えることを特徴とする請求項１に記載の車両制御システム。
3. 前記受光帯域は、可視光に相当する帯域を少なくとも含み、
   前記限定フィルタは、赤色、緑色、青色のいずれかに相当する帯域を通過帯域とすることを特徴とする請求項２に記載の車両制御システム。
4. 前記画像データ生成部は、前記個別画像データとして、前記全域フィルタを介して受光する受光素子からの出力に基づく高感度画像データ、および前記限定フィルタを介して受光する受光素子からの出力に基づく低感度画像データを生成することを特徴とする請求項２または請求項３に記載の車両制御システム。
5. 前記受光部は、複数の受光素子をライン状に配置した複数の受光素子列を有し、該受光素子列毎に前記受光素子の出力を読み取るように構成され、
   前記受光素子に適用するフィルタの種類が前記受光素子列毎に限定されていることを特徴とする請求項１ないし請求項４のいずれか１項に記載の車両制御システム。
6. 検出する前記対象物の種類、および前記個別画像データによって表現される画像のシーンのうち少なくとも一方に従って、前記対象物の検出に用いる前記個別画像データを選択する画像選択手段（Ｓ１１０，Ｓ１２０，Ｓ１３０，Ｓ１４０）を備え、
   前記画像データ処理部は、前記画像選択手段にて選択された画像データを用いて前記対象物を検出することを特徴とする請求項１ないし請求項５のいずれか１項に記載の車両制御システム。
7. 前記画像選択手段は、前記シーンの平均的な明るさが予め設定された閾値以下である場合は前記高感度画像データを選択し、前記閾値より大きい場合は前記低感度画像データを選択することを特徴とする請求項４に従属する請求項６に記載の車両制御システム。
8. 前記画像データ生成部は、前記画像データによって示されるシーンが、ダイナミックレンジが不足する可能性がある特定シーンであるか否かを判定するシーン判定手段（Ｓ１１０，Ｓ１２０）を備え、該シーン判定手段により前記特定シーンであると判定された場合に、明るさが予め設定された閾値以下である領域に前記高感度画像データを用い、前記閾値より大きい領域に前記低感度画像データを用いた前記合成画像データを生成する（Ｓ１２４）ことを特徴とする請求項４に記載の車両制御システム。
9. 前記シーン判定手段は、前記対象物と同程度以上の大きさの影を生じさせる建造物が存在するシーンを、前記特定シーンと判断することを特徴とする請求項８に記載の車両制御システム。
10. 前記シーン判定手段は、前記対象物の過去の検出結果および予め用意されている地図情報のうち少なくとも一方を利用して前記判定を行うことを特徴とする請求項８または請求項９に記載の車両制御システム。
11. 前記受光部を構成するフィルタは、前記フィルタ毎に生成される前記個別画像データの画角、分解能がいずれも同じ条件となるように設定されていることを特徴とする請求項１ないし請求項１０のいずれか１項に記載の車両制御システム。
12. 前記画像センサは、単眼カメラを構成することを特徴とする請求項１ないし請求項１１のいずれか１項に記載の車両制御システム。
13. 通過帯域が異なる複数種類のフィルタ、およびそれぞれが前記フィルタのいずれかを介して、入射光を受光する複数の受光素子を有する受光部と、
    前記受光部の出力である全体画像データの受信に対応して、前記フィルタに対応づけられた受光素子からの出力を抽出することで、前記フィルタの種類毎の画像データである個別画像データを生成する画像データ生成部と、
    を備えることを特徴とする画像センサ。
14. 前記フィルタは、前記受光素子が感度を持つ帯域を受光帯域として、該受光帯域の一部を通過帯域とする一種類以上の限定フィルタと、全ての前記限定フィルタの通過帯域を通過帯域とする全域フィルタとを備えることを特徴とする請求項１３に記載の画像センサ。
15. 前記受光帯域は、可視光に相当する帯域を少なくとも含み、
    前記限定フィルタは、赤色、緑色、青色のいずれかに相当する帯域を通過帯域とすることを特徴とする請求項１４に記載の画像センサ。
16. 前記画像データ生成部は、前記個別画像データとして、前記全域フィルタを介して受光する受光素子からの出力に基づく高感度画像データ、および前記限定フィルタを介して受光する受光素子からの出力に基づく低感度画像データを生成することを特徴とする請求項１４または請求項１５に記載の画像センサ。
17. 前記受光部は、複数の受光素子をライン状に配置した複数の受光素子列を有し、該受光素子列毎に前記受光素子の出力を読み取るように構成され、
    前記受光素子に適用するフィルタの種類が前記受光素子列毎に限定されていることを特徴とする請求項１３ないし請求項１６のいずれか１項に記載の画像センサ。
18. 前記画像データ生成部は、前記個別画像データを合成した合成画像データを生成することを特徴とする請求項１３ないし請求項１７のいずれか１項に記載の画像センサ。
19. 前記画像データ生成部は、外部から指定された画像データを出力することを特徴とする請求項１３ないし請求項１８のいずれか１項に記載の画像センサ。
20. 前記受光部を構成するフィルタは、前記フィルタ毎に生成される前記個別画像データの画角、分解能がいずれも同じ条件となるように設定されていることを特徴とする請求項１３ないし請求項１９のいずれか１項に記載の画像センサ。
21. 前記画像データ生成部にて生成される前記個別画像データまたは前記個別画像データを合成することで生成される合成画像データに基づいて、障害物、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、路面状態、道路形状、光源、道路標識、交通信号、前記受光部の視界をさえぎるもの、車両外部環境のうち少なくとも一つの対象物を検出する画像データ処理部を備えることを特徴とする請求項１３ないし請求項２０のいずれか１項に記載の画像センサ。
22. 通過帯域が異なる複数種類のフィルタ、およびそれぞれが前記フィルタのいずれかを介して、電磁波を受信する複数の受信素子を有する受信部（２０）と、
    前記受信部の出力である全体走査データの受信に対応して、前記フィルタに対応づけられた受信素子からの出力を抽出することで、前記フィルタの種類毎の走査データである個別走査データを生成する走査データ生成部（２０）と、
    前記走査データ生成部にて生成される前記個別走査データまたは前記個別走査データを合成することで生成される合成走査データに基づいて、障害物、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、路面状態、道路形状、光源、道路標識、交通信号、前記受信部の視界をさえぎるもの、車両外部環境のうち少なくとも一つの対象物を検出する走査データ処理部（２０）と、
    前記走査データ処理部が検出した対象物に従って、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、前方クロストラフィック警報、後方クロストラフィック警報、踏み間違い防止、自動駐車のうち少なくとも一つに関する車両制御を実行する車両制御部（３０）と、
    を備えることを特徴とする車両制御システム。
23. 通過帯域が異なる複数種類のフィルタ、およびそれぞれが前記フィルタのいずれかを介して、入射光を受光する複数の受光素子を有する受光部（１１）と、
    前記受光部の出力である全体画像データの受信に対応して、前記受光部のフィルタに対応づけられた受光素子からの出力を抽出することで、前記フィルタの種類毎の画像データである個別画像データを生成する画像データ生成部（１２）と、
    通過帯域が異なる複数種類のフィルタ、およびそれぞれが前記フィルタのいずれかを介して、電磁波を受信する複数の受信素子を有する受信部（２０）と、
    前記受信部の出力である全体走査データの受信に対応して、前記受信部のフィルタに対応づけられた受信素子からの出力を抽出することで、前記フィルタの種類毎の走査データである個別走査データを生成する走査データ生成部（２０）と、
    前記画像データ生成部にて生成される前記個別画像データまたは前記個別画像データを合成することで生成される合成画像データ、および前記走査データ生成部にて生成される前記個別走査データまたは前記個別走査データを合成することで生成される合成走査データに基づいて、障害物、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、路面状態、道路形状、光源、道路標識、交通信号、前記受光部や前記受信部の視界をさえぎるもの、車両外部環境のうち少なくとも一つの対象物を検出するデータ処理部（１２，２０）と、
    前記データ処理部が検出した対象物に従って、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、前方クロストラフィック警報、後方クロストラフィック警報、踏み間違い防止、自動駐車のうち少なくとも一つに関する車両制御を実行する車両制御部（３０）と、
    を備えることを特徴とする車両制御システム。