JP2012118929A - 外部環境判定装置及び外部環境判定プログラム - Google Patents

Abstract

【課題】車載カメラによって得られた画像データを車両制御に利用できる外部環境であるか否かを判定できる外部環境判定装置を、提供する。
【解決手段】統計量算出部５は、第２カメラ部２からの画像データに対してヒストグラム処理を施して、画素数が所定閾値以上である最小輝度値と最大輝度値との輝度差を算出する。外部環境判定部６は、輝度値が所定閾値未満である場合に、スピーカ４から警告を出力するとともに、処理部７に対して車両検出停止を指示する。処理部７は、車両検出停止が指示されていない限り、第１カメラ部１から入力された画像データに対する画像処理を実行する。
【選択図】図２

Description

本発明は、車載カメラの映像を用いた近接物等の対象物の検知をすることができる外部環境であるかを判定する外部環境判定装置及び外部環境判定プログラムに関する。

近年、車載カメラによって撮影された画像データを処理することにより様々な車両制御を行う技術が、実用化されている。例えば、ドライバの死角となる自車両周辺領域を車載カメラにより撮影し、これにより得られた画像データを解析することにより、自車両周辺領域に在る車両の動きを検出し、当該車両の位置や動きに応じてドライバに対して警告を発する技術や、車載カメラにより撮影した車両前方の画像データから白線を認識・検出して方向指示操作をすることなく自車両が白線を逸脱したことを検出したときにドライバに対して警告を発する技術が、提案されている。

以上のような仕組みが正常に動作するには、画像データに基づいて、自動車外部の物体の位置や形状を検出できる必要がある。即ち、画像中に写り込んだ物体を検出する処理は、物体と背景との境界を区切るコーナーやエッジような特徴点を抽出し、抽出した特徴点を結ぶ、すなわちグルーピングすることにより、物体の有無を認識するといったステップを経る。従って、画像データ中に、物体の輪郭全体に相当する特徴点が現れていなければならないのである。

他方、従来技術には、車載カメラが自車両周辺領域を撮影することによって得られた画像データに対してヒストグラム処理を施すことにより、昼夜判定を行うものがある。当該技術は、昼を代表する輝度値を示す画素，及び夜を代表する輝度値を示す画素の、画像中の各領域に夫々占める割合と各輝度値に対応した閾値との相関に基づいて、外部環境が昼夜何れかであるかを判定するものである。

特開２００８−１６５７４３号公報

確かに、外部環境が夜であることは、前照灯による照明がなされない領域を撮影することによって得られた画像データから特徴点を検出することを困難にする要因ではある。

しかしながら、外部環境が夜であることは画像データからの特徴点の検出を困難にする要因の全てではない。例えば、昼間においても、外部環境が濃霧に覆われている場合には、物体輪郭の特徴点は画像データ中に現れ難くなる。また、画像中に太陽が入った場合にも、画面全体がハレーションを起こしてしまう結果として、物体輪郭の特徴点は画像データ中に現れ難くなる。

そのため、上記従来技術によると、昼間の撮影によって得られた画像データでありながら物体輪郭の特徴点が現れ難い画像データを判別することができない。その為、従来技術を車両制御に用いると、自車両の周辺領域に他の車両等の危険な物体が存在するにも拘わらず、当該物体の特徴点が現れていない画像データに基づいて、ドライバーに警告を行うことなく、かかる危険な物体が存在しないものとして車両制御を継続してしまう危険がある。

そこで、本案の課題は、外部環境が昼夜であるかを問わず、車載カメラによって得られた画像データを近接物等の対象物検知に利用できる外部環境であるか否かを判定できる外部環境判定装置及び外部環境判定プログラムを、提供することである。

本案によると、車載カメラが出力した画像データに基づく対象物の検知に適した外部環境であるかを判定する外部環境判定装置は、車両外を撮影して画像データを出力するカメラ部と、前記カメラ部が出力した画像データ中の各画素の最小輝度値と最大輝度値との輝度差を算出する統計手段と、前記統計手段が算出した輝度差が所定閾値よりも小さい場合に、車載カメラが出力した画像データに基づく対象物の検知に適した外部環境でないと判定する判定手段とを備える。

以上のように構成された本案によると、外部環境が昼夜であるかを問わず、車載カメラによって得られた画像データを近接物等の対象物検知に利用できる外部環境であるか否かを判定できる。

車両制御システムのハードウェア構成及びレイアウトを示す図 ＣＰＵが実現する複数の機能間の相関を示すブロック図 プログラムに従ってＣＰＵが実行する処理を示すフローチャート 昼間の良好な外部環境における撮影により得られた画像データのヒストグラム 夜間における撮影により得られた画像データのヒストグラム 昼間の濃霧時における撮影により得られた画像データのヒストグラム 太陽が写り込んだ画像データのヒストグラム

以下、図面に基づいて、本案の実施形態を説明する。

図１は、本実施形態による外部環境判定装置を適用した車両制御システムを構成する各構成要素の車両におけるレイアウト及び接続関係を示す図である。当該車両制御システムは、ドライバの死角となる自車両周辺領域を車載カメラにより撮影し、これにより得られた画像データを解析することにより、自車両周辺領域に在る車両の動きを検出し、当該車両の位置や動きが自車両への衝突の危険を孕むものである場合に、ドライバに対する警告や自動回避等の車両制御を行う装置であるが、白線を認識しながら自動操舵制御を行ったり、歩行者を認識して衝突を未然に防止すべく車両制御を行うものであっても良い。但し、車両制御の内容自体は、本案の対象とはされていないので、以下において、車両制御の詳細についての説明は省略される。

図１に示すように、当該車両制御システムは、自車両周辺領域を撮影する一台乃至複数台（図１では、２台を図示）の第１カメラ部１，外部環境を撮影する第２カメラ部２，各カメラ部１，２に接続されたＣＰＵ３，及び、ＣＰＵ３に接続されて運転席内に設置された出力装置としてのスピーカ４を、有している。

各カメラ部１，２は、静止画を連写するデジタルカメラであり、撮影によって得られた画像データを、逐次ＣＰＵ３に入力する。第１カメラ部１の一部は、ドライバの死角となる自車両周辺領域を撮影できる位置に設置されることが望ましい。また、第１カメラ部１が複数台である場合には、ドライバの死角となる自車両周辺領域の全てが、何れかの第１
カメラ部１によって撮影されることが望ましい。もっとも、何れかの第１カメラ部１が、ドライバの死角とならない自車両周辺領域を撮影しても良い。第２カメラ部２は、１台でも良いが、互いに異なる方向を夫々撮影する複数台であっても良い。但し、第２カメラ部２は、自車両の照明装置（ヘッドライト，テールライト，ポジション球，ウインカー，等）によって照度の影響を受けない空間を撮影することが望ましい。なお、第１カメラ部１による太陽の映り込みをも判定する必要がある場合には、第２カメラ部２を各第１カメラ部１毎に設置して両カメラ部１，２の撮影範囲を一致させるか、第１カメラ部１に第２カメラ部２の機能を兼ねさせて第１カメラ部１からの画像データそのものを用いて後述する外部環境判定を行えば良い。なお、第１カメラ部１は車載カメラに相当し、第２カメラ部２はカメラ部に相当する。

ＣＰＵ３は、第２カメラ部２から入力された画像データに基づいて自車の外部環境を検出し、第１カメラ部１から入力された画像データを近接物検知の為に使用できる外部環境であるか否か（即ち、自車両周辺領域に存在する物体の特徴量が画像データに表れる外部環境であるか否か）を判定し、当該画像データが使用できる外部環境であると判定した場合に、当該画像データに対する解析処理（即ち、自車両周辺領域に存在する物体を認識する近接物検知処理）を実行する画像処理装置である。なお、ＣＰＵ３は、解析処理結果に基づく車両制御を実行する機能を備えていても良い。

ＣＰＵ３は、内部メモリに格納されているプログラム３ａを実行する。当該プログラム３ａは複数の機能モジュールから構成されているので、当該プログラム３ａを実行することにより、ＣＰＵ３は、内部的に、図３に示す相関関係を有する複数の機能を生成する。即ち、当該プログラム３ａに従ってＣＰＵ３が生成する複数の機能とは、統計量算出部５，外部環境判定部６及び処理部７である。

統計量算出部５は、輝度分布算出部５ａを含む。当該輝度分布算出部５ａは、第２カメラ部２から入力された画像データに対してヒストグラム処理を施すことにより、各輝度の値（輝度値が８バイトで表される画像データにおいては“０”〜“２５５”）毎の画素数を計数することにより、輝度分布を算出する。統計量算出部５は、輝度分布算出部５ａによって算出された輝度分布における輝度差，即ち、所定閾値以上の値を有する最小の輝度値と最大の輝度値との差を算出する。なお、所定閾値とは“１”であっても良いが、ノイズの影響を排除するために“１”を超える値としても良い。なお、統計量算出部５の機能を果たすＣＰＵ３は、統計手段に相当する。

外部環境判定部６は、統計量算出部５から入力された輝度差が所定閾値を超えているか否かに拠り、第１カメラ部１によって撮影された撮影範囲における環境が、撮影によって得られた画像データから自車両周辺領域に存在する物体が検出し難い外部環境であるかどうかを判定する。即ち、外部環境判定部６は、輝度差が上記所定閾値以下である場合には、撮影によって得られた画像データから自車両周辺領域に存在する物体を検出し難い外部環境（以下、「不適正環境」という）であると判定し、輝度差が上記所定閾値を超える場合には、撮影によって得られた画像データから自車両周辺領域に存在する物体を検出可能な外部環境（以下、「適正環境」という）であると判定する。なお、不適正環境の例としては、夜であること，昼間であっても濃霧であることが、挙げられる。また、上述したように、第２カメラ部２を各第１カメラ部１毎に設置して両カメラ部１，２の撮影範囲を一致させるか、第１カメラ部１に第２カメラ部２の機能を兼ねさせて第１カメラ部１からの画像データそのものを統計量算出部５に入力させる構成を採った場合には、第１カメラ部１の撮影範囲に太陽が入り込む事も、不適正環境の例として挙げられる。そして、外部環境判定部６は、不適正環境であると判定した場合には、処理部７に対して車両検出の非実行を指示するとともに、車両検出に基づく車両制御を中止した旨の警告をスピーカ４から出力する。これに対して、外部環境判定部６は、適正環境であると判定した場合には、処
理部７に対して車両検出の実行を指示する。なお、外部環境判定部６としてのＣＰＵ３は、判定手段及び出力手段に相当する。

処理部７は、外部環境判定部６から実行指示が入力されており且つ非実行指示が入力されていない場合には、第１カメラ部１によって入力された画像データに対する画像解析処理を実行する。即ち、処理部７は、画像データが表す画像中のコントラストを手掛かりに、コントラストが高い箇所から特徴点を抽出する。そして、処理部７は、近接する特徴点を結ぶことにより、画像に映り込んだ物体の輪郭を認識する。そして、処理部７は、当該物体の形状に基づいて、当該物体が他の車両であるかどうかを識別する。さらに、処理部７は、当該物体が他の車両である場合には、当該物体の画像中における大きさに基づいて、当該物体までの距離を算出する。また、処理部７は、時間的に前後にわたる複数の画像から夫々検出された当該物体までの距離に基づいて、当該物体と自車両とが相対的に接近しているかどうかを判定する。そして、処理部７は、これらの画像処理結果を、図示せぬ車両制御部（当該ＣＰＵ３とは別の車両制御用のＣＰＵ，若しくは、当該ＣＰＵにて実行されている車両制御プログラム）に渡す。なお、車両制御部による車両制御の内容如何によっては、処理部７は、車両以外の物体（例えば、壁等の静止障害物，白線，歩行者，等）の位置及び相対接近を検出しても良い。

図３のフローチャートは、以上に述べたＣＰＵ３内の各機能５〜７の内容を時系列的にまとめたものである。即ち、図示せぬイグニッションスイッチがＯＮとされると、ＣＰＵ３は、プログラム３ａを読み込んで、最初のＳ１において、全カメラ部１，２から、映像データを取り込む。次のＳ２では、ＣＰＵ３は、輝度分布算出部５として、第２カメラ部２から取り込んだ映像データに対して上記ヒストグラム処理を施して輝度値分布を算出し、統計量算出部５として、所定閾値以上の最小輝度値と最大輝度値との輝度差を算出する。次のＳ３では、ＣＰＵ３は、外部環境判定部６として、Ｓ２にて算出した輝度差に応じて、車両検出の実行又は非実行の判定を行うとともに、車両検出の非実行を判定した場合には、ドライバーに対する警告を、スピーカ４から出力する。なお、ドライバーに対する警告は、図示せぬディスプレイを通じた文字又はアイコンの表示の形態で行っても良い。次のＳ４では、ＣＰＵ３は、Ｓ３における判定結果が車両検出の非実行であった場合には処理をＳ１に戻し、車両検出の実行であった場合には処理をＳ５へ進める。Ｓ５では、ＣＰＵ３は、処理部７として、第１カメラ部１から入力された画像データに対する画像解析処理を実行する。

本実施形態によると、外部環境が昼間である場合には、通常、輝度分布算出部５ａによって算出された輝度分布（ヒストグラム）は、図４に示すように、平均輝度値をピークとするガウス分布に近似したものとなることが多い。従って、所定閾値以上の最小輝度値と最大輝度値との輝度差は大きくなるので、外部環境判定部６は車両検出実行の判定を下すことができる。

これに対して、外部環境が夜間である場合には、輝度分布（ヒストグラム）は、図５に示すように、輝度値の低い領域に集中することとなる。従って、所定閾値以上の最小輝度値と最大輝度値との輝度差は小さくなるので、第１カメラ１からの画像データにおいても、画像のコントラスト強度は低くなっている為、特徴点の検出は困難であると考えられる。そこで、外部環境判定部６は、車両検出非実行の判定を下し、処理部７に対して車両検出を中止させるのである。なお、第２カメラ部２によって撮影された範囲内に街灯等の輝点が映り込んだ場合には、図５における高輝度値領域にスパイク（棘）状のピークが生じる場合がある。この場合、最大輝度値は当該ピークが生じた輝度値となってしまうので、輝度差が大きくなってしまう。そこで、複数ピークが生じた場合には、各ピーク毎に輝度差を算出し、輝度差が極小さいピークについてはマスクをした上で、画像データ全体についての輝度値を算出するようにしても良い。

また、外部環境が昼間の濃霧である場合（これが極端な場合が所謂ホワイトアウトである）、輝度分布（ヒストグラム）は、図６に示すように、平均輝度値をピークとした極狭い領域に集中することになる。従って、所定閾値以上の最小輝度値と最大輝度値との輝度差は小さくなるので、第１カメラ１からの画像データにおいても、画像のコントラスト強度は低くなっている為、特徴点の検出は困難であると考えられる。そこで、外部環境判定部６は、車両検出非実行の判定を下し、処理部７に対して車両検出を中止させるのである。

また、上述したように、第２カメラ部２を各第１カメラ部１毎に設置して両カメラ部１，２の撮影範囲を一致させるか、第１カメラ部１に第２カメラ部２の機能を兼ねさせて第１カメラ部１からの画像データそのものを統計量算出部５に入力させる構成を採った場合において、第１カメラ部１の撮影範囲に太陽が入り込んだ場合、画面全体がハレーションを起こし、輝度分布（ヒストグラム）は、図７に示すように、最大輝度値をピークとした極狭い領域に集中することとなる。従って、所定閾値以上の最小輝度値と最大輝度値との輝度差は小さくなるので、第１カメラ１からの画像データにおいても、画像のコントラスト強度は低くなっている為、特徴点の検出は困難であると考えられる。そこで、外部環境判定部６は、車両検出非実行の判定を下し、処理部７に対して車両検出を中止させるのである。

以上のように、本実施形態による外部環境判定装置は、第１カメラ１によって得られた画像データが表す画像全体のコントラスト強度が低くなるために特徴点の検出が困難となる外部環境（不適正環境）かどうかを、昼夜を問わず判定することができ、不適正環境である場合には、第１カメラ１によって得られた画像データに対する画像処理及び当該画像処理結果に基づく車両制御を中止し、車両制御中止中である旨をドライバーに警告することができる。その為、本実施形態による外部環境判定装置は、車両制御が正常になされ得ないのにドライバーがそれに気付かず安全であると誤信してしまう状況を回避できるので、不慮の事故の防止に寄与することができるのである。

なお、本実施形態では外部環境判定装置は車両制御装置に組み合わされて用いられているが、外部環境判定装置は、上述した他の車両，白線，歩行等の対象物を検出する他の様々な装置と組み合わせて用いられ得る。

１ 第１カメラ部
２ 第２カメラ部
３ ＣＰＵ
４ スピーカ
５ 統計量算出部
５ａ 輝度分布算出部
６ 外部環境判定部
７ 処理部

Claims (7)

1. 車載カメラが出力した画像データに基づく対象物の検知に適した外部環境であるかを判定する外部環境判定装置であって、
   車両外を撮影して画像データを出力するカメラ部と、
   前記カメラ部が出力した画像データ中の各画素の最小輝度値と最大輝度値との輝度差を算出する統計手段と、
   前記統計手段が算出した輝度差が所定閾値よりも小さい場合に、車載カメラが出力した画像データに基づく対象物の検知に適した外部環境でないと判定する判定手段と
   を備えたことを特徴とする外部環境判定装置。
2. 前記カメラ部は前記車載カメラを兼ねる
   ことを特徴とする請求項１記載の外部環境判定装置。
3. 前記統計手段は、前記画像データが表す画像における輝度分布を算出し、所定閾値以上の画素数を有する輝度値のうち最小のものと最大のものとの差を、前記輝度値として算出する
   ことを特徴とする請求項１記載の外部環境判定装置。
4. 前記判定手段による判定結果を出力する出力手段を
   更に備えたことを特徴とする請求項１記載の外部環境判定装置。
5. 車載カメラが出力した画像データに基づく対象物の検知に適した外部環境であるかを判定する外部環境判定装置であって、
   車両外を撮影して画像データを出力するカメラ部と、
   前記カメラ部が出力した画像データ中の各画素の最小輝度値と最大輝度値との輝度差を算出する統計手段と、
   前記統計手段が算出した輝度差が所定閾値よりも小さいか否かを判定する判定手段と、
   前記判定手段が、前記統計手段が算出した輝度差が所定閾値よりも小さいと判定した場合に、警告を出力する出力手段と
   を備えたことを特徴とする外部環境判定装置。
6. カメラ部に接続されたコンピュータを、
   前記カメラ部が出力した画像データ中の各画素の最小輝度値と最大輝度値との輝度差を算出する統計手段，及び、
   前記統計手段が算出した輝度差が所定閾値よりも小さい場合に、車載カメラが出力した画像データに基づく対象物の検知に適した外部環境でないと判定する判定手段
   として機能させる外部環境判定プログラム。
7. カメラ部及び出力装置に接続されたコンピュータを、
   前記カメラ部が出力した画像データ中の各画素の最小輝度値と最大輝度値との輝度差を算出する統計手段，
   前記統計手段が算出した輝度差が所定閾値よりも小さいか否かを判定する判定手段，及び、
   前記判定手段が、前記統計手段が算出した輝度差が所定閾値よりも小さいと判定した場合に、前記出力装置から警告を出力する出力手段
   として機能させる外部環境判定プログラム。

Images