JP2008211410A - 車載用画像認識装置及び配光制御装置、並びに配光制御方法 - Google Patents

Abstract

【課題】
先行車や対向車の位置に応じて、より的確な配光パターンを実現する装置を提供する。
【解決手段】
車両の周囲を撮像するカメラからの撮像信号を入力する入力部９０１と、入力部９０１で入力した撮像信号から所定の連続した座標エリアを抽出する座標エリア抽出部９０２と、座標エリア抽出部９０２で抽出した座標エリアの特徴量を算出する特徴量算出部９０８と、座標エリア抽出部９０２で抽出された座標エリアのうち、特徴量算出部９０８で算出した同一または近似する特徴量を有する座標エリア同士をペアリングするペアリング部９０３と、ペアリング部９０３でペアリングした当該座標エリア同士の距離及び方向を示す信号を出力する出力部９０４と、を有する装置。
【選択図】図９

Description

本発明は、車載用画像認識装置、及び自動車のヘッドライトの配光制御装置並びに配光制御方法に係る。

より安全な交通車両を提供するために、車両に搭載されているヘッドライトの配光パターンを状況に応じて自動的に変更する技術が開発されている。

例えば、ハンドルの操舵角に応じてヘッドライトのロービームの照射方向を変更し、車両が進行する方向の自車両近傍の様子を、運転者によく認識させる技術が知られている。また、自車両近傍ではなく進行方向遠方の状況を運転者によく認識させる技術として、自車両前方の光放射状況をカメラで検出し、当該検出状況に応じてハイビームとロービームなどの配光パターンを制御するものが知られている（例えば特許文献１参照）。

特開２００１−１３８８０１号公報

従来の技術は、カメラで光放射を検知し、強度により先行車や対向車を判断しているため、街灯や看板などを車と誤検知し、遠くの状況把握が必要なのにも関わらず配光が近傍付近に限られてしまう可能性がある。更に、先行車や対向車の位置を把握しにくいため、前方に車両が存在する場合はハイビームをＯＦＦにし、車両が存在しない場合はハイビームをＯＮにするような大雑把な制御しか行えず、最適な配光パターンを実現できない問題がある。

本発明は上記課題に鑑み、先行車や対向車の位置に応じて、より的確な配光パターンを実現する装置を提供することを目的とする。

車両の周囲を撮像するカメラから入力した撮像信号から所定の連続した座標エリアを抽出して、当該座標エリアの特徴量を算出する。そして、これら座標エリアのうち、同一または近似する特徴量を有する座標エリア同士をペアリングし、ペアリングした当該座標エリア同士の距離及び方向を示す信号を出力して、これに応じてヘッドライト制御させる。

先行車や対向車の位置に応じて、より的確な配光パターンのヘッドライト制御が可能となる。

以下、本発明の実施形態を説明する。ここでは、一例として夜間の先行車や対向車をカメラにより検知し、検知結果に応じてヘッドライトの制御を行う装置について説明する。

図１は、本発明の実施例１をなす配光制御装置のブロック構成図を示す。

自車両前方を撮像できる位置にカメラ１００が搭載されている。カメラ１００は撮像部１０７と処理部１０８に大きく分けられる。撮像素子１０１はＶＧＡ相当の画素数を持っていて、自車両前方の映像を撮像する。撮像素子出力変換ＬＳＩ１０２では、撮像素子
１０１から送られてきたアナログデータをデジタルデータ（以下、画像データと呼ぶ）に変換し、画像データを処理部１０８へ送る。

ここで、画像処理ＬＳＩ１０３について説明する。画像処理ＬＳＩ１０３は撮像素子出力変換ＬＳＩ１０２から送られてくる画像データを画像メモリ１０５に格納する機能を有し、更に、ＣＰＵ１０４では必要に応じて画像処理ＬＳＩ１０３へ画像処理を指示し、画像処理ＬＳＩ１０３は指示された処理を行うために、画像メモリ１０５に格納されている画像データに対し画像処理（例えばソーベルフィルタ処理などの境界線抽出フィルタ）を行い、再度画像メモリ１０５に画像処理結果を格納する。ＣＰＵ１０４では画像メモリ
１０５に格納されている画像処理結果からヘッドライト光源認識等の認識処理を行う。そして、認識結果を通信Ｉ／Ｆ１０６を通して、車両ユニットに送信する。更に、先行車や対向車の距離からライトの制御量を計算し、ヘッドライト駆動回路１０７に制御量を送信し、ヘッドライト駆動回路では制御量に応じた電圧に変換し、ヘッドライトの光軸または光強度の制御を行う。

尚、ここでは処理部１０８をカメラ１００に内蔵する例を示したが、本発明はこれに限らない。すなわち、カメラは撮像部１０７のみを持ち、ヘッドライト駆動回路１０７に処理部１０８を内蔵して、カメラ１００とヘッドライト駆動回路１０７の間で撮像信号をやりとりする形態でも良いし、処理部１０８を他の車両ユニットに内蔵し、カメラ１００からの撮像信号を通信Ｉ／Ｆ１０６を介して入手して、当該車両ユニットが直接ヘッドライト駆動回路に駆動信号を出力しても良い。

図９は、図１の機能的なブロック構成図を示す。

ここに示すように、画像処理装置９０５は、車両の周囲を撮像するカメラからの撮像信号を入力する入力部９０１と、入力部９０１で入力した撮像信号から所定の連続した座標エリアを抽出する座標エリア抽出部９０２と、座標エリア抽出部９０２で抽出した座標エリアの特徴量を算出する特徴量算出部９０８と、座標エリア抽出部９０２で抽出された座標エリアのうち、特徴量算出部９０８で算出した同一または近似する特徴量を有する座標エリア同士をペアリングするペアリング部９０３と、ペアリング部９０３でペアリングした座標エリア同士の距離及び方向を示す信号を出力する出力部９０４とを有する。さらに、配光制御装置９０７はこの画像処理装置９０５に加え、出力部９０４から得た座標エリア同士の距離及び方向に基づきヘッドライト駆動回路への制御量を算出するヘッドライト制御量算出部９０６を有する。入力部９０１，出力部９０４は、端子の形状をしていても良いし、信号線であっても良い。また、ソフトウェアによる入力処理や出力処理も含む。これらが行う制御を以下に説明する。

図２は、図１の例における露光から画像処理に至るまでのタイミングチャートを示す。

フィールド１では撮像素子１０１においてシャッタＡによる露光Ａを行い、フィールド２において画像処理ＬＳＩ１０３は撮像素子出力変換ＬＳＩ１０２から送信されるフィールド１で露光された画像データを画像メモリ１０５へ格納を行う。そしてフィールド３ではＣＰＵ１０４は画像メモリ１０５に格納されているデータを使用して画像処理ＬＳＩ
１０３で画像処理を行ったり、認識処理を行ったりする。

図３は、図１のＣＰＵ１０４で行う処理のジェネラルフローチャートを示す。

まずステップ３０１で、画像メモリ１０５に格納されている原画像データに対し、
ＣＰＵ１０４から画像処理ＬＳＩ１０３へ２値化命令を行い、原画像から２値化画像へ変換を行う。

図４は、図３のステップ３０１における原画像と２値化画像の対応例を示す。各画像は、横軸座標をＩ１〜Ｉｉ〜Ｉｎ、縦軸座標をＪ１〜Ｊｉ〜Ｊｎと定義している。原画像の図面右側には対向車の前部および当該対向車のヘッドライトおよびヘッドライトの照射が撮像されている。また、画像中央から左下，右下に延びているのは道路上の車線表示（白線やマーカなど）である。これを前述のソーベルフィルタ処理などを施し、その係数を調整することにより、下の２値化画像が得られる。図の中央右側の、原画像におけるヘッドライトの照射に対応する部分では、丸い白色エリアが、左右のヘッドライトそれぞれの場所に対応して表れている。尚、ここでは対向車のヘッドランプの例を示したが、先行車であれば左右のテールランプに、テールランプの形状に応じた形状の赤色エリアが表れる。以下では、対向車のヘッドランプを例に説明する。

図３に戻り、ステップ３０２では、ラベリング等を行い、光源の算出を行う。ここでは例えば２値化画像（原画像でも可）をスキャンして、所定の色を示す座標をリスト化する。そして、そのリストから所定の色（例えばヘッドライトの白色）を示すような、光源に対応する所定の連続した座標エリアを抽出する。例えば図４の２値化画像であれば、先述した左右２つの丸い白色エリアである。これらの座標エリアを光源として見做し、ラベリングする。

ステップ３０３では、ラベリングした光源ごとに、その特徴量を算出する。ここで特徴量とは、少なくとも座標エリアの重心位置，幅，高さ，座標，強度，色，構成のいずれか一方を含み、用途に応じて相応しいパラメータを算出特徴量として決めておく。そして、算出した特徴量は、特徴量テーブルに記憶される。ここで、パラメータのうち「構成」とは、１つのヘッドライトが発光している発光源の数を示す。

図５は、図４のステップ３０３で算出する発光源の数の例を示す。図５の右側に示す車両のようなハロゲンライトの場合の発光源は１つであり、左側に示す車両のようなＬＥＤライトの場合は発光源が複数である。

図３に戻り、ステップ３０４では、記憶したヘッドライトやテールライトのペアの算出を行う。水平方向に検索を行い、特徴量のいずれかのパラメータが同一または近似している光源同士をペア光源と判定する。

次にステップ３０５で、判定されたペア光源から、当該ペア光源を有する車両を特定し、その車両との距離および方向を決定する。距離はペア光源同士の幅から既存の技術によって算出することが可能である。また方向は、例えばペア光源の重心を算出し、その重心の座標から車両の方向が特定可能である。

ステップ３０６では、算出した距離と方向から、車両の自車両に対する位置を把握する。そして、当該車両位置から、例えば先行車，対向車を幻惑しないようなぎりぎりの照射距離および方向を定め、それに応じて左右のヘッドライトの制御量を独立に算出し、ヘッドライト駆動回路１０７へ信号を送信する。

このように、先行車や対向車の光源を撮像した画像から特定し、それをペアリングすることにより、ペアリングができない光源、すなわち街灯や看板などを車と誤検知することが抑えられ、より的確な配光パターンのヘッドライト制御が可能になる。

実施例１では、ヘッドライトの特徴として、重心位置，幅，高さ，座標，強度，色，構成を用いた。自車両から近傍の対向車のヘッドライトや先行車のテールライトを対象とする場合は、画像処理にて算出可能であるが、遠方車両に対しては幅，高さ、構成などの要素を画像処理で算出する事は難しい。そこで、遠方の車両に対して精度良くヘッドライトもしくはテールライトのペアを探す例を示す。

図６は、本発明の実施例２をなすジェネラルフローチャートを示す。

光源の算出までは実施例１と同じである。光源の強度，幅，高さから光源が自車両遠方にあるのか近傍にあるのかを判断する。ステップ６０１では、光源の強度が弱く、幅・高さが小さい場合は自車両遠方の光源と判断し、逆の場合は自車両近傍の光源と判断する。光源が自車両遠方にある場合はステップ６０２に進む。

図７は、図６における高速サンプリングタイミングの例を示す。

光源がＬＥＤヘッドライトのような場合、ＯＮ／ＯＦＦ制御で点灯させている場合がある。図７のように高速サンプリングを通常サンプリング（一般に１／６０ｓ間隔）の間に入れ、高速サンプリングの画像から光源の周波数を算出する。高速サンプリングする画面は画面全体でも良いが、画面の一部のみを取り込むようにする事で、画面取り込みの高速化を図ることが可能である。

図８は、図６の例における高速サンプリング画面取り込み例を示す。

図８に示すように光源が移動する事を考慮し、光源の周辺の画像に絞るようにする。また、サンプリング周期を変化させて画面を取り込むようにしても良い。例えば、Ａのサンプリング、Ｂのサンプリング、Ｃのサンプリングの３種類で行ったとする。Ａのサンプリングで算出できた光源、Ｂのサンプリングで算出できた光源、Ｃのサンプリングで算出できた光源などのように、サンプリング周期によって算出された光源を検出する事で、光源のペアを算出可能になる。そして、高速サンプリング後の各光源の周波数解析処理を無くす事ができる。

本実施例では表１に示すように、自車両近傍の光源には「重心位置，幅，高さ，座標，強度，色，構成」の特徴を使用し、自車両遠方の光源には「色，周波数，座標，強度」の特徴を使用することで、精度良く対向車のヘッドライトや先行車のテールライトの光源のペアを算出可能になる。

このように、光源周辺の画面のみを取り込むようにした事で、高速サンプリングが可能になる。

また、サンプリング周期を変化させて光源のペアを算出することで、高速サンプリング後の各光源の周波数解析処理を無くす事ができる。

また高速サンプリングを行っている事から、街灯やＬＥＤの信号など既知の周波数の光源については除外する事が可能になり、精度良く対向車のヘッドライトや先行車のテールライトの光源のペアを算出可能になる。

更に、ヘッドライトやテールライトのペアを精度良く算出できるようになることから、ライトのペアの幅，ペア重心も精度良く算出できるようになる。

そして、幅から先行車や対向車までの距離を算出し、重心から方向を算出することで、自車両ヘッドライトの制御量を距離，方向に応じて、連続的に算出可能になる。

このように、自車両前方の先行車や対向車の光源の位置に応じて、ヘッドライトの光軸の向きや光の強度を変更する配光制御装置において、自車両近傍の光源には「重心位置，幅，高さ，座標，強度，色，構成」の特徴を使用し、自車両遠方の光源には「色，周波数，座標，強度」の特徴を使用することで、精度良く対向車のヘッドライトや先行車のテールライトの光源のペアを算出可能になる。

特に自車両から遠方の車両のヘッドライトやテールライト光源の形状を認識する事が難しいため、本実施例では高速サンプリングを使用することでヘッドライトやテールライトの周波数を算出し、周波数から光源のペア算出するようにした。このことで、自車両から遠方の車両のヘッドライトやテールライト光源のペアを認識する事が可能なる。

本発明の実施例１をなす配光制御装置のブロック構成図を示す。 図１の例における露光から画像処理に至るまでのタイミングチャートを示す。 図１のＣＰＵ１０４で行う処理のジェネラルフローチャートを示す。 図３のステップ３０１における原画像と２値化画像の対応例を示す。 図４のステップ３０３で算出する発光源の数の例を示す。 本発明の実施例２をなすジェネラルフローチャートを示す。 図６における高速サンプリングタイミングの例を示す。 図６の例における高速サンプリング画面取り込み例を示す。 図１の機能ブロック図を示す。

符号の説明

９０１ 入力部
９０２ 座標エリア抽出部
９０３ ペアリング部
９０４ 出力部
９０８ 特徴量算出部

Claims (15)

1. 車両の周囲を撮像するカメラからの撮像信号を入力する入力部と、
   前記入力部で入力した撮像信号から所定の連続した座標エリアを抽出する座標エリア抽出部と、
   前記座標エリア抽出部で抽出した前記座標エリアの特徴量を算出する特徴量算出部と、
   前記座標エリア抽出部で抽出した前記座標エリアのうち、前記特徴量算出部で算出した同一または近似する特徴量を有する前記座標エリア同士をペアリングするペアリング部と、
   前記ペアリング部でペアリングした前記座標エリア同士の距離及び方向を示す信号を出力する出力部と、
   を有する車載用画像処理装置。
2. 請求項１記載の車載用画像処理装置であって、
   前記座標エリア抽出部は、前記入力部で入力した撮像信号を２値化し、２値化した結果から同一の値を有する連続した座標エリアを光源と判断して抽出する車載用画像処理装置。
3. 請求項１記載の車載用画像処理装置であって、
   前記特徴量算出部は、前記座標エリア抽出部で抽出した座標エリアの少なくとも重心位置，幅，高さ，座標，強度，色，構成のいずれか一つを算出する車載用画像処理装置。
4. 請求項１記載の車載用画像処理装置であって、
   前記入力部は、通常よりも高速なサンプリング画像を含む車載用画像処理装置。
5. 請求項４記載の車載用画像処理装置であって、
   前記サンプリング画像は、光源周辺エリアに絞った画像である車載用画像処理装置。
6. 請求項１記載の車載用画像処理装置であって、
   前記入力部で入力する画像は、サンプリング周期が変更されて取り込まれた画像である車載用画像処理装置。
7. 請求項１記載の車載用画像処理装置であって、
   前記ペアリング部は、車両光源以外の既知周波数の光源を排除してからペアリングを行う車載用画像処理装置。
8. 車両の周囲を撮像するカメラからの撮像信号を入力する入力部と、
   前記入力部で入力した撮像信号から所定の連続した座標エリアを抽出する座標エリア抽出部と、
   前記座標エリア抽出部で抽出した前記座標エリアの特徴量を算出する特徴量算出部と、
   前記座標エリア抽出部で抽出した前記座標エリアのうち、前記特徴量算出部で算出した同一または近似する特徴量を有する前記座標エリア同士をペアリングするペアリング部と、
   前記ペアリング部でペアリングした前記座標エリア同士の距離及び方向を示す信号を出力する出力部と、
   前記出力部から得た前記座標エリア同士の距離及び方向に基づきヘッドライト駆動回路への制御量を算出するヘッドライト制御量算出部と、
   を有する配光制御装置。
9. 請求項８記載の配光制御装置であって、
   前記座標エリア抽出部は、前記入力部で入力した撮像信号を２値化し、２値化した結果から同一の値を有する連続した座標エリアを光源と判断して抽出する配光制御装置。
10. 請求項８記載の配光制御装置であって、
    前記特徴量算出部は、前記座標エリア抽出部で抽出した座標エリアの少なくとも重心位置，幅，高さ，座標，強度，色，構成のいずれか一つを算出する配光制御装置。
11. 請求項８記載の配光制御装置であって、
    前記入力部は、通常よりも高速なサンプリング画像を含む配光制御装置。
12. 請求項１１記載の配光制御装置であって、
    前記サンプリング画像は、光源周辺エリアに絞った画像である配光制御装置。
13. 請求項８記載の配光制御装置であって、
    前記入力部で入力する画像は、サンプリング周期が変更されて取り込まれた画像である配光制御装置。
14. 請求項８記載の配光制御装置であって、
    前記ペアリング部は、車両光源以外の既知周波数の光源を排除してからペアリングを行う配光制御装置。
15. 車両の周囲を撮像するカメラからの撮像信号を入力し、
    入力した撮像信号から所定の連続した座標エリアを抽出し、
    抽出した座標エリアの特徴量を算出し、
    抽出した前記座標エリアのうち、同一または近似する特徴量を有する前記座標エリア同士をペアリングし、
    ペアリングした前記座標エリア同士の距離及び方向に基づき車両のヘッドライトの配光を制御する配光制御方法。

Images