JP2013067229A - ライト検出装置、ライト検出プログラム、およびライト制御装置 - Google Patents

ライト検出装置、ライト検出プログラム、およびライト制御装置 Download PDF

Info

Publication number
JP2013067229A
JP2013067229A JP2011205946A JP2011205946A JP2013067229A JP 2013067229 A JP2013067229 A JP 2013067229A JP 2011205946 A JP2011205946 A JP 2011205946A JP 2011205946 A JP2011205946 A JP 2011205946A JP 2013067229 A JP2013067229 A JP 2013067229A
Authority
JP
Japan
Prior art keywords
light
light source
target area
vehicle
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011205946A
Other languages
English (en)
Other versions
JP5573803B2 (ja
Inventor
Taiji Morishita
泰児 森下
Hironori Sato
弘規 佐藤
Kentaro Shioda
健太朗 塩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011205946A priority Critical patent/JP5573803B2/ja
Priority to PCT/JP2012/073884 priority patent/WO2013042675A1/ja
Priority to DE112012003930.0T priority patent/DE112012003930T5/de
Priority to US14/346,099 priority patent/US9493108B2/en
Publication of JP2013067229A publication Critical patent/JP2013067229A/ja
Application granted granted Critical
Publication of JP5573803B2 publication Critical patent/JP5573803B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/076Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle by electrical means including means to transmit the movements, e.g. shafts or joints
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/41Indexing codes relating to other road users or special conditions preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/42Indexing codes relating to other road users or special conditions oncoming vehicle

Abstract

【課題】撮像画像中から他車両のライトを検出するライト検出装置において、他車両のライトを検出する際の処理負荷を過度に重くすることなく、ライトの精度を向上できるようにする。
【解決手段】ライト制御システムにおいては、各光源を表す領域のうちの一部であり予め設定された部位を表す対象領域において、光源の色および光源の形状のうちの少なくとも一方を含む光源特徴量が、車両のライトが有する特徴量として対象領域の位置に対応して準備された対象領域特徴量と一致する確度に応じて、対象領域における光源が他車両のライトである確度を表す対象領域確度を演算し(S140,S150,S180)、対象領域確度が予め設定された閾値以上となる光源について、他車両のライトである旨を出力する(S190)。
【選択図】図2

Description

本発明は、車両に搭載され、撮像画像中から他車両のライトを検出するライト検出装置、ライト検出プログラム、およびライト制御装置に関する。
上記のライト検出装置として、撮像画像中の光源の領域において検出される色(RGB信号のバランス)に基づいて光源の種別を判定するものが知られている(例えば、特許文献1参照)。
特開昭62−131837号公報
しかしながら、上記ライト検出装置では、光源の領域のどの部位の色に基づいてライトを検出するかが明確でなく、色を検出する部位によっては正確な色が検出されない虞がある。また、上記ライト検出装置において検出精度を向上させるには、色を検出する際のサンプリング周波数を高くし、光源領域の多くの点において色を検出すればよいが、このようにすると処理負荷が過度に重くなるという問題がある。
そこで、このような問題点を鑑み、撮像画像中から他車両のライトを検出するライト検出装置において、他車両のライトを検出する際の処理負荷を過度に重くすることなく、ライトの精度を向上できるようにすることを本発明の目的とする。
かかる目的を達成するために成された第1の構成のライト検出装置において、撮像画像取得手段は自車両の周囲を撮像した撮像画像を取得し、光源抽出手段は撮像画像中の光源を抽出する。そして、対象領域確度演算手段は、各光源を表す領域のうちの一部であり予め設定された部位を表す対象領域において、光源の色および光源の形状のうちの少なくとも一方を含む光源特徴量が、車両のライトが有する特徴量として対象領域の位置に対応して準備された対象領域特徴量と一致する確度に応じて、対象領域における光源が他車両のライトである確度を表す対象領域確度を演算する。また、ライト出力手段は、対象領域確度が予め設定された閾値以上となる光源について、他車両のライトである旨を出力する。
このようなライト検出装置によれば、光源特徴量を比較する対象領域が光源を表す領域のうちの一部に設定されるので、対象領域が光源を表す領域の全体に設定される構成と比較して、光源から他車両のライトを検出する際の処理負荷を軽減することができる。
ところで、上記ライト検出装置においては、第2の構成のように、対象領域確度演算手段は、光源特徴量として対象領域を構成する各画素の色の平均値を検出し、この平均値と対象領域特徴量として準備された車両のライトの色とを比較することで対象領域確度を演算するようにしてもよい。
このようなライト検出装置によれば、各画素の色の平均値を対象領域特徴量(準備された車両のライトの色)と比較することで対象領域確度を演算できるので、例えば画素毎に色を比較する構成に比べて、処理負荷を軽減することができる。
さらに、上記ライト検出装置においては、第3の構成のように、光源抽出手段は、光源領域を矩形で抽出し、対象領域確度演算手段は、光源特徴量として光源領域を構成する画素数に対する所定輝度以上の画素数の割合を演算し、この割合と対象領域特徴量として準備された車両のライトを表す割合とを比較することで対象領域確度を演算するようにしてもよい。
このようなライト検出装置によれば、対象領域中に含まれる所定輝度以上の領域の割合を対象領域特徴量(準備された車両のライトを表す割合)と比較することで対象領域確度を演算できるので、例えば光源の形状についてのパターンマッチングを行うことによって車両のライトを検出する構成と比較して、処理負荷を軽減することができる。
また、上記ライト検出装置においては、第4の構成のように、対象領域は、光源を表す領域の中心を除いた領域に設定されていてもよい。
このようなライト検出装置によれば、色を検出することが難しく、また、形状を検出する際に不要な領域となりがちな光源中心の領域を除いた領域を対象領域とするので、効率的に対象領域確度を演算することができる。
さらに、上記ライト検出装置においては、第5の構成のように、対象領域は、光源を表す領域のうちの右端部または左端部を含む領域に設定されていてもよい。
このようなライト検出装置によれば、光源となりうる信号機、テールライト、ヘッドライト、看板等には、横長のものが多いことを鑑みて、対象領域を右端部または左端部を含む領域に設定しているので、より狭い対象領域から効率的に車両のライトを検出することができる。
また、上記ライト検出装置においては、第6の構成のように、対象領域は、光源を表す領域のうちの上端部または下端部を含む領域に設定されていてもよい。
ここで、画像処理の際には、最上段の左端の画素から右端の画素まで連続してデータを読み込み、その後、次の段の左端の画素から右端の画素まで連続してデータを読み込むのが一般的である。この際、右端の画素から次の段の左端の画素を検索する際に若干多くの時間を要するため、データの段数が少ないほうがデータの読み込み時間を短縮できる。
そこで、本発明のライト検出装置では、対象領域を上端部または下端部を含む領域とすることで、対象領域を横長の形状とし、データの段数を減少させている。したがって、このようなライト検出装置によれば、データの読み込み時間を短縮することができる。
次に、上記目的を達成するために成された第7の構成としてのライト検出プログラムは、コンピュータを、上記何れか1項に記載のライト検出装置を構成する各手段として機能させるためのプログラムであることを特徴としている。
このようなライト検出プログラムによれば、上記ライト検出装置と同様の効果を享受することができる。
また、上記目的を達成するために成された第8の構成としてのライト制御装置は、自車両の周囲に存在する他車両を検出する他車両検出手段と、自車両の周囲の他車両が検出されるとヘッドライトの光軸の向きを下向きに変更する光軸方向変更手段と、を備え、他車両検出手段は、上記ライト検出装置として構成されていることを特徴としている。
このようなライト制御装置によれば、他車両検出手段が上記ライト検出装置として構成されていることで車両のライトを良好に検出することができるので、他車両を眩惑することがないように正確にヘッドライトの光軸の向きを制御することができる。
なお、上記各発明において、車両のライトが有する色や形の特徴量、車両のライトでない光源を表す外乱物が有する色や形の特徴量等については、予めデータベースとしてライト検出装置の内部または外部におけるメモリ等の記録部に保持されていればよい。
ライト制御システム1の概略構成を示すブロック図である。 実施形態のライト制御処理を示すフローチャートである。 色計算処理を示すフローチャートである。 色計算処理の具体例を示す説明図である。 形計算処理を示すフローチャートである。 形計算処理の具体例を示す説明図である。 実施形態の車両光源判別処理を示すフローチャートである。 変形例の車両光源判別処理を示すフローチャートである。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
図1は本発明が適用されたライト制御システム1の概略構成を示すブロック図である。ライト制御システム1は、例えば乗用車等の車両に搭載され、自車両の周囲に他車両が存在する場合(詳細には、自車両のヘッドライトが眩惑を発生させる可能性がある範囲内に他車両が存在する場合)に、自車両のヘッドライトの光軸の向きを下向きに変更し、眩惑を防止する機能を有する。
また、車両のライトを検出する際には、各光源を表す領域のうちの一部であり予め設定された部位を表す対象領域において、光源の色および光源の形状(光源特徴量)が、車両のライトが有する特徴量として対象領域の位置に対応して準備されたパラメータ(対象領域特徴量)と一致する確度(光源の色や形が一定の許容範囲内に収まっているか否か)に応じて、対象領域における光源が他車両のライトであるか否かを判定する。
詳細には、図1に示すように、ライト制御システム1は、処理部10(ライト検出装置)と、カメラ20と、ライト制御部30と、を備えている。カメラ20は、車両の進行方向(特に前方)における少なくともヘッドライトによる照射範囲内が撮像範囲に含まれるように配置されており、撮像画像を処理部10に送る。
ライト制御部30は、処理部10により車両のライトの検出結果を受けてヘッドライトの光軸の向きを制御する。具体的には、撮像画像中に車両のライトがある旨の検出結果を受けると、ヘッドライトをロービームに切り換え、撮像画像中に車両のライトがない旨の検出結果を受けると、ハイビームを切り換える(光軸方向変更手段)。なお、ライト制御部30は、処理部10からの指令に応じて光軸の向きを他車両が存在しない方向(例えば下方向や左方向)へ移動させる構成であってもよい。
処理部10は、CPU、ROM、RAM等を備えた周知のマイコンとして構成されており、ROMに格納されたプログラムやRAMにロードされたプログラムに基づいて、後述するライト制御処理(ライト検出プログラム)等の各種処理を実施する。また、処理部10は、車両のライトの特徴を示すパラメータ(ヘッドライト、テールライト等の形状、色等を示す値)や、車両以外の光源の特徴を示すパラメータ(看板、反射板等の形状、色等を示す値)が格納されたデータベース(DB)11を備えている。なお、このデータベース11に格納されたパラメータは、撮像画像中から車両のライトを示す光源を、車両のライト以外の光源と識別して検出する際に利用される。
[本実施形態の処理]
次に、撮像画像中から車両のライトを示す光源を識別して検出し、ヘッドライトの光軸の向きを制御する処理について図2を用いて説明する。図2は処理部10が実行するライト制御処理を示すフローチャートである。なお、ライト制御処理でのS110〜S180の処理は、本発明でいう他車両検出手段に相当し、ライト制御処理でのS140,S150,S180の処理は、本発明でいう対象領域確度演算手段に相当する。
ライト制御処理は、車両の電源が投入されると開始され、その後、所定の周期毎(例えば100ms毎)に実行される処理である。詳細には、図2に示すように、まず、カメラ20による撮像画像を取得する(S110:撮像画像取得手段)。
そして、撮像画像中からライト候補を抽出する(S120:光源抽出手段)。この処理では、撮像画像中の光源としての領域の全てが含まれ、かつ最小となる領域を矩形(長方形)で切り出し、切り出した領域毎にラベル付け(番号付け)を行う。この処理では、撮像画像中の光源が大きなものほど大きな領域が切り出されることになる。
続いて、後述する、色計算処理(S140)、形計算処理(S150)、車両光源判別処理(S160)の各種処理を順に実施する。車両光源判別処理が終了すると、車両のライトの検出結果をライト制御部30に送り(S190:ライト出力手段)、ライト制御処理を終了する。
続いて、色計算処理について図3に示すフローチャートを用いて説明する。色計算処理では、対象領域を構成する各画素の色の平均値を検出する処理を行う。
色計算処理では、まず、色計算を行う対象となる対象領域を選択する(S210)。ここで、対象領域は予め設定されており、本処理では例えば、ライト候補を表す領域の中心を除いた領域に設定されている。
特に本処理では、ライト候補を表す領域の幅に対して右端部から35%程度までの領域、および左端部から35%までの領域、の2つの領域が対象領域として設定されており、このうちの1つの領域(例えば左側の領域)を選択する。なお、本処理が後述するS320の処理後に実施されている場合には、まだ選択されていない対象領域(例えば右側の領域)を選択する。
例えば図4(a)に示すような撮像画像が得られた場合、S120の処理にて、図4(b)や図4(c)に示すような白色実線で示す領域(ライト候補を示す領域)が抽出され、この処理では、白色破線で示す領域がそれぞれ対象領域として選択される。図4は、ライト候補として、左右のテールライトおよび中央の反射板(或いはナンバープレート)が含まれる例を示すが、対象領域にはテールライトの部位が含まれ、反射板の領域がほとんど含まれていないことが分かる。
続いて、選択した領域のうちの最初の座標を選択する(S220)。この処理では、例えば、対象領域の左上隅の画素を選択する。
そして、抽出したライト候補についての探索が終了したか否か(全ての画素について、後述するS250の処理が実施されたか否か)を判定する(S240)。抽出したライト候補についての探索が終了していなければ(S240:NO)、選択した座標(画素)が選択中の対象領域内であるか否かを判定する(S250)。
選択した座標(画素)が選択中の対象領域内であれば(S250:YES)、選択した座標の色を数値として計算する(S260)。この処理では、選択した座標における色を、所定の信号成分(例えば、RGB,Lab等)に分解し、それぞれの値を保持する。
続いて、色合計値を算出する(S270)。この処理では、今回算出した色の数値を、対象領域毎、かつ信号成分毎に累積する。S270の処理が終了した場合、およびS250の処理で、選択した座標(画素)が選択中の対象領域外である場合(S250:NO)には、未選択の次の座標(例えば、選択していた座標の右隣りの座標)を選択し(S280)、S240の処理に戻る。
ところで、前述のS240の処理にて、抽出したライト候補についての探索が終了していれば(S240:YES)、抽出したライト候補としての色を計算する(S310)。この処理では、選択中の対象領域において算出された色合計値(累積値)を選択中の対象領域の画素数で除算することで、この対象領域の色を算出する。そして、複数の対象領域において対象領域の色が算出された場合には、これらの対象領域の色を平均化することで、ライト候補の色を算出する。
本処理では、ライト候補にテールライトが含まれる場合に、対象領域には反射板が含まれないようにしているので、他の色と混ざることのない正確な色としてテールライトの色等を検出することができる。
続いて、このライト候補に含まれる全ての対象領域を選択したか否かを判定する(S320)。何れかの対象領域を選択していなければ(S320:NO)、S210の処理に戻る。また、全ての対象領域を選択していれば(S320:YES)、色計算処理を終了する。
次に、形計算処理について図5に示すフローチャートを用いて説明する。形計算処理では、光源領域を構成する画素数に対する所定輝度以上の画素数の割合を演算する処理を行う。
形計算処理では、まず、色計算を行う対象となる対象領域を選択する(S410)。ここで、対象領域は予め設定されており、本処理においても、ライト候補を表す領域の中心を除いた領域に設定されている。
特に本処理では、ライト候補を表す領域の幅に対して上端部から30%程度までの領域、および下端部から30%までの領域、の2つの領域が対象領域として設定されており、このうちの1つの領域(例えば上側の領域)を選択する。なお、本処理が後述するS520の処理後に実施されている場合には、まだ選択されていない対象領域(例えば下側の領域)を選択する。
例えば図6(a)に示すような車両のヘッドライトを含む撮像画像が得られた場合、S120の処理にて、図6(b)や図6(c)に示すような白色実線で示す領域(ライト候補を示す領域)が抽出され、この処理では、破線で示す領域がそれぞれ対象領域として選択される。また、図6(d)や図6(f)に示すような看板を含む撮像画像が得られた場合にも同様に、図6(e)や図6(g)に示すような破線で示す領域が対象領域として選択される。
続いて、選択した領域のうちの最初の座標を選択する(S420)。この処理では、例えば、対象領域の左上隅の画素を選択する。
そして、抽出したライト候補についての探索が終了したか否か(全ての画素について、後述するS450の処理が実施されたか否か)を判定する(S440)。抽出したライト候補についての探索が終了していなければ(S440:NO)、選択した座標(画素)が選択中の対象領域内であるか否かを判定する(S450)。
選択した座標(画素)が選択中の対象領域内であれば(S450:YES)、選択した画素の画素値(輝度値)と、光源の領域を示すものとして有効と判断するための閾値である有効画素閾値(例えばダイナミックレンジ幅の下から40%程度に設定される値)とを比較する(S460)。画素値が有効画素閾値よりも大きければ(S460:YES)、有効画素数(を表すカウンタ)をインクリメントする(S470)。
S470の処理が終了した場合、S450の処理で、選択した座標(画素)が選択中の対象領域外である場合(S450:NO)、およびS460の処理で、画素値が有効画素閾値未満である場合(S460:NO)には、未選択の次の座標(例えば、選択していた座標の右隣りの座標)を選択し(S480)、S440の処理に戻る。
ところで、前述のS440の処理にて、抽出したライト候補についての探索が終了していれば(S440:YES)、抽出したライト候補の形(面積比率)を計算する(S510)。この処理では、選択中の対象領域において算出された有効画素数を選択中の対象領域の画素数で除算することで、対象領域中の光源の形を計算する。そして、複数の対象領域において光源の形が算出された場合には、これらを平均化することで、ライト候補の形を算出する。
例えば、ライト候補がヘッドライトの場合には、図6(b)、図6(c)に示すように、光源の形状が円形に近くなるため、対象領域の画素数に対する有効画素数は円形に対応した面積比率となる。一方で、ライト候補がヘッドライトでない場合には、図6(e)、図6(g)に示すように、対象領域の画素数に対する有効画素数が、ヘッドライトのものとは異なる面積比率となる。
続いて、このライト候補に含まれる全ての対象領域を選択したか否かを判定する(S520)。何れかの対象領域を選択していなければ(S520:NO)、S410の処理に戻る。また、全ての対象領域を選択していれば(S520:YES)、形計算処理を終了する。
次に、車両光源判別処理について図7に示すフローチャートを用いて説明する。車両光源判別処理は、色計算処理および形計算処理による演算結果を利用して、ライト候補が車両のライトであるか否かを決定する処理である。
車両光源判別処理では、まず、色平均値が車両のヘッドライトとして予め準備された範囲(閾値)内であること、かつ、面積比率がヘッドライトの形状として予め準備された半円形状を示す半円比率以上であること、かつ、面積比率が四角形の看板等を示す四角比率未満であること、の全ての条件を満たすか否かを判定する(S610)。
なお、この処理で設定される色の閾値としては、ヘッドライトの色が白に近い色であるため、各色の信号成分(例えばRGB)の全てが比較的大きな値に設定される。また、半円比率は四角比率よりも小さな値に設定されている。
何れかの条件を満たしていなければ(S610:NO)、色平均値が車両のテールライトとして予め準備された範囲(閾値)内であること、かつ、面積比率がテールライトの形状として予め準備された半円形状を示す比率以上であること、かつ、面積比率が四角形の看板等を示す四角比率未満であること、の全ての条件を満たすか否かを判定する(S620)。
なお、この処理で設定される色の閾値としては、テールライトの色が赤に近い色であるため、各色の信号成分(例えばRGB)のうちの赤色の成分に対して大きな値が設定され、他の色の成分については小さな値が設定される。また、予め準備された閾値や比率等のパラメータは、データベース11に記録されている。
何れかの条件を満たしていなければ(S620:NO)、ライト候補が車両のライトでないものとして、車両光源判定フラグをOFFにセットし(S630)、車両光源判別処理を終了する。
また、S610またはS620の処理にて、全ての条件を満たしていれば(S610:YESまたはS620:YES)、ライト候補が車両のライトであるものとして、車両光源判定フラグをONにセットし(S640)、車両光源判別処理を終了する。
[本実施形態による効果]
以上のように詳述したライト制御システム1において処理部10は、自車両の周囲に存在する他車両を検出し、自車両の周囲の他車両が検出されるとライト制御部30は、ヘッドライトの光軸の向きを下向きに変更する。特に他車両を検出する処理において、処理部10は自車両の周囲を撮像した撮像画像を取得し、撮像画像中の光源を抽出する。そして、各光源を表す領域のうちの一部であり予め設定された部位を表す対象領域において、光源の色および光源の形状のうちの少なくとも一方を含む光源特徴量が、車両のライトが有する特徴量として対象領域の位置に対応して準備された対象領域特徴量と一致する確度に応じて、対象領域における光源が他車両のライトである確度を表す対象領域確度を演算する。また、処理部10は、対象領域確度が予め設定された閾値以上となる光源について、他車両のライトである旨を出力する。
このようなライト制御システム1によれば、光源特徴量を比較する対象領域が光源を表す領域のうちの一部に設定されるので、対象領域が光源を表す領域の全体に設定される構成と比較して、光源から他車両のライトを検出する際の処理負荷を軽減することができる。また、他車両を眩惑することがないように正確にヘッドライトの光軸の向きを制御することができる。
また、上記ライト制御システム1において処理部10は、光源特徴量として対象領域を構成する各画素の色の平均値を検出し、この平均値と対象領域特徴量として準備された車両のライトの色とを比較することで対象領域確度を演算する。
このようなライト制御システム1によれば、各画素の色の平均値を対象領域特徴量(準備された車両のライトの色)と比較することで対象領域確度を演算できるので、例えば画素毎に色を比較する構成に比べて、処理負荷を軽減することができる。
さらに、上記ライト制御システム1において処理部10は、光源領域を矩形で抽出し、光源特徴量として光源領域を構成する画素数に対する所定輝度以上の画素数の割合を演算し、この割合と対象領域特徴量として準備された車両のライトを表す割合とを比較することで対象領域確度を演算する。
このようなライト制御システム1によれば、対象領域中に含まれる所定輝度以上の領域の割合を対象領域特徴量(準備された車両のライトを表す割合)と比較することで対象領域確度を演算できるので、例えば光源の形状についてのパターンマッチングを行うことによって車両のライトを検出する構成と比較して、処理負荷を軽減することができる。
また、上記ライト制御システム1において、対象領域は、光源を表す領域の中心を除いた領域に設定されている。
このようなライト制御システム1によれば、色を検出することが難しく、また、形状を検出する際に不要な領域となりがちな光源中心の領域を除いた領域を対象領域とするので、効率的に対象領域確度を演算することができる。
さらに、上記ライト制御システム1において、対象領域は、光源を表す領域のうちの右端部または左端部を含む領域に設定されている。
このようなライト制御システム1によれば、光源となりうる信号機、テールライト、ヘッドライト、看板等には、横長のものが多いことを鑑みて、対象領域を右端部または左端部を含む領域に設定しているので、より狭い対象領域から効率的に車両のライトを検出することができる。
また、上記ライト制御システム1において、対象領域は、光源を表す領域のうちの上端部または下端部を含む領域にも設定されている。
ここで、画像処理の際には、最上段の左端の画素から右端の画素まで連続してデータを読み込み、その後、次の段の左端の画素から右端の画素まで連続してデータを読み込むのが一般的である。この際、右端の画素から次の段の左端の画素を検索する際に若干の時間を要するため、データの段数が少ないほうがデータの読み込み時間を短縮できる。
そこで、上記ライト制御システム1では、対象領域を上端部または下端部を含む領域とすることで、対象領域を横長の形状とし、データの段数を減少させている。したがって、このようなライト制御システム1によれば、データの読み込み時間を短縮することができる。
[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
例えば、上記実施形態においては、対象領域を、右端領域および左端領域、並びに上端領域および下端領域としたが、ライト候補となる領域の中心を外していればどのような領域であってもよく、また複数の領域を任意に組み合わせてもよい。
また、上記実施形態のライト制御処理においては、色による判定(色計算処理)と形による判定(形計算処理)との両方を行ったが、何れか一方のみを行ってもよい。この場合には、車両光源判別処理において、色による判定結果または形による判定結果のみを利用するようにすればよい。
具体的には、色による判定結果のみを利用する場合には、図8(a)に示すように、前述のS610の処理に換えて、色平均値が車両のヘッドライトとして予め準備された範囲(閾値)内であるか否かを判定し(S710)、S620の処理に換えて、色平均値が車両のテールライトとして予め準備された範囲(閾値)内であるか否かを判定する(S620)ようにすればよい。
また、形による判定結果のみを利用する場合には、図8(b)に示すように、前述のS610の処理に換えて、面積比率がヘッドライトの形状として予め準備された半円形状を示す比率以上であるか否かを判定し(S760)、S620の処理に換えて、面積比率が四角形の看板等を示す四角比率未満であるか否かを判定する(S770)ようにすればよい。
これらのようにすれば、処理負荷をより軽減することができる。
また、色による判定(色計算処理)と形による判定(形計算処理)との両方を行う場合においては、色による数値が車両のライトとしての数値と一致する程度と、形による数値が車両のライトとしての数値と一致する程度と、をそれぞれ点数化し、これらの点数の加重平均に応じて車両のライトであるか否かを決定するようにしてもよい。
1…ライト制御システム、10…処理部、11…データベース、20…カメラ、30…ライト制御部。

Claims (8)

  1. 車両に搭載され、撮像画像中から他車両のライトを検出するライト検出装置であって、
    自車両の周囲を撮像した撮像画像を取得する撮像画像取得手段と、
    撮像画像中の光源を抽出する光源抽出手段と、
    各光源を表す領域のうちの一部であり予め設定された部位を表す対象領域において、光源の色および光源の形状のうちの少なくとも一方を含む光源特徴量が、車両のライトが有する特徴量として対象領域の位置に対応して準備された対象領域特徴量と一致する確度に応じて、前記対象領域における光源が他車両のライトである確度を表す対象領域確度を演算する対象領域確度演算手段と
    前記対象領域確度が予め設定された閾値以上となる光源について、他車両のライトである旨を出力するライト出力手段と、
    を備えたことを特徴とするライト検出装置。
  2. 請求項1に記載のライト検出装置において、
    前記対象領域確度演算手段は、前記光源特徴量として対象領域を構成する各画素の色の平均値を検出し、該平均値と前記対象領域特徴量として準備された車両のライトの色とを比較することで前記対象領域確度を演算すること
    を特徴とするライト検出装置。
  3. 請求項1または請求項2に記載のライト検出装置において、
    前記光源抽出手段は、光源領域を矩形で抽出し、
    前記対象領域確度演算手段は、前記光源特徴量として光源領域を構成する画素数に対する所定輝度以上の画素数の割合を演算し、該割合と前記対象領域特徴量として準備された車両のライトを表す割合とを比較することで前記対象領域確度を演算すること
    を特徴とするライト検出装置。
  4. 請求項1〜請求項3の何れか1項に記載のライト検出装置において、
    前記対象領域は、光源を表す領域の中心を除いた領域に設定されていること
    を特徴とするライト検出装置。
  5. 請求項1〜請求項4の何れか1項に記載のライト検出装置において、
    前記対象領域は、光源を表す領域のうちの右端部または左端部を含む領域に設定されていること
    を特徴とするライト検出装置。
  6. 請求項1〜請求項4の何れか1項に記載のライト検出装置において、
    前記対象領域は、光源を表す領域のうちの上端部または下端部を含む領域に設定されていること
    を特徴とするライト検出装置。
  7. コンピュータを、請求項1〜請求項6の何れか1項に記載のライト検出装置を構成する各手段として機能させるためのライト検出プログラム。
  8. 車両に搭載され、自車両のヘッドライトにおける光軸の向きを制御するライト制御装置であって、
    自車両の周囲に存在する他車両を検出する他車両検出手段と、
    自車両の周囲の他車両が検出されるとヘッドライトの光軸の向きを下向きに変更する光軸方向変更手段と、を備え、
    前記他車両検出手段は、請求項1〜請求項6の何れか1項に記載のライト検出装置として構成されていること
    を特徴とするライト制御装置。
JP2011205946A 2011-09-21 2011-09-21 ライト検出装置、ライト検出プログラム、およびライト制御装置 Expired - Fee Related JP5573803B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011205946A JP5573803B2 (ja) 2011-09-21 2011-09-21 ライト検出装置、ライト検出プログラム、およびライト制御装置
PCT/JP2012/073884 WO2013042675A1 (ja) 2011-09-21 2012-09-19 他の車両のライトを検出する装置及びその検出を行うコンピュータ用プログラム、並びに、車両用ライト制御装置
DE112012003930.0T DE112012003930T5 (de) 2011-09-21 2012-09-19 Vorrichtung zur Erfassung anderen Fahrzeuglichts, Programm für einen Computer, der das Licht erfasst, und Lichtsteuervorrichtung für Fahrzeuge
US14/346,099 US9493108B2 (en) 2011-09-21 2012-09-19 Apparatus for detecting other vehicle lights and light control apparatus for vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011205946A JP5573803B2 (ja) 2011-09-21 2011-09-21 ライト検出装置、ライト検出プログラム、およびライト制御装置

Publications (2)

Publication Number Publication Date
JP2013067229A true JP2013067229A (ja) 2013-04-18
JP5573803B2 JP5573803B2 (ja) 2014-08-20

Family

ID=47914438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011205946A Expired - Fee Related JP5573803B2 (ja) 2011-09-21 2011-09-21 ライト検出装置、ライト検出プログラム、およびライト制御装置

Country Status (4)

Country Link
US (1) US9493108B2 (ja)
JP (1) JP5573803B2 (ja)
DE (1) DE112012003930T5 (ja)
WO (1) WO2013042675A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176418A1 (ja) * 2018-03-15 2019-09-19 株式会社小糸製作所 車両用ランプ、車両検出方法及び車両検出装置
JPWO2018225462A1 (ja) * 2017-06-05 2020-02-06 日立オートモティブシステムズ株式会社 画像処理装置および配光制御システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
US9779314B1 (en) 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
CN106529411B (zh) 2016-10-11 2020-07-28 北京小米移动软件有限公司 车辆提示方法及装置
US10040390B2 (en) * 2016-10-11 2018-08-07 Ford Global Technologies, Llc Vehicle light diagnostic
JP6816679B2 (ja) * 2017-09-05 2021-01-20 トヨタ自動車株式会社 車両の制御装置
US10369923B1 (en) * 2018-04-30 2019-08-06 Automotive Research & Testing Center Operation method of adaptive driving beam headlamp system
KR102220950B1 (ko) * 2019-07-31 2021-02-26 엘지전자 주식회사 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치
DE102019213318A1 (de) * 2019-09-03 2021-03-04 Robert Bosch Gmbh Verfahren zum Erstellen einer Karte sowie Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007238090A (ja) * 2006-03-10 2007-09-20 Valeo Vision 車載投光器の自動切換え制御方法
JP2008040615A (ja) * 2006-08-02 2008-02-21 Denso Corp 車両検出装置及びヘッドランプ制御装置
JP2010096668A (ja) * 2008-10-17 2010-04-30 Denso Corp 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置
JP2010221756A (ja) * 2009-03-19 2010-10-07 Toyota Central R&D Labs Inc 車両灯火判定装置
JP2011103070A (ja) * 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60255537A (ja) 1984-05-31 1985-12-17 Mitsubishi Electric Corp 自動車の前照灯の自動切替装置
JPH0655581B2 (ja) 1985-12-05 1994-07-27 日本電装株式会社 車両のヘッドライト制御装置
JPH0593981U (ja) 1992-05-27 1993-12-21 株式会社小糸製作所 グレアセンサ
JP4544233B2 (ja) * 2006-10-11 2010-09-15 株式会社デンソー 車両検出装置及びヘッドランプ制御装置
JP4702426B2 (ja) * 2008-10-10 2011-06-15 株式会社デンソー 車両検出装置、車両検出プログラム、およびライト制御装置
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007238090A (ja) * 2006-03-10 2007-09-20 Valeo Vision 車載投光器の自動切換え制御方法
JP2008040615A (ja) * 2006-08-02 2008-02-21 Denso Corp 車両検出装置及びヘッドランプ制御装置
JP2010096668A (ja) * 2008-10-17 2010-04-30 Denso Corp 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置
JP2010221756A (ja) * 2009-03-19 2010-10-07 Toyota Central R&D Labs Inc 車両灯火判定装置
JP2011103070A (ja) * 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018225462A1 (ja) * 2017-06-05 2020-02-06 日立オートモティブシステムズ株式会社 画像処理装置および配光制御システム
WO2019176418A1 (ja) * 2018-03-15 2019-09-19 株式会社小糸製作所 車両用ランプ、車両検出方法及び車両検出装置

Also Published As

Publication number Publication date
US20140226349A1 (en) 2014-08-14
JP5573803B2 (ja) 2014-08-20
WO2013042675A1 (ja) 2013-03-28
US9493108B2 (en) 2016-11-15
DE112012003930T5 (de) 2014-07-17

Similar Documents

Publication Publication Date Title
JP5573803B2 (ja) ライト検出装置、ライト検出プログラム、およびライト制御装置
JP4853160B2 (ja) 車両検出装置及びヘッドランプ制御装置
JP4544233B2 (ja) 車両検出装置及びヘッドランプ制御装置
JP4253271B2 (ja) 画像処理システム及び車両制御システム
JP4702426B2 (ja) 車両検出装置、車両検出プログラム、およびライト制御装置
US20170144587A1 (en) Vehicle exterior environment recognition apparatus
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
JP6132412B2 (ja) 車外環境認識装置
RU2017135414A (ru) Способ, система и машиночитаемые носители хранения данных для обнаружения стоп-сигналов
JP5884635B2 (ja) 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
JP6612135B2 (ja) 車両検出装置および配光制御装置
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
JP2005092861A (ja) 車両制御システム
JP2008211410A (ja) 車載用画像認識装置及び配光制御装置、並びに配光制御方法
US10839235B2 (en) Method and apparatus for detecting light source of vehicle
JP6420650B2 (ja) 車外環境認識装置
JP6335065B2 (ja) 車外環境認識装置
JP2013028239A (ja) ライト検出装置、ライト検出プログラム、およびライト制御装置
JP2023007604A (ja) 信号認識装置
JP7035339B2 (ja) ブレーキ判定方法及びブレーキ判定装置
JP2017097497A (ja) 車外環境認識装置
JP7058753B2 (ja) カメラ装置
JP5821780B2 (ja) 車両光源検出装置および車両光源検出プログラム
JP5831362B2 (ja) 車両光源検出装置および車両光源検出プログラム
JP2021111122A (ja) レーンマーク認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140616

R151 Written notification of patent or utility model registration

Ref document number: 5573803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees