JP2019077391A - ヘッドライト制御システム - Google Patents

ヘッドライト制御システム Download PDF

Info

Publication number
JP2019077391A
JP2019077391A JP2017207309A JP2017207309A JP2019077391A JP 2019077391 A JP2019077391 A JP 2019077391A JP 2017207309 A JP2017207309 A JP 2017207309A JP 2017207309 A JP2017207309 A JP 2017207309A JP 2019077391 A JP2019077391 A JP 2019077391A
Authority
JP
Japan
Prior art keywords
learning
headlight
irradiation
states
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017207309A
Other languages
English (en)
Other versions
JP6816701B2 (ja
Inventor
直一 原田
Naoichi Harada
直一 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017207309A priority Critical patent/JP6816701B2/ja
Priority to US16/110,320 priority patent/US11358519B2/en
Priority to RU2018130686A priority patent/RU2691939C1/ru
Priority to EP18190814.6A priority patent/EP3477541A1/en
Priority to CN201810974436.9A priority patent/CN109703442B/zh
Priority to KR1020180101882A priority patent/KR20190046619A/ko
Priority to BR102018072002-3A priority patent/BR102018072002A2/pt
Publication of JP2019077391A publication Critical patent/JP2019077391A/ja
Application granted granted Critical
Publication of JP6816701B2 publication Critical patent/JP6816701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2696Mounting of devices using LEDs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05Special features for controlling or switching of the light beam
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/305Calendar date or clock time
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/31Atmospheric conditions
    • B60Q2300/312Adverse weather
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/31Atmospheric conditions
    • B60Q2300/314Ambient light
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/33Driving situation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

【課題】走行シーンに応じて適切にヘッドライトの照射状態を制御する。【解決手段】ヘッドライト制御システム(10)は、複数の発光部を含むヘッドライト(20)及び前方の状況を撮像する撮像手段(30)を備える移動体のヘッドライト制御システムである。ヘッドライト制御システムは、複数の発光部の各々の発光の有無又は発光度合いの少なくとも一方を変化させて、ヘッドライトの照射状態を複数の状態に変化させる照射状態制御手段(110)と、複数の状態ごとに前方の状況を撮像するように撮像手段を制御して撮像画像を取得する撮像制御手段(120)と、複数の状態ごとに撮像された撮像画像に基づいて、前方の状況に適した照射状態を学習する学習手段(130)とを備える。【選択図】図1

Description

本発明は、移動体のヘッドライトを制御するヘッドライト制御システムの技術分野に関する。
この種の装置として、車両等の移動体に搭載されたヘッドライトの照射パターン(例えば、照射範囲や照射光量等)を制御することで、より適切な運転環境を実現しようとするものが知られている。例えば特許文献1では、LEDヘッドライトの照射範囲を制御することで、ヘッドライトを照射した際の路面の明暗差によって生ずるグレア現象を抑制し、周辺視の空間認知特性を向上させるという技術が開示されている。
特開2016−107861号公報
ヘッドライトの最適な照射パターンは、例えば天候や時間帯、他車両の状態等の様々な条件(即ち、走行シーン)によって変化すると考えられる。このため、ヘッドライトの照射パターンは、走行シーン毎に適切なものが設定されることが好ましい。具体的には、ヘッドライトが実現可能な複数の照射パターンの中から、現在の走行シーンに適した照射パターンが適宜選択されるように設定されることが望まれる。
しかしながら、走行シーンに適した照射パターンを予め設定するのは、決して容易なことではない。加えて、ヘッドライトが実現可能な照射パターンが増加する(即ち、照射パターンの選択肢が増える)ことで、最適な照射パターンを設定することが更に難しくなっていく。例えば、ヘッドライトの照射パターンが数千万パターン以上ある場合には、その中から最適な照射パターンを見つけるためには、かなりの手間と労力が要求されてしまう。
本発明は、上記問題点に鑑みてなされたものであり、走行シーンに応じて適切にヘッドライトの照射状態を制御することが可能なヘッドライト制御システムを提供することを課題とする。
本発明の一態様にかかるヘッドライト制御システムは、複数の発光部を含むヘッドライト及び前方の状況を撮像する撮像手段を備える移動体のヘッドライト制御システムであって、前記複数の発光部の各々の発光の有無又は発光度合いの少なくとも一方を変化させて、前記ヘッドライトの照射状態を複数の状態に変化させる照射状態制御手段と、前記複数の状態ごとに前記前方の状況を撮像するように前記撮像手段を制御して撮像画像を取得する撮像制御手段と、前記複数の状態ごとに撮像された撮像画像に基づいて、前記前方の状況に適した照射状態を学習する学習手段とを備える。
本実施形態に係るヘッドライト制御システムの構成を示すブロック図である。 ヘッドライトの照射パターンを示す概念図である。 本実施形態に係るヘッドライト制御システムによる学習時の動作の流れを示すフローチャートである。 学習動作時に取得される画像データの一例を示す平面図である。 学習動作時に使用する照射パターン数の変化を示す概念図である。 本実施形態に係るヘッドライト制御システムによる照射パターン自動制御時の動作の流れを示すフローチャートである。
以下、図面を参照してヘッドライト制御システムの実施形態について説明する。なお、本実施形態では、車両に搭載されたヘッドライトを制御するシステムを例に挙げて説明する。
<装置構成>
まず、本実施形態に係るヘッドライト制御システムの構成について、図1を参照して説明する。図1は、本実施形態に係るヘッドライト制御システムの構成を示すブロック図である。
図1に示すように、本実施形態に係るヘッドライト制御システム10は、例えば車両に搭載されるECU(Electronic Control Unit)の一部として構成されており、その内部に物理的又は論理的に実現される処理ブロックとして、照射パターン制御部110、撮像制御部120、及び学習部130を備えている。
照射パターン制御部110は、後述する付記における「照射状態制御手段」の一具体例であり、ヘッドライト20の照射パターンを制御することが可能である。なお、照射パターンは、後述する付記における「照射状態」の一具体例である。ヘッドライト20の照射パターンについて、図2を参照して具体的に説明する。図2は、ヘッドライトの照射パターンを示す概念図である。
図2に示すように、本実施形態に係るヘッドライト20は、縦4個×横4個のLEDマトリクスで構成されている。なお、ここでのLEDは、後述する付記における「発光部」の一具体例である。照射パターン制御部110は、LEDマトリクスの合計16箇所の点灯状態を夫々制御することで、様々な照射パターンを実現する。具体的には、LEDマトリクスの16箇所の各々を「点灯(即ち、高い明度で点灯した状態)」、「暗(即ち、低い明度で点灯した状態)」、及び「消灯」のいずれかに切替えることで、複数の照射パターンを実現する。なお、このようなヘッドライト20は、車両の左右に1個ずつ(合計2個)設けられている。よって、全ての照射状態を組み合わせると、膨大な数の照射パターンを実現することができる。
なお、ヘッドライトの20に含まれるLEDマトリクスの数は、図2で示したものより少なくてもよいし、多くてもよい。また、LEDの点灯状態は、上記のように3段階(即ち、「点灯」、「暗」及び「消灯」)で切換えられるものに限られず、例えば「点灯」及び「消灯」の2段階で切換え可能とされ得てもよいし、より多段階の調光を実現可能に構成されていてもよい。
図1に戻り、撮像制御部120は、後述する付記における「撮像制御手段」の一具体例であり、照射パターン制御部110によってヘッドライト20の照射パターンが切換えられる度に、カメラ30から車両の前方の状況を示す画像データを取得する。カメラ30は、後述する付記における「撮像手段」の一具体例であり、車両前方の状況を撮像する車載カメラである。撮像制御部120で取得された画像データは、学習部30に出力される。撮像制御部120は、取得した画像データに対して各種処理(例えば、フィルタ処理等)を実行可能であってもよい。
学習部130は、後述する付記における「学習手段」の一具体例であり、撮像制御部120から入力される複数の画像データを用いて、車両の前方の状況に適したヘッドライト20の照射パターンを学習する。前方の状況とは、例えば時間帯、天候、明るさ、他車両や歩行者等の障害物の有無など、様々な条件によって定義される。以下では、前方の状況のことを、適宜「走行シーン」と言い換えることがある。学習部130が行う学習の具体的な内容については、後に詳述する。
なお、ヘッドライト制御システム10のうち、照射パターン制御部110及び撮像制御部120については、車両に搭載されることが好ましいが、学習部130については、車両外部のサーバやクラウド等に、その機能を持たせるようにしてもよい。この場合、車両に搭載された照射パターン制御部110及び撮像制御部120と、車両外部の学習部130とは互いに通信可能に構成される。
<学習動作>
次に、本実施形態に係るヘッドライト制御システム10で実行される学習動作(即ち、走行シーンに応じた照射パターンを学習する動作)について、図3を参照して説明する。図3は、本実施形態に係るヘッドライト制御システムによる照射パターン学習時の動作の流れを示すフローチャートである。
図3に示すように、学習動作時には、まず照射パターン制御部110が、ヘッドライト20の照射パターンを切替えるように制御する(ステップS101)。即ち、それまでの照射パターンとは異なる照射パターンとなるように、ヘッドライト20に含まれる複数のLEDの点灯状態を制御する。その後、撮像制御部120が、切換え後の照射パターンで照らされた車両前方の画像データを取得する(ステップS102)。なお、ここまでの処理は、様々な走行シーンに応じた画像データを取得するために、車両が走行した状態(即ち、走行シーンが変化するような条件下)で実行されることが好ましい。
照射パターン制御部110は、学習動作に使用する照射パターンの数や種類を記憶しており、それら全てに切換えが終了したと判定すると(ステップS103:YES)、ステップS104以降の処理に進む。一方で、学習動作に使用する照射パターンの全てに切換えが終了していないと判定すると(ステップS103:NO)、ステップS101から処理を繰り返す。即ち、ヘッドライト20の照射パターンを切換えて、その際の画像データを取得する処理が繰り返し実行される。これにより、学習動作に使用する複数の照射パターンの各々について、画像データが取得されていく。
ここで、学習動作時に取得される複数の画像データについて、図4を参照して具体的に説明する。図4は、学習動作時に取得される画像データの一例を示す概念図である。
図4に示すように、撮像制御部120では、複数の照射パターン対応した画像が順次取得されていく。例えば、図4(a)は、全てのLEDが「点灯」である場合の画像データである。図4(b)は、右端の領域に対応するLEDが「消灯」であり、その他の領域に対応するLEDが「点灯」である場合の画像データである。図4(c)は、左半分の領域に対応するLEDが「消灯」であり、その他の領域に対応するLEDが「点灯」である場合の画像データである。図4(d)は、下半分の領域に対応するLEDが「暗」であり、その他の領域に対応するLEDが「点灯」である場合の画像データである。図4(e)は、下端の領域に対応するLEDが「消灯」であり、その一段上の領域に対応するLEDが「暗」であり、その他の領域に対応するLEDが「点灯」である場合の画像データである。
上記のような画像データは、効率的な学習を行うためにも、できるだけ多く取得されることが好ましい。よって、ヘッドライト20の照射パターンは、カメラのシャッタースピードに応じたスピードで、できるかぎり素早く切換えられることが好ましい。また、ヘッドライト20の照射パターンを高速で切替えることができれば、車両が走行している場合であっても、ほぼ同一の条件下で(言い換えれば、前方の状況が変化しない状態で)、複数の画像を取得することもできる。この場合、取得した画像データを互いに比較することで、いずれの照射パターンが撮像時の前方の状況に適したものであるかを容易に判断できる。
図3に戻り、画像データを取得した後は、取得した画像データの各々に対してアノテーション(即ち、正解データの付与)を実行する(ステップS104)。あるいは、ステップS104のアノテーションは、ステップS102及びステップ103の処理(即ち、照射パターンを切替える処理及び画像データを取得する処理)と並行して実行されてもよい。正解データは、例えば画像の撮像範囲に存在する物体に関する情報(例えば、歩行者、自転車、他車両、その他の障害物の位置情報)を含んでいる。なお、工場出荷前のシミュレーション等であれば学習用の正解データを準備することは容易であるが、例えば出荷後の車両の走行時においては学習用の正解データを準備することは難しい。このように、正解データを準備することが難しい場合には、正解データなしでの学習が実行されてもよい。即ち、ステップS104の処理は適宜省略されても構わない。
続いて、取得した複数の画像データから、いくつかの学習データセットを作成する(ステップS105)。なお、ここでは3つの学習データセット(データセットA、データセットB及びデータセットC)を作成する例を挙げているが、より多くの学習データセットが作成されてもよい。学習データセットは、単に撮像画像を所定枚数ごとに振り分けたものであってもよいし、何らかのルールに従って分類されたものでもよい。例えば、学習データセットは、複数の画像データに対して画像認識処理を実行し、夫々の認識結果から推定される走行シーンごとに分類することで作成されてもよい。このようにすれば、走行シーン毎の学習を好適に実行することが可能となる。なお、走行シーンは時間の経過によって変化していくものであると考えられるため、画像データの各々を取得時間(言い換えれば、撮像時刻)によって分類した場合であっても、走行シーンごとの学習データセットを作成することが可能である。
学習データの作成後には、学習部130が、各データセットに対して夫々学習処理を実行する。具体的には、データセットAを用いた学習(ステップS106)及び評価(ステップS107)と、データセットBを用いた学習(ステップS108)及び評価(ステップS109)と、データセットCを用いた学習(ステップS110)及び評価(ステップS111)とが夫々並行して実行される。学習部130は、ニューラルネットワークを用いて、画像中に存在している物体(例えば、歩行者や他車両等)の認識率を向上させることができる照射パターンを学習していく。具体的には、学習部130は、各データセットに含まれる画像データに対して画像認識処理を行って、画像中に存在している物体の認識率を算出する。そして、複数の照射パターンを、走行シーン別に認識率が高い順にランク付けして、より認識率が高い照射パターンを、その走行シーンに適した照射パターンであるとして学習する。なお、ニューラルネットワークを利用した学習方法については、既存の技術を適宜採用することが可能であるため、ここでのより詳細な説明は省略する。
各データセットを用いた学習が終了すると、全ての学習を終了するか否かを判定する(ステップS112)。学習の終了条件については、事前に適切な条件(例えば、すでに十分な学習が実行されたと判断できるような条件)を設定しておけばよい。なお、後述するように、本実施形態に係る学習動作を進めていくと、学習に利用する照射パターンが徐々に減っていくことになる。このため、学習に利用する照射パターンの数が所定の閾値より少なくなくなった場合に、すべての学習を終了するようにしてもよい。
学習を終了すると判定された場合には(ステップS112:YES)、一連の学習動作は終了することになる。一方で、学習を終了しないと判定された場合には(ステップS112:NO)、これまでの学習結果に基づいて、学習に使用した複数の照射パターンの中から、認識率の高い複数の照射パターン(例えば、認識率が上位10%の照射パターン)を選択する(ステップS113)。そして、選択された複数の照射パターンを次回の学習動作に使用する照射パターンに設定した上で、再びステップS101から処理が実行される。即ち、認識率が高いと判断された照射パターンだけを用いて、再び同様の学習動作が実行される。
ここで、学習動作に使用される照射パターンの数の変化について、図5を参照して具体的に説明する。図5は、学習動作時に使用する照射パターン数の変化を示す概念図である。
図5に示すように、本実施形態に係る学習動作では、学習動作を繰り返す度に使用する照射パターンが減少するため、極めて効率的に学習を行うことができる。例えば1回目の学習では、照射パターンを1億パターン切換えて、1億枚の画像データを取得したとする。このように、極めて大量の学習データを利用する場合、より正確な学習結果を期待できる一方で、学習に要する期間(学習データを取得する期間を含む)は極めて長くなってしまう。よって、学習精度は高いものの効率的な学習を行えているとは言い難い。これに対し本実施形態では、2回目の学習では、1回目の学習結果から、認識率が高いと判断できる1000万パターンが選択され、それらを用いて学習動作が実行される。このように、認識率が高い照射パターンだけを用いて学習動作を実行すれば、学習の精度を大幅に落とすことなく、学習に要する期間を減らすことが可能である。同様に、3回目の学習では、2回目の学習結果から、認識率が高いと判断できる100万パターンが選択され、それらを用いて学習動作が実行される。さらに、4回目の学習では、3回目の学習結果から、認識率が高いと判断できる10万パターンが選択され、それらを用いて学習動作が実行される。以上のように学習動作を繰り返していけば、学習に使用する照射パターンを徐々に減らしつつ、効率的に学習を進めていくことが可能である。
<自動制御動作>
次に、上述した学習動作の学習結果を利用したヘッドライト20の自動制御動作について、図6を参照して説明する。図6は、本実施形態に係るヘッドライト制御システムによる照射パターン自動制御時の動作の流れを示すフローチャートである。
図6に示すように、学習動作が完了したヘッドライト制御システム10の動作時には、まずヘッドライト20の自動制御がオンとなっているかを判定する(ステップS201)。即ち、ヘッドライトの20の自動制御動作が許可されている状態であるか否かを判定する。なお、自動制御のオンオフについては、例えば車両の搭乗者によるスイッチ操作等によって設定される。なお、自動制御がオフの場合(ステップS201:NO)、以降の処理は省略され、一連の処理は終了する。この場合、所定期間後に再びステップS201の処理が実行されてもよい。
自動制御がオンの場合(ステップS201:YES)、車両の周辺情報を取得する(ステップS202)。周辺情報は、走行シーンを推定するために用いる情報であり、例えばカメラ30や、その他の各種センサ(例えば、車速センサ、加速度センサ、明るさセンサ、レーダー、ライダー等)から取得される。その後、取得した周辺情報に基づいて、現在の走行シーンを推定する(ステップS203)。なお、走行シーンの推定には、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。
続いて、推定した走行シーンに適した照射パターンを決定する(ステップS204)。即ち、学習の結果に基づいて、現在の車両の走行シーンに最適な照射パターンを決定する。より具体的には、車両のヘッドライト20で実現可能な照射パターンのうち、現在の走行シーンにおいて物体の認識率が最も高くなるような照射パターンが選択される。その後、決定した照射パターンを実現するように、ヘッドライト20が制御される。この結果、車両の搭乗者が車両前方の状況を視認し易い状態、又はカメラ30等の物体認識率が高い状態が実現される。よって、例えば搭乗者が車両前方の障害物を早期に発見し、車両の減速等を行うことができるようになる。あるいは、カメラ30等の物体認識率が向上することで、より的確な運転支援を実行することができるようになる。
以上で、自動制御動作に関する一連の処理は終了するが、終了後所定期間後に再びステップS201の処理が実行されてもよい。このように周期的に上記処理を実行すれば、現在の走行シーンに応じた照射パターンが適宜実現されることになる。なお、自動制御動作中においても、適宜学習動作が実行されるようにしてもよい。ただし、学習動作時には照射パターンが比較的早いスピードで切り替わることになるため、車両の走行を妨げない頻度又はタイミングで実施されることが好ましい。
<技術的効果>
次に、本実施形態に係るヘッドライト制御システム10の技術的効果について説明する。
本実施形態に係るヘッドライト制御システム10によれば、すでに説明したように、走行シーンに応じたヘッドライト20の照射パターンを好適に学習することが可能である。特に、本実施形態では、ヘッドライト20の照射パターンを高速で切換えながら撮像される画像データを用いて学習動作が行うこともできるため、通常であれば収集するのに時間を要する大量の学習データを短期間で取得して、より効率的に学習を進めることができる。また、車両が走行しながら学習データを蓄積していくようにすれば、様々な走行シーンに応じた学習データを取得することができる。
複数のLEDを含んで構成されるヘッドライト20は、各LEDの点灯状態を夫々制御することで、極めて膨大な数の照射パターンを実現可能であるため、すべての照射パターンの中から走行シーンに応じた最適な照射パターンを見つけるのは容易ではない。しかしながら、本実施形態によれば、学習に使用する学習データを比較的高速に収集することができるため、効率よく学習を実行することができる。また、本実施形態では特に、学習に使用する照射パターンを、認識率が高いものに絞りながら学習動作を繰り返すことで、さらに効率よく学習を進めることができる。従って、ヘッドライト20が膨大な数の照射パターンを実現可能な場合であっても、好適に最適な照射パターンを学習することができる。
なお、本実施形態では車両に搭載されるヘッドライトを例に挙げて説明したが、車両以外の移動体に搭載されるヘッドライトにも適用可能である。即ち、前方をライトで照らしながら移動するようなものであれば、本実施形態に係るヘッドライト制御システム10を採用して、同様の技術的効果を得ることができる。また、本実施形態に係るヘッドライト制御システム10は、移動体の側方又は後方を照らすライトの制御にも応用することが可能である。
<付記>
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。
(付記1)
付記1に記載のヘッドライト制御システムは、複数の発光部を含むヘッドライト及び前方の状況を撮像する撮像手段を備える移動体のヘッドライト制御システムであって、前記複数の発光部の各々の発光の有無又は発光度合いの少なくとも一方を変化させて、前記ヘッドライトの照射状態を複数の状態に変化させる照射状態制御手段と、前記複数の状態ごとに前記前方の状況を撮像するように前記撮像手段を制御して撮像画像を取得する撮像制御手段と、前記複数の状態ごとに撮像された撮像画像に基づいて、前記前方の状況に適した照射状態を学習する学習手段とを備える。
付記1に記載のヘッドライト制御システムによれば、その動作時には、ヘッドライトに含まれる複数の発光部の各々の発光の有無又は発光度合いの少なくとも一方(即ち、発光の有無のみ、発光度合いのみ、或いは発光の有無及び発光度合いの両方)を変化させることで、ヘッドライトが複数の照射状態となるように制御される。ヘッドライトの照射状態の制御中は、複数の照射状態ごとに前方の状況が撮像される。即ち、ヘッドライトの照射状態が変化する度に新たな撮像画像が取得されていく。
その後、複数の状態ごとに取得された撮像画像に基づいて、移動体の前方の状況に適したヘッドライトの照射状態が学習される。例えば、移動体の搭乗者が前方の状況を視認し易くなるような照射状態、あるいは撮像手段によって撮像された撮像画像を用いて画像認識を行う場合に、より適切な認識結果を得られるような照射状態が学習される。このような学習を実行すれば、ヘッドライトが複数の照射状態を実現可能な場合に、前方の状況(言い換えれば、走行シーン)に応じて、適切な照射状態を実現することが可能となる。
(付記2)
付記2に記載のヘッドライト制御システムでは、前記照射状態制御手段は、前記移動体の移動中に、前記ヘッドライトの照射状態を複数の状態に変化させ、前記撮像制御手段は、前記移動体の移動中に、前記複数の状態ごとに前記前方の状況を撮像するように前記撮像手段を制御して撮像画像を取得する。
付記2に記載のヘッドライト制御システムによれば、複数の照射状態ごとの撮像(即ち、学習データの収集)が、移動体の移動中に実行されることになる。このため、前方の状況が異なる状態での撮像画像(言い換えれば、様々な走行シーンにおける学習データ)を蓄積していくことができる。よって、前方の状況に適した照射状態を好適に学習することが可能である。
(付記3)
付記3に記載のヘッドライト制御システムでは、前記照射状態制御手段は、前記移動体が移動中であっても前記前方の状況が変化しないとみなせる程度に短い所定期間において、前記ヘッドライトの照射状態を複数の状態に変化させ、前記学習手段は、前記所定期間に撮像された撮像画像を、前記前方の状況が同じである状態で撮像された撮像画像として学習に利用する。
付記3に記載のヘッドライト制御システムによれば、移動体が移動中であったとしても、前方の状況が同じとみなせるような状態で、2つ以上の照射状態に対応する撮像結果を取得することができる。このようにすれば、取得した撮像画像を互いに比較することで、いずれの照射状態が撮像時の前方の状況に適したものであるかを容易に判断できる。よって、前方の状況に適した照射状態を好適に学習することができる。
(付記4)
付記4に記載のヘッドライト制御システムでは、前記学習手段は、前記撮像画像における前記移動体の前方に存在する物体の認識率を算出し、前記認識率が高いほど、より前記前方の状況に適した照射状態であるとして学習する。
付記4に記載のヘッドライト制御システムによれば、撮像画像における物体の認識率を用いることで、前方の状況に適した照射状態を好適に学習することができる。
(付記5)
付記5に記載のヘッドライト制御システムでは、前記照射状態制御手段は、(i)前記学習手段による前回までの学習結果に基づいて、前記前方の状況に適している可能性の高い照射状態を複数選択し、(ii)次回以降の学習時に、前記ヘッドライトの照射状態を前記選択した照射状態に変化させる。
付記5に記載のヘッドライト制御システムによれば、学習を重ねていくことにより、前方の状況に適している可能性の高い照射状態が徐々に絞られていく。このため、ヘッドライトが実現可能な照射状態の数が極めて多い場合であっても、前方の状況に適した照射状態を効率的に学習することができる。
本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドライト制御システムもまた本発明の技術的範囲に含まれるものである。
10 ヘッドライト制御システム
20 ヘッドライト
30 カメラ
110 照射パターン制御部
120 撮像制御部
130 学習部

Claims (5)

  1. 複数の発光部を含むヘッドライト及び前方の状況を撮像する撮像手段を備える移動体のヘッドライト制御システムであって、
    前記複数の発光部の各々の発光の有無又は発光度合いの少なくとも一方を変化させて、前記ヘッドライトの照射状態を複数の状態に変化させる照射状態制御手段と、
    前記複数の状態ごとに前記前方の状況を撮像するように前記撮像手段を制御して撮像画像を取得する撮像制御手段と、
    前記複数の状態ごとに撮像された撮像画像に基づいて、前記前方の状況に適した照射状態を学習する学習手段と
    を備えることを特徴とするヘッドライト制御システム。
  2. 前記照射状態制御手段は、前記移動体の移動中に、前記ヘッドライトの照射状態を複数の状態に変化させ、
    前記撮像制御手段は、前記移動体の移動中に、前記複数の状態ごとに前記前方の状況を撮像するように前記撮像手段を制御して撮像画像を取得する
    ことを特徴とする請求項1に記載のヘッドライト制御システム。
  3. 前記照射状態制御手段は、前記移動体が移動中であっても前記前方の状況が変化しないとみなせる程度に短い所定期間において、前記ヘッドライトの照射状態を複数の状態に変化させ、
    前記学習手段は、前記所定期間に撮像された撮像画像を、前記前方の状況が同じである状態で撮像された撮像画像として学習に利用する
    ことを特徴とする請求項2に記載のヘッドライト制御システム。
  4. 前記学習手段は、前記撮像画像における前記移動体の前方に存在する物体の認識率を算出し、前記認識率が高いほど、より前記前方の状況に適した照射状態であるとして学習することを特徴とする請求項1から3のいずれか一項に記載のヘッドライト制御システム。
  5. 前記照射状態制御手段は、(i)前記学習手段による前回までの学習結果に基づいて、前記前方の状況に適している可能性の高い照射状態を複数選択し、(ii)次回以降の学習時に、前記ヘッドライトの照射状態を前記選択した照射状態に変化させることを特徴とする請求項1から4のいずれか一項に記載のヘッドライト制御システム。
JP2017207309A 2017-10-26 2017-10-26 ヘッドライト制御システム Active JP6816701B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017207309A JP6816701B2 (ja) 2017-10-26 2017-10-26 ヘッドライト制御システム
US16/110,320 US11358519B2 (en) 2017-10-26 2018-08-23 Headlight control system
EP18190814.6A EP3477541A1 (en) 2017-10-26 2018-08-24 Headlight control system
CN201810974436.9A CN109703442B (zh) 2017-10-26 2018-08-24 前照灯控制系统
RU2018130686A RU2691939C1 (ru) 2017-10-26 2018-08-24 Система управления передними фарами
KR1020180101882A KR20190046619A (ko) 2017-10-26 2018-08-29 헤드라이트 제어 시스템
BR102018072002-3A BR102018072002A2 (pt) 2017-10-26 2018-10-25 Sistema de controle de farol

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207309A JP6816701B2 (ja) 2017-10-26 2017-10-26 ヘッドライト制御システム

Publications (2)

Publication Number Publication Date
JP2019077391A true JP2019077391A (ja) 2019-05-23
JP6816701B2 JP6816701B2 (ja) 2021-01-20

Family

ID=63524068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207309A Active JP6816701B2 (ja) 2017-10-26 2017-10-26 ヘッドライト制御システム

Country Status (7)

Country Link
US (1) US11358519B2 (ja)
EP (1) EP3477541A1 (ja)
JP (1) JP6816701B2 (ja)
KR (1) KR20190046619A (ja)
CN (1) CN109703442B (ja)
BR (1) BR102018072002A2 (ja)
RU (1) RU2691939C1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6311768B1 (ja) * 2016-10-24 2018-04-18 マツダ株式会社 車両用ヘッドライト制御装置
GB2558661B (en) * 2017-01-16 2019-06-12 Jaguar Land Rover Ltd Vehicle lighting system
KR102220950B1 (ko) * 2019-07-31 2021-02-26 엘지전자 주식회사 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치
IL276666B (en) 2020-08-11 2022-07-01 Brightway Vision Ltd Device, system and method for lighting control using branded imaging
DE102021206169A1 (de) * 2021-06-16 2022-12-22 Volkswagen Aktiengesellschaft Verfahren zum Entwickeln von Fahrzeugfunktionen und Kraftfahrzeug

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006511383A (ja) * 2002-08-21 2006-04-06 ジェンテックス コーポレイション 外部車両照明の自動制御のための画像取得及び処理方法
JP2007099235A (ja) * 2005-10-07 2007-04-19 Nissan Motor Co Ltd 切り替え制御システム
JP2009029227A (ja) * 2007-07-26 2009-02-12 Omron Corp 照明制御装置および方法、並びに、プログラム
JP2011218999A (ja) * 2010-04-12 2011-11-04 Koito Mfg Co Ltd 制御装置、車両用灯具システム、車両用灯具
WO2015033764A1 (ja) * 2013-09-05 2015-03-12 株式会社小糸製作所 車両用灯具
JP2016057918A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2016107861A (ja) * 2014-12-08 2016-06-20 マツダ株式会社 ヘッドライトの制御装置
WO2017158664A1 (ja) * 2016-03-18 2017-09-21 株式会社Jvcケンウッド 物体認識装置、物体認識方法、及び物体認識プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739850A (en) * 1993-11-30 1998-04-14 Canon Kabushiki Kaisha Apparatus for improving the image and sound processing capabilities of a camera
US7049945B2 (en) * 2000-05-08 2006-05-23 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
FR2850616B1 (fr) * 2003-01-30 2006-02-17 Valeo Vision Procede d'eclairage module d'une route et projecteur de vehicule mettant en oeuvre ce procede
JP4484856B2 (ja) 2006-10-06 2010-06-16 日立オートモティブシステムズ株式会社 自動車用ヘッドライト制御装置
JP5430282B2 (ja) * 2009-08-07 2014-02-26 株式会社小糸製作所 車両用前照灯の配光制御システム
CN101979260B (zh) * 2010-11-10 2013-03-20 力帆实业(集团)股份有限公司 一种汽车组合后尾灯的控制方法
JP2012218598A (ja) * 2011-04-11 2012-11-12 Hitachi Automotive Systems Ltd ワイパ制御装置
US9669755B2 (en) * 2011-11-08 2017-06-06 GM Global Technology Operations LLC Active vision system with subliminally steered and modulated lighting
RU2555376C2 (ru) * 2011-12-29 2015-07-10 Федеральное государственное военное образовательное учреждение высшего профессионального образования "Военный учебно-научный центр Сухопутных войск Общевойсковая академия Вооруженных сил Российской Федерации Устройство для автоматического переключения режимов освещения
TWI546492B (zh) * 2012-12-26 2016-08-21 鴻海精密工業股份有限公司 車燈模組
JP6428270B2 (ja) * 2014-02-10 2018-11-28 株式会社デンソー 軸ずれ検出装置
CN105682310B (zh) * 2014-11-19 2020-06-23 刘皓强 基于图像质量控制的组合照明装置及方法
CN105799574B (zh) 2016-05-31 2018-08-21 常州星宇车灯股份有限公司 夜间智能辅助驾驶系统
JP2019203691A (ja) * 2016-11-11 2019-11-28 オムロン株式会社 照明装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006511383A (ja) * 2002-08-21 2006-04-06 ジェンテックス コーポレイション 外部車両照明の自動制御のための画像取得及び処理方法
JP2007099235A (ja) * 2005-10-07 2007-04-19 Nissan Motor Co Ltd 切り替え制御システム
JP2009029227A (ja) * 2007-07-26 2009-02-12 Omron Corp 照明制御装置および方法、並びに、プログラム
JP2011218999A (ja) * 2010-04-12 2011-11-04 Koito Mfg Co Ltd 制御装置、車両用灯具システム、車両用灯具
WO2015033764A1 (ja) * 2013-09-05 2015-03-12 株式会社小糸製作所 車両用灯具
JP2016057918A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2016107861A (ja) * 2014-12-08 2016-06-20 マツダ株式会社 ヘッドライトの制御装置
WO2017158664A1 (ja) * 2016-03-18 2017-09-21 株式会社Jvcケンウッド 物体認識装置、物体認識方法、及び物体認識プログラム

Also Published As

Publication number Publication date
EP3477541A1 (en) 2019-05-01
CN109703442A (zh) 2019-05-03
CN109703442B (zh) 2022-04-01
BR102018072002A2 (pt) 2019-06-04
KR20190046619A (ko) 2019-05-07
US20190126812A1 (en) 2019-05-02
US11358519B2 (en) 2022-06-14
JP6816701B2 (ja) 2021-01-20
RU2691939C1 (ru) 2019-06-19

Similar Documents

Publication Publication Date Title
JP2019077391A (ja) ヘッドライト制御システム
CN110678374B (zh) 使用过滤器和曝光时间检测闪烁照明的物体的相机系统
US10552688B2 (en) Method and device for detecting objects in the surroundings of a vehicle
CN106965739A (zh) 车外环境识别装置
CA2494723A1 (en) Image acquisition and processing methods for automatic vehicular exterior lighting control
DE102014107488A1 (de) Vorrichtung zur bestimmung der umgebung
JP6236039B2 (ja) 車外環境認識装置
CN103747980B (zh) 用于对车辆的前灯进行操控的方法和装置
JP2004104646A (ja) 車載用画像処理装置
JP2008211410A (ja) 車載用画像認識装置及び配光制御装置、並びに配光制御方法
JP2020032872A (ja) ヘッドランプ制御方法及びヘッドランプ制御装置
CN104602959A (zh) 车辆用前照灯的控制装置及其控制方法
JP5251680B2 (ja) 照明制御装置及びプログラム
WO2017141395A1 (ja) 配光制御装置、配光制御方法及び配光制御プログラム
JP6214290B2 (ja) 前照灯制御装置
KR102155374B1 (ko) 자동차용 야간 화상들을 형성하는 시스템 및 방법
WO2017110277A1 (ja) 前照灯制御装置
JP6190210B2 (ja) 前照灯制御装置
CN110620857B (zh) 用于创建高对比度图像的方法和装置
KR101095023B1 (ko) 상향등 제어 시스템 및 방법
JP6539191B2 (ja) 車外環境認識装置
JP6853890B2 (ja) 物体検出システム
JP7055563B2 (ja) 配光制御装置
CN110774976A (zh) 用于控制车辆前灯的装置和方法
US20230141840A1 (en) Light distribution controller, vehicular lamp system, and light distribution control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R151 Written notification of patent or utility model registration

Ref document number: 6816701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151