JP2020181310A - 車両の照明制御システム - Google Patents
車両の照明制御システム Download PDFInfo
- Publication number
- JP2020181310A JP2020181310A JP2019082938A JP2019082938A JP2020181310A JP 2020181310 A JP2020181310 A JP 2020181310A JP 2019082938 A JP2019082938 A JP 2019082938A JP 2019082938 A JP2019082938 A JP 2019082938A JP 2020181310 A JP2020181310 A JP 2020181310A
- Authority
- JP
- Japan
- Prior art keywords
- lighting
- state
- vehicle
- image
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】 車両の自動照明制御に於いて、車載カメラの画像に基づいて運転者からの車両の周囲の視認性の良否に応じた照明機器の点灯又は消灯が実行されるようにすること。【解決手段】 本発明のシステムは、車両の周囲の少なくとも一部の画像に対して設定されるべき照明機器の点灯・消灯状態を出力する識別手段を含み、識別手段の出力した点灯・消灯状態に照明機器を設定する。識別手段の設定は、運転者の手動操作による照明機器の点灯・消灯状態の切換が複数回実行された区間に於いて撮像された照明機器の点灯・消灯状態の切換が実行されたとき車両の周囲の少なくとも一部の学習用画像とそのときに設定された照明機器の点灯・消灯状態である正解状態を学習データとして用いた機械学習モデルのアルゴリズムに従った学習処理により、学習用画像が入力されると正解状態を出力するように決定される。【選択図】 図1
Description
本発明は、自動車等の車両の照明制御に係り、より詳細には、車両の前照灯、尾灯等の車両の周囲を照明する照明機器(ライト類、灯火類)を自動的に点灯又は消灯する照明制御のためのシステムに係る。
自動車等の車両の運転者の運転操作負担を軽減するための一つの手段として、車両の前照灯、尾灯等の車両の周囲を照明する照明機器を自動的に点灯又は消灯する構成(自動照明装置)が種々提案され、実用化されている。かかる自動照明装置に於いては、従来では、簡単には、車両周囲の明るさを検知する照度センサが車体の任意の部位に設けられ、照度センサが検知する照度が閾値よりも低下すると、照明機器が点灯され、照度センサが検知する照度が閾値を上回ると、照明機器が消灯されるといった構成が採用されていた。また、例えば、特許文献1では、カメラ等の撮像手段により撮像した自車前方の画像に基づいて、自車前方の明るさを認識し、その明るさに基づいて、照明機器の点灯及び消灯の制御を行う構成が提案されている。特許文献2に於いては、照度センサにより検出された車両上方の照度と、カメラに撮影された光源領域の車両前方の光源量と暗部領域の暗部量とをそれぞれ対応する閾値と比較し、比較結果に基づいて、前照灯の点灯と消灯の切り替え制御及び点灯時のロービームとハイビームの切り替え制御を行う構成が提案されている。かかる構成に於いては、自動的な切換え制御中に運転者によるマニュアル操作があると、その時点での照度と光源量と暗部量とそれぞれの閾値との差分量が調整可能範囲内であるときには、それぞれの閾値がマニュアル操作のあったときの検出値に更新されるようになっている(学習)。特許文献3では、前照灯の照射状態の自動切換え制御に於いて、照射状態の切換えがマニュアル操作で行われた際の車速、照度、舵角、天候の検出結果に基づいて、ロービーム状態とハイビーム状態との切換判定用の閾値(車速閾値、照度閾値、舵角閾値、天候閾値)の学習を行って記録し、それらの閾値によって自動的な照射状態の切換えを行う構成が開示されている。特許文献4では、車両周囲を撮像するカメラ画像に於いて、自車の車体の一部を映り込ませて、その映り込んだ車体の一部の像の輝度から照度を取得し、取得した照度に基づき車両の点灯状態を制御する構成が開示されている。そして、特許文献5では、車載カメラによって撮像された画像のぼけ度合いによって霧または雨の有無を判定し、霧であると判定された場合に、フォグランプを点灯させる構成が開示されている。
実際の車両の運転中に於いて、運転者自身の操作による照明機器の点灯・消灯の切換は、車両の周囲の明るさに応じてだけでなく、運転者にとっての車両の周囲領域、特に前方領域の視認性の良し悪しによっても行われる。例えば、交差点、狭い道での急カーブ、登り坂などの見通しの悪い地形・道路形状の通過時、豪雨・霧・降雪などの悪天候の発生時、火災、火山噴火による噴煙、車両排気による白煙・黒煙の発生時などの運転者にとって視界不良となる状況に於いて、歩行者、前方車両、対向車両、道路標識、路面標示(車線・横断歩道など)、信号機或いはカーブミラー等が見えにくいときやカーブなどで進行方向の先が見通しにくくなったときには、車両の周辺が明るくても、運転者は、照明機器を点灯し、そのような視界不良の状況が解消すると、照明機器を消灯する。従って、上記の如き自動照明装置に於いても、車両の周囲の明るさだけでなく、運転者にとっての車両の周囲の視認性の良否によっても照明機器が自動的に点灯又は消灯できるようになっていると、運転者の運転操作負担が更に軽減されて有利であろう。
この点に関し、運転者にとっての車両の周囲の視認性が低下し或いは改善する状況は多様で複雑であるので、前方照度、画像内の輝度値、車両の状態量等の各値に対して閾値を定め、各値が閾値を超えるか否かを判定することにより照明機器の点灯・消灯を決定する構成では、運転者からの車両の周囲の視認性の良否に適合するように照明機器を点灯又は消灯することは極めて困難である。一方、運転者からの車両の周囲の視認性の良否は、運転者が車両の前方をシーンとして認識して判断されるので、これと同様に、自動照明制御に於いても、運転者から観察される運転シーンを認識し、その認識された運転シーンが運転者からの車両の周囲の視認性の良否によって運転者が照明機器を点灯又は消灯する車両の運転シーンであるときに、そのシーンに対応して照明機器の状態が決定されるようになっていれば、ロバストに運転者からの車両の周囲の視認性の良否に応じた自動的な照明機器の点灯・消灯が達成できると期待される。そのような運転者からの車両の周囲の視認性の良否によって運転者が照明機器を点灯又は消灯する運転シーンは、車載カメラにて時々刻々に撮像された画像を参照して、それらの画像に於いて、かかる運転シーンの特徴を捉えることにより認識可能であり、機械学習により、かかる特徴を有する画像が得られたときに照明機器の点灯・消灯が切換えられるように制御を実行することで、運転者にとっての車両の周囲の視認性の良否による照明機器の自動的な点灯又は消灯は可能となる。
ところで、上記の如く、画像を用いた機械学習により、運転者からの車両の周囲の視認性の良否に応じた自動的な照明機器の点灯・消灯制御を実行するには、運転者からの車両の周囲の視認性の良否によって運転者が照明機器を点灯又は消灯する運転シーンの画像データを収集し、それらを用いて、上記の如く車両周囲の視認性の良否による照明機器の点灯・消灯が実行されるように自動照明装置の学習を実行しておく必要がある。この点に関し、既に述べた如く、車両周囲の視認性の良否による照明機器の点灯・消灯が実行される運転シーン、即ち、運転者にとっての車両の周囲の視認性が低下し或いは改善する状況は、多様で複雑であり、そのような運転シーンを予め網羅的に想定しておくことは困難である。むしろ、実際の車両の走行中に、車両周囲の視認性の良否による照明機器の点灯・消灯が実行される運転シーンが現れたときに、そのシーンの画像を収集し、逐次的に或いは適時、収集された画像を用いて追加的に自動照明装置の学習が実行できるようにすれば、車両を走行すればするほど、自動照明制御の性能を向上することができ、有利であろう。
かくして、本発明の一つの課題は、自動車等の車両の自動照明制御に於いて、運転者が観察する運転シーンを画像により認識して、それに基づいて運転者からの車両の周囲の視認性の良否による照明機器の点灯又は消灯が実行される構成を提供することである。
本発明のもう一つの課題は、上記の如き運転者からの車両の周囲の視認性の良否による照明機器の点灯又は消灯を行う制御のための学習に用いる学習データを実際の車両の走行中に収集する構成を提供することである。
本発明によれば、上記の一つの課題は、車両の照明制御システムであって、
前記車両の周囲の少なくとも一部を撮像する撮像手段と、
前記車両の運転者によって操作可能な前記車両の照明機器の点灯・消灯状態を設定する照明機器状態設定手段と
前記撮像手段により撮像された画像に対して設定されるべき前記照明機器の点灯・消灯状態を出力する識別手段を含み、前記識別手段の出力した点灯・消灯状態に前記照明機器を設定する照明機器状態制御手段と、
前記運転者の前記照明機器設定手段の操作による前記照明機器の点灯・消灯状態の切換が複数回実行された区間に於いて前記照明機器の点灯・消灯状態の切換が実行されたときの前記撮像手段により撮像された画像である学習用画像と前記運転者の操作により設定された前記照明機器の点灯・消灯状態である正解状態とを学習データとして収集し、前記学習データを用いた機械学習モデルのアルゴリズムに従った学習処理によって、前記識別手段が前記学習データに於ける前記学習用画像が入力されると前記正解状態を出力するように前記識別手段の設定を決定する識別手段学習手段とを含み、
前記照明機器状態制御手段の前記識別手段が、前記識別手段学習手段により決定された設定を用いて前記撮像手段により撮像された画像に対して設定されるべき前記照明機器の点灯・消灯状態を出力するよう構成されているシステムによって達成される。
前記車両の周囲の少なくとも一部を撮像する撮像手段と、
前記車両の運転者によって操作可能な前記車両の照明機器の点灯・消灯状態を設定する照明機器状態設定手段と
前記撮像手段により撮像された画像に対して設定されるべき前記照明機器の点灯・消灯状態を出力する識別手段を含み、前記識別手段の出力した点灯・消灯状態に前記照明機器を設定する照明機器状態制御手段と、
前記運転者の前記照明機器設定手段の操作による前記照明機器の点灯・消灯状態の切換が複数回実行された区間に於いて前記照明機器の点灯・消灯状態の切換が実行されたときの前記撮像手段により撮像された画像である学習用画像と前記運転者の操作により設定された前記照明機器の点灯・消灯状態である正解状態とを学習データとして収集し、前記学習データを用いた機械学習モデルのアルゴリズムに従った学習処理によって、前記識別手段が前記学習データに於ける前記学習用画像が入力されると前記正解状態を出力するように前記識別手段の設定を決定する識別手段学習手段とを含み、
前記照明機器状態制御手段の前記識別手段が、前記識別手段学習手段により決定された設定を用いて前記撮像手段により撮像された画像に対して設定されるべき前記照明機器の点灯・消灯状態を出力するよう構成されているシステムによって達成される。
上記の構成に於いて、「撮像手段」は、車両の前方、側方及び/又は後方を撮像することのできるカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ、衝突防止やレーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。車両の周囲の少なくとも一部の画像としては、典型的には、車両の運転者の視野領域である車両の前方領域〜前方上方領域であるが、これに限定されない。照明機器は、前照灯(ヘッドランプ、ヘッドライト)、尾灯(テールランプ、テールライト)、車幅灯(スモールランプ、スモールライト)、霧灯(フォグランプ)など、車両の周囲を照明する任意の照明灯類であってよい。「照明機器の点灯・消灯状態」とは、照明機器を点灯している状態と消灯している状態との2状態のいずれかであってよく、更に、照明機器を点灯している状態に於いては、例えば、車幅灯のみを点灯した状態、前照灯をロービームにした状態、前照灯をハイビームにした状態など、複数の段階のいずれかの状態であってもよい。「照明機器状態設定手段」とは、車両の運転者が手動にて照明機器の点灯・消灯状態を上記のいずれかの状態に切換えて設定できるようにするスイッチの如き手段であってよい。「照明機器状態制御手段」とは、車両の周囲の画像に基づいて自動的に照明機器の点灯・消灯状態を上記のいずれかに設定する手段であり、上記の如く学習により車両周囲の画像に対して、設定されるべき照明機器の点灯・消灯状態を出力するよう構成された識別手段を含む。識別手段は、上記の如く、識別手段学習手段による学習処理により決定された設定を用いて、前記学習データに於ける前記学習用画像が入力されると前記正解状態を出力するように構成される。識別手段学習手段による学習により構成される識別手段に於いて採用される機械学習モデルは、任意の、画像データから特徴量を抽出し、その特徴量に基づいて、画像データを複数の区分(照明機器の点灯・消灯状態)のいずれかに分類する分類問題を解くことのできる任意の学習モデルであってよく、典型的には、畳込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク、サポートベクターマシンなどが採用可能である。「識別手段の設定」とは、具体的には、識別手段の演算処理に使用されるパラメータやアルゴリズムであってよく、採用される機械学習モデルに応じて当業者に於いて適宜選択される。
上記の識別手段の学習に於いて使用される「学習用画像」、「正解状態」は、本発明の場合に於いては、車両の運転中に於ける運転者の照明機器設定手段の操作による照明機器の点灯・消灯状態の切換が複数回実行された区間に於いて照明機器の点灯・消灯状態の切換が実行されたときの撮像手段により撮像された画像(運転者の操作直前、操作時、操作後の画像を含む)とその操作により設定された照明機器の点灯・消灯状態である。ここで、「区間」とは、走行路上に於ける区間(空間的な区間)であってもよく、日時に於ける区間(時間的な区間)にであってもよい。また、「複数回」とは、複数の別々の運転者が前記の区間に於いて照明機器の点灯・消灯状態の切換操作を行った場合であってもよく、或いは、個々の又は一人の運転者が前記の区間に於いて照明機器の点灯・消灯状態の切換操作を複数回行った場合であってもよい。具体的には、一つの態様に於いては、「運転者の照明機器設定手段の操作による照明機器の点灯・消灯状態の切換が複数回実行された区間」は、運転者が複数であるか否かを問わず、或いは、車両が複数であるか否かを問わず、車両の走行中に複数回、運転者の手動による照明機器の点灯・消灯状態の切換操作が行われた空間的区間であり、換言すると、交差点、狭い道での急カーブ、登り坂などの、見通しが悪く、車両がその区間を通過するときには頻繁に運転者の手動による照明機器の点灯・消灯状態の切換操作が行われる区間であってよい。また、別の態様に於いて、上記の「運転者の照明機器設定手段の操作による照明機器の点灯・消灯状態の切換が複数回実行された区間」は、複数の車両の運転者により手動による照明機器の点灯・消灯状態の切換操作が行われた時間的区間であり、換言すると、豪雨・霧・降雪などの悪天候や火災、火山噴火による噴煙、車両排気による白煙・黒煙などが発生した領域内に於いて、それらの発生した時間帯(区間)に、それらに遭遇した複数の車両で運転者の手動による照明機器の点灯・消灯状態の切換操作が行われた時間区間であってよい。即ち、端的に延べれば、上記の「区間」とは、その区間を車両が走行する際には、運転者からの車両の周囲の視認性の良否に変動が発生するなどの理由から、運転者の手動による照明機器の点灯・消灯状態の切換操作が行われる空間的又は時間的区間であるということができる。要すれば、「学習用画像」は、上記の如き照明機器の点灯・消灯状態の切換が複数回実行された区間を車両が通過した際に撮像された画像、即ち、運転者からの車両の周囲の視認性の良否に変動が発生しているときの車両周囲の画像であり、「正解状態」は、その際に、即ち、運転者からの車両の周囲の視認性の良否に変動の発生に対して切換えられた照明機器の点灯・消灯状態であり、それらのデータが組として学習データとして使用される。
上記の構成に於いては、基本的には、撮像手段により撮像された車両周囲の画像に基づいて設定されるべき照明機器の点灯・消灯状態が識別手段により決定され、その決定された点灯・消灯状態に照明機器が自動的に設定される。この構成に於いて、特に、本発明の場合には、設定されるべき照明機器の点灯・消灯状態を決定する識別手段が、学習により、上記の如く、車両の運転中に於ける運転者の照明機器設定手段の操作による照明機器の点灯・消灯状態の切換が複数回実行された区間に於いて照明機器の点灯・消灯状態の切換が実行されたときの撮像手段により撮像された「学習用画像」に対して、その操作により設定された照明機器の点灯・消灯状態の「正解状態」を出力されるように構成される。従って、本発明のシステムによれば、車両が、自動照明制御を作動しながら、上記の如き「区間」を通過する際には、過去に於いて運転者によって複数回操作された照明機器の点灯・消灯の切換と同様の態様にて、自動的に照明機器の点灯・消灯の切換が実行されることなる。その際、既に述べた如く、上記の「区間」とは、その区間を車両が走行する際には、運転者からの車両の周囲の視認性の良否に変動が発生するなどの理由から、運転者の手動による照明機器の点灯・消灯状態の切換操作が行われる区間であるので、かくして、運転者からの車両の周囲の視認性の良否に応じた照明機器の点灯又は消灯が自動的に実行されることとなる。上記の本発明のシステムの構成に於いては、上記の「区間」を車両が通過していることは、車両周囲又は前方の明るさや天気などの独立した情報を個々に判定するのではなく、車両の周囲のシーンを撮像した車両周囲の画像の認識により判定されることとなるので、多様で複雑な種々の運転シーンに対しても照明機器が適当な点灯・消灯状態に設定できるようになることが期待される。
また、上記の本発明のシステムに於いては、学習データとして用いられる「学習用画像」と「正解状態」とは、実際の車両の走行中に収集され、その収集された学習データを用いて、識別手段のための学習処理が実行され、そこで決定された設定を用いて識別手段が設定すべき照明機器の点灯・消灯状態を出力するように構成されていてよい。即ち、本発明のシステムに於いては、車両の運転が種々の状況で繰り返される間に、運転者であれば照明機器の点灯・消灯状態の切換を行うと予測される区間を認識するための学習データが蓄積され、そのデータを使って識別手段の設定が更新されるので、運転者からの車両の周囲の視認性の良否に応じて実行される自動照明制御の性能が向上されることとなる。
なお、上記の構成によれば、自動照明制御による照明機器の点灯・消灯状態の切換を実行するか否かは、車載カメラにより撮像された画像に基づいて決定されることとなるので、照明機器の点灯・消灯状態の切換は、学習データにて収集された区間そのものだけではなく、車両の周囲のシーンとして学習データにて収集された区間と類似している場合或いは学習データにて収集された区間の車両の周囲のシーンと共通の特徴が含まれている場合にも実行されることとなる。即ち、車両が走行する或る区間が過去に学習データが収集された区間と類似した区間又は共通の特徴が含まれている区間であれば、その区間での学習データの収集が為されていなくとも、適切な自動照明制御による照明機器の点灯・消灯状態の切換が有利に達成されることが期待される。
本発明のシステムに於ける学習データ(画像と照明機器の点灯・消灯状態との組)の収集は、照明機器の点灯・消灯状態を運転者が照明機器状態設定手段を操作して設定するモード(マニュアルモード)中に実行されるところ、照明機器状態制御手段が照明機器の点灯・消灯状態を自動制御するモード(オートモード)中に運転者が照明機器状態制御手段の作動に凌駕して照明機器状態設定手段を操作して照明機器の点灯・消灯状態を設定したときの画像と照明機器の点灯・消灯状態との組が含まれてよい。運転者が自動制御を凌駕して操作を行ったときは、そこに於ける照明機器状態制御手段による自動制御の作動が運転者の感覚に適合していないと考えられるので、運転者が自動制御を凌駕して操作したときに収集された「学習用画像」と「正解状態」を用いて識別手段の学習を行うことによれば、照明機器状態制御手段による自動制御の作動が運転者の感覚に適合していない部分を運転者の感覚に適合するように有利に修正されることとなる。
上記の学習データの収集の一つの具体的な態様に於いては、或る走行路を車両が複数回走行する際に(複数の車両がその走行路を通過した場合であってもよく、一つの車両がその走行路を通過した場合であってもよい。)、車両の位置情報と共に撮像手段により撮像された画像と照明機器の点灯・消灯状態とが収集される(総じて、「収集データ」と称する。)。なお、車両の位置情報は、GPS(グローバル・ポジショニング・システム)情報などを利用して取得されてよい。そして、かかる収集データに於いて、車両の複数回の走行中に任意に設定されてよい所定の回数又は所定の割合を超えて照明機器の点灯・消灯状態の切換(消灯→点灯又は点灯→消灯)があった走行路上の区間が検出され、その検出された区間に於いて照明機器の点灯・消灯状態の切換があったときの画像が学習用画像として採用され、その操作により設定された照明機器の点灯・消灯状態が正解状態として採用されてよい。なお、学習用画像として採用する画像は、照明機器の点灯・消灯状態の切換のあった時点の画像だけでなく、その前後に於ける画像が含まれていてよい。ここに於いて検出される走行路上の区間は、交差点、狭い道での急カーブ、登り坂などの、見通しが悪いなどの理由で、車両がその区間を通過するときには頻繁に運転者の手動による照明機器の点灯・消灯状態の切換操作が行われる区間であると考えられるので、かかる区間に於ける画像と照明機器の点灯・消灯状態とを学習用画像と正解状態との組を学習データとして用いることにより、自動照明制御の実行中に於いて、車両が学習用画像と類似する画像又は共通の特徴を有する画像が得られる交差点、狭い道での急カーブ、登り坂などの、見通しが悪いと推定される走行路を通過する際には、照明機器の点灯・消灯状態が(その画像に対応する)正解状態に設定されることとなる。
上記の学習データの収集の別の具体的な態様に於いては、或る地域にて同時に複数の車両が走行している際に、車両の位置情報と時刻情報と共に、撮像手段により撮像された画像と照明機器の点灯・消灯状態とが収集される(総じて、「収集データ」と称する。)。なお、車両の位置情報は、GPS情報などを利用して取得されてよい。時刻情報は、任意の時計を用いて計測された日時及び/又は時刻を表す情報であってよい。そして、かかる収集データに於いて、複数の走行中の車両のうち、任意に設定されてよい所定の回数又は所定の割合を超えて照明機器の点灯・消灯状態の切換(消灯→点灯又は点灯→消灯)があった地域内の領域と時間区間の組が検出され(この場合、領域は、地域よりも狭い空間的な範囲である。)、その検出された領域に於ける検出された時間区間に於いて照明機器の点灯・消灯状態の切換があったときの画像が学習用画像として採用され、その操作により設定された照明機器の点灯・消灯状態が正解状態として採用されてよい。なお、学習用画像として採用する画像は、照明機器の点灯・消灯状態の切換のあった時点の画像だけでなく、その前後に於ける画像が含まれていてよい。ここに於いて検出された領域に於ける時間区間は、豪雨・霧・降雪などの悪天候や火災、火山噴火による噴煙、車両排気による白煙・黒煙などが発生した領域及び時間区間に遭遇して視認性に変動があったなどの理由で、多くの運転者が手動による照明機器の点灯・消灯状態の切換操作を行った区間であると考えられるので、かかる区間に於ける画像と照明機器の点灯・消灯状態とを学習用画像と正解状態との組を学習データとして用いることにより、自動照明制御の実行中に於いて、車両が学習用画像と類似する画像又は共通の特徴を有する画像が得られる豪雨・霧・降雪などの悪天候や火災、火山噴火による噴煙、車両排気による白煙・黒煙などが発生していると推定される領域の走行路を通過する際には、照明機器の点灯・消灯状態が(その画像に対応する)正解状態に設定されることとなる。
上記の本発明の装置の構成に於いて、識別手段の入力データとして、画像データに加えて、例えば、車速、加速度、ヨーレート、舵角などの車両の走行情報など、照明機器を点灯又は消灯する状況或いはタイミングに影響を与える情報(以下、車両走行情報と称する。)が採用されてもよい。これらの車両走行情報は、学習用には、学習用画像と共に収集され、識別手段の学習に於いて入力データの一部として使用されてよい。自動照明制御に於いては、車両走行情報が画像と共に識別手段に入力される。
上記の本発明のシステムの構成に於いて、識別手段の学習処理は、車載コンピュータ装置にて実行されてもよいが、典型的には、外部のサーバコンピュータ装置にて実行されてよい。その場合、車両にて収集された車両の位置情報及び/又は時刻情報、画像、照明機器の点灯・消灯状態のデータは、車両からサーバへ送信され、学習処理後に識別手段の識別に用いられるモデルパラメータ等がサーバから車両へ送信されるようになっていてよい。この点に関し、車両からサーバへ送信される収集データは、マニュアルモードにて照明機器の状態が設定されている間のものが送信されてもよく、或いは、照明機器の状態の切換があったときのデータ(その前後のデータが含まれていてよい。)が選択的に送信されるようになっていてよい。前者の場合は、送信された収集データに於いて学習データとして選択されるデータの範囲を調整することができ、後者の場合は、データ通信量が少なくなり、通信負荷を低減することが可能となる。
上記の車両の自動照明制御システムに於いて、識別手段は、上記の如き本発明による学習処理が実行される状況(運転者の照明機器設定手段の操作による照明機器の点灯・消灯状態の切換が複数回実行された区間)以外の状況に於いては、任意の態様にて、撮像手段により撮像された画像に基づいて設定されるべき照明機器の点灯・消灯状態を出力するように構成されていてよい。撮像手段により撮像された画像から車両の周囲の明るさを推定することは、一般に可能であるので、実施の形態に於いて、画像内の輝度値に基づいて、車両の周囲の明るさが低下する状況に於いては、照明機器が自動的に点灯するように、識別手段は、設定されるべき照明機器の点灯・消灯状態を出力するように設定されていてよい。また、識別手段は、予め、運転者からの車両の周囲の視認性の低下するシーン、例えば、交差点、狭い道での急カーブ、登り坂などの、見通しが悪い走行路、豪雨・霧・降雪などの悪天候や火災、火山噴火による噴煙、車両排気による白煙・黒煙などが発生した領域の画像が入力されたときには、車両の周囲の明るさによらず、照明機器を点灯すべきであることを指示するように構成されていてよい。即ち、上記の車両の自動照明制御システムに於いては、上記の如き本発明による学習処理によって、識別手段が、より性能よく、設定されるべき照明機器の点灯・消灯状態を出力できるように修正されるようになっているということができる。
かくして、上記の本発明の車両の照明制御システムに於いては、車両の周囲、特に、前方を撮影した画像に基づいて、学習した機械学習モデルに従って、明るさだけでなく、運転者からの視認性の良否に応じて、照明機器の点灯・消灯状態を自動的に制御することが可能となる。例えば、視認性が低下している状況で照明機器を点灯することで、周辺の視認性を向上するとともに、自車の存在を周囲の車や歩行者に知らせることでき、安全運転に寄与する。また、手動制御であれば、運転者が照明機器を消灯する状況に於いては、自動的に照明機器が消灯されるようになっているので、照明機器を点灯していると眩しいと感じるような場所では、自動的に照明機器が消灯され、車両周囲の人への不快感を軽減することもでき、人にやさしい車としての価値も向上することが期待される。また、特に本発明に於ける学習データの収集については、複数の使用者が手動にて、即ち、明示的に、照明機器の切換をした時のデータを抽出するようになっており、人手でのアノテーションを行わなくとも、多くの学習データを効率的に収集できる点で有利である。更に、撮像された画像に対して照明機器の点灯・消灯状態を決定する識別手段の構成は、学習により更新されるようになっているので、多様な運転状況においてもロバストで運転者からの視認性の良否に対して最適化するように識別手段の性能が向上され、運転操作負担が軽減され、快適な運転環境が提供されることが期待される。また、本発明の装置に於いては、近年、車両に於いて搭載されることが多くなった車両周囲を撮像するカメラが用いられ、自動照明制御に専用の照度センサを車両に常備する必要がなくなるので、その分、車両の制御のための構成が簡単化され、また、コストも低減され点で有利である。
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
10…車両
12…制御装置
14…切り替えスイッチ
16…カメラ
18…通信器
20…前照灯
21…車幅灯
22…尾藤
24…霧灯
30…外部サーバ
12…制御装置
14…切り替えスイッチ
16…カメラ
18…通信器
20…前照灯
21…車幅灯
22…尾藤
24…霧灯
30…外部サーバ
システムの構成
図1(A)を参照して、本発明の照明制御システムの好ましい実施形態が適用される自動車等の車両10に於いては、前照灯20、車幅灯21及び尾灯22(以下、「照明灯」と総称する。)の点灯及び消灯が、車両の運転者による切換スイッチ14(照明機器状態設定手段)の操作の他、車載カメラ16(撮像手段)により撮像された車両10の周囲の画像から得られる情報に応じて、照明制御装置12の作動によって実行される。なお、霧灯24の点灯及び消灯も照明制御装置12の作動によって実行されてよい。かかる構成に於いて、車載カメラ16は、自車両10の周囲、特に、前方領域を撮像するよう設置された通常のカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ、衝突防止やレーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。また、車載カメラは複数個備えられていてもよく、車両前方だけでなく、車両の後方や左右などを撮像してもよい。
図1(A)を参照して、本発明の照明制御システムの好ましい実施形態が適用される自動車等の車両10に於いては、前照灯20、車幅灯21及び尾灯22(以下、「照明灯」と総称する。)の点灯及び消灯が、車両の運転者による切換スイッチ14(照明機器状態設定手段)の操作の他、車載カメラ16(撮像手段)により撮像された車両10の周囲の画像から得られる情報に応じて、照明制御装置12の作動によって実行される。なお、霧灯24の点灯及び消灯も照明制御装置12の作動によって実行されてよい。かかる構成に於いて、車載カメラ16は、自車両10の周囲、特に、前方領域を撮像するよう設置された通常のカメラであってよく、専用のカメラであってもよいが、ドライブレコーダ、衝突防止やレーンキーピングアシストなどのための安全運転支援用カメラ、自動運転用カメラなど、その他の機能のための車載カメラが兼用されてもよい。また、車載カメラは複数個備えられていてもよく、車両前方だけでなく、車両の後方や左右などを撮像してもよい。
切換スイッチ14は、照明灯20〜22の点灯及び消灯の切換と共に、本実施形態による自動的な照明灯20〜22の点灯及び消灯の制御(自動照明制御)の実行/停止の切換が為されるようになっていてよい。切換スイッチ14は、具体的には、例えば、図1(C)の模式的に例示されている如く、運転者により照明灯20〜22の設定が選択可能な回転式のスイッチであってよく、そこに於いて、例えば、OFF(照明灯20〜22の消灯している状態)、AUTO(自動照明制御が実行される状態)、SMALL(車幅灯21及び尾灯22が点灯される状態)、FULL(照明灯20〜22の点灯している状態)が設定可能な状態として用意され、回転部14aを回転して、印14bをそれぞれの状態の印に合わせることにより、各状態が設定されることとなる。かかる切換スイッチ14の設定に於いて、回転部14aの印14bがAUTOに合わされているときには、照明灯の制御は、オートモード(照明機器の点灯・消灯状態が自動制御されるモード)であり、回転部14aの印14bがSMALL又はFULLに合わされているときには、照明灯の制御は、マニュアルモード(照明機器の点灯・消灯状態を運転者が照明機器状態設定手段を操作して設定するモード)である。従って、照明灯の制御がオートモードに設定されている状態で、回転部14aの印14bがSMALL又はFULLに切換えられると、オートモードが凌駕されてマニュアルモードに切り替わり(制御介入)、回転部14aの印14bが再びAUTOに合わされると、オートモードが復帰されることとなる(制御復帰)。なお、図示していないが、照明灯の設定は、更に、照明灯20〜22の点灯状態に於いて、前照灯20をロービームとハイビームとの間で切換えられるようになっていてよい。
また、車両10には、車外のサーバ30との間で通信を行うための通信器18及びGPSから車両の位置情報を取得するためのGPS受信機19が備えられてよい。通信器18は、種々の用途のための通信に使用されてよいところ、本実施形態の照明制御に於いては、切換スイッチ14がAUTO以外に設定されているときに記録された画像とそのときの照明灯の点灯・消灯状態の設定、GPS位置情報又は更に時刻情報の組を、自動照明制御に於ける画像に基づいて照明灯の状態の設定を決定するための識別器のための学習処理に用いるために、車外のサーバ30へ送信すると共に、車外のサーバ30にて機械学習モデルに従って決定された識別器のモデルパラメータを車外のサーバ30から受信し、照明制御装置12へ提供する。車両10と車外のサーバ30との間の信号通信は、任意の形式にて達成されてよい。
照明制御装置12は、具体的には、図1(B)に示されている如く、切換スイッチ14、車載カメラ16、GPS受信機19からの情報を取得・処理する入力制御部と、画像に基づいて設定されるべき照明灯の状態を判定するための識別器(識別手段)を有する状態判定部と、状態判定部の出力に応じて照明灯の状態を制御する出力制御部、入力制御部にて取得したデータを蓄積するデータバッファ、識別器のための機械学習モデルのモデルパラメータ等を蓄積するモデルパラメータバッファ及びサーバ30との間にて情報の通信を行う信号通信部を含む。(「モデルパラメータ等」とは、識別器に於ける演算に使用される重み係数やフィルタなどの処理に於ける設定値やアルゴリズムであり、使用される機械学習モデルによって適宜選択されるパラメータや設定アルゴリズムを総称するものとする。)
上記の構成に於いて、状態判定部は、入力制御部にて取得された切換スイッチ14の設定を参照し、切換スイッチ14がAUTOに設定されているときには、車載カメラ16からの車両10の周囲の画像に基づいて後述の態様にてモデルパラメータバッファのモデルパラメータ等を用いた識別器により設定すべき照明灯の点灯・消灯状態を決定し、その決定された状態に照明灯を自動的に設定するように、出力制御部により自動照明制御が実行される。切換スイッチ14がSMALL又はFULL(又は更にハイビーム)に設定されているときには、その設定に対応した状態にて照明灯20〜22を点灯するよう機能する(霧灯24の点灯・消灯状態も同様に制御されてよい。)。
データバッファは、切換スイッチ14がAUTO以外に設定されているときに、入力制御部にて取得された車載カメラ16からの車両10の周囲の画像を、切換スイッチ14の設定とGPS位置情報或いは更に時刻情報と共に記録し、それらの記録されたデータが後述の自動照明制御のための学習処理に用いられることとなる。信号通信部は、既に触れた如く、切換スイッチ14がAUTO以外に設定されているときに記録された画像(学習用画像)とそのときの照明灯の点灯・消灯状態の設定(正解状態)との組を通信器18を介して車外のサーバ30へ送信し、また、車外のサーバ30からの学習処理により決定されたモデルパラメータ等を受信し、モデルパラメータバッファへ送信するよう構成される。
一方、車外のサーバ30に於いては、データバッファが信号通信部を通じて車両10から収集されたデータを受信し蓄積し、自動照明制御モデル学習部が、後述の態様にて、収集されたデータから学習データを選択して、学習データを用いて、モデルパラメータバッファに記憶されている識別器のモデルパラメータ等を修正する態様にて、学習用画像からそのときの照明灯の点灯・消灯状態の正解状態を出力するように識別器のモデルパラメータ等を更新し、更新された識別器のモデルパラメータ等がモデルパラメータバッファに記憶され、信号通信部を通じて車両10の照明制御装置12の信号通信部へ送信され、車両10の照明制御装置12のモデルパラメータバッファに記憶される。
上記の車両10に搭載される照明制御装置12及びサーバ30は、それぞれ、通常の態様のコンピュータ装置であってよく、双方向コモン・バスにより相互に連結されたCPU、記憶装置、入出力装置(I/O)が装備され、記憶装置は、本発明の演算で使用する演算処理を実行する各プログラムを記憶したメモリと、演算中に使用されるワークメモリ及びデータメモリを含む。上記の照明制御装置12及びサーバ30に於ける各部の作動は、メモリに記憶されたプログラムに従ったコンピュータ装置の作動により、実現されることは理解されるべきである。なお、自動照明制御モデル学習部による学習処理を行うコンピュータ装置は、車両10に搭載されていてもよい。その場合、学習データ及び識別器のモデルパラメータ等の送受信は、信号通信部を介さずに実行されてよい。また、データバッファとモデルパラメータバッファとは、車両10の照明制御装置12とサーバ30とのいずれか一方に設けられるようになっていてもよい。
システムの作動
A.制御作動の概要
本実施形態の照明制御装置12は、まず、切換スイッチ14を通じて、運転者が照明灯20〜22(或いは更に霧灯24)の点灯を指示したときには(SMALL又はFULL)、それらの照明灯を点灯し、消灯を指示したときには(OFF)、それらの照明灯を消灯するよう各照明灯のon/off状態を制御する(前照灯20、車幅灯21及び尾灯22は、切換スイッチ14により段階的に点灯・消灯が制御され、霧灯24は、別途、スイッチが設けられ、点灯・消灯が制御されるようになっていてよい。)。
A.制御作動の概要
本実施形態の照明制御装置12は、まず、切換スイッチ14を通じて、運転者が照明灯20〜22(或いは更に霧灯24)の点灯を指示したときには(SMALL又はFULL)、それらの照明灯を点灯し、消灯を指示したときには(OFF)、それらの照明灯を消灯するよう各照明灯のon/off状態を制御する(前照灯20、車幅灯21及び尾灯22は、切換スイッチ14により段階的に点灯・消灯が制御され、霧灯24は、別途、スイッチが設けられ、点灯・消灯が制御されるようになっていてよい。)。
そして、運転者が切換スイッチ14を通じて、自動照明制御の実行を指示したときには(AUTO)、運転者自身がスイッチを操作することなく、照明灯の点灯又は消灯される自動照明制御が実行される。特に、本実施形態の場合、状態判定部は、既に述べた如く、車載カメラ16の画像を入力データとして参照して、設定されるべき照明灯の点灯・消灯状態を決定する識別器を有しており、自動照明制御の実行に際しては、識別器は、時々刻々に入力される車両周囲の画像に対して、設定されるべき照明灯の点灯・消灯状態を出力し、その出力された点灯・消灯状態に照明灯が設定されることとなる。
ここに於いて、識別器に於いては、典型的には、例えば、車載カメラにより撮像された画像に基づいて、車両の周囲の明るさが低下する状況に於いては、設定されるべき照明機器の状態として点灯状態が出力されるように、識別器のモデルパラメータ等が設定されてよい。また、識別器に於いては、予め、運転者からの車両の周囲の視認性の低下するシーン、例えば、交差点、狭い道での急カーブ、登り坂などの、見通しが悪い走行路、豪雨・霧・降雪などの悪天候や火災、火山噴火による噴煙、車両排気による白煙・黒煙などが発生した領域の画像が入力されたときには、車両の周囲の明るさによらず、設定されるべき照明機器の状態として点灯状態が出力するように、識別器のモデルパラメータ等が設定されてよい。この点に関し、「発明の概要」の欄に於いても説明されている如く、運転者からの車両の周囲の視認性が低下して消灯していた照明灯が点灯されるシーン及び視認性が改善して点灯していた照明灯が消灯されるシーンは、多様で複雑であり、そのような運転シーンを予め網羅的に想定しておくことは困難である。そこで、本実施形態に於いては、運転者からの車両周囲の視認性の良否に応じて運転者による照明灯の点灯・消灯状態の切換えが実行される運転シーン(状況)の画像が、実際の車両の走行中に収集され、識別器の性能の向上のための追加的な学習に用いられる。
上記の如き運転者からの車両周囲の視認性の良否に応じて運転者による照明灯の点灯・消灯状態の切換えが実行される運転シーンの画像の収集に関して、そのような運転シーンにて車両が走行するときには、多くの場合、運転者は照明灯の点灯・消灯状態の切換えを実行すると考えられる。従って、車両の走行中に於いて、或る区間で、運転者による明示的な、即ち、切換スイッチ14の操作による照明灯の点灯・消灯状態の切換えが複数回実行されたとすれば、その状況にて撮像された画像は、上記の如き運転シーンを写した画像となっていると推定することができる。かくして、本実施形態に於いては、運転者による切換スイッチ14の操作による照明灯の点灯・消灯状態の切換えが複数回実行された状況に於ける車載カメラ16により撮像された画像を学習用画像として収集し、それぞれの画像に対して切換え後の照明灯の点灯・消灯状態を正解の状態として関連付け(アノテーション)したものが学習データとして採用される。
より具体的には、一つの態様に於いて、例えば、車両が、交差点、狭い道での急カーブ、登り坂などの、地形的な要因で視認性が低くなり照明灯が点灯される走行路を走行するときには、時間に関係なく、多くの場合に、車両が視認性の低くなった走行路へ進入するときに照明灯が点灯され、車両が視認性の改善した又は低くない走行路へ進入するときに(視認性の低い走行路から脱出するときに)、照明灯が消灯されると考えられる。そこで、種々の走行路に於ける各区間を複数の車両が走行する間及び/又は種々の走行路に於ける各区間を個々の車両が複数回走行する間に、運転者による照明灯の消灯状態から点灯状態への切換の回数が所定回数を超えた区間又は(各区間の走行回数に対する)その照明灯の状態の切換の回数の割合が所定割合を超えた区間が存在する場合には、その区間を視認性が低下する区間(低下しつつある区間)として決定し、その区間に於いて照明灯の消灯状態から点灯状態への切換が実行されたときの車載カメラ16からの画像が、車両が視認性の低い走行路へ進入する時の学習用画像として選択されてよい。ここで、選択される画像は、照明灯の状態の切換時点の前後数枚の画像が含まれていてよく、正解状態として、点灯状態が付与される。また、同様に、種々の走行路に於ける各区間を複数の車両が走行する間及び/又は種々の走行路に於ける各区間を個々の車両が複数回走行する間に、運転者による照明灯の点灯状態から消灯状態への切換の回数が所定回数を超えた区間又は(各区間の走行回数に対する)その照明灯の状態の切換の回数の割合が所定割合を超えた区間が存在する場合には、その区間を視認性の改善する区間として決定し、その区間に於いて照明灯の点灯状態から消灯状態への切換が実行されたときの車載カメラ16からの画像が、車両が視認性の低い走行路から脱出する時の学習用画像として選択されてよい。ここで、選択される画像は、照明灯の状態の切換時点の前後数枚の画像が含まれていてよく、正解状態として、消灯状態が付与される。上記の所定回数又は所定割合は、任意に設定されてよい。なお、車両の走行している走行路上の区間は、GPS位置情報により特定可能である。
更に、別の態様に於いては、例えば、車両が、豪雨・霧・降雪などの悪天候、火災、火山噴火による噴煙、車両排気による白煙・黒煙の発生などにより、特定の領域に於いて、運転者にとっての視認性が一時的に又は一過的に低下し、照明灯が点灯される走行路を走行するときには、多くの車両に於いて、視界不良の要因となる天候や煙等が発生している同一の時間帯(時間区間)に、車両が視認性の低くなった走行路へ進入するときに照明灯が点灯され、視認性の改善した(又は低くない)走行路へ進入するときに(視認性の低い走行路から脱出するときに)、照明灯が消灯されると考えられる。そこで、或る地域内に於ける各領域にて複数の車両が走行する間に、運転者による照明灯の消灯状態から点灯状態への切換の回数が所定回数を超えた領域及び時間区間の組又は(各区間の走行回数に対する)その照明灯の状態の切換の回数の割合が所定割合を超えた領域及び時間区間の組が存在する場合には、その領域及び時間区間の組を車両が視認性の低下している走行路へ進入している領域及び時間区間の組として決定し、その領域及び時間区間に於いて照明灯の消灯状態から点灯状態への切換が実行されたときの車載カメラ16からの画像が、車両が視認性の低い走行路へ進入する時の学習用画像として選択されてよい。ここで、選択される画像は、照明灯の状態の切換時点の前後数枚の画像が含まれていてよく、正解状態として、点灯状態が付与される。また、同様に、或る地域内に於ける各領域にて複数の車両が走行する間に、運転者による照明灯の点灯状態から消灯状態への切換の回数が所定回数を超えた領域及び時間区間の組又は(各区間の走行回数に対する)その照明灯の状態の切換の回数の割合が所定割合を超えた領域及び時間区間の組が存在する場合には、その領域及び時間区間の組を車両が視認性の低下している走行路から脱出している領域及び時間区間の組として決定し、その領域及び時間区間に於いて照明灯の点灯状態から消灯状態への切換が実行されたときの車載カメラ16からの画像が、車両が視認性の低い走行路から脱出する時の学習用画像として選択されてよい。ここで、選択される画像は、照明灯の状態の切換時点の前後数枚の画像が含まれていてよく、正解状態として、消灯状態が付与される。上記の所定回数又は所定割合は、任意に設定されてよい。なお、車両の走行している領域及び時間区間は、GPS位置情報と時刻情報により特定可能である。
そして、上記の如く収集された学習データを用いて識別器の学習を実行すると、より多様な、運転者からの視認性が低下する運転シーンに於いて、運転者が運転シーンを認識して照明灯を点灯又は消灯するのと同様に、自動的に照明灯が点灯又は消灯されることが期待される。
また、本実施形態に於いては、識別器の上記の学習処理は、車両の走行中に、運転者がマニュアルモードにて照明灯の点灯・消灯状態を設定したとき、特に、オートモードでの自動照明制御中にその自動照明制御に凌駕して運転者がマニュアルモードにて照明灯の点灯・消灯状態を設定したときの車載カメラ16により撮像された画像とその際の照明灯の点灯・消灯状態とを学習データとして用いて実行できるようになっていてよい。運転者が自動制御を凌駕してマニュアルモードにて照明灯の操作を行った場合、運転者による操作は、そこに於ける自動制御の作動が運転者の感覚に適合していないため、自動制御の作動を修正するものであると考えられる。従って、運転者が自動照明制御に凌駕して操作した場合の画像とその際の照明灯の点灯・消灯状態とを学習データとして用いて識別器の再学習を実行し、その再学習により決定された識別器のモデルパラメータ等を使用して識別器が設定されるべき照明灯の点灯・消灯状態を出力する場合には、出力された照明灯の点灯・消灯状態は、それまでよりも、より運転者の感覚に近い照明灯の点灯・消灯状態の設定となっていることが期待され、運転者にとってより違和感が少なくなるように自動照明制御の性能が向上されることとなる。
B.処理の流れ
(i)照明制御装置12による自動照明制御
図2(A)を参照して、車両10の照明制御装置12による自動照明制御の処理作動に於いては、切換スイッチ14がOFFからAUTO又はSMALL若しくはFULLに切換えられた時、或いは、アクセサリ(ACC)電源ON時、イグニッション(IG)電源ON時、エンジン回転始動時のいずれかによる車両10の通電後、状態判定部の識別器のモデルパラメータ等について、後述の如く、更新されたモデルパラメータ等が存在する場合には、識別器のモデルパラメータ等が更新されてよい(ステップ1)。そして、切換スイッチ14がAUTOに設定されているときには、車載カメラ16にて撮像された画像が入力制御部を介して読み込まれ(ステップ2)、その画像に基づいて、状態判定部の識別器がモデルパラメータ等を用いて設定されるべき照明灯の点灯・消灯状態を決定し(ステップ3)、その決定された点灯・消灯状態に照明灯が設定されてよい(ステップ4)。ここで、決定され得る照明灯の点灯・消灯状態は、OFF、SMALL、FULLであってよく、或いは、更に、FULLに於いて、ハイビームとロービームとが決定されてもよい。なお、決定され得る照明灯の点灯・消灯状態は、上記の態様以外の設定であってもよい(更に細かくレベル分けがされていてもよく、或いは、単にOFFとONの2段階であってもよい。)。
(i)照明制御装置12による自動照明制御
図2(A)を参照して、車両10の照明制御装置12による自動照明制御の処理作動に於いては、切換スイッチ14がOFFからAUTO又はSMALL若しくはFULLに切換えられた時、或いは、アクセサリ(ACC)電源ON時、イグニッション(IG)電源ON時、エンジン回転始動時のいずれかによる車両10の通電後、状態判定部の識別器のモデルパラメータ等について、後述の如く、更新されたモデルパラメータ等が存在する場合には、識別器のモデルパラメータ等が更新されてよい(ステップ1)。そして、切換スイッチ14がAUTOに設定されているときには、車載カメラ16にて撮像された画像が入力制御部を介して読み込まれ(ステップ2)、その画像に基づいて、状態判定部の識別器がモデルパラメータ等を用いて設定されるべき照明灯の点灯・消灯状態を決定し(ステップ3)、その決定された点灯・消灯状態に照明灯が設定されてよい(ステップ4)。ここで、決定され得る照明灯の点灯・消灯状態は、OFF、SMALL、FULLであってよく、或いは、更に、FULLに於いて、ハイビームとロービームとが決定されてもよい。なお、決定され得る照明灯の点灯・消灯状態は、上記の態様以外の設定であってもよい(更に細かくレベル分けがされていてもよく、或いは、単にOFFとONの2段階であってもよい。)。
上記の識別器は、画像データを複数の区分(照明機器の点灯・消灯状態)のいずれかに分類する分類問題を解くことのできる任意の学習モデル、典型的には、畳込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク、サポートベクターマシンに従って構成されてよく、端的に述べれば、車載カメラ16により撮像された画像が入力されると、その画像が得られるときに設定すべき照明灯の点灯・消灯状態を出力するように構成されている。画像から照明灯の点灯・消灯状態を出力する処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。識別器を畳込みニューラルネットワークにより構成する場合には、図3(A)に模式的に描かれている如く、画像が入力されると、畳込み層とプーリング層とに於いてそれぞれ処理されて画像に於ける特徴が抽出される。なお、この分野に於いて知られている如く、畳込み層とプーリング層の処理は、複数回実行されるようになっていてよい。そして、抽出された特徴が全結合層へ入力され、出力層に於いて、入力された画像が得られるときに、取り得る照明灯の点灯・消灯状態の各々が設定されるべき確率が出力され、かかる確率の最も高い状態が、設定されるべき点灯・消灯状態として決定される。かくして、図3(B)に例示されている如く、識別器は、学習により、基本的には、画像から、日中(昼)の晴れのシーンであることが認識されるときには、照明灯が消灯され(ライトOFF)、夜間のシーンであることが認識されるときには、照明灯が点灯されるように(ライトON)、設定すべき照明灯の状態を判定するところ、画像から、日中であっても、天候が霧や雪のシーン(図3(C)参照)や、走行路がカーブ路であるシーンが認識される場合には、照明灯が点灯されるように、また、夜間であっても、コンビニエンスストア前などの明るいシーン(図3(D)参照)が認識される場合には、照明灯が消灯されるように設定すべき照明灯の状態を判定するように構成されてよい。
上記に触れたように、本実施形態のシステムに於いては、識別器の性能を向上すべく、以下に説明される態様にて、実際に車両が視認性の低い走行路を走行している間に運転者が明示的に照明灯の状態を操作した場合に得られた学習データを用いて識別器のモデルパラメータ等の再学習処理が実行され、識別器の更新されたモデルパラメータ等が算出される。図2(A)の処理に於いて、識別器の更新されたモデルパラメータ等が存在するときには、状態判定部の識別器のモデルパラメータ等が更新されたモデルパラメータ等に修正され(ステップ1)、これにより、より多様なシーンに対応して、より的確に自動的に照明灯の点灯・消灯状態の切換が達成されることが期待される。
(ii)学習データの収集と学習処理
上記の如く、本実施形態のシステムに於いては、車両の走行中に撮像された画像のうち、運転者による手動の切換スイッチ14の操作が複数回実行された状況に於ける画像を学習用画像として選択し、選択された各画像に対してそのときの切換えられた照明灯の状態を正解状態として付与することにより、学習データが収集され、収集された学習データを用いた学習処理によって、識別器のモデルパラメータ等が決定される。具体的な学習データの収集処理と学習処理は、以下の如くであってよい。
上記の如く、本実施形態のシステムに於いては、車両の走行中に撮像された画像のうち、運転者による手動の切換スイッチ14の操作が複数回実行された状況に於ける画像を学習用画像として選択し、選択された各画像に対してそのときの切換えられた照明灯の状態を正解状態として付与することにより、学習データが収集され、収集された学習データを用いた学習処理によって、識別器のモデルパラメータ等が決定される。具体的な学習データの収集処理と学習処理は、以下の如くであってよい。
(a)恒常的に視認性の低い走行路に於ける学習データの収集と学習処理
既に述べた如く、車両が、交差点、狭い道での急カーブ、登り坂などの、地形的な要因などの理由で恒常的に運転者からの車両の周囲の視認性が低くなり照明灯が点灯される走行路を走行するときには、時間に関係なく、頻繁に、車両が視認性の低くなった走行路へ進入するときに照明灯が点灯され、車両が視認性の低くなった走行路から脱出するときに、照明灯が消灯されると想定されるので、本実施形態では、車両の走行中に任意の走行路に於ける各区間を車両が複数回走行する間に車載カメラの撮像した画像と、これと共に照明灯の点灯・消灯状態と車両の位置情報とを収集データとして記録し、その記録された収集データのうちで、運転者の切換スイッチの操作による照明灯の状態の切換が行われた回数が所定回数を超えた走行路上の区間又はその回数の割合が所定割合を超えた走行路上の区間があった場合に、その区間が車両が視認性の低い走行路へ進入する区間又は車両が視認性の低い走行路から脱出する区間として特定され、そこに於ける画像と照明灯の点灯・消灯状態とが学習データとして採用されてよい。
既に述べた如く、車両が、交差点、狭い道での急カーブ、登り坂などの、地形的な要因などの理由で恒常的に運転者からの車両の周囲の視認性が低くなり照明灯が点灯される走行路を走行するときには、時間に関係なく、頻繁に、車両が視認性の低くなった走行路へ進入するときに照明灯が点灯され、車両が視認性の低くなった走行路から脱出するときに、照明灯が消灯されると想定されるので、本実施形態では、車両の走行中に任意の走行路に於ける各区間を車両が複数回走行する間に車載カメラの撮像した画像と、これと共に照明灯の点灯・消灯状態と車両の位置情報とを収集データとして記録し、その記録された収集データのうちで、運転者の切換スイッチの操作による照明灯の状態の切換が行われた回数が所定回数を超えた走行路上の区間又はその回数の割合が所定割合を超えた走行路上の区間があった場合に、その区間が車両が視認性の低い走行路へ進入する区間又は車両が視認性の低い走行路から脱出する区間として特定され、そこに於ける画像と照明灯の点灯・消灯状態とが学習データとして採用されてよい。
具体的な処理に於いては、図2(B)を参照して、まず、車両の走行中に上記の如く時々刻々の車載カメラの撮像した画像と照明灯の点灯・消灯状態と車両の位置情報とが収集される(ステップ21)。かかるデータの収集処理は、任意の走行路の各区間を車両が通過する延べ回数が所定数に達するまで、即ち、各区間を複数の車両が通過するか、一台の車両が複数回通過する通過回数の総数が所定数に達するまで実行され、かくして、任意の走行路の各区間を車両が複数回通過する間の車載カメラの撮像した画像と照明灯の点灯・消灯状態とのデータが蓄積される。ここで、データ収集に於ける各区間を車両が通過する延べ回数に対する所定数は任意に設定されてよい。また、任意の走行路の各区間とは、図4(A)に模式的に例示されている如く、車両の走行する走行路を適当な間隔にて区切った区間の各々であってよい。区間の長さは、任意に設定されてよい。図4(B)は、或る走行路に沿って車両が走行した場合に車載カメラにより撮像された画像の例を示しており、データの収集時には、図4(B)の如き画像と共にGPS位置情報と照明灯の状態とがデータセットとして記録される。そして、ステップ21のデータ収集処理によって、図4(C)に模式的に描かれている如く、任意の走行路に於ける車両の通過回毎に(車両A、B…X)に各画像の撮像された区間をGPS位置情報により決定し、各区間(区間1、2…)内に於いて撮像された画像毎に照明灯の状態(OFF、ON)が記録されたデータが調製されることとなる。なお、画像を収集する間隔は、任意に設定されてよい(画像は、ビデオレートにて収集されてもよいし、ビデオレートの画像から適当な間隔にて間引いて収集されてもよい。)。
ステップ21によりデータの収集が為されると、収集されたデータから学習データが抽出される(ステップ22)。かかる学習データの抽出に於いて、まず、車両が視認性の低い走行路へ進入する区間に於ける画像を選択するために、収集データの各通過回のデータに於ける照明灯が消灯状態から点灯状態へ切換られた箇所が検出され、更に、各区間に於いて、照明灯が消灯状態から点灯状態へ切換られた回数が計数される(例えば、図4(C)を参照して、照明灯の点灯状態への切換は、区間2では車両Bにて、区間4では車両C、D、Xにて実行されているので、それぞれ、照明灯の点灯状態への切換回数は、区間2は1回、区間4は3回と計数される。)。ここで、照明灯の点灯状態への切換回数が所定回数を超えた区間又は(各区間の車両の通過延べ回数に対する)切換回数の割合が所定割合を超えた区間があれば、その区間が、車両が視認性の低い走行路へ進入する区間として決定されてよい。例えば、切換回数の割合に対する所定割合を50%とした場合には、図5(A)の例では、区間4の切換回数の割合が所定割合を超えているので、区間4が車両が視認性の低い走行路へ進入する区間として決定される。そして、かかる決定された区間に於いて照明灯の点灯状態への切換があったときの画像が視認性の低い走行路へ車両が進入するシーンの学習用画像として抽出される。かかる学習用画像の抽出に関して、図5(B)に模式的に描かれている如く、学習用画像としては、少なくとも照明灯の点灯状態への切換が観測された画像の直前の画像(OFF→ONと付された画像)が含まれる。また、学習処理の安定性を向上する目的で、図中、符号Pにて付されている如く、好適には、照明灯の点灯状態への切換が観測された画像の前後に於ける数フレームの画像若しくは、例えば、照明灯の点灯状態への切換の前後100m秒程度以内の画像が学習用画像として抽出されてよい。ここで抽出された画像に対しては、照明灯の設定すべき状態として点灯状態が付与される。
次に、車両が視認性の低い走行路から脱出する区間に於ける画像を選択するために、収集データの各通過回のデータに於ける照明灯が点灯状態から消灯状態へ切換られた箇所が検出され、更に、各区間に於いて、照明灯が点灯状態へ切換られた回数が計数される。ここで、照明灯の消灯状態への切換回数が所定回数を超えた区間又は(各区間の車両の通過延べ回数に対する)切換回数の割合が所定割合を超えた区間があれば、その区間が車両が視認性の低い走行路から脱出する区間として決定されてよい。例えば、切換回数の割合に対する所定割合を50%とした場合には、図5(C)の例では、区間6の切換回数の割合が所定割合を超えているので、区間6が視認性の低い走行路から脱出する区間として決定される。そして、かかる決定された区間に於いて照明灯の消灯状態への切換があったときの画像が視認性の低い走行路から車両が脱出するシーンの学習用画像として抽出される。かかる学習用画像の抽出に関して、図5(D)に模式的に描かれている如く、学習用画像としては、少なくとも照明灯の消灯状態への切換が観測された画像の直前の画像(ON→OFFと付された画像)が含まれる。また、学習処理の安定性を向上する目的で、図中、符号Pにて付されている如く、好適には、照明灯の消灯状態への切換が観測された画像の前後に於ける数フレームの画像若しくは、例えば、照明灯の消灯状態への切換の前後100m秒程度以内の画像が学習用画像として抽出されてよい。ここで抽出された画像に対しては、照明灯の設定すべき状態として消灯状態が付与される。
かくして、上記の如く、学習データが抽出されると、それらの学習データを用いて、機械学習モデルのアルゴリズムに従って識別器のモデルパラメータ等の算出が実行される(ステップ23)。かかる学習処理は、任意のアルゴリズムにより実行されてよく、典型的には、プログラム言語にて用意された関数やモジュールを使用して実行されてよい。識別器の機械学習モデルとして畳込みニューラルネットワークを採用した場合には、図3(A)に示されている如く、学習用画像を識別器に入力して取り得る照明灯の点灯・消灯状態の各々が設定されるべき確率を算出し(順伝播)、しかる後、入力した学習用画像に対応する照明灯の状態の確率を1とし、その他の状態の確率を0として、各状態の確率間の誤差が算出され、その誤差が低減するように誤差逆伝播法等のアルゴリズムに従って各ニューロンの重み、バイアス、畳込み層に於けるフィルタ等のパラメータが更新される(逆伝播)。かくして、上記の順伝播と逆伝播の処理を学習データについて繰り返すことにより、画像のそれぞれに対してそのときに設定されるべき照明灯の状態を精度良く出力できるように、識別器の学習が達成されることとなる。なお、学習処理は、実施された学習処理に追加して実行されてもよく、また、過去に蓄積したデータ全てを含めて実行されてもよい。
ステップ23にて、識別器の新しいモデルパラメータ等(更新データ)が算出されると、それらが車両側へ送信されると共に(ステップ24)、サーバ内のメモリ又は記憶装置(図示せず)に保存される(ステップ25)。
(b)一時的又は一過的に視認性が低くなる走行路に於ける学習データの収集と学習処理
既に述べた如く、豪雨・霧・降雪などの悪天候、火災、火山噴火による噴煙、車両排気による白煙・黒煙の発生などにより、或る特定の領域にて或る時間帯に於いて、運転者にとっての視認性が一時的に又は一過的に低下し、照明灯が点灯される走行路を車両が走行するときには、多くの車両に於いて、視界不良の要因となる天候や煙等が発生している時間帯にその視認性の低くなった走行路へ車両が進入するときに照明灯が点灯され、その視認性の低くなった走行路から車両が脱出するときに照明灯が消灯されると想定されるので、本実施形態では、車両の走行中に任意の地域に於ける各領域を複数の車両が走行する間に車載カメラの撮像した画像と、これと共に照明灯の点灯・消灯状態と車両の位置情報と時刻情報(日時と時刻を含む。)を収集データとして記録し、その記録された収集データのうちで、運転者の切換スイッチの操作による照明灯の状態の切換が行われた回数が所定回数を超えた領域と時間区間の組又はその回数の割合が所定割合を超えた領域と時間区間の組があった場合に、その領域に於けるその時間区間が視認性の低い走行路へ車両が進入する区間又は視認性の低い走行路から車両が脱出する区間として特定され、そこに於ける画像と照明灯の点灯・消灯状態とが学習データとして採用されてよい。
既に述べた如く、豪雨・霧・降雪などの悪天候、火災、火山噴火による噴煙、車両排気による白煙・黒煙の発生などにより、或る特定の領域にて或る時間帯に於いて、運転者にとっての視認性が一時的に又は一過的に低下し、照明灯が点灯される走行路を車両が走行するときには、多くの車両に於いて、視界不良の要因となる天候や煙等が発生している時間帯にその視認性の低くなった走行路へ車両が進入するときに照明灯が点灯され、その視認性の低くなった走行路から車両が脱出するときに照明灯が消灯されると想定されるので、本実施形態では、車両の走行中に任意の地域に於ける各領域を複数の車両が走行する間に車載カメラの撮像した画像と、これと共に照明灯の点灯・消灯状態と車両の位置情報と時刻情報(日時と時刻を含む。)を収集データとして記録し、その記録された収集データのうちで、運転者の切換スイッチの操作による照明灯の状態の切換が行われた回数が所定回数を超えた領域と時間区間の組又はその回数の割合が所定割合を超えた領域と時間区間の組があった場合に、その領域に於けるその時間区間が視認性の低い走行路へ車両が進入する区間又は視認性の低い走行路から車両が脱出する区間として特定され、そこに於ける画像と照明灯の点灯・消灯状態とが学習データとして採用されてよい。
具体的な処理に於いては、図2(C)を参照して、まず、車両の走行中に上記の如く時々刻々の車載カメラの撮像した画像と照明灯の点灯・消灯状態と車両の位置情報と時刻情報が収集される(ステップ31)。かかるデータの収集処理に於いては、車両の位置情報に基づいて任意の地域内の或る領域に於いて或る時間区間に所定台数を上回る車両が走行して上記のデータを収集した場合に、その領域にてその時間区間にデータを収集できたものとしてよい。なお、或る領域に於いて或る時間区間に走行する車両の所定台数は、任意に設定されてよい。任意の地域内の領域とは、図6にて模式的に例示されている如く、任意の地域を適当な範囲に分割して設定される領域(領域1〜4)であってよく、例えば、100m×100m程度の範囲、交差点間の範囲、4つの信号で囲まれる範囲などであってよい。この点に関し、初期段階では領域を細かく区切ると、収集されるデータが少なくなるので、データ量が増えるにつれ、可変で領域を狭めるように設定されてもよい。時間区間とは、時刻を適当な時間幅、例えば、10秒程度、に区切った区間である。この時間区間は、霧や煙などの視認性が低くなる要因が発生している時間帯を特定する目的のものであるところ、初期段階では時間幅を細かく区切ると、収集されるデータが少なくなるので、データ量が増えるにつれ、可変で時間幅を狭めるように設定されてもよい。図示していないが、データの収集時には、画像と共にGPS位置情報と時刻情報と照明灯の状態とがデータセットとして記録され、ステップ31のデータ収集処理によって、GPS位置情報により決定された任意の地域内に於ける領域毎に時間の経過に沿って撮像された画像と画像毎に照明灯の状態(OFF、ON)が記録されたデータが調製されることとなる。なお、画像を収集する間隔は、任意に設定されてよい(画像は、ビデオレートにて収集されてもよいし、ビデオレートの画像から適当な間隔にて間引いて収集されてもよい。)。
ステップ31によりデータの収集が為されると、収集されたデータから学習データが抽出される(ステップ32)。かかる学習データの抽出に於いて、まず、車両が視認性の低い走行路へ進入するシーンに於ける画像を選択するために、収集データに於ける照明灯が消灯状態から点灯状態へ切換られた箇所が検出され、各領域に於いて時間区間毎に照明灯が消灯状態から点灯状態へ切換られた回数が計数される。例えば、図7(B)に模式的に例示されている如く、或る領域に於いて複数の車両(車両A、B…X)が或る時間区間Tに走行している場合に、図示の如く、時間区間Tに於いて、照明灯の点灯状態への切換が、車両B、C、D、Xに於いて実行されているので、照明灯の点灯状態への切換回数は、4回と計数される。ここで、照明灯の点灯状態への切換回数が所定回数を超えた領域及び時間区間の組又は(各領域及び時間区間の車両の通過延べ回数に対する)切換回数の割合が所定割合を超えた領域及び時間区間の組があれば、その領域に於けるその時間区間が視認性の低い走行路へ車両が進入する時間区間として決定されてよい。例えば、切換回数の割合に対する所定割合を50%とした場合には、図7(A)の例では、或る時間区間に於ける領域2の切換回数の割合が所定割合を超えているので、その時間区間に於ける領域2が、その時間区間に於いて視認性の低い走行路へ車両が進入する領域として決定される。そして、かかる決定された領域の時間区間に於いて照明灯の点灯状態への切換があったときの画像が視認性の低い走行路へ車両が進入するシーンの学習用画像として抽出される。かかる学習用画像の抽出に関して、図7(B)に模式的に描かれている如く、学習用画像としては、少なくとも照明灯の点灯状態への切換が観測された画像の直前の画像(OFF→ONと付された画像)が含まれる。また、学習処理の安定性を向上する目的で、図中、符号Pにて付されている如く、好適には、照明灯の点灯状態への切換が観測された画像の前後に於ける数フレームの画像若しくは、例えば、照明灯の点灯状態への切換の前後100m秒程度以内の画像が学習用画像として抽出されてよい。ここで抽出された画像に対しては、照明灯の設定すべき状態として点灯状態が付与される。
次に、車両が視認性の低い走行路から脱出するシーンに於ける画像を選択するために、収集データに於ける照明灯が点灯状態から消灯状態へ切換られた箇所が検出され、各領域に於いて時間区間毎に照明灯が点灯状態から消灯状態へ切換られた回数が計数される。例えば、図7(D)に模式的に例示されている如く、或る領域に於いて複数の車両(車両A、B…X)が或る時間区間Tに走行している場合に、図示の如く、時間区間Tに於いて、照明灯の消灯状態への切換が、車両A、B、C、Dに於いて実行されているので、照明灯の消灯状態への切換回数は、4回と計数される。ここで、照明灯の消灯状態への切換回数が所定回数を超えた領域及び時間区間の組又は(各領域及び時間区間の車両の通過延べ回数に対する)切換回数の割合が所定割合を超えた領域及び時間区間の組があれば、その領域に於けるその時間区間が視認性の低い走行路から車両が脱出する時間区間として決定されてよい。例えば、切換回数の割合に対する所定割合を50%とした場合には、図7(C)の例では、或る時間区間Tに於ける領域2の切換回数の割合が所定割合を超えているので、その時間区間に於ける領域2が、その時間区間Tに於いて視認性の低い走行路から車両が脱出する領域として決定される。そして、かかる決定された領域の時間区間に於いて照明灯の消灯状態への切換があったときの画像が、車両が視認性の低い走行路から脱出するシーンの学習用画像として抽出される。かかる学習用画像の抽出に関して、図7(D)に模式的に描かれている如く、学習用画像としては、少なくとも照明灯の点灯状態への切換が観測された画像の直前の画像(ON→OFFと付された画像)が含まれる。また、学習処理の安定性を向上する目的で、図中、符号Pにて付されている如く、好適には、照明灯の消灯状態への切換が観測された画像の前後に於ける数フレームの画像若しくは、例えば、照明灯の点灯状態への切換の前後100m秒程度以内の画像が学習用画像として抽出されてよい。ここで抽出された画像に対しては、照明灯の設定すべき状態として消灯状態が付与される。
かくして、上記の如く、学習データが抽出されると、それらの学習データを用いて、機械学習モデルのアルゴリズムに従って識別器のモデルパラメータ等の算出が実行される(ステップ33)。かかる学習処理は、図2(B)の場合と同様に実行されてよい。
ステップ33にて、識別器の新しいモデルパラメータ等(更新データ)が算出されると、それらが車両側へ送信されると共に(ステップ34)、サーバ内のメモリ又は記憶装置(図示せず)に保存される(ステップ35)。
上記の(a)、(b)にて得られた学習データを使用した識別器のモデルパラメータ等の学習処理に於いては、入力データには(a)、(b)にて得られた画像が用いられ、正解状態として、各画像に対して多くの運転者の実行した操作に対応する照明灯の状態が付与される。従って、かかる学習処理により得られたモデルパラメータ等を用いた識別器によれば、(a)、(b)にて得られた学習データと類似の画像が得られたときに、多くの運転者の操作により設定される照明灯の点灯・消灯状態が設定されるべき状態として出力されることとなる。(a)、(b)にて得られた学習データの画像に映されているシーンは、それぞれ、運転者から見てそのシーンが認識される状況にて車両が走行する場合には、多くの場合、運転者が照明灯の点灯・消灯状態を操作するシーンであるので、通常の車両の走行に於いて、単に車両周囲の明るさだけではなく、その他の要因、特に、車両からの視認性の変動に応じて、照明灯の点灯・消灯状態が切換られる傾向が高いシーンであるということができる。即ち、上記の(a)、(b)にて得られた学習データを用いた学習により構成された識別器を用いて照明灯の設定すべき状態を決定する態様によれば、多くの運転者にとって好適な態様の自動照明制御の実行が可能となることが期待される。
(iii)車両からサーバへの収集データの送信
上記の一連の処理に於いて、個々の車両に於いては、図8(A)に模式的に例示されている如く、画像と照明灯の点灯・消灯状態と車両の位置情報或いは更に時刻情報とが車両の運転中に逐次的に収集されるところ、識別器の学習処理に於いては、運転者が照明灯の点灯・消灯状態の切換を手動にて実行したときのデータ(切換操作の前後の画像も含む。)が選択されて学習データとして使用される。即ち、学習処理を実行するサーバに於いて実際に必要なデータは、照明灯の点灯・消灯状態の手動切換の前後のデータだけでよいので、車両からサーバへ送信されるデータは、個々の車両に収集されたデータの全てでもよいが、照明灯の点灯・消灯状態の手動切換前後のデータだけでもよい。
上記の一連の処理に於いて、個々の車両に於いては、図8(A)に模式的に例示されている如く、画像と照明灯の点灯・消灯状態と車両の位置情報或いは更に時刻情報とが車両の運転中に逐次的に収集されるところ、識別器の学習処理に於いては、運転者が照明灯の点灯・消灯状態の切換を手動にて実行したときのデータ(切換操作の前後の画像も含む。)が選択されて学習データとして使用される。即ち、学習処理を実行するサーバに於いて実際に必要なデータは、照明灯の点灯・消灯状態の手動切換の前後のデータだけでよいので、車両からサーバへ送信されるデータは、個々の車両に収集されたデータの全てでもよいが、照明灯の点灯・消灯状態の手動切換前後のデータだけでもよい。
車両からサーバへ送信されるデータを照明灯の点灯・消灯状態の手動切換前後のデータとする場合には、個々の車両に於いて、図8(B)、(C)に模式的に描かれている如く、収集データのうちで、照明灯が消灯状態から点灯状態へ切換られた箇所及び照明灯が点灯状態から消灯状態へ切換られた箇所がそれぞれ検出され、図示の如く、少なくとも切換のあった直前の画像(d)、好適には、その前後の画像(a〜e)が選択される。そして、選択された画像に照明灯の切換後の状態と車両の位置情報或いは更に時刻情報とが付与され、それらのデータが個々の車両からサーバへ送信(アップロード)されるようになっていてよい(図8(D))。その後、サーバに於いては、上記の如く、車両の位置情報或いは更に時刻情報を用いて、上記の(a)又は(b)の態様にて特定されるデータを学習データとして抽出する処理が実行されてよい。前記の如く、個々の車両に収集されたデータの全てをサーバに送信する場合には、サーバ側に於いて、収集されたデータから学習データを抽出する際に、抽出する画像数など、種々の設定を変更することが可能となる点で有利である一方、個々の車両に収集されたデータのうちの照明灯の点灯・消灯状態の手動切換前後のデータを送信する場合には、通信負荷を大幅に低減できる点で有利である。
かくして、上記の本実施形態の照明制御システムに於いては、機械学習技術を活用し、車両の運転中に於いて、運転者からの視認性の変動のあるシーンに於いては多くの運転者が照明灯の点灯・消灯状態の切換を実行するとの想定の元で、車載カメラの画像からそのような運転シーンを捉え、その捉えられた運転シーンに対応して、照明灯の点灯・消灯状態を自動的に設定することで、車両周囲の明るさだけでなく、運転者にとっての車両周囲の視認性の変動に応じても照明灯を点灯又は消灯するように自動照明制御が実行されることとなる。また、本実施形態では、車両の運転中に得られた画像に対して照明灯の点灯・消灯状態を決定する識別器が学習により更新されるようになっているので、車両を運転すればするほど、識別器の性能が向上し、運転者の感覚や好みにより近づくように最適化され、かくして、運転操作負担が軽減され、快適な運転環境が提供されることが期待される。
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。例えば、識別器の入力として、画像データの他に、例えば、車速、加速度、ヨーレート、舵角などの車両の走行情報など、照明機器を点灯又は消灯する状況或いはタイミングに影響を与える情報が採用されてもよい。
Claims (1)
- 車両の照明制御システムであって、
前記車両の周囲の少なくとも一部を撮像する撮像手段と、
前記車両の運転者によって操作可能な前記車両の照明機器の点灯・消灯状態を設定する照明機器状態設定手段と
前記撮像手段により撮像された画像に対して設定されるべき前記照明機器の点灯・消灯状態を出力する識別手段を含み、前記識別手段の出力した点灯・消灯状態に前記照明機器を設定する照明機器状態制御手段と、
前記運転者の前記照明機器設定手段の操作による前記照明機器の点灯・消灯状態の切換が複数回実行された区間に於いて前記照明機器の点灯・消灯状態の切換が実行されたときの前記撮像手段により撮像された画像である学習用画像と前記運転者の操作により設定された前記照明機器の点灯・消灯状態である正解状態とを学習データとして収集し、前記学習データを用いた機械学習モデルのアルゴリズムに従った学習処理によって、前記識別手段が前記学習データに於ける前記学習用画像が入力されると前記正解状態を出力するように前記識別手段の設定を決定する識別手段学習手段とを含み、
前記照明機器状態制御手段の前記識別手段が、前記識別手段学習手段により決定された設定を用いて前記撮像手段により撮像された画像に対して設定されるべき前記照明機器の点灯・消灯状態を出力するよう構成されているシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082938A JP2020181310A (ja) | 2019-04-24 | 2019-04-24 | 車両の照明制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082938A JP2020181310A (ja) | 2019-04-24 | 2019-04-24 | 車両の照明制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020181310A true JP2020181310A (ja) | 2020-11-05 |
Family
ID=73024053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019082938A Pending JP2020181310A (ja) | 2019-04-24 | 2019-04-24 | 車両の照明制御システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020181310A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023166644A1 (ja) * | 2022-03-03 | 2023-09-07 | 三菱電機株式会社 | 配光制御装置、配光制御システム、及び配光制御方法 |
CN117412442A (zh) * | 2023-12-14 | 2024-01-16 | 四川九通智路科技有限公司 | 一种应用于隧道的照明节能控制方法 |
-
2019
- 2019-04-24 JP JP2019082938A patent/JP2020181310A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023166644A1 (ja) * | 2022-03-03 | 2023-09-07 | 三菱電機株式会社 | 配光制御装置、配光制御システム、及び配光制御方法 |
CN117412442A (zh) * | 2023-12-14 | 2024-01-16 | 四川九通智路科技有限公司 | 一种应用于隧道的照明节能控制方法 |
CN117412442B (zh) * | 2023-12-14 | 2024-02-20 | 四川九通智路科技有限公司 | 一种应用于隧道的照明节能控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102164461B1 (ko) | 적응형 하이 빔 제어 장치를 갖는 이미징 시스템 | |
JP4473232B2 (ja) | 車載用車両前方環境検出装置および車両用照明装置 | |
CN103476636B (zh) | 用于与道路相关地调节车辆的照明系统的照明距离的方法和控制设备 | |
EP3052341B1 (en) | System and method for controlling exterior vehicle lights on motorways | |
CN103596804B (zh) | 用于接通车辆的远光的方法和控制设备 | |
US9317758B2 (en) | Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle | |
US9185363B2 (en) | Vehicle imaging system and method for categorizing objects using relative motion analysis | |
JP2010006172A (ja) | オートライト装置 | |
CN105579289B (zh) | 具有自身运动检测的成像系统和方法 | |
CN105555606B (zh) | 用于在车辆尾灯与闪烁的红色停车灯之间进行判别的车辆成像系统和方法 | |
JP2006298362A (ja) | 暗い領域に到達したことを早期に検出する方法 | |
CN104487288A (zh) | 用于响应多级村庄检测来控制车辆设备的系统以及方法 | |
CN113727879A (zh) | 用于运行自主交通工具中的驾驶员信息系统的方法和驾驶员信息系统 | |
JP2020181310A (ja) | 車両の照明制御システム | |
JP2008296759A (ja) | 情報処理装置および方法、並びにプログラム | |
CN111824003A (zh) | 一种车灯的控制方法及控制系统 | |
JP2018005830A (ja) | 車両の制御装置 | |
CN111746381B (zh) | 车辆灯光控制系统及车辆灯光控制方法 | |
JP7125893B2 (ja) | 走行制御装置、制御方法およびプログラム | |
CN110774976B (zh) | 用于控制车辆前灯的装置和方法 | |
JP6600041B2 (ja) | 車線適応型ランプ制御装置および方法 | |
JP2020179739A (ja) | 車両の照明制御装置 | |
JP2008054170A (ja) | 車載画像処理装置 | |
WO2022130866A1 (ja) | 配光制御システム及びセンシングシステム | |
CN114655111B (zh) | 车辆的远近光灯的切换方法与中央处理单元 |