JP2021138338A - 車両制御システム - Google Patents
車両制御システム Download PDFInfo
- Publication number
- JP2021138338A JP2021138338A JP2020039978A JP2020039978A JP2021138338A JP 2021138338 A JP2021138338 A JP 2021138338A JP 2020039978 A JP2020039978 A JP 2020039978A JP 2020039978 A JP2020039978 A JP 2020039978A JP 2021138338 A JP2021138338 A JP 2021138338A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- processing
- processing result
- unit
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】車両制御に関して、同じ処理のために異なる演算を実行する複数の処理部のうちの適切なものを判断できる車両制御システムを提供する。【解決手段】車両制御システムに含まれる車両は、車両の周囲の環境を表すセンサ信号に対する、車両の制御に関する所定の処理の第1の処理部による第1の処理結果と、その所定の処理の第2の処理部による第2の処理結果とが異なる場合、それら処理結果が得られたときの車両の周囲の環境または車両の挙動を表す環境情報とそれら処理結果とをサーバへ送信するS102。サーバは、その環境情報に基づいて、第1の処理結果と第2の処理結果の何れが適切かを判定しS103、適切な方の処理結果を出力した処理部と第1の処理部と第2の処理部のうちの車両の制御に利用されている処理部とが異なる場合に、車両の制御に利用される処理部を切り替えることを車両に指示するS105。【選択図】図2
Description
本発明は、車両制御システムに関する。
車両を自動運転し、あるいは、ドライバによる車両の運転を支援するための技術が研究されている。このような技術において、車両をより適切に制御するために、同一の入力に対して互いに異なる処理を実行することで、複数の制御情報を求め、それら制御情報の中から何れかの制御情報を選択して車両の制御に利用する技術が提案されている(例えば、特許文献1を参照)。
例えば、特許文献1に開示された電子制御装置では、外部からの入力を基に、安全性要件を満たさない第1の演算部と安全性要件を満たす第2の演算部のそれぞれが制御演算を実行する。さらに、この電子制御装置では、第1の演算部及び第2の演算部のそれぞれから出力される制御演算結果を基に、第1の予測部及び第2の予測部が制御対象の将来の状態をそれぞれ予測する。そして、この電子制御装置は、第1の予測部及び第2の予測部から出力される制御対象の将来の状態を表す量を基に、各制御演算結果についての安全性を評価し、その評価結果を基に、少なくとも安全性要件を満たすものを一つ選択して、電子制御装置の演算結果として出力する。
上記の技術では、二つの制御演算結果についての安全性に関しては評価されるものの、その二つの制御演算結果の何れがより適切かについては判断されない。
そこで、本発明は、車両制御に関して、同じ処理のために異なる演算を実行する複数の処理部のうちの適切なものを判断できる車両制御システムを提供することを目的とする。
一つの実施形態によれば、車両と、その車両と通信可能なサーバとを有する車両制御システムが提供される。この車両制御システムにおいて、車両は、サーバと通信するための通信部と、車両の周囲の環境または前記車両の挙動を表す環境情報を記憶する記憶部と、車両に搭載されたセンサにより得られた車両の周囲の環境を表すセンサ信号に基づいて、車両の制御に関する所定の処理を実行する第1の処理部と、そのセンサ信号に基づいて、所定の処理を実行する第2の処理部と、第1の処理部による第1の処理結果と第2の処理部による第2の処理結果の何れを車両の制御に利用するかを切り替える切替部と、第1の処理部による第1の処理結果と第2の処理部による第2の処理結果とを比較し、第1の処理結果と第2の処理結果とが異なる場合に、その互いに異なる第1の処理結果及び第2の処理結果とともに、その互いに異なる第1の処理結果及び第2の処理結果が得られたときの環境情報と、第1の処理部と第2の処理部のうちの車両の制御に利用されている方の処理部を表す情報とを通信部を介してサーバへ送信する送信判定部とを有する。また、サーバは、車両と通信するための通信部と、互いに異なる第1の処理結果及び第2の処理結果が得られたときの環境情報に基づいて、第1の処理結果と第2の処理結果の何れが適切かを判定する判定部と、第1の処理部と第2の処理部のうちの車両の制御に利用されている方の処理部と、第1の処理部と第2の処理部のうちの第1の処理結果及び第2の処理結果のうちの適切な方を出力した処理部とが異なっている場合に、車両の制御に利用される処理部を切り替えることを、通信部を介して前記車両に指示する指示部とを有する。
本発明に係る車両制御システムは、車両制御に関して、同じ処理のために異なる演算を実行する複数の処理部のうちの適切なものを判断できるという効果を奏する。
以下、図を参照しつつ、車両制御システムについて説明する。この車両制御システムは、車両と、その車両と通信可能に構成されるサーバとを有する。そして車両は、車両制御に関する同じ目的の所定の処理を、互いに異なるアルゴリズムに従って実行する、すなわち、互いに異なる演算を実行する複数の処理部を有し、各処理部が、車両に搭載されたセンサにより得られた同一のセンサ信号に基づいて所定の処理を実行する。そして複数の処理部のうちの何れかによる処理結果は、車両の制御に用いられるとともに、他の処理部による処理結果と比較される。そして各処理部により得られた処理結果が互いに異なる場合、車両は、それら処理結果とともに、それらの処理結果が得られたときの車両の周囲の環境または車両の挙動を表す環境情報と、各処理部のうちの車両の制御に利用されている方を表す情報とをサーバへ送信する。サーバは、受信した環境情報に基づいて、各処理結果のうちの適切なものを判定する。そしてサーバは、車両が有するその複数の処理部のうち、車両の制御に利用されている処理部と、より適切な処理結果を出力した処理部とが異なっている場合、車両に対して、車両の制御に利用される処理部を、より適切な処理結果を出力した処理部へ切り替えることを指示する。
なお、車両制御に関する所定の処理は、例えば、車両に搭載されたカメラにより得られた車両の周囲の環境が表された画像、あるいは、LiDARまたはレーダといった測距センサにより得られた測距信号といったセンサ信号に対する、車両の周囲に存在する他の物体を検出する処理である。あるいは、車両制御に関する所定の処理は、それらセンサ信号に基づいて車両の走行予定経路を設定する処理、あるいは、走行予定経路に沿って車両の走行を制御する処理であってもよい。以下に示す例では、車両制御に関する所定の処理は、車両に搭載されたカメラにより得られた車両の周囲の環境が表された画像から、車両の周囲に存在する他の物体を検出する処理(以下、物体検出処理と呼ぶことがある)であるものとする。この場合、カメラにより得られた車両の周囲の環境が表された画像は、所定の処理の入力として用いられるセンサ信号の一例であるとともに、環境情報の一例である。
また、以下に示す例では、車両は、物体検出処理を実行する二つの処理部(すなわち、二つの物体検出部)を有するものとする。なお、車両は所定の処理を実行する三つ以上の処理部を有していてもよい。
図1は、車両システムの概略構成図である。本実施形態では、車両制御システム1は、少なくとも一つの車両2と、サーバ3とを有する。車両2は、例えば、サーバ3が接続される通信ネットワーク4とゲートウェイ(図示せず)などを介して接続される無線基地局5にアクセスすることで、無線基地局5及び通信ネットワーク4を介してサーバ3と接続される。なお、図1では、一つの車両2のみが図示されているが、車両制御システム1は複数の車両2を有してもよい。同様に、複数の無線基地局5が通信ネットワーク4に接続されていてもよい。
図2は、車両制御処理のシーケンス図である。車両制御システム1は、例えば、所定の周期ごとに、図2に示されるシーケンス図に従って車両制御処理を実行すればよい。
車両2は、自車両に搭載されたカメラにより得られた同一の画像に対して二つの処理部がそれぞれ実行した、車両制御に関する所定の処理の結果(本実施形態では、物体検出処理の結果)が相違するか否かする(ステップS101)。そして二つの処理部のそれぞれによる処理結果が互いに異なる場合、車両2は、各処理部による処理結果を示す処理結果情報、その処理が実行された前後の所定期間に含まれる一連の画像といった環境情報、各処理部のうち、現時点で車両制御に利用されている処理部を示す適用情報、及び、車両2の識別情報を含む通知情報を、無線基地局5及び通信ネットワーク4を介してサーバ3へ送信する(ステップS102)。
サーバ3は、受信した通知情報に含まれる環境情報に基づいて、何れの処理部による処理結果の方が適切かを判定する(ステップS103)。
図3は、車両2が有する複数の処理部による、車両制御に関する所定の処理(本実施形態では、物体検出処理)の結果が互いに異なる一例を示す図である。図3に示される処理結果301は、車両2に搭載されたカメラにより得られた画像300に対する、一方の処理部による物体検出処理の結果を表し、処理結果302は、同じ画像300に対する、他方の処理部による物体検出処理の結果を表す。処理結果301では、画像300上で3台の車両311〜313が検出されている。これに対して、処理結果302では、画像300上で4台の車両311〜314が検出されている。そして、実際に、画像300に4台の車両311〜314が表されているので、処理結果301よりも処理結果302の方が適切と判定される。
サーバ3は、処理結果が適切な方の処理部と、現時点で車両制御に利用されている方の処理部とが同じか否か判定する(ステップS104)。処理結果が適切な方の処理部と、現時点で車両制御に利用されている方の処理部とが異なっている場合、サーバ3は、車両制御に使用する処理部を切り替えることを指示する切替指示信号を、通信ネットワーク4及び無線基地局5を介して車両2へ送信する(ステップS105)。
車両2は、切替指示信号を受信すると、車両制御に使用する処理部を切り替える(ステップS106)。
以下、車両制御システム1が有する各装置について説明する。先ず、車両2について説明する。上記のように、車両制御システム1には、車両2が複数含まれてもよいが、車両制御処理に関して各車両2は同じ構成を有し、かつ同じ処理を実行すればよいので、以下では、一つの車両2について説明する。
図4は、車両2の概略構成図である。車両2は、センサの一例であるカメラ11と、GPS受信機12と、無線通信端末13と、ストレージ装置14と、電子制御装置(ECU)15とを有する。カメラ11、GPS受信機12、無線通信端末13、ストレージ装置14及びECU15は、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。また、車両2は、車両2の走行予定ルートを探索し、その走行予定ルートに従って車両2が走行するようナビゲートするナビゲーション装置(図示せず)をさらに有してもよい。さらに、車両2は、LiDARセンサまたはレーダといった、車両2の周囲の物体までの距離を測定するための測距センサ(図示せず)をさらに有してもよい。このような測距センサも、車両2に搭載されるセンサの他の一例である。
カメラ11は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ11は、例えば、車両2の前方を向くように、例えば、車両2の車室内に取り付けられる。そしてカメラ11は、所定の撮影周期(例えば1/30秒〜1/10秒)ごとに車両2の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ11により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両2には、撮影方向または焦点距離が異なる複数のカメラ11が設けられてもよい。
カメラ11は、画像を生成する度に、その生成した画像及び撮影時刻を、車内ネットワークを介してストレージ装置14及びECU15へ出力する。
GPS受信機12は、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両2の自己位置を測位する。そしてGPS受信機12は、所定の周期ごとに、GPS信号に基づく車両2の自己位置の測位結果を表す測位情報を、車内ネットワークを介してECU15へ出力する。なお、車両2はGPS受信機11以外の衛星測位システムに準拠した受信機を有していてもよい。この場合、その受信機が車両2の自己位置を測位すればよい。
無線通信端末13は、通信部の一例であり、所定の無線通信規格に準拠した無線通信処理を実行する機器であり、例えば、無線基地局5にアクセスすることで、無線基地局5及び通信ネットワーク4を介してサーバ3と接続される。そして無線通信端末13は、サーバ3から通信ネットワーク4及び無線基地局5を介して受信したダウンリンクの無線信号に含まれる切替指示信号をECU15へ出力する。また、無線通信端末13は、ECU15から受け取った通知情報などを含むアップリンクの無線信号を生成する。そして無線通信端末13は、そのアップリンクの無線信号を無線基地局5へ送信することで、通知情報などをサーバ3へ送信する。
ストレージ装置14は、記憶部の一例であり、例えば、揮発性の半導体メモリまたは不揮発性の半導体メモリにより構成されるリングバッファとすることができる。そしてストレージ装置14は、カメラ11から受信した画像をその撮影時刻とともに一定期間にわたって記憶し、その一定期間を経過した画像を消去してもよい。なお、一定期間は、例えば、サーバ3が、何れの処理部による物体検出処理の結果が適切かを判定するために使用される時系列の一連の画像が記録される期間、例えば、数秒間〜数十秒間とすることができる。
ECU15は、車両2の走行を制御する。本実施形態では、ECU15は、カメラ11により得られた画像に基づいて車両2を自動運転制御する。
図5は、ECU15のハードウェア構成図である。ECU15は、通信インターフェース21と、メモリ22と、プロセッサ23とを有する。
通信インターフェース21は、ECU15を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース21は、車内ネットワークを介して、カメラ11、GPS受信機12、無線通信端末13及びストレージ装置14と接続される。そして通信インターフェース21は、カメラ11から画像を受信する度に、受信した画像をプロセッサ23へわたす。また、通信インターフェース21は、GPS受信機12から測位情報を受信する度に、受信した測位情報をプロセッサ23へわたす。さらに、通信インターフェース21は、無線通信端末13から、切替指示信号といったサーバ3からの信号を受信する度に、その信号をプロセッサ23へわたす。さらにまた、通信インターフェース21は、ストレージ装置14から受け取った時系列の一連の画像をプロセッサ23へわたす。さらにまた、通信インターフェース21は、プロセッサ23から受け取った通知情報など、サーバ3へ送信する情報を、車内ネットワークを介して無線通信端末13へ出力する。
メモリ22は、記憶部の他の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。なお、メモリ22は、プロセッサ23が複数の演算回路を有する場合、演算回路ごとに設けられてもよい。そしてメモリ22は、ECU15のプロセッサ23により実行される車両制御処理において使用される各種のデータ、例えば、車両2の識別情報、カメラ11の内部パラメータ、カメラ11から受信した画像及び撮影時刻、画像から物体を検出するための識別器を規定するための各種パラメータ、及び、後述する第1の物体検出部と第2の物体検出部の何れが車両2の制御に使用されているかを表す適用フラグを記憶する。さらに、メモリ22は、GPS受信機12から受信した測位情報、及び、ナビゲーション装置(図示せず)から受け取った、走行予定ルートを表す情報などを記憶する。さらに、メモリ22は、プロセッサ23で実行される各処理を実現するためのコンピュータプログラムなどを記憶してもよい。
プロセッサ23は、1個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ23は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ23は、カメラ11から受信した画像、GPS受信機12から受信した測位情報などをメモリ22に記憶する。さらに、プロセッサ23は、車両2が走行している間、車両制御処理を実行する。
図6は、ECU15のプロセッサ23の機能ブロック図である。プロセッサ23は、第1の物体検出部31−1と、第2の物体検出部31−2と、送信判定部32と、切替部33と、車両制御部34とを有する。プロセッサ23が有するこれらの各部は、例えば、プロセッサ23上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ23が有するこれらの各部は、プロセッサ23に設けられる、専用の演算回路であってもよい。特に、プロセッサ23が複数の演算回路を有する場合、第1の物体検出部31−1と、第2の物体検出部31−2とは、それぞれ、別個の演算回路により実行されてもよい。
第1の物体検出部31−1は、車両制御に関する所定の処理を実行する第1の処理部の一例である。本実施形態では、第1の物体検出部31−1は、ECU15がカメラ11から画像を受け取る度に、その画像に対して第1の物体検出処理を実行して、車両2の周囲に存在する他の物体を検出する。なお、検出対象となる、他の物体には、例えば、車両2の周囲を走行する他の車両、人、信号機、道路標識、及び、車線区画線といった道路標示が含まれる。
例えば、第1の物体検出部31−1は、第1の物体検出処理として、画像を識別器(以下、第1の識別器と呼ぶことがある)に入力することで、入力された画像に表された、車両2の周囲の他の物体を検出する。第1の物体検出部31−1は、そのような第1の識別器として、例えば、入力された画像から、その画像に表された検出対象の物体を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。第1の物体検出部31−1は、そのようなDNNとして、例えば、Single Shot MultiBox Detector(SSD)またはFaster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNNを用いることができる。この場合、第1の物体検出部31−1が画像を第1の識別器に入力することで、その第1の識別器は、入力された画像上の様々な領域において、検出対象となる物体の種類(例えば、車両、人、道路標識など)ごとに、その物体がその領域に表されている確からしさを表す確信度を算出し、何れかの種類の物体についての確信度が所定の検出閾値以上となる領域に、その種類の物体が表されていると判定する。そして第1の識別器は、入力された画像上で検出対象となる物体が含まれる領域(例えば、検出対象となる物体の外接矩形、以下、物体領域と呼ぶ)を表す情報、及び、物体領域に表された物体の種類を表す情報を出力する。なお、第1の識別器は、DNN以外の機械学習手法、例えば、サポートベクトルマシンあるいはadaBoostといった手法に従って構成されてもよい。
第1の物体検出部31−1は、第1の物体検出処理の結果(以下、単に第1の処理結果と呼ぶことがある)である、物体領域の位置(例えば、物体領域の左上端及び右下端の座標)及びその物体領域に表された物体の種類を表す情報を、送信判定部32及び切替部33へ出力する。
第2の物体検出部31−2は、車両制御に関する所定の処理を実行する第2の処理部の一例である。本実施形態では、第2の物体検出部31−2は、第1の物体検出部31−1と同様に、ECU15がカメラ11から画像を受け取る度に、その画像に対して第2の物体検出処理を実行して、車両2の周囲に存在する他の物体を検出する。すなわち、第2の物体検出部31−2は、第1の物体検出部31−1に入力されるセンサ信号と同じセンサ信号に対して第2の物体検出処理を実行する。なお、第1の物体検出処理と第2の物体検出処理とは並列に実行されることが好ましいが、第1の物体検出処理と第2の物体検出処理の何れかが先に実行されてもよい。
第2の物体検出部31−2も、例えば、第2の物体検出処理として、画像を識別器(以下、第2の識別器と呼ぶことがある)に入力することで、入力された画像に表された、車両2の周囲の他の物体を検出する。すなわち、第2の識別器も、第1の識別器と同様に、物体領域の位置及びその物体領域に表された物体の種類を表す情報を出力する。また、第2の識別器も、第1の識別器と同様に、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNN、あるいは、他の機械学習手法に従って構成された識別器とすることができる。
ただし、第2の物体検出部31−2が使用する第2の識別器は、第1の物体検出部31−1が使用する第1の識別器と異なるものである。例えば、第1の識別器であるDNNの構成(例えば、畳み込み層、プーリング層及び全結合層の数またはこれらの層の順序といった層構成)と第2の識別器であるDNNの構成は互いに異なっていてもよい。あるいは、第1の識別器であるDNNの構成と第2の識別器であるDNNの構成は同一であるものの、第1の識別器であるDNNと第2の識別器であるDNNとが互いに異なる教師データを用いて学習されたものであってもよい。この場合には、各識別器に含まれる畳み込み層または全結合層における各ノードの重み係数が互いに異なることになる。あるいはまた、第1の識別器と第2の識別器とは、互いに異なる機械学習手法に従って構成されてもよい。
第2の物体検出部31−2は、第2の物体検出処理の結果(以下、単に第2の処理結果と呼ぶことがある)である、画像上での物体領域の位置及びその物体領域に表された物体の種類を表す情報を、送信判定部32及び切替部33へ出力する。
送信判定部32は、同じ画像に対する第1の物体検出部31−1による第1の処理結果と第2の物体検出部31−2による第2の処理結果とを比較する。送信判定部32は、第1の処理結果と第2の処理結果とが異なる場合に、その互いに異なる第1の処理結果及び第2の処理結果が得られた際の入力センサ信号である画像、あるいは、その画像の撮影時刻の前後の所定期間にカメラ11により得られた時系列の一連の画像のそれぞれを環境情報としてストレージ装置14から読み出す。そして送信判定部32は、第1の処理結果及び第2の処理結果を表す処理結果情報、環境情報である画像または時系列の一連の画像、第1の物体検出部31−1及び第2の物体検出部31−2のうちの車両2の制御に利用されている方を表す適用情報、及び、車両2の識別情報を含む通知情報を生成する。送信判定部32は、生成した通知情報を、無線通信端末13、無線基地局5及び通信ネットワーク4を介してサーバ3へ送信する。
本実施形態では、第1の処理結果及び第2の処理結果は、それぞれ、画像上における物体領域の位置及び物体領域に表された物体の種類であるため、送信判定部32は、第1の処理結果として得られた画像上の物体領域の数、物体領域ごとの位置、サイズ及び物体の種類を、第2の処理結果として得られた画像上の物体領域の数、物体領域ごとの位置、サイズ及び物体の種類と比較する。そして送信判定部32は、物体領域の数、物体領域ごとの位置、サイズ及び物体の種類の何れかが互いに異なっている場合、第1の処理結果と第2の処理結果とが異なっていると判定する。例えば、送信判定部32は、第1の処理結果における、着目する物体領域について、第2の処理結果における、何れの物体領域に対しても、位置(例えば、左上端または右下端)が所定距離以上離れている場合、あるいは、サイズ(例えば、幅、高さまたは面積)が所定の閾値以上異なっている場合、第1の処理結果と第2の処理結果とが異なっていると判定すればよい。
なお、送信判定部32は、直近の所定期間(例えば、0.1秒〜数秒間)に得られた各画像について、第1の処理結果と第2の処理結果との間で、画像上の物体領域の数、物体領域ごとの位置、サイズ及び物体の種類の何れかが異なっている場合に、第1の処理結果と第2の処理結果とが異なっていると判定してもよい。これにより、車両制御に影響が無いレベルの処理結果の違いが検出されなくなり、サーバ3へ送信される情報量が抑制されるので、車両2とサーバ3間の通信負荷及びサーバ3の処理負荷が軽減される。
送信判定部32は、第1の処理結果と第2の処理結果とが異なっていると判定した場合、その互いに異なる第1の処理結果及び第2の処理結果が得られた際の入力センサ信号である画像についての撮影時刻を基準時刻とし、基準時刻の前後の所定期間に含まれる時系列の一連の画像のそれぞれを環境情報としてストレージ装置14から読み込む。また、送信判定部32は、メモリ22から、車両2の識別情報、及び、第1の物体検出部31−1と第2の物体検出部31−2のうちの何れが車両2の制御に利用されているかを表す適用フラグを読み込む。そして送信判定部32は、適用フラグの値を適用情報とし、その適用情報と、車両2の識別情報と、環境情報と、第1の処理結果及び第2の処理結果を含む処理結果情報とを含む通知情報を生成する。なお、送信判定部32は、環境情報として、基準時刻前後の所定期間の一連の画像をサーバ3に送信する場合、それら一連の画像のうち、第1の処理結果と第2の処理結果とが異なる画像を識別するための情報も通知情報に含めることが好ましい。これにより、サーバ3は、第1の処理結果と第2の処理結果とが異なる画像を識別することが容易となる。さらに、送信判定部32は、第1の処理結果及び第2の処理結果が異なる画像についての撮影時刻における、車両2の位置及びカメラ11の撮影方向を表す情報を通知情報に含めてもよい。そして送信判定部32は、その通知情報を無線通信端末13へ出力して、無線通信端末13に、その通信情報を無線基地局5及び通信ネットワーク4を介してサーバ3へ送信させる。
また、第1の処理結果と第2の処理結果とが同一である場合、送信判定部32は、通知情報を生成しない。
切替部33は、適用フラグで示される、第1の物体検出部31−1から受け取った第1の処理結果と第2の物体検出部31−2から受け取った第2の処理結果のうち、車両2の制御に利用される方の処理結果を車両制御部34へわたす。また、切替部33は、ECU15がサーバ3から切替指示信号を受信すると、その切替指示信号に従って、第1の物体検出部31−1と第2の物体検出部31−2のうち、現時点で車両2の制御に使用されていない方を車両2の制御に利用し、逆に、現時点で車両2の制御に利用されている方を車両2の制御に利用しないよう、適用フラグの値を更新する。なお、同一のセンサ信号に基づいて所定の処理を実行する処理部の数が3個以上である場合、切替部33は、切替指示信号に含まれる、切替先の処理部を特定する情報を参照して、車両2の制御に利用する処理部を決定してもよい。
車両制御部34は、第1の処理結果または第2の処理結果のうち、切替部33から受け取った方の処理結果、すなわち、第1の物体検出部31−1及び第2の物体検出部31−2のうち、車両2の制御に利用される方による処理結果に基づいて、車両2を自動運転制御する。
本実施形態では、車両制御部34は、目的地までの走行予定ルートに沿って車両2が進むよう、直近の所定の区間(例えば、500m〜1km)における車両2の走行予定経路(トラジェクトリ)を1以上生成する。なお、走行予定ルートは、例えば、車両2に搭載されたナビゲーション装置により予め生成されればよい。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両2の目標位置の集合として表される。
車両制御部34は、第1の処理結果または第2の処理結果のうち、切替部33から受け取った方の処理結果を参照して、カメラ11により得られた時系列の一連の画像から検出された、車両2の周囲に存在する物体と車両2とが衝突しないように走行予定経路を生成する。例えば、車両制御部34は、時系列の一連の画像から検出された物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。その際、車両制御部34は、各画像の取得時における、車両2の現在位置及び姿勢と、検出された物体までの推定距離と、車両2からその物体へ向かう方向とにより、各画像の取得時における、検出された物体の位置を推定できる。なお、車両2の位置及び姿勢は、例えば、GPS受信機12からの測位情報に基づいて推定される。あるいは、車両2の位置及び姿勢は、カメラ11により画像が得られる度に、その画像から検出された、車両2の左右の車線区画線と地図とをマッチングすることで推定されてもよい。また、車両2から検出された物体までの推定距離は、画像上でのその物体が表された物体領域のサイズと、その物体までの距離が基準距離である場合における、その物体の画像上での基準サイズとの比、及び、その物体の実空間のサイズとに基づいて求められる。なお、基準距離、検出された物体の画像上での基準サイズ及び実空間のサイズは、例えば、メモリ22に予め記憶されていればよい。さらに、車両2が測距センサを有する場合には、その測距センサにより測定される、画像上での物体領域の位置に対応する実空間の方位における距離を、車両2からその物体までの距離としてもよい。さらに、車両2からその物体へ向かう方向は、画像上のその物体の位置、及び、車両2に対するカメラ11の設置位置及び向きから求められる。そして車両制御部34は、各画像の取得時における、検出された物体の推定位置に対してKalman FilterまたはParticle Filterなどを用いたトラッキング処理を実行することで、その検出された物体を追跡することができる。
車両制御部34は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両2間の距離の予測値が所定距離以上となるように、車両2の走行予定経路を生成する。
なお、車両制御部34は、複数の走行予定経路を生成してもよい。この場合、車両制御部34は、複数の走行予定経路のうち、車両2の加速度の絶対値の総和が最小となる経路を選択してもよい。
なお、車両制御部34は、複数の走行予定経路を生成してもよい。この場合、車両制御部34は、複数の走行予定経路のうち、車両2の加速度の絶対値の総和が最小となる経路を選択してもよい。
車両制御部34は、走行予定経路を設定すると、車両2がその走行予定経路に沿って走行するように車両2の各部を制御する。例えば、車両制御部34は、走行予定経路、及び、車速センサ(図示せず)により測定された車両2の現在の車速に従って、車両2の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部34は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両2のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部34は、設定されたブレーキ量に応じた制御信号を車両2のブレーキへ出力する。
さらに、車両制御部34は、車両2が走行予定経路に沿って走行するために車両2の進路を変更する場合には、その走行予定経路に従って車両2の操舵角を求め、その操舵角に応じた制御信号を、車両2の操舵輪を制御するアクチュエータ(図示せず)へ出力する。
図7は、車両制御処理のうちの車両2において実行される処理の動作フローチャートである。ECU15のプロセッサ23は、例えば、所定の周期ごとに、以下に示される動作フローチャートに従って車両制御処理のうちの関連部分の処理を実行すればよい。
プロセッサ23の第1の物体検出部31−1は、カメラ11により得られた最新の画像に対して第1の物体検出処理を実行して、車両2の周囲に存在する他の物体を検出することで、第1の処理結果を出力する(ステップS201)。また、プロセッサ23の第2の物体検出部31−2は、カメラ11により得られた最新の画像に対して第2の物体検出処理を実行して、車両2の周囲に存在する他の物体を検出することで、第2の処理結果を出力する(ステップS202)。
プロセッサ23の切替部33は、メモリ22に記憶される適用フラグを参照して、第1の処理結果と第2の処理結果のうち、車両2の制御に利用される方の処理結果を選択する(ステップS203)。そして切替部33は、車両2の制御に利用される方の処理結果をプロセッサ23の車両制御部34へわたす。
また、切替部33は、ECU15がサーバ3から切替指示信号を受信しているか否か判定する(ステップS204)。そしてECU15がサーバ3から切替指示信号を受信している場合(ステップS204−Yes)、第1の物体検出部31−1と第2の物体検出部31−2のうち、車両2の制御に利用される方の物体検出部を切り替えるよう、適用フラグの値を更新する(ステップS205)。
ステップS205の後、あるいは、ステップS204にてECU15がサーバ3から切替指示信号を受信していない場合(ステップS204−No)、プロセッサ23の車両制御部34は、選択された処理結果に基づいて車両2の走行を制御する(ステップ206)。
また、プロセッサ23の送信判定部32は、第1の処理結果と第2の処理結果とが互いに異なるか否か判定する(ステップS207)。第1の処理結果と第2の処理結果とが互いに異なる場合(ステップS207−Yes)、送信判定部32は、第1の物体検出部31−1と第2の物体検出部31−2のうちの車両2の制御に適用される方を示す適用情報と、車両2の識別情報と、第1の処理結果と第2の処理結果とが異なると判定された画像についての撮影時刻の前後の一定期間に含まれる各画像である環境情報と、第1の処理結果及び第2の処理結果を含む処理結果情報とを含む通知情報を生成する。なお、上記のように、通知情報に環境情報として含める画像は、第1の処理結果と第2の処理結果とが互いに異なるときの各物体検出部への入力となる画像のみであってもよい。そして送信判定部32は、その通知情報を無線通信端末13へ出力して、無線通信端末13に、その通信情報を無線基地局5及び通信ネットワーク4を介してサーバ3へ送信させる(ステップS208)。
ステップS208の後、あるいは、ステップS207にて、第1の処理結果と第2の処理結果とが同一である場合(ステップS207−No)、プロセッサ23は、車両制御処理のうちの関連部分の処理を終了する。
なお、プロセッサ23は、ステップS201の処理と、ステップS202の処理とを並列に実行してもよい。また、プロセッサ23は、ステップS204〜ステップS206の処理と、ステップS207及びステップS208の処理とを並列に実行してもよい。さらに、プロセッサ23は、ステップS204及びステップS205の処理と、ステップS206の処理とをそれぞれ独立に実行してもよい。
次に、サーバ3について説明する。
図8は、サーバ3のハードウェア構成図である。サーバ3は、通信インターフェース41と、ストレージ装置42と、メモリ43と、プロセッサ44とを有する。通信インターフェース41、ストレージ装置42及びメモリ43は、プロセッサ44と信号線を介して接続されている。サーバ3は、キーボード及びマウスといった入力装置と、液晶ディスプレイといった表示装置とをさらに有してもよい。
図8は、サーバ3のハードウェア構成図である。サーバ3は、通信インターフェース41と、ストレージ装置42と、メモリ43と、プロセッサ44とを有する。通信インターフェース41、ストレージ装置42及びメモリ43は、プロセッサ44と信号線を介して接続されている。サーバ3は、キーボード及びマウスといった入力装置と、液晶ディスプレイといった表示装置とをさらに有してもよい。
通信インターフェース41は、通信部の一例であり、サーバ3を通信ネットワーク4に接続するためのインターフェース回路を有する。そして通信インターフェース41は、車両2と、通信ネットワーク4及び無線基地局5を介して通信可能に構成される。すなわち、通信インターフェース41は、車両2から無線基地局5及び通信ネットワーク4を介して受信した、通知情報などをプロセッサ44へわたす。また、通信インターフェース41は、プロセッサ44から受け取った切替指示信号などを、通信ネットワーク4及び無線基地局5を介して車両2へ送信する。
ストレージ装置42は、記憶部の一例であり、例えば、ハードディスク装置または光記録媒体及びそのアクセス装置を有する。そしてストレージ装置42は、地図情報、車両2から受信した通知情報に含まれる、車両2の識別情報、環境情報、処理結果情報及び適用情報などを記憶する。さらに、ストレージ装置42は、プロセッサ44上で実行される、車両制御処理を実行するためのコンピュータプログラムを記憶してもよい。
メモリ43は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ43は、車両制御処理を実行中に生成される各種データなどを一時的に記憶する。
プロセッサ44は、制御部の一例であり、1個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ44は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ44は、車両制御処理のうちのサーバ3に関連する部分の処理を実行する。
図9は、車両制御処理に関する、プロセッサ44の機能ブロック図である。プロセッサ44は、判定部51と、指示部52とを有する。プロセッサ44が有するこれらの各部は、例えば、プロセッサ44上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ44が有するこれらの各部は、プロセッサ44に設けられる、専用の演算回路であってもよい。
判定部51は、サーバ3が車両2から通知情報を受信する度に、その通知情報に含まれる環境情報に基づいて、その通知情報に含まれる第1の処理結果(すなわち、第1の物体検出部31−1による物体検出の結果)と第2の処理結果(すなわち、第2の物体検出部31−2による物体検出の結果)の何れが適切かを判定する。
例えば、判定部51は、予め、車両2に搭載するには処理が重過ぎる(例えば、ハードウェアリソースへの要求が過大)ものの、より高精度の検証用の識別器を利用する。このような検証用の識別器も、例えば、CNN型のアーキテクチャを有するDNNとすることができる。ただし、検証用の識別器として利用されるDNNは、例えば、第1の物体検出部31−1が利用する第1の識別器として利用されるDNN及び第2の物体検出部31−2が利用する第2の識別器として利用されるDNNよりも、層数、または、何れかの層で生成される特徴マップのチャネル数などをより多く有するものとすることができる。これにより、検証用の識別器の物体検出精度は、第1の識別器及び第2の識別器の物体検出精度よりも高くなる。
判定部51は、環境情報として車両2から受信した、第1の処理結果と第2の処理結果とが異なるときの画像を検証用の識別器に入力することで、第1の物体検出部31−1及び第2の物体検出部31−2と同様に、その画像から車両2の周囲の他の物体が表された物体領域を検出し、かつ、その物体領域に表された他の物体の種類を識別した検証用処理結果を求める。そして判定部51は、検証用処理結果と第1の処理結果及び第2の処理結果とを比較し、第1の処理結果と第2の処理結果のうち、検証用処理結果に近い方の処理結果を特定する。そして判定部51は、第1の処理結果と第2の処理結果のうち、検証用処理結果に近い方の処理結果が他方よりも適切であると判定する。例えば、判定部51は、第1の処理結果と第2の処理結果のうち、画像から検出された物体領域の数が、検証用処理結果における、画像から検出された物体領域の数に近い処理結果の方が他方よりも適切であると判定する。また、第1の処理結果と第2の処理結果とで、検出された物体領域の数が等しい場合、判定部51は、第1の処理結果及び第2の処理結果のそれぞれについて、個々の物体領域に表された物体の種類と、検証用処理結果における、最も近い物体領域に表された物体の種類とが同じとなる数をカウントする。そして判定部51は、第1の処理結果と第2の処理結果のうち、検出された物体の種類が検証用処理結果における物体の種類と同じとなった数が多い処理結果の方が他方よりも適切であると判定する。さらに、第1の処理結果と第2の処理結果とで、検出された物体領域の数が等しく、かつ、個々の物体領域に表された物体の種類が検証用処理結果における対応する物体領域の物体の種類と同じとなった数が等しい場合、判定部51は、第1の処理結果及び第2の処理結果のそれぞれについて、個々の物体領域の位置またはサイズと検証用処理結果における、最も近い物体領域の位置またはサイズの平均誤差を算出する。そして判定部51は、第1の処理結果と第2の処理結果のうち、個々の物体領域の位置またはサイズの平均誤差が小さい処理結果の方が他方よりも適切であると判定する。
また、車両2から受信した通知情報に、第1の処理結果及び第2の処理結果が異なる画像が生成されたときの車両2の位置及びカメラ11の撮影方向を表す情報が含まれている場合、判定部51は、地図情報を参照して、第1の処理結果及び第2の処理結果の何れが適切かを判定してもよい。例えば、第1の処理結果と第2の処理結果とで、道路標示または道路標識に関する検出結果が異なる場合、判定部51は、地図情報と、通知情報に含まれる、車両2の位置及びカメラ11の撮影方向を表す情報とを参照して、画像上に表されているはずの道路標示及び道路標識を特定する。判定部51は、第1の処理結果及び第2の処理結果のうち、特定された道路標示及び道路標識がより多く検出されている処理結果の方が他方の処理結果よりも適切であると判定する。
なお、車両2から受信した通知情報に、複数の画像及び各画像についての第1の処理結果と第2の処理結果とが含まれる場合、判定部51は、通知情報に含まれる複数の画像のそれぞれについて、上記の処理と同様の処理を行って、第1の処理結果と第2の処理結果の何れが適切かを判定してもよい。そして判定部51は、第1の物体検出部31−1及び第2の物体検出部31−2のうち、第1の処理結果と第2の処理結果のうちの適切と判定された数が多い方の処理結果を出力した物体検出部の方が他方よりも適切であると判定してもよい。
判定部51は、第1の物体検出部31−1及び第2の物体検出部31−2のうちのより適切な処理結果を出力した方の物体検出部と、適用情報に示される、車両2の制御に利用される物体検出部とが一致するか否か判定し、その判定結果を指示部52へ通知する。さらに、車両2が、同じセンサ信号に基づいて所定の処理を実行する処理部を3個以上有している場合には、それら処理部のうち、最も適切な処理結果を出力した処理部を指示部52へ通知してもよい。
指示部52は、判定部51から通知された判定結果に従って、車両2の制御に利用される物体検出部を切り替えることを指示する切替指示信号を生成するか否かを判定する。すなわち、判定部51から通知された判定結果において、第1の物体検出部31−1及び第2の物体検出部31−2のうちのより適切な処理結果を出力した物体検出部と、車両2の制御に利用される物体検出部とが異なる場合、指示部52は、車両2の制御に利用される物体検出部を切り替えることを指示する切替指示信号を生成する。そして指示部52は、通知情報に示された車両2の識別情報を参照して、その切替指示信号を、通信インターフェース41、通信ネットワーク4及び無線基地局5を介して車両2へ送信する。これにより、サーバ3は、二つの物体検出部のうちのより適切な方を車両2の制御に使用させることができる。さらに、車両2が、同じセンサ信号に基づいて所定の処理を実行する処理部を3個以上有している場合には、指示部52は、それら処理部のうち、最も適切な処理結果を出力した処理部を示す情報を切替指示信号に含めてもよい。
なお、判定部51から通知された判定結果において、第1の物体検出部31−1及び第2の物体検出部31−2のうちのより適切な処理結果を出力した物体検出部と、車両2の制御に利用される物体検出部とが同一である場合、指示部52は、車両2の制御に利用される物体検出部の切替が不要であることを示す信号を、通信インターフェース41、通信ネットワーク4及び無線基地局5を介して車両2へ送信してもよい。
図10は、サーバ3における、車両制御処理のうちのサーバ3に関連する部分の処理の動作フローチャートである。サーバ3のプロセッサ44は、車両2から通知情報を受信する度に、以下に示される動作フローチャートに従って車両制御処理のうちの関連部分の処理を実行すればよい。
プロセッサ44の判定部51は、通知情報に含まれる環境情報に基づいて、その通知情報で示された第1の処理結果と第2の処理結果の何れが適切かを判定する(ステップS301)。さらに、判定部51は、通知情報に含まれる適用情報を参照して、第1の処理結果と第2の処理結果のうちの適切な方を出力した物体検出部と車両2の制御に利用される物体検出部が同じか否か判定する(ステップS302)。
第1の処理結果と第2の処理結果のうちの適切な方を出力した物体検出部と車両2の制御に利用される物体検出部が異なる場合(ステップS302−No)、プロセッサ44の指示部52は、車両2の制御に利用される物体検出部を切り替えることを指示する切替指示信号を生成し、その切替指示信号を車両2へ送信する(ステップS303)。そしてプロセッサ44は、車両制御処理を終了する。
一方、ステップS302にて、第1の処理結果と第2の処理結果のうちの適切な方を出力した物体検出部と車両2の制御に利用される物体検出部が同じである場合(ステップS302−Yes)、指示部52は、車両2へ切替指示信号を送信せず、車両制御処理を終了する。
以上に説明してきたように、この車両制御システムでは、車両において、車両に搭載されたセンサにより得られた車両または車両周囲の状況を表す環境情報に対して、車両の制御に関連する同じ目的の所定の処理を複数の処理部がそれぞれ実行する。そしてそれら処理部による処理結果が異なる場合、サーバが、その処理結果が異なるときの環境情報を用いて、何れの処理部による処理結果の方がより適切かを判定する。そのため、この車両制御システムは、何れの処理部の方が適切であるかを正確に判断できるとともに、車両に対して、複数の処理部のうちの適切な方を車両の制御に使用させることができる。さらに、この車両制御システムは、処理結果が異なるときの環境情報も特定できるので、適切でない方の処理部の改良を容易化することができる。さらに、この車両制御システムでは、車両は、所定の処理を実行する複数の処理部のうちのより適切な方を車両の制御に用いることが容易となる。
変形例によれば、サーバ3が複数の通知情報を受信してから、判定部51は、複数の物体検出部のうちの何れが適切かを判定してもよい。この場合、判定部51は、受信した通知情報ごとに、上記の実施形態と同様の処理を実行して、第1の処理結果と第2の処理結果のうちの適切な方を判定する。そして判定部51は、第1の処理結果と第2の処理のうち、適切された回数が多い方に対応する物体検出部の方が適切と判定すればよい。なお、通知情報は、同じ車両から受信したものに限られず、複数の車両から受信したものであってもよい。この場合、判定部51は、通知情報を送信した車両ごとに、適切と判定された物体検出部と車両制御に利用されている物体検出部とが異なるか否か判定し、指示部52は、通知情報を送信した車両のうち、適切と判定された物体検出部と車両制御に利用されている物体検出部とが異なる車両に対して、切替指示信号を送信すればよい。
他の変形例によれば、車両制御に関する所定の処理は、車両の走行予定経路を設定する処理、あるいは、走行予定経路に沿って車両の走行を制御する処理であってもよい。この場合、車両2のECU15のプロセッサ23は、複数の車両制御部を有し、複数の車両制御部のそれぞれが、同一の入力(例えば、車両2の周囲の物体の検出結果及び測距センサによる測距信号など)に基づいて、互いに異なるアルゴリズムに従って走行予定経路を生成し、あるいは、車両2の走行を制御するための制御出力を求めればよい。そして切替部は、適用フラグに従って、複数の車両制御部のそれぞれから得られた走行予定経路または制御出力のなかから、実際に車両2の走行制御に利用するものを選択すればよい。
この場合、複数の車両制御部のそれぞれから得られた走行予定経路または制御出力が互いに異なる場合、プロセッサ23は、車両2の走行制御を自動運転制御からドライバによる手動運転制御に切り替える。そしてプロセッサ23は、手動運転制御に切り替え後のドライバによる手動運転における実際の走行経路及び制御出力をメモリ22に記憶する。また、プロセッサ23は、手動運転制御中にも、複数の車両制御部のそれぞれに、制御出力の生成を継続させ、各車両制御部が生成した走行予定経路及び出力タイミングごとの制御出力を表す情報もメモリ22に記憶する。そしてプロセッサ23の送信判定部32は、手動運転制御に切り替えられてから所定期間の実際の走行経路またはその所定期間中の出力タイミングごとの制御出力を表す情報を環境情報として通知情報に含める。なお、ECU15は、その所定期間における、GPS受信機12による測位情報またはカメラ11により得られた画像に表された車線区画線などの道路標示と地図情報に表された対応する道路標示とのマッチングにより車両2の実際の走行経路を求めればよい。また、ECU15は、ドライバのアクセル操作によるアクセル開度またはドライバのブレーキ操作によるブレーキ量を、実際の制御出力を表す情報として、アクセルまたはブレーキから取得すればよい。さらに、送信判定部32は、その所定期間中に各走行制御部により生成された走行予定経路または出力タイミングごとの制御出力(以下、実際の制御出力と区別するために制御予定出力と呼ぶ)を表す情報を、処理結果情報として通知情報に含める。そして送信判定部32は、上記の実施形態と同様に、通知情報をサーバ3へ送信する。
サーバ3のプロセッサ44の判定部51は、受信した通知情報に環境情報として含まれる、所定期間中の実際の走行経路または所定期間中の出力タイミングごとの制御出力を表す情報と、処理結果情報として含まれる、各車両制御部により生成された走行予定経路または出力タイミングごとの制御予定出力を表す情報とを比較する。そして判定部51は、実際の走行経路または一連の制御出力に最も近い走行予定経路または一連の制御予定出力が、最も適切な処理結果であると判定すればよい。その際、判定部51は、走行予定経路のそれぞれについて、その走行予定経路に含まれる各点の位置と、実際の走行経路の最も近い位置との距離の平均二乗和を算出し、その平均二乗和が最小となる走行予定経路が、実際の走行経路に最も近いと判定すればよい。判定部51は、制御予定出力に関しても同様の手法に従って、実際の制御出力に最も近い制御予定出力を判定すればよい。この場合も、判定部51は、複数の車両制御部のうち、最も適切な処理結果を出力した車両制御部と、車両制御に実際に使用されている車両制御部とが異なるか否か判定し、両者が異なる場合、指示部52は、車両2に対して、車両制御に利用する車両制御部を切り替えることを指示する切替指示信号を送信すればよい。
さらに他の変形例によれば、処理結果が適切でないと判定された方の処理部のアルゴリズムを改良したものが、サーバ3のストレージ装置42に記憶されてもよい。この場合、サーバ3の指示部52は、アルゴリズムが改良された処理部が利用可能となったことを車両2に通知してもよい。そして車両2のECU15は、所定の時点、例えば、イグニッションスイッチがオンとなった時点あるいはオフとなった時点において、無線通信端末13を介して、サーバ3へ、改良されたアルゴリズムのダウンロードを要求し、サーバ3からその改良されたアルゴリズムをダウンロードしてストレージ装置14またはメモリ22に記憶してもよい。これにより、ECU15は、処理結果が適切でないと判定された方の処理部について、改良されたものを使用することが可能となる。
さらに他の変形例によれば、ECU15のプロセッサ23の切替部33は、所定の事象が一定回数発生時した時点で、車両制御に関する所定の処理を実行する複数の処理部のうち、実際に車両2の制御に利用される処理部を自動的に切り替えてもよい。なお、所定の事象は、例えば、車両2の自動運転制御の継続が不可能になり、手動運転制御に切り替えられたことである。なお、車両制御に関する所定の処理が物体検出処理である場合、ECU15のプロセッサ23は、例えば、カメラ11により得られた画像から、車両2の現在位置から見えるはずの車両2の走行制御に影響する物体(例えば、信号機)の検出に失敗した場合、自動運転制御の継続が不可能になると判定する。また、車両制御に関する所定の処理が走行予定経路の生成である場合、ECU15のプロセッサ23は、例えば、車両2の周囲の他の物体との距離が所定距離以上離れる走行予定経路を生成できない場合、自動運転制御の継続が不可能になると判定する。
この変形例によれば、所定の事象が一定回数発生した時点で、車両制御に関する所定の処理を実行する複数の処理部のうち、実際に車両の制御に利用される処理部が自動的に切り替えられるので、車両制御において何らかの支障が生じても、自動運転制御を適用可能な機会を増やすことができる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
1 車両制御システム
2 車両
11 カメラ
12 GPS受信機
13 無線通信端末
14 ストレージ装置
15 電子制御装置(ECU)
21 通信インターフェース
22 メモリ
23 プロセッサ
31−1 第1の物体検出部
31−2 第2の物体検出部
32 送信判定部
33 切替部
34 車両制御部
3 サーバ
41 通信インターフェース
42 ストレージ装置
43 メモリ
44 プロセッサ
51 判定部
52 指示部
4 通信ネットワーク
5 無線基地局
2 車両
11 カメラ
12 GPS受信機
13 無線通信端末
14 ストレージ装置
15 電子制御装置(ECU)
21 通信インターフェース
22 メモリ
23 プロセッサ
31−1 第1の物体検出部
31−2 第2の物体検出部
32 送信判定部
33 切替部
34 車両制御部
3 サーバ
41 通信インターフェース
42 ストレージ装置
43 メモリ
44 プロセッサ
51 判定部
52 指示部
4 通信ネットワーク
5 無線基地局
Claims (1)
- 車両と、前記車両と通信可能なサーバとを有する車両制御システムであって、
前記車両は、
前記サーバと通信するための通信部と、
前記車両の周囲の環境または前記車両の挙動を表す環境情報を記憶する記憶部と、
前記車両に搭載されたセンサにより得られた前記車両の周囲の環境を表すセンサ信号に基づいて、前記車両の制御に関する所定の処理を実行する第1の処理部と、
前記センサ信号に基づいて、前記所定の処理を実行する第2の処理部と、
前記第1の処理部による第1の処理結果と前記第2の処理部による第2の処理結果の何れを前記車両の制御に利用するかを切り替える切替部と、
前記第1の処理部による第1の処理結果と前記第2の処理部による第2の処理結果とを比較し、前記第1の処理結果と前記第2の処理結果とが異なる場合に、互いに異なる前記第1の処理結果及び前記第2の処理結果とともに、互いに異なる前記第1の処理結果及び前記第2の処理結果が得られたときの前記環境情報と、前記第1の処理部と前記第2の処理部のうちの前記車両の制御に利用されている方の処理部を表す情報とを前記通信部を介して前記サーバへ送信する送信判定部と、を有し、
前記サーバは、
前記車両と通信するための通信部と、
互いに異なる前記第1の処理結果及び前記第2の処理結果が得られたときの前記環境情報に基づいて、前記第1の処理結果と前記第2の処理結果の何れが適切かを判定する判定部と、
前記車両の制御に利用されている方の処理部と、前記第1の処理結果及び前記第2の処理結果のうちの適切な方を出力した処理部とが異なっている場合に、前記車両の制御に利用される処理部を切り替えることを、前記通信部を介して前記車両に指示する指示部と、
を有する車両制御システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020039978A JP2021138338A (ja) | 2020-03-09 | 2020-03-09 | 車両制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020039978A JP2021138338A (ja) | 2020-03-09 | 2020-03-09 | 車両制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021138338A true JP2021138338A (ja) | 2021-09-16 |
Family
ID=77667639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020039978A Pending JP2021138338A (ja) | 2020-03-09 | 2020-03-09 | 車両制御システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021138338A (ja) |
-
2020
- 2020-03-09 JP JP2020039978A patent/JP2021138338A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10005464B2 (en) | Autonomous vehicle operation at multi-stop intersections | |
US9815462B2 (en) | Path determination for automated vehicles | |
JP7388971B2 (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
US11205342B2 (en) | Traffic information processing device | |
US11521329B2 (en) | Updated point cloud registration pipeline based on ADMM algorithm for autonomous vehicles | |
JP2020052695A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
KR102241584B1 (ko) | 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치 | |
JP2022516857A (ja) | 交通参加者の運転マヌーバ予測のための方法 | |
JP7359735B2 (ja) | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 | |
JP7115502B2 (ja) | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 | |
US11335099B2 (en) | Proceedable direction detection apparatus and proceedable direction detection method | |
US11030774B2 (en) | Vehicle object tracking | |
JP7276282B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
JP2022142165A (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
JP7226368B2 (ja) | 物体状態識別装置 | |
CN113492750B (zh) | 信号灯状态识别装置及识别方法、控制装置、计算机可读取的记录介质 | |
US20220242440A1 (en) | Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle | |
JP2023152109A (ja) | 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム | |
JP2021138338A (ja) | 車両制御システム | |
JP2023104274A (ja) | 走行経路作成装置、走行経路作成方法、および走行経路作成用コンピュータプログラム | |
JP2021026683A (ja) | 距離推定装置 | |
JP2022146384A (ja) | 物体検出装置 | |
CN113492850B (zh) | 倾斜角检测装置及控制装置 | |
US20230024799A1 (en) | Method, system and computer program product for the automated locating of a vehicle | |
US20230145561A1 (en) | Systems and methods for validating camera calibration in real-time |