JP2021123234A - 車両用制御システム - Google Patents

Abstract

【課題】車両の走行制御の継続性を向上させる。
【解決手段】複数の第１カメラ（11a）は、車両（100）の周囲を囲うように車両（100）に設けられる。複数の第２カメラ（11b）は、車両（100）の周囲を囲うように車両（100）に設けられる。制御部（20）は、複数の第１カメラ（11a）の出力および複数の第２カメラ（11b）の出力の両方に基づいて車両（100）の走行制御のための制御信号を出力する第１動作と、複数の第１カメラ（11a）の出力に基づいて制御信号を出力する第２動作と、複数の第２カメラ（11b）の出力に基づいて制御信号を出力する第３動作とを行う。
【選択図】図１

Description

ここに開示する技術は、車両用制御システムに関する。

特許文献１には、自動車走行支援装置が開示されている。この自動車走行支援装置は、赤外センサと、レーダと、重ね合わせ手段と、判断手段と、障害物判断手段とを備える。赤外センサは、自車外のある方向の画像を撮影する。レーダは、赤外センサが撮影する方向へ電波を発射し、物体からの反射波を受けて物体までの距離と方向とを検出する。重ね合わせ手段は、赤外センサで得られ情報とレーダで得られた情報とを電子回路内で重ね合わせる。判断手段は、レーダから得た物体が赤外センサの画像上の温点であるか否かを判断する。障害物判断手段は、判断手段の結果に基づいて、温点が自車の走行上の障害物か否かを判断する。

特開平１１−１６０９９号公報

ところで、特許文献１のような装置では、車両の周囲に広がる環境（車両の外部環境）を監視するために、複数のカメラ（特許文献１では赤外センサ）が設けられている。しかしながら、複数のカメラを含む信号系統に異常が発生すると、複数のカメラの出力に基づく車両の走行制御を継続することが困難となる。

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、車両の走行制御の継続性を向上させることにある。

ここに開示する技術は、車両を制御する車両用制御システムに関する。この車両用制御システムは、前記車両の周囲を囲うように前記車両に設けられる複数の第１カメラと、前記車両の周囲を囲うように前記車両に設けられる複数の第２カメラと、前記複数の第１カメラの出力および前記複数の第２カメラの出力の両方に基づいて前記車両の走行制御のための制御信号を出力する第１動作と、前記複数の第１カメラの出力に基づいて前記制御信号を出力する第２動作と、前記複数の第２カメラの出力に基づいて前記制御信号を出力する第３動作とを行う制御部とを備える。

前記の構成では、車両の周囲を囲うように設けられた複数のカメラの組が２組ある。車両の周囲を囲うように複数の第１カメラを設けることにより、複数の第１カメラの出力に基づいて、車両の周囲に広がる環境（車両の外部環境）を監視することができる。これと同様に、車両の周囲を囲うように複数の第２カメラを設けることにより、複数の第２カメラの出力に基づいて、車両の外部環境を監視することができる。このように、複数の第１カメラの出力および複数の第２カメラの出力のうち少なくとも一方に基づいて、車両の外部環境を監視することができる。したがって、複数の第１カメラを含む第１信号系統および複数の第２カメラを含む第２信号系統のいずれか一方に異常が発生した場合であっても、第２動作または第３動作を行うことにより、第１信号系統および第２信号系統の他方に含まれる複数のカメラの出力に基づいて、車両の走行制御を継続することができる。これにより、車両の走行制御の継続性を向上させることができる。

なお、前記車両用制御システムにおいて、前記制御部は、前記複数の第１カメラを含む第１信号系統および前記複数の第２カメラを含む第２信号系統の両方に異常が発生していない場合に、前記第１動作を行い、前記第１信号系統および前記第２信号系統のうち前記第２信号系統に異常が発生している場合に、前記第２動作を行い、前記第１信号系統および前記第２信号系統のうち前記第１信号系統に異常が発生している場合に、前記第３動作を行うように構成されてもよい。

前記の構成では、第１信号系統および第２信号系統における異常の有無に応じて第１動作と第２動作と第３動作を自動的に切り換えることができる。これにより、第１信号系統および第２信号系統のいずれか一方に異常が発生した場合に、第２動作または第３動作を自動的に行うことができるので、車両の走行制御を自動的に継続することができる。

また、前記車両用制御システムにおいて、前記複数の第１カメラは、前記車両の前方を撮像する第１前方カメラと、前記車両の斜め右後方を撮像する第１斜め右後方カメラと、前記車両の斜め左後方を撮像する第１斜め左後方カメラとを含んでもよい。前記複数の第２カメラは、前記車両の前方を撮像する第２前方カメラと、前記車両の斜め右後方を撮像する第２斜め右後方カメラと、前記車両の斜め左後方を撮像する第２斜め左後方カメラとを含んでもよい。

前記の構成では、車両の周囲に広がる環境（車両の外部環境）のうち少なくとも車両の前方エリアと斜め右後方エリアと斜め左後方エリアに基づいて、車両の走行制御を継続することができる。これにより、第１信号系統および第２信号系統のいずれか一方に異常が発生した場合であっても、車両の前方エリアに基づく走行制御（例えば自車両の前方を走行する他車両との車間距離を適切に維持するための制御）と、車両の斜め右後方エリアおよび斜め左後方エリアに基づく制御（例えば自車両の車線変更の際に危険を察知するための制御）とを継続することができる。

また、前記車両用制御システムにおいて、前記制御部は、前記複数の第１カメラの出力に基づいて前記車両の外部環境を認識する認識処理を行う第１認識処理ＩＣユニットと、前記複数の第２カメラの出力に基づいて前記認識処理を行う第２認識処理ＩＣユニットとを有してもよい。そして、前記制御部は、前記第１動作では、前記第１認識処理ＩＣユニットの認識処理の結果および前記第２認識処理ＩＣユニットの認識処理の結果の両方に基づいて前記制御信号を出力し、前記第２動作では、前記第１認識処理ＩＣユニットの認識処理の結果に基づいて前記制御信号を出力し、前記第３動作では、前記第２認識処理ＩＣユニットの認識処理の結果に基づいて前記制御信号を出力するように構成されてもよい。

前記の構成では、第１認識処理ＩＣユニットおよび第２認識処理ＩＣユニットの両方において認識処理を行うことにより、第１認識処理ＩＣユニットおよび第２認識処理ＩＣユニットのいずれか一方のみにおいて認識処理を行う場合よりも、認識精度を向上させることができる。

ここに開示する技術によれば、車両の走行制御の継続性を向上させることができる。

実施形態による車両用制御システムを備えた車両を例示する平面図である。 カメラおよびレーダの監視エリアを例示する平面図である。 第１カメラおよび第１レーダの監視エリアを例示する平面図である。 第２カメラおよび第２レーダの監視エリアを例示する平面図である。 実施形態による車両用制御システムの構成を例示するブロック図である。 車両用制御システムの機能構成を例示するブロック図である。 車両用制御システムの機能構成を例示するブロック図である。 実施形態の変形例による車両用制御システムの構成を例示するブロック図である。

以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。

（実施形態）
図１は、実施形態による車両用制御システム１を備える車両１００の外観を例示する。車両用制御システム１は、車両１００（具体的には自動四輪車）に設けられる。車両１００は、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、ドライバの操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、ドライバの操作を支援して走行する運転である。自動運転は、ドライバの操作なしに走行する運転である。車両用制御システム１は、アシスト運転および自動運転において、車両１００を制御する。具体的には、車両用制御システム１は、車両１００に設けられたアクチュエータ（図示を省略）を制御することで車両１００の動作（特に走行）を制御する。なお、以下の説明では、車両用制御システム１が設けられている車両１００を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。

〔アクチュエータ〕
車両１００に設けられるアクチュエータは、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、モータ、トランスミッションが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。

〔車両用制御システムの構成〕
車両用制御システム１は、情報取得部１０と、制御部２０とを備える。制御部２０は、例えば、乗員の座席下部やトランクルームなど、車両１００内の特定の場所に設置された単一の筐体内に格納される。

〔情報取得部〕
情報取得部１０は、車両１００の制御（特に走行制御）に用いられる各種情報を取得する。図１，図５，図６に示すように、情報取得部１０は、複数のカメラ１１と、複数のレーダ１２と、位置センサ１３と、外部入力部１４と、メカセンサ１５と、ドライバ入力部１６とを含む。なお、図１および図５では、位置センサ１３と外部入力部１４とメカセンサ１５とドライバ入力部１６の図示を省略している。

〔カメラ〕
複数のカメラ１１は、互いに同様の構成を有する。複数のカメラ１１は、車両１００の周囲を囲うように車両１００に設けられる。複数のカメラ１１の各々は、車両１００の周囲に広がる環境（車両１００の外部環境）の一部を撮像することで、車両１００の外部環境の一部を示す画像データを取得する。複数のカメラ１１の各々により得られた画像データは、制御部２０に送信される。

この例では、カメラ１１は、広角レンズを有する単眼カメラである。例えば、カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。なお、カメラ１１は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。

また、複数のカメラ１１は、複数の第１カメラ１１ａと、複数の第２カメラ１１ｂとを含む。この車両１００には、車両１００の周囲を囲うように車両１００に設けられる複数のカメラ１１の組が２組ある。

〈第１カメラ〉
複数の第１カメラ１１ａは、車両１００の周囲を囲うように車両１００に設けられる。具体的には、複数の第１カメラ１１ａは、複数の第１カメラ１１ａの撮像エリアが車両１００の周囲を囲うように車両に設けられる。この例では、複数の第１カメラ１１ａは、第１前方カメラ１１１ａと、第１斜め右後方カメラ１１２ａと、第１斜め左後方カメラ１１３ａと、第１後方カメラ１１４ａとを含む。第１前方カメラ１１１ａは、車両１００の前方を撮像する。第１斜め右後方カメラ１１２ａは、車両１００の斜め右後方を撮像する。第１斜め左後方カメラ１１３ａは、車両１００の斜め左後方を撮像する。第１後方カメラ１１４ａは、車両１００の後方を撮像する。

〈第２カメラ〉
複数の第２カメラ１１ｂは、車両１００の周囲を囲うように車両１００に設けられる。具体的には、複数の第２カメラ１１ｂは、複数の第２カメラ１１ｂの撮像エリアが車両１００の周囲を囲うように車両に設けられる。この例では、複数の第２カメラ１１ｂは、第２前方カメラ１１１ｂと、第２斜め右後方カメラ１１２ｂと、第２斜め左後方カメラ１１３ｂと、第２後方カメラ１１４ｂとを含む。第２前方カメラ１１１ｂは、車両１００の前方を撮像する。第２斜め右後方カメラ１１２ｂは、車両１００の斜め右後方を撮像する。第２斜め左後方カメラ１１３ｂは、車両１００の斜め左後方を撮像する。第２後方カメラ１１４ｂは、車両１００の後方を撮像する。

〔レーダ〕
複数のレーダ１２は、互いに同様の構成を有する。複数のレーダ１２は、車両１００の周囲を囲うように車両１００に設けられる。複数のレーダ１２の各々は、車両１００の外部環境の一部を検出する。具体的には、レーダ１２は、車両１００の外部環境の一部へ向けて電波を送信して車両１００の外部環境の一部からの反射波を受信することで、車両１００の外部環境の一部を検出する。複数のレーダ１２の検出結果は、制御部２０に送信される。

例えば、レーダ１２は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。

また、複数のレーダ１２は、複数の第１レーダ１２ａと、複数の第２レーダ１２ｂとを含む。この車両１００には、車両１００の周囲を囲うように車両１００に設けられる複数のレーダ１２の組が２組ある。

〈第１レーダ〉
複数の第１レーダ１２ａは、車両１００の周囲を囲うように車両１００に設けられる。具体的には、複数の第１レーダ１２ａは、複数の第１レーダ１２ａの検出エリアが車両１００の周囲を囲うように車両に設けられる。この例では、複数の第１レーダ１２ａは、第１前方レーダ１２１ａと、第１斜め右後方レーダ１２２ａと、第１斜め左後方レーダ１２３ａとを含む。第１前方レーダ１２１ａは、車両１００の前方の外部環境を検出する。第１斜め右後方レーダ１２２ａは、車両１００の斜め右後方の外部環境を検出する。第１斜め左後方レーダ１２３ａは、車両１００の斜め左後方の外部環境を検出する。

〈第２レーダ〉
複数の第２レーダ１２ｂは、車両１００の周囲を囲うように車両１００に設けられる。具体的には、複数の第２レーダ１２ｂは、複数の第２レーダ１２ｂの検出エリアが車両１００の周囲を囲うように車両に設けられる。この例では、複数の第２レーダ１２ｂは、第２前方レーダ１２１ｂと、第２斜め右前方レーダ１２２ｂと、第２斜め左前方レーダ１２３ｂと、第２後方レーダ１２４ｂとを含む。第２前方レーダ１２１ｂは、車両１００の前方の外部環境を検出する。第２斜め右前方レーダ１２２ｂは、車両１００斜め右前方の外部環境を検出する。第２斜め左前方レーダ１２３ｂは、車両１００の斜め左前方の外部環境を検出する。第２後方レーダ１２４ｂは、車両１００の後方の外部環境を検出する。

〔カメラとレーダとの関係〕
図２は、カメラ１１の撮像エリア（監視エリア）とレーダ１２の検出エリア（監視エリア）とを例示する。図３は、第１カメラ１１ａの撮像エリアと第１レーダ１２ａの検出エリアとを例示し、図４は、第２カメラ１１ｂの撮像エリアと第２レーダ１２ｂの検出エリアとを例示する。図２〜図４において、太い破線は、第１カメラ１１ａの撮像エリアを示し、太い一点鎖線は、第１レーダ１２ａの検出エリアを示す。細い破線は、第２カメラ１１ｂの撮像エリアを示し、細い一点鎖線は、第２レーダ１２ｂの検出エリアを示す。

図３に示すように、この例では、複数の第１カメラ１１ａおよび複数の第１レーダ１２ａは、それぞれの監視エリアの組合せが車両１００の周囲の全周を囲うように、それぞれの監視エリアとそれぞれの配置が定められている。これと同様に、図４に示すように、複数の第２カメラ１１ｂおよび複数の第２レーダ１２ｂは、それぞれの監視エリアの組合せが車両１００の周囲の全周を囲うように、それぞれの監視エリアとそれぞれの配置が定められている。

〔位置センサ〕
位置センサ１３は、車両１００の位置（例えば緯度および経度）を検出する。例えば、位置センサ１３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両１００の位置を検出する。位置センサ１３により得られた情報（車両１００の位置）は、制御部２０に送信される。

〔外部入力部〕
外部入力部１４は、車両１００の外部に設けられた車外ネットワーク（例えばインターネットなど）を通じて情報を入力する。例えば、外部入力部１４は、車両１００の周囲に位置する他車両（図示省略）からの通信情報、ナビゲーションシステム（図示省略）からのカーナビゲーションデータ、交通情報、高精度地図情報などを受信する。外部入力部１４により得られた情報は、制御部２０に送信される。

〔メカセンサ〕
メカセンサ１５は、車両１００の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、メカセンサ１５は、車両１００の速度を検出する車速センサ、車両１００の加速度を検出する加速度センサ、車両１００のヨーレートを検出するヨーレートセンサなどを含む。メカセンサ１５により得られた情報（車両１００の状態）は、制御部２０に送信される。

〔ドライバ入力部〕
ドライバ入力部１６は、車両１００に加えられる運転操作を検出する。例えば、ドライバ入力部１６は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両１００のアクセルの操作量を検出する。操舵角センサは、車両１００のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両１００のブレーキの操作量を検出する。ドライバ入力部１６により得られた情報（車両１００の運転操作）は、制御部２０に送信される。

〔制御部〕
図５は、制御部２０の構成を例示する。この例では、制御部２０は、第１信号処理ＩＣユニット２１ａと、第２信号処理ＩＣユニット２１ｂと、第１認識処理ＩＣユニット２２ａと、第２認識処理ＩＣユニット２２ｂと、第１制御ＩＣユニット２３ａと、第２制御ＩＣユニット２３ｂとを有する。これらのＩＣユニットの各々は、単一のＩＣ（Integrated Circuit）で構成されてもよいし、複数のＩＣで構成されてもよい。また、ＩＣ内には、単一のコアまたはダイが収容されてもよいし、連携する複数のコアまたはダイが収容されてもよい。コアまたはダイは、例えば、ＣＰＵ（プロセッサ）と、ＣＰＵを動作させるためのプログラムやＣＰＵでの処理結果などの情報を記憶するメモリとにより構成されてもよい。

そして、この例では、第１信号処理ＩＣユニット２１ａと第２信号処理ＩＣユニット２１ｂが信号処理部２０１を構成する。第１認識処理ＩＣユニット２２ａと第２認識処理ＩＣユニット２２ｂが認識処理部２０２を構成する。第１制御ＩＣユニット２３ａが判断処理部２０３を構成する。第２制御ＩＣユニット２３ｂがバックアップ処理部２０４を構成する。

〈信号処理部〉
信号処理部２０１は、カメラ１１の出力に対して画像処理を行う。そして、信号処理部２０１は、画像処理により得られた画像データを出力する。具体的には、第１信号処理ＩＣユニット２１ａは、第１カメラ１１ａの出力に対して画像処理を行う。第２信号処理ＩＣユニット２１ｂは、第２カメラ１１ｂの出力に対して画像処理を行う。

〈認識処理部〉
認識処理部２０２は、信号処理部２０１の出力（画像データ）に基づいて、車両１００の外部環境を認識する認識処理を行う。そして、認識処理部２０２は、認識処理により得られた外部環境データを出力する。具体的には、第１認識処理ＩＣユニット２２ａは、第１信号処理ＩＣユニット２１ａにより処理された第１カメラ１１ａの出力に基づいて認識処理を行う。第２認識処理ＩＣユニット２２ｂは、第２信号処理ＩＣユニット２１ｂにより処理された第２カメラ１１ｂの出力に基づいて認識処理を行う。

〈判断処理部〉
判断処理部２０３は、認識処理部２０２の出力（外部環境データ）に基づいて、車両１００の走行制御のための判断処理を行う。具体的には、第１制御ＩＣユニット２３ａは、第１認識処理ＩＣユニット２２ａの出力および／または第２認識処理ＩＣユニット２２ｂの出力に基づいて判断処理を行う。そして、判断処理部２０３は、判断処理の結果に基づいて、車両１００の走行制御のための制御信号を出力する。

〈バックアップ処理部〉
バックアップ処理部２０４は、信号処理部２０１の出力（画像データ）に基づいて、車両１００の外部環境を認識する認識処理を行う。具体的には、第２制御ＩＣユニット２３ｂは、第１信号処理ＩＣユニット２１ａの出力および／または第２信号処理ＩＣユニット２１ｂの出力に基づいて認識処理を行う。また、バックアップ処理部２０４は、認識処理の結果に基づいて、車両１００の走行制御のための判断処理を行う。そして、バックアップ処理部２０４は、判断処理の結果に基づいて、車両１００の走行制御のための制御信号を出力する。

〔車両用制御システムの機能〕
ここで、図６および図７を参照して、車両用制御システム１の機能構成を説明する。車両用制御システム１の機能は、認識系ブロックＢ１と、判断系ブロックＢ２と、操作系ブロックＢ３とに大別される。認識系ブロックＢ１は、情報取得部１０により取得された各種情報に基づいて車両１００の外部環境を認識する。なお、認識系ブロックＢ１は、車両１００の内部環境を認識するように構成されてもよい。判断系ブロックＢ２は、認識系ブロックＢ１の認識結果に基づいて車両１００の状態および状況を判断し、その判断の結果に基づいて車両１００の目標動作を決定する。操作系ブロックＢ３は、判断系ブロックＢ２により決定された車両１００の目標動作に基づいて、車両１００に設けられたアクチュエータを制御するための信号を生成し、その信号をアクチュエータＡＣに出力する。

また、この例では、車両用制御システム１は、主演算部Ｆ１と、セーフティ機能部Ｆ２と、バックアップ機能部Ｆ３とを含む。

〈主演算部〉
主演算部Ｆ１は、情報取得部１０の出力に基づいて車両１００の外部環境を認識し、その車両１００の外部環境に基づいて車両１００の目標経路を決定する。そして、主演算部Ｆ１は、車両１００の目標経路に基づいて車両１００の目標運動を決定し、その車両１００の目標運動に基づいて制御信号を出力する。なお、主演算部Ｆ１の処理には、深層学習により生成された学習モデルが用いられる。深層学習では、多層ニューラルネットワーク（Deep Neural Network）が用いられる。多層ニューラルネットワークの例としては、ＣＮＮ（Convolutional Neural Network）が挙げられる。

この例では、主演算部Ｆ１は、車両状態検出部Ｆ００１と、ドライバ操作認識部Ｆ００２と、物体認識部Ｆ１０１（画像系）と、物体認識部Ｆ１０２（レーダ系）と、マップ生成部Ｆ１０３と、外部環境推定部Ｆ１０４と、外部環境モデルＦ１０５と、経路探索部Ｆ１０６と、経路生成部Ｆ１０７と、危険状態判断部Ｆ１０８と、第１車両モデルＦ１０９と、第２車両モデルＦ１１０と、経路決定部Ｆ１１１と、目標運動決定部Ｆ１１２と、車両運動エネルギ設定部Ｆ１１３と、エネルギマネジメント部Ｆ１１４と、セレクタＦ１１５と、セレクタＦ１１６とを含む。

車両状態検出部Ｆ００１とドライバ操作認識部Ｆ００２と物体認識部Ｆ１０１と物体認識部Ｆ１０２とマップ生成部Ｆ１０３と外部環境推定部Ｆ１０４と外部環境モデルＦ１０５は、認識系ブロックＢ１に属する。経路探索部Ｆ１０６と経路生成部Ｆ１０７と危険状態判断部Ｆ１０８と第１車両モデルＦ１０９と経路決定部Ｆ１１１と目標運動決定部Ｆ１１２は、判断系ブロックＢ２に属する。第２車両モデルＦ１１０と車両運動エネルギ設定部Ｆ１１３とエネルギマネジメント部Ｆ１１４とセレクタＦ１１５とセレクタＦ１１６は、操作系ブロックＢ３に属する。

また、この例では、物体認識部Ｆ１０１（画像系）は、その一部が信号処理部２０１に含まれ、その残部が認識処理部２０２に含まれる。物体認識部Ｆ１０２（レーダ系）とマップ生成部Ｆ１０３は、認識処理部２０２に含まれる。外部環境推定部Ｆ１０４と外部環境モデルＦ１０５と経路探索部Ｆ１０６と経路生成部Ｆ１０７と第１車両モデルＦ１０９と第２車両モデルＦ１１０は、認識処理部２０２（具体的には第１認識処理ＩＣユニット２２ａ）に含まれる。車両状態検出部Ｆ００１とドライバ操作認識部Ｆ００２と危険状態判断部Ｆ１０８と経路決定部Ｆ１１１と目標運動決定部Ｆ１１２と車両運動エネルギ設定部Ｆ１１３とエネルギマネジメント部Ｆ１１４とセレクタＦ１１５とセレクタＦ１１６は、判断処理部２０３（具体的には第１制御ＩＣユニット２３ａ）に含まれる。

《車両状態検出部》
車両状態検出部Ｆ００１は、メカセンサ１５の出力に基づいて、車両１００の状態（例えば速度や加速度やヨーレートなど）を認識する。

《ドライバ操作認識部》
ドライバ操作認識部Ｆ００２は、ドライバ入力部１６の出力に基づいて、車両１００に加えられる運転操作を認識する。

《物体認識部（画像系）》
物体認識部Ｆ１０１は、カメラ１１の出力に基づいて、車両１００の外部環境に含まれる物体を認識する。これにより、物体に関する情報（物体情報）が得られる。例えば、物体情報は、物体の種別、物体の形状などを示す。物体の例としては、時間経過により変位する動体と、時間経過により変位しない静止体とが挙げられる。動体の例としては、自動四輪車、自動二輪車、自転車、歩行者などが挙げられる。静止体の例としては、標識、街路樹、中央分離帯、センターポール、建物などが挙げられる。

具体的には、物体認識部Ｆ１０１は、画像処理部と、画像認識部とを含む。画像処理部は、カメラ１１の出力である画像データに対して画像処理を行う。この画像処理には、画像データに示される画像の歪みを補正する歪み補正処理、画像データに示された画像の明度を調整するホワイトバランス調整処理などが含まれる。画像認識部は、画像処理部において処理された画像データに基づいて、車両１００の外部環境に含まれる物体を認識する。例えば、物体認識部Ｆ１０１の画像認識部による物体認識処理には、周知の物体認識技術（画像データに基づく物体認識技術）が用いられてもよい。また、物体認識部Ｆ１０１の画像認識部は、深層学習により生成された学習モデルを用いて物体認識処理を行うように構成されてもよい。

この例では、物体認識部Ｆ１０１の画像処理部は、第１カメラ１１ａの出力に基づいて処理を行う第１画像処理部と、第２カメラ１１ｂの出力に基づいて処理を行う第２画像処理部とを含む。物体認識部Ｆ１０１の画像認識部は、第１画像処理部の出力に基づいて処理を行う第１画像認識部と、第２画像処理部の出力に基づいて処理を行う第２画像認識部とを含む。また、この例では、物体認識部Ｆ１０１の画像処理部は、信号処理部２０１に含まれ、物体認識部Ｆ１０１の画像認識部は、認識処理部２０２に含まれる。具体的には、第１画像処理部は、第１信号処理ＩＣユニット２１ａに含まれ、第２画像処理部は、第２信号処理ＩＣユニット２１ｂに含まれる。第１画像認識部は、第１認識処理ＩＣユニット２２ａに含まれ、第２画像認識部は、第２認識処理ＩＣユニット２２ｂに含まれる。

《物体認識部（レーダ系）》
物体認識部Ｆ１０２は、レーダ１２の出力である検出結果（例えば反射波のピークリスト）に基づいて、車両１００の外部環境に含まれる物体を認識する。これにより、物体情報が得られる。具体的には、物体認識部Ｆ１０２は、レーダ１２の検出結果に対して解析処理（物体情報を得るための処理）を行う。例えば、物体認識部Ｆ１０２による物体認識処理には、周知の物体認識技術（レーダ１２の検出結果に基づく物体認識技術）が用いられてもよい。また、物体認識部Ｆ１０２は、深層学習により生成された学習モデルを用いて物体認識処理を行うように構成されてもよい。

この例では、物体認識部Ｆ１０２は、第１レーダ１２ａの出力に基づいて処理を行う第１レーダ認識部と、第２レーダ１２ｂの出力に基づいて処理を行う第２レーダ認識部とを含む。また、この例では、第１レーダ認識部は、第１認識処理ＩＣユニット２２ａに含まれ、第２レーダ認識部は、第２認識処理ＩＣユニット２２ｂに含まれる。

《マップ生成部》
マップ生成部Ｆ１０３は、物体認識部Ｆ１０１（画像系）の出力と物体認識部Ｆ１０２（レーダ系）の出力とに基づいて、車両１００の外部環境を示すマップデータ（例えば三次元マップデータ）を生成する。例えば、マップ生成部Ｆ１０３は、車両１００の周囲を囲う周囲領域を分割して得られる複数の領域（例えば前後左右の４つの領域）毎に、マップデータを生成する。そして、マップ生成部Ｆ１０３は、物体認識部Ｆ１０１（画像系）および物体認識部Ｆ１０２（レーダ系）の各々により得られた物体情報を入力すると、それらの物体情報を統合し、統合により得られた物体情報をマップデータに反映させる。

この例では、マップ生成部Ｆ１０３は、物体認識部Ｆ１０１の第１画像認識部の出力と物体認識部Ｆ１０２の第１レーダ認識部の出力とに基づいて処理を行う第１マップ生成部と、物体認識部Ｆ１０１の第２画像認識部の出力と物体認識部Ｆ１０２の第２レーダ認識部の出力に基づいて処理を行う第２マップ生成部とを含む。また、この例では、第１マップ生成部は、第１認識処理ＩＣユニット２２ａに含まれ、第２マップ生成部は、第２認識処理ＩＣユニット２２ｂに含まれる。

《外部環境推定部》
外部環境推定部Ｆ１０４は、車両状態検出部Ｆ００１の出力と、マップ生成部Ｆ１０３の出力と、位置センサ１３の出力と、外部入力部１４の出力とに基づいて、車両１００の外部環境を推定する。具体的には、外部環境推定部Ｆ１０４は、外部環境モデルＦ１０５に基づく画像認識処理により、車両１００の外部環境を示す三次元マップデータを生成する。

この例では、外部環境推定部Ｆ１０４は、次のような動作を行う。まず、外部環境推定部Ｆ１０４は、複数の領域（例えば前後左右の４つの領域）毎のマップデータを統合し、車両１００の周囲（外部環境）を示す統合マップデータを生成する。次に、外部環境推定部Ｆ１０４は、統合マップデータに含まれる動体に対し、その動体と自車両との距離、方向、相対速度の変化を予測する。そして、外部環境推定部Ｆ１０４は、それらの予測の結果を外部環境モデルＦ１０５に組み込む。さらに、外部環境推定部Ｆ１０４は、位置センサ１３の出力（車両１００の位置）と、外部入力部１４の出力（高精度地図情報）と、車両状態検出部Ｆ００１の出力（車速情報や６軸情報など）とに基づいて、統合マップデータにおける自車両の位置を推定するとともに、経路コストの計算を行う。そして、外部環境推定部Ｆ１０４は、それらの推定の結果および計算の結果を、各種センサにより取得された自車両の情報とともに、外部環境モデルＦ１０５に組み込む。以上の処理により、外部環境モデルＦ１０５が随時更新される。

《外部環境モデル》
外部環境モデルＦ１０５は、車両１００の外部環境に関するモデルである。なお、外部環境モデルＦ１０５は、深層学習により生成された学習モデルである。

《経路探索部》
経路探索部Ｆ１０６は、位置センサ１３の出力と、外部入力部１４の出力（例えばカーナビゲーションデータ）とに基づいて、車両１００の広域経路を探索する。

《経路生成部》
経路生成部Ｆ１０７は、外部環境モデルＦ１０５と、経路探索部Ｆ１０６の出力とに基づいて、車両１００の走行経路を生成する。例えば、経路生成部Ｆ１０７により生成される走行経路には、その走行経路における車両１００の安全性や燃料消費などのスコアが付加される。走行経路における車両１００の安全性が高くなるに連れて、その走行経路のスコアが小さくなる。また、走行経路における車両１００の燃料消費が低くなるに連れて、その走行経路のスコアが小さくなる。経路生成部Ｆ１０７は、スコアが比較的に小さくなる（例えば最小となる）走行経路を少なくとも１つ生成する。

なお、経路生成部Ｆ１０７は、複数の観点に基づく複数の走行経路を生成するように構成されてもよい。例えば、経路生成部Ｆ１０７は、ドライバ入力部１６の出力を入力し、そのドライバ入力部１６の出力に応じて走行経路を調整するように構成されてもよい。これにより、例えば、スコアが比較的に小さくなる走行経路と、ドライバ入力部１６の出力に応じて調整された走行経路とが生成される。

《危険状態判断部》
危険状態判断部Ｆ１０８は、セーフティ機能部Ｆ２の前処理部Ｆ２０４の出力（車両１００の外部環境に含まれる物体に対する自車両の位置）に基づいて、車両１００が危険状態であるか否かを判断する。車両１００の危険状態の例としては、車両１００が物体と衝突する可能性がある状態、車両１００が車線を逸脱する可能性がある状態などが挙げられる。なお、危険状態判断部Ｆ１０８は、外部環境モデルＦ１０５に基づいて、車両１００が危険状態であるか否かを判断するように構成されてもよい。また、危険状態判断部Ｆ１０８は、車両１００が危険状態であると判断すると、その危険を回避するための目標経路を生成する。

《第１車両モデル》
第１車両モデルＦ１０９は、車両１００の６軸の運動に関する車両６軸モデルである。車両６軸モデルは、走行中の車両１００の「前後」「左右」「上下」の３軸方向の加速度と「ピッチ」「ロール」「ヨー」の３軸方向の角速度とをモデル化したものである。すなわち、第１車両モデルＦ１０９は、車両１００の動きを古典的な車両運動工学的な平面上のみ（車両の前後左右（Ｘ−Ｙ移動）とヨー運動（Ｚ軸）のみ）で捉えるのではなく、４つの車輪にサスペンションを介して乗っている車体のピッチング（Ｙ軸）およびロール（Ｘ軸）運動とＺ軸の移動（車体の上下動）の、合計６軸を用いて車両１００の挙動を再現する数値モデルである。第１車両モデルＦ１０９は、予め設定された車両１００の基本運動機能、車両１００の外部環境などに基づいて生成される。また、第１車両モデルＦ１０９は、車両１００の外部環境の変化などに応じて適宜更新される。例えば、第１車両モデルＦ１０９は、深層学習により生成された学習モデルである。

《第２車両モデル》
第２車両モデルＦ１１０は、車両のエネルギ消費に関するモデルである。具体的には、第２車両モデルＦ１１０は、車両１００のアクチュエータＡＣの動作に対するコスト（燃料消費や電費）を示すモデルである。例えば、第２車両モデルＦ１１０は、所定量のエンジントルクを出力する上で燃料消費が最も良くなる場合の吸排気バルブ（図示省略）の開閉タイミング、インジェクタ（図示省略）の燃料噴射タイミング、排気環流システムのバルブ開閉タイミングなどがモデル化されたものである。第２車両モデルＦ１１０は、車両の走行中に生成され、適宜更新される。例えば、第２車両モデルＦ１１０は、深層学習により生成された学習モデルである。

《経路決定部》
経路決定部Ｆ１１１は、ドライバ操作認識部Ｆ００２の出力と、経路生成部Ｆ１０７の出力と、セーフティ機能部Ｆ２の経路生成部Ｆ２０６の出力とに基づいて、車両１００の目標経路を決定する。具体的には、経路決定部Ｆ１１１は、経路生成部Ｆ１０７により生成された走行経路とセーフティ機能部Ｆ２の経路生成部Ｆ２０６において生成された走行経路の中からいずれか１つを目標経路として選択する。なお、経路決定部Ｆ１１１は、その選択された目標経路をドライバ操作認識部Ｆ００２の出力に応じて調整するように構成されてもよい。

例えば、経路決定部Ｆ１１１は、通常走行時に、経路生成部Ｆ１０７により生成された走行経路を優先的に目標経路として選択するように構成されてもよい。また、経路決定部Ｆ１１１は、経路生成部Ｆ１０７により生成された走行経路がセーフティ機能部Ｆ２のフリースペース探索部Ｆ２０５により探索されたフリースペースを通過しない場合に、セーフティ機能部Ｆ２の経路生成部Ｆ２０６により生成された走行経路を目標経路として選択するように構成されてもよい。

《目標運動決定部》
目標運動決定部Ｆ１１２は、危険状態判断部Ｆ１０８の出力と、第１車両モデルＦ１０９と、経路決定部Ｆ１１１の出力とに基づいて、車両１００の目標運動を決定する。例えば、目標運動決定部Ｆ１１２は、危険状態判断部Ｆ１０８により生成された目標経路（危険を回避するための目標経路）が入力されると、危険状態判断部Ｆ１０８により生成された目標経路と第１車両モデルＦ１０９とに基づいて、車両１００の目標運動を決定するように構成されてもよい。また、目標運動決定部Ｆ１１２は、危険状態判断部Ｆ１０８により生成された目標経路が入力されない場合（車両１００が危険状態ではない場合）に、経路決定部Ｆ１１１により生成された目標経路と第１車両モデルＦ１０９とに基づいて、車両１００の目標運動を決定するように構成されてもよい。

《車両運動エネルギ設定部》
車両運動エネルギ設定部Ｆ１１３は、目標運動決定部Ｆ１１２の出力に基づいて、駆動系のアクチュエータに要求される駆動系トルクと、操舵系のアクチュエータに要求される操舵系トルクと、制動系のアクチュエータに要求される制動系トルクとを計算する。具体的には、車両運動エネルギ設定部Ｆ１１３は、車両１００の運動が目標運動決定部Ｆ１１２により決定された目標運動となるように、駆動系トルクと操舵系トルクと制動系トルクとを計算する。

《エネルギマネジメント部》
エネルギマネジメント部Ｆ１１４は、第２車両モデルＦ１１０と、車両運動エネルギ設定部Ｆ１１３の出力に基づいて、アクチュエータＡＣの制御量を算出する。具体的には、エネルギマネジメント部Ｆ１１４は、目標運動決定部Ｆ１１２により決定された目標運動を達成する上でエネルギ効率が最も良くなるように、第２車両モデルＦ１１０に基づいてアクチュエータＡＣの制御量を算出する。例えば、エネルギマネジメント部Ｆ１１４は、車両運動エネルギ設定部Ｆ１１３により決定されたエンジントルクを達成する上で燃料消費が最も良くなるように、吸排気バルブ（図示省略）の開閉タイミングやインジェクタ（図示省略）の燃料噴射タイミングなどを算出する。

《セレクタ》
セレクタＦ１１５は、車両運動エネルギ設定部Ｆ１１３の出力およびバックアップ機能部Ｆ３の車両運動エネルギ設定部Ｆ３１０の出力のうちいずれか一方を出力する。セレクタＦ１１６は、エネルギマネジメント部Ｆ１１４の出力およびバックアップ機能部Ｆ３のエネルギマネジメント部Ｆ３１１の出力のうちいずれか一方を出力する。セレクタＦ１１５の出力およびセレクタＦ１１６の出力は、車両１００の走行制御のための制御信号である。

具体的には、セレクタＦ１１５は、主演算部Ｆ１に異常（例えば故障）が発生していない場合に、車両運動エネルギ設定部Ｆ１１３の出力を選択し、主演算部Ｆ１に異常が発生すると、バックアップ機能部Ｆ３の車両運動エネルギ設定部Ｆ３１０の出力を選択する。これと同様に、セレクタＦ１１６は、主演算部Ｆ１に異常が発生していない場合に、エネルギマネジメント部Ｆ１１４の出力を選択し、主演算部Ｆ１に異常が発生すると、バックアップ機能部Ｆ３のエネルギマネジメント部Ｆ３１１の出力を選択する。

〈セーフティ機能部〉
セーフティ機能部Ｆ２は、情報取得部１０の出力に基づいて車両１００の外部環境を認識し、その車両１００の外部環境の中からフリースペースを探索する。そして、セーフティ機能部Ｆ２は、フリースペースを通過する走行経路を生成する。セーフティ機能部Ｆ２により得られた走行経路（フリースペースを通過する走行経路）は、主演算部Ｆ１の目標経路を決定する処理において利用される。なお、セーフティ機能部Ｆ２の処理には、深層学習により生成された学習モデルの代わりに、予め定められたルールに基づくアルゴリズムが用いられる。セーフティ機能部Ｆ２では、ルールベースの処理が行われる。

この例では、セーフティ機能部Ｆ２は、物体認識部Ｆ２０１（画像系）と、物体認識部Ｆ２０２（レーダ系）と、分類部Ｆ２０３と、前処理部Ｆ２０４と、フリースペース探索部Ｆ２０５と、経路生成部Ｆ２０６とを含む。

物体認識部Ｆ２０１と物体認識部Ｆ２０２と分類部Ｆ２０３と前処理部Ｆ２０４は、認識系ブロックＢ１に属する。フリースペース探索部Ｆ２０５と経路生成部Ｆ２０６は、判断系ブロックＢ２に属する。

物体認識部Ｆ２０１（画像系）は、その一部が信号処理部２０１に含まれ、その残部が認識処理部２０２に含まれる。物体認識部Ｆ２０２（レーダ系）と分類部Ｆ２０３と前処理部Ｆ２０４とフリースペース探索部Ｆ２０５と経路生成部Ｆ２０６は、判断処理部２０３（具体的には第１制御ＩＣユニット２３ａ）に含まれる。

《物体認識部（画像系）》
物体認識部Ｆ２０１は、カメラ１１の出力に基づいて、車両１００の外部環境に含まれる物体を認識する。これにより、物体情報が得られる。具体的には、物体認識部Ｆ２０１は、画像処理部と、画像認識部とを含む。画像処理部は、カメラ１１の出力である画像データに対して画像処理を行う。画像認識部は、画像処理部において処理された画像データに基づいて、車両１００の外部環境に含まれる物体を認識する。例えば、物体認識部Ｆ２０１の物体認識部Ｆ２０１は、深層学習により生成された学習モデルを用いずに、周知のパターン認識技術を用いて物体認識処理を行う。なお、物体認識部Ｆ２０１の画像認識部による物体認識処理には、その他の周知の物体認識技術（画像データに基づく物体認識技術）が用いられてもよい。

この例では、物体認識部Ｆ２０１の画像処理部は、第１カメラ１１ａの出力に基づいて処理を行う第１画像処理部と、第２カメラ１１ｂの出力に基づいて処理を行う第２画像処理部とを含む。物体認識部Ｆ２０１の画像認識部は、第１画像処理部の出力に基づいて処理を行う第１画像認識部と、第２画像処理部の出力に基づいて処理を行う第２画像認識部とを含む。また、この例では、物体認識部Ｆ２０１の画像処理部は、信号処理部２０１に含まれ、物体認識部Ｆ２０１の画像認識部は、判断処理部２０３に含まれる。具体的には、第１画像処理部は、第１信号処理ＩＣユニット２１ａに含まれ、第２画像処理部は、第２信号処理ＩＣユニット２１ｂに含まれる。第１画像認識部は、第１認識処理ＩＣユニット２２ａに含まれ、第２画像認識部は、第２認識処理ＩＣユニット２２ｂに含まれる。

《物体認識部（レーダ系）》
物体認識部Ｆ２０２は、レーダ１２の出力である検出結果に基づいて、車両１００の外部環境に含まれる物体を認識する。これにより、物体情報が得られる。具体的には、物体認識部Ｆ１０２は、レーダ１２の検出結果に対して解析処理を行う。例えば、物体認識部Ｆ２０２は、深層学習により生成された学習モデルを用いずに、周知の物体認識技術（レーダ１２の検出結果に基づく物体認識技術）を用いて物体認識処理を行う。

この例では、物体認識部Ｆ２０２は、第１レーダ１２ａの出力に基づいて処理を行う第１レーダ認識部と、第２レーダ１２ｂの出力に基づいて処理を行う第２レーダ認識部とを含む。また、この例では、第１レーダ認識部および第２レーダ認識部は、第１制御ＩＣユニット２３ａに含まれる。

《分類部》
分類部Ｆ２０３は、物体認識部Ｆ２０１（画像系）の出力と、物体認識部Ｆ２０２（レーダ系）の出力とに基づいて、車両１００の外部環境を認識する。なお、分類部Ｆ２０３は、深層学習により生成された学習モデルを用いずに、予め定められたルールに基づくアルゴリズムを用いて認識処理（ルールベースの認識処理）を行う。ルールベースの認識処理には、周知の認識処理技術を用いられてもよい。具体的には、分類部Ｆ２０３は、物体認識部Ｆ２０１および物体認識部Ｆ２０２により認識された物体を動体と静止体とに分類する。例えば、分類部Ｆ２０３は、車両１００の周囲を囲う周囲領域を分割して得られる複数の領域（例えば前後左右の４つの領域）毎に、物体認識部Ｆ２０１（画像系）により得られた物体情報と、物体認識部Ｆ２０２（レーダ系）により得られた物体情報とを統合する。そして、分類部Ｆ２０３は、複数の領域毎に、その領域に含まれる物体の分類情報を生成する。分類情報は、物体が動体および静止体のどちらに該当するのかを示す。

《前処理部》
前処理部Ｆ２０４は、分類部Ｆ２０３の出力と、主演算部Ｆ１の車両状態検出部Ｆ００１の出力と、位置センサ１３の出力と、外部入力部１４の出力とに基づいて、前処理を行う。前処理では、分類情報統合と、物体行動予測と、自己位置推定とが行われる。

分類情報統合では、前処理部Ｆ２０４は、複数の領域（例えば前後左右の４つの領域）毎に生成された分類情報を統合する。統合された分類情報は、車両１００の周囲領域に関する分類情報としてグリッドマップ（図示省略）上で管理される。

物体行動予測では、前処理部Ｆ２０４は、統合された分類情報に基づいて、車両１００の外部環境に含まれる動体を検出する。そして、前処理部Ｆ２０４は、その動体と自車両との距離、その動体の自車両に対する方向、その動体の自車両に対する相対速度の変化を予測する。また、前処理部Ｆ２０４による予測の結果は、動体の付加情報として管理される。

自己位置推定では、前処理部Ｆ２０４は、位置センサ１３の出力である車両１００の位置と、外部入力部１４の出力の一例である高精度地図情報と、車両状態検出部Ｆ００１の出力である車両１００の状態（車速情報や６軸情報など）とに基づいて、車両１００の外部環境に含まれる物体（動体および静止体）に対する自車両の位置を推定する。

《フリースペース探索部》
フリースペース探索部Ｆ２０５は、前処理部Ｆ２０４の出力に基づいて、車両１００の外部環境の中からフリースペースを探索する。フリースペースは、車両１００の外部環境に含まれる道路のうち障害物が存在しない領域である。障害物は、動的な障害物と、静的な障害物とを含む。動的な障害物の例としては、他車両、歩行者などが挙げられる。静的な障害物の例としては、中央分離帯、センターポールなどが挙げられる。例えば、フリースペースは、緊急駐車が可能な路肩のスペースであってもよい。

具体的には、フリースペース探索部Ｆ２０５は、前処理部Ｆ２０４により位置が推定された物体との衝突を回避することができるフリースペースを探索する。例えば、フリースペース探索部Ｆ２０５は、予め設定された探索ルールに基づいて、フリースペースを探索する。探索ルールには、物体を中心とする所定の範囲（例えば数ｍの範囲）を回避不能範囲とするというルールが含まれてもよい。また、フリースペース探索部Ｆ２０５は、物体が動体である場合に、その動体の移動速度を考慮してフリースペースを探索するように構成されてもよい。

《経路生成部》
経路生成部Ｆ２０６は、フリースペース探索部Ｆ２０５の出力と、主演算部Ｆ１の経路探索部Ｆ１０６の出力（車両１００の広域経路）とに基づいて、車両１００の走行経路を生成する。具体的には、経路生成部Ｆ２０６は、フリースペース探索部Ｆ２０５により得られたフリースペースを通過する走行経路を生成する。例えば、経路生成部Ｆ２０６は、フリースペースを通過する複数の走行経路を生成し、その複数の走行経路の中から経路コストが最も小さい走行経路を選択するように構成されてもよい。経路生成部Ｆ２０６により生成された走行経路（フリースペースを通過する走行経路）は、主演算部Ｆ１の経路決定部Ｆ１１１に出力される。

〈バックアップ機能部〉
バックアップ機能部Ｆ３は、情報取得部１０の出力に基づいて車両１００の外部環境を認識し、その車両１００の外部環境の中からフリースペースを探索し、フリースペースを通過する車両１００の目標経路を決定する。そして、バックアップ機能部Ｆ３は、車両１００の目標経路に基づいて車両１００の目標運動を決定し、その車両１００の目標運動に基づいて制御信号を出力する。バックアップ機能部Ｆ３により得られた制御信号は、主演算部Ｆ１に供給される。なお、バックアップ機能部Ｆ３の処理には、予め定められたルールに基づくアルゴリズムが用いられる。バックアップ機能部Ｆ３では、ルールベースの処理が行われる。

この例では、バックアップ機能部Ｆ３は、車両状態検出部Ｆ３０１と、ドライバ操作認識部Ｆ３０２と、分類部Ｆ３０３と、前処理部Ｆ３０４と、フリースペース探索部Ｆ３０５と、経路生成部Ｆ３０６と、危険状態判断部Ｆ３０７と、経路決定部Ｆ３０８と、目標運動決定部Ｆ３０９と、車両運動エネルギ設定部Ｆ３１０と、エネルギマネジメント部Ｆ３１１とを含む。

車両状態検出部Ｆ３０１とドライバ操作認識部Ｆ３０２と分類部Ｆ３０３と前処理部Ｆ３０４は、認識系ブロックＢ１に属する。フリースペース探索部Ｆ３０５と経路生成部Ｆ３０６と危険状態判断部Ｆ３０７と経路決定部Ｆ３０８と目標運動決定部Ｆ３０９は、判断系ブロックＢ２に属する。車両運動エネルギ設定部Ｆ３１０とエネルギマネジメント部Ｆ３１１は、操作系ブロックＢ３に属する。

また、この例では、車両状態検出部Ｆ３０１とドライバ操作認識部Ｆ３０２と分類部Ｆ３０３と前処理部Ｆ３０４とフリースペース探索部Ｆ３０５と経路生成部Ｆ３０６と危険状態判断部Ｆ３０７と経路決定部Ｆ３０８と目標運動決定部Ｆ３０９と車両運動エネルギ設定部Ｆ３１０とエネルギマネジメント部Ｆ３１１は、バックアップ処理部２０４（具体的には第２制御ＩＣユニット２３ｂ）に含まれる。

《車両状態検出部とドライバ操作認識部》
車両状態検出部Ｆ３０１とドライバ操作認識部Ｆ３０２の機能は、主演算部Ｆ１の車両状態検出部Ｆ００１とドライバ操作認識部Ｆ００２の機能と同様である。

《分類部と前処理部とフリースペース探索部と経路生成部》
分類部Ｆ３０３と前処理部Ｆ３０４とフリースペース探索部Ｆ３０５と経路生成部Ｆ３０６の機能は、セーフティ機能部Ｆ２の分類部Ｆ２０３と前処理部Ｆ２０４とフリースペース探索部Ｆ２０５と経路生成部Ｆ２０６の機能と同様である。

図６の例では、分類部Ｆ３０３は、セーフティ機能部Ｆ２の物体認識部Ｆ２０１（画像系）の出力と物体認識部Ｆ２０２（レーダ系）の出力とに基づいて処理を行う。なお、セーフティ機能部Ｆ２の物体認識部Ｆ２０１（画像系）および物体認識部Ｆ２０２（レーダ系）と同様の物体認識部（画像系）および物体認識部（レーダ系）がバックアップ機能部Ｆ３に含まれてもよい。この場合、分類部Ｆ３０３は、バックアップ機能部Ｆ３の物体認識部（画像系）の出力と物体認識部（レーダ系）の出力とに基づいて処理を行うように構成されてもよい。

《経路決定部》
経路決定部Ｆ３０８は、ドライバ操作認識部Ｆ３０２の出力と、経路生成部Ｆ３０６の出力（フリースペースを通過する走行経路）とに基づいて、車両１００の目標経路を決定する。例えば、経路決定部Ｆ３０８は、経路生成部Ｆ３０６により生成された複数の走行経路の中からいずれか１つを目標経路として選択する。なお、経路決定部Ｆ３０８は、その選択された目標経路をドライバ操作認識部Ｆ３０２の出力に応じて調整するように構成されてもよい。

〈目標運動決定部〉
目標運動決定部Ｆ３０９は、危険状態判断部Ｆ３０７の出力（目標経路）と、経路決定部Ｆ３０８の出力とに基づいて、車両１００の目標運動を決定する。なお、主演算部Ｆ１の目標運動決定部Ｆ１１２とは異なり、目標運動決定部Ｆ３０９は、深層学習により生成された学習モデルを用いずに、予め定められたルールに基づくアルゴリズムを用いて車両１００の目標運動を決定する。例えば、目標運動決定部Ｆ３０９は、危険状態判断部Ｆ３０７により生成された目標経路（危険を回避するための目標経路）が入力されると、危険状態判断部Ｆ３０７により生成された目標経路に基づいて、車両１００の目標運動を決定するように構成されてもよい。また、目標運動決定部Ｆ３０９は、危険状態判断部Ｆ３０７により生成された目標経路が入力されない場合（車両１００が危険状態ではない場合）に、経路決定部Ｆ３０８により生成された目標経路に基づいて、車両１００の目標運動を決定するように構成されてもよい。

《車両運動エネルギ設定部》
主演算部Ｆ１の車両運動エネルギ設定部Ｆ１１３と同様に、車両運動エネルギ設定部Ｆ３１０は、目標運動決定部Ｆ３０９の出力に基づいて、駆動系のアクチュエータに要求される駆動系トルクと、操舵系のアクチュエータに要求される操舵系トルクと、制動系のアクチュエータに要求される制動系トルクとを計算する。車両運動エネルギ設定部Ｆ３１０により算出されたトルクは、主演算部Ｆ１のセレクタＦ１１５に出力される。

〈エネルギマネジメント部〉
エネルギマネジメント部Ｆ３１１は、車両運動エネルギ設定部Ｆ３１０の出力に基づいて、アクチュエータＡＣの制御量を算出する。具体的には、エネルギマネジメント部Ｆ３１１は、目標運動決定部Ｆ３０９により決定された目標運動を達成する上でエネルギ効率が最も良くなるように、アクチュエータＡＣの制御量を算出する。なお、主演算部Ｆ１のエネルギマネジメント部Ｆ１１４とは異なり、エネルギマネジメント部Ｆ３１１は、深層学習により生成された学習モデルを用いずに、予め定められたルールに基づくアルゴリズムを用いてアクチュエータＡＣの制御量を算出する。エネルギマネジメント部Ｆ３１１により算出された制御量は、主演算部Ｆ１のセレクタＦ１１６に出力される。

〔制御部の動作〕
制御部２０は、第１動作と、第２動作と、第３動作とを行う。なお、車両用制御システム１には、複数の第１カメラ１１ａを含む第１信号系統と、複数の第２カメラ１１ｂを含む第２信号系統とが設けられる。この例では、制御部２０は、第１信号系統および第２信号系統の両方に異常が発生していない場合に、第１動作を行う。また、制御部２０は、第１信号系統および第２信号系統のうち第２信号系統に異常が発生している場合に、第２動作を行う。また、制御部２０は、第１信号系統および第２信号系統のうち第１信号系統に異常が発生している場合に、第３動作を行う。

〈第１動作〉
第１動作では、制御部２０は、複数の第１カメラ１１ａの出力および複数の第２カメラ１１ｂの出力の両方に基づいて制御信号（車両１００の走行制御のための信号）を出力する。この例では、制御部２０は、第１動作において、第１認識処理ＩＣユニット２２ａの認識処理の結果および第２認識処理ＩＣユニット２２ｂの認識処理の結果の両方に基づいて制御信号を出力する。

具体的には、第１動作では、第１信号処理ＩＣユニット２１ａは、第１カメラ１１ａの出力を処理し、第１認識処理ＩＣユニット２２ａは、第１信号処理ＩＣユニット２１ａの出力を処理する。一方、第２信号処理ＩＣユニット２１ｂは、第２カメラ１１ｂの出力を処理し、第２認識処理ＩＣユニット２２ｂは、第２信号処理ＩＣユニット２１ｂの出力を処理する。また、第２認識処理ＩＣユニット２２ｂは、認識処理の結果を第１認識処理ＩＣユニット２２ａに出力する。第１認識処理ＩＣユニット２２ａは、第１認識処理ＩＣユニット２２ａの認識処理の結果と、第２認識処理ＩＣユニット２２ｂの認識処理の結果とを統合し、その統合により得られた認識結果を第１制御ＩＣユニット２３ａに出力する。第１制御ＩＣユニット２３ａは、第１制御ＩＣユニット２３ａの出力に基づいて制御信号を出力する。

〈第２動作〉
第２動作では、制御部２０は、複数の第１カメラ１１ａの出力に基づいて制御信号を出力する。この例では、制御部２０は、第２動作において、第１認識処理ＩＣユニット２２ａの認識処理の結果に基づいて制御信号を出力する。

具体的には、第２動作では、第１信号処理ＩＣユニット２１ａは、第１カメラ１１ａの出力を処理し、第１認識処理ＩＣユニット２２ａは、第１信号処理ＩＣユニット２１ａの出力を処理する。そして、第１認識処理ＩＣユニット２２ａは、第１認識処理ＩＣユニット２２ａの認識処理の結果を第１制御ＩＣユニット２３ａに出力する。第１制御ＩＣユニット２３ａは、第１認識処理ＩＣユニット２２ａの認識処理の結果に基づいて制御信号を出力する。

〈第３動作〉
第３動作では、制御部２０は、複数の第２カメラ１１ｂの出力に基づいて制御信号を出力する。この例では、制御部２０は、第３動作において、第２認識処理ＩＣユニットの認識処理の結果に基づいて制御信号を出力する。

具体的には、第３動作では、第２信号処理ＩＣユニット２１ｂは、第２カメラ１１ｂの出力を処理し、第２認識処理ＩＣユニット２２ｂは、第２信号処理ＩＣユニット２１ｂの出力を処理する。また、第２認識処理ＩＣユニット２２ｂは、認識処理の結果を第１認識処理ＩＣユニット２２ａに出力する。第１認識処理ＩＣユニット２２ａは、第２認識処理ＩＣユニット２２ｂの認識処理の結果を第１制御ＩＣユニット２３ａに出力する。第１制御ＩＣユニット２３ａは、第１認識処理ＩＣユニット２２ａの認識処理の結果に基づいて制御信号を出力する。

〔実施形態の効果〕
以上のように、車両１００の周囲を囲うように設けられた複数のカメラ１１の組が２組ある。車両１００の周囲を囲うように複数の第１カメラ１１ａを設けることにより、複数の第１カメラ１１ａの出力に基づいて、車両１００の周囲に広がる環境（車両１００の外部環境）を監視することができる。これと同様に、車両１００の周囲を囲うように複数の第２カメラ１１ｂを設けることにより、複数の第２カメラ１１ｂの出力に基づいて、車両１００の外部環境を監視することができる。このように、複数の第１カメラ１１ａの出力および複数の第２カメラ１１ｂの出力のうち少なくとも一方に基づいて、車両１００の外部環境を監視することができる。したがって、複数の第１カメラ１１ａを含む第１信号系統および複数の第２カメラ１１ｂを含む第２信号系統のいずれか一方に異常が発生した場合であっても、第２動作または第３動作を行うことにより、第１信号系統および第２信号系統の他方に含まれる複数のカメラ１１の出力に基づいて、車両１００の走行制御を継続することができる。これにより、車両１００の走行制御の継続性を向上させることができる。

また、第１信号系統および第２信号系統における異常の有無に応じて第１動作と第２動作と第３動作を自動的に切り換えることができる。これにより、第１信号系統および第２信号系統のいずれか一方に異常が発生した場合に、第２動作または第３動作を自動的に行うことができるので、車両１００の走行制御を自動的に継続することができる。

また、この例では、複数の第１カメラ１１ａは、第１前方カメラ１１１ａと、第１斜め右後方カメラ１１２ａと、第１斜め左後方カメラ１１３ａとを含む。複数の第２カメラ１１ｂは、第２前方カメラ１１１ｂと、第２斜め右後方カメラ１１２ｂと、第２斜め左後方カメラ１１３ｂとを含む。そのため、車両１００の周囲に広がる環境（車両１００の外部環境）のうち少なくとも車両１００の前方エリアと斜め右後方エリアと斜め左後方エリアに基づいて、車両１００の走行制御を継続することができる。これにより、第１信号系統および第２信号系統のいずれか一方に異常が発生した場合であっても、車両１００の前方エリアに基づく走行制御（例えば自車両の前方を走行する他車両との車間距離を適切に維持するための制御）と、車両１００の斜め右後方エリアおよび斜め左後方エリアに基づく制御（例えば自車両の車線変更の際に危険を察知するための制御）とを継続することができる。

また、第１認識処理ＩＣユニット２２ａおよび第２認識処理ＩＣユニット２２ｂの両方において認識処理を行うことにより、第１認識処理ＩＣユニット２２ａおよび第２認識処理ＩＣユニット２２ｂのいずれか一方のみにおいて認識処理を行う場合よりも、認識精度を向上させることができる。

（実施形態の変形例）
図８に示すように、認識処理部２０２は、単一の認識処理ＩＣユニット（図８の例では第１認識処理ＩＣユニット２２ａ）により構成されてもよい。この例では、第２信号処理ＩＣユニット２１ｂの出力は、第１認識処理ＩＣユニット２２ａに供給される。第１認識処理ＩＣユニット２２ａは、第１信号処理ＩＣユニット２１ａの出力および第２信号処理ＩＣユニット２１ｂの出力に基づいて認識処理を行う。

これと同様に、信号処理部２０１は、単一の信号処理ＩＣユニット（例えば第１信号処理ＩＣユニット２１ａ）により構成されてもよい。

（その他の実施形態）
以上の説明では、車両１００の周囲を囲うように車両１００に設けられる複数のカメラ１１の組が２組ある場合を例に挙げたが、これに限定されない。例えば、車両１００の周囲を囲うように車両１００に設けられる複数のカメラ１１の組が３組あってもよい。これと同様に、車両１００の周囲を囲うように車両１００に設けられる複数のレーダ１２の組が２組ある場合を例に挙げたが、これに限定されない。例えば、車両１００の周囲を囲うように車両１００に設けられる複数のレーダ１２の組が３組あってもよい。

また、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、この発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

以上説明したように、ここに開示する技術は、車両用制御システムとして有用である。

１ 車両用制御システム
１００ 車両
１０ 情報取得部
１１ カメラ
１１ａ 第１カメラ
１１１ａ 第１前方カメラ
１１２ａ 第１斜め右後方カメラ
１１３ａ 第１斜め左後方カメラ
１１ｂ 第２カメラ
１１１ｂ 第２前方カメラ
１１２ｂ 第２斜め右後方カメラ
１１３ｂ 第２斜め左後方カメラ
１２ レーダ
１２ａ 第１レーダ
１２ｂ 第２レーダ
２０ 制御部
２１ａ 第１信号処理ＩＣユニット
２１ｂ 第２信号処理ＩＣユニット
２２ａ 第１認識処理ＩＣユニット
２２ｂ 第２認識処理ＩＣユニット
２３ａ 第１制御ＩＣユニット
２３ｂ 第２制御ＩＣユニット

Claims (4)

1. 車両を制御する車両用制御システムであって、
   前記車両の周囲を囲うように前記車両に設けられる複数の第１カメラと、
   前記車両の周囲を囲うように前記車両に設けられる複数の第２カメラと、
   前記複数の第１カメラの出力および前記複数の第２カメラの出力の両方に基づいて前記車両の走行制御のための制御信号を出力する第１動作と、前記複数の第１カメラの出力に基づいて前記制御信号を出力する第２動作と、前記複数の第２カメラの出力に基づいて前記制御信号を出力する第３動作とを行う制御部とを備える
   ことを特徴とする車両用制御システム。
2. 請求項１において、
   前記制御部は、
   前記複数の第１カメラを含む第１信号系統および前記複数の第２カメラを含む第２信号系統の両方に異常が発生していない場合に、前記第１動作を行い、
   前記第１信号系統および前記第２信号系統のうち前記第２信号系統に異常が発生している場合に、前記第２動作を行い、
   前記第１信号系統および前記第２信号系統のうち前記第１信号系統に異常が発生している場合に、前記第３動作を行う
   ことを特徴とする車両用制御システム。
3. 請求項１または２において、
   前記複数の第１カメラは、前記車両の前方を撮像する第１前方カメラと、前記車両の斜め右後方を撮像する第１斜め右後方カメラと、前記車両の斜め左後方を撮像する第１斜め左後方カメラとを含み、
   前記複数の第２カメラは、前記車両の前方を撮像する第２前方カメラと、前記車両の斜め右後方を撮像する第２斜め右後方カメラと、前記車両の斜め左後方を撮像する第２斜め左後方カメラとを含む
   ことを特徴とする車両用制御システム。
4. 請求項１〜３のいずれか１つにおいて、
   前記制御部は、
   前記複数の第１カメラの出力に基づいて前記車両の外部環境を認識する認識処理を行う第１認識処理ＩＣユニットと、前記複数の第２カメラの出力に基づいて前記認識処理を行う第２認識処理ＩＣユニットとを有し、
   前記第１動作では、前記第１認識処理ＩＣユニットの認識処理の結果および前記第２認識処理ＩＣユニットの認識処理の結果の両方に基づいて前記制御信号を出力し、
   前記第２動作では、前記第１認識処理ＩＣユニットの認識処理の結果に基づいて前記制御信号を出力し、
   前記第３動作では、前記第２認識処理ＩＣユニットの認識処理の結果に基づいて前記制御信号を出力する
   ことを特徴とする車両用制御システム。

Images