JP2017132285A - 車両走行制御システム、及び車両走行制御方法 - Google Patents

Abstract

【課題】外部環境に対応する一つのフュージョンの仕様が選択された場合、選択したフュージョンの仕様において、外部環境に起因して認識精度が低下するセンサの検出領域を、ドライバに提示して、ドライバの注意を促すことを目的とする。
【解決手段】車両走行制御システムであって、車両は、車両の外部の状況を検出するセンサを複数有し、車両走行制御システムは、プロセッサ及びメモリを有し、メモリは、複数のセンサの検出結果をフュージョンする仕様であって、外部環境に対応する複数のフュージョン仕様を記憶し、プロセッサは、車両の外部環境に対応する一つのフュージョン仕様を選択し、選択したフュージョン仕様において外部環境が原因でセンサの認識精度が低下する領域を選択したフュージョン仕様の弱点領域としてドライバに提示し、選択したフュージョン仕様に基づいて、複数のセンサの検出結果をフュージョンすることを特徴とする。
【選択図】図８

Description

本発明は、車両が有するセンサの検出結果をフュージョンして外部の状況を認識して、車両の自動走行を実現する車両走行制御システムに関する。

自動車等の車両は、複数のセンサを有し、道路や天気等の外部環境に関する情報を取得する。そして、複数のセンサの検出結果及び外部環境に関する情報に基づいて車両の走行の制御を自動化する技術が開発されている。このような車両は、各センサの検出結果を統合（フュージョン）して外部の状況を認識し、周辺の情報を生成する。センサには条件毎に得手不得手がある。フュージョンによって、あるセンサの不得手な範囲を他のセンサの検出結果で補完できる。フュージョンを用いることで、単一のセンサでは認識できない外部の状況が認識可能となる。

フュージョンに関する技術として、特開２００７−３１０７４１号公報（特許文献１）及び特開２００３−１６２７９５号公報（特許文献２）がある。

特許文献１には、「ステレオカメラの撮像画像に基づく画像立体物の存在確率を画像立体物存在確率算出部で算出し、ミリ波レーダの出力に基づくミリ波立体物の存在確率をミリ波立体物存在確率算出部で算出し、レーザレーダの出力に基づくレーザ立体物の存在確率をレーザ立体物存在確率算出部で算出する。そして、存在確率補正部で、画像立体物、ミリ波立体物、レーザ立体物のそれぞれの存在確率を、各認識センサの認識率に基づいて補正し、総合存在確率設定部で、補正後の存在確率をフュージョンして総合存在確率を設定することで、障害物への接触回避や警報等の制御を確実且つ最適なタイミングで実行可能とする。」と記載されている（要約参照）。

特許文献２には、「センサが年間を通してある一定の信頼性を保つために、検出特性の異なる複数のセンサを組み合わせ、環境条件によって切り替えて使用することが有効である。センサを切り替える条件として、気象計測装置が計測する温度データ、雨量データ、視程データ、照度データ等を用いた環境指標を利用する。」と記載されている（要約参照）。

また、フュージョンに関するものではないが、周辺環境に応じて機器の動作仕様を変更する技術として特開２００１−１４５１７４号公報（特許文献３）がある。

特許文献３には、「センサまたは通信処理から周辺機器情報を取得し、環境認識処理において自機器の周辺環境を認識し、環境管理テーブルに格納する。連携制御処理では、通信処理を介して各機器のプロファイル及びポリシーに格納された状況を共有し、周辺環境情報とポリシーを用いて、自ら連携する相手機器や、他機器より要求された連携動作を行うか否かを、局所的かつ継続的に判断する。動作した結果は連携制御処理より公開して機器間で共有し、連携する相手機器を絞り込む場合に用いる。」と記載されている（要約参照）。

また、処理を実行する情報処理装置を変更する場合、変更前後での処理時間を評価し、評価値に基づいて情報処理装置を変更するか否かを決定する技術として特開２０１４−１３０４７４号公報（特許文献４）がある。

特許文献４には、「情報処理システム制御装置は、情報処理システムへ送信された要求情報に対して、第１の情報処理装置において稼働する仮想マシンにより処理が行われた結果を含む応答情報を取得し、前記要求情報を送信してから応答情報を受信するまでの応答時間を評価する第１の評価値を算出し、該第１の情報処理装置と、第２の情報処理装置との処理能力の比率を算出し、第１の評価値と比率とを用いて、仮想マシンが第２の情報処理装置で稼動した場合の要求に対する応答までの処理時間を評価する第２の評価値を算出し、第２の評価値が第１の閾値より小さい場合、第２の情報処理装置を仮想マシンの移行先候補として決定し、第１の情報処理装置で稼動する仮想マシンを移行先候補に移行し、第１の情報処理装置の電源をオフにすることにより、上記課題の解決を図る。」と記載されている（要約参照）。

特開２００７−３１０７４１号公報 特開２００３−１６２７９５号公報 特開２００１−１４５１７４号公報 特開２０１４−１３０４７４号公報

特許文献１及び特許文献２は、複数のセンサの検出結果のフュージョンに関するものであり、外部環境に対応したフュージョンの仕様を予め複数用意しておき、外部環境に対応するフュージョンの仕様を一つ選択するものではない。

ここで、無線ネットワークを介した通信が確立されて、車両と車両との間、車両と道路施設との間、車両とデータセンタとの間でのデータ伝送が実現できた場合を考える。この場合、車両が処理するデータが多様化し、自動運転の高度化が予想できる。しかし、世の中の全ての車両が自動運転化されるとは考えにくく、ドライバが一切関与しない完全な自動運転化で１００％の安全が実現するのは当分先であることと考えられる。

ドライバ視点で言い換えると、車両の自動走行が進化したとしてもドライバの関与は何らかの形で必要になる。したがって、車両の自動走行技術の進化は、ドライバの関与を如何に低減していくかが重要となる。

外部環境に対応する一つのフュージョンの仕様が選択された場合、選択したフュージョンの仕様において、外部環境に起因して認識精度が低下するセンサの検出領域を、ドライバに報知して、ドライバの注意を促す必要がある。

特許文献３及び特許文献４は、分散システム又は情報処理機器の設定の最適化及び設定切り替え時の評価に関するものであり、いずれもユーザが一切関与しない。このため、特許文献３及び特許文献４には、選択したフュージョンの仕様において、外部環境に起因して検出制御が低下するセンサの検出領域を、ドライバに報知することは開示されていない。

したがって、本発明は、外部環境に対応する一つのフュージョンの仕様が選択された場合、選択したフュージョンの仕様において、外部環境に起因して認識精度が低下するセンサの検出領域を、ドライバに提示して、ドライバの注意を促すことを目的とする。

上記課題を解決するために、車両の自動走行を実現する車両走行制御システムであって、前記車両は、前記車両の外部の状況を検出するセンサを複数有し、前記車両走行制御システムは、プロセッサ及びメモリを有し、前記メモリは、前記複数のセンサの検出結果をフュージョンする仕様であって、前記車両の外部環境に対応する複数のフュージョン仕様を記憶し、前記プロセッサは、前記メモリに記憶された複数のフュージョン仕様から前記車両の外部環境に対応する一つのフュージョン仕様を選択し、前記選択したフュージョン仕様において前記外部環境が原因で前記センサの認識精度が低下する領域を前記選択したフュージョン仕様の弱点領域としてドライバに提示し、前記選択したフュージョン仕様に基づいて、前記複数のセンサの検出結果をフュージョンして、前記車両の外部の状況を認識して、前記車両の自動走行を実現することを特徴とする。

本発明によれば、外部環境に対応する一つのフュージョンの仕様が選択された場合、選択したフュージョンの仕様において、外部環境に起因して認識精度が低下するセンサの検出領域を、ドライバに報知して、ドライバの注意を促すことができる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

実施例１の各天気に対応するセンサ認識範囲の車両のカバー率を示すグラフである。 実施例１のセンサの認識範囲のカバー率とドライバに補完が要求されるカバー率との関係の説明図である。 実施例１の車両走行制御システムのブロック図である。 実施例１のセンサの車両への配置とセンサの認識範囲の説明図である。 実施例１のＥＣＵがセンサの検出結果をフュージョンして認識する外部の状況の例の説明図である。 実施例１のＥＣＵの機能ブロック図である。 実施例１の天気が晴れである場合のセンサの認識精度の説明図である。 実施例１の天気が雨である場合のセンサの認識精度の説明図である。 実施例１の車線変更アプリが実行中であって、天気が晴れである場合に用いられるフュージョン仕様の認識範囲の説明図である。 実施例１の車線変更アプリが実行中であって、天気が雨である場合に用いられるフュージョン仕様の認識範囲の説明図である。 実施例１の先行車追従ＡＣＣの実行中の認識対象の説明図である。 実施例１の車線変更アプリの実行中の認識対象の説明図である。 実施例１の先行車追従ＡＣＣのフローチャートである。 実施例１の車両のメーターパネルにフュージョン仕様におけるセンサの弱点を提示する例の説明図である。 実施例１の車両のカーナビゲーションシステムのディスプレイ上にフュージョン仕様におけるセンサの弱点を提示する例の説明図である。 実施例１の車両のウィンドウに内蔵されたディスプレイにフュージョン仕様におけるセンサの弱点を提示する例の説明図である。 実施例１の刺激に対する補完動作前のドライバの姿勢の説明図である。 実施例１の刺激に対する補完動作時のドライバの姿勢の説明図である。 実施例１の中央車線を走行する車両が右側の車線に車線変更する場合のドライバによる目視確認の例について説明する。 実施例１の右車線を走行する車両が左側の中央車線に車線変更する場合のドライバによる目視確認の例について説明する。 実施例１の車線変更が可能である旨を車両に入力するためのボタンの配置の説明図である。 実施例２の先進運転者支援システムのフローチャートである。 実施例３のフュージョン仕様毎のセンサ認識範囲の車両のカバー率を示すグラフである。 実施例３のフュージョン仕様毎のセンサ認識範囲の車両のカバー率を示すグラフである。 実施例３の先進運転者支援システムの機能ブロック図である。 実施例３の先進運転者支援システムのフローチャートである。

実施例１について図１Ａ〜図１２を用いて説明する。

図１Ａは、実施例１の各天気に対応するセンサ認識範囲の車両のカバー率を示すグラフである。

図１Ａに示す棒グラフは、各天気に対応する車両２０（図２参照）が有する複数のセンサの認識範囲の車両２０に対するカバー率を示す。図１Ａに示す破線は、安全運転を確保できるカバー率を示す。図１Ａでは、安全運転を確保できるカバー率は例えば９５％であるものとする。天気が晴れである場合、センサの感度が高くなり、センサの認識範囲の車両２０に対するカバー率は、他の天気（曇り又は雨）のカバー率より大きくなる。図１Ａでは、天気が晴れである場合のカバー率は９５％より大きいものとし、この場合、ドライバは何もしなくても、安全運転を確保できる。

天気が曇りである場合、天気が晴れである場合より外部環境の照度が低下するので、センサの感度が天気が晴れである場合より低下する。図１Ａでは、天気が曇りである場合のカバー率は９０％程度であるものとし、この場合、ドライバは残り５％以上の範囲を注視することで、センサのカバー率を補完することによって、安全運転を確保できる。

天気が雨である場合、光学系センサに付着した水滴、及び路面にできた水たまりが光学系センサのノイズになり、光学系センサの感度が低下する。図１Ａでは、天気が雨である場合のカバー率は３０％程度であるものとする。このため、ドライバは、安全運転を確保するために、残り６５％以上の範囲を注視しなければならない。

なお、天気が曇りである場合、及び天気が雨である場合にドライバが補完する必要があるカバー率は、図１Ａでは実線の矢印で示す。ドライバの補完方法としては、例えば、車線変更のアプリケーションにおいて、センサが車線変更先の隣接車線を走行する車両の有無を認識できなければ、ドライバはサイドミラーと後方の目視で車両の有無を確認する。

動作するアプリケーションの変更、又は外部環境の変更等に起因して、車両２０の複数のセンサの検出結果をフュージョンする仕様であるフュージョン仕様が変更され、変更後のフュージョン仕様において変更前のフュージョン仕様より認識精度が低下する領域が存在する場合、当該領域をドライバは注視する必要がある。そこで、本実施例では、当該領域を変更後のフュージョン仕様の弱点領域として提示する。これによって、ドライバは、変更されたフュージョン仕様におけるセンサの弱点領域を注視できる。

また、安全運転の確保の観点では、センサの認識範囲のカバー率とドライバが補完する領域のカバー率との合計が９５％より大きくなることが重要となる。また、ドライバが本来有する能力は、ドライバ体調又は精神状態等に起因して変化する。また、ドライバの関与が少ない運転モード（例えば、先行車追従ＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ））からドライバの補完が必要となる運転モードに変更された場合、ドライバは油断状態にある可能性があり、ドライバの補完が必要となる運転モードに変更するまでにドライバの油断を除去するための準備時間が必要となる。そこで、本実施例では、車両２０のセンサの認識範囲のカバー率とドライバが補完するカバー率との合計が安全運転が確保できるレベルであるかを評価する。一例としては、ドライバにフュージョン仕様の弱点領域の視認を促す刺激を与え、当該刺激に対するドライバが適切に応答したかを判定することによって、安全運転が確保できるかを評価する。なお、刺激によって、ドライバにフュージョン仕様の弱点領域の視認を促すので、補完動作を練習する準備期間となる。

図１Ｂは、実施例１のセンサの認識範囲のカバー率とドライバに補完が要求されるカバー率との関係の説明図である。

天気が晴れである場合のセンサの認識範囲の車両２０のカバー率は８０％〜１００％であり、この場合のドライバに補完が要求されるカバー率は０％〜２０％である。

天気が曇りである場合のセンサの認識範囲の車両２０のカバー率は７０％〜９０％であり、この場合のドライバに補完が要求されるカバー率は１０％〜３０％である。

天気が雨である場合のセンサの認識範囲の車両２０のカバー率は２０％〜４０％であり、この場合のドライバに補完が要求されるカバー率は６０％〜８０％である。

図２は、実施例１の車両走行制御システムのブロック図である。

車両２０は、電子制御ユニット（ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ））２００、ＭＰＵ（Ｍａｐ Ｐｏｓｉｔｉｏｎ Ｕｎｉｔ）２１０、ミリ波レーダー２２１、ステレオカメラ２２２、サラウンドビューカメラ２２３、及び無線通信部２２４を有する。ＥＣＵ２００は、ミリ波レーダー２２１、ステレオカメラ２２２、サラウンドビューカメラ２２３及び無線通信部２２４に、車両２０内の専用回線であるＶｅｈｉｃｌｅ ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して接続される。また、ＥＣＵ２００は、ＭＰＵ２１０にＥｔｈｅｒｎｅｔ（登録商標）を介して接続される。

ＥＣＵ２００は、車両２０の走行を制御することにより、車両２０の走行を制御する車両走行制御システムであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（プロセッサ）２０１、メモリ２０２、通信部２０３、及び記憶部２０４を有する。これらは、データバス２０６を介して互いに接続される。車両走行制御システムは、車両２０の走行を直接に制御するシステムと、ドライバによる運転を前提とし障害物接近時に警報等を出力することによって車両２０の走行を制御するシステムとを含む概念である。

ＣＰＵ２０１は、各種演算処理を実行する。記憶部２０４は非揮発性の非一時的な記憶媒体であり、各種プログラム及び各種データが記憶される。メモリ２０２は揮発性の一時的な記憶媒体であり、メモリ２０２には、記憶部２０４に記憶された各種プログラム及び各種データがロードされ、ＣＰＵ２０１がメモリ２０２にロードされた各種プログラムを実行し、メモリ２０２にロードされた各種データを読み書きする。

通信部２０３は外部の装置とデータを通信する。通信部２０３にＥｔｈｅｒｎｅｔが接続されることによって、ＥＣＵ２００がＭＰＵ２１０に接続される。また、通信部２０３にＶｅｈｉｃｌｅ ＣＡＮが接続されることによって、ＥＣＵ２００が、センサ群（ミリ波レーダー２２１、ステレオカメラ２２２、及びサラウンドビューカメラ２２３）と無線通信部２２４とに接続される。

ＭＰＵ２１０は、道路及び標識等のオブジェクト情報が付与された高精度地図２１２を管理する。ＭＰＵ２１０は、ロケータ２１１及び高精度地図２１２を有する。ロケータ２１１は、例えばＧＰＳを用いて車両２０の現在位置を把握する。高精度地図２１２は、道路及び標識等のオブジェクト情報が付与された地図情報である。ＭＰＵ２１０は、高精度地図２１２から、ロケータ２１１が把握した車両２０の現在位置から所定範囲の地図情報を取得し、取得した地図情報をＥＣＵ２００の通信部２０３に入力する。ＥＣＵ２００のＣＰＵ２０１は、ＭＰＵ２１０から入力された地図情報を記憶部２０４に記憶する。

ミリ波レーダー２２１は、波長がミリ単位の電波を用いて周囲の状況を探知する。なお、ミリ波以外の電磁波等を用いて周囲の状況を探知するセンサであれば、ミリ波レーダー２２１以外でもよく、例えば赤外線レーダーであってもよい。ミリ波レーダー２２１及び赤外線レーダー等を総称して電磁波レーダーという。

ステレオカメラ２２２は、２台のカメラを有し、２台のカメラによる撮像結果に基づいて、３次元情報を算出する。サラウンドビューカメラ２２３は、広角レンズで周囲を撮影カメラである。ステレオカメラ２２２及びサラウンドビューカメラ２２３に限定されず、光学センサであればよい。

無線通信部２２４は、クラウド２３１、データセンタ２３２、他の車両２３３、及び路側機２３４に接続する無線ネットワークに接続され、クラウド２３１、データセンタ２３２、他の車両２３３、及び路側機２３４との間でデータを通信する。

図３Ａは、実施例１のセンサの車両２０への配置とセンサの認識範囲の説明図である。

本実施例では、車両２０は、前方及び後方の障害物を検出するために、四つのミリ波レーダー２２１Ａ〜２２１Ｄを有する。ミリ波レーダー２２１Ａは車両２０の前方左側に配置され、ミリ波レーダー２２１Ｂは車両２０の前方右側に配置され、ミリ波レーダー２２１Ｃは車両２０の後方左側に配置され、ミリ波レーダー２２１Ｄは車両２０の後方右側に配置される。

ミリ波レーダー２２１Ａの認識範囲３０１Ａは車両２０の前方左側であり、ミリ波レーダー２２１Ｂの認識範囲３０１Ｂは車両２０の前方右側である。また、ミリ波レーダー２２１Ｃの認識範囲３０１Ｃは車両２０の後方左側であり、ミリ波レーダー２２１Ｄの認識範囲３０１Ｄは車両２０の後方右側である。

ステレオカメラ２２２は、車両２０のフロントガラスの上方に配置され、車両２０の前方を撮影し、前方の３次元情報を取得するため、ステレオカメラ２２２の認識範囲３０２は車両２０の前方となる。

また、本実施例では、車両２０は、車両２０の周辺３６０°を撮影するために、四つのサラウンドビューカメラ２２３Ａ〜２２３Ｄを有する。サラウンドビューカメラ２２３Ａは、車両２０の前方側に配置され、車両２０の前方を撮影するため、サラウンドビューカメラ２２３Ａの認識範囲３０３Ａは車両２０の前方となる。サラウンドビューカメラ２２３Ｂは、車両２０の左側に配置され、車両２０の左側を撮影するため、サラウンドビューカメラ２２３Ｂの認識範囲３０３Ｂは車両２０の左側となる。サラウンドビューカメラ２２３Ｃは、車両２０の右側に配置され、車両２０の右側を撮影するため、サラウンドビューカメラ２２３Ｃの認識範囲３０３Ｃは車両２０の右側となる。サラウンドビューカメラ２２３Ｄは、車両２０の後方側に配置され、車両２０の後方を撮影するため、サラウンドビューカメラ２２３Ｄの認識範囲３０３Ｄは車両２０の後方となる。

図３Ｂは、実施例１のＥＣＵ２００がセンサの検出結果をフュージョンして認識する外部の状況の例の説明図である。

ＥＣＵ２００は、図３Ａに示す各センサの検出結果をフュージョンして外部の状況を認識する。外部の状況としては、例えば、信号及び標識の存在の有無、道路上のレーンマーカの存在及び種別、後方車両の存在及び後方車両の相対速度、並びに隣接車線の情報等がある。なお、各センサの検出結果をフュージョンすることにより、外部の状況の認識精度を向上させることができ、認識にかかる時間を短縮できる。

図４は、実施例１のＥＣＵ２００の機能ブロック図である。

図４に示す破線部は、ＥＣＵ２００の入出力の対象を示す。具体的には、外部環境４１３、並びにセンサの検出結果及びＭＰＵ２１０からの高精度地図２１２（センサ群／地図４１４）等がＥＣＵ２００に入力される。また、ＥＣＵ２００は、車両２０自体を制御する制御部４１１にデータを出力する。ドライバ４１２は、ＥＣＵ２００にデータを入力するとともに、ＥＣＵ２００からデータを出力される。

ＥＣＵ２００は、フュージョン部４０１、アプリケーション部４０２、センサ弱点提示部４０３、評価部４０４、セレクタ４０５、及びフュージョン仕様Ａ（４０６Ａ）〜フュージョン仕様Ｃ（４０６Ｃ）を有する。なお、フュージョン仕様Ａ（４０６Ａ）〜フュージョン仕様Ｃ（４０６Ｃ）を総称してフュージョン仕様４０６と記載する。

フュージョン部４０１は、センサの検出結果をフュージョンして、車両２０の外部の状況を示すセンサフュージョンデータを生成する。また、フュージョン部４０１は、図示しないＬＤＭ（Ｌｏｃａｌ Ｄｙｎａｍｉｃ Ｍａｐ）部を有する。ＬＤＭ部は、センサフュージョンデータと地図２０５とをフュージョンして、静的な道路情報と、動的な車両２０の外部の状況を示す情報とを重畳してＬＤＭデータを生成する。

センサには、天気、温度、又は湿度等の外部環境によって得手不得手がある。本実施例では、ＥＣＵ２００は、アプリケーションと外部環境とに対応する複数のフュージョン仕様４０６をメモリ２０２に記憶している。そして、セレクタ４０５は、動作中のアプリケーションと入力された外部環境とに対応する一つのフュージョン仕様４０６を選択する。選択中のフュージョン仕様４０６から他のフュージョン仕様４０６に変更する場合、変更後のフュージョン仕様４０６において、外部環境によってセンサが認識できず、ドライバの補完が必要な領域（弱点領域）が変更前のフュージョン仕様から変更されることが考えられる。

この場合、ドライバが補完する領域が突然変更されると、ドライバの体調又は精神状態によって補完することができない可能性がある。そこで、センサ弱点提示部４０３は、フュージョン部４０１が変更後のフュージョン仕様４０６を用いてセンサの検出結果をフュージョンする前に、ドライバの補完動作を評価する工程を設定し、変更後のフュージョン仕様の弱点領域をドライバに提示する。また、センサ弱点提示部４０３は、変更後のフュージョン仕様の弱点領域の補完動作を促す刺激をドライバに与える。

評価部４０４は、ドライバの刺激に対する応答を評価し、ドライバの応答が適切であると評価した場合、セレクタ４０５が選択したフュージョン仕様４０６をフュージョン部４０１に設定する。

アプリケーション部４０２は、車両２０の走行を自動で制御するためのアプリケーションを実行する。アプリケーション部４０２が実行するアプリケーションには、一例として、前方の車両を追従する先行車追従ＡＣＣ、又は車両２０が走行する車線を変更する車線変更アプリ等がある。アプリケーション部４０２は、フュージョン部４０１が生成したＬＤＭデータから車両２０の走行の制御に必要な情報を選択し、選択した情報を制御部４１１に入力する。なお、ドライバの補完動作が必要なフュージョン仕様４０６が選択されている場合、アプリケーション部４０２は、ＬＤＭデータとドライバの応答とを制御部４１１に入力する。また、アプリケーション部４０２は、センサ弱点領域の情報が必要になったタイミングはセンサ弱点提示部４０３に伝達し、センサ弱点提示部４０３は、センサ弱点領域をドライバに提示する。これによって、センサ弱点領域を必要なタイミングで注視し、常にセンサ弱点領域を注視することによる緊張状態を回避できる。

フュージョン仕様Ａ（４０６Ａ）は、アプリケーション部４０２が先行車追従ＡＣＣを実行している場合に用いられる。フュージョン仕様Ｂ（４０６Ｂ）は、アプリケーション部４０２が車線変更アプリを実行し、かつ天気が晴れである場合に用いられる。フュージョン仕様Ｃ（４０６Ｃ）は、アプリケーション部４０２が車線変更アプリを実行し、かつ天気が雨である場合に用いられる。

図５Ａ及び図５Ｂを用いてフュージョン仕様４０６によるセンサの認識範囲の違いについて説明する。

図５Ａは、実施例１の天気が晴れである場合のセンサの認識精度の説明図である。

天気が晴れである場合、ミリ波レーダー２２１、ステレオカメラ２２２、及びサラウンドビューカメラ２２３の認識精度は良好である。フュージョン部４０１は、認識精度が良好なセンサの検出結果に基づいて、フュージョンデータを生成する。このため、フュージョンデータを生成するためのロジックに制約は不要で、設計思想に合わせたフュージョンデータをフュージョン部４０１に生成させることができる。したがって、フュージョン仕様Ｂ（４０６Ｂ）においては、車両２０の３６０°を認識することができる。

図５Ｂは、実施例１の天気が雨である場合のセンサの認識精度の説明図である。

天気が雨である場合、光学系センサの認識精度が低下する。図５Ｂでは、認識精度が低下する認識範囲を破線で図示する。具体的には、ステレオカメラ２２２の認識範囲３０２における認識精度が低下する。また、サラウンドビューカメラ２２３Ａの認識範囲３０３Ａ、サラウンドビューカメラ２２３Ｂの認識範囲３０３Ｂ、サラウンドビューカメラ２２３Ｃの認識範囲３０３Ｃ、及びサラウンドビューカメラ２２３Ｄの認識範囲３０３Ｄにおける認識精度が低下する。

なお、天気が雨である場合であっても、車両２０の前後方向の障害物を検出するミリ波レーダー２２１の認識精度は低下しない。

図６Ａは、実施例１の車線変更アプリが実行中であって、天気が晴れである場合に用いられるフュージョン仕様Ｂ（４０６Ｂ）の認識範囲の説明図である。

天気が晴れである場合、図５Ａで説明したように、ミリ波レーダー２２１、ステレオカメラ２２２、及びサラウンドビューカメラ２２３の認識精度は良好であるので、車両２０が走行中の車線における車両２０の前後方向のみならず、当該車線に隣接する車線の前後方向も認識できる。

図６Ｂは、実施例１の車線変更アプリが実行中であって、天気が雨である場合に用いられるフュージョン仕様Ｃ（４０６Ｃ）の認識範囲の説明図である。

天気が雨である場合、図５Ｂで説明したように、光学系センサであるステレオカメラ２２２及びサラウンドビューカメラ２２３の認識精度が低下し、ミリ波レーダー２２１の認識精度は低下しない。このため、車両２０が走行中の前後方向のみを認識できる。

また、天気が雨である場合に、図５Ａに示す晴れ用のフュージョン仕様Ｂ（４０６Ｂ）が用いられると、認識精度が低下しているセンサの検出結果がフュージョンされるので、全体の認識精度が低下する可能性がある。また、認識精度の低下を考慮したフュージョンのロジックを設計仕様とすると、ロジックそのものが複雑になる。

図７Ａは、実施例１の先行車追従ＡＣＣの実行中の認識対象の説明図である。

先行車追従ＡＣＣを実行中の車両２０は、先行車２１を認識し、当該先行車２１と同じ速度で先行車２１を追従する。このため、本実施例では、先行車追従ＡＣＣでは、隣接する車線を認識する必要はなく、車両２０の前後方向のみ認識できればよいものとする。したがって、天気が晴れであっても、雨であっても、図６Ｂに示す範囲が認識できればよいので、先行車追従ＡＣＣが実行中に用いられるフュージョン仕様４０６は、天気に対応するものではなく、フュージョン仕様Ａのみである。なお、ステレオカメラだけでＡＣＣを実施してもよい。

図７Ｂは、実施例１の車線変更アプリの実行中の認識対象の説明図である。

図７Ｂの破線矢印が示すように、車両２０が右側の車線に変更する場合について説明する。この場合、車両２０が車線を変更する場合に車線変更先の右車線における車両２０の後方からの後続車２２の有無が、車線変更の実施可否を判定するための重要な要素となる。センサの認識精度が良好であれば、走行中の車線の前後方向のみならず、隣接する車線の前後方向も認識する必要があるため、ＥＣＵ２００は、車線変更アプリが用いるフュージョン仕様４０６として、晴れ用のフュージョン仕様Ｂ（４０６Ｂ）及び雨用のフュージョン仕様Ｃ（４０６Ｃ）が用意されている。

図８は、実施例１の先行車追従ＡＣＣのフローチャートである。

ＥＣＵ２００が自動運転をＯＮにする入力を受け付けると（８０１）、セレクタ４０５がフュージョン仕様Ａ（先行車追従）４０６Ａを選択し、フュージョン部４０１にフュージョン仕様Ａを設定して、アプリケーション部４０２が先行車追従ＡＣＣを実行する（８０２）。先行車追従ＡＣＣは、車両２０の前方に搭載されたミリ波レーダー２２１Ａ及び２２１Ｂの検出結果を用いて先行車に追従するアプリケーションである。先行車追従ＡＣＣでは、ミリ波レーダー２２１Ａ及び２２１Ｂの検出結果に基づいて、車両２０の前方を走行する車両（先行車）との距離、相対速度、及び角度等を算出し、算出したこれらの情報に基づいて先行車を追従する。

アプリケーション部４０２が先行車追従ＡＣＣを実行すると、車両２０は先行車を追従するように走行し、アプリケーション部４０２は、故障又は不具合等がない通常走行であるか否かを判定する（８０３）。

ステップ８０３の処理で通常走行でないと判定された場合（８０３：Ｎｏ）、アプリケーション部４０２は先行車追従ＡＣＣの実行を中止し、車両２０の自動運転をＯＦＦにし（８０４）、処理を終了する。

一方、ステップ８０３の処理で通常走行であると判定された場合（８０３：Ｙｅｓ）、アプリケーション部４０２は、車線変更が必要な状況であるか否かを判定する（８０５）。車線変更が必要な状況であるか否かは、車線変更が必要な状況である旨のドライバからの入力をＥＣＵ２００が受け付けたか否かに基づいて判定してもよいし、カーナビゲーションシステム等によって設定された目的地までのルートに基づいて判定してもよい。

ステップ８０５の処理で、車線変更が必要な状況でないと判定された場合（８０５：Ｎｏ）、先行車追従ＡＣＣによる自動運転を継続し、ステップ８０３の処理に戻る。

一方、ステップ８０５の処理で、車線変更が必要な状況であると判定された場合（８０５：Ｙｅｓ）、アプリケーション部４０２は車線変更アプリを起動する（８０６）。なお、車線変更においては、ミリ波レーダー２２１Ａ及び２２１Ｂの検出結果の他に、車両２０が走行中の車線と変更先の車線との間のレーンマーカー及び変更先の車線を走行する他の車両の有無を検出するための光学系センサ（ステレオカメラ２２２及びサラウンドビューカメラ２２３）の検出結果が必要となる。

本実施例では、ＥＣＵ２００は、車線変更アプリが用いる晴れ用のフュージョン仕様（フュージョン仕様Ｂ（４０６Ｂ））及び雨用のフュージョン仕様（フュージョン仕様（Ｃ４０６Ｃ））を有する。晴れ用のフュージョン仕様Ｂ（４０６Ｂ）においては、ステレオカメラ２２２及びサラウンドビューカメラ２２３の認識精度が高く、ステレオカメラ２２２及びサラウンドビューカメラ２２３の検出結果とミリ波レーダー２２１Ａ〜２２１Ｄによる車両２０の前後方向の検出結果とを組み合わせることによって、車両２０の例えば、隣接車線を含む周辺のほとんど全ての範囲を認識できる。

ここで、雨であっても晴れ用のフュージョン仕様Ｂ（４０６Ｂ）を用いる場合について説明する。フュージョン部４０１は、晴れ用のフュージョン仕様Ｂ（４０６Ｂ）を用いて、車両２０の前方の状況を認識するステレオカメラ２２２の検出結果、車両２０を中心とする３６０°の状況を認識するサラウンドビューカメラ２２３の検出結果、及び車両２０の前後方向の状況を認識するミリ波レーダー２２１の検出結果をフュージョンし、フュージョンした結果をアプリケーション部４０２に出力する。天気が雨である場合、ステレオカメラ２２２の認識精度が低下するが、アプリケーション部４０２は、ステレオカメラ２２２の検出結果にも基づいて車両２０の前方を認識する。この場合、アプリケーション部４０２は、認識結果の妥当性を判断する必要がある。そして、アプリケーション部４０２は、妥当性が所定値以上であれば、他のセンサからの検出結果及び他の情報を重畳して、認識精度を向上させる処理を実行する。

ただし、妥当性の判定及び認識精度を向上させる処理は、様々の条件を想定する必要があるため、ロジックが複雑になることが予想される。認識精度が低下したサラウンドビューカメラ２２３の検出結果に基づいて、車両２０を中心とした３６０°の状況を認識する場合も同様である。

そこで、認識精度が低下するセンサが存在する外部環境に対応したフュージョン仕様をＥＣＵ２００に設定しておけば、妥当性の判定及び認識精度を向上させる処理の実行を不要とすることができる。外部環境が雨である場合には、光学系センサの認識精度が低下するので、雨用のフュージョン仕様Ｃ（４０６Ｃ）がＥＣＵ２００に設定される。なお、ある外部環境において、電磁波レーダーの認識精度が低下する場合、当該外部環境に対応するフュージョン仕様がＥＣＵ２００に設定されていてもよい。

次に、セレクタ４０５は、フュージョン仕様Ｂ（４０６Ｂ）及びフュージョン仕様Ｃ（４０６Ｃ）から外部環境（本実施例では天気であるがこれに限定されない）に対応する一つのフュージョン仕様４０６を選択する（８０７）。ステップ８０７の処理で選択されたフュージョン仕様４０６は、すぐにフュージョン部４０１に設定されず、評価部４０４の図示しない保持部に一時的に保持され（８０８）、車両２０は先行車を追従しながら、評価部４０４がステップ８０７の処理で選択されたフュージョン仕様４０６に対するドライバの反応を評価する。

なお、外部環境は、車両２０が有する外部環境を検出するためのセンサ（例えば、温度センサ及び湿度センサ等）の検出結果、及び外部の装置からの外部環境を示すデータの少なくとも一方に基づいて特定される。図２に示す無線通信部２２４が無線ネットワーク２４１を介して外部の装置と通信して、ＥＣＵ２００は外部環境を示すデータを取得する。外部環境を示すデータは、例えば車両２０の現在位置の天気を示すデータである。

また、センサ弱点提示部４０３は、ステップ８０７の処理で選択されたフュージョン仕様４０６におけるセンサの弱点をドライバに提示する（８０９）。フュージョン仕様におけるセンサの弱点は、外部環境によって認識精度が低下するセンサの認識範囲であり、ドライバが補完すべき箇所である。これによって、ドライバは、変更後のフュージョン仕様４０６で補完すべき箇所を把握できる。なお、センサ弱点提示部４０３の提示の態様については、図９Ａ〜図９Ｃで詳細を説明する。

次に、センサ弱点提示部４０３は、車線変更の際に補完動作が必要な箇所に対する補完動作をドライバに促す刺激をドライバに与える（８１０）。

例えば、ステップ８０７の処理で晴れ用のフュージョン仕様４０６であるフュージョン仕様Ｂ（４０６Ｂ）が選択された場合、センサ弱点提示部４０３は、隣接車線にさらに隣接する車線である隣々接車線に対する補完動作をドライバに促す刺激をドライバに与える。一方、ステップ８０７の処理で雨用のフュージョン仕様４０６であるフュージョン仕様Ｃ（４０６Ｃ）が選択された場合、センサ弱点提示部４０３は、隣接車両に対する補完動作をドライバに促す刺激をドライバに与える。

次に、評価部４０４は、ステップ８１０の処理で与えた刺激に対してドライバが確認動作を実施したか否かを判定する（８１１）。ステップ８１１の処理では、ドライバが補完動作を実施できるか否かの意識レベルを判定するのではなく、実際に補完動作を実施したか否かを判定する。ドライバが補完動作を実施したか否かの判定は、車両２０が有する車内の状況を検出するセンサ、及びドライバからの補完動作した旨の入力の少なくとも一方に基づいて実施される。これらの詳細は、図１０Ｂで説明する。

ステップ８１１の処理で、刺激に対してドライバが補完動作をしていないと判定された場合（８１１：Ｎｏ）、評価部４０４は、刺激に対する補完動作の失敗回数を示す変数Ｃｏｎｔに１を加算し（８１２）、変数Ｃｏｎｔが１０より大きいか否かを判定する（８１３）。

ステップ８１３の処理で変数Ｃｏｎｔが１０以下であると判定された場合（８１３：Ｎｏ）、ステップ８１０の処理に戻り、センサ弱点提示部４０３はドライバに刺激を与える。刺激は、補完動作が必要な箇所の視認を促す旨の画像、音声、及び接触動作の少なくとも一つであればよい。これらの詳細は、図１１Ａ及び図１１Ｂで説明する。

一方、ステップ８１３の処理で変数Ｃｏｎｔが１０より大きいと判定された場合（８１３：Ｙｅｓ）、アプリケーション部４０２は、車線変更アプリケーションを無効化し（８２１）、先行車を追従する。ドライバによる補完動作が不完全であり、このような状況下で無理な車線変更を実施させないためである。

ステップ８１１の処理で、刺激に対してドライバが補完動作をしたと判定された場合（８１１：Ｙｅｓ）、評価部４０４は、保持部が保持しているステップ８０７の処理で選択したフュージョン仕様４０６をフュージョン部４０１に当該フュージョン仕様４０６を設定するイネーブル信号を保持部に出力する。保持部は、イネーブル信号が入力されると、ステップ８０７の処理で選択したフュージョン仕様４０６をフュージョン部４０１に設定する（８１４）。また、センサ弱点提示部４０３は、ステップ８０７の処理で選択したフュージョン仕様４０６におけるセンサの弱点をドライバに提示する（８１５）。

そして、ステップ８０７の処理で選択したフュージョン仕様４０６を用いたフュージョンデータに基づいてアプリケーション部４０２が車線変更が可能と判断された場合、センサ弱点提示部４０３は、車線変更が可能か否かをドライバに問い合わせる（８１６）。ステップ８１６の処理の問い合わせは、センサ弱点提示部４０３が、ステップ８０９の処理と同じ態様でステップ８０７の処理で選択されたフュージョン仕様４０６の弱点を提示することによって実現されてもよいし、ステップ８１０の処理と同じ態様で車線変更の際に補完動作が必要な箇所に対する補完動作をドライバに促す刺激をドライバに与えることによって実現されてもよい。

ドライバは、ステップ８１６の処理の問い合わせの箇所を目視で確認する（８１７）。ドライバは、目視による確認の結果、変更先の車線に障害となる車両又は障害物等が存在するか否かを判断して、車線変更が可能か否かを判断する（８１８）。

ステップ８１８の処理で車線変更が可能であると判断した場合、ドライバは、その旨を車両２０に入力する。ドライバの車両２０への入力は、専用のスイッチ（図１２参照）を押下してもよいし、方向指示スイッチを操作してもよい。

車両２０に車線変更が可能である旨が入力された場合、アプリケーション部４０２は、車線変更アプリによる車線変更制御を開始する（８１９）。そして、アプリケーション部４０２は、車線変更が終了したか否かを判定する（８２０）。ステップ８２０の処理で車線変更が終了したと判定された場合、アプリケーション部４０２は、車線変更アプリを終了し（８２１）、先行車追従ＡＣＣを起動し、ステップ８０２の処理に戻る。

一方、ステップ８２０の処理で車線変更が終了していないと判定された場合、アプリケーション部４０２は、再度ステップ８２０の処理を実行する。

ステップ８１８の処理で車線変更が不可能であると判断した場合、ステップ８１７の処理に戻り、ドライバは目視による確認を継続する。

図９Ａ〜図９Ｃを用いてステップ８０９の処理におけるフュージョン仕様４０６のセンサの弱点の提示態様について説明する。

図９Ａは、実施例１の車両２０のメーターパネル９００にフュージョン仕様４０６におけるセンサの弱点を提示する例の説明図である。

車両２０のインストゥルメントパネルにはメーターパネル９００が配置される。メーターパネル９００はスピードメーター及びタコメーター等を有し、当該メーターパネル９００に、車両２０を中心とする車両２０の周辺領域の簡易マップが表示され、当該簡易マップ上に、フュージョン仕様４０６において認識精度が低下するセンサの認識範囲が表示される。図９Ａでは、フュージョン仕様４０６において認識精度が低下するセンサの認識範囲は点線で示され、認識精度が低下しないセンサの認識範囲は実線で示される。

図９Ｂは、実施例１の車両２０のカーナビゲーションシステム９１０のディスプレイ上にフュージョン仕様４０６におけるセンサの弱点を提示する例の説明図である。

カーナビゲーションシステム９１０のディスプレイには、車両２０の現在地から目的までの経路等を表示するカーナビゲーション情報が表示されるとともに、図９Ａで説明した車両２０を中心とする車両２０の周辺領域の簡易マップが表示される。当該簡易マップ上に、フュージョン仕様４０６において認識精度が低下するセンサの認識範囲が表示される。

図９Ｃは、実施例１の車両２０のウィンドウに内蔵されたディスプレイにフュージョン仕様４０６におけるセンサの弱点を提示する例の説明図である。

車両２０の各ウィンドウには透過型のディスプレイが内蔵されており、フュージョン仕様４０６において、認識精度が低下するセンサの認識範囲に対応するウィンドウのディスプレイの領域の表示態様を、他の領域と区別可能に変更する。具体的には、認識精度が低下するセンサの認識範囲に対応するウィンドウのディスプレイの領域にターゲット信号を出力して、図９Ｃに示すように、当該領域を点線で表示する。

なお、ステップ８０９の処理におけるフュージョン仕様４０６のセンサの弱点の提示態様は、図９Ａ〜図９Ｃに限定されず、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）上に表示されてもよいし、音声ガイダンスによって認識精度が低下するセンサの認識範囲がドライバに提示されてもよい。

図１０Ａ及び図１０Ｂを用いて、ステップ８１０の処理でドライバに与えられた刺激に対するドライバの補完動作について説明する。

図１０Ａは、実施例１の刺激に対する補完動作前のドライバの姿勢の説明図である。図１０Ｂは、実施例１の刺激に対する補完動作時のドライバの姿勢の説明図である。

本実施例では、車両２０のセンサによる認識とドライバによる認識とのトータルで安全運転を保障するためには、ドライバが補完動作を実際に実施したか否かを重要視する。したがって、本実施例では、変更後のフュージョン仕様４０６を設定する前に、当該フュージョン仕様４０６において認識精度が低下するセンサの検出範囲の補完動作をドライバに実験的に実施させる。

例えば、ステップ８１０の処理で、ドライバに対して右側後方の領域が補完動作を実施すべき範囲として刺激が与えられた場合、ドライバは、図１０Ａに示すように前方を向いた姿勢から、図１０Ｂに示すようにドライバの右側後方を目視で確認する補完動作を実施する。

本実施例における刺激は、例えば、図９Ｃに示すように補完動作を実施すべき車両２０のウィンドウに内蔵されたディスプレイを介した視覚的な刺激を前提に説明するが、図９Ａに示すようにメーターパネル９００に表示された簡易マップを介した視覚的な刺激であってもよいし、図９Ｂに示すように車両２０のカーナビゲーションシステム９１０のディスプレイ上に表示された簡易マップを介した視覚的な刺激であってもよい。また、刺激は、視覚的な刺激に限定されず、ドライバに補完動作を実施させることができれば、他の刺激であってもよい。例えば、他の刺激としては、音声による聴覚的な刺激、又は振動による触覚的な刺激等がある。音声による聴覚刺激としては、補完動作が必要な箇所をドライバに知らせる音声ガイダンスが車両２０のスピーカーから出力されてもよい。また、振動による触覚的な刺激としては、補完動作が必要な箇所の方向のドライバのシートを振動させる。具体的には、ドライバのシートの右肩部分が刺激された場合、右後方に補完動作が必要である旨を示し、ドライバのシートの左肩部分が刺激された場合、左後方に補完動作が必要である旨を示す。

なお、図１０Ｂに示すドライバの補完動作をしたか否かは、ドライバが、補完動作を実施した後に、図１２に示すボタン１２０Ａ又は１２０Ｂを操作することによって、補完動作を実施した旨を車両２０に入力してもよい。また、車両２０が車内の状況を検出するセンサ（ドライバを撮影するカメラ等）を有する場合、当該センサの検出結果に基づいて、ドライバが刺激された箇所に補完動作を実施したか否かを判定してもよい。

図１１Ａ及び図１１Ｂを用いて、車線変更する場合のドライバによる目視確認について説明する。

図１１Ａは、実施例１の中央車線を走行する車両２０が右側の車線に車線変更する場合のドライバによる目視確認の例について説明する。

図１１Ａの左図に示すように、車両２０が三車線の道路の中央車線を走行しており、中央車線の右側の車線には車両２０より高速で車両Ａが走行しており、車両２０が右側の車線に車線変更する場合を想定条件１とする。

図１１Ａの右図においては、車両２０の右車線側のウィンドウの点線で区画した領域が、ステップ８１５の処理でドライバに提示されたフュージョン仕様４０６におけるセンサの弱点である。また、車両Ａは車両２０より高速で走行してるので、図１１Ａの右図における矢印は、車両２０から見た車両Ａの進行方向である。ドライバは、右側の車線側のウィンドウの点線で区画した領域を注視し、車両Ａが前方に十分に移動したこと、及び後方から当該領域に侵入する車両がないことを確認すると、車線変更が可能であると判断し、その旨を車両２０に入力する。

図１１Ｂは、実施例１の右車線を走行する車両２０が左側の中央車線に車線変更する場合のドライバによる目視確認の例について説明する。

図１１Ｂの左図に示すように、車両２０が三車線の道路の右車線を走行しており、中央車線には車両２０より低速で車両Ｂが走行しており、車両２０が右車線の左側の中央車線に車線変更する場合を想定条件２とする。

図１１Ｂの右図においては、車両２０の中央車線側のウィンドウの点線で区画した領域が、ステップ８１５の処理でドライバに提示されたフュージョン仕様４０６におけるセンサの弱点である。また、車両Ｂは車両２０より低速で走行してるので、図１１Ｂの右図における矢印は、車両２０から見た車両Ｂの進行方向である。ドライバは、中央車線側のウィンドウの点線で区画した領域を注視し、車両Ｂが後方に十分に移動したこと、及び前方から当該領域に侵入する車両がないことを確認すると、車線変更が可能であると判断し、その旨を車両２０に入力する。

車線を変更する場合のステップ８１０の処理でドライバに与えられる刺激において、フュージョン仕様４０６におけるセンサの弱点となるウィンドウに点線で区画した領域を表示し、当該領域に車両２０に対して相対的に移動する車両を的に表示して、当該車両の移動をドライバに追わせてもよい。この場合、ドライバは、例えば、的に表示された車両が点線で区画した領域に表示されなくなったタイミングで、応答を入力するものとする。

なお、的に表示される車両の移動方向は、車両２０の移動速度に基づいて決定されてもよい。例えば、車両２０が予め設定された所定の速度より高速で走行している場合、的に表示される車両の移動方向は、図１１Ｂのように、車両２０の後方となり、車両２０が予め設定された所定の速度より低速で走行している場合、的に表示される車両の移動方向は、図１１Ａのように、車両２０の前方となる。

なお、このような表示は、サイドのウィンドウにのみ表示されるものではなく、フロントのウィンドウ又はリアのウィンドウに表示されてもよい。

図１２は、実施例１の車線変更が可能である旨を車両２０に入力するためのボタン１２０の配置の説明図である。

図１１Ａ及び図１１Ｂで説明したように、ドライバは、車線変更可能と判断した場合、ボタン１２０Ａ又はボタン１２０Ｂを操作することによって、その旨が車両２０に入力される。なお、ボタン１２０Ａ又は１２０Ｂはステアリングに設けられる。ボタン１２０Ａはドライバから見て右側に設けられ、ボタン１２０Ｂはドライバから見て左側に設けられる。例えば、走行中の車線の右側の車線に車線変更する場合、右側のボタン１２０Ａが操作されると、車両２０に車線変更可能である旨が入力され、走行中の車線の左側の車線に車線変更する場合、左側のボタン１２０Ｂが操作されると、車両２０に車線変更可能である旨が入力されるようにしてもよい。

なお、必ずしも二つのボタン１２０Ａ及び１２０Ｂを設ける必要はなく、一つのボタン１２０Ａ又は１２０Ｂが設けられればよい。

また、ドライバは、車線変更可能と判断した場合、ウィンカーレバー１２１を操作することによって、その旨が車両２０に入力されてもよい。この場合、ボタン１２０Ａ及び１２０Ｂは不要である。

また、車線変更可能と判断した場合に操作されるボタンはウィンカーレバー１２１に設けられてもよい。また、車線変更可能と判断した場合、ドライバは予め決められた単語を発声し、車両２０が有するセンサ（マイク等）に当該単語が入力されると、車両２０に車線変更可能である旨が入力されるとしてもよい。

ここで、ドライバが車線変更する場合を例にドライバの一連の動作を図１０Ａ〜図１２を用いて説明する。

まず、ドライバは、図１２に示すウィンカーレバー１２１を操作する。ウィンカーレバー１２１の操作を受け付けると、ＥＣＵ２００は、車線変更アプリのフュージョン仕様４０６でセンサの弱点となるセンサ弱点範囲をドライバに提示し、車線変更に必要なセンサ弱点範囲の補完動作を促す刺激をドライバに与える。ドライバが図１０Ａ及び図１０Ｂに示すように、刺激された箇所に補完動作を実施した場合、センサの認識範囲のカバー率とドライバが補完する領域のカバー率とで安全に制御できるので、ＥＣＵ２００は、車線変更アプリのフュージョン仕様４０６をフュージョン部４０１に適用する。

なお、ＥＣＵ２００は、ドライバのボタン１２０Ａ若しくは１２０Ｂ又はウィンカーレバー１２１の操作があった場合、ドライバが補完動作を実施したと判断するが、他の方法でドライバが補完動作を実施したことを判断してもよい。例えば、車内を撮影するカメラ等によりドライバの顔の向きを測定してもよいし、眼球の移動を測定してもよい。

そして、ドライバは、図１１Ａ又は図１１Ｂに示した車線変更アプリのフュージョン仕様４０６のセンサの弱点範囲を目視で確認して補完動作をしながら、車線変更可能であると判断した場合、図１２に示すボタン１２０Ａ又は１２０Ｂを操作して、車線変更可能である旨を車両２０に入力する。

なお、車線変更アプリの起動のタイミングは、ドライバがウィンカーレバー１２１を操作したタイミングに限定されず、カーナビゲーションシステムのルート検索結果に基づいたタイミングであってもよい。

本実施例によれば、外部環境に応じて選択したフュージョン仕様において外部環境が原因でセンサの認識精度が低下する領域を選択したフュージョン仕様の弱点領域としてドライバに提示する。これによって、フュージョン仕様の弱点領域をドライバに補完させることができる。

また、本実施例によれば、選択したフュージョン仕様の弱点領域の視認をドライバに促す刺激をドライバに与える。これによって、弱点領域のドライバによる補完動作を正確に実施させることができる。

また、本実施例によれば、ドライバが刺激に対して適切に応答したか否かを判定し、判定結果に基づいて、選択したフュージョン仕様を複数のセンサの検出結果のフュージョンに適用するか否かを判定することを特徴とする。これによって、ドライバが適切に弱点領域の補完動作を実施していることを確認してからフュージョン仕様を適用することができる。

また、本実施例によれば、車両の走行の制御のための複数の種類のアプリケーションを実行可能であって、実行するアプリケーションが変更されたことを契機として、変更後のアプリケーションに対応し、外部環境に対応するフュージョン仕様を選択し、選択したフュージョン仕様の弱点領域をドライバに提示する。これによって、実行するアプリケーションが変更され、フュージョン仕様が変更された場合であっても、変更後のフュージョン仕様の弱点領域をドライバに補完させることができる。

また、本実施例によれば、変更後のアプリケーションは、車両が車線を変更するための車線変更アプリケーションであり、プロセッサは、ドライバが提示されたフュージョン仕様の弱点領域を確認し、車線が変更可能である旨の入力を受け付けた場合、車線を変更する。これによって、ドライバが車線が変更可能であると判断した場合に、車線を変更できる。

以下、実施例２について、図１４について説明する。

実施例１では、先行車追従アプリの実行中に車線変更アプリを実行したことによって、先行車追従アプリ用のフュージョン仕様４０６（フュージョン仕様Ａ（４０６Ａ））から車線変更アプリ用のフュージョン仕様４０６（フュージョン仕様Ｂ（４０６Ｂ）又はフュージョン仕様Ｃ（４０６Ｃ））に切り替える場合について説明した。すなわち、あるアプリの実行中に他のアプリを実行したことによって、フュージョン仕様４０６を切り替える場合について説明した。本実施例では、外界情報の変更によって、フュージョン仕様４０６を切り替える場合について説明する。

図１３は、実施例２の車両走行制御システムのフローチャートである。なお、図１３では、実施例１の図８に示す処理と同じ処理は、同じ符号を付与し、説明を省略する。

まず、ＥＣＵ２００が運転の開始を受け付けると（１４０１）、外部環境を取得する（１４０２）。ＥＣＵ２００は、例えばエンジンが始動した場合、運転の開始を受け付ける。次に、セレクタ４０５は、ステップ８０７の処理で、車両走行制御システム用の複数のフュージョン仕様４０６から、外部環境に対応する一つのフュージョン仕様４０６を選択する。

ステップ８０８の処理では、ステップ８０７の処理で選択されたフュージョン仕様４０６は、評価部４０４の図示しない保持部に一時的に保持される。

また、ステップ８０９の処理では、センサ弱点提示部４０３は、ステップ８０７の処理で選択されたフュージョン仕様４０６におけるセンサの弱点をドライバに提示する。次に、ステップ８１０の処理では、センサ弱点提示部４０３は、車線変更の際に補完動作が必要な箇所に対する補完動作をドライバに促す刺激をドライバに与える。

次に、ステップ８１１の処理では、評価部４０４は、ステップ８１０の処理で与えた刺激に対してドライバが確認動作を実施したか否かを判定する。

ステップ８１１の処理で、刺激に対してドライバが補完動作をしていないと判定された場合（８１１：Ｎｏ）、評価部４０４は、ステップ８１２の処理で、刺激に対する補完動作の失敗回数を示す変数Ｃｏｎｔに１を加算し、ステップ８１３の処理で、変数Ｃｏｎｔが１０より大きいか否かを判定する。

ステップ８１３の処理で変数Ｃｏｎｔが１０以下であると判定された場合（８１３：Ｎｏ）、ステップ８１０の処理に戻り、センサ弱点提示部４０３はドライバに刺激を与える。

一方、ステップ８１３の処理で変数Ｃｏｎｔが１０より大きいと判定された場合（８１３：Ｙｅｓ）、ドライバによる補完動作が不完全であるので、アプリケーション部４０２は、自動運転のみで安全が確保できるモードに移行し（１４０３）、処理を終了する。自動運転のみで安全が確保できるモードとは、センサの検出結果のみに基づいて自動で走行するモードであってもよいし、最寄りの路側帯等の退避エリアで停止するモードであってもよい。

ステップ８１１の処理で、刺激に対してドライバが補完動作をしたと判定された場合（８１１：Ｙｅｓ）、ステップ８１４の処理で、評価部４０４は、ステップ８０７の処理で選択したフュージョン仕様４０６をフュージョン部４０１に設定する。また、ステップ８１５の処理で、センサ弱点提示部４０３は、ステップ８０７の処理で選択したフュージョン仕様４０６におけるセンサの弱点をドライバに提示する。

次に、ＥＣＵ２００は、外部環境を新たに取得し、外部環境が変化したか否かを判定する（１４０４）。ステップ１４０４の処理で、外部環境が変化したと判定された場合（１４０４：Ｙｅｓ）、ステップ８０７の処理に戻り、セレクタ４０５は、変化後の外部環境に対応するフュージョン仕様４０６を選択する。

一方、ステップ１４０４の処理で、外部環境が変化していないと判定された場合（１４０４：Ｎｏ）、ＥＣＵ２００は、故障又は不具合等がない通常走行であるか否かを判定する（１４０５）。

ステップ１４０５の処理で通常走行でないと判定された場合（１４０５：Ｎｏ）、車両２０の自動運転をＯＦＦにし（８０４）、処理を終了する。

なお、ステップ１４０５の処理で通常走行であると判定された場合、ＥＣＵ２００は、他のアプリケーション（例えば車線変更アプリ）の起動の要求を受け付けたか否かを判定してもよい。他のアプリケーションの起動の要求を受け付けた場合、ＥＣＵ２００は、図８に示すステップ８０６の処理以降の処理を実行する。

本実施例によれば、外部環境の変化の検出を契機として、変化後の外部環境に対応する一つのフュージョン仕様を選択し、選択したフュージョン仕様のフュージョン仕様の弱点領域をドライバに提示し、選択したフュージョン仕様に基づいて、複数のセンサの検出結果をフュージョンして、車両の外部の状況を認識して、車両の走行を制御する。これによって、外部環境が変化しても、変化後の外部環境に対応するフュージョン仕様の弱点領域をドライバに提示できる。

以下、実施例３について、図１４〜図１６について説明する。

実施例２では、外界情報の変更によって、フュージョン仕様４０６を切り替える場合について説明した。本実施例では、ドライバの意向によってフュージョン仕様を切り替える場合について説明する。

本実施例では、車両走行制御システムとしての先進運転者支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）用のセンサの対応カバー率に応じた複数のフュージョン仕様１５０２がＥＣＵ２００に設定されており、ドライバの意向によって、フュージョン仕様１５０２を切り替える場合について説明する。なお、先進運転支援システムとは、ドライバの運転を支援するシステムであり、例えば、他の車両等に衝突する前にブレーキを作動させたり、車線からはみ出さないようにステアリングを制御することによって、車両２０の走行を支援するシステムである。

図１４Ａ及び図１４Ｂは、実施例３のフュージョン仕様毎のセンサ認識範囲の車両のカバー率を示すグラフである。

実施例１及び実施例２では、先行車追従アプリ及び車線変更アプリ等のような自動運転制御を前提とするので、センサの弱点範囲をドライバが補完する。本実施例では、先進運転者支援システムのように、ドライバの運転を前提とするので、ドライバの認識が前提となり、センサの検出結果がドライバの認識を補完する。図１４では、ドライバの認識範囲の車両２０のカバー率を実線矢印で示し、センサの認識範囲の車両２０のカバー率は実線矩形で示す。

本実施例は、ドライバが設定したフュージョン仕様に対応したセンサのカバー率に対し、安全運転を確保できるカバー率（例えば９５％）以上となるように、センサにその分を補完させる。図１４Ａにおいて、仕様Ａにおける車両２０のドライバが認識する必要がある認識範囲のカバー率は実線矢印で示す。また、仕様Ｂにおける車両２０のドライバが認識する必要がある認識範囲のカバー率は、実線矢印に点線矢印を加えた範囲になる。

図１５は、実施例３の先進運転車支援システムの機能ブロック図である。なお、図１５では、実施例１の図４に示す処理と同じ処理は、同じ符号を付与し、説明を省略する。図１６は、実施例３の先進運転者支援システムのフローチャートである。なお、図１６では、実施例１の図８に示す処理と同じ処理は、同じ符号を付与し、説明を省略する。

まず、ＥＣＵ２００が運転の開始を受け付けると（１４０１）、外部環境を取得する（１４０２）。次に、外部環境が初めて取得される、あるいは外部環境が変化したと判断すると（１４０４）、セレクタ４０５は、ステップ８０７の処理で、先進運転者支援システム用の複数のフュージョン仕様１６０２から、一つのフュージョン仕様１６０２を選択する。なお、セレクタ４０５への選択信号の入力はドライバが実施するものとする。

また、センサ範囲提示部１６０１は、ステップ８０７の処理で選択されたフュージョン仕様１６０２におけるセンサで対応できる範囲をドライバに提示する（１７０１）。提示方法は、実施例１の図９Ａ、図９Ｂ、図９Ｃで説明した内容と同等でよい。これにより、ドライバはセンサに担当させる範囲を認識し、それを踏まえた運転を実施する。

なお、ＥＣＵ２００は、一定間隔で外部環境を取得し（１４０２）、外部環境が変化したか否かを判定する（１４０４）。ステップ１４０４の処理で、外部環境が変化したと判定された場合（１４０４：Ｙｅｓ）、選択済みのフュージョン仕様でのカバー範囲を更新し、センサ範囲提示部の表示も更新する。図１４Ｂを使用して、天気が晴れから雨に変化した場合を例にして説明すると、フュージョン仕様Ａにおけるセンサのカバー範囲が天気が晴れから雨に変化したことによりハッチングされた領域だけ減少する場合を考える。ここでドライバが実線矢印の範囲の注意で継続運転していると、ハッチングされた非カバー範囲１５０１分の環境情報が取得できず、危険な状態になる。そこで、天気の変化を検出したら、センサ範囲提示部１６０１の表示も精度が低下したセンサに対応するカバー範囲を消滅させる。さらに、非カバー範囲としてドライバに対して警告を出力する。なお、ここでの警告は、センサ範囲提示部１６０１の表示を明滅するのでもよいし、音声による警告でもよい。

本実施例によれば、ドライバが選択したフュージョン仕様に対し、外部環境の変化の検出を契機として、フュージョン仕様の範囲領域をドライバに提示すると共に、範囲領域が減少した場合は警告を出力する。これによって、ドライバは警告された範囲への注意をすることができ、先進運転車支援システムを前提としたドライバとセンサによる安全運転を実現することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加、削除、及び置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。

また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

２０ 車両
２００ ＥＣＵ
２０１ ＣＰＵ
２０２ メモリ
２０３ 通信部
２０４ 記憶部
２０５ 地図
２０６ データバス
２１０ ＭＰＵ
２１１ ロケータ
２１２ 高精度地図
２２１ ミリ波レーダー
２２２ ステレオカメラ
２２３ サラウンドビューカメラ
２２４ 無線通信部
２３１ クラウド
２３２ データセンタ
２３３ 車両
２３４ 路側機
２４１ 無線ネットワーク
４０１ フュージョン部
４０２ アプリケーション部
４０３ センサ弱点提示部
４０４ 評価部
４０５ セレクタ
４０６ フュージョン仕様
４１１ 制御部
４１２ ドライバ
４１３ 外部環境

Claims (12)

1. 車両の自動走行を実現する車両走行制御システムであって、
   前記車両は、前記車両の外部の状況を検出するセンサを複数有し、
   前記車両走行制御システムは、
   プロセッサ及びメモリを有し、
   前記メモリは、前記複数のセンサの検出結果をフュージョンする仕様であって、前記車両の外部環境に対応する複数のフュージョン仕様を記憶し、
   前記プロセッサは、
   前記メモリに記憶された複数のフュージョン仕様から前記車両の外部環境に対応する一つのフュージョン仕様を選択し、
   前記選択したフュージョン仕様において前記外部環境が原因で前記センサの認識精度が低下する領域を前記選択したフュージョン仕様の弱点領域としてドライバに提示し、
   前記選択したフュージョン仕様に基づいて、前記複数のセンサの検出結果をフュージョンして、前記車両の外部の状況を認識して、前記車両の自動走行を制御することを特徴とする車両走行制御システム。
2. 請求項１に記載の車両走行制御システムであって、
   前記プロセッサは、前記選択したフュージョン仕様の弱点領域の視認を前記ドライバに促す刺激を前記ドライバに与えることを特徴とする車両走行制御システム。
3. 請求項２に記載の車両走行制御システムであって、
   前記プロセッサは、
   前記ドライバが前記刺激に対して適切に応答したか否かを判定し、
   前記判定の結果に基づいて、前記選択したフュージョン仕様を前記複数のセンサの検出結果のフュージョンに適用するか否かを判定することを特徴とする車両走行制御システム。
4. 請求項３に記載の車両走行制御システムであって、
   前記プロセッサは、前記ドライバの応答を、車内の状況を検出するセンサ、及び前記ドライバからの入力の少なくとも一方に基づいて検出することを特徴とする車両走行制御システム。
5. 請求項２に記載の車両走行制御システムであって、
   前記刺激は、前記選択したフュージョン仕様の弱点領域の視認を前記ドライバに促す旨の画像、音声、及び接触動作の少なくとも一つであることを特徴とする車両走行制御システム。
6. 請求項１に記載の車両走行制御システムであって、
   前記プロセッサは、前記車両の走行の制御のための複数の種類のアプリケーションを実行可能であって、
   前記メモリは、前記複数の種類のアプリケーションに対応し、かつ少なくとも一つの外部環境に対応する複数のフュージョン仕様を記憶し、
   前記プロセッサは、
   実行するアプリケーションに対応し、前記外部環境に対応するフュージョン仕様を選択し、
   前記選択したフュージョン仕様の弱点領域を前記ドライバに提示し、
   前記選択したフュージョン仕様に基づいて、前記複数のセンサの検出結果をフュージョンして、前記車両の外部の状況を認識して、前記車両の自動走行を実現し、
   前記実行するアプリケーションが変更されたことを契機として、前記変更後のアプリケーションに対応し、かつ前記外部環境に対応するフュージョン仕様を選択し、
   前記選択したフュージョン仕様の弱点領域を前記ドライバに提示し、
   前記選択したフュージョン仕様に基づいて、前記複数のセンサの検出結果をフュージョンして、前記車両の外部の状況を認識して、前記車両の自動走行を実現することを特徴とする車両走行制御システム。
7. 請求項６に記載の車両走行制御システムであって、
   前記変更後のアプリケーションは、前記車両が車線を変更するための車線変更アプリケーションであり、
   前記プロセッサは、ドライバが前記提示されたフュージョン仕様の弱点領域を確認し、車線が変更可能である旨の入力を受け付けた場合、前記車線の変更制御を実施することを特徴とする車両走行制御システム。
8. 請求項１に記載の車両走行制御システムであって、
   前記外部環境の変化の検出を契機として、前記変化後の外部環境に対応する一つのフュージョン仕様を選択し、
   前記選択したフュージョン仕様のフュージョン仕様の弱点領域を前記ドライバに提示し、
   前記選択したフュージョン仕様に基づいて、前記複数のセンサの検出結果をフュージョンして、前記車両の外部の状況を認識して、前記車両の自動走行を実現することを特徴とする車両走行制御システム。
9. 請求項１に記載の車両走行制御システムであって、
   前記プロセッサは、前記外部環境を検出するためのセンサの検出結果、及び前記車両が外部の装置から取得した外部環境を示すデータの少なくとも一つに基づいて、前記外部環境を特定することを特徴とする車両走行制御システム。
10. 請求項１に記載の車両走行制御システムであって、
    前記プロセッサは、前記選択したフュージョン仕様の弱点領域を、前記車両が有するメータパネル、前記車両が有するカーナビゲーションシステムのディスプレイ、及び前記車両のウィンドウに内蔵された透過型ディスプレイの少なくとも一つに提示することを特徴とする車両走行制御システム。
11. 請求項１から請求項１０のいずれか一つに記載の車両走行制御システムを有することを特徴とする車両。
12. 車両の自動走行を実現する車両走行制御システムにおける前記車両の走行を制御する車両走行制御方法であって、
    前記車両は、前記車両の外部の状況を検出するセンサを複数有し、
    前記車両走行制御システムは、プロセッサ及びメモリを有し、
    前記メモリは、前記複数のセンサの検出結果をフュージョンする仕様であって、前記車両の外部環境に対応する複数のフュージョン仕様を記憶し、
    前記車両走行制御方法は、
    前記プロセッサが、前記メモリに記憶された複数のフュージョン仕様から前記車両の外部環境に対応する一つのフュージョン仕様を選択し、
    前記プロセッサが、前記選択したフュージョン仕様において前記外部環境が原因で前記センサの認識精度が低下する領域を前記選択したフュージョン仕様の弱点領域としてドライバに提示し、
    前記プロセッサが、前記選択したフュージョン仕様に基づいて、前記複数のセンサの検出結果をフュージョンして、前記車両の外部の状況を認識して、前記車両の自動走行を実現することを特徴とする車両走行制御方法。

Images