JP2019109591A - 自動運転支援装置 - Google Patents

Abstract

【課題】自動運転中においても、運転者の注意力の低下抑制および自動運転システムの危険予測強化ができるようにした自動運転支援装置を提供する。【解決手段】自動運転支援装置１００は、制御部１、カメラシステム２、表示装置３、音声入力部４、状態検出装置５などを備える。制御部１は、統合危険予測部１０を備え、自動危険予測処理部１１による通常の危険予測処理に加え、ユーザが指定入力する監視エリアや監視オブジェクトについての危険予測処理を追加で実施する。制御部１は、ユーザにより表示装置３などを用いて入力されると、選択ポイント判定部１３により監視対象が判定され、追随処理部１４により地図情報に基づいて追随をする。監視対象に近づくと、危険がある場合にこれを回避する。これにより、自動運転状態で、ユーザにより指定された監視対象も含めた危険回避処理を実施できる。【選択図】図１

Description

本発明は、自動運転支援装置に関する。

自動運転車両は、周辺監視を実施しながら危険を検出して自動回避する機能を備え、基本的には運転者が関与せずに、自動運転制御により走行する。この場合、運転者は、自動運転に頼ることで、運転へ注意が低下したり、運手以外の作業や居眠りしたりするなど、運転状態の把握の意識が鈍ることがあり、これによって緊急事態の検知が遅れて回避することが難しくなることが予想される。

これに対して、運転者の注意力が低下する状況に対しては、運転者の顔画像データから居眠りを判定し、運転者に警告することで、運転者の覚醒を補助する技術がある。また、あらかじめ居眠りしそうな場所を決めておき、その場所に近づくと、空調装置を活用して居眠りを回避するようにした技術がある。しかしながら、覚醒レベル次第では、運手への注意力は低下しており、緊急時への対応は遅れることが予想される。

特許第４７０２１００号 特許第４９３５６９４号

本発明は、上記事情を考慮してなされたもので、その目的は、自動運転中においても、運転者の運転に対する注意力の低下を抑制することができ、さらに自動運転システムの危険予測を強化することができるようにした自動運転支援装置を提供することにある。

請求項１に記載の自動運転支援装置は、自車両の自動運転時に予め設定された危険回避条件に基づく危険予測をして危険回避処置を実施する通常回避処理部を備えた自動運転支援装置であって、使用者による前記自車両の運転に関する情報の入力を受け付ける情報入力部と、前記情報入力部により入力されたエリアまたはオブジェクトの情報を監視対象として判定する判定部と、前記監視対象を追随する追随部と、前記監視対象に対する追加危険回避処置を設定し、前記追随部により追随された前記監視対象が前記自車両に近づくと、前記通常回避処理部による危険回避処置に加えて、前記追加危険回避処置を実行する追加回避処理部とを備えている。

上記構成を採用することにより、自車両に乗車時に、通常回避処理部により自動運転時に予め設定された危険回避条件に基づく危険予測をして危険回避処置を実施することができる。さらに、乗車中に使用者が情報入力部を用いて自車両の運転に関する情報の入力をすることができる。これにより、判定部は、入力されたエリアまたはオブジェクトの情報を監視対象として判定し、その監視対象を追随部により追随する。追加回避処理部は、監視対象に対する追加危険回避処置を設定し、追随部により追随された監視対象が自車両に近づくと、通常回避処理部による危険回避処置に加えて、追加危険回避処置を実行する。

これにより、自車両に乗車している運転者や同乗者などの使用者が自動運転に自車両の運転を任せきりにするのではなく、自車両の周囲への注意をしながら自動運転に対する助言的な情報提供によってさらに自動運転の安全性の向上を図ることもできる。

実施形態を示す電気的なブロック構成図 危険予測処理の流れ図 追加の危険予測処理の流れ図 注意項目の制御設定処理の流れ図 指定オブジェクト群の詳細監視処理の流れ図 探索・追従・解析の処理の流れ図 第１ケースの状況説明図（その１） 第１ケースの状況説明図（その２） 第１ケースの注意項目の制御設定処理の流れ図 第１ケースの指定オブジェクト群の詳細監視処理の流れ図 第１ケースの表示画面の例（その１） 第１ケースの表示画面の例（その２） 第１ケースの表示画面の例（その３） 第１ケースの表示画面の例（その４） 第１ケースの表示画面の例（その５） 第２ケースの注意項目の制御設定処理の流れ図 第２ケースの指定オブジェクト群の詳細監視処理の流れ図 第２ケースの表示画面の例（その１） 第２ケースの表示画面の例（その２） 第２ケースの表示画面の例（その３） 第２ケースの表示画面の例（その４） 第２ケースの表示画面の例（その５） 第３ケースの注意項目の制御設定処理の流れ図 第３ケースの指定オブジェクト群の詳細監視処理の流れ図 第３ケースの表示画面の例（その１） 第３ケースの表示画面の例（その２） 第３ケースの表示画面の例（その３） 第３ケースの表示画面の例（その４） 第３ケースの表示画面の例（その５） 第４ケースの注意項目の制御設定処理の流れ図 第４ケースの指定オブジェクト群の詳細監視処理の流れ図 第４ケースの表示画面の例（その１） 第４ケースの表示画面の例（その２） 第４ケースの表示画面の例（その３） 第４ケースの表示画面の例（その４） 第４ケースの表示画面の例（その５）

以下、本発明の一実施形態について、図１〜図３６を参照して説明する。
図１は自動運転支援装置１００の全体構成を示しており、車両の自動運転制御を行う自動運転システムによる自動運転時に危険回避をするための回避処置を実行する装置である。自動運転支援装置１００は、回避処置の実施制御を行う制御部１、車両の前方を撮影するカメラシステム２、画像を表示する表示装置３、音声入力をするための音声入力部４およびドライバの運転状態を検出する状態検出装置５を備えている。ここで、表示装置３、音声入力部４および状態検出装置５は、運転者や同乗者などのユーザによる情報入力部としての機能を果たすヒューマン・マシン・インターフェイス（ＨＭＩ：Human-Machine Interface）を構成している。

カメラシステム２は、車両の前方および周囲を撮影して自動運転に必要な車両周囲の画像情報を取り込むためのもので、複数台のカメラが車両に装着され、それらにより撮影された画像情報が制御部１に取り込まれる。表示装置３は、運転席から確認できる位置に配置され、画像を表示する表示部３１および表示部３１の表面に配置されたタッチパネル３２を備える。タッチパネル３２は、ドライバなどがタッチすると、表示部３１のタッチされた位置の情報を入力情報として制御部１に入力する。表示部３１は、ヘッドアップディスプレイを用いることもできる。この場合には、タッチパネル３２の代わりに、音声入力部４による音声入力や、状態検出装置５によるジェスチャや指差しの入力によって位置を入力することもできる。

音声入力部４は、ドライバの音声を入力するマイク４１および音声認識部４２を備えている。音声認識部４２は、マイク４１により入力されるドライバの音声を取り込み、音声認識ソフトによって解析処理を行い、ドライバが発した言葉や音声を制御部１に入力する。音声認識部４２は、制御部１内に設けても良い。

状態検出装置５は、車内カメラ５１、ドライバ視線位置検出部５２およびドライバ動作検出部５３を有する。車内カメラ５１は、車室内にドライバの様子を撮影するもので、撮影された画像情報は、ドライバ視線位置検出部５２およびドライバ動作検出部５３のそれぞれに取り込まれる。ドライバ視線位置検出部５２およびドライバ動作検出部５３は制御部１内に設けても良い。

ドライバ視線位置検出部５２は、車内カメラ５１により撮影されたドライバの視線を解析ソフトにより解析処理をして、ドライバがどの方向を見ているかを検出して制御部１に入力する。この場合、ドライバが見ている視線の先にある画像などの位置をドライバの入力情報として取り込むことができる。ドライバ動作検出部５３は、車内カメラ５１により撮影されたドライバの動作を解析ソフトにより解析処理をして、ドライバの姿勢や手の動作などを検出して制御部１に入力する。

制御部１は、追加回避処理部としての統合危険予測部１０を中心として、以下の各処理部を備える。通常回避処理部としての自動危険予測処理部１１は、カメラシステム２から映像を取り込み、車両側で行う通常の危険予測処理を実行する。この自動危険予測処理部１１は、映像取り込み部１１ａ、映像格納部１１ｂ、画像処理部１１ｃ、自動危険予測部１１ｄを備える。映像取り込み部１１ａは、カメラシステム２で撮影された映像情報を取り込み、映像格納部１１ｂに格納する。

画像処理部１１ｃは、映像格納部１１ｂに格納された映像情報から画像処理を実施して運転上で危険予測に必要な情報を抽出する。自動危険予測部１１ｄは、画像処理部１１ｃで抽出された情報に基づいて、予め設定された危険が予測される対象物や状態から危険予測処理を実行して統合危険予測部１０に出力する。

映像格納部１１ｂは、映像合成部１２および判定部としての選択ポイント判定部１３に画像情報を出力する。映像合成部１２は、映像格納部１１ｂからの画像情報と選択ポイント判定部１３からの選択ポイントの情報を合成して表示装置３の表示部３１に出力して表示させる。選択ポイント判定部１３は、ドライバがタッチパネル３２を用いて表示部３２に表示された画面中の位置を選択して入力した部分を選択ポイントとして判定する。

追随部としての選択ポイント追随処理部１４は、選択ポイント判定部１３により判定された選択ポイントについて、地図情報提示部としての地図情報記憶部１５の地図情報データに基づいて車両の移動に伴う選択ポイントの移動を追随して統合危険予測部１０に出力する。記憶部としてのユーザ入力情報記憶部１６は、統合危険予測部１０からユーザ入力情報が記録され、また記憶しているユーザ入力情報を読み出し要求に応じて統合危険予測部１０に出力する。ユーザ入力情報は、表示装置３、音声入力部４および状態検出装置５などにより入力されたユーザであるドライバや同乗者により入力される情報である。

通信部としての無線通信部１７は、アンテナ１７ａを介して外部と無線通信により情報の授受を行うためのもので、ユーザ入力情報記憶部１６のユーザ入力情報を外部の情報センタ２００に送信したり、情報センタ２００から送信される情報を統合危険予測部１０に出力する。なお、情報センタ２００は、自車両Ｐ以外に、他車両３００や４００などの自動運転システムを備える車両からもユーザ入力情報を受け付けており、これらのユーザ入力情報を互いに利用できるように構築されている。

通知部１８は、統合危険予測部１０からの指示により、ドライバに対して表示あるいは音声などの情報提示手段に通知情報や注意情報あるいは警告情報などを出力する。車両制御部１９は、統合危険予測部１０により危険回避のために必要な制御情報が与えられると、車両の動作を制御するものである。

次に、上記構成の作用について、図２〜図１３を参照して説明する。なお、この実施形態では、一般的な自動運転による危険予測処理が自動危険予測部１１ｄにより実施されるものとしている。自動危険予測処理部１１は、カメラシステム２から映像取り込み部１１ａにより映像を取り込んで映像格納部１１ｂに格納し、画像処理部１１ｃにより画像処理を実施する。

自動危険予測部１１は、画像処理部１１ｃにより処理された映像情報に基づいて、予め設定されている危険予測処理に対応したエリアやオブジェクトに対して危険予測を行って安全に走行できるように統合危険予測部１０に情報を提供している。統合危険予測部１０は、自動危険予測部１１からの情報に基づく危険予測処理を通常の危険予測処理として自動運転において適用している。

そして、この実施形態では、上記の通常の危険予測処理に加えて、自動危険予測部１１では対象としていなかったエリアやオブジェクトについて、ドライバや同乗者などのユーザが指定した場合に、制御部１により、これに対応して監視対象として設定して危険予測処理を実行することで、危険を回避しながら自動走行制御を実施するようにしたものである。

図２は制御部１による全体の危険予測処理の概略的な流れを示している。制御部１は、ステップＡ１で、ドライバあるいは同乗者などのユーザによる設定の入力を受け付ける。ユーザによる設定としては、自動危険予測処理部１１では対象とされていない監視エリアや監視オブジェクトなどを監視対象として指定することができる。監視エリアは、車両の進行方向などに注意を必要と感じる領域がある場合に設定する。また監視オブジェクトは、車両の走行する近傍に人物や車両などの対象物が存在する場合に設定する。

上記したユーザによる設定は、車両が自動運転制御されている状態で、ユーザが自車両Ｐに対して、走行に注意してほしい地点であって、近づいたときに注意して走行してほしいという地点である。ユーザによる設定は、カメラシステム２のカメラで撮影して表示装置３の表示部３１に表示した画像を使い、該当する地点をタップやダブルタッチあるいは「なぞり操作」などで選択することでタッチパネル３２により認識することができる。

なお、ユーザによる設定は、上記の方法以外に、例えば、表示部３１に表示された電子地図の地点をタッチして入力したり、ユーザの発声により例えば「次の信号交差点の右側」などとマイク４１に入力することもできる。さらには、対話が可能な構成としてユーザが対話により入力したり、指差しなどのジェスチャをして状態認識装置５により認識して入力するなどの方法もある。また、ドライバがステアリング等に設けられたスイッチを操作した状態で対象となる物体を視線で示すといった方法も可能である。

制御部１は、次に、ステップＡ２で、ユーザによる設定で指定された監視エリアあるいは監視オブジェクトの入力情報があるか否かを判断する。ここで、ユーザの入力情報がない場合には、制御部１は、ステップＡ２でＮＯと判断してステップＡ３の通常の危険予測処理に進む。ここでは、通常の危険予測処理に対応して設定されたプログラムに従って自動危険予測処理部１１による危険回避の動作を実行しながら自動運転を継続する。通常の危険予測処理の動作については、一般的な自動運転において実施されているものと同様であるので、ここでは説明を省略する。

一方、ユーザの入力情報がある場合には、制御部１は、ステップＡ２でＹＥＳと判断してステップＡ４の追加の危険予測処理に進む。追加の危険予測処理では、制御部１は、複数の注意項目を表示部３１に表示し、いずれかを選択するようにユーザへの選択依頼が行われる。具体的には、図３に示す追加の危険予測処理を実行する。これら複数の注意項目は、これらに対応した追加危険回避処置が設けられている。

次に、上記した制御部１によるステップＡ１の処理において、ユーザが選択して入力することができるエリアやオブジェクトの例を具体的に示す。ユーザは、表示部３１に表示された表示画面上の中から、危険予測を行うエリアを指で「なぞり操作」することで設定したり、移動体や人物などのオブジェクトを指でタップ操作をすることで設定することができる。

ここで、上記した表示部３１で指定できる監視エリアや監視オブジェクトとしては、例えば、（１）道路エリアや（２）不安エリアあるいはオブジェクトがある。これらは、以下のように識別ＩＤを付与して識別している。

（１）道路エリア
道路エリアとは、ユーザの位置には関係なく電子地図上に設定されたエリアで、複数地点（ポイント）と、それらをつなぐ線で構成される境界により定義される道路上のエリアで、３次元空間座標で定義されている。また、エリア内にある固定物には、固定された名前として例えば次のような固定ＩＤが付けられている。

・道路の位置として、右側はＩＤ=１０００、左側はＩＤ＝１０５０とする。
・交差点の位置として、交差点全体はＩＤ=１０００、交差点右側はＩＤ＝１１１０、交差点前はＩＤ＝１１２０、交差点左側はＩＤ＝１１３０、交差点後ろはＩＤ＝１１４０とする。
・横断歩道はＩＤ＝１３００、歩道はＩＤ＝１３１０とする。

（２）不安エリア
不安エリアとは、走行状況、走行環境（死角）、周辺車両や歩行者の存在などによって、ユーザが不安を感じるエリア、あるいはユーザが不安を感じて指定するエリアである。例えば、これからユーザの車両が通過するエリアであり、視覚で確認できない移動体が急に飛び出してくるのではないかとユーザが不安を感じる道路上のエリアなどである。

具体的には、例えば、前方に駐停車された車両があって、その車両の陰のエリアや、左右の見通しが悪い交差点のエリアや、夜間の道路上で照明しても暗い場所などがある。さらには、自車両の周りに多くの移動体がある場合に、特に注意したいエリアなども含む。
・不安エリアは、監視エリアの固有ＩＤとして、例えばＩＤ＝９０００とする。
・また、不安エリアで、監視物体の存在が認識できた場合には、次に定義する移動物体の識別ＩＤを設定する。

そして、それぞれの識別ＩＤに紐づいた表示用の注意項目が選択されて、優先順に表示される。この場合、表示優先順位は、ユーザの特性例えばユーザが手動運転中に気を付けている場所や、選択されたエリアの道路状況、例えば渋滞あるいは工事中などの状況に応じて決められる。

次に、上記した表示部３１のタップ操作で指定できるオブジェクトとしては、例えば、移動物体がある。移動物体としては、例えば、車両はＩＤ＝１００、歩行者はＩＤ＝２００を設定し、その他の移動可能の物体については適宜のＩＤを順次設定する。

また、表示部３１の画面に表示されない監視オブジェクトについては、例えばＩＤ＝９５００を設定する。これは、ユーザにとっては、窓外の車両等を確認することはできるが、カメラ画像が得られない場合などで、表示部３１の画像では指定ができない場合である。そのため、画面に映らない監視オブジェクトを選択するための操作エリアあるいはスイッチを事前に設定しておくことができる。

たとえば、画面の右上端をタッチすると、車両の右側の併走オブジェクトを設定し、画面の左上端をタッチすると、車両の左側の併走オブジェクトを設定する。そして、物体が認識できたら、上で定義する移動物体ＩＤを設定する。それぞれのＩＤを持つ移動物体に紐づいた注意項目が、移動物体の位置（存在エリア）に応じて自動選択され、表示部３１に表示される。

そして、注意項目の表示のために、移動物体をタップして選択した場合、移動物体の存在あるいは移動する位置や存在エリアに応じて、注意項目すなわち表示メニュー項目が変化する。なお、上記した「なぞり操作」やタップ操作のセット以外でもオブジェクトを設定できるようにすることができる。また、設定のために、範囲指定入力ができる器具や、入力完了用スイッチ等を設けることもできる。

次に、制御部１は、上記した追加の危険予測処理として、図３に示す流れで処理を実行する。図３において、制御部１は、ステップＢ１で、ユーザによる入力情報である監視エリア／オブジェクトに対応した複数の注意項目を読み出して表示部３１に表示させ、ユーザへの選択依頼をする。

この場合、制御部１の統合危険予測部１０には、さまざまなユーザ入力情報の監視エリアや監視オブジェクトに対応して予め表示させるべき注意項目が設定されている。また、注意項目の表示は、表示部３１に表示している車両前方の画像中、走行に影響が少ない領域に表示するか、あるいは表示項目が読めて且つ車両前方の画像が隠れないように半透明の状態にするなどして表示する。

不安エリアとして指定されたエリアに対する注意項目の表示例としては、例えば次のようなものが予め設定されている。
（１）駐停車された車両の影を不安エリアとした場合、例えば移動体の影あるいは影を作る物体が動いている場合には、注意項目は、「飛び出し注意」、「速度低減」、「左側によって走行」、「人影注意」などがある。

（２）左右の見通しが悪い交差点を不安エリアとした場合、例えば固定物の影で物体は動かない場合には、注意項目は、「速度低減」、「左右注意」、「歩行者注意」、「一時停止」などがある。

（３）夜間の道路上の前照灯で照明しても暗い場所を不安エリアとした場合、例えば走行環境として光量が不足している場合には、注意項目は、「歩行者注意」、「中央走行」、「路側注意」、「ハイビーム（暗いところを見やすくする）」などがある。

（４）歩行者が多い歩道環境を不安エリアとして指定した場合、例えば走行環境として歩行者検知処理の負荷が大となる場合には、注意項目は、「歩行者注意」、「中央走行」、「徐行」、「路側注意」、「はみだし注意」などがある。

（５）多くの自転車が走行する車道を不安エリアとして指定した場合、例えば走行環境として同じく自転車検知処理の負荷が大となる場合には、注意項目は、「中央走行」、「後方注意」、「接触注意」、「徐行」などがある。

上記の場合、初期設定では、車両メーカが各地点の道路エリアにて、交通事故を回避するために、一般ユーザにどのような注意をしてほしいかを知らせるための「注意項目」が設定されているが、ユーザが指定する不安エリアは一定ではなく、ユーザの運転技能や不安感情に応じて異なることが一般的である。また、ユーザは、表示された初期設定の「注意項目」以外の「注意項目」が必要と考える場合もあり、このような場合にその「注意項目」を車両側に伝えて、ユーザが指定する「注意項目」を追加することも可能である。

また、このようにユーザが指定した不安エリアにユーザが追加要求した「注意項目」は、制御部１は、学習機能を用いることで、ユーザ入力情報記憶部１６に記憶しておき、次回ユーザがその場所を走行し、同様の道路状況（たとえば道路に車両が駐車して死角がある）の場合、不安エリアの指定なしに、不安エリアとして自動設定することもできる。これによって、ユーザの余分な操作を減らすことができる効果もある。

上記した「注意項目」としては、各車両メーカの安全走行制御機能の性能に応じて表示させる。たとえば、自動ブレーキを搭載した車両では、前車との車間距離を確保して、自動ブレーキを作動させても前車と衝突しないように、「車間距離確保」を注意項目として表示させることができる。

次に、制御部１は、ステップＢ２で、予め設定された時間を待機し、続くステップＢ３で、ユーザが注意項目を選択したか否かを判断する。この結果、ユーザが注意項目を選択している場合には、制御部１は、ステップＢ３でＹＥＳと判断して次のステップＢ４に移行し、追加危険回避処置として注意項目の制御設定の処理を実行する。

また、ユーザが注意項目を選択していない場合には、制御部１は、ステップＢ３でＮＯと判断してステップＢ５に移行し、選択操作の確認するための報知動作を行う。ここでは、制御部１は、統合危険予測部１０から通知部１８に選択を促す報知のための情報を出力してユーザに通知する。

この後、制御部１は、ステップＢ６に進み、上述した報知動作に応じてユーザが注意項目を選択した場合には、ステップＢ４に移行し、注意項目の制御設定の処理を実行する。また、ユーザが注意項目を選択していない場合には、制御部１は、図２に示したステップＡ２の通常の危険予測処理に移行する。

次に、注意項目の制御設定の処理について、図４を参照して概略的な処理内容について説明する。なお、この処理は、ユーザが指定した監視エリアあるいは監視オブジェクトの対象によって異なるので、具体的な処理内容については後述する幾つかの事例によって説明する。

図４において、制御部１は、ステップＣ１で、通常の危険予測の内容とユーザ指定の監視エリア／オブジェクトの危険予測の内容を設定する。通常の危険予測は、自動危険予測処理部１１で設定されるもので、予め場所や状況に応じて監視対象が設定されているので、処理の実行時の状況に対応して項目が設定される。

次に、制御部１は、ステップＣ２で、ユーザ指定の監視エリア／オブジェクトに対して表示部３１に表示した複数の注意項目について、ユーザが一つの注意項目を選択したものについてこれをユーザ指定として取り込む。この後、制御部１は、ステップＣ３で、通常の危険予測に対応した通常の車両制御とユーザ指定による監視エリア／オブジェクトの注意項目についての制御項目を実施するように設定する。

制御部１は、この後、設定した制御項目について追随して対応することが可能であるか否かをステップＣ４で判断し、ＮＯとなって対応が可能でない場合には、ステップＣ５で所定時間が経過するまで待機している。所定時間が経過しても対応が可能とならない場合には、制御部１は、ステップＣ５でＹＥＳと判断して前述したステップＢ８の通常の危険予測処理に移行する。

そして、ステップＣ４でＹＥＳになると、制御部１は、ステップＣ６に進み、表示部３１に運転制御の動作開始の表示を行った後、図３におけるステップＢ４の処理を終了し、次のステップＢ７に移行する。ここでは、制御部１は、車両が設定されている監視エリアあるいは監視オブジェクトの詳細な監視が可能な範囲に入ったか否かを判断する。ここで、監視オブジェクトの詳細な監視が可能な範囲とは、監視オブジェクトの危険予測処理が行える範囲である。

次に、制御部１は、ステップＢ７に進み、詳細監視が可能な状態であるか否か、すなわち危険予測処理が行える範囲に入ったか否かを判断する。制御部１は、選択ポイント追随処理部１４により、現在位置情報や監視オブフェクトの移動位置情報から車両との距離を予測し、所定範囲に入ったか否かを判定している。

そして、車両が危険予測処理を行える範囲に入っていない場合は、制御部１は、ステップＢ７でＮＯと判断し、ステップＢ８に進み通常の危険予測処理を実行しながらステップＢ７でＹＥＳの判断になるのを待機する。これは、ユーザが指定した監視エリアあるいは監視オブジェクトの位置が遠方の地点である場合に、車両の危険予測処理がまだ行えない場合があることを想定している。なお、ステップＢ８の通常の危険予測処理は、前述した図２のステップＡ３で実行する通常の危険予測処理と同じ処理である。

この後、制御部１は、車両が危険予測処理を行える範囲に入ったことを確認すると、ステップＢ７でＹＥＳと判断してステップＢ９に移行し、ユーザ指定の監視エリア／オブジェクトの詳細監視処理を開始する。

次に、監視エリア／オブジェクトの詳細監視処理について、図５を参照して概略的な処理内容について説明する。なお、この処理についても、ユーザが指定した監視エリアあるいは監視オブジェクトの対象によって異なるので、具体的な処理内容については後述する幾つかの事例によって説明する。

図５において、制御部１は、ステップＤ１で、監視エリアあるいは監視オブジェクトを追随することができているか否かを判断する。この結果、指定された監視エリアあるいは監視オブジェクトが追随できている場合、すなわち監視できている場合には、制御部１は、ステップＤ１で、ＹＥＳと判断して次のステップＤ２で、「監視エリア／オブジェクトを追随中」と表示部３１に表示させる。この後、制御部１は、ステップＤ３の探索・追随・解析処理に移行する。

また、制御部１は、指定された監視エリアあるいは監視オブジェクトが追随できていない場合、すなわち監視できていない場合には、ステップＤ１で、ＮＯと判断してステップＤ４に移行し、監視エリア／オブジェクトの再設定をユーザに促して再設定されるのを待機する。この場合、待機時間に制限を設け、再設定がうまくいかない場合には、制御部１は、最初に戻って、図２の処理を開始して監視エリア／オブジェクトの設定からやり直すことができる。

上述のようにして、ユーザによる監視エリア／オブジェクトの再設定が成功してその追随ができている場合には、制御部１は、ステップＤ１、Ｄ２を経てステップＤ３に移行して探索・追随・解析の処理を開始する。この処理は、ユーザが指定した監視エリア／オブジェクトについて、センシング精度を高めるために実行するものである。探索・追随・解析の処理については、監視エリア／オブジェクトの詳細監視処理の説明をした後に、図６を参照して説明する。

制御部１は、ステップＤ３を実施すると次にステップＤ５に進み、ユーザが指定した監視エリア／オブジェクトが認識されたか否かを判断する。そして、認識されている場合には、制御部１は、ステップＤ５でＹＥＳと判断してステップＤ６に進み、認識した監視エリア／オブジェクトをハイライト色で表示部３１に表示させる。

一方、ユーザが指定した監視エリア／オブジェクトが認識されていない場合には、制御部１は、ステップＤ５でＮＯと判断してステップＤ７に移行し、ユーザが指定した監視エリア／オブジェクトが追随できていないかどうかを判断する。ここで制御部１は、ユーザが指定した監視エリア／オブジェクトが追随できている場合にはステップＤ７でＮＯと判断してステップＤ３に戻って探索・追随・解析処理を繰り返す。また、ユーザが指定した監視エリア／オブジェクトが追随できていない場合には、制御部１は、ステップＤ７でＹＥＳと判断して前述したステップＤ４を経てステップＤ１に戻る。

この後、制御部１は、ステップＤ６を実施したら、次にステップＤ８に進み、ユーザが指定した監視エリア／オブジェクトが安全な状態であるか否かを判断し、ＹＥＳの場合にはステップＤ９に進んでユーザが指定した監視エリア／オブジェクトについて、表示部３１にハイライト色で表示していたのを、安全状態を示す安全色に切り替えて表示させる。

一方、ユーザが指定した監視エリア／オブジェクトの危険度が大の場合には、制御部１は、ステップＤ８でＮＯと判断し、ステップＤ１０に移行し、ユーザが指定した監視エリア／オブジェクトの危険度が大で自車両Ｐが衝突する可能性が高い場合であるか否かを判断する。

制御部１は、ユーザが指定した監視エリア／オブジェクトの危険度が大きく、衝突する可能性が高い場合には、ステップＤ１０でＹＥＳと判断してステップＤ１１に進み、危険アラームを出す。ここでは、もし、危険度が高いにもかかわらず、自動走行システムの回避動作が始まっていない場合には、制御部１は、緊急処理依頼して危険なエリアや危険なオブジェクトの情報を指定入力するようにユーザに促す。これによって危険なエリア／オブジェクトがユーザにより入力されると、制御部１は、自動走行システムにその位置を指示して、自動走行システムが制御に生かすようにしたり、あるいはユーザが手動運転に切り替えることで危険を回避することができる。

一方、制御部１は、ユーザが指定した監視エリア／オブジェクトの危険度が大きくなく、衝突する可能性が低い場合には、ステップＤ１０でＮＯと判断してステップＤ１２に進み、注意アラームを出すとともに、表示部３１のユーザが指定した監視エリア／オブジェクトの表示状態を注意色に切り替えて表示させることでユーザに促す。

制御部１は、この後、ステップＤ１３に進み、自車両Ｐが危険な監視エリア／オブジェクトを通過したか否かを判断し、ＹＥＳの場合にはこの処理を終了する。また、ステップＤ１３でＮＯの場合は、制御部１は、ステップＤ３に戻り、上記した処理を繰り返し実行する。

そして、上述したステップＢ９のユーザ指定オブジェクトの詳細監視処理が終了すると、制御部１は、追加の危険予測処理を終了して再び図２に示した危険予測処理を実行するようになる。

次に、探索・追随・解析の処理について、図６を参照して概略的な処理内容について説明する。なお、この処理は、自動走行制御システムにて実施されるもので、自動走行制御システムは、ユーザが指定した監視エリア／オブジェクトをカメラシステム２に備えられるカメラとレーダにより追跡するものである。また、図５のステップＤ１でＹＥＳとなる場合には、監視エリア／オブジェクトの追随制御が行われているので、カメラは、監視エリア／オブジェクトを撮影できている状態である。

図６において、制御部１は、ステップＥ１で、カメラシステム２で撮影された画像の撮影精度を上げるように処理する。画像の撮影精度を上げる処理は、カメラのズーム、フォーカス、明るさ、振動補正などを行うことで、後の画像処理が行いやすい条件で撮影条件を設定する。

この後、制御部１は、ステップＥ２で、調整した条件で撮影された画像の画質が十分か否かを判断する。画質が十分である場合には、制御部１は、ステップＥ２でＹＥＳと判断してステップＥ３に進んで画像認識処理を実施する。なお、ステップＥ２でＮＯの場合には、制御部１は、ステップＥ４に移行して画質向上処理の条件を変更する。続いて、制御部１は、ステップＥ５で、解析が可能な画像となったか否かを判断し、ＮＯの場合にはステップＥ１に戻って上記の処理を繰り返し、ＹＥＳになるとステップＥ３に移行する。

制御部１は、ステップＥでは、画像認識処理を行うことで、輪郭抽出、物体検出確率と移動予測を行って、監視エリア／オブジェクトとの衝突確率を算定する。これにより、監視エリア／オブジェクトに対する詳細な危険度算定が行われる。

この後、制御部１は、ステップＥ６で、対象物体である監視エリア／オブジェクトについてレーダによる再チェックが必要か否かを判断する。ここでは、制御部１は、ステップＥ３で算出された危険度が設定値以上の場合に、レーダによる再チェックを実施する。再チェックが必要なく、ステップＥ６でＮＯの場合には、制御部１は処理を終了する。

そして、ステップＥ６でＹＥＳの場合、すなわちレーダ再チェックが必要と判断された場合には、制御部１は、ステップＥ７に移行して、レーダによる再チェックを実施し、続いてステップＥ８で、監視エリア／オブジェクトまでの距離を測定して、詳細な危険度の再計算を実施する。この結果、制御部１は、画像解析と距離計測の結果から、精度の高い危険度の計算をすることができる。この後、制御部１は、処理を終了する。

なお、上記したように、ユーザが監視エリアを指定した場合には、制御部１は、学習機能を実施することで、この監視エリアおよび監視エリアを指定した場所や状況などの情報を、ユーザ入力情報記憶部１６に記憶させている。そして、制御部１は、自動運転の実施時に、通常の危険予測の項目にユーザ入力情報記憶部１６に記憶された監視エリアの情報を取り込んでユーザの要求に適応した自動運転制御を実現することができる。

また、監視エリアだけでなく、ユーザが指示した「注意項目」についても同様にしてユーザ入力情報記憶部１６に記憶しておくことで、自動運転時に提示する「注意項目」として提示することができる。

このようにして、ユーザが新たに指定した監視エリアや「注意項目」の情報を次回以降の自動運転に反映させることで、ユーザに適合した自動運転制御の機能を高めることができる。

なお、ユーザの運転能力や状態によって、必要のない監視エリア情報や「注意項目」情報が発生する場合もある。このような場合には、制御部１は、ユーザからの指定を受けてユーザ入力情報記憶部１６の情報を適宜変更することができる。このような学習機能を用いることで、自動運転の機能をさらにユーザに適合したものにすることができる。

また、自車両Ｐのユーザが指定する監視エリアや「注意項目」の情報だけでなく、他のユーザが指定する監視エリアや「注意項目」の情報を用いることもできる。これは、例えば無線通信部１７を介して外部に設けた情報センタ２００などにこれらの情報を送信するようにすることで構築できる。

これにより、制御部１は、無線通信部１７を介して情報センタ２００から他車両３００、４００のユーザが指定する監視エリアや「注意項目」の情報を取得することができ、自車両Ｐのユーザが指定する監視エリアや「注意項目」の情報に加えてこれらの情報を利用して自動運転制御に反映させることができる。

また、これらの情報センタ２００からの情報を、自車両Ｐのユーザの運転経験や性格などの条件に応じて有効な情報を提供することで、必要となる確率が高い情報だけを提供するようにすることもできる。

＜＜具体的事例の説明＞＞
次に、上記の動作について、具体的な事例を以下の４つのケースについて説明する。
第１ケースは、車両の進行方向の前方に左側の見通しが悪い交差点が接近しているケースで、これをユーザであるドライバが確認して監視エリアとして指定する場合である。第２ケースは、車両の進行方向の遠方に停車中の車両の近傍に人影があるのをドライバが認識して監視オブジェクトとして指定する場合である。第３ケースは、ドライバが車両の進行方向の遠方に蛇行運転をしている危険車両を発見して監視オブジェクトとして指定する場合である。そして、第４ケースは、車両と並走する車両が存在していて、その並走車両のドライバが携帯電話使用などの状態でこれをドライバが危険車両として監視オブジェクトとして指定する場合である。

＜第１ケース＞
第１ケースとしては、例えば図７に示すように、地図上で自車両Ｐが、道幅ＲＤ１の道路Ｒ１上をセンタラインＣＬの左側の車線を白抜き矢印方向に進行している状態で、前方に道幅ＲＤ２の道路Ｒ２と交差する交差点Ｘが存在している。交差点Ｘの付近には左側手前に建物ＢＤが存在していて、自車両Ｐからは交差点Ｘの左側の見通しが悪い状態である。このため、道路Ｒ１と交差する狭い道幅ＲＤ２の道路Ｒ２を左側から交差点Ｘに向かって走行する他車両Ｑが存在している状況では、自車両Ｐが交差点Ｘに近づいたときに他車両Ｑを視覚的に確認しにくくなっている。

このような状況において、例えば図８に示すように、ユーザが、希望する走行経路として、交差点Ｘ付近に近づいた他車両Ｑ１が自車両Ｐに接近するのを避けるため、交差点Ｘに近づいた時に右側に寄ってＰ１、Ｐ２、Ｐ３のようなコースを通行することを考えた場合を想定する。

この第１ケースについて、前述した処理の流れを図９および図１０も参照して具体的に説明するとともに、表示部３１の表示状態の変化についても図１１から図１５を参照して説明する。

第１ケースでは、表示部３１の表示状態は例えば図１１に示すように、画面上で自車両Ｐが前方の交差点Ｘに向けて進んでいる状態で、交差する道路Ｒ２には左側に交差点Ｘに接近する他車両Ｑが存在している。また、交差点Ｘの左手前には建物ＢＤが存在していて、他車両Ｑがさらに交差点Ｘに接近すると見通すことができない状況である。ユーザがこの状況を認識して表示部３１の交差点Ｘの左側付近を監視エリアとして指定するケースである。

ここでは、道路Ｒ１は、道路Ｒ２よりも道幅が広い（ＲＤ１＞ＲＤ２）ので優先道路であるが、道路Ｒ２を交差点Ｘ方向に走行する他車両Ｑが遠方に存在するのが確認できたため、ユーザはこの他車両Ｑが交差点Ｘで飛び出してこないかどうかが心配になる状況である。

なお、このような状況については、通常の自動運転システムで行う自動危険予測処理では、前方の交差点を通行する際には、予め設定された運転制御として、「速度低減」を設定するようになっている。したがって、ユーザが監視エリアとして交差点Ｘを設定しなかった場合には、制御部１は、自動危険予測処理部１１によって交差点Ｘ付近での走行時に速度を低減するように制御する。

そして、図１２に示すように、ユーザＵＳが表示部３１の画面中、交差点Ｘの左側部分を指でタッチすると、これが入力情報となりタッチパネル３２により検出される。制御部１は、タッチパネル３２によるユーザＵＳの入力情報を制御部１の選択ポイント判定部１３により検出して統合危険予測部１０に出力するとともに、図１３に示すように、映像合成部１２を介して表示部３１に出力して画面上にタッチされた監視エリアＡＸを表示させる。

また、制御部１は、選択ポイント判定部１３により検出された監視エリアＡＸを、選択ポイント追随処理部１４にも出力して、車両の移動にともなって変化する位置を地図情報記憶部１５の地図情報を参照しながら追随する処理を実行する。選択ポイント追随処理部１４は、追随情報を統合危険予測部１０に出力する。

制御部１は、前述の図２のステップＡ１で監視エリアが入力されていることから、ステップＡ２でＹＥＳと判断してステップＡ４の追加の危険予測処理を実施する。制御部１は、図３のステップＢ１で、入力情報として設定された監視エリアに対応して、表示部３１に注意項目のメニューを表示させる。

ここでは、例えば、図１３に示すように、表示部３１の左下部分に、交差点の監視エリアに対応して、「飛び出し注意」Ｓ１、「右側によって走行」Ｓ２、「速度低減」Ｓ３、「人影発見」Ｓ４の４つの注意項目を表示させる。これに対して、ユーザＵＳが「右側によって走行」Ｓ２をタッチすると、制御部１は、図３のステップＢ３でＹＥＳとなってこれを認識し、図１４に示すように、「右側によって走行」Ｓ２を残して他の注意項目Ｓ１、Ｓ３、Ｓ４の表示を消す。

制御部１は、これに対応して統合危険予測部１０から車両制御部１９に対して上記の指定を自動運転に反映させるように指示を送る。これにより、図１５に示すように、制御部１は、表示部３１に「右側に寄って走行します」と表示ＭＳを表示すると共に、自車両Ｐの走行経路を図中太実線ＲＴで示すように、交差点ＡＸ付近で右側つまりセンタラインＣＬ側に寄って走行するように示す。

また、制御部１は、図３のステップＢ４で、注意項目の制御設定処理を実施する。この場合、制御部１は、図４に示す流れに相当する具体的な流れである図９に従って処理を実行する。制御部１は、ステップＣ１ａで、通常の危険予測にユーザ選択の入力情報である監視エリアは「前方交差点左側」を設定し、４つの注意項目に対する選択項目の受付をする。

次に、制御部１は、ステップＣ２ａで、ユーザにより選択された注意項目として、Ｓ２の「右側によって走行」の指示を入力して設定する。この後、制御部１は、通常の自動運転制御で実施する交差点接近時の車両制御である「速度低減」と、ユーザ選択の「右側によって走行」の設定データを制御項目として設定する。

制御部１は、この後、設定した制御項目について追随して対応することが可能であるか否かをステップＣ４で判断し、ＮＯとなって対応が可能でない場合には、ステップＣ５で所定時間が経過するまで待機している。所定時間が経過しても対応が可能とならない場合には、制御部１は、ステップＣ５でＹＥＳと判断して前述したステップＢ８の通常の危険予測処理に移行する。そして、ステップＣ４でＹＥＳになると、制御部１は、ステップＣ６に進み、表示部３１に運転制御の動作開始の表示を行った後、図３の処理に戻ってステップＢ７に移行する。

次に、制御部１は、ステップＢ７で、指定された監視エリアＡＸの詳細監視処理が可能な範囲に入ったか否かを判断する。これは、制御部１が、対象となる監視エリアが所定範囲に入って詳細な監視処理が実施できる状態となったかどうかを判断するもので、ＮＯの場合には、ステップＢ８に進んで通常の危険予測処理を実行しながら待機する。これにより、制御部１は、監視エリアＡＸが所定範囲に入るまでの間は、自動危険予測処理部１１により実行可能な他に存在する通常の危険予測処理を実行する。

そして、ステップＢ７でＹＥＳになると、制御部１は、図５に示す監視エリア、監視オブジェクトの詳細監視処理の具体的な内容を示す図１０に従って処理を実行する。この処理では、制御部１は、ステップＤ１で、監視エリアＡＸである「交差点」を追随して認識できているか否かを判断する。制御部１は、前述した処理を進めることで、ステップＤ５を経てステップＤ６ａになると、表示部３１の監視エリアＡＸである「交差点」の領域をハイライト色で表示させる。

次に、制御部１は、ステップＤ８に進み、ユーザが指定した監視エリア／オブジェクトが安全な状態であるか否かを判断し、ＹＥＳの場合にはステップＤ９ａに進んでユーザが指定した監視エリアＡＸについて、表示部３１に「交差点」の領域をハイライト色で表示していたのを、安全状態を示す安全色に切り替えて表示させる。

一方、ユーザが指定した監視エリア／オブジェクトの危険度が大の場合には、制御部１は、ステップＤ１０に移行し、ユーザが指定した監視エリアＡＸの「交差点」の危険度が大で自車両Ｐが衝突する可能性が高い場合であるか否かを判断する。制御部１は、ユーザが指定した監視エリア／オブジェクトの危険度が大きく、衝突する可能性が高い場合には、ステップＤ１１に進んで危険アラームを出す。

一方、制御部１は、ユーザが指定した監視エリアＡＸの「交差点」の危険度が大きくなく、衝突する可能性が低い場合には、ステップＤ１２ａに進み、注意アラームを出すとともに、表示部３１の「交差点」のハイライト色を注意色に切り替えて表示させることでユーザに促す。

制御部１は、この後、ステップＤ１３に進み、自車両Ｐが危険な監視エリア／オブジェクトを通過したか否かを判断し、ＹＥＳの場合にはこの処理を終了する。また、ステップＤ１３でＮＯの場合は、制御部１は、ステップＤ３に戻り、上記した処理を繰り返し実行する。

そして、上述したステップＢ９のユーザ指定オブジェクトの詳細監視処理が終了すると、制御部１は、追加の危険予測処理を終了して再び図２に示した危険予測処理を実行するようになる。

＜第２ケース＞
次に、第２ケースとして、車両の進行方向の遠方に停車中の車両の近傍に人影があるのをドライバが認識して監視オブジェクトとして指定する場合について説明する。この第２ケースとしては、例えば図１８に示すように、自車両Ｐの運転者あるいは同乗者などの使用者が、道路Ｒ１の前方路肩にトラックＸＱが停車していて、その後ろに人影ＸＨらしきものが存在することに気づいた場合で、通過時の走行で注意したいと感じた場合などの状況である。

この場合に、図１９に示すように、ユーザが、表示部３１の画面に表示されたトラックＸＱの後部領域を指でなぞることで監視エリアＡＹを選択する場合を想定する。ユーザが指定した監視エリアＡＹは、停車中のトラックＸＱであるから、移動体の指定ではなくエリアの指定がなされたことになる。また、指定された監視エリアＡＹは、通常の危険予測処理で監視する領域よりも狭い領域である。

これは図１９に示しているように、通常では、道路Ｒ１の横幅範囲Ｍａを奥行きＬの範囲で監視するように設定されているのに対して狭い領域である。そして、このように狭い領域ＡＹが設定されたことで、後述するように監視処理をこの領域ＡＹに絞り込むことができるので、精度を高めることができる。

制御部１は、なぞられた監視エリアＡＹの場所特性と、監視エリアＡＹ内の画像から認識された物体の配置状況から、危険が起きそうな状況を交通事故データベースなどから検索する。そして、なぞった監視エリアＡＹの範囲を地図情報で参照すると、指定された場所は道路の右側（反対車線）であり、監視エリアＡＹ内に車両が存在していることが撮影画像から判定される。そして、制御部１は、このオブジェクトの配置状況と場所情報から、どのような危険が発生しうるかなどについて、交通事故データベースを使って予測する。

制御部１は、図２に示した危険予測処理を実施していて、ステップＡ２で監視エリアＡＹが設定されたことに応じて、図３に示した追加の危険予測処理を実施する。制御部１は、図３のステップＢ１で、表示部３１に注意項目のメニュー表示をして選択依頼をする。ここでは、例えば、図２０に示すように、道路右側から何かが飛び出ることを想定して「飛び出し注意」Ｔ１、「右側によって走行」Ｔ２と、飛び出したときに衝突しないようにすることを想定して「速度低減」Ｔ３および「人影発見」Ｔ４の４つの注意項目が示される。

図２１では、ユーザが表示部３１に表示された４つの注意項目Ｔ１〜Ｔ４のうち、タッチ操作などで、「人影発見」Ｔ４の項目を選んだ状態を示している。制御部１は、ステップＢ２、Ｂ３を経て、ユーザによる選択依頼がなされたのを確認すると、ステップＢ４つまり図１６に示す注意項目の制御設定処理を実施する。

制御部１は、ステップＣ１ｂで、ユーザが選択した２つの注意項目Ｔ４の情報に基づき、追加制御する情報が選択され、自動走行制御システムに送られる。この場合、自動運転システムにおいては、予め設定された監視領域に対して「速度低減」の危険予測を設定しているので、追加の危険予測として「人影発見」Ｔ４が設定されることになる。

制御部１は、ステップＣ２ｂで、「人影発見」Ｔ４の選択に対しては、ユーザが指定した監視エリアＡＹの歩行者検知を詳細に行うように、自動走行制御システムに指示を行うとともに、危険回避手段として「速度低減」を設定する。また、制御部１は、続くステップＣ３ｂで、自動走行制御システムへの指示を実施し、ステップＣ４、Ｃ５で、自動走行制御システムが処理を受け付けたという応答が有るかをチェックする。

制御部１は、自動走行制御システムが処理を受け付けた場合、ステップＣ４でＹＥＳとなってステップＣ６に進み、図２２に示すように、危険予測処理が受け付けられたことを表示部３１により「減速して走行します」ＭＳのメッセージを表示させてユーザに報知する。

なお、制御部１は、上記のステップＣ４、Ｃ６の処理で待機中に、所定時間が経過しても自動走行制御システムに追加依頼が行えない場合は、ステップＣ６でＮＯと判断して追加依頼処理を放棄し、ユーザに追加処理が行えないことを報知した後、図３のステップＢ８すなわち通常の危険予測処理に戻る。

次に、上記の処理において、通常の監視領域よりも狭い監視エリアＡＹが設定された場合に実施する処理について説明する。前述のように、自動運転制御においては、障害物検知機能を実現する手段としてレーダを使って、走行している道路の前方車両や障害物を検知している。レーダは走行路に電波を放射し、その反射波を計測することでレーダ照射領域の物体の検知を行うものである。

ここで、レーダには測距できる範囲があるため、物体が遠方に存在する場合は反射波の強度が減衰されて計測ができない。またレーダの走査角度が限定されているため、物体が道路脇にある場合、車両が物体に近づきすぎると、電波が当たらなくなり、距離の計測が行えなくなる。このため、通常監視エリアは、限定されている。この領域が図１９に示した領域Ｍａで奥行きの距離Ｌの範囲となる。

なお、レーダに代えて、カメラシステム２を使っても、物体の位置と距離を計測することができる。しかし、カメラシステム２のカメラでは、光の強さによって撮影できる画像の良否が決まるため、カメラ単体では物体の検知が難しい状況もある。

本案は、人の眼で認識しにくい場所をユーザは「注意エリア」として設定することができる。この場合、ユーザが「注意エリア」として監視エリアＡＹを設定すると、注意エリア情報が自動運転制御のＥＣＵに送られる。なお、注意エリアが設定されない場合には、通常の監視エリアを均等に物体の検知処理を行う。

本実施形態では、表示部３１の画面上をユーザがタッチあるいはなぞることで、タッチパネル３２によりタッチポイント（「なぞり操作」エリア）が検出され、制御部１により、これが実空間のどの地点に対応するかを判定できる構成となっている。この場合、制御部１は、画像処理によって撮影画像を静止画に変更して輪郭抽出を行い、その輪郭形状から撮影されたものがどのような物体か、物体の特徴を抽出することで判定するように構成されている。

また、ユーザが指定した「監視エリア」の画像が不明瞭な場合、制御部１は、輪郭抽出処理がしやすくなるように、監視エリア内の画像の解像度、倍率を上げたり、明るさ補正や、フォーカスの設定を調整して詳細な解析が行えるように画像処理を行う。また、監視エリアへのレーダの走査頻度を上げて注意エリア内の物体移動の計測精度を上げることでも、移動体の検知精度を上げることができる。

別の方法として、主要な道路上の物体検出する主レーダに加えて、主レーダが計測できなくなっても、車両の左右を計測できるようにするための補助レーダを別途設定するようにして、左右の計測精度を上げるようにしてもよい。さらには赤外線を使ったカメラが搭載されていれば、検知された物体の温度分布がわかるため、歩行者など顔の画像から、歩行者の検知精度が向上する。

次に、上記したユーザ指定オブジェクトの詳細監視処理について、図１７を参照して説明する。ここでは、まず、制御部１は、図１７のステップＤ１でユーザが指定した監視エリアＡＹを追随できているか否かを判断し、ＹＥＳの場合に表示部３１に「監視エリア／オブジェクトを追随中」と表示させる。なお、制御部１は、監視エリアＡＹの追随ができてない場合には、ステップＤ４でユーザに対して指定エリアの再設定を促して再設定されるのを待つ。

制御部１は、ステップＤ３になると、監視エリアＡＹの探索・追随・解析処理を実施する。探索・追随・解析処理については、前述した図６に示す流れに従って制御部１により実施されるが、ここでは説明を省略する。

次に、制御部１は、ステップＤ５ｂで、ユーザが指定したオブジェクトである人影ＸＨが認識されたか否かを判断し、認識ができた場合にはステップＤ６ｂに進み、認識した人影ＸＨをハイライト色で表示部３１に表示させる。なお、制御部１は、人影ＸＨが認識できない場合については、前述のようにして処理を実施する。

この後、制御部１は、ステップＤ８ｂに進み、ユーザが指定した人影ＸＨが安全な状態であるか否かを判断し、ＹＥＳの場合にはステップＤ９に進んでユーザが指定した人影ＸＨについて、表示部３１にハイライト色で表示していたのを、安全状態を示す安全色に切り替えて表示させる。

一方、ユーザが指定した監視エリアに存在していたオブジェクトである人影ＸＨの危険度が大の場合には、制御部１は、ステップＤ８ｂでＮＯと判断し、ステップＤ１０で人影ＸＨの危険度が大で自車両Ｐが衝突する可能性が高い場合であるか否かを判断する。制御部１は、ユーザが指定した人影ＸＨが衝突する可能性が高い場合には、ステップＤ１０からステップＤ１１に進み、危険アラームを出す。ここでは、もし、危険度が高いにもかかわらず、自動走行システムの回避動作が始まっていない場合には、ユーザに対して緊急処理依頼して情報を指定入力するように促して対処する。

一方、制御部１は、ユーザが指定した人影ＸＨの危険度が大きくなく、衝突する可能性が低い場合には、ステップＤ１０からステップＤ１２ｂに進み、注意アラームを出すとともに、表示部３１のユーザが指定した人影ＸＨの表示状態を注意色に切り替えて表示させることでユーザに促す。

制御部１は、この後、ステップＤ１３に進み、自車両Ｐが危険な監視エリア／オブジェクトを通過したか否かを判断し、ＹＥＳの場合にはこの処理を終了する。また、ステップＤ１３でＮＯの場合は、制御部１は、ステップＤ３に戻り、上記した処理を繰り返し実行する。

＜第３ケース＞
次に、第３ケースとして、車両の進行方向の遠方に蛇行運転している危険車両を発見した場合について説明する。この第３ケースとしては、例えば図２５に示すように、片側２車線の道路Ｒ１の前方に危険な走行をしている前方車両Ｐｘが走行していて、自車両Ｐのユーザが、前方車両Ｐｘに起因して発生する危険を回避するように走行したいといった状況である。

この場合に、図２６に示すように、前方車両Ｐｘは、左側のレーンを走行しており、左右に揺れるように蛇行運転をしている状態である。ユーザは、表示部３１の画面に表示された前方車両Ｐｘの領域を指でなぞることで監視エリアＡＺを選択することができる。

これにより、制御部１は、タッチパネル３２からの情報により、自車両Ｐの現在位置と地図情報から指が触れた前方車両Ｐｘの位置を演算し、対象位置を判定する。その判定された対象位置の地図データを参照し、カメラシステム２に注意すべき撮影範囲を伝える。制御部１は、カメラシステム２により前方車両Ｐｘの位置情報を用いて、対象監視エリアＡＺのセンシング精度を上げる。また、制御部１は、ユーザが指定した前方車両Ｐｘを内部に記録する。

制御部１は、図２に示した危険予測処理を実施して、ステップＡ２で、監視オブジェクトとして前方車両Ｐｘが設定されたことに応じて、図３に示した追加の危険予測処理を実施する。制御部１は、図３のステップＢ１で、表示部３１に注意項目のメニュー表示をして選択依頼をする。ここでは、例えば、図２７に示すように、例えば「危険車両」Ｕ１、「接近禁止」Ｕ２、「並走禁止」Ｕ３および「速度低減」Ｕ４の４つの注意項目が示される。この場合、表示部３１への表示だけでなく、通知部１８から音声による通知を同時に実施することもできる。

図２８では、ユーザが表示部３１に表示された４つの注意項目Ｕ１〜Ｕ４のうち、タッチ操作などで、「危険車両」Ｕ１の項目を選んだ状態を示している。制御部１は、ステップＢ２、Ｂ３を経て、ユーザによる選択依頼がなされたのを確認すると、ステップＢ４つまり図２３に示す注意項目の制御設定処理を実施する。

制御部１は、ステップＣ１ｃで、ユーザが選択した注意項目Ｕ１の情報に基づき、追加制御する情報が選択され、自動走行制御システムに送られる。この場合、自動運転システムにおいては、予め設定された監視領域において危険予測は発生しておらず、追加の危険予測として指定された「危険車両」Ｕ１について対応するようになる。

制御部１は、ステップＣ２ｃで、「危険車両」Ｕ１の選択に対しては、続くステップＣ３ｃで、自動走行制御システムへの指示として、「危険車両に接近せずに走行する」走行態様を設定し、ステップＣ４、Ｃ５で、自動走行制御システムが処理を受け付けたという応答が有るかをチェックする。

制御部１は、自動走行制御システムが処理を受け付けた場合、ステップＣ４でＹＥＳとなってステップＣ６に進み、図２９に示すように、危険予測処理が受け付けられたことを表示部３１により「危険車両に接近せずに走行します」のメッセージＭＳを表示させてユーザに報知する。

このとき、前方車両Ｐｘが左側のレーンを蛇行しながら走行しているのに対して、自車両Ｐは、車線分離線ＳＬで区切られた右側のレーンを走行するように運転制御され、「危険車両」である前方車両Ｐｘに対して接近しないようにして走行するように制御され、危険な状態に遭遇することなく回避することができる。

なお、制御部１は、上記のステップＣ４、Ｃ６の処理で待機中に、所定時間が経過しても自動走行制御システムに追加依頼が行えない場合は、ステップＣ６でＮＯと判断して追加依頼処理を放棄し、ユーザに追加処理が行えないことを報知した後、図３のステップＢ８すなわち通常の危険予測処理に戻る。

次に、上記したユーザ指定オブジェクトである前方車両Ｐｘの詳細監視処理について、図２４を参照して説明する。ここでは、まず、制御部１は、図２４のステップＤ１でユーザが指定した監視エリアＡＺを追随できているか否かを判断し、ＹＥＳの場合に表示部３１に「監視エリア／オブジェクトを追随中」と表示させる。なお、制御部１は、監視エリアＡＹの追随ができてない場合には、ステップＤ４でユーザに対して指定エリアの再設定を促して再設定されるのを待つ。

制御部１は、ステップＤ３になると、監視エリアＡＺの探索・追随・解析処理を実施する。探索・追随・解析処理については、前述した図６に示す流れに従って制御部１により実施されるが、ここでは説明を省略する。

次に、制御部１は、ステップＤ５ｃで、ユーザが指定したオブジェクトである前方車両Ｐｘが認識されたか否かを判断し、認識ができた場合にはステップＤ６ｃに進み、認識した前方車両Ｐｘをハイライト色で表示部３１に表示させる。なお、制御部１は、前方車両Ｐｘが認識できない場合については、前述のようにして処理を実施する。

この後、制御部１は、ステップＤ８ｃに進み、ユーザが指定した前方車両Ｐｘが安全な状態であるか否かを判断し、ＹＥＳの場合にはステップＤ９に進んでユーザが指定した前方車両Ｐｘについて、表示部３１にハイライト色で表示していたのを、安全状態を示す安全色に切り替えて表示させる。

一方、ユーザが指定した監視エリアに存在していたオブジェクトである前方車両Ｐｘの危険度が大の場合には、制御部１は、ステップＤ８ｃでＮＯと判断し、ステップＤ１０で前方車両Ｐｘの危険度が大で自車両Ｐが衝突する可能性が高い場合であるか否かを判断する。制御部１は、ユーザが指定した前方車両Ｐｘが衝突する可能性が高い場合には、ステップＤ１０からステップＤ１１に進み、危険アラームを出す。ここでは、もし、危険度が高いにもかかわらず、自動走行システムの回避動作が始まっていない場合には、ユーザに対して緊急処理依頼して情報を指定入力するように促して対処する。

一方、制御部１は、ユーザが指定した前方車両Ｐｘの危険度が大きくなく、衝突する可能性が低い場合には、ステップＤ１０からステップＤ１２ｃに進み、注意アラームを出すとともに、表示部３１のユーザが指定した前方車両Ｐｘの表示状態を注意色に切り替えて表示させることでユーザに促す。

制御部１は、この後、ステップＤ１３に進み、自車両Ｐが危険な監視エリア／オブジェクトを通過したか否かを判断し、ＹＥＳの場合にはこの処理を終了する。また、ステップＤ１３でＮＯの場合は、制御部１は、ステップＤ３に戻り、上記した処理を繰り返し実行する。

これにより、自車両Ｐが、「危険車両」として指定した前方車両Ｐｘに接近すると、例えば、従来の危険回避の処理では「危険なし」と判定されている場合であっても、ユーザが入力した「危険車両」の指定が加算されることによって、危険予知を実施し、「接近禁止」の対処を行う危険回避制御を実施することができる。

＜第４ケース＞
次に、第４ケースとして、表示部３１には表示されないが、自車両Ｐの側方を走行する並走車両が存在しているのに気が付き、その並走車両のドライバが携帯電話使用などの状態がわかったときに、これをユーザが監視オブジェクトとして危険車両に指定する場合を想定する。

この第４ケースとしては、例えば図３２に示すように、自車両Ｐが片側２車線の道路Ｒ１の車線分離線ＳＬで分離された左側レーンを走行しており、側方の右側レーンを走行する並走車両Ｐｘ（図３６に示す）が存在している状況である。並走車両Ｐｘの運転者が例えば携帯電話を使用していたり、前方を見ていないことに自車両Ｐのユーザが気づいたとする。この場合には、表示部３１にはカメラによる画像で撮影されていない並走車両Ｐｘを直接監視オブジェクトとして指定することができない。

このような場合に、図３３に示すように、表示部３１の並走車両Ｐｘが存在する右側レーンの自車両Ｐの側方エリアＡＷをタッチすることで指定することができる。これにより、制御部１は、タッチパネル３２からの情報により、自車両Ｐの現在位置と地図情報から指が触れた側方エリアＡＷの並走車両Ｐｘの位置を演算し、対象位置を判定する。その判定された対象位置の地図データを参照し、カメラシステム２に注意すべき撮影範囲を伝える。制御部１は、カメラシステム２により並走車両Ｐｘの位置情報を用いてセンシング精度を上げる。また、制御部１は、ユーザが指定した並走車両Ｐｘを内部に記録する。

制御部１は、図２に示した危険予測処理を実施して、ステップＡ２で、監視オブジェクトとして並走車両Ｐｘが設定されたことに応じて、図３に示した追加の危険予測処理を実施する。制御部１は、図３のステップＢ１で、表示部３１に注意項目のメニュー表示をして選択依頼をする。ここでは、例えば、図３４に示すように、例えば「危険車両」Ｖ１、「接近禁止」Ｖ２、「並走禁止」Ｖ３および「速度低減」Ｖ４の４つの注意項目が示される。この場合、表示部３１への表示だけでなく、通知部１８から音声による通知を同時に実施することもできる。

図３５では、ユーザが表示部３１に表示された４つの注意項目Ｖ１〜Ｖ４のうち、タッチ操作などで、「並走禁止」Ｖ３の項目を選んだ状態を示している。制御部１は、ステップＢ２、Ｂ３を経て、ユーザによる選択依頼がなされたのを確認すると、ステップＢ４つまり図３５に示す注意項目の制御設定処理を実施する。

制御部１は、ステップＣ１ｄで、ユーザが選択した注意項目Ｖ３の情報に基づき、追加制御する情報が選択され、自動走行制御システムに送られる。この場合、自動運転システムにおいては、予め設定された監視領域において危険予測は発生しておらず、追加の危険予測として指定された「並走禁止」Ｖ３について対応するようになる。

制御部１は、ステップＣ２ｄで、「並走禁止」Ｖ３の選択に対しては、続くステップＣ３ｄで、自動走行制御システムへの指示として、「並走せずに走行する」走行態様を設定し、ステップＣ４、Ｃ５で、自動走行制御システムが処理を受け付けたという応答が有るかをチェックする。

制御部１は、自動走行制御システムが処理を受け付けた場合、ステップＣ４でＹＥＳとなってステップＣ６に進み、図３６に示すように、危険予測処理が受け付けられたことを表示部３１により「危険車両と並走せずに走行します」のメッセージＭＳを表示させてユーザに報知する。

なお、制御部１は、上記のステップＣ４、Ｃ６の処理で待機中に、所定時間が経過しても自動走行制御システムに追加依頼が行えない場合は、ステップＣ６でＮＯと判断して追加依頼処理を放棄し、ユーザに追加処理が行えないことを報知した後、図３のステップＢ８すなわち通常の危険予測処理に戻る。

次に、上記したユーザ指定オブジェクトである並走車両Ｐｘの詳細監視処理について、図３１を参照して説明する。ここでは、まず、制御部１は、図３１のステップＤ１でユーザが指定した監視エリアＡＷの並走車両Ｐｘを追随できているか否かを判断し、ＹＥＳの場合に表示部３１に「監視エリア／オブジェクトを追随中」と表示させる。なお、制御部１は、並走車両Ｐｘの追随ができてない場合には、ステップＤ４でユーザに対して指定エリアの再設定を促して再設定されるのを待つ。

制御部１は、ステップＤ３になると、並走車両Ｐｘの探索・追随・解析処理を実施する。探索・追随・解析処理については、前述した図６に示す流れに従って制御部１により実施されるが、ここでは説明を省略する。

次に、制御部１は、ステップＤ５ｄで、ユーザが指定したオブジェクトである並走車両Ｐｘが認識されたか否かを判断し、認識ができた場合にはステップＤ６ｄに進み、認識した並走車両Ｐｘをハイライト色で表示部３１に表示させる。なお、制御部１は、並走車両Ｐｘが認識できない場合については、前述のようにして処理を実施する。

この後、制御部１は、ステップＤ８ｄに進み、ユーザが指定した並走車両Ｐｘが安全な状態であるか否かを判断し、ＹＥＳの場合にはステップＤ９に進んでユーザが指定した並走車両Ｐｘについて、表示部３１にハイライト色で表示していたのを、安全状態を示す安全色に切り替えて表示させる。

一方、ユーザが指定した監視エリアに存在していたオブジェクトである並走車両Ｐｘの危険度が大の場合には、制御部１は、ステップＤ８ｃでＮＯと判断し、ステップＤ１０で並走車両Ｐｘの危険度が大で自車両Ｐが衝突する可能性が高い場合であるか否かを判断する。制御部１は、ユーザが指定した並走車両Ｐｘが衝突する可能性が高い場合には、ステップＤ１０からステップＤ１１に進み、危険アラームを出す。ここでは、もし、危険度が高いにもかかわらず、自動走行システムの回避動作が始まっていない場合には、ユーザに対して緊急処理依頼して情報を指定入力するように促して対処する。

一方、制御部１は、ユーザが指定した並走車両Ｐｘの危険度が大きくなく、衝突する可能性が低い場合には、ステップＤ１０からステップＤ１２ｃに進み、注意アラームを出すとともに、表示部３１のユーザが指定した並走車両Ｐｘの表示状態を注意色に切り替えて表示させることでユーザに促す。

制御部１は、この後、ステップＤ１３に進み、自車両Ｐが危険な監視エリア／オブジェクトを通過したか否かを判断し、ＹＥＳの場合にはこの処理を終了する。また、ステップＤ１３でＮＯの場合は、制御部１は、ステップＤ３に戻り、上記した処理を繰り返し実行する。

このような本実施形態においては、自動運転制御において、運転中にユーザにより監視エリアや監視オブジェクトを指定可能にして、ユーザが選択する注意項目に対応して追加の危険回避処理を実行するようにした制御部１を設けた。

これにより、自動運転システムにおいても、ユーザが運転に関わる状態を保持しつつ注意したい監視エリアや監視オブジェクトがある場合には、自動運転システムに対する指示という方法により自動運転機能をより高い機能で実現できるようにすることができる。

また、ユーザが自動運転制御を実施している自車両Ｐに対して、ユーザが「注意してほしい対象」を教えてもらうのではなく、教えることができる仕組みを構築することができる。すなわち、本来ユーザは運転者であるが、誰かに代行運転してもらっている状態すなわち自動運転制御機能を実行している状態の同乗者の立場として、代行運転者に注意してほしいところを伝える（入力できる）仕組みを構築することができる。

この結果、ユーザが自動運転中に運転に適度に関与することで、ユーザが安心できる好みの安全運転状態が得られ、しかもユーザが運転に参加しているという意識を維持できるという効果が得られる。

（他の実施形態）
なお、本発明は、上述した実施形態のみに限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能であり、例えば、以下のように変形または拡張することができる。

情報入力部として、表示装置３、音声入力部４および状態検出装置５を設ける構成の例を示したが、すべてを備える場合にかぎらず、これらのうちの少なくとも一つを備える構成とすることもできる。

ユーザが指定する監視エリアや監視オブジェクトなどの入力情報をユーザ入力情報記憶部１６に記憶させて学習機能を持たせることができる例として示したが、学習機能は必要に応じて適宜設けることができる。同様に、無線通信部１７を通じて外部の情報センタ２００と情報の授受を行うことで自動運転機能を向上させることについても、必要に応じて適宜設けることができるものである。

表示装置３は、表示部３１およびタッチパネル３２を設ける構成の例を示したが、ヘッドアップディスプレイなどを用いるとともに、ユーザの動作や音声を検知して入力情報を取り込む構成としても良い。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

図面中、１は制御部、２はカメラシステム（カメラ）、３は表示装置（情報入力部）、４は音声入力部（情報入力部）、５は状態検出装置（情報入力部）、１０は統合危険予測部（追加回避処理部）、１１は自動危険予測処理部（通常回避処理部）、１１ｄは自動危険予測部、１３は選択ポイント判定部（判定部）、１４は選択ポイント追随処理部（追随部）、１５は地図情報記憶部（地図情報提示部）、１６はユーザ入力情報記憶部（記憶部）、１７は無線通信部（通信部）、１８は通知部、１９は車両制御部、３１は表示部、３２はタッチパネル、４１はマイク、４２は音声認識部、５１は車内カメラ、５２はドライバ視線位置検出部、５３はドライバ動作検出部、１００は自動運転支援装置、２００は情報センタ、３００、４００は他車両である。

Claims (10)

1. 自車両の自動運転時に予め設定された危険回避条件に基づく危険予測をして危険回避処置を実施する通常回避処理部を備えた自動運転支援装置であって、
   使用者による前記自車両の運転に関する情報の入力を受け付ける情報入力部（３、４、５）と、
   前記情報入力部により入力されたエリアまたはオブジェクトの情報を監視対象として判定する判定部（１３）と、
   前記監視対象を追随する追随部（１４）と、
   前記監視対象に対する追加危険回避処置を設定し、前記追随部により追随された前記監視対象が前記自車両に近づくと、前記通常回避処理部（１１）による危険回避処置に加えて、前記追加危険回避処置を実行する追加回避処理部（１０）とを備えた自動運転支援装置。
2. 前記情報入力部により入力された前記監視対象に対応して、前記追加回避処理部により実施する追加危険回避処置を表示させる表示部（３１）を備えた請求項１に記載の自動運転支援装置。
3. 前記追加回避処理部は、前記情報入力部により入力された前記監視対象に対応して実施する複数の前記追加危険回避処置がある場合に、前記表示部に表示させて前記使用者により選択を受け付けて実施する請求項２に記載の自動運転支援装置。
4. 前記追随部は、前記監視対象を撮影するカメラ（２）を備え、前記カメラによる撮影画像を画像解析することで前記監視対象を追随する請求項３に記載の自動運転支援装置。
5. 前記自車両の現在位置を地図情報に対応させた情報として提示する地図情報提示部（１５）を備え、
   前記追随部は、前記地図情報提示部から提示される情報に基づいて前記カメラによる撮影範囲を前記監視対象に対応して設定することで前記監視対象に絞り込んだ追随を実施する請求項４に記載の自動運転支援装置。
6. 前記追加回避処理部は、前記追随部により絞り込まれた追随による前記監視対象の情報に基づいて前記追加危険回避処置よりも精度を高めた追加危険回避処置を実施する請求項５に記載の自動運転支援装置。
7. 前記表示部には画面に触れることで前記監視対象として入力可能なタッチパネル（３２）を備えた請求項２から６のいずれか一項に記載の自動運転支援装置。
8. 前記使用者により入力された前記自車両の運転に関する情報を学習情報として記憶する記憶部（１６）を備え、
   前記追加回避処理部は、前記記憶部に記憶された前記学習情報で設定した過去の監視対象についても前記監視対象として設定する請求項１から７のいずれか一項に記載の自動運転支援装置。
9. 外部に設置された情報センタ（２００）から他車両の使用者により設定された監視対象の情報を受信可能な通信部（１７）を備え、
   前記追加回避処理部は、前記通信部を介して受信した他の車両の使用者により設定された監視対象についても前記監視対象として設定する請求項１から８のいずれか一項に記載の自動運転支援装置。
10. 前記追加危険回避処置を実行時に前記使用者に対して表示若しくは音声による通知を行う通知部（１８）を備えた請求項１から９のいずれか一項に記載の自動運転支援装置。

Images