JP2019079085A - 運転支援装置 - Google Patents

Abstract

【課題】運転者が対象としている物体が地図情報に含まれない動的な物体であっても該物体を特定可能な運転支援装置を提供する。【解決手段】本発明の運転支援装置は、第１の取得部と、第２の取得部と、音声入力受付部と、制御部と、を備える。第１の取得部は、移動体の運転者の状態を示す状態情報を取得する。第２の取得部は、記移動体の位置を示す位置情報、地図情報、および、移動体の周辺の物体を検出するための周辺物体検出部により検出された情報に基づく、移動体の周辺の３次元的な情報を取得する。音声入力受付部は、運転者の発話を受け付ける。制御部は、状態情報、移動体の周辺の３次元的な情報、および、運転者の発話に基づいて、運転者が対象としている物体を示す対象物体を特定する。【選択図】図４

Description

本発明は、運転支援装置に関する。

従来、車両などの移動体を運転する運転者の視線、移動体の位置情報、地図情報に基づいて、運転者が対象としている物体（車外の物体）を示す対象物体を決定する技術が知られている（例えば特許文献１参照）。

特開２００７−２６３９３１号公報

しかしながら、上記従来技術では、運転者が対象としている物体（対象物体）として、地図情報に含まれる物体しか対象にできないという問題があった。

本発明の実施形態にかかる運転支援装置は、例えば、移動体の運転者の状態を示す状態情報を取得する第１の取得部と、前記移動体の位置を示す位置情報、地図情報、および、前記移動体の周辺の物体を検出するための周辺物体検出部により検出された情報に基づく、前記移動体の周辺の３次元的な情報を取得する第２の取得部と、前記運転者の発話を受け付ける音声入力受付部と、前記状態情報、前記移動体の周辺の３次元的な情報、および、前記運転者の発話に基づいて、前記運転者が対象としている物体を示す対象物体を特定する制御部と、を備える運転支援装置である。この構成によれば、運転者の状態を示す状態情報、移動体の周辺の３次元的な情報、および、運転者の発話に基づいて、運転者が対象としている物体を示す対象物体を特定することにより、運転者が対象としている物体が地図情報に含まれない動的（ダイナミック）な物体であっても該物体を特定できる。

また、実施形態にかかる運転支援装置は、例えば、前記制御部は、前記運転者の発話に基づいて、前記特定した前記対象物体を目標物とする自動運転制御を決定する。この構成によれば、ユーザの意図を適切に反映させた自動運転制御を決定することができる。

また、実施形態にかかる運転支援装置は、例えば、前記制御部は、前記対象物体を特定するための対象物体特定情報が複数のキーワードに対応付けられた第１の対応情報に基づいて、前記運転者の発話に含まれるキーワードに対応付けられた前記対象物体特定情報を選択し、その選択した前記対象物体特定情報と、前記状態情報と、前記移動体の周辺の３次元的な情報と、に基づいて前記対象物体を特定する。この構成によれば、運転者が対象としている物体を正確に特定できる。

また、実施形態にかかる運転支援装置は、例えば、前記制御部は、自動運転制御を示す自動運転制御情報が複数のキーワードに対応付けられた第２の対応情報に基づいて、前記運転者の発話に含まれるキーワードに対応付けられた前記自動運転制御情報を選択し、その選択した前記自動運転制御情報が示す前記自動運転制御を決定する。この構成によれば、運転者が対象としている物体を目標物として、ユーザの意図を汲んだ適切な自動運転制御を決定できる。

また、実施形態にかかる運転支援装置は、例えば、前記状態情報は、前記運転者の視線を示す情報である。この構成によれば、例えば、運転者の視線を示す情報（状態情報）、移動体の周辺の３次元的な情報、および、運転者の発話に基づいて、対象物体を決定することにより、運転者が注目している物体を正確に対象物体として決定することができる。

また、実施形態にかかる運転支援装置は、例えば、前記状態情報は、前記運転者の指示動作（ジェスチャ）を示す情報である。この構成によれば、例えば、運転者の指示動作を示す情報（状態情報）、移動体の周辺の３次元的な情報、および、運転者の発話に基づいて、対象物体を決定することにより、運転者の指示対象となる物体を正確に対象物体として決定することができる。

図１は、実施形態の車両の車室の一部が透視された状態を示す斜視図である。 図２は、実施形態における撮像部の配置の一例を示す図である。 図３は、実施形態の運転支援システムの構成を示す図である。 図４は、実施形態の運転支援システムが有する機能の一例を示す図である。 図５は、実施形態の第１の対応情報の一例を示す図である。 図６は、実施形態の第２の対応情報の一例を示す図である。 図７は、実施形態の運転支援システムの動作例を示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る運転支援装置の実施形態を詳細に説明する。

本実施形態では、移動体の一例である車両１は、運転者の発話を受け付け、該受け付けた発話に応じて自動運転を行うことができる車両（自動運転車両）である。車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。

また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。

また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１の具体的な構成については後述する。また、図２に示すように、ハンドルコラム２０２には、撮像部２０１が設置されている。この撮像部２０１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等である。撮像部２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。この撮像部２０１は、運転者３０２の顔を順次撮影し、撮影により得た画像についての画像データを順次出力する。

また、車体２には、車両１の周辺の物体を検出するための周辺物体検出部の一例として、車両の周辺を撮像する撮像部１５が設けられている。図１に例示されるように、車体２には、例えば４つの撮像部１５ａ〜１５ｄが設けられている。以下の説明では、撮像部１５a〜１５ｄを区別しない場合は単に撮像部１５と称する。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮像することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮像し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部に配置され、リヤトランクのドアの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部に配置され、右側のドアミラーに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部に配置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部に配置され、左側のドアミラーに設けられている。

なお、ここでは図示を省略しているが、車体２には、車両１の周辺の物体を検出するための周辺物体検出部の一例として、車体２と物体間の距離を計測するための測距部１６（測距センサ）が複数設けられている。測距部１６は、例えば、超音波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）である。

図３は、車両１が備える運転支援システム１００（運転支援装置の一例）の構成を示す図である。図３に示すように、運転支援システム１００は、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ４０ａ（central processing unit）、ＲＯＭ４０ｂ（read only memory）、ＲＡＭ４０ｃ（random access memory）、ＳＳＤ４０ｄ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ４０ａは、ＲＯＭ４０ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。また、この例では、ＣＰＵ４０ａには、撮像部１５や撮像部２０１で撮像された画像や、モニタ装置１１で受け付けた音声などが入力される。この例では、図３に示すように、モニタ装置１１は、表示部８、操作入力部９、音声入力部１０、音声出力部１２を備える。表示部８は、ＥＣＵ１４の制御の下、各種の画像を表示可能である。表示部８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。ドライバは、表示部８の画面に表示される画像に対応した位置で手指等により操作入力部９を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。音声入力部１０は、一例としてマイクであり、音声入力部１０で受け付けた音声（ドライバの発話等）はＥＣＵ１４へ入力される。音声出力装置２８は、一例として、スピーカである。

ＥＣＵ１４の説明を続ける。ＲＡＭ４０ｃは、ＣＰＵ４０ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ４０ｄは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ４０ａや、ＲＯＭ４０ｂ、ＲＡＭ４０ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ４０ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ４０ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ４０ｄやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

図４は、本実施形態の運転支援システム１００が有する機能の一例を示す図である。説明の便宜上、図４の例では、本発明に関する機能を主に例示しているが、運転支援システム１００が有する機能はこれらに限られるものではない。図４に示すように、運転支援システム１００は、第１の取得部１０１、第２の取得部１０２、音声入力受付部１０３、制御部１０４を有する。

ここでは、第１の取得部１０１、第２の取得部１０２、音声入力受付部１０３、および、制御部１０４の各々の機能は、ＣＰＵ４０ａがＲＯＭ４０ｂなどの記憶装置に格納されたプログラムを実行することにより実現される。ただし、これに限らず、例えば上記機能のうちの少なくとも一部が、専用のハードウェア回路で実現される形態であってもよい。この例では、第１の取得部１０１、第２の取得部１０２、音声入力受付部１０３、および、制御部１０４の機能は、ＥＣＵ１４が有する機能であると考えることもできるので、ＥＣＵ１４が「運転支援装置」に相当すると考えてもよい。また、本実施形態のＣＰＵ４０ａが実行するプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、例えばＲＯＭ等の不揮発性の記憶媒体に予め組み込んで提供するように構成してもよい。

第１の取得部１０１は、移動体の運転者の状態を示す状態情報を取得する。本実施形態における状態情報は、運転者の視線を示す情報である。より具体的には、第１の取得部１０１は、撮像部２０１により撮像された画像を所定の周期で取得し、取得した画像に写り込んだ運転者の顔を追跡しながら運転者の視線を検出（例えば視線のベクトル（方向）を検出）することで、その検出した視線を示す情報を取得することができる。この例では、第１の取得部１０１は、所定の周期で状態情報（運転者の視線を示す情報）を取得する。なお、ここでは、ＥＣＵ１４が「移動体の運転者の状態を示す状態情報を取得する第１の取得部」の機能を有しているが、これに限らず、例えばＥＣＵ１４と撮像部２０１との組み合わせが「第１の取得部」の機能に相当すると考えてもよいし、ＥＣＵ１４または撮像部２０１が「第１の取得部」の機能に相当すると考えてもよい。

第２の取得部１０２は、車両１の位置（自車位置）を示す位置情報、地図情報、および、車両１の周辺の物体を検出するための周辺物体検出部（この例では撮像部１５、測距部１６）により検出された情報に基づく、車両１の周辺の３次元的な情報を取得する。

この例では、第２の取得部１０２は、位置情報、地図情報、周辺物体検出部により検出された情報を取得する機能を有している。例えば第２の取得部１０２は、車両１に搭載された不図示のＧＰＳ（Global Positioning System）などの位置検出装置から位置情報を取得することができる。また、第２の取得部１０２は、予め地図情報が保存されたデータベース（車両１に搭載）から地図情報を取得することができる。さらに、第２の取得部１０２は、撮像部１５により撮像された画像や測距部１６による測定データを、周辺物体検出部により検出された情報として取得することができる。なお、例えば位置情報、地図情報、周辺物体検出部により検出された情報を取得する機能が第２の取得部１０２とは別に設けられる形態であってもよい。この例では、第２の取得部１０２は、位置情報、地図情報、周辺物体検出部により検出された情報を所定の周期で取得し、これらを統合して、車両１の周辺の３次元的な情報（車両の周辺のどの位置に物体（地図情報が示す地図上の物体のみならず、地図上には存在しないダイナミックな物体も含む）が存在するのかを特定可能な情報）を構築して取得することができる。なお、ダイナミックな物体の例として、例えば人や自動車等の移動する物体や、駐車場の空きスペースなどが挙げられる。以下の説明では、この車両１の周辺の３次元的な情報を「周辺環境情報」と称する。ここでは、第２の取得部１０２は、所定の周期で周辺環境情報を取得する。

なお、ここでは、ＥＣＵ１４が「車両１の位置を示す位置情報、地図情報、および、車両１の周辺の物体を検出するための周辺物体検出部により検出された情報を統合して得られる、車両１の周辺の３次元的な情報を取得する第２の取得部」の機能を有している。

音声入力受付部１０３は、運転者の発話を受け付ける。この例では、音声入力受付部１０３は、モニタ装置１１の音声入力部１０から入力される音声を受け付けることで、運転者の発話を受け付ける。なお、ここでは、ＥＣＵ１４が「運転者の発話を受け付ける音声入力受付部」の機能を有しているが、例えばＥＣＵ１４と音声入力部１０（例えばマイク）との組み合わせが「音声入力受付部」の機能に相当すると考えてもよいし、ＥＣＵ１４または音声入力部１０が「音声入力受付部」の機能に相当すると考えてもよい。

制御部１０４は、第１の取得部１０１により取得された状態情報、第２の取得部１０２により取得された周辺環境情報、および、音声入力受付部１０３で受け付けた運転者の発話に基づいて、運転者が対象（ここでは自動運転の指示対象）としている物体を示す対象物体を特定する。また、制御部１０４は、運転者の発話に基づいて、対象物体を目標物とする自動運転制御を決定する。

さらに詳述すると、制御部１０４は、音声入力受付部１０３で運転者の発話を受け付けたことを契機として、対象物体を特定するための対象物体特定情報が複数のキーワードに対応付けられた第１の対応情報に基づいて、運転者の発話に含まれるキーワードに対応付けられた対象物体特定情報を選択し、その選択した対象物体特定情報と、そのときの状態情報と、そのときの移動体の周辺の３次元的な情報（周辺環境情報）と、に基づいて対象物体を特定する。また、制御部１０４は、自動運転制御を示す自動運転制御情報が複数のキーワードに対応付けられた第２の対応情報に基づいて、運転者の発話に含まれるキーワードに対応付けられた自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する。

図５は、第１の対応情報の一例を示す図である。例えば運転者の発話の中に、「そこ」というキーワードが含まれていた場合、制御部１０４は、第１の対応情報を参照して、「そこ」というキーワードに対応付けられた対象物体特定情報を選択し、その選択した対象物体特定情報と、そのときの状態情報と、そのときの周辺環境情報と、に基づいて対象物体を特定する。図５の例では、「そこ」というキーワードに対しては、現在の視線上の物体を対象物体として特定することを示す対象物体特定情報が対応付けられている。ここでは、対象物体特定情報とは、対象物体を特定するための条件を示す情報であると考えることもできる。この場合、制御部１０４は、「そこ」というキーワードを含む運転者の発話を受け付けたときに第２の取得部１０２により取得された周辺環境情報に含まれる物体のうち、そのときに第１の取得部１０１により取得された状態情報が示す運転者の視線上に存在する物体を対象物体として特定する。

また、図５の例では、例えば運転者の発話の中に、「人」というキーワードが含まれていた場合、制御部１０４は、第１の対応情報を参照して、「人」というキーワードに対応付けられた対象物体特定情報を選択し、その選択した対象物体特定情報と、そのときの状態情報と、そのときの周辺環境情報と、に基づいて対象物体を特定する。ここでは、「人」というキーワードに対しては、「人」を対象物体として特定することを示す対象物体特定情報が対応付けられている。ここでは、対象物体特定情報とは、対象物体を特定するための条件を示す情報であると考えることもできる。この場合、制御部１０４は、「人」というキーワードを含む運転者の発話を受け付けたときに第２の取得部１０２により取得された周辺環境情報に含まれる物体のうち、そのときに第１の取得部１０１により取得された状態情報が示す運転者の視線上に存在する「人」を対象物体として特定する。

同様に、図５の例では、例えば運転者の発話の中に、「車」というキーワードが含まれていた場合、制御部１０４は、第１の対応情報を参照して、「車」というキーワードに対応付けられた対象物体特定情報を選択し、その選択した対象物体特定情報と、そのときの状態情報と、そのときの周辺環境情報と、に基づいて対象物体を特定する。ここでは、「車」というキーワードに対しては、「車」を対象物体として特定することを示す対象物体特定情報が対応付けられている。ここでは、対象物体特定情報とは、対象物体を特定するための条件を示す情報であると考えることもできる。この場合、制御部１０４は、「車」というキーワードを含む運転者の発話を受け付けたときに第２の取得部１０２により取得された周辺環境情報に含まれる物体のうち、そのときに第１の取得部１０１により取得された状態情報が示す運転者の視線上に存在する「車」を対象物体として特定する。なお、以上に説明した第１の対応情報の態様は任意に変更可能であり、図５の態様に限られるものではない。

また、上記に限らず、例えば上述の第１の対応情報を用いずに対象物体を特定する方法を採用してもよい。例えば上述の対象物体特定情報とキーワードを明示的に結び付けなくても、第１の取得部１０１により取得された状態情報、第２の取得部１０２により取得された周辺環境情報、音声入力部１０３で受け付けた運転者の発話を入力情報としてディープラーニング（例えばＲＮＮ（Recurrent Neural Network）など）に入力することで、対象物体を特定してもよい。

図６は、第２の対応情報の一例を示す図である。例えば運転者の発話の中に、「止めて」というキーワードが含まれていた場合、制御部１０４は、第２の対応情報を参照して、「止めて」というキーワードに対応付けられた自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する。図６の例では、「止めて」というキーワードに対しては、駐車を示す自動運転制御情報が対応付けられているので、駐車の自動運転制御を実行することを決定する。

例えば「そこ止めて」という運転者の発話を受け付けた場合を想定する。この場合、制御部１０４は、第１の対応情報を参照して、運転者の発話に含まれる「そこ」というキーワードに対応する対象物体特定情報を選択し、その選択した対象物体特定情報と、そのときの運転者の視線と、そのときの周辺環境情報と、に基づいて、対象物体を特定する。上述したように、この場合、制御部１０４は、そのときの周辺環境情報に含まれる物体のうち、そのときの運転者の視線上に存在する物体を対象物体として特定する。また、制御部１０４は、第２の対応情報を参照して、運転者の発話に含まれる「止めて」というキーワードに対応する自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する。上述したように、この場合、制御部１０４は、駐車の自動運転制御を実行することを決定する。以上のようにして、制御部１０４は、運転者の上記発話を受け付けたときに第２の取得部１０２により取得された周辺環境情報に含まれる物体のうち、そのときに第１の取得部１０１により取得された状態情報が示す運転者の視線上に存在する物体を対象物体として特定し、その特定した対象物体を目標物として駐車の自動運転制御を実行することを決定し、この自動運転制御に必要な車両１の各部に対して指示（命令）を出す。

図６に示す第２の対応情報の説明を続ける。例えば運転者の発話の中に、「気を付けて」というキーワードが含まれていた場合、制御部１０４は、第２の対応情報を参照して、「気を付けて」というキーワードに対応付けられた自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する。図６の例では、「気を付けて」というキーワードに対しては、リスクを回避して走行することを示す自動運転制御情報が対応付けられているので、リスクを回避して走行する自動運転制御を実行することを決定する。リスクを回避して走行する自動運転制御の形態は任意に変更可能であるが、例えば対象物体と一定以上の距離を空けて走行する制御や、対象物体のリスク値を高めて自動運転の経路を変更する制御などが挙げられる。

例えば「あの人気を付けて」という運転者の発話を受け付けた場合を想定する。この場合、制御部１０４は、第１の対応情報を参照して、運転者の発話に含まれる「人」というキーワードに対応する対象物体特定情報を選択し、その選択した対象物体特定情報と、そのときの運転者の視線と、そのときの周辺環境情報と、に基づいて、対象物体を特定する。上述したように、この場合、制御部１０４は、そのときの周辺環境情報に含まれる物体のうち、そのときの運転者の視線上に存在する「人」を対象物体として特定する。また、制御部１０４は、第２の対応情報を参照して、運転者の発話に含まれる「気を付けて」というキーワードに対応する自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する。上述したように、この場合、制御部１０４は、リスクを回避して走行する自動運転制御を実行することを決定する。以上のようにして、制御部１０４は、運転者の上記発話を受け付けたときに第２の取得部１０２により取得された周辺環境情報に含まれる物体のうち、そのときに第１の取得部１０１により取得された状態情報が示す運転者の視線上に存在する「人」を対象物体として特定し、その特定した「人」を目標物として、リスクを回避して走行する自動運転制御を実行することを決定し、この自動運転制御に必要な車両１の各部に対して指示（命令）を出す。

図６に示す第２の対応情報の説明を続ける。例えば運転者の発話の中に、「追従して」というキーワードが含まれていた場合、制御部１０４は、第２の対応情報を参照して、「追従して」というキーワードに対応付けられた自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する。図６の例では、「追従して」というキーワードに対しては、追従走行することを示す自動運転制御情報が対応付けられているので、追従走行する自動運転制御を実行することを決定する。

例えば「あの車に追従して」という運転者の発話を受け付けた場合を想定する。この場合、制御部１０４は、第１の対応情報を参照して、運転者の発話に含まれる「車」というキーワードに対応する対象物体特定情報を選択し、その選択した対象物体特定情報と、そのときの運転者の視線と、そのときの周辺環境情報と、に基づいて、対象物体を特定する。上述したように、この場合、制御部１０４は、そのときの周辺環境情報に含まれる物体のうち、そのときの運転者の視線上に存在する「車」を対象物体として特定する。また、制御部１０４は、第２の対応情報を参照して、運転者の発話に含まれる「追従して」というキーワードに対応する自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する。上述したように、この場合、制御部１０４は、追従走行する自動運転制御を実行することを決定する。以上のようにして、制御部１０４は、運転者の上記発話を受け付けたときに第２の取得部１０２により取得された周辺環境情報に含まれる物体のうち、そのときに第１の取得部１０１により取得された状態情報が示す運転者の視線上に存在する「車」を対象物体として特定し、その特定した「車」を目標物として、追従走行する自動運転制御を実行することを決定し、この自動運転制御に必要な車両１の各部に対して指示（命令）を出す。

また、上記に限らず、例えば上述の第２の対応情報を用いずに自動運転制御を決定する方法を採用してもよい。例えば自動運転制御とキーワードを明示的に結び付けなくても、音声入力部１０３で受け付けた運転者の発話を入力情報としてディープラーニング（例えばＲＮＮ（Recurrent Neural Network）など）に入力することで、自動運転制御を決定してもよい。

図７は、運転者の発話を受け付けた場合の運転支援システム１００の動作例を示すフローチャートである。ここでは、上述したように、第１の取得部１０１は所定の周期で状態情報を取得し、第２の取得部１０２は所定の周期で周辺環境情報を取得することを前提とする。図７に示すように、まず音声入力受付部１０３は、運転者の発話を受け付ける（ステップＳ１）。次に、制御部１０４は、上述の第１の対応情報を参照して、ステップＳ１で受け付けた運転者の発話に含まれるキーワードに対応する対象物体特定情報を選択する（ステップＳ２）。次に、制御部１０４は、ステップＳ２で選択した対象物体特定情報と、ステップＳ１で運転者の発話を受け付けたときの状態情報と、そのときの周辺環境情報と、に基づいて、対象物体を特定する（ステップＳ３）。この具体的な内容は上述したとおりである。

次に、制御部１０４は、上述の第２の対応情報を参照して、ステップＳ１で受け付けた運転者の発話に含まれるキーワードに対応する自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する（ステップＳ４）。この具体的な内容は上述したとおりである。そして、制御部１０４は、ステップＳ３で特定した対象物体を目標物として、ステップＳ４で決定した自動運転制御を実行するための制御を行う（ステップＳ５）。

以上に説明したように、本実施形態の運転支援システム１００は、運転者の視線、移動体の周辺の３次元的な情報（周辺環境情報）、および、運転者の発話に基づいて、対象物体を特定することにより、運転者が対象としている物体（対象物体）が地図情報に含まれない動的（ダイナミックな）物体であっても、該物体を特定できる。本実施形態においては、運転者の視線、運転者の発話に加えて、地図上に存在しないダイナミックな物体（例えば歩行者や自転車、空き駐車スペースなど）をも包含する周辺環境情報を用いて対象物体を特定するので、例えば運転者が地図上に存在しないダイナミックな物体を注視している場合であっても、運転者が注視している物体（対象物体）を正確に特定することができる。

また、本実施形態の運転支援システム１００は、運転者の発話に基づいて、上記特定した対象物体を目標物とする自動運転制御を決定する。これにより、ユーザの意図を適切に反映させた自動運転制御を決定することができる。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

なお、例えば上述の状態情報は、運転者の指示動作（ジェスチャ）を示す情報であってもよい。例えば運転者の指示動作を認識できるジェスチャ認識器が車内に設けられ、第１の取得部１０１は、このジェスチャ認識器により認識されたジェスチャを示す情報を、状態情報として取得することもできる。そして、制御部１０４は、運転者のジェスチャ、周辺環境情報、および、運転者の発話に基づいて、対象物体を特定することもできる。この例では、ジェスチャに応じた運転者の指示方向（運転者が指し示す方向のベクトル）が、上述の実施形態における視線（視線ベクトル）の代わりとなる。

一例として、「そこ止めて」という運転者の発話を受け付けた場合を想定する。この場合、制御部１０４は、第１の対応情報を参照して、運転者の発話に含まれる「そこ」というキーワードに対応する対象物体特定情報を選択し、その選択した対象物体特定情報と、そのときの状態情報と、そのときの周辺環境情報とに基づいて、対象物体を特定する。図５の例では、「そこ」というキーワードに対しては、現在の視線上の物体を対象物体として特定することを示す対象物体特定情報が対応付けられているが、本実施形態においては、上述の第１の実施形態における「視線」は「運転者の指示方向」に置き換わるので、制御部１０４は、運転者の発話を受け付けたときに第２の取得部１０２により取得された周辺環境情報に含まれる物体のうち、そのときに第１の取得部１０１により取得された状態情報が示す運転者の指示方向に存在する物体を、対象物体として特定することになる。また、制御部１０４は、第２の対応情報を参照して、運転者の発話に含まれる「止めて」というキーワードに対応する自動運転制御情報を選択し、その選択した自動運転制御情報が示す自動運転制御を決定する。上述したように、この場合、制御部１０４は、駐車の自動運転制御を実行することを決定する。以上のようにして、制御部１０４は、運転者の上記発話を受け付けたときに第２の取得部１０２により取得された周辺環境情報に含まれる物体のうち、そのときに第１の取得部１０１により取得された状態情報が示す運転者の指示方向に存在する物体を対象物体として特定し、その特定した対象物体を目標物として、駐車の自動運転制御を実行することを決定し、この自動運転制御に必要な車両１の各部に対して指示（命令）を出す。

さらに、例えば第１の取得部１０１は、状態情報として、運転者の視線とジェスチャの両方を取得する形態であってもよい。そして、運転者の発話を受け付けたときに、運転者の視線とジェスチャの両方が第１の取得部１０１により取得された場合はジェスチャを優先させ、運転者のジェスチャ、周辺環境情報、および、運転者の発話に基づいて、対象物体を特定してもよい。これにより、運転者の意図をより適切に反映させて対象物体を特定することができる。

１ 車両
１１ モニタ装置
１４ ＥＣＵ
１５ 撮像部
１００ 運転支援システム
１０１ 第１の取得部
１０２ 第２の取得部
１０３ 音声入力受付部
１０４ 制御部

Claims (6)

1. 移動体の運転者の状態を示す状態情報を取得する第１の取得部と、
   前記移動体の位置を示す位置情報、地図情報、および、前記移動体の周辺の物体を検出するための周辺物体検出部により検出された情報に基づく、前記移動体の周辺の３次元的な情報を取得する第２の取得部と、
   前記運転者の発話を受け付ける音声入力受付部と、
   前記状態情報、前記移動体の周辺の３次元的な情報、および、前記運転者の発話に基づいて、前記運転者が対象としている物体を示す対象物体を特定する制御部と、を備える、
   運転支援装置。
2. 前記制御部は、
   前記運転者の発話に基づいて、前記特定した前記対象物体を目標物とする自動運転制御を決定する、
   請求項１に記載の運転支援装置。
3. 前記制御部は、
   前記対象物体を特定するための対象物体特定情報が複数のキーワードに対応付けられた第１の対応情報に基づいて、前記運転者の発話に含まれるキーワードに対応付けられた前記対象物体特定情報を選択し、その選択した前記対象物体特定情報と、前記状態情報と、前記移動体の周辺の３次元的な情報と、に基づいて前記対象物体を特定する、
   請求項１または２に記載の運転支援装置。
4. 前記制御部は、
   自動運転制御を示す自動運転制御情報が複数のキーワードに対応付けられた第２の対応情報に基づいて、前記運転者の発話に含まれるキーワードに対応付けられた前記自動運転制御情報を選択し、その選択した前記自動運転制御情報が示す前記自動運転制御を決定する、
   請求項２に記載の運転支援装置。
5. 前記状態情報は、前記運転者の視線を示す情報である、
   請求項１乃至４のうちの何れか１項に記載の運転支援装置。
6. 前記状態情報は、前記運転者の指示動作を示す情報である、
   請求項１乃至４のうちの何れか１項に記載の運転支援装置。

Images