JP2019199218A - 運転操作システム、方法及びプログラム - Google Patents

Abstract

【課題】 自動運転車両の自動運転中に乗員の意図に合致した適切な介入操作を行うことが可能な運転操作システムを提供する。【解決手段】 運転操作システム（２０）では、操作内容学習部（３０）は、自動運転車両の乗員による自動運転に介入する運転操作指示から自動運転車両の運転操作内容を決定するための学習を行う。操作内容決定部（４０）は、操作内容学習部（３０）による学習結果に基づいて、自動運転車両の乗員によって入力された運転操作指示から自動運転車両の運転操作内容を決定する。【選択図】 図１

Description

本発明は、自動運転車両の自動運転中に、乗員による運転操作指示によって介入操作を行うための運転操作システム、方法及びプログラムに関する。

従来、自動運転車両の乗員が目的地を指定することにより、自動運転車両を指定された目的地まで自動運転する様々な自動運転システムが提案されている。

自動運転車両が指定された目的地まで自動運転される場合には、その途中で、自動運転車両に何らかの介入操作を行うことが想定される。

本発明は上記課題に鑑みてなされたものであり、その目的は、自動運転車両の自動運転中に乗員の意図に合致した適切な介入操作を行うことが可能な運転操作システム、方法及びプログラムを提供することにある。

本発明の第１実施態様は、自動運転車両の乗員による自動運転に介入する運転操作指示から自動運転車両の運転操作内容を決定するための学習を行う操作内容学習部と、前記操作内容学習部による学習結果に基づいて、自動運転車両の乗員によって入力された運転操作指示から自動運転車両の運転操作内容を決定する操作内容決定部と、を具備することを特徴とする運転操作システムである。

本実施態様では、運転操作指示から運転操作内容を決定するための学習を行い、当該学習結果に基づいて、自動運転車両の乗員から入力された運転操作指示から自動運転の運転操作内容を決定するようにしている。このため、自動運転車両の自動運転中に乗員の意図に合致した適切な介入操作を行うことが可能となっている。

本発明の第２実施態様は、前記操作内容学習部は、自動運転車両の乗員によって入力された運転操作指示から決定された運転操作内容に基づいて自動運転車両の自動運転が行われている途中に、自動運転車両の乗員によって追加の運転操作指示が入力された場合には、元の運転操作内容を追加の運転操作指示から決定された追加の運転操作内容によって変更した変更後の運転操作内容が元の運転操作指示から決定されるように追加学習を行う、ことを特徴とする第１実施態様の運転操作システムである。

本実施態様では、自動運転車両の乗員から入力された運転操作指示に基づいて自動運転が行われている途中に、追加の運転操作指示が入力された場合には、変更後の運転操作内容が元の運転操作指示から決定されるように、運転操作指示から運転操作内容を決定する追加学習を行うようにしている。このため、個々の乗員の嗜好に適合した適切な介入操作を行うことが可能となっている。

本発明の第３実施態様は、前記運転操作指示は自然言語による運転操作指示文であり、前記運転操作内容は運転操作量であり、前記操作内容学習部は、運転操作指示文の単語ベクトルから文脈ベクトルを抽出するための学習を行う文脈学習部と、運転操作指示文の文脈ベクトルから、運転操作量を決定する制御パラメーターを決定するための学習を行うパラメーター学習部と、を有し、前記操作内容決定部は、自動運転車両の乗員によって入力された運転操作指示文から単語ベクトルを生成する単語ベクトル生成部と、前記文脈学習部による学習結果に基づいて、前記単語ベクトル生成部によって生成された単語ベクトルから文脈ベクトルを抽出する文脈ベクトル抽出部と、前記パラメーター学習部による学習結果に基づいて、前記文脈ベクトル抽出部によって抽出された文脈ベクトルから制御パラメーターを決定するパラメーター決定部と、前記文脈ベクトル抽出部によって抽出された文脈ベクトル及び前記パラメーター決定部によって決定された制御パラメーターに基づいて運転操作量を決定する運転操作量決定部と、を有する、ことを特徴とする第１実施態様の運転操作システムである。

本実施態様では、運転操作指示文から運転操作量を決定するための学習を行い、当該学習結果に基づいて、自動運転車両の乗員から入力された運転操作指示文から運転操作量を決定するようにしている。このため、乗員の運転操作指示文に対応した適切な介入操作を行うことが可能となっている。

本発明の第４実施態様は、前記操作内容学習部は、運転操作指示文で使用される単語を学習する単語学習部と、単語間の非類似度を距離によって表現する単語ベクトル空間を学習する類似度学習部と、をさらに有し、前記単語ベクトル生成部は、運転操作指示文に含まれる単語が前記単語学習部によって学習された既知語ではない未知語である場合には、前記類似度学習部によって学習された単語ベクトル空間に基づいて、未知語に近接する既知語を選択して当該既知語から単語ベクトルを生成する、ことを特徴とする第３実施態様の運転操作システムである。

本実施態様では、入力された運転操作指示文に含まれる単語が未知語である場合には、学習された単語ベクトル空間に基づいて未知語に近接する既知語を選択して、入力された運転操作指示文から自動運転の運転操作量を決定するようにしている。このため、自動運転車両の乗員から入力された運転操作指示文に未知語が含まれる場合であっても、乗員の運転操作指示文に対応した適切な介入操作を行うことが可能となっている。

本発明の第５実施態様は、前記パラメーター学習部は、自動運転車両の乗員によって入力された元の運転操作指示文から決定された元の運転操作量に基づいて自動運転車両の自動運転が行われている途中に、自動運転車両の乗員によって追加の運転操作指示文が入力された場合には、元の運転操作量を追加の運転操作指示文から決定された追加の運転操作量によって変更した変更後の運転操作量が元の運転操作指示文から決定されるように追加学習を行う、ことを特徴とする第４実施態様の運転操作システムである。

本実施態様では、自動運転車両の乗員から入力された運転操作指示文に基づいて自動運転が行われている途中に、追加の運転操作指示文が入力された場合には、変更後の運転操作量が元の運転操作指示文から決定されるように、運転操作指示文から運転操作量を決定する追加学習を行うようにしている。このため、個々の乗員の嗜好に適合した適切な介入操作を行うことが可能となっている。

本発明の第６実施態様は、一連の運転操作指示が全体として所定の臨時操作をなしていると判断された場合には、運転操作指示の履歴を記憶する操作指示記憶部と、前記操作指示記憶部に記憶された運転操作指示の履歴に基づき、運転操作指示が行われると予測される予測領域を抽出し、抽出された予測領域において行われると予測される臨時操作を推定する操作指示学習部と、をさらに具備し、前記操作内容決定部は、前記操作指示学習部の推定結果に基づき、所定の予測領域において自動運転車両の乗員によって入力された運転操作指示が予測された臨時操作に合致すると判断された場合には、予測された臨時操作に対応する一連の運転操作指示に基づいて運転操作内容を決定する、ことを特徴とする第１実施態様の運転操作システムである。

本実施態様では、所定の予測領域において入力された運転操作指示が予測された臨時操作に合致すると判断された場合には、予測された臨時操作に対応する一連の運転操作指示に基づいて運転操作内容を決定している。このため、乗員の意図に合致した適切な臨時操作を行うことが可能となっている。

本発明の第７実施態様は、前記所定の臨時操作は、立寄り操作、迂回操作又は障害物回避操作である、ことを特徴とする第６実施態様の運転操作システムである。
本実施態様では、乗員の意図に合致した適切な立寄り操作、迂回操作又は障害物回避操作を行うことが可能となっている。

本発明の第８実施態様は、運転操作指示の履歴を記憶する操作指示記憶部と、前記操作指示記憶部に記憶された運転操作指示の履歴に基づき、運転操作指示が行われると予測される予測領域を抽出し、抽出された予測領域において行われると予測される運転操作指示を推定する操作指示学習部と、をさらに具備し、前記操作内容決定部は、自動運転車両が自動運転経路上の所定の予測領域に接近する場合には、前記操作指示学習部の推定結果に基づいて、当該予測領域で行われる運転操作指示を予測し、予測された運転操作指示の実行準備のための運転操作内容を決定する、ことを特徴とする第１実施態様の運転操作システムである。

本実施態様では、自動運転車両が自動運転経路上の所定の予測領域に接近する場合には、当該予測領域において行われると予測された運転操作指示の実行準備のための運転操作内容を決定している。このため、予測された運転操作指示がなされた場合には、当該運転操作を適切に行うことが可能となっている。

本発明の第９実施態様は、前記操作内容決定部は、自動運転車両に搭載された第１の操作内容決定部と、クラウド上に構成された第２の操作内容決定部と、を有し、前記運転操作システムは、運転操作指示の履歴を記憶する操作指示記憶部と、前記操作指示記憶部に記憶された運転操作指示の履歴に基づき、運転操作指示が行われると予測される予測領域を抽出し、抽出された予測領域において行われると予測される運転操作指示を推定する操作指示学習部と、自動運転車両が自動運転経路上の所定の予測領域に接近する場合には、前記操作指示学習部の推定結果に基づいて、当該予測領域で行われる運転操作指示を予測し、予測された運転操作指示に基づいて前記第１の操作決定部と前記第２の操作決定部とのいずれの操作決定部を用いるかを選択する選択部をさらに具備する、ことを特徴とする第１実施態様の運転操作システムである。

本実施態様では、自動運転車両が自動運転経路上の所定の予測領域に接近する場合には、当該予測領域において行われると予測された運転操作指示に基づいて、自動運転車両に搭載された第１の操作決定部と、クラウド上に構成された第２の操作決定部とのいずれの操作決定部を用いるかを選択している。このため、乗員からの運転操作指示に対応した適切な操作決定部を用いて運転操作を行うことが可能となっている。

本発明の第１０実施態様は、自動運転に介入する運転操作指示から元の自動運転に復帰する運転操作指示までの周辺環境状況の履歴を記憶する復帰状況記憶部と、前記復帰状況記憶部に記憶された周辺環境状況の履歴に基づいて、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況を学習する復帰学習部と、をさらに具備し、前記操作内容決定部は、前記復帰学習部による学習結果に基づいて、周辺環境状況から、自動運転に介入する運転操作から元の自動運転に復帰する運転操作内容を決定する、ことを特徴とする第１実施態様の運転操作システムである。

本実施態様では、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況であると判断された場合には、自動運転に介入する運転操作から元の自動運転に復帰する運転操作内容を決定している。このため、乗員が運転操作指示を行うことなく、自動運転車両を元の自動運転に復帰させることが可能となっている。

本発明の第１１実施態様は、自動運転車両の乗員による自動運転に介入する運転操作指示から自動運転車両の運転操作内容を決定するための学習を行う操作内容学習ステップと、前記操作内容学習ステップにおける学習結果に基づいて、自動運転車両の乗員によって入力された運転操作指示から自動運転車両の運転操作内容を決定する操作内容決定ステップと、を具備することを特徴とする運転操作方法である。

本発明の第１２実施態様は、コンピュータに、自動運転車両の乗員による自動運転に介入する運転操作指示から自動運転車両の運転操作内容を決定するための学習を行う操作内容学習機能と、前記操作内容学習機能による学習結果に基づいて、自動運転車両の乗員によって入力された運転操作指示から自動運転車両の運転操作内容を決定する操作内容決定機能と、を実現させることを特徴とする運転操作プログラムである。

本発明では、自動運転車両の自動運転中に乗員の意図に合致した適切な介入操作を行うことが可能となっている。

本発明の第１実施形態の自動運転車両を示すブロック図。 本発明の第１実施形態の運転操作方法を示すフロー図。 本発明の第２実施形態の自動運転システムを示すブロック図。 本発明の第２実施形態の運転操作方法を示すフロー図。 本発明の第２実施形態の立寄り操作を示す模式図。 本発明の第２実施形態の迂回操作を示す模式図。 本発明の第２実施形態の障害物回避操作を示す模式図。 本発明の第３実施形態の自動運転車両を示すブロック図。 本発明の第３実施形態の運転操作方法を示すフロー図。

本発明の各実施形態の自動運転車両ないし自動運転システムについては、自動運転車両の乗員が目的地を指定することにより、指定された目的地まで自動運転車両の自動運転を行うものであり、加えて、自動運転車両の自動運転中に、乗員による運転操作指示により、自動運転への介入操作を行うことが可能である。

図１及び図２を参照して、本発明の第１実施形態について説明する。
本実施形態の運転操作システム及び方法については、運転操作指示文から運転操作経路を決定するための学習を行い、当該学習結果に基づいて、自動運転車両の乗員から自然言語で音声入力された運転操作指示文から自動運転の運転操作経路を決定するようにしたものである。

図１を参照して、本実施形態の自動運転車両について説明する。
図１に示されるように、本実施形態の自動運転車両１０では、音声入力部１２に自動運転車両１０の乗員から自然言語による運転操作指示文が音声入力される。環境情報取得部１４は、自動運転車両１０の周辺環境情報を取得する。運転操作システム２０は、音声入力部１２に入力された運転操作指示文及び環境情報取得部１４によって取得された周辺環境情報から、自動運転車両１０の自動運転の運転操作量を決定する。車両制御部１６は、運転操作システム２０によって決定された運転操作量に基づいて車両駆動部１８を制御し、自動運転車両１０の自動運転を行う。

運転操作システム２０は、操作内容学習部３０及び操作内容決定部４０によって構成されている。
操作内容学習部３０において、単語学習部３２は、自動運転車両１０の運転操作指示文で使用される単語を学習している。類似度学習部３４は、単語間の非類似度を距離によって表現する単語ベクトル空間を学習している。文脈学習部３６は、運転操作指示文の単語ベクトルから文脈ベクトルを抽出するための学習を行っている。パラメーター学習部３８は、運転操作指示文の文脈ベクトルから、運転操作量を決定する制御パラメーターを決定するための学習を行っている。

操作内容決定部４０において、単語ベクトル生成部４２は、自動運転車両１０の乗員によって入力された運転操作指示文から単語ベクトルを生成する。単語ベクトル生成部４２は、運転操作指示文から抽出された単語が単語学習部３２によって学習された既知語ではない未知語である場合には、類似度学習部３４によって学習された単語ベクトル空間に基づいて、未知語に近接する既知語を選択して当該既知語から単語ベクトルを生成する。文脈ベクトル抽出部４４は、文脈学習部３６による学習結果に基づいて、単語ベクトル生成部４２によって生成された単語ベクトルから文脈ベクトルを抽出する。パラメーター決定部４６は、パラメーター学習部３８による学習結果に基づいて、文脈ベクトル抽出部４４によって抽出された文脈ベクトルから制御パラメーターを決定する。運転操作量決定部４８は、文脈ベクトル抽出部４４によって抽出された文脈ベクトル及びパラメーター決定部４６によって決定された制御パラメーターに基づいて運転操作量を決定する。

図２を参照して、本実施形態の運転操作方法について説明する。

学習判断ステップＳ１０
学習判断ステップＳ１０では、運転操作指示文からの運転操作量の決定が学習済みか否か判断する。運転操作指示文からの運転操作量の決定が学習済みでない場合には、運転操作学習ステップＳ１１〜Ｓ１４に進行する。運転操作指示文からの運転操作量の決定が学習済みの場合には、操作内容決定ステップＳ１５〜Ｓ１８に進行する。

操作内容学習ステップＳ１１〜Ｓ１４
操作内容学習ステップＳ１１〜Ｓ１４では、以下の各ステップＳ１１〜Ｓ１４を行う。

単語学習ステップＳ１１
単語学習ステップＳ１１では、運転操作指示文で用いられる単語を学習する。
運転操作指示文で用いられる単語としては、自動運転車両の作動を表現するものとして、右折／直進／左折、右寄せ／中央寄せ／左寄せ、加速／減速、発車／停車、徐行／復帰、駐車等が学習される。自動運転車両の作動の態様を表現するものとして、右折／左折に関して内側／外側、右寄せ／左寄に関して大きく／少し、加速／減速に関して速く／ゆっくり等が学習される。

類似度学習ステップＳ１２
類似度学習ステップＳ１２では、単語間の非類似度を距離によって表現する単語ベクトル空間を学習する。例えば、ｗｏｒｄ２ ｖｅｃ等の単語分散表現モデルを用いて、Ｗｉｋｉｐｅｄｉａ等の大規模コーパスから学習を行う。なお、学習データによる学習に先立ち、Ｗｉｋｉｐｅｄｉａ等の大規模コーパスを用いて予学習を行っておいてもよい。

単語ベクトル空間の単語については、次の式（１）により示される。ここで、Ｚは単語ベクトル、ｐは単語、ＶはＬ次元の単語ベクトル空間である。

文脈学習ステップＳ１３
文脈学習ステップＳ１３では、運転操作指示文の単語ベクトルから文脈ベクトルを抽出するための学習を行う。例えば、ＬＳＴＭ等の層再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、係受け関係等の木構造に基づく再帰的ニューラルネットワーク（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を用いて学習を行う。

運転操作指示文の単語ベクトルから文脈ベクトルを抽出するための学習については、次の式（２）により示される。

ここで、Ｓは運転操作指示文、ｈは文脈ベクトルである。
学習に用いられる学習データは次の式（３）により示される。

ここで、ｃは運転操作指示を示し、Ｃは全運転操作指示数であり、ｄは運転操作指示ｃに含まれる運転操作指示文Ｓを計数するインデックスであり、ｎ_ｃは運転操作指示ｃに含まれる運転操作指示文の総数である。

パラメーター学習ステップＳ１４
パラメーター学習ステップＳ１４では、運転操作指示文の文脈ベクトルから、運転操作量を決定する制御パラメーターを決定するための学習を行う。例えば、フィードフォワード型多層パーセプトロン（ＭＬＰ）等を用いて学習を行う。

運転操作指示文の文脈ベクトルから、運転操作量を決定する制御パラメーターを決定するための学習については、次の式（４）により示される。

ここで、Wは運転操作量を決定するための制御パラメーター、W⁰は制御パラメーターの初期値である。
学習に用いられる学習データは次の式（５）により示される。

ここで、Ｘは運転操作量としての運転操作経路である。
文脈学習ステップにおける学習結果に基づいて、運転操作指示文Ｓの単語ベクトルＺ（ｐ）から文脈ベクトルｈ（Ｓ）を抽出して、抽出された文脈ベクトルｈ（Ｓ）を学習に用いる。さらに、ＭＣＭＣ法、進化プログラミング等を用いて、運転操作経路Ｘを生成するような制御パラメーターＷを算出して、算出した制御パラメーターＷを学習に用いる。

操作内容決定ステップＳ１５〜Ｓ１８
操作内容決定ステップＳ１５〜Ｓ１８では、以下の各ステップＳ１５〜Ｓ１８を行う。

単語ベクトル生成ステップＳ１５
単語ベクトル生成ステップＳ１５では、運転操作指示文Ｓから単語ベクトルＺ（ｐ）を生成する。単語ベクトルの生成では、運転操作指示文を形態素解析によって単語に分割し、運転操作指示文の係受け解析によって単語間の係受けを解析して、単語をベクトル化する。ここで、運転操作指示文の単語が単語学習ステップＳ１１で学習した既知語以外の未知語である場合には、類似度学習ステップＳ１２で学習した単語ベクトル空間から未知語に対応する既知語を決定する。

一例として、運転操作指示文「大きく右に曲がって」から単語ベクトルを生成する場合について説明する。
［１］形態素解析
運転操作指示文を形態素解析によって単語に分割する。「大きく右に曲がって」は「大きく／右／に／曲がる／て」と分割される。ここで、「大きく」「右」「曲がる」が未知語であるとする。
［２］係受け解析
運転操作指示文の係受け解析によって単語間の係受けを解析する。「曲がる」が動詞であり、「大きく」「右」が「曲がる」に係ると解析される。また、「に」「て」のような助詞等の機能語は無視される。
［３］既知語決定
単語ベクトル空間から未知語に近接する既知語を順次選択し、未知語に対応する既知語を決定する。
［３］−１
「曲がる」と既知語との間の距離が算出され、「曲がる」の近傍の単語として「右折」「左折」が選択される。「大きく」「右」と「右折」「左折」との間の距離が夫々算出され、「右」と「右折」との間の距離が最近接であると判断される。このため、「右」「曲がる」に対応する既知語として「右折」が決定される。
［３］−２
「大きく」と既知語との間の距離が算出され、「大きく」の近傍の単語として「外側」「速く」が選択される。「外側」「速く」と「右折」との間の距離が夫々算出され、「外側」と「右折」との間の距離が最近接であると判断される。このため、「大きく」に対応する既知語として「外側」が決定される。
［４］単語ベクトル生成
運転操作指示文の既知語ないし未知語から決定された既知語から単語ベクトルを生成する。「大きく右に曲がって」という運転操作指示文から、単語ベクトルＺ（外側）、Ｚ（右折）、Ｚ（＜文末＞）が生成される。

その他の一例として、運転操作指示文「真っ直ぐ行って」については、「真っ直ぐ／行く」と分割され、動詞「行く」に「真っ直ぐ」が係ると解析され、「行く」の近傍の既知語として「加速」「直進」「徐行」が選択され、「真っ直ぐ」には「直進」が最近接すると判断され、単語ベクトルＺ（直進）、Ｚ（＜文末＞）が生成される。

なお、運転操作指示文に未知語が含まれている場合には、当該未知語を運転操作指示文で用いられる単語として学習するようにしてもよい。

文脈ベクトル抽出ステップＳ１６
文脈学習ステップＳ１３による学習結果に基づいて、単語ベクトル生成ステップＳ１５で得られた運転操作指示文Ｓの単語ベクトルＺ（ｐ）から文脈ベクトルｈ（Ｓ）を抽出する。

パラメーター決定ステップＳ１７
パラメーター学習ステップＳ１４における学習結果に基づいて、文脈ベクトル抽出ステップＳ１６において抽出された文脈ベクトルｈ（Ｓ）から制御パラメーターＷ^Ｓを決定する。

運転操作量決定ステップＳ１８
文脈ベクトル抽出ステップＳ１７において抽出された文脈ベクトルｈ（Ｓ）、及び、パラメーター決定ステップＳ１７において決定された制御パラメーターＷ^Ｓから、運転操作量として運転操作経路Ｘ^Ｓを決定する。

以下、制御パラメーターＷに基づく運転操作経路Ｘの決定方法について説明する。
制御パラメーターＷは次の式（６）により示される。

ここで、Ｋは制御パラメーターの次元である。
また、運転操作経路Ｘは次の式（７）により示される。

ここで、ｘは位置ベクトル、ｔは時刻である。

運転操作経路Ｘは次の式（８）〜（１２）で示される制約条件付き最適化問題の解として与えられる。なお、初期条件は周辺環境情報から決定され、終了条件は周辺環境情報及び運転操作指示文Ｓの文脈ベクトルｈ（Ｓ）から決定される。

ここで、Ｔは運転操作実行時間、ｖは速度ベクトル、ａは加速度ベクトル、ωはヨーレート、ｊはジャークであり、ａ_ｍａｘ、ω_ｍａｘは夫々最大加速度及び最大ジャークである。

ラグランジアンＬは次の式（１３）により与えられる。

ラグランジアンＬの第１項から第５項は次の式（１４）〜（２０）により与えられる。これらラグランジアンＬの第１項から第５項は円滑な運転操作経路を実現するためのものである。

ここで、lは走行レーンの中央からの自動運転車両の左右方向の変位量であり、複数の走行レーンが存在する場合には、各走行レーンの中央において極小値をとる。

ここで、κは加速度のノルムに比例する曲率、ｖ_ｑは曲率κから決定される適正速さである。

ラグランジアンＬの第６項は次の式（２１）〜（２３）で与えられる。ラグランジアンＬの第６項はオブジェクトとの衝突回避を実現するためのものである。

ここで、τはオブジェクトのタイプ、Oはオブジェクト、Ｏ_τはタイプτのオブジェクトＯの集合である。１_ＡはオブジェクトＯが歩道等の安全エリアＡに含まれるか否かを示す指示関数であり、１_Ａ［ｘ］はｘが安全エリアＡに含まれる場合には１、ｘが安全エリアに含まれない場合には０をとる。ｒ_Ｏは自動運転車両とオブジェクトＯとの間の距離、Ｂ（Ｏ）はオブジェクトＯの外接円の直径、ｖ_ＯはオブジェクトＯの速さ、Ｕ（ｖ_Ｏ）はｖ_Ｏ＝０で１となる正値単調減少関数、θ_Ｏは自動運転車両の進行方向に対するオブジェクトＯのなす角度、α_τ、β_τ、ζ_τはタイプτのオブジェクトに関するパラメーターである。

ラグランジアンＬの第６項については、以下の式（２３）のように近似できる。

即ち、外接円の直径が大きいオブジェクトＯほどポテンシャルが大きくなり、また、自動運転車両の進行方向に近い方向に位置するオブジェクトＯほどポテンシャルが大きくなる。

ラグランジアンＬの第７項は次の式（２５）で与えられる。ラグランジアンＬの第７項はリスク感覚を反映するためのものであり、オブジェクトＯの立体角の拡大率である。

以上説明した制約条件付き最適化問題については、運転操作経路を離散的な点列で表現して、ＳＱＰ（Ｓｅｑｕｅｎｔｉａｌ Ｑｕａｄｒａｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）法等を適用して解くことが可能である。この場合には、制約条件付き最適化問題を解いて得られた運転操作経路については、次の式（２６）のように表される。

ここで、ｈは所定の分割定数である。

追加操作内容学習ステップＳ１９〜Ｓ２１
追加操作内容学習ステップＳ１９〜Ｓ２１では、以下の各ステップを行う。

追加操作指示文判断ステップＳ１９
追加操作指示判断ステップＳ１９では、元の運転操作指示文から決定された元の運転操作量に基づいて自動運転車両の自動運転が行われている途中に、自動運転車両の乗員によって追加の運転操作指示文が入力されたか否か判断する。追加の運転操作指示文が入力された場合には、運転操作量変更ステップＳ２０に進行する。追加の運転操作指示文が入力されなかった場合には、運転操作方法を終了する。

運転操作量変更ステップＳ２０
運転操作量変更ステップＳ２０では、元の運転操作指示文から決定された元の運転操作量を追加の運転操作指示文から決定された追加の運転操作量によって変更して、変更後の運転操作量を得る。本実施形態では、元の運転操作指示文Ｓ_ｏから決定された元の運転操作量Ｘ_ｏを、追加の運転操作指示文Ｓ_ａから決定された追加の運転操作量Ｘ_ａによって変更して、変更後の運転操作量Ｘ_ｍを得る。

追加パラメーター学習ステップＳ２１
追加パラメーター学習ステップＳ２１では、変更後の運転操作量が元の運転操作指示文から決定されるように追加学習を行う。本実施形態では、元の運転操作指示文Ｓ_ｏから変更後の運転操作量Ｘ_ｍが決定されるように、パラメーター学習ステップで説明したように、運転操作指示文の文脈ベクトルから制御パラメーターを決定するための追加学習を行う。運転操作指示文Ｓ_ｏの単語ベクトルＺ_ｏ（ｐ）から文脈ベクトルｈ_ｏ（Ｓ）を抽出し、また、運転操作量Ｘ_ｍから制御パラメーターＷ_ｍを算出して学習に用いる。

本実施形態の運転操作システム及び方法は次の効果を奏する。
本実施形態の運転操作システム及び方法では、運転操作指示文から運転操作経路を決定するための学習を行い、当該学習結果に基づいて、自動運転車両の乗員から自然言語で音声入力された運転操作指示文から自動運転の運転操作経路を決定するようにしている。このため、自動運転車両の自動運転中に、乗員の運転操作指示文に対応した適切な介入操作を行うことが可能となっている。

さらに、自動運転車両の乗員から自然言語で音声入力された運転操作指示文に未知語が含まれる場合には、学習された単語ベクトル空間に基づいて未知語に近接する既知語を決定して、入力された運転操作指示文から自動運転の運転操作経路を決定するようにしている。このため、自動運転車両の乗員から入力された運転操作指示文に未知語が含まれる場合であっても、乗員の運転操作指示文に対応した適切な介入操作を行うことが可能となっている。

加えて、自動運転車両の乗員から自然言語で音声入力された元の運転操作指示文に基づいて自動運転が行われている途中に、追加の運転操作指示文が入力された場合には、変更後の運転操作経路が元の運転操作指示文から決定されるように、運転操作指示文の文脈ベクトルから制御パラメーターを決定するための追加学習を行うようにしている。このため、個々の乗員の嗜好に適合した適切な介入操作を行うことが可能となっている。

なお、本実施形態では、制御パラメーターとして、目的とする運転操作経路を制約条件付き最適化問題を介して生成するためのパラメーターを用いているが、その他の様々なパラメーターを用いることが可能であり、例えば、目的とする運転操作経路の元の運転操作経路からの変位を示すパラメーターを直接用いるようにしてもよい。

図３乃至図７を参照して、本発明の第２実施形態について説明する。
本実施形態の運転操作システム及び方法については、自動運転車両の乗員によって行われた運転操作指示の履歴から乗員の行う運転操作指示ないし臨時操作を推定し、乗員の行う運転操作指示ないし臨時操作を予測して、自動運転の運転操作内容を決定するようにしたものである。

なお、第１実施形態の操作内容決定部と同様に、本実施形態の操作内容決定部も操作内容学習部の学習結果を利用するものであるが、本実施形態では操作内容学習部については説明を省略する。

図３に示されるように、本実施形態の自動運転システムでは、操作指示記憶部６０は、自動運転車両１０の自動運転中に乗員によって行われた一連の運転操作指示が全体として所定の臨時操作をなしていると判断された場合には、運転操作指示の履歴を記憶する。操作指示学習部６２は、操作指示記憶部６０に記憶された運転操作指示の履歴に基づき、運転操作指示が行われると予測される予測領域を抽出し、抽出された予測領域において行われると予測される運転操作指示及び臨時操作を推定する。

運転操作システム２０は、自動運転車両１０に搭載された操作内容決定部４０ａと、クラウド５０上に構成された操作内容決定部４０ｂと、を有する。選択部６４は、自動運転車両１０が自動運転経路上の所定の予測領域に接近しているか否か判断し、所定の予測領域に接近していると判断した場合には、操作指示学習部６２の推定結果に基づいて、当該予測領域で行われる運転操作指示を予測し、予測された運転操作指示に基づいて車載の操作内容決定部４０ａとクラウド５０上の操作内容決定部４０ｂとのいずれの操作内容決定部４０ａ，４０ｂを用いるかを選択する。

操作内容決定部４０ａ，４０ｂは、選択部６４によって自動運転車両１０が自動運転経路上の所定の予測領域に接近していると判断された場合には、選択部６４で予測された運転操作指示の実行準備のための運転操作内容を決定する。また、操作内容決定部４０ａ，４０ｂは、操作内容学習部３０の推定結果に基づいて、所定の予測領域において行われる臨時操作を予測し、自動運転車両１０の乗員によって入力された運転操作指示が予測された臨時操作に合致すると判断された場合には、予測された臨時操作に対応する一連の運転操作指示に基づいて運転操作内容を決定する。

なお、車載あるいはクラウド上５０の操作内容決定部４０ａ，４０ｂのみが用いられ、選択部６４が用いられない場合には、操作内容決定部４０ａ，４０ｂは、選択部６４と同様に、自動運転車両１０が自動運転経路上の所定の予測領域に接近しているか否か判断し、所定の予測領域に接近していると判断した場合には、操作指示学習部６２の推定結果に基づいて、当該予測領域で行われる運転操作指示を予測する。

図４乃至図７を参照して、本実施形態の運転操作方法について説明する。
本実施形態では、臨時操作として、立寄り操作、迂回操作、障害物回避操作を用いる。

臨時操作学習判断ステップＳ３０
臨時操作学習判断ステップＳ３０では、臨時操作を学習済みか否か判断する。臨時操作を学習済みではない場合には、臨時操作学習ステップＳ３１〜Ｓ３３に進行する。臨時操作を学習済みである場合には、操作内容決定ステップＳ３４〜Ｓ４２に進行する。

臨時操作学習ステップＳ３１〜Ｓ３３
臨時操作学習ステップＳ３１〜Ｓ３３では、以下の各ステップＳ３１〜Ｓ３３を行う。

運転操作指示記憶ステップＳ３１
運転操作指示記憶ステップＳ３１では、一連の運転操作指示が全体として所定の臨時操作をなしていると判断された場合には、運転操作指示の履歴を記憶する。

図５に示されるように、一連の運転操作指示により、元の自動運転経路から外れた後に駐車を行った場合には、立寄り操作を行ったと判断する。そして、一連の運転操作指示ｃ、当該運転操作指示ｃを行った位置Ｘ、並びに、駐車を行った駐車位置Ｘ_Ｇ及びランドマークＬ_Ｇを記憶する。

図６に示されるように、一連の運転操作指示により、元の自動運転経路から外れた後に元の自動運転経路に復帰した場合には、迂回操作を行ったと判断する。そして、一連の運転操作指示ｃ、当該運転操作指示ｃを行った位置Ｘ、元の自動運転経路への復帰位置Ｘ_Ｒ、並びに、迂回路Ｒを記憶する。

図７に示されるように、一連の運転操作指示により、元の自動運転経路から外れることなく、自動運転車両の進行中に、左右方向の一方側に寄った後に他方側に戻った場合には、障害物回避操作を行ったと判断する。そして、一連の運転操作指示ｃ、当該運転操作指示ｃを行った位置Ｘ、元の走行状態への復帰位置Ｘ_Ｑ、並びに、障害物Ｑを記憶する。

予測領域抽出ステップＳ３２
操作指示学習ステップＳ３２では、運転操作指示記憶ステップＳ３１で記憶された運転操作指示の履歴に基づき、運転操作指示が行われると予測される予測領域を抽出する。

本実施形態では、運転操作指示を行った位置Ｘについては次の式（２７）によって示される。

ここで、Ｍは運転操作指示を行った位置の総数である。

運転操作指示を行った位置Ｘの集合に対してクラスタリングを行い、予測領域としてクラスタＥを抽出する。クラスタＥは次の式（２８）によって示される。

ここで、ｍはクラスタＥの平均位置、σはクラスタＥの分散、Ｐはクラスタの総数である。クラスタリング方法としては、様々な方法が用いられるが、例えば、各運転操作指示位置Ｘについて、所定の距離以内にある位置点をエッジで連結して連結グラフないしクリークを抽出し、連結グラフないしクリークのノード数が所定の個数以上である場合にクラスタとして抽出するようにしてもよい。

臨時操作推定ステップＳ３３
臨時操作推定ステップＳ３３では、予測領域抽出ステップＳ３２において抽出された予測領域において行われると予測される運転操作指示及び臨時操作を推定する。

本実施形態では、各クラスタＥ_Ｐにおいて、運転操作指示及びその位置の密度分布ρ_ｐ（ｃ）及びρ_ｐ（ｍ_ｐｃ，σ_ｐｃ）、立寄り操作についての駐車位置及びランドマークの密度分布ρ_ｐ（Ｘ_Ｇ）及びρ_ｐ（Ｌ_Ｇ）、迂回操作についての復帰位置及び迂回路の密度分布ρ_ｐ（Ｘ_Ｒ）及びρ_ｐ（Ｒ）、障害物回避操作についての復帰位置及び障害物の密度分布ρ_ｐ（Ｘ_Ｑ）及びρ_ｐ（Ｑ）を推定する。密度分布の推定には例えばパーティクルフィルタを用いる。

操作内容決定ステップＳ３４〜Ｓ４２
操作内容決定ステップＳ３４〜Ｓ４２では、以下の各ステップＳ３４〜Ｓ４２を行う。

予測領域接近判断ステップＳ３４
予測領域接近判断ステップＳ３４では、自動運転車両が自動運転経路上の所定の予測領域に接近しているか否か判断する。自動運転車両が自動運転経路上の所定の予測領域に接近している場合には、操作指示予測ステップＳ３５に進行する。

操作指示予測ステップＳ３５
操作指示予測ステップＳ３５では、予測領域接近判断ステップＳ３４で接近していると判断された予測領域について、当該予測領域で行われる運転操作指示を予測する。本実施形態では、運転操作指示及びその位置の密度分布ρ（ｃ）及びρ（ｍ_ｃ，σ_ｃ）から、予測領域としてのクラスタＥで行われる運転操作指示ｃを予測する。

操作内容決定部選択ステップＳ３６
操作内容決定部選択ステップＳ３６では、操作指示予測ステップＳ３５において予測された運転操作指示に基づいて、車載の操作内容決定部とクラウド上の操作内容決定部とのいずれの操作内容決定部を用いるか選択する。例えば、右左折、駐車等、予測された運転操作指示から運転操作内容を決定するのに周辺環境情報とのグラウンディングが必要である場合には、クラウド上の操作内容決定部を選択し、必要ない場合には車載の操作内容決定部を選択する。

待機徐行ステップＳ３７
待機徐行ステップＳ３７では、操作指示予測ステップＳ３５において予測された運転操作指示の実行準備のために、予測領域に所定の待機距離まで接近した時点で、待機徐行に対応する運転操作内容を決定する。本実施形態では、予測領域に所定の待機距離Ｌまで接近した時点で、自動運転車両の速度を通常の徐行速度よりは若干速い待機速度Ｖ_wまで減速する。待機距離Ｌは以下の式（２９）から（３４）によって示される。

ここで、ａ_ｗは待機速度へ減速する場合の最大加速度である。

ここで、Ｖ_０は自動運転車両の待機徐行前の通常走行速度である。

ここで、Ｔ_ｗは所定の待機時間である。

ここで、ｃは予測された運転操作指示、Ｔ_ｃは運転操作指示ｃの運転操作経路を算出するのに要する時間である。

操作指示入力判断ステップＳ３８
操作指示入力判断ステップＳ３８では、予測領域接近判断ステップＳ３４で接近していると判断された予測領域において、運転操作指示が入力されたか否か判断する。運転操作指示が入力されたと判断された場合には、臨時操作合致判断ステップＳ３９に進行する。運転操作指示が入力されていないと判断された場合には、待機徐行復帰ステップＳ４２に進行する。

臨時操作合致判断ステップＳ３９
臨時操作合致判断ステップＳ３９では、操作指示入力判断ステップＳ３８において入力された運転操作指示が予測された臨時操作に合致するか否か判断する。入力された運転操作指示が予測された臨時操作に合致すると判断された場合には、臨時操作内容決定ステップＳ４０に進行する。入力された運転操作指示が予測された臨時操作に合致しないと判断された場合には、通常操作内容決定ステップＳ４１に進行する。

本実施形態では、予測領域としてのクラスタＥにおいて、立寄り操作の駐車位置及びランドマークの密度分布ρ（Ｘ_Ｇ）及びρ（Ｌ_Ｇ）、迂回操作の復帰位置及び迂回路の密度分布ρ（Ｘ_Ｒ）及びρ（Ｒ）、障害物回避操作の復帰位置及び障害物の密度分布ρ（Ｘ_Ｑ）及びρ（Ｑ）から臨時操作を予測し、入力された運転操作指示文が予測された臨時操作に合致するか判断する。

例えば、図５に示されるように、クラスタＥ_１においては、ランドマークであるコンビニαの密度関数ρ（Ｌ_Ｇ＝コンビニα）が０以上であるため、臨時操作としてコンビニαへの立寄り操作が予測される。入力された運転操作指示文が「コンビニに寄って」である場合には、運転操作指示文「コンビニに寄って」は予測された臨時操作であるコンビニαへの立寄り操作に合致することになる。

同様に、図６に示されるように、クラスタＥ_４においては、迂回路βの密度関数ρ（Ｒ＝迂回路β）が０以上であるため、臨時操作として迂回路βに沿った迂回操作が予測される。入力された運転操作指示文が「迂回して」である場合には、運転操作指示文「迂回して」は予測された臨時操作である迂回路βに沿った迂回操作に合致することになる。

図７に示されるように、障害物回避操作について、クラスタＥ_７においては、障害物γの密度関数ρ（Ｑ＝障害物γ）が０以上であるため、臨時操作として障害物γの回避操作が予測される。入力された運転操作指示文が「避けて」である場合には、運転操作指示文「避けて」は予測された臨時操作である障害物γの回避操作に合致することになる。

臨時操作内容決定ステップＳ４０
臨時操作内容決定ステップＳ４０では、予測された臨時操作に対応する一連の運転操作指示を選択し、選択された一連の運転操作指示に基づいて運転操作内容を決定する。本実施形態では、各クラスタＥ_Ｐにおける運転操作指示及びその位置の密度分布ρ_ｐ（ｃ）及びρ_ｐ（ｍ_ｐｃ，σ_ｐｃ）から、予測された臨時操作に対応する一連の運転操作指示を選択する。

例えば、図5に示されるように、クラスタＥ_１においては、臨時操作としてコンビニαへの立寄り操作が予測される。ここで、クラスタＥ_１において、左折の運転操作指示及びその位置の密度分布ρ_１（ｃ＝左折）及びρ_１（ｍ_{１ｃ＝左折}，σ_{１ｃ＝左折}）は０以上である。クラスタＥ_２において、コンビニαの密度分布ρ_２（Ｌ_Ｇ＝コンビニα）が０以上であり、さらに右折の運転操作指示及びその位置の密度分布ρ_２（ｃ＝右折）及びρ_２（ｍ_{２ｃ＝右折}，σ_{２ｃ＝右折}）が０以上である。クラスタＥ_３において、コンビニαの密度分布ρ_３（Ｌ_Ｇ＝コンビニα）が０以上であり、さらに駐車の運転操作指示及びその位置の密度分布ρ_３（ｃ＝駐車）及びρ_３（ｍ_{３ｃ＝駐車}，σ_{３ｃ＝駐車}）が０以上である。以上から、コンビニαへの立寄り操作に対応する一連の運転操作指示として、クラスタＥ_１の位置における左折、クラスタＥ_２の位置における右折、クラスタＥ_３の位置における駐車が選択される。

同様に、図６に示されるように、迂回路βに沿った迂回操作に対応する一連の運転操作指示として、クラスタＥ_４の位置における右折、クラスタＥ_５の位置における左折、クラスタＥ_６の位置における直進が選択される。

また、図７に示されるように、障害物γの回避操作に対応する一連の運転操作指示として、クラスタＥ_７の位置における右寄せ、クラスタＥ_８の位置における左寄せが選択される。

通常操作内容決定ステップＳ４１
通常操作内容決定ステップＳ４１では、通常どおり、入力された運転操作指示文から自動運転車両の自動運転の運転操作内容を決定する。

待機徐行復帰ステップＳ４２
待機徐行復帰ステップＳ４２では、待機徐行から通常走行への復帰に対応する運転操作内容を決定する。本実施形態では、自動運転車両の速度を待機速度Ｖwから通常走行速度Ｖ_０まで加速する。

本実施形態の運転操作システム及び方法は次の効果を奏する。
本実施形態の運転操作システム及び方法では、所定の予測領域において入力された運転操作指示が予測された立寄り操作、迂回操作あるいは障害物回避操作に合致すると判断された場合には、予測された立寄り操作等に対応する一連の運転操作指示に基づいて運転操作内容を決定している。このため、乗員の意図に合致した適切な立寄り操作等を行うことが可能となっている。

さらに、自動運転車両が自動運転経路上の所定の予測領域に接近する場合には、当該予測領域において行われると予測された運転操作指示の実行準備のために、予測領域に所定の待機距離まで接近した時点で、自動運転車両に待機徐行を行わせるようにしている。このため、予測領域において予測された運転操作指示がなされた場合に、当該運転操作を適切に行うことが可能となっている。

加えて、自動運転車両が自動運転経路上の所定の予測領域に接近する場合には、当該予測領域において行われると予測された運転操作指示に基づいて、車載の操作内容決定部とクラウド上の操作内容決定部とから操作内容決定部を選択するようにしている。このため、乗員からの運転操作指示に対応した適切な操作決定部を用いて運転操作を行うことが可能となっている。

なお、所定の予測領域において入力された運転操作指示が当該予測領域において行われると予測された運転操作指示と異なる場合には、入力された運転操作指示を実行するか否か確認するようにしてもよい。

また、臨時操作として迂回操作や障害物回避操作が繰り返し実行される場合には、自動運転車両の自動運転の開始時に目的地を指定した際に決定される自動運転経路について、迂回操作や障害物回避操作を反映した変更後の自動運転経路を設定するようにしてもよい。

図８及び図９を参照して、本発明の第３実施形態について説明する。
本実施形態の運転操作システム及び方法では、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況を学習し、周辺環境状況から、自動運転に介入する運転操作から元の自動運転に復帰する運転操作内容を決定するようにしている。

なお、自動運転に介入する運転操作指示からの元の自動運転への復帰としては、徐行後の加速、一時停車後の発車、障害物回避後の寄せ等が想定される。

また、第１及び第２実施形態の操作内容決定部と同様に、本実施形態の操作内容決定部も操作内容学習部の学習結果を利用するものであるが、本実施形態では操作内容学習部については説明を省略する。

図８を参照して、本実施形態の自動運転車両について説明する。
図８に示されるように、本実施形態の運転操作システム２０では、復帰状況記憶部７０は、自動運転に介入する運転操作指示から元の自動運転に復帰する運転操作指示までの周辺環境状況の履歴を記憶する。復帰学習部７２は、復帰状況記憶部７０に記憶された周辺環境状況の履歴に基づいて、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況を学習する。操作内容決定部４０は、復帰学習部７２による学習結果に基づいて、環境情報取得部１４によって取得された周辺環境状況から、自動運転に介入する運転操作から元の自動運転に復帰する運転操作内容を決定する。

図９を参照して、本実施形態の運転操作方法について説明する。

周辺環境状況学習判断ステップＳ５０
周辺環境状況学習判断ステップＳ５０では、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況が学習済みか否か判断する。自動運転に介入する運転操作指示から元の自動運転に復帰する周辺環境状況が学習済みではない場合には、周辺環境状況学習ステップＳ５１に進行する。自動運転に介入する運転操作指示から元の自動運転に復帰する周辺環境状況が学習済みである場合には、操作指示文入力判断ステップＳ５２に進行する。

周辺環境状況学習ステップＳ５１
周辺環境状況学習ステップＳ５１では、自動運転に介入する運転操作指示から元の自動運転に復帰する運転操作指示までの周辺環境状況の履歴から、自動運転に介入する運転操作指示から元の自動運転に復帰する周辺環境状況を学習する。例えば、ニューラルネットワーク、ウェブネット等を用いて学習を行う。

本実施形態では、周辺環境状況の履歴として、次の式（３５）で示される素性ベクトルが用いられる。

ここで、素性ベクトルｆについては、自動運転に介入する運転操作指示ｃから元の自動運転に復帰する運転操作指示までの操作継続時間Ｔにおいて、周辺環境状況を所定時間間隔ｔで時系列的に記憶したものである。周辺環境状況の要素としては、運転操作指示ｃ、操作継続時間Ｔ、周辺のオブジェクト数、式（２１）〜（２３）、（２５）に示されるラグランジアンの第６項及び第７項中のオブジェクト関連値の最大値、第２最大値、平均値及び分散、並びに、自車両周辺のグラッド上のオブジェクト数等が用いられる。

操作状況の履歴として、次の式（３６）で示される操作状況関数ｙが用いられる。

ここで、操作状況関数は、自動運転に介入する運転操作が継続されている場合にはｙ＝０、自動運転に介入する運転操作から元の自動運転に復帰する復帰操作が行われた場合にはｙ＝１となる関数である。

自動運転に介入する運転操作指示から元の自動運転に復帰する周辺環境状況の学習については、次の式（３７）によって表現される。

ここで、ｐは操作状況関数ｙが所定の値ψとなる確率を示す復帰判断関数である。

操作指示入力判断ステップＳ５２及び操作内容決定ステップＳ５３
操作指示入力判断ステップＳ５２において、運転操作指示が入力されたと判断された場合には、操作内容決定ステップＳ５３において、運転操作指示に基づいて運転操作内容を決定する。

復帰状況判断ステップＳ５４
復帰状況判断ステップＳ５４では、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況であるか否か判断する。自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況であると判断された場合には、復帰操作内容決定ステップＳ５５に進行する。

本実施形態では、復帰判断関数ｐが次の式（３８）を満たす場合に、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況であると判断する。

ここで、Ｐ_ｒは所定の閾値である。

復帰操作内容決定ステップＳ５５
復帰操作内容決定ステップＳ５５では、自動運転に介入する運転操作から元の自動運転に復帰する運転操作内容を決定する。

本実施形態の運転操作システム及び方法は次の効果を奏する。
本実施態様では、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況であると判断された場合には、自動運転に介入する運転操作から元の自動運転に復帰する運転操作内容を決定するようにしている。このため、乗員が運転操作指示を行うことなく、自動運転車両を元の自動運転に復帰させることが可能となっている。

以上述べた各実施形態においては、運転操作指示として自然言語による音声入力を用いたが、これに代わってタッチパネル入力を用いてもよく、自然言語による音声入力とタッチパネル入力を併用するようにしてもよい。

運転操作指示にタッチパネル入力を用いる場合には、自動運転車両の走行状況に応じて、タッチパネルに運転操作指示ボタンを表示する。そして、運転操作指示から運転操作内容を決定するための学習結果に基づいて、運転操作指示ボタンによって入力された運転操作指示から自動運転の運転操作内容を決定する。

また、運転操作指示ボタンによって入力された運転操作指示に基づいて自動運転が行われている途中に、追加で運転操作指示ボタンによって運転操作指示が入力された場合には、変更後の運転操作内容が元の運転操作指示から決定されるように、運転操作指示から運転操作内容を決定する追加学習を行う。例えば、加速ボタンの操作による自動運転車両の加速操作中に、追加で加速ボタンが操作された場合には、追加後の加速操作が最初の加速ボタンの操作から決定されるように、加速操作指示から加速操作を決定する追加学習を行う。

さらに、運転操作指示ボタンによって運転操作指示が入力された場合には、運転操作指示と周辺環境情報とをグラウンディングし、周辺環境に車両アイコンを重畳表示して、予定される運転操作内容を表示する。また、タッチパネルを操作することにより、予定された運転操作内容を変更可能とする。例えば、車両を右左折する場合には、予定される右左折位置を表示し、タッチパネル上で当該右左折位置を操作することにより、予定された右左折位置を変更可能とする。車両を駐車する場合には、予定される駐車位置ないし駐車方向を車両アイコンによって表示し、タッチパネル上で当該車両アイコンを操作することにより、予定された駐車位置ないし駐車方向を変更可能とする。

その他、運転操作リスクや道路交通規則を記録したデータベースを準備し、自動運転車両の運転操作が危険操作ないし規則違反操作であると判断された場合には、運転操作を取り消し、その旨及び取消理由を通知するようにしてもよい。

以上述べた各実施形態及びその変形例では、運転操作システム及び方法について説明したが、コンピュータに各実施形態及びその変形例の運転操作システムの各種機能を実現させるためのプログラム、コンピュータに各実施形態及びその変形例の運転操作方法の各種手順を実行させるためのプログラムも本願発明の範囲に含まれる。

１０…自動運転車両 １２…音声入力部 １４…環境情報取得部 １６…車両制御部
１８…車両駆動部 ２０…運転操作システム ３０…操作内容学習部
３２…単語学習部 ３４…類似度学習部 ３６…文脈学習部
３８…パラメーター学習部 ４０，４０ａ，４０ｂ…操作内容決定部
４２…単語ベクトル生成部 ４４…文脈ベクトル抽出部 ４６…パラメーター決定部
４８…運転操作量決定部 ５０…クラウド ６０…操作指示記憶部
６２…操作指示学習部 ６４…選択部 ７０…復帰状況記憶部 ７２…復帰学習部

Claims (12)

1. 自動運転車両の乗員による自動運転に介入する運転操作指示から自動運転車両の運転操作内容を決定するための学習を行う操作内容学習部と、
   前記操作内容学習部による学習結果に基づいて、自動運転車両の乗員によって入力された運転操作指示から自動運転車両の運転操作内容を決定する操作内容決定部と、
   を具備することを特徴とする運転操作システム。
2. 前記操作内容学習部は、自動運転車両の乗員によって入力された運転操作指示から決定された運転操作内容に基づいて自動運転車両の自動運転が行われている途中に、自動運転車両の乗員によって追加の運転操作指示が入力された場合には、元の運転操作内容を追加の運転操作指示から決定された追加の運転操作内容によって変更した変更後の運転操作内容が元の運転操作指示から決定されるように追加学習を行う、
   ことを特徴とする請求項１に記載の運転操作システム。
3. 前記運転操作指示は自然言語による運転操作指示文であり、
   前記運転操作内容は運転操作量であり、
   前記操作内容学習部は、運転操作指示文の単語ベクトルから文脈ベクトルを抽出するための学習を行う文脈学習部と、運転操作指示文の文脈ベクトルから、運転操作量を決定する制御パラメーターを決定するための学習を行うパラメーター学習部と、を有し、
   前記操作内容決定部は、自動運転車両の乗員によって入力された運転操作指示文から単語ベクトルを生成する単語ベクトル生成部と、前記文脈学習部による学習結果に基づいて、前記単語ベクトル生成部によって生成された単語ベクトルから文脈ベクトルを抽出する文脈ベクトル抽出部と、前記パラメーター学習部による学習結果に基づいて、前記文脈ベクトル抽出部によって抽出された文脈ベクトルから制御パラメーターを決定するパラメーター決定部と、前記文脈ベクトル抽出部によって抽出された文脈ベクトル及び前記パラメーター決定部によって決定された制御パラメーターに基づいて運転操作量を決定する運転操作量決定部と、を有する、
   ことを特徴とする請求項１に記載の運転操作システム。
4. 前記操作内容学習部は、運転操作指示文で使用される単語を学習する単語学習部と、単語間の非類似度を距離によって表現する単語ベクトル空間を学習する類似度学習部と、をさらに有し、
   前記単語ベクトル生成部は、運転操作指示文に含まれる単語が前記単語学習部によって学習された既知語ではない未知語である場合には、前記類似度学習部によって学習された単語ベクトル空間に基づいて、未知語に近接する既知語を選択して当該既知語から単語ベクトルを生成する、
   ことを特徴とする請求項３に記載の運転操作システム。
5. 前記パラメーター学習部は、自動運転車両の乗員によって入力された元の運転操作指示文から決定された元の運転操作量に基づいて自動運転車両の自動運転が行われている途中に、自動運転車両の乗員によって追加の運転操作指示文が入力された場合には、元の運転操作量を追加の運転操作指示文から決定された追加の運転操作量によって変更した変更後の運転操作量が元の運転操作指示文から決定されるように追加学習を行う、
   ことを特徴とする請求項３に記載の運転操作システム。
6. 一連の運転操作指示が全体として所定の臨時操作をなしていると判断された場合には、運転操作指示の履歴を記憶する操作指示記憶部と、
   前記操作指示記憶部に記憶された運転操作指示の履歴に基づき、運転操作指示が行われると予測される予測領域を抽出し、抽出された予測領域において行われると予測される臨時操作を推定する操作指示学習部と、
   をさらに具備し、
   前記操作内容決定部は、前記操作指示学習部の推定結果に基づき、所定の予測領域において自動運転車両の乗員によって入力された運転操作指示が予測された臨時操作に合致すると判断された場合には、予測された臨時操作に対応する一連の運転操作指示に基づいて運転操作内容を決定する、
   ことを特徴とする請求項１に記載の運転操作システム。
7. 前記所定の臨時操作は、立寄り操作、迂回操作又は障害物回避操作である、
   ことを特徴とする請求項６に記載の運転操作システム。
8. 運転操作指示の履歴を記憶する操作指示記憶部と、
   前記操作指示記憶部に記憶された運転操作指示の履歴に基づき、運転操作指示が行われると予測される予測領域を抽出し、抽出された予測領域において行われると予測される運転操作指示を推定する操作指示学習部と、
   をさらに具備し、
   前記操作内容決定部は、自動運転車両が自動運転経路上の所定の予測領域に接近する場合には、前記操作指示学習部の推定結果に基づいて、当該予測領域で行われる運転操作指示を予測し、予測された運転操作指示の実行準備のための運転操作内容を決定する、
   ことを特徴とする請求項１に記載の運転操作システム。
9. 前記操作内容決定部は、自動運転車両に搭載された第１の操作内容決定部と、クラウド上に構成された第２の操作内容決定部と、を有し、
   前記運転操作システムは、
   運転操作指示の履歴を記憶する操作指示記憶部と、
   前記操作指示記憶部に記憶された運転操作指示の履歴に基づき、運転操作指示が行われると予測される予測領域を抽出し、抽出された予測領域において行われると予測される運転操作指示を推定する操作指示学習部と、
   自動運転車両が自動運転経路上の所定の予測領域に接近する場合には、前記操作指示学習部の推定結果に基づいて、当該予測領域で行われる運転操作指示を予測し、予測された運転操作指示に基づいて前記第１の操作決定部と前記第２の操作決定部とのいずれの操作決定部を用いるかを選択する選択部をさらに具備する、
   ことを特徴とする請求項１に記載の運転操作システム。
10. 自動運転に介入する運転操作指示から元の自動運転に復帰する運転操作指示までの周辺環境状況の履歴を記憶する復帰状況記憶部と、
    前記復帰状況記憶部に記憶された周辺環境状況の履歴に基づいて、自動運転に介入する運転操作から元の自動運転に復帰する周辺環境状況を学習する復帰学習部と、
    をさらに具備し、
    前記操作内容決定部は、前記復帰学習部による学習結果に基づいて、周辺環境状況から、自動運転に介入する運転操作から元の自動運転に復帰する運転操作内容を決定する、
    ことを特徴とする請求項１に記載の運転操作システム。
11. 自動運転車両の乗員による自動運転に介入する運転操作指示から自動運転車両の運転操作内容を決定するための学習を行う操作内容学習ステップと、
    前記操作内容学習ステップにおける学習結果に基づいて、自動運転車両の乗員によって入力された運転操作指示から自動運転車両の運転操作内容を決定する操作内容決定ステップと、
    を具備することを特徴とする運転操作方法。
12. コンピュータに、
    自動運転車両の乗員による自動運転に介入する運転操作指示から自動運転車両の運転操作内容を決定するための学習を行う操作内容学習機能と、
    前記操作内容学習機能による学習結果に基づいて、自動運転車両の乗員によって入力された運転操作指示から自動運転車両の運転操作内容を決定する操作内容決定機能と、
    を実現させることを特徴とする運転操作プログラム。

Images