JP2017041233A - 車両運転者から追加情報を取得するコミュニケーション・モジュールを備えた車両を自律的又は半自律的に運転するためのシステム及び方法 - Google Patents

Abstract

【課題】自律的に車両を運転するシステムを提供する。【解決手段】車両を自律的又は半自律的に運転するための制御コマンドが環境表現に基づいて生成され、環境表現は車両の環境を観測するセンシング手段から生成される。環境表現において不明瞭物体が特定された場合には、運転者からの情報を取得するため、不明瞭なものとして特定された物体についての情報リクエストを生成して運転者に与える。運転者からの応答が分析され、物体の追加の情報が抽出され、センシング手段の信号から引き出された情報と共に環境表現マップに蓄積される。強化された表現マップに基き交通状況が判断され、車両のアクチュエータの適切な制御信号が生成される。環境表現内に不明瞭物体がないもののシステムが十分な信頼度をもって交通状況を判断できない場合、運転者は、状況の不明瞭さを除去するための情報、又は不明瞭な交通状況をどのように扱うかについての指示が求められる。【選択図】図２

Description

本発明は、車両運転者から追加情報を取得するコミュニケーション・モジュールを備えた車両を自律的又は半自律的に運転するためのシステム、及びそのような自律的又は半自律的な運転を実行するための方法に関する。

車両を運転することは、常に、運転者にとって努力を要するタスクである。特に、ここ数年にわたり、交通量がより高密度となったことから、集中力の欠如や、運転者による交通状況についての誤った判断が、事故の原因となることが多かった。このため、運転に際して運転者を支援するシステムが開発された。これらのシステムは、運転者の快適さを増進するためだけでなく、安全性の増進をも目的として開発されたものである。多くの場合、これらのシステムは車両の環境を観測するのみであるが、不確実な状況が発生した場合、運転者はシステムから通知を受け、当該運転者の注意は当該運転者が見逃してしまい得るシーンの一部又は物体に引き付けられる。より最近の開発品は、車両を自律的に運転するか、又は車両を少なくとも半自律的に運転することができる。これらのシステムの多くは、環境表現を生成し、そのような環境表現に基づいて、車両が遭遇した状況を判断（又は特定）し、ステアリング、スロットル、又はブレーキなどの車両の制御器が作動される。そのような環境表現を確立するため、車両はセンサを備えており、また、その他のデータであってシステムでの利用が可能なデータも、当該表現内に含まれ得る。当該表現は、例えば、占有エリアや道路端などの情報が保存された２Ｄマップである。このような情報に加えて、そのような２Ｄマップのグリッドセルの他の特徴も付加され得る。例えば、占有セルとして描かれた物体が、予想される動きの方向などの更なる情報を伝え得る。

環境表現（もちろん、物体、又は車両環境のその他の情報を表現することのできる３Ｄ表現、又はその他の適切な構成であり得る）に依拠する全てのこれらの既知のシステムの問題は、そのような環境表現内に含まれる情報が、必然的に限られたものになっていることである。この制限は、車両の環境を物理的に感知するセンサや、直接的に当該車両へ情報を送信する他車両からの例えば車車間通信により受信されるデータに基づいて、上記情報が抽出されるという事実の結果である。すなわち、センサによる知覚から例えば歩道に立っている人の意図を明確に抽出することができない場合、システムは、実行すべきアクションを十分な信頼性を持って決定することができない。例えば、システムは、歩道の端に立って道路の反対側を見ている人がその道路を渡るか否かを決定することはできない。自律運転システムには、減速するか、それとも一定の速度でその人の前を通り過ぎるか、を決定することは、不可能である。

人間である運転者であれば、そのような場合には、通常、そのような人とのアイコンタクトを行おうとするが、そのような人間である運転者とは異なり、環境から情報を得る既知システムの能力は限られている。その結果、そのような自律運転システムの性能（パフォーマンス）も限られたものとなる。

一方で、自動車の運転者からの指示を受信するためのコミュニケーション・モジュールを備えた、インタラクティブな制御システムを用いることが知られている。しかしながら、これらの指示は、交通状況の明確化、又は適切な制御結果を得るための自律運転システムの基礎情報の強化、を図るためのものではない。

従って、本発明の目的は、自律運転システム又は半自律運転システムの性能を向上すること、及びそのような自律運転又は半自律運転を実現する方法を改善することである。本目的は、独立請求項に従う本発明により達成される。

本発明に係る、自律運転又は半自律運転のためシステムは、車両の環境を物理的に感知（又は検知）するための少なくとも一つのセンシング手段（感知手段、検知手段）を備える。そのようなセンシング手段は、例えば、カメラ、ステレオカメラ、距離画像カメラ（flight of time camera）、レーダセンサ、ＬＩＤＡＲセンサ、超音波センサ、等であり得る。そのようなセンシング手段の出力に基づき、環境内に存在する物体についての情報を蓄積することにより、当該環境についての表現が生成される。当該表現は、表現生成手段により生成され、予め定められた所定の目標へ走行する等の所与の運転タスクに沿って意図された走行に関して交通状況を評価するのに必要な、他の交通参加者、基盤要素などの、少なくとも物体についての情報を含む。本発明によれば、本システムは、さらに、コミュニケーション・モジュールを備える。そのようなコミュニケーション・モジュールを用いることにより、車両運転者から追加情報を取得することができる。本発明の一の実施形態によると、システムと運転者との間のコミュニケーションを用いて、環境表現に含まれる情報が追加される。そのような情報を追加することにより、特に、センシング手段により感知はされたものの当該センシング手段の出力からは何の情報も抽出できないか又は少なくとも所定の閾値に満たない限られた信頼度の情報しか抽出できないような物体に関して、運転者から情報を得ることができる。例えば、交通信号灯の現在の状態を知ることが重要であるが、天候状態が悪かったり光が見難い状態であるために、赤、黄色、緑のどの光が点灯しているのかをシステムが自動的には特定できない場合、運転者とのコミュニケーションが開始されるものすることができ、運転者は、交通信号灯が現在は例えば赤色を点灯させている旨を、コミュニケーション・モジュールを介して入力することができる。その後、この追加情報は上記表現に追加され、これにより、車両を自律的に運転するための制御コマンドについての更なる計算処理を行うための基礎が改善される。すなわち、そのような強化された環境表現に基づいて、評価手段により評価が行われる。上記表現からのそのような評価において、現在の交通状況が判断（又は特定）され、達成すべき制御タスクに応じた制御信号が生成される。そして、これらの制御信号に基づき、ステアリング、スロットル、ブレーキ等の車両の制御器が作動される。

時折、他の状況においては、センシング手段の出力から引き出される情報が明確であって、当該センシング手段が検知した物体に関する更なる情報は不要である、という場合もあり得る。とは言え、その交通状況は、車両運転をどのように続けるべきかをシステムが自律的に決定することができない、というような性質のものであるかもしれない。そのような場合、従来知られているシステムは、自律運転の実行を中止して、制御を車両運転者に引き渡す。本発明によれば、システムが車両運転をどのように続けるべきかを自身で決定できないような場合には、コミュニケーション・モジュールを用いて運転者とのコミュニケーションを開始し、追加情報、及び又は運転をどのように継続すべきかについての指示を得ることができる。すなわち、車両の全てのアクチュエータを制御する任務を運転者に完全に引き渡すのではなく、どのように運転タスクを実現すべきかについての情報のみが引き出される。そして、そのような情報に基づいて、自律運転システム又は半自律運転システムは、運転タスクを実行する。

従属クレームには、本発明の有利な態様が示される。

例えば、運転者の状態を推定することは、有利である。運転者の状態を推定することにより、運転者とのコミュニケーションの方法を当該運転者の現在の状態に適合させて、当該コミュニケーションをより効率的にし、且つ曖昧さを避けることができる。

さらに、コミュニケーション手段は、運転者の状態に基づいて当該運転者とのコミュニケーションを調整（適合、adapt）するよう構成されていると、有利である。

運転者とのコミュニケーションを適合させるため、コミュニケーション手段は、運転者情報リクエスト生成器（a driver information request generator）を備えることが好ましい。そのような運転者情報リクエスト生成器において、少なくとも運転者意図、運転者状況認識（a driver situation awareness）、又は運転者システム制御モデル（a driver system control model）に適合された情報リクエストを生成することができる。もちろん、運転者意図、運転者状況認識、及び又は運転者システム制御モデルの組み合わせも可能である。これを行うため、運転者情報リクエスト生成器は、対応する推定手段を備える。そのような推定の結果に基づき、運転者とのコミュニケーションについての要求条件に合致するようにリクエストが適合される。すなわち、例えば運転者側において状況についての高い認識があると認められる場合には、システムからのリクエストを正しく解釈するために運転者に必要となる情報は、より少なくてすむ。他方で、運転者の認識が低いと認められるか又は対応する推定手段によりそのように推定される場合には、運転者側での理解の誤りを防止すべく、より多くの情報を追加することによりリクエストを強化することができる。

さらに、コミュニケーション・モジュールは、他の交通参加者とコミュニケーションすることを運転者に要求するよう構成されていると、特に有利である。この場合、自転車搭乗者や歩行者等の他の交通参加者とコミュニケーションする人間である運転者の能力により追加情報が生み出され、当該情報は、運転者と本発明のシステムとのコミュニケーションにより、システムに入力される。これにより、システムの能力を大きく向上させて、交通状況についてのより正しい判断を行わせることができる。すなわち、本システムは、他のシステムでは入手できないような情報部分にアクセスすることができる。

さらに、運転者とのコミュニケーションに、音声出力及び又は音声入力を用いたり、これに代えて又はこれに加えてヘッドアップディスプレイを用いると、有利である。このようなコミュニケーションの方法は、運転者の集中を削がないように当該運転者と自動車との間でのコミュニケーションの機能を実現するのに特に適している。

以下、特に添付の図面を参照しつつ、本発明について詳細に説明する。

車両を自律的に又は半自律的に運転する本発明のシステムを備えた車両の概要を示す図である。 本発明のシステムの機能を例示するブロック図である。 本システムの運転者情報リクエスト生成器を説明するための、より詳細なブロック図である。 本発明に従う、自律運転又は半自律運転を実行する方法を説明するための、単純化されたフロー図である。

図１には、本発明に従う、自律運転又は半自律運転を行う機能を有する車両１の、基本構成が示されている。車両１は、中央処理ユニット２を備える。中央処理ユニット２は、入力される情報の評価及び処理と、車両１を自律運転するための制御コマンドの生成と、を担当する。例示した本実施形態における自律車両１は、操舵可能な前輪３と駆動される後輪４と、を備える自動車である。もちろん、本発明のシステムは、任意の種類の車両にも適用することが可能であり、従って、図１に示す自動車には限定されない。

自律車両１は、後輪４に接続されて駆動力を発生するエンジン５により駆動される。車両１の方向は、ハンドル６を含む操舵システムにより制御される。

自律運転機能を実行するため、又は自律運転機能の少なくとも一部を実行するため（本発明では完全な自律運転を行うことを必要としない）、車両１は、センシング手段７を備える。センシング手段７は、例えば、レーダセンサ、ＬＩＤＡＲセンサ、カメラ、ステレオカメラ等であるものとすることができ、ＡＤＡＳ（適応型運転者支援システム、adaptive driver assistance system）の一部であり得る。もちろん、センシング手段７は、種々の複数のセンサやそれらの組み合わせ含むものとすることができる。センシング手段７は、中央処理ユニット２に接続されており、車両環境についての知覚に相当する信号を中央処理ユニット２へ送信する。図では、車両１の前部のセンシング手段７のみが示されているが、このようなセンシング手段７は、もちろん、車両１の周囲及び環境の全てが知覚され得るように、車両１の全体に亘って分散する形で配されるものとすることができる。

車両運転者とのコミュニケーションのため、車両１にはコミュニケーション手段が設けられている。本実施形態においては、コミュニケーション手段は、スピーカ８とマイクロホン９とにより構成されているものとして示されている。スピーカ８とマイクロホン９とは、共にコミュニケーション手段を構成し、当該コミュニケーション手段は、スピーカ８を介して運転者に情報を出力する機能又はスピーカ８を介して出力されるリクエストを生成する機能、及びマイクロホン９を介して運転者から情報を受信する機能を有する。本システムは、また、マイクロホン９により受信される音声情報の内容が中央処理ユニット２により認識可能となるように、音声認識システム（それ自体は本分野において既知である）を含む。

例示した実施形態においては、車両１は、スピーカ８及びマイクロホン９のみで構成されたコミュニケーション手段を備えるが、もちろん、他の入／出力デバイスを用いることもできる。特に運転者にリクエストを出力するため、ヘッドアップディスプレイ、ナビゲーションシステムのディスプレイ、触感デバイス等を用いることができる。更なる入力デバイスとして、例えば、ジェスチャーを入力するためのカメラ、タッチスクリーン等を用いてもよい。頭を縦に振って“イエス”のような回答を表す動作や、頭を横に振って“ノー”を示す動作を、カメラにより簡単に認識することができる。これは、システムにより生成された質問がイエス又はノーのような単純な回答を許容するものである場合に、特に適している。タッチスクリーンの使用は、例えば、質問に対し応答することのできる回答の数が限られている場合に有効である。

後述において詳しく説明するように、センシング手段７から受信される情報とコミュニケーション手段を介して追加的に受信される情報とに基づき、中央処理ユニットは、車両１を自律的に又は半自律的に運転するための制御コマンド又は制御信号を生成する。自律運転のサブタスクも、本発明の意味においては半自律運転であるものと考えることができることに留意されたい。例えば、本システムは、例えば道路の交差点のような特定のエリアやその一部の観測のみを行うように指示され得る。このような観測は、車両の運転にとっては必須なものであるが、エンジン、ブレーキ、ステアリングなどのカー・コンポーネントの操作は運転者に任されたままとなる。

中央処理ユニット２により制御信号が生成されると、それらの制御信号は、図１においてそれぞれ矢印で示されているように、例えばエンジン５、操舵システム又はハンドル６、及びブレーキシステム（不図示）へ送信される。交差点エリアの観測等の対応するタスクの実行に車両のエンジン５、ブレーキ、又はハンドル６との直接的な関わり合い（interaction）が必要でない場合には、制御信号の出力は、例えば音声情報の出力の基礎となる信号や、ナビゲーションシステム上への運転者用情報の表示の基礎となる信号に相当し、又はヘッドアップディスプレイに情報を表示するのに用いられる信号に相当する。

次に、本システムの作用（機能、functioning）である運転タスクを実行する方法について、図２を参照して説明する。図２は、特に中央処理ユニット２のコンポーネントをより詳細に示した図である。もちろん、一つの中央処理ユニット２のみを備えるだけでなく、その全体が共同して中央処理ユニット２として機能する複数の分散ユニットによりデータ処理を行うものとしてもよい。

図１を参照して既に述べたように、センシング手段７は、一つ又は複数の環境センサを備え、当該環境センサは、それぞれ信号を中央処理ユニット２へ送信する。中央処理ユニット２の出力として、制御信号が、対応するアクチュエータ５、６、８、．．．．へ送られる。

中央処理ユニット２は、センシング手段７から受信する信号に基づいて初期環境表現９を生成するよう構成されている。そのような初期環境表現９には、車両１の環境においてセンシング手段７により知覚された全ての情報が蓄積されている。すなわち、表現９は、車両１の周囲で知覚され得る物体についてのすべの情報を持つ、例えば２Ｄマップ又は３Ｄマップであり得る。すなわち、表現９は、他の交通参加者に関するサイズ、速度、タイプ等についての情報を含む。交通信号灯などの基盤要素も、それらの現在の状態と共に環境表現９に含まれる。さらに、環境表現９は、地図や全地球測位システム（a global positioning system）から引き出された情報を含み得る。すなわち、環境表現９には、或る目的に特化された自律運転タスク（a dedicated autonomous driving task）を遂行するのに必要な全ての情報が含まれる。

全ての情報が十分にクリア且つ明確である物体（例えば、予め定められた所定の閾値を超える信頼度を持って特定することができ且つその現在の状態（赤色灯、緑色灯、黄色灯）も十分な信頼度をもって特定され得る交通信号等など）を識別する必要がある。十分な信頼度とは、当該信頼度が或る閾値を超えていることを意味する。もちろん、この閾値は、異なる種々の状況に対して適合され得る。

完全システム同定可能物体（fully system identifiable objects）とも称されるそのような物体とは異なり、センシング手段７により検出される物体であって、その後に行う交通状況の特定に必要な、当該物体についての全ての情報が取得され得ない、という物体も存在し得る。その一つの例は、車両１の環境内の物体としてシステムにより認識され得る歩行者であって、その意図がはっきりしない歩行者である。例えば、その歩行者は、道路を横切ろうとしているかも知れないし、道路を横断する意図を持たず、歩道にただ佇んでいるだけかも知れない。交通状況の正しい特定に関連を持ち得るそのような意図又は何らかの他の情報を、十分な信頼性又は信頼度を持って取得できない場合、又はそのような情報をセンシング手段７から受信した信号に基づいて全く取得できない場合には、そのような物体は、いわゆる不明瞭物体として分類される。

すなわち、本発明によれば、本システムは、センシング手段７により知覚された全ての物体を、完全システム同定可能物体又は不明瞭物体のいずれかに分類する。そのような不明瞭物体が認識された場合、本発明に係るシステムは、車両１の運転者とのコミュニケーションを開始する。そのようなコミュニケーションを開始するために、図１を参照して既に説明したコミュニケーション手段が用いられる。コミュニケーション手段は、中心的なエレメントとして運転者情報リクエスト生成器１２を備える。運転者情報リクエスト生成器１２では、情報の要求（リクエスト）が生成され、その後、当該リクエストは、矢印１３で示したように、例えばスピーカ８に送られる。上述したように、情報リクエストは、音声出力を用いるだけでなく、視覚的な又は触覚的なチャネルなどの他の通信チャネルを用いることもできる。

運転者情報リクエスト生成器１２は、特定された不明瞭物体に加えて、環境情報９も受信する。運転者情報リクエスト発生器１２内に全ての情報を持つことにより、運転者に向ける質問をより明確に定めることができる。例えば、運転者情報リクエスト発生器１２は、追加情報を必要とする１つの不明瞭物体についての知識を持つだけでなく、車両や他の交通参加者に対するその物体の相対位置についての知識も有する。すなわち、情報を必要とする当該物体の相対位置を特定し得るので、質問はより詳細なものとなり得る。したがって、最初のステップにおいて当該質問の対象がどの物体であるかについての知識を得るべく、状況分析を運転者が自分で行う必要はない。

本発明のシステムにより出力された質問、例えば音声質問に対し、運転者は応答を返す。この応答は、図１に示す車両１においてはマイクロホン９により受信される音声応答により行われる。対応する信号は、矢印１４で示すように、中央処理ユニット２と、特に運転者フィードバック入力認識ユニット１５へ入力される。運転者フィードバック入力認識ユニット１５では、運転者の応答が分析され、上記音声応答又はタッチスクリーン等を介した入力から、情報が抽出される。当該応答から抽出され得る情報は、その前に識別された不明瞭物体についての情報に追加され、これによりその不明瞭さが解消され得る。すなわち、強化された情報を用いて、初期環境表現９及び付加された追加情報から、完全な交通環境表現が生成される。これは、中央処理ユニット２、又はその環境表現生成器により実行される。すなわち、図２に関連して説明した実施形態では、特定された全ての物体について、センシング手段７に基づいて当該物体についての十分且つ満足な情報を得ることができない場合には、環境表現１７の２段階生成が行われる。この場合、まず、初期環境表現９が生成され、次に、特定された不明瞭さについて、運転者に対し追加情報が要求され、当該情報が環境表現に追加されて、強化された環境表現又は完全交通環境表現１７が得られる。この完全交通環境表現１７は、センサ信号及び質問回答から得られた情報の蓄積で構成される。

完全交通環境表現１７は、また、初期環境表現９の生成後に不明瞭物体が何も特定されない場合には、当該初期環境表現９に相当し得る。この場合には、もちろん、何の情報も追加されない。環境表現を増強すべく運転者とのコミュニケーションを開始するための前提条件は、何らかの不明瞭物体が特定されることであるためである。

次に、完全交通環境表現１７を用いて、車両１の自律運転が実行される。符号１８により示された自律運転制御システム自身は従来技術から既知のものであり、また、交通状況を特定するために、及び特定された交通状況に基づいて車両１により行うべきアクションについての決定を行うために、環境についての表現を用いることも既知である。そのようなアクションは、例えば、減速、加速、左右方向への走行方向の変更、等であり得る。自律運転制御システム１８は、完全交通環境表現に基づいて、制御コマンドを生成し、その後、それらの制御コマンドは、対応するアクチュエータ５、６、８、．．．へ送信される。

センシング手段７からの信号に加えて、インテリジェント交通システム基盤（intelligent transportation system infrastructure）又はそのような手段を備えた車両から受信され得る信号も用いられ得る。これについては、図２には示されていないが、初期環境表現へのそのような情報の追加は容易に行われ得る。さらに、すべての不明瞭物体について運転者に情報を要求する必要はない。自律運転システムが現時点において扱う必要のある交通状況に関して実際に影響を持つ物体がどれであるかをまず決定することが、より効率的であり得る。例えば、高速道路を走行する場合には、通常、レーンの情報と共に、他車両の速度、位置、及びサイズの情報が必要である。この情報がすべて、システムにおいて明確な形で使用できるのであれば、安全なアダプティブ・クルーズコントロール（adaptive cruise control）を行うには十分である。そのような場合、環境センサにより他の物体が知覚されたとしても、それらの物体が交通状況に対する影響を持たず車両の制御には影響を与えないものと思われるときは、それらの物体がたとえ不明瞭であると考えられる場合であっても、運転者とのコミュニケーションは開始されないほうが好ましい。

運転者と本発明のシステムとの間の効率的なコミュニケーションを行うために、システムは、状況に対する運転者の現在の解釈についての適切なモデルを持つことが好ましい。すなわち、特に、運転者の意図、環境についての運転者の注意の焦点、自律制御システムに関する運転者の現在の想定（assumptions）が、考慮されるべきである。そのような考察により、情報リクエストをより効率的に生成することが可能となる。すなわち、情報リクエストの内容が、運転者の状態に適合され得る。特に、上記運転者の現在の想定は、情報リクエストの複雑さに大きく影響し、従って、リクエストと応答とが短時間に得られ得るか否かに大きな影響を持つ。運転タスク又は特定のエリアを単に観測する等のサブタスクが、運転者によりシステムへ委託された場合、質問は運転者にとり明白であり得るので、更なる情報が与えられる必要ない。

しかしながら、例えば高速道路上での完全自律運転などのより一般的な運転タスクが、かなり前に既に起動されていて、その後に不明瞭物体が発生した、という場合、運転者は、システムからのリクエストがこの運転タスクに関連したものであることに気付かないかもしれない。この場合、システムが、現在においてどのような運転タスクがその質問の発生源又は動機付けとなっているかを示す付加的な情報により当該質問を充実させるものとすれば有益であろう。例えば、自律高速道路運転を開始してから長時間を経過した後で、システムは、安全な追い越しのために、他車両に関する何等かの情報を必要とする場合がある。この場合、システムは運転者に対し、“追い越しをしたいのですが、この車は車線を離れるでしょうか？”という質問を行い得る。この場合、運転者には、まず現在検討されているアクションについての情報が与えられ、次に先行車等の特定の物体に関する質問自体が行われる。他の例は、運転者が“右に曲がってくれ”という自律操縦をちょうど起動したばかりの、交差点でのシナリオである。この場合、運転者は右側にいる歩行者だけが関連していると予想し、その後にシステムが“歩行者は横断するでしょうか？”と質問した場合には、運転者は、自動的に、右側の歩行者に注意を集中するであろう。そのシーン内に複数の他の歩行者がいたとしても、それら歩行者が現在の自律操縦に無関係であれば、これで十分である。

運転者情報リクエスト生成器１２の、より詳細な図を、図３に示す。本運転者情報リクエスト生成器は、２つのサブユニットを備える。一方において、リクエスト生成ユニット１２は、不明瞭物体に関する情報の取得２０を行う。図２を参照して既に説明したように、不明瞭物体は、初期環境表現９内で特定される。この情報に基づいて、追加情報を取得するためのリクエストが、運転者に対して出力される。他方において、リクエスト生成ユニット２１は、運転者のための付加的な情報に注視する。このユニット２１は、質問がどの物体に関するものであるかを運転者が判断できないかも知れないときにその旨の情報を与えることに関与する。

上述したように、コミュニケーション手段によるリクエスト生成の方法は、運転者意図、運転者状況認識、及び運転者システム制御モデルに関する知識に応じて適合され得る。運転者意図を推定するため、運転者意図推定ユニット２２が、運転者情報リクエスト生成器１２の一部となっている。この運転者意図推定ユニット２２は、自律操縦又は半自律操縦に関する現在の運転者の意図の推定を持続的に行う。運転者の介入の程度が低いか又は全くない完全自律運転の場合、意図の推定は不可となり得る。他方で、運転者が、１回の転回（single turn）や交差点の観測などの半自律運転を開始した場合、意図は明らかであり得る。与えられた例においては、運転者が右方向へ転回しようとしていることは完全に明白である。この動作は、直前に与えられた指示に対応したものであるためである。この推定を用いて、運転者意図を考慮した最適な情報リクエストを生成することができる。すなわち、運転者に向けられる質問は、短く且つはっきりしたものとなるが、運転者側において不明瞭さは生じない。

運転者状況認識推定ユニット２３は、運転者の現在のシーン認識のモデルを生成する。すなわち、現在においてシーンのどの部分が運転者に注視されているかが判断される。この判断は、例えば、運転中の運転者の画像を撮影する車室内カメラの画像信号に基づいて行われるものとすることができる。すなわち、当該画像信号から、向きその他の運転者挙動のパラメータを特定することができる。運転者が現在において何に注目しているかを判断することは、従来技術において既知であるが、本発明に関しては、この情報が情報リクエストの生成を適合させるために用いられることが重要である。例えば、運転者の意図が既に対応する物体に集中している場合には、当該物体がよりよく特定されるような情報を重ねて提示する必要はない。情報リクエストはそれほど明確でなくてもよく、したがって、リクエスト自身を短いものにすることができる。歩行者が走行レーンの隣に立っており、特定された運転者の視線方向から当該運転者がその歩行者を既に見ていることが明らかな場合には、情報リクエストを短くして、例えば“彼はレーンを横断しますか？”とすれば十分である。

さらに、推定ユニット２４は、運転者システム制御モデルの推定を行う。すなわち、この推定ユニット２４は実行中の自律車両制御又は半自律車両制御を理解するために運転者が用いている現在のモデルを推定する。自律車両制御を理解するために運転者が用いるモデルは、例えば、その自律車両制御がいつ開始されたものかにより影響を受け得る。当該制御がついさっき開始されたものであれば、運転者は、自律運転のための制御信号を生成するために現在の状況において用いられているはずのモデルを認識しているであろう。その結果として、運転者は、現在の自律操縦に関して自律車両制御を安全に実行するために特定されるべき物体も認識しているであろう。運転者がその時点の自律運転に用いられているモデルをその時点で適切に理解していることが明らかである場合には、情報リクエストは短いものにすることができ、一部の情報は、不明瞭化を招くことなく省略され得る。他方において、現在の制御が運転者にとって不明確かもしれないという場合には、情報リクエストは充実化（強化、enriched）される。そのような充実化された情報リクエストは、現在の自律制御の挙動についての説明を付加したものであり得る。例えば、“追い越しのため、この車がレーンを離れるか否かを知る必要があります”、“左転回しますが、自転車搭乗者は道をあけてくれるでしょうか？”、又は“前進を続けますが、これは危険な自動車ですか？”といった質問があり得る。すなわち、自律運転に現在用いられているモデルについての運転者の知識に関する推定が考慮される。例えば、自律的に走行する自動車が、追い越すことが正しい方策であろうと判断した場所では、先行車の後ろに留まるといった代替挙動も可能であるので、リクエストされた情報がそのような追い越しに関するものであることを運転者に説明する必要がある。

ユニット２２、２３、２４の推定結果に基づき、情報リクエスト生成器２０は、最適な情報リクエストを組み立てる。情報リクエスト生成ユニット２１も同様であり、運転者が質問を正しく理解するように当該運転者に与えるべき情報を組み立てる。

上述したように、情報リクエストを出力するためのいくつかの可能な方法（possibilities）がある。まず、音声出力ユニット２４を用いて、音声による質問を生成し得る。すなわち、情報リクエスト生成ユニット２０と情報リクエスト生成ユニット２１とに基づいて、合成音声出力が生成される。

ヘッドアップ・ディスプレイ２５を用いて、例えば、情報を取得する必要のある物体を強調して表示することができる。最後に、他の知覚チャネル（sensory channels）２６を用いて運転者にリクエストを伝えることもできる。例えば、音色（聴覚）や、ダッシュボードのディスプレイ装置（視覚又は触覚用のディスプレイ装置）を用いることができる。

図４は、車両の自律運転を実行する方法についての単純化されたフロー図である。まず、運転タスクが定義される。そのような運転タスクを定義することにより、システムの自律性についての様々なレベルが設定され得る。半自律制御の一例は、運転タスクのサブタスクのみを支援システムに委託することである。上述したように、これは、例えば、最終的には自動車の挙動制御を運転者が実行するが、特定エリアの観測をシステムに委託する、というようなことを意味する。一つの例は、運転者が自動車に対して“右側を見てくれ”と頼む場合である。すなわち、この運転タスクにより、レーダ、視覚装置、ライダ（lidar）、又は赤外の光伝搬時間センサ（infrared time of light sensors）などの内部センサに基づいて自動車の右側についての監視のみが行われる。このサブタスクを実行する間、システムがいくつかの交通要素を高い信頼度をもって識別できず又は解釈できない場合には、上述したように運転者とのコミュニケーションが開始される。

自律制御は、また、自動車の或る種の操縦に限定され得る。例えば、自動車は、にぎやかで複雑な市街地の交差点で転回を行うように指示され得る。この特定の操縦を開始すべく、運転者により音声コマンドが用いられ得る。例えば、“次の交差点で右に曲がれ”という音声コマンドにより、車両の自律制御は次の交差点で右へ曲がることだけに限定され、次の交差点までの道や自動車のその後の走行は、完全に運転者の制御下にある。その後、自動車は、交差点に接近し、知覚された交通参加者を検査する。交通参加者を特定するか又は当該自動車が歩行者を検出したものの、当該交通参加者又は歩行者が何をしようとしているかを信頼性をもって特定できない場合には、運転者とのコミュニケーションが開始される。すなわち、上述した方法で情報リクエストが生成され、運転者には当該運転者の判断を示すことが求められる。そして、交通状況を最終的に特定するときには、この特定の歩行者についての追加情報が、どのように転回を行うかについてのシステムの判断に組み込まれる。解釈における不明瞭性がないことが認識され得る他の動的な交通参加者については、自律知覚システムが何らかの方法で追跡を行い、これにより安全な転回が確保される。

最後は、最もレベルの高い、より長期間にわたる完全自律運転である。これは、例えば、高速道路の場合である。自律制御システムが信頼に足る状況評価を取得することができないか又は内部予測と実際の状況展開とのミスマッチを検出する状況に遭遇したような場合に、運転者への情報リクエストが生成される。システムは、その後、運転者からの追加情報を考慮して、状況の曖昧さを取り除く。

図４に従う次のステップでは、センシング手段７からの、既に利用可能となっている情報に基づいて、環境表現が生成される。この環境表現内において、当該表現内の物体について利用可能な情報が既に十分であるか否か、又は何らかの曖昧な情報又は完全に抜け落ちている情報があるか否か、が判断される。

そのような不明瞭な物体が特定された場合、車両１の運転者とのコミュニケーションが開始される。運転者の認識、運転者の制御モデル、及び運転者の意図に関する情報により適合された情報リクエストが生成され、運転者に出力される。システムは、次のステップにおいて運転者からの応答が受信されシステムにより解釈されるまで、待機する。関連する情報が、運転者の応答又はフィードバックから抽出され、環境表現マップに追加される。

次に、システムは、環境表現に基づいて、交通状況を特定し、運転タスクを遂行するために採るべき方策（measures）を決定する。そのような方策は、車両の加速又は減速、走行方向の変更等であり得る。

システムが、さらに、当該システム自身では安全な制御方策を決定できないとの結論に達した場合にも、状況を明確にするための情報を取得すべく、又は運転をどのように継続すべきかについての明確な指示を受けとるべく、運転者とのコミュニケーションを実行することができる。

本発明のシステムを用いることにより、環境についてのより多くの情報を自律運転の基礎として用いることができるのみならず、システム自身では制御方策を安全に決定できない場合には現在の交通状況をどのように解決するかについての運転者からの明確な指示を用いることができるので、自律運転システム又は半自律運転システムの利用を促進することができる。

そのようなシステムの使用の例を以下に示す：
− 自動車が交差点に到達し、転回を計画する。系の要素を、信頼性をもって識別又は解釈することができない。例えば、歩行者が道の傍で立っていて、その道を渡ろうとしているのか否かの意図が明確でないという場合や、照明状態が思わしくないために交通信号灯の状態が特定できない場合である。この場合、制御システムは、運転者に状況を知らせて当該運転者に支援を求める。運転者の応答として、当該運転者は、その交通参加者についての知覚をサポートする情報を提供するか、又はシステムが車両運転をどのように自律的に継続すべきか、についての運転指示を与える。すなわち、運転者は、歩行者の意図を明確に特定できるような方法で当該歩行者とコミュニケーションを行った後で、例えばシステムに転回を継続するよう指示を行う。歩行者の意図に関するそのような情報は、システムが特定の挙動についての決定を信頼性をもって行えないような状況でも、しばしば運転者によって容易に生成され得る。これに代えて、運転者は、もちろん、この状況において運転タスクを引き継ぐこともできる。

− 他の例は、例えば高速道路などにおいて、より長期間に亘って完全に自律的に走行する自動車である。そのような自律運転の間には、この制御システムは、信頼度のある状況推定を取得することができない状況に遭遇したり、又は交通展開についての内部予測と実際の状況転回との間のミスマッチに遭遇し得る。この場合、システムは、状況についての曖昧さの除去を可能とするより多くの情報を提供するように、運転者に依頼することができる。例えば、高速道路上に建設ゾーンが存在し、車両がそのような建設ゾーンに接近している場合、システムは、そのような建設ゾーンを信頼性をもって認識することができず、制御コマンドの生成に際し当該建設ゾーンを考慮に入れることができない、という事態が起こり得る。この場合、システムは、センシング手段７により観測された不明瞭エリアが実際に接近しつつある建設ゾーンであるか否かの情報を、運転者とのコミュニケーションにより取得することができる。その後、システムは、“はい。建設ゾーンです。”という情報を受けとった場合には、例えば速度を自動的に適合させると共に、ペイントされたレーンマーキングに代わるレーンマーキングを建設ゾーンの境界として考慮することができる。

− 他の例は、再び、より長期間に亘る完全自律運転に関するものである。ある地点で車両が走行しているレーンが終了し、これと同時に隣のレーンが渋滞しており、自動車間の間隔が狭いため渋滞レーンへのレーン変更は不可能と思われるという理由から、システムは、自分自身では運転タスクを遂行することができない。そのような場合、運転者は、対応する情報リクエストにより、他の交通参加者とコミュニケーションを行って当該交通参加者にギャップ（隙間）を開ける交渉を行うように、システムから動機付けられる。その後、運転者は、そのようなギャップを開ける取り決めをおこなったときは、利用可能なギャップがある旨の応答をシステムに与える。これにより、システムは、当該ギャップが、現在は小さすぎると思われても、レーン変更を行うのに十分であるものと理解する。これが可能なのは、運転者が、そのようなギャップを開ける取り決めを行ったからであり、したがって本車両がレーン変更を行い得るように他の交通参加者が積極的にギャップを大きくしてくれると確信できるためである。そのようなギャップについての知識が生成されたことにより、システムは、その後、レーン変更を自律的に行うことができる。

− 最後の例は、再び、高速道路上でのより長期間に亘る完全自律運転に関するものである。交通ルールと実際の交通状況との対立関係（contradiction）が発生する場合がある。例えば、現在の走行レーンを障害物がふさいでいるが、それと同時に追い越し禁止の道路マーキング又は道路標識が存在する、という場合である。この場合、コミュニケーション手段は、この対立関係を運転者に伝え、この問題をどのように克服するかにつての指示を与えるように促す。応答として、運転者は、システムに対し、適宜、例えば追い越し禁止の道路マーキング又は道路標識に関わらずレーン変更を実行する、等の指示を与える。

Claims (11)

1. 自律的に又は半自律的に車両（１）を運転するためのシステムであって、
   前記車両（１）の環境を物理的に感知する少なくとも一つのセンシング手段（７）と、
   前記センシング手段の出力から抽出された前記環境内の物体についての情報を蓄積して前記環境の表現を生成する表現生成手段（９）と、
   前記表現内の少なくとも一の物体について、前記センシング手段の出力からは当該物体について何も情報を引き出せないか又は予め定められた所定の閾値未満の信頼度をもってしか情報が引き出せない場合に、当該少なくとも一つの物体についての追加の情報を取得して、当該物体についてのこの情報を前記環境表現に追加する、コミュニケーション・モジュール（８、９）と、
   前記表現から前記車両が遭遇する現在の交通状況を判断し、制御タスクを達成するための制御信号を生成する、評価手段（１８）と、
   を備えるシステム。
2. 自律的に又は半自律的に車両を運転するためのシステムであって、
   前記車両の環境を物理的に感知する少なくとも一つのセンシング手段（７）と、
   前記環境内の物体についての情報を蓄積して前記環境の表現を生成する表現生成手段（９、１７）と、
   前記表現から前記車両（１）が遭遇する現在の交通状況を判断する評価手段（１８）と、
   前記判断された交通状況に対し、制御タスクを達成するのに適した、前記車両（１）を制御するための制御信号を生成することができない場合に、車両の運転者から追加情報及び又は指示を取得する、コミュニケーション・モジュール（８、９）と、
   を備えるシステム。
3. 運転者状態推定手段（２２、２３、２４）を備えることを特徴とする、
   請求項１又は２に記載のシステム。
4. 前記コミュニケーション手段（８、９）は、前記運転者の状態に基づいて前記運転者とのコミュニケーションを適合するよう適合されている、
   ことを特徴とする、
   請求項３に記載のシステム。
5. 前記コミュニケーション手段（８、９）は、情報リクエストの生成のための運転者情報リクエスト生成器（１２）を備え、前記情報リクエスト生成器（１２）は、次のうちの少なくとも一つを備えることを特徴とする、請求項１ないし４のいずれか一項に記載のシステム：運転者意図推定手段（２２）、運転者状況認識推定手段（２３）、運転者システム制御モデル推定手段。
6. 前記運転者に対するリクエストにおいて与えられる情報の量、及び又はそのような情報の表現の方法が、前記運転者意図推定手段（２２）、前記運転者状況認識推定手段（２３）、及び前記運転者システム制御モデル推定手段（２４）の少なくとも一つの推定結果に基づいて適合される、
   ことを特徴とする、
   請求項５に記載のシステム。
7. 前記コミュニケーション・モジュールは、前記運転者に対し他の交通参加者とコミュニケーションすることを要求するよう構成されている、
   ことを特徴とする、
   請求項１ないし６のいずれか一項に記載のシステム。
8. 前記コミュニケーション・モジュールは、前記運転者とのコミュニケーションのための音声出力及び又は音声入力を行う手段（８、８、２４）を備える、
   ことを特徴とする、
   請求項１ないし７のいずれか一項に記載のシステム。
9. 前記コミュニケーション・モジュールは、前記運転者とのコミュニケーションのために用いられるヘッドアップ・ディスプレイを備える、
   ことを特徴とする、
   請求項１ないし８のいずれか一項に記載のシステム。
10. 自律的に又は半自律的に車両を運転するための方法であって、
    −前記車両の環境を感知するステップと、
    −前記環境内の物体についての情報を蓄積することにより前記環境の表現を生成するステップと、
    −前記表現内の少なくとも一の物体について、前記センシング手段の出力からは当該物体について何も情報を引き出せないか又は予め定められた所定の閾値未満の信頼度をもってしか情報が引き出せない場合に、当該少なくとも一つの物体についての追加の情報を取得して、当該物体についてのこの情報を前記環境表現に追加するステップと、
    −前記表現から前記車両が遭遇する現在の交通状況を判断し、制御タスクを達成するための制御信号を生成するステップと、
    を有する方法。
11. 自律的に又は半自律的に車両を運転するための方法であって、
    前記車両の環境を感知するステップと、
    前記環境内の物体についての情報を蓄積して前記環境の表現を生成するステップと、
    前記表現から前記車両が遭遇する現在の交通状況を判断するステップと、
    前記判断された交通状況に対し、制御タスクを達成するのに適した、前記車両を制御するための制御信号を生成することができない場合に、車両の運転者からの追加情報及び又は指示を取得するステップと、
    を有する方法。

Images