JP2019533604A - 車両の高度自動運転モードが停止された場合に運転者を支援するための方法および装置 - Google Patents

Abstract

本発明は、車両（１００）の高度自動運転モードが停止された場合に運転者（１０４）を支援する方法（５００）に関する。この場合、運転者（１０４）による車両（１００）の制御の引継ぎを表す引継ぎ信号、および補足情報が読み取られる。補足情報は、運転者（１０４）を表す画像情報（１０８）および／または運転者（１０４）による車両（１００）の制御を表す車両制御情報を含む。さらなるステップで、引継ぎ信号および補足情報を使用して運転者（１０４）の注意度が決定される。最終的に、制御を引き継ぐ場合に車両（１００）の少なくとも１つの運転者支援機能を制御することにより運転者（１０４）を支援するために、注意度を使用して支援信号（１１０）が出力される。

Description

本発明は、独立形式請求項の前提部分に記載の装置および方法に関する。コンピュータプログラムも本発明の対象である。

高度自動運転時には、車両制御はシステム限界では十分な時間的余裕をもって運転者によって再び引き継がれることが望ましい。「十分に」とは、例えば４〜１０秒の間の継続時間とみなされる。この場合、自動運転レベルを高度自動運転レベルから手動に切り換えることができる。同様に運転者は要求することなしに、例えばスイッチによって自動運転を停止し、これにより手動運転モードに切り換えることができる。

運転者監視カメラは、例えば運転者の視線方向を検出し、眼の様々なパラメータ、例えばまばたきまたは眼の動きに基づいて運転者の疲労状態を検出することができる。運転者の疲労が検出された場合には、対応するシステムが、例えば休憩を取ることが望ましいことを示唆することができる。視線方向の分析は、視覚的な注意を推定し、気をそらした運転者に警告を出すために利用することができる。

このような背景に基づいて、ここに提示したアプローチによれば、独立形式請求項に記載の車両の高度自動運転モードが停止された場合に運転者を支援するための方法、さらにこの方法を使用した装置、ならびに最後に、対応するコンピュータプログラムが提示される。引用形式請求項に記載の手段により、独立形式請求項に記載の装置の好ましい構成および改良が可能である。

車両の高度自動運転モードが停止された場合に運転者を支援するための方法であって、
運転者による車両制御の引継ぎを表す引継ぎ信号、および運転者を表す画像情報および／または運転者による車両制御を表す車両制御情報を含む補足情報を読み取る読取りステップと、
引継ぎ信号および補足情報を使用して運転者の注意度を決定する決定ステップと、
制御を引き継ぐ場合に車両の少なくとも１つの運転者支援機能を制御することによって運転者を支援するために、注意度を使用して支援信号を出力する出力ステップと、
を含む。

車両は、例えば乗用車またはトラックなどの自動車として理解することができる。特に車両は、運転者の介入なしに自立して走行できる高度自動運転車であってもよい。したがって高度自動運転モードは、車両が運転者の介入なしに自動制御される車両の運転形式として理解することができる。引継ぎ信号は、例えば運転者がステアリングホイール、ブレーキペダルもしくはアクセルペダル、またはその他の車両制御要素に触れた場合またはこれらを操作した場合に生成することができる。画像情報は、車両の運転者監視装置、例えば内部スペースカメラを使用して生成される情報であってもよい。画像情報は、実施形態に応じて連続的に供給することもできるし、または運転者による制御の引継ぎに応答して供給することもできる。車両制御情報は、操舵特性の一様さを評価することによって絶対的に、および／または走行車線および走行車線のマークに対して相対的に得られる情報であってもよい。付加的または代替的には、絶対的に、および／または他の交通利用者に対して、制動、加速、速度保持などの縦方向の運転特性の一様性から車両制御情報を決定することもできる。車両制御情報は、例えば運転者によって制御が引き継がれる速さを表してもよい。具体的な状況についての車両制御情報が、速すぎる引継ぎ、すなわち、引継ぎの所要時間が所定の最小引継ぎ所要時間を下回る引継ぎを表す場合には、例えば支援を必要とする引継ぎ状況を推定することができる。

原則的には、例えばカメラが設けられていない場合、または例えばカメラが見えないか、もしくはカメラに傷がついているか、または運転者がサングラスをかけているために、検出された画像が必要とされる基準に対応していない場合には、運転者の監視に依存することなしに注意度を得ることもできる。この場合、手動による車両制御の水準が守られるとすぐに終了される最大所要時間の引渡し段階を利用することも可能である。

注意度は、現在の運転状況に関する運転者の状況認識についての基準であってもよい。例えば、注意度は、視線特性によって、すなわち運転者の視覚的な安全確認の仕方によって特徴づけられていてもよい。例えば、時間的に制限された移行時間内に制御を引き継ぐ場合に、運転者支援機能を対応して制御することによって運転者を支援するために、支援信号を出力することもできる。運転者支援機能は、車両を誘導する場合に運転者を自動的に支援する車両の機能として理解することができる。例えば、運転者支援機能は、車線保持機能、自動ブレーキ機能、または車線変更機能であってもよい。

ここに提示したアプローチは、高度自動運転車の制御を手動により引き継ぐ場合に所定の運転者支援機能によって運転者を一時的に支援することができるという認識に基づいている。例えば、対応する運転者引渡し方式を運転者の特性に適合させることができる。したがって、運転者が運転タスクを引き継ぐ場合に、例えば運転者の状況認識および手動による車両の誘導能力に依存して、支援段階で特定の支援を行う支援システムを運転者に提供することができる。

例えば引継ぎを要求された後に運転者が高度自動運転モードを停止するとすぐに運転者は車両の完全な制御を行うことができ、車両の誘導の安全性について完全に責任を負う。特に、長時間の高度自動運転後に運転者の引継ぎ動作が速い場合には、比較的不安定な運転フェーズが生じる場合がある。なぜなら、場合によっては現在の運転状況および所定の運転操作の危険性についての認識がまだ十分になされていないからである。ここに提示されたアプローチは、運転者状態および運転者能力にしたがって種類、強度、および所要時間を適合させることができる支援された引渡しの概念をもたらし、手動運転モードに切り換える場合に安全性が脅かされる危険性を大幅に低減することができる。

一実施形態によれば、決定ステップでは、注意度を決定するために画像情報を使用して運転者の視線特性を分析することができる。視線特性は、運転者による車両の周辺範囲の視覚的な安全確認の方式として理解することができる。視線特性は、例えば運転者の視線方向、視線方向が保持される所要時間、または異なる複数の視線方向の変化速度によって特徴づけられていてもよい。これにより、注意度を確実に決定することができる。

別の実施形態によれば、読取りステップでは、車両の運転状況を表す運転状況情報が読み取られ、決定ステップでは、注意度を決定するために運転状況情報を使用して視線特性を評価することができる。運転状況は、例えば交通状況、車両が通行する道路の種類、他の交通利用者の数、車両の速度、または道路標識によって特徴づけられる車両の状況として理解することができる。運転状況情報は、例えば車両の周辺認識センサまたはデジタルマップによって供給される情報として理解することができる。この実施形態により、車両の運転状況を考慮して注意度を決定することができる。

さらに出力ステップでは、注意度が、車両のフロント範囲、側方範囲および／またはリア範囲から運転者の視線方向がそれていることを表している場合に、車両の衝突警告機能、自動ブレーキ機能、車線変更警告機能、車線保持機能、または上記支援機能の少なくとも２つの組み合わせを制御するために支援信号を出力することができる。これにより、車両と隣接する車両との衝突を防止することができる。

例えば、出力ステップでは、注意度が、車両の側方範囲および／またはリア範囲から運転者の視線方向がそれていることを表している場合に、車線変更警告機能および／または車線保持機能を制御するために支援信号を出力することができる。

別の実施形態によれば、分析ステップで、運転者による車両制御に関する特性値を得るために、引継ぎ信号を使用して車両の操舵特性を分析するか、または付加的または代替的に車両の加速度特性を分析することもできる。対応して出力ステップでは特性値を使用して支援信号を出力することができる。これにより、車両を手動により制御する場合のエラーに対して効率的に反作用を及ぼすことが可能である。これにより、危険な車線変更および／または車線からの意図的でない逸脱を防止することができる。

この場合、出力ステップでは、特性値が、設定された許容範囲外への車両の車線内位置の変化を表している場合には、車両の車線保持機能を制御するために支援信号を出力することができる。許容範囲は、２つの限界値の間の範囲として理解することができ、この範囲内では車線内位置の変化は危険ではないと評価される。この実施形態により、手動運転モードに切り換えられる場合に車両を車線内に安定的に保持することができる。

この方法は、例えばソフトウェアまたはハードウェア、またはソフトウェアとハードウェアとの混合形式で、例えば制御器で実施してもよい。

ここに提示したアプローチにより、さらに、ここに提示した方法の実施形態のステップを適宜な装置において、実施、制御もしくは変更するように構成された装置が得られる。装置の形式の本発明のこれらの実施形態により、本発明の基礎をなす課題を迅速に、効率的に解決することができる。

このために、装置は、信号またはデータを処理するための少なくとも１つの計算ユニット、信号またはデータを記憶するための少なくとも１つのメモリユニット、センサまたはアクチュエータとの少なくとも１つのインターフェイスであって、センサのセンサ信号を読み取るか、またはデータもしくは制御信号をアクチュエータに出力するためのインターフェイス、および／または、通信プロトコルに埋め込まれたデータを読み取るかまたは出力するための少なくとも１つの通信インターフェイスを備えていてもよい。計算ユニットは、例えば信号プロセッサ、マイクロコントローラなどであってもよく、メモリユニットは、フラッシュメモリ、ＥＰＲＯＭ、または磁気式のメモリユニットであってもよい。通信インターフェイスは、無線および／または有線でデータを読み取るか、または出力するように構成されていてもよく、有線のデータを読み取るか、または出力することができる通信インターフェイスは、例えば電気式または光学式にそれぞれのデータ伝送ラインからこれらのデータを読み取るか、またはそれぞれのデータ伝送ラインに出力することができる。

装置は、ここではセンサ信号を処理し、センサ信号の関数として制御信号および／またはデータ信号を出力する電気機器として理解することができる。装置は、ハードウェアおよび／またはソフトウェアに関して構成されたインターフェイスを備えていてもよい。ハードウェアに関して構成されている場合、インターフェイスは、例えば、装置の種々異なる機能を含む、いわゆる「システムＡＳＩＣ」の一部であってもよい。しかしながら、インターフェイスは固有の集積回路であるか、または少なくとも部分的に個別の構成要素からなっていることも可能である。ソフトウェアに関して構成されている場合には、インターフェイスは、例えば、他のソフトウェアモジュールと共にマイクロコントローラに設けられているソフトウェアモジュールであってもよい。

好ましい一実施形態では、この装置によって車両制御が行われる。このために、装置は、例えば加速度センサ、圧力センサ、操舵角センサ、車両内部スペースセンサ、周辺認識センサなどのセンサの信号にアクセスすることができる。制御は、車両のブレーキアクチュエータ、操舵アクチュエータ、またはモータ制御器などのアクチュエータによって行われる。

機械読取り可能な担体またはメモリ媒体、例えば半導体メモリ、ハードディスクメモリ、または光学メモリなどに保存されていてもよいプログラムコードを備えるコンピュータプログラム製品またはコンピュータプログラムであって、特にプログラム製品またはプログラムがコンピュータまたは装置で実行された場合に上記いずれか１つの実施形態にしたがって方法ステップを実施、変更および／または制御するために使用されるプログラムコードを備えるコンピュータプログラム製品またはコンピュータプログラムも有利である。

本発明の実施例を図面に示し、以下の説明に詳述する。

一実施例による装置を有する車両を示す概略図である。 一実施例による装置を示す概略図である。 一実施例による装置を使用して支援された引継ぎのプロセスを示す概略図である。 図１の車両について監視範囲を示す概略図である。 一実施例による方法を示すフロー図である。

以下に説明する本発明の好ましい実施例では、異なる図面に示した同様に作用する要素には同じか、または類似した符号を付し、これらの要素については繰返し説明しない。

図１は、一実施例による装置１０２を有する車両１００の概略図を示す。車両１００は、自動および手動で制御可能な車両である。図１は、車両１００の制御が自動的に行われる高度自動運転モードから、車両１００が運転者１０４により制御される手動の運転モードに切り換えられる場合の車両１００を示す。装置１０２は、運転者監視装置１０６によって供給される、この場合には内部スペースカメラの画像情報１０８を使用して、運転者１０４の注意度を決定する。注意度は、例えば画像情報１０８によって表される運転者１０４の視線特性に依存して決定される。注意度に応じて、装置１０２は、例えば車両１００の運転者支援システム１１２の少なくとも１つの機能を制御し、運転特性を安定化させるための役割を果たす支援信号１１０を出力する。これにより、手動の運転モードに切り換える場合の事故を防止することができる。

図２は、一実施例による装置１０２、例えば図１に基づいて既に説明した装置の概略図を示す。装置１０２は、運転者による制御の引継ぎを表す引継ぎ信号２１２を読み取るための読取りユニット２１０を含む。さらに読取りユニット２１０は、運転者観察装置の画像情報１０８を読み取るように構成されている。読み取りユニット２１０は、引継ぎ信号２１２および画像情報１０８を決定ユニット２２０に伝送し、決定ユニット２２０は、引継ぎ信号２１２の受信に応答して、画像情報１０８を使用して運転者の注意度を決定し、注意度を表す注意信号２２２を装置１０２の出力ユニット２３０に伝送するように構成されている。出力ユニット２３０は、注意信号２２２を使用して支援信号１１０を出力するように構成されている。

一実施例によれば、決定ユニット２２０は、画像情報１０８を使用した運転者の視線特性の分析に基づいて注意度を決定する。この場合、好ましくは読み取りユニット２１０は現在の運転状況に関する随意の運転状況情報２３２を読み取り、決定ユニット２２０に伝送する。例えば、決定ユニット２２０は注意度を決定する場合に運転状況情報２３２を使用して、運転状況情報２３２によって表される運転状況を考慮して視線特性の評価を行う。

図３は、一実施例による装置、例えば図１および図２に基づいて既に説明したような装置を使用して支援された引継ぎプロセスの概略図を示す。運転者監視装置のシステム状態３００および監視状態３０２が示されている。プロセスの開始時に、車両の高度自動運転システム３０４は要求時点３０６でシステム限界が検出された場合に運転者に引継ぎ要求を出力する。この場合、高度自動運転はできるだけ所定の時間的余裕をもって保持される。引継ぎ時点３０８における運転者による引継ぎ後に、システムは運転者特性の評価に応じて、手動による制御可能性および特別に接続された支援機能を備える移行段階３１０に切り換えられる。移行段階３１０は、最終的にブロック３１２によって示される目標状態「手動運転」に至る。

要求時点３０６から、ブロック３１４によって示される運転者の状況認識の監視が行われる。引継ぎ時点３０８から、例えば車両の操舵特性または加速度特性に基づいて、運転者能力の監視が行われる。運転者能力の監視はブロック３１６によって示されている。状況認識の監視および運転者能力の監視はいずれも、例えば移行段階３１０の終了時に終了される。

図４は、図１の車両１００の周囲の監視範囲の概略図を示す。車両１００は平面図で示されている。フロント範囲１、左前の側方範囲２Ｌ、右前の側方範囲２Ｒ、左後ろの側方範囲３Ｌ、右後ろの側法範囲３Ｒ、およびリア範囲４が示されている。監視範囲は、例えば運転者が制御を引き継ぐ場合に視覚的に安全確認することが望ましい車両の周辺の範囲である。

図５は、一実施例による方法５００のフロー図を示す。方法５００は、例えば図１〜図４に基づいて既に説明した装置に関連して行うことができる。この場合、ステップ５１０では、引継ぎ信号および画像情報が読み取られる。ステップ５２０では、引継ぎ信号および画像情報を使用して注意度の決定が行われる。ステップ５３０では、注意度を使用して、運転者を支援するための支援信号が車両の少なくとも１つの運転者支援機能を制御することによって出力される。

次にここに提示したアプローチの様々な実施例を図１〜図５に基づいて別の言葉でもう一度説明する。

一実施例によれば、高度自動運転時には常に作動している運転者監視装置１０６は、引継ぎ要求後に運転者１０４の視線特性を分析し、これにより現在の運転状況についての運転者の状況認識を推論する。例えば引継ぎ状況の種類から、視線特性に対して要求が導き出される。すなわち、例えば危険性のない運転状況で引継ぎが行われる場合には、車両１００の前方の交通スペースが運転者によって視覚的に安全確認されるだけで十分であり、ブレーキ操作または車線変更操作が必要な場合には側方および後方範囲も安全確認されることが望ましい。運転状況に基づいてなされる要求に対して、現在の視線特性の評価が行われる。図３は、例えばここに提示したアプローチによる制御引継ぎの基礎をなすプロセスを示す。

使用可能な機構によって運転者が高度自動運転を停止し、ひいては車両制御を引き継ぐとすぐにシステム状態は移行モードに切り換えられ、移行モードでは一方では車両制御が全般に手動により可能であり、他方では使用可能な車両１００の支援システムおよび安全システムが必要に応じて接続される。作動されるシステムの種類および強度は、評価された状況認識、すなわち、視線方向によって決定された運転者１０４の注意度および手動による運転者能力の評価に依存している。

例えば、運転者１０４が「フロント範囲」とも呼ぶ前方範囲を十分に安全確認することなしに車両制御を引き継いだ場合には、一実施例によれば、安全な間隔を保持するためのシステム、例えば衝突警告システムまたは自動ブレーキシステムが、特に緻密にパラメータ設定された状態で作動される。

場合によって必要な車線変更時に、例えば車線上に障害物があることによって側方もしくは後方に運転者の十分な安全確認動作が確認されない場合には、別の実施例によれば、車線変更警告システムおよび／または車線保持支援システムが、特に緻密にパラメータ設定された状態で作動される。

緊急の操作要求なしに制御が引き継がれた後に、過度に大きい車線位置の変化、例えばレーン内を左右に移動したか、例えばゆっくりと漂うように車線から外れたか、または車線から逸脱したことが確認された場合には、別の一実施例によれば、例えば車線中央維持支援装置または車線逸脱警告装置の形式の、車線保持特性を改善するためのシステムが、特に緻密にパラメータ設定された状態で作動される。

一般的な引継ぎ時間に対して著しく速く、視覚的な安全確認なしにドライバによって制御が引き継がれた場合には、状況認識が全般に劣悪になされていると仮定することができる。この場合、例えば使用可能な全ての安全システムが、特に緻密にパラメータ設定された状態で作動される。

車両の周辺の様々な範囲についての状況認識が、例えば状況認識の分解機能としてモデル化される。空間的に定義された範囲についての認識は、視線を向けることによって得られ、保持され、視線をそむけた場合に連続的に低下すると仮定される。再び視線を向けた場合には認識は再び増大する。認識モデルの可能な出力値は０〜１００パーセントの間の百分率であり、例えば図４に示した車両１００の周辺の監視範囲に関する。

支援された移行段階３１０の所要時間は、例えば状況認識の評価もしくは手動の車両制御の水準に依存している。運転者１０４の状況認識もしくは安全確認動作が十分である場合には、移行段階３１０は、例えば定められた最小所要時間後に終了される。代替的には、手動による車両制御の所定の水準、例えば平均的なヨー角エラーが個々の標準に対応するとすぐに移行段階３１０は終了される。代替的には、移行段階３１０は運転者監視とは無関係に、例えば３０秒の最大所要時間により定められている。支援された安全モードが作動している場合には、例えば適切な視覚的シンボルによって運転者に伝達される。移行段階３１０の後には、システムは手動運転モードに切り換えられ、手動運転モードでは、運転者１０４が標準的に求める支援システムが必要に応じて作動している。

別の実施例では、引渡しの所要時間は車両制御情報、例えば手動による車両制御の所定の水準のみに基づいて調整される。この場合、運転者の画像情報はなしで済ますことができ、このことはシステムにとって好都合であり、故障がなくなる。この実施形態は、例えば運転者の画像情報がないか、または画像情報の水準が十分に良好ではない場合に利用することができる。これは、例えばカメラのレンズが汚れている場合、覆い隠されていることにより運転者の状態をもはや正確に検出することができない場合、および／または、例えば運転者監視カメラに電圧が供給されず、したがって運転者引継ぎ要求にも障害が生じている場合である。この場合には、運転者の車両制御能力のみに基づいて、さらに随意に周辺認識センサ情報に基づいて方法を適合させることが有意義である。

別の実施例によれば、すでに説明したプロセスは、先行する引継ぎ要求なしに運転者によって引継ぎが開始された場合にも使用することができる。

実施例が、第１の特徴と第２の特徴との間に「および／または」の接続詞を含む場合には、この実施例は、ある実施形態では第１の特徴および第２の特徴の両方を備えており、別の実施形態では第１の特徴のみ、または第２の特徴のみを備えていると読み取られるべきである。

Claims (9)

1. 車両（１００）の高度自動運転モードが停止された場合に運転者（１０４）を支援する方法（５００）であって、
   前記運転者（１０４）による前記車両（１００）の制御の引継ぎを表す引継ぎ信号（２１２）、および前記運転者（１０４）を表す画像情報（１０８）および／または前記運転者（１０４）による前記車両（１００）の制御を表す車両制御情報を含む補足情報を読み取る読取りステップ（５１０）と、
   前記引継ぎ信号（２１２）および補足情報を使用して前記運転者（１０４）の注意度を決定する決定ステップ（５２０）と、
   制御を引き継ぐ場合に前記車両（１００）の少なくとも１つの運転者支援機能を制御することによって前記運転者（１０４）を支援するために、注意度を使用して支援信号（１１０）を出力する出力ステップ（５３０）と、
   を含む方法（５００）。
2. 請求項１に記載の方法（５００）において、
   前記決定ステップ（５２０）で、注意度を決定するために、前記画像情報（１０８）を使用して前記運転者（１０４）の視線特性を分析する方法（５００）。
3. 請求項２に記載の方法（５００）において、
   前記読取りステップ（５１０）で、前記車両（１００）の運転状況を表す運転状況情報（２３２）を読み取り、前記決定ステップ（５２０）で、注意度を決定するために前記運転状況情報（２３２）を使用して視線特性を評価する方法（５００）。
4. 請求項２または３に記載の方法（５００）において、
   前記出力ステップ（５３０）で、注意度が、前記車両（１００）のフロント範囲（１）および／または側方範囲（２Ｌ，２Ｒ，３Ｌ，３Ｒ）および／またはリア範囲（４）から運転者（１０４）の視線方向がそれていることを表している場合に、車両（１００）の衝突警告機能および／または自動ブレーキ機能および／または車線変更警告機能および／または車線保持機能を制御するために前記支援信号（１１０）を出力する方法（５００）。
5. 請求項１〜４のいずれか一項に記載の方法（５００）において、
   分析ステップで、前記運転者（１０４）による前記車両（１００）の制御に関する特性値を得るために、前記引継ぎ信号（２１２）を使用して前記車両（１００）の操舵特性および／または加速度特性を分析し、前記出力ステップ（５３０）で、特性値を使用して前記支援信号（１１０）を出力する方法（５００）。
6. 請求項５に記載の方法（５００）において、
   前記出力ステップ（５３０）で、前記特性値が、設定された許容範囲外への前記車両（１００）の車線内位置の変化を表している場合には、前記車両（１００）の車線保持機能を制御するために前記支援信号（１１０）を出力する方法（５００）。
7. 請求項１〜６のいずれか項に記載の方法（５００）を実施および／または制御するように構成されたユニット（２１０，２２０，２３０）を有する装置（１０２）。
8. 請求項１〜６のいずれか一項に記載の方法（５００）を実施および／または制御するように構成されたコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムが保存された機械読取可能なメモリ媒体。

Images