JP2022513192A - 人間監視自律システムの性能及び安全性を監視する方法及び装置 - Google Patents

Abstract

【解決手段】自律システム運転における人間の管理者の失敗が検出される。知覚センサデータ入力がセンサから取得される。少なくとも１つの外部物体による安全許容範囲への侵害が知覚センサデータ入力内で検出される。安全許容範囲への侵害に対する応答がトリガされる。安全許容範囲は、安全許容範囲への侵害を軽減させるための予想される時間に基づいた所定の寸法を有している。【選択図】図１

Description

＜関連出願の相互参照＞
本特許出願は国際出願であり、２０１８年１２月１１日に出願された米国仮特許出願第６２／７７７，９７１号、発明の名称「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＭＯＮＩＴＯＲＩＮＧ ＰＥＲＦＯＲＭＡＮＣＥ ＡＮＤ ＳＡＦＥＴＹ ＯＦ ＨＵＭＡＮ－ＳＵＰＥＲＶＩＳＥＤ ＡＵＴＯＮＯＭＯＵＳ ＳＹＳＴＥＭＳ」の優先権を主張するものであって、その明細書全体が参照によって本明細書に組み込まれる。

＜発明の分野＞
本発明は、自律走行車両動作監視システム（Autonomous Vehicle Performance Monitoring System）（「ＡＶＰＭＳ」）についての新規なアプローチに関する。より詳細には、本発明は、安全許容範囲（safety envelope）への侵害を検出して、人間の安全管理者の注意力（alertness）及び有効性に関するデータを提供するシステムに関する。

自律走行車両（一般的に、ＡＶと呼ばれる）は、コンピュータによる制御を利用し、速度制御や車線維持支援のような、車両運転の少なくとも幾つかの側面を自動化する。速度センサのような従来のセンサに加えて、ＡＶは通常、知覚システムへデータを提供するために（例えば、車両、歩行者、その他の物体、道路、インフラストラクチャや天候などの運転環境の状況の検出、分類、及び予測）、カメラ（可視光、赤外線）、ＬＩＤＡＲ、レーダ、超音波音響センサやその他の同様なセンサのようなセンサのデータに依存している。それらの全ての種類のセンサに加えて、人間もまた制御システムの一部として機能し得る。人間は、経時的な車両制御の一部（例えば、人間がハンドルを制御する一方で、車両は速度を保つ）として、或いは、１又は複数の自律システムの安全管理者の何れかとして加わる。ＡＶと人間が組み合わされたシステムでは、人間の管理者は安全性を保障するために、ＡＶ運転の少なくとも幾つかの側面を監視する責任がある。人間の管理者は一般的に、車両の安全運転を維持するために、必要であれば、自律性解除、引き継ぎ、オーバーライド、又は車両とのその他の相互作用を介して介入することができる。

ＡＶと人間が組み合わされたシステムでは、人間部分の失敗は、悲劇的な結果を生む可能性がある。アリゾナ州で起こったＡＶと歩行者の死亡衝突事故に関する最近のＮＴＳＢの調査は、事故の原因の１つは、人間の管理者が道路とＡＶの運転とを注意深く監視していなかったという過失であることを明らかにした。人間の管理者を利用して安全を保障するためには、人間が適切に注意を払っていることと、危険な状況を認識できることと、安全を保障するために危険な状況に上手く対応できることとが必要とされる。

人間を監視するための利用可能な技術には、当該技術分野で知られているように、Ｍｏｂｉｌｅｙｅの先進運転支援システムのような、リアルタイムの衝突回避のための知覚による管理者能力監視システム（ＳＰＭＳ）を含むものがある。そのシステムは、ＡＶに搭載された知覚機能と同様の知覚機能を用いて、人間の管理者が車両を安全な方法で運転しているか否かを判断する。例えば、ＳＰＭＳは先行車両と自車両との距離を監視し、車間距離が近すぎて安全でない場合は行動を起こしてよいであろう。例えば、このような車間距離は、運転免許訓練教材で一般的に教えられる車間の２秒又は３秒ルールのような、定着している大まかなルールで判断されてよい。

或いは、車間距離は、ＭＯＢＩＬＥＹＥ（商標登録）が推進している責任感知型安全論（ＲＳＳ）のアルゴリズムのような更に具体的なアルゴリズムアプローチにより確保され得る。ＭＯＢＩＬＥＹＥは、イスラエルのエルサレムにあるＭｏｂｉｌｅｙｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｔｄ．の登録商標である。車間距離の強制は、点滅光、警報音、ハンドル振動デバイスの１又は複数のような人間の管理者への警報を介して実行される。

安全規則の強制もまた、自動緊急ブレーキ（ＡＥＢ）や同様な車両安全停止機能などの緊急車両制御を有効にすることによって行われてよい。潜在的な検出機能には、ＲＳＳにより必ずしも全てが対処されるわけではないが、車間距離だけでなく、車線変更が安全であるか否か、交差点において交差交通を避けられるか否か、歩行者回避、その他の障害物回避、路面状況に対して速度は適切か否かなどが含まれる。

人間の管理者が注意を払っているかを推定するその他の技術には、カメラ、ハンドル動作センサ、ペダルセンサ、又はその他のセンサデータを利用している。管理者監視（ＳＭ）システムは、センサデータを利用して、動的な運転タスクへの人間の管理者の注意力を推定する。例えば、ハンドルへの圧力が検知されることで、又は、内向き（inward-pointing）カメラが用いられて人間の管理者の視線及び表情を監視することで、人間の管理者が警戒しており、注意を払っているか否かが判定されてよい。

前述したシステム及び技術はニーズの一部に対処するものの、ＡＶの制御システムを改善し、ＡＶに組み込まれる安全システムを強化するための更なる方法が依然として必要とされている。更に、人間の安全管理者の働きを監視し、人間の失敗又は不注意を検出する機能は有益である。加えて、失敗を軽減する性能も望まれている。

第１の態様では、メモリ又はその他のデータ記憶装置と、１又は複数のプロセッサとを有しており、自律システム運転における人間の管理者の失敗を検出するシステムが提供される。知覚センサデータ入力は、１又は複数のセンサから得られる。少なくとも１つの外部物体による安全許容範囲への侵害は、知覚センサデータ入力内で検出される。安全許容範囲への侵害に対する対応がトリガされる。安全許容範囲は、トリガされた安全許容範囲の侵害により引き起こされる危険を軽減するために必要と予想される時間に基づいた所定の寸法を有する。

第２の態様では、コンピュータ実装方法は、自律システム運転における人間の管理者の失敗を検出するために実装される。知覚センサデータ入力は、外部物体と安全許容範囲の相互作用を測定するセンサから取得される。外部物体による安全許容範囲への侵害は、知覚センサデータ入力内で検出される。安全許容範囲への侵害に対する対応は、トリガされた安全許容範囲への侵害により引き起こされる危険を軽減するために必要と予想される時間に基づいている。

図１は、道路上の自車両と、先行車両と、３つの安全許容範囲とを上から見た概略図である。

図２は、本開示に基づくＡＶＰＭＳの構成のブロック図である。

図３は、ＡＶＰＭＳの実施形態を実装できる装置のブロック図である。

図４は、システムが安全許容範囲への侵害を経る際に起こる遷移を図示したステートチャートの概略図である。

図５は、本開示に基づく例示的なプロセスを示す。

本開示は、人間の管理者を含む自律地上車両又は航空機内における、人間の安全管理者及び／又は自律機能の働きを評価する方法及び装置に関する。実施形態では、ＡＶＰＭＳは安全許容範囲への侵害を検出して、人間の安全管理者の注意力及び有効性に関するデータを提供する。連続したより危険性の高い安全許容範囲の侵害の各々は、一連の警告をトリガして、人間の管理者の注意力及び車両運転情報をロギングするなどのその他の動作を有効にする。幾つかの実施形態では、ＡＶＰＭＳは、安全許容範囲への違反があると有効になるトリガを含んでおり、人間の安全管理者又は人間の管理者に、自律システムの機能不全を特定し、その軽減の計画を立てて実行を開始するのに十分な時間が提供される。

図１には、全般的に符号１００で指定される道路が図示されており、その上を先行車両１１０及び自車両１１２が走行している。この例示的な実施形態では、自車両１１２は先行車両１１０の後ろに位置している。自車両１１２は、先行車両１１０が自車両１１２へ衝突する危険性の異なるレベルを表す３つの安全許容範囲１１４乃至１１８に囲まれている。自車両１１２はＡＶＰＭＳ１２０を装備しており、ＡＶＰＭＳ１２０は、安全許容範囲１１４乃至１１８の１又は複数への侵害への１又は複数の対応を提供するためにトリガされる。

ＡＶＰＭＳ１２０は、従来のＳＰＭＳシステムを越える能力を有しており、自車両１１２などの人間の管理者と共に動作するＡＶの安全性を監視し、強化する機能を含んでいる。ＡＶＰＭＳ１２０は、従来のＳＰＭＳシステムを改善する。これは、ＡＶＰＭＳ１２０が単に管理者の役割を果たす人間の行動を監視するためだけに設計されたのではなく、むしろ、ＡＶＰＭＳ１２０は、人間とＡＶが安全な車両運転を保障するために協働する際に、人間とＡＶの動作の組合せを監視するからである。

特定の実施形態では、ＡＶＰＭＳ１２０は、安全許容範囲１１４乃至１１８を利用して、先行車両１１０とその他の外部物体とに関連する危険に対応する。安全許容範囲１１４は、先行車両１１０が急激な減速のブレーキ操作を行った場合に、自車両１１２が先行車両１１０に衝突する危険域値を表す所定の寸法を有する。安全許容範囲１１６は、先行車両１１０が自車両１１２の所定の距離内にある場合に、自車両１１２が先行車両１１０に衝突する危険閾値を表す所定の寸法を有する。安全許容範囲１１８は、先行車両１１０が自車両１１２の別の所定の距離内にある場合に、自車両１１２が先行車両１１０に衝突する危険閾値を表す所定の寸法を有する。

自車両１１２が先行車両１１０に衝突する危険性は、先行車両１１０と自車両１１２の距離に反比例する。幾つかの実施形態では、安全許容範囲１１８は、先行車両１１０と自車両１１２の最も大きな閾値距離を有しており、そのため、衝突が起こる危険性は最小である。同様にして、安全許容範囲１１４は、最小の距離及び最大の危険性を有している。更に、その他の車両形状と安全許容範囲の考慮事項とが、ＲＳＳによりカバーされる側面を含めて、安全性の全範囲に応じて適用できることは理解されるであろう。

ＡＶＰＭＳ１２０は従来のＡＰＭＳ型システムの改善を示し、特に、自車両１１２の安全性能を向上させる。従来のＳＰＭＳ型システムは、人間の管理者が車両運転へ再度関与するのにかかる追加の時間を考慮する構成とはなっていないことから、自車両１１２のようなＡＶを監視するには適していない。特に、人間の管理者は車両に再関与して、修正された安全操作を実行しなければならないため、従来のＳＰＭＳ型システムは、状況認識を取り戻したり、制御装置へ手を動かすなどのために十分な時間を人間の管理者へ与えるようには構成されていない。

更に、従来のＳＰＭＳ型システムは、ＡＶを監視するシステムには適さない。何故ならば、システムは、人間の管理者が主導権を握って運転タスクに関与していることを仮定した警告パラメータを用いて構成されるからである。そのようなシステムは、人間の管理者が「２秒車間ルール（two second following rule）」に従う距離のような所定の車間距離に違反した場合に、警告を発するように構成される。「２秒車間ルール」は、従来の車両における人間の管理者の動作に基づいているため、一般的にＡＶへの利用には適しない。何故ならば、ＡＶの安全性を確保すると共に、人間の管理者にとって必要なタイミングを考慮した最適な車間距離をＡＶが維持することを可能にするためには、２秒は短すぎたり、長すぎたりすることがあるからである。

更に、ＳＰＭＳ型システムは、積極的に関与している人間の管理者が車両を安全にするために対応するのに十分な時間を単に与えるために、警告を発するように構成されているため、「２秒車間ルール」は適さない。従来のＳＰＭＳ型システムの警告パラメータ（即ち、警告をトリガする車間距離）は一般的に、人間のＳＰＭＳ警告への応答時間と、安全操作で対応するために人間に必要な距離との組合せでモデル化することができる。その距離は、前方の物体に接近しすぎてしまった場合に、人間が危険な状況を認識してパニック停止を実行するための距離であってよい。同様の原理が、横方向への動きに適用され、車両が車線からはみ出す場合、速すぎる速度でコーナーを曲がろうとする場合、及び／又はあおり運転の警告の必要がある場合に適用できる。

ＡＶＰＭＳ１２０が自律性と自律性の少なくとも幾つかの側面を管理する人間との両方を含むＡＶシステムの環境及び制御行動を監視することから、ＡＶＰＭＳ１２０は従来のＳＰＭＳ型システムとは異なっている。ＡＶＰＭＳ１２０は更に、従来のＳＰＭＳ型システムを超えた改善を示し、ＡＶ監視の様々な要求を考慮して拡張及び改善された動作を実行する。ＡＶＰＭＳ１２０は、人間の再関与時間のモデルを、従来のＳＰＭＳへ組み込まれるであろう典型的なセッティングへ組み込むことができ、その結果、総じて、自律性の失敗を軽減するための十分な応答時間を確保するために必要なスタントドオフ距離は長くなる。

ＡＶＰＭＳ１２０は更に改良されて、結果が偽陽性率の上昇という代償を伴うことになったとしても、真陽性の増加した数を特定するのに有利に働くように警告閾値が調整されてよい。この文脈において、真陽性の例は、自車両が先行車両へ危険なほど接近していると検出される状況である。偽陽性の例は、自車両が先行車両から安全な距離にある状況にも拘わらず、検出アルゴリズムの異常により、その状況が危険であると誤って報告される場合である。念のため、偽陰性は、検出されない危険な車間距離であり、真陰性とは、実際にＡＶＰＭＳによって安全であると扱われる安全な車間距離であろう。管理者の監視機能からの追加情報は使用されて、人間の再関与の時間のモデルが改良される。

自律性を管理する人間の管理者の失敗率を計測することができることから、ＡＶＰＭＳ１２０は、従来のＳＰＭＳ型システムとは更に異なっている。ＡＶＰＭＳ１２０は、人間の管理者によるミスではなく、自律制御システムのミスによる失敗を検出する。ＡＶＰＭＳ１２０は、自律性能の失敗率及び人間の管理者の失敗率の両方を測定する。実際には介入の必要がないにも拘わらず管理者が介入した場合の人間の管理者の失敗は、自律性の失敗と区別されない場合には、失敗検出における偽陽性率を上げる結果となる。例えば、人間の管理者が衝突が起こると考え、自律制御システムを解除又はオーバーライドしたが、実際には自律システムは正常に動作している場合の「解除（disengagement）」は、人間の管理者が偽陽性の解除を行ったと判断する方法が無い限りは、自律システムの失敗率の予測を人為的に上昇させることになる。

先の図を引き続き参照しつつ図２及び図３を参照すると、全般的に符号２００で指定されるＡＶＰＭＳが図示されている。幾つかの実施形態では、ＡＶＰＭＳ２００は、コンピューティングデバイス２１０のような、外部記憶装置２１２と通信するコンピューティングデバイスのモジュールとして実装できる。コンピューティングデバイス２１０は、ＡＶに実装されて又は組み込まれてよい。ＡＶＰＭＳ２００は、図１に示されたＡＶＰＭＳ１２０と実質的に同じである。

ＡＶＰＭＳ２００は、１又は複数の管理者監視センサ２１４（例えば、管理者の視線、運転中の注意力）と、１又は複数の知覚センサ２１６（例えば、ＬＩＤＡＲ、動画、赤外線動画、超音波センサ、レーダ）と、車両状態動作センサ２１８（例えば、自車両の速度、道路摩擦力、車両健全性、現在のブレーキ性能）とから入力データを受信する。

センサ入力データは、ＡＶＰＭＳ２００によりコンピューティングデバイス２１０に実装されている知覚モジュール２２０、安全許容範囲モニタ２２２、及び管理者モニタ２２４に送られてよい。知覚モジュール２２０は、物体の位置及び挙動と、環境とを、当該技術分野で公知の方法で特定するように構成されている。安全許容範囲モニタ２２２は、図１に示された安全許容範囲１１４乃至１１８などの安全許容範囲を監視することができる。図１で示された先行車両１１０のような１又は複数の外部の車両が安全許容範囲１１４乃至１１８を侵害すると、安全許容範囲モニタ２２２はトリガされる。

ＡＶＰＭＳ２００は応答システム２２６と通信することができ、幾つかの実施形態において、応答システム２２６はトリガされて、図１に示される安全許容範囲１１４乃至１１８への侵害をロギングする。別の実施形態では、応答システム２２６はトリガされて、ＡＶに安全操作を実行させる。また別の実施形態では、応答システム２２６はトリガされて、人間の管理者へ警告を発する。更に別の実施形態では、応答システム２２６は、安全許容範囲１１４乃至１１８への侵害の検出に際し、３つの機能全てを実行するように構成される。

幾つかの実施形態では、ＡＶＰＭＳ２００は、安全に動作するために、人間の管理者がＡＶの性能を監視するための管理者モニタ２２４を実装することができる。特定の実施形態では、管理者モニタ２２４は、特にＡＶを監督するように構成されており、それは、人間のみの運転動作を監視することとは異なる。更に、管理者モニタ２２４は、知覚システムの失敗の検出を強化するために、他の手法と併せて管理者の介入を提供する。

幾つかの実施形態では、ＡＶＰＭＳ２００は、追加のデータ及び情報を、車車間（Ｖ２Ｖ）通信ネットワーク２２８及び路車間（Ｖ２Ｉ）通信ネットワーク２３０を介して取得する。別の実施形態では、ＡＶＰＭＳ２００は、地図及びその他のインフラストラクチャデータストリーム２３２にアクセスして、安全許容範囲の配置の決定を強化することができる。例えば、ＡＶＰＭＳ２００は、このようなデータ及び情報を利用して、道路の傾斜や最近気温が凍結温度より低くなったか否かなどに基づいて、車間距離を長くする必要があると判断することができる。

ＡＶＰＭＳ２００はオンボードデータログ２３４を含んでよく、オンボードデータログ２３４は、管理者監視センサ２１４、知覚センサ２１６、及び／又は車両状態動作センサ２１８からセンサ入力データを受信して記憶する。データログ２３４は、知覚モジュール２２０、安全許容範囲モニタ２２２、及び／又は管理者モニタ２２４から情報を受信して記憶してよい。更に、データログ２３４は、応答システム２２６が取った動作を記録すること、及び／又は、Ｖ２Ｖ通信ネットワーク２２８、Ｖ２Ｉ通信ネットワーク２３０及び／又はアクセスマップ及びその他のインフラストラクチャデータストリーム２３２との通信を記録することができる。

管理者モニタ２２４は、管理者監視センサ２１４と協働して人間の管理者を観察する。管理者監視センサ２１４は、ハンドルの圧力、視線追跡、表情認識、姿勢、及びその他の同様のパラメータを監視するように構成されてよい。管理者モニタ２２４は、所定の閾値よりも長く継続する管理者の不注意のイベントをデータログ２３４にロギングするように構成されてよい。例示的な実施形態では、管理者モニタ２２４は、１秒以上続く管理者の不注意のイベントをロギングするように構成される。

幾つかの実施形態では、管理者モニタ２２４は、図１に示される安全許容範囲１１４のような安全許容範囲への侵犯が起こる場合に、管理者の不注意を検出するように構成される。安全許容範囲１１４への侵犯と同時に起きる管理者の不注意の検出は、図１で示された安全許容範囲１１６への侵犯に応答して応答システム２２６が取った動作が効果的でないことを示し得る。更に、そのような失敗は、安全許容範囲１１６に対応するトリガが、安全許容範囲１１４に対応するトリガに近すぎており、事故を回避するために対応する時間を人間の管理者に十分に与えていないことを示し得る。そのような失敗は更に、実際には管理者は注意を払っていない場合に、管理者が注意を払っていると管理者モニタ２２４が誤って検出していることを示し得る。

別の実施形態では、管理者モニタ２２４は、第２のトリガとなる任意のイベントと併せて、人間の管理者の状態を記録することができる。ＡＶＰＭＳ２００及び管理者モニタ２２４は、管理者の観察データの有効性を評価するために記録データを使用して、人間の管理者を含むＡＶシステムの有効性を評価することができる。そのような実施形態において、管理者モニタ２２が管理者は注意を払っていると示している一方で、人間の管理者が警報音を鳴らす前に介入することに失敗するイベントのような、第２のトリガとなるイベントが起こるレートが高いことは、管理者監視サブシステムの問題を検出することに利用することができる。そのような実施形態では、管理者の失敗及び観察の失敗が同時に起こるレートは、車両安全性の記録に取り込まれて、そのような単一のイベントは、管理者の観察手法の潜在的な瑕疵を示すこととなる。

別の代替的な実施形態では、管理者モニタ２２４は、図１に示された安全許容範囲１１８への侵害と併せて人間の管理者の状態をロギングすることができる。そのようなイベントに対応する人間の管理者の不注意を検出することは、図１に示された安全許容範囲１１４及び／又は安全許容範囲１１６への侵害のロギングすることと併せて使用して、ニアミスした管理者の不注意のイベントを検出することができる。

図２乃至図３で示されるように、ＡＶＰＭＳ２００は知覚評価システム２３６と協働することができる。知覚評価システム２３６は、一時的なオフセット、様々な画像拡張、及び同様のアウトプットを含み得る知覚アウトプットの複数のバージョンを処理して、知覚アルゴリズムの弱点及び失敗を検出することができる。この知覚監視（ＰＭ）の技術は、国際特許出願第ＰＣＴ／ＵＳ１９／５９６１９号に完全に記載されており、その明細書の全体が参照を以て本明細書に組み込まれる。

ＡＶＰＭＳ２００及び知覚評価システム２３６の組合せは、知覚評価システム２３６単独の機能を越えた更なる利益をもたらす。そのような実施形態では、ＡＶＰＭＳ２００は、特定の拡張知覚センサ画像がその画像の未拡張バージョンとは異なる分類を生成するか否かのような、知覚評価システム２３６からの結果を記録することができる。

その後、ＡＶＰＭＳ２００は、それらの結果をＡＶＰＭＳ２００の様々なトリガへ関連付けることができる。それらトリガは、知覚評価システム２３６により知覚の失敗の検出へ関連付けられて、自律システムの失敗及び／又は人間の管理者の失敗に関連する追加の情報が提供されてよい。例示的な実施形態では、人間の管理者が、車両を第２のトリガの経験に近づけたような第３のトリガの失敗は、知覚評価システム２３６による失敗検出と関連付けられてよい。そのような失敗検出は、自律性及び人間の両方が特定の状況の検出が困難であった否か、又は、特定の状況への対応に失敗した否かを示すことができる。

先の図を引き続き参照しながら図４を参照すると、全般的に符号３００で示されるステートチャートは、ＡＶＰＭＳの異なる動作モードを図示している。ＡＶＰＭＳは、図１に示されたＡＶＰＭＳ１２０、及び／又は、図２乃至図３に示されたＡＶＰＭＳ２００であってよい。

初期状態は、警告なし（即ち、安全）のモード３１０に相当する。３１２にて、安全許容範囲３の境界が侵害され、それによりタイプ３の警告が発せられる状態３１４になる。３１６にて、安全許容範囲２の境界が侵害され、それによりタイプ２の警告が発せされる状態３１８になる。３２０では、安全許容範囲１の境界が侵害され、それによりタイプ１の警告が発せされる状態３２２になる。復帰動作又は軽減動作により衝突の危険が軽減されると、安全許容範囲１乃至３への侵害が解決されて、システムは弧３２４乃至３２８を辿る。車両が衝突する場合、システムは状態３３０へ移行する。各状態は、データをロギングすることと、例示的な実施形態では、状態３１８及び状態３２２において、人間の安全管理者へ安全基準違反を通知することとを含む動作をシステムに起こさせる。

図１乃至図４を参照して、第１のトリガは、例えば、特定の危険な状況におけるＡＶ検出時間、応答時間、及び軽減時間に基づくＲＳＳ方程式に従って、自律機能が第１の安全許容範囲１１４の閾値を超えて、安全でない位置へ入ったことを知らせる。例示的な実施形態では、ニュートン力学を用いて、所与の摩擦係数、所与のブレーキ性能、自律応答時間、及びその他のパラメータにおける先行車両のパニック停止の最悪な事態における最も安全な車間距離を計算する。車道における安全な走行においては、そのような閾値は超えられてはならない。

幾つかの実施形態では、自律性機能不全は、危険な状況をもたらす結果となり得る。ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００がそのような状況を検出する能力を有する限り、第１のトリガは、有益な情報を提供することができ、例示的な実施形態では、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００に侵害をロギングさせ、代替的な自動安全手順をトリガし（例えば、状況に適した減速量で自動緊急ブレーキシステムを独立して作動させ）、自律性の安全性侵害を人間の管理者に通知する。

多くの状況では、安全許容範囲への侵害が軽微であれば、事故は起こらないであろう。例えば、自車両１１２がＲＳＳ車間距離方程式により安全とされる距離よりも１メートル侵入すると、自車両１１２が車間距離を広げることができる前に先行車両１１０が最大減速でのパニック停止動作を行った場合にのみ、衝突は起こるであろう。しかしながら、パニック停止動作は稀であって、特に人間の管理者が車間距離を広げるために介入している場合は、衝突は起こらない可能性が高い。故に、安全許容範囲の侵害に対する自動運転車両の応答は、極端な動作ではなくて、状況によって引き起こされる危険に比例することが好ましい。例えば、第１のトリガの車間距離の侵害は、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００に、必ずしも全力でのパニック停止を発動させるのではなく、侵害の大きさに比例した減速をさせてよい。ある実施形態では、第１の安全許容範囲１１４への侵害により、車両は、５００ミリ秒以内で安全許容範囲１１４から退避しようとして、制御権限が低下した（reduced-control-authority）（最大未満の）ブレーキングを実行する。これができない場合、最大制御権限での緊急応答が実行される。

図１乃至図４に示されているように、第２のトリガは、ＡＶが第２の安全許容範囲１１６の内側を通ることを管理者が不安全に許可してしまった時点である。安全許容範囲１１６の寸法は、安全管理者が自律性の失敗を検出し、診断して応答する時間を考慮して決定される。その寸法は更に、検出、再関与、及び人間の管理の危険軽減を含む管理者の応答時間と警告の通知とを組み入れて決定される。安全許容範囲１１６の寸法は更に、人間の管理者が車両のブレーキの最大性能よりも弱くブレーキをかける可能性に依存する。それは、可能な最大ブレーキ力を命令する自律機能と比べて、自車両１１２のより小さいブレーキ力に対応することができる。言い換えると、安全許容範囲１１４が侵犯された場合にＡＶの制御システムが機能しないことを仮定して、人間の安全管理者が衝突を回避するために介入すべき閾値距離を定義するように安全許容範囲１１６は設計されている。

物体が安全許容範囲１１６に対応する第２の閾値を通過する場合、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００はイベントをロギングして、点滅する赤いインジケータライト及び警報ブザー信号を介して人間の管理者にイベントを通知してよく、事故が起こる前に人間の管理者が危険な状況を軽減させる期待と共に、管理の失敗のイベントが既に起こっていることを人間の管理者に提示する（例えば、人間の管理者は、先行車両がパニック停止を起こす前に操作を完了できることを期待して車間距離を広げるために介入する）。ＡＶＰＭＳ２００は、応答システム２２６を用いて、及び／又は、データログ２３４にイベントをロギングすることができる。ＡＶＰＭＳ２００は、応答システム２２６を用いてイベントを人間の管理者に通知できる。第２の閾値は、先行車両１１０に接近しすぎた状態で追走することによって、又は、路上の動かない障害物（図示せず）を回避するために時間内に停止できなかったことによってトリガされる。

幾つかの実施形態では、通知は、安全許容範囲１１４が侵犯される前に安全管理者の応答を導くことを目的としていることから、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は軽減動作を開始しない（例えば、ＡＥＢをトリガしない）。そのような実施形態では、安全許容範囲１１６への侵害に対応する第２のトリガは、人間の管理者へ応答するように促す。そのような実施形態では、この催促への応答は、そのような催促がなく、危険状況に気づく場合の時間の遅延よりも素早いことが期待される。

安全許容範囲１１６は、人間の管理者が応答し、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００を安全状態へ戻すための時間を与えるために設定された寸法を有する。一般的に、第２のトリガの各有効化は、人間の管理者が車両の安全性を確保することに失敗したとみなされるべきである。

図１乃至図４を引き続き参照すると、安全許容範囲１１６への侵害に対するＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００とＳＰＭＳとによる例示的応答には、複数の顕著な違いが存在する。例えば、管理者の応答時間は、安全許容範囲１１６に組み込まれてよく、それには異なる計算を必要とされる。そのような実施形態では、人間の管理者が自律性の失敗を検出して応答する時間を見込まなくてはならないため、応答時間はより長くなる。

幾つかの実施形態では、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、衝突を防ぐために利用可能な自律性の形態で第２の保護レイヤーを含んでよい。そのような実施形態では、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、安全許容範囲１１６が侵害されると、安全動作の代わりに、警告のみを始めてよい。

更に、ある実施形態では、トリガは、人間の運転手の過失に適した安全性マージンではなく、人間が自律性の潜在的な不全を監督することに適した安全性マージンに基づいてよい。そのようなマージンは、例えば、自車両１１２の僅かに速い一定速度が先行車両１１０に侵入する結果を生むことに気が付かないという人間の一般的な運転の失敗ではなく、全加速又はハンドル全切りの権限を誤って指令する自律性を含むこともできる。

安全許容範囲１１６への侵害により自動的にトリガされる緊急応答の程度は、最大車両制御権限を下回るが、人間の管理者の注意を引くための追加の手段として働くには十分効果的である。正確な値は、車両及び／又は車両の装備の特性に依存するであろう。

フルブレーキ権限ではなく、制限ブレーキ権限を有するブレーキにより車両衝突３３０の危険が軽減される状況では、０．１の例示的な減速が開始されて、でき得る限り素早くブレーキがかけられてブレーキの適用から最大の実用的な加加速度がもたらされることは理解されるであろう。このやり方でブレーキをかけることで、実際のブレーキの減速が過度に大きくなることなく、人間の管理者が自動ブレーキ手順が実行されたことを確実に認識することができる。

図１乃至図４に示されているように、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、安全許容範囲１１８が侵害されると、第３のトリガを有効にすることができる。例えば、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、第３のトリガが第２のトリガよりも長い車間距離で設定されるように構成されてよい。そのような実施形態では、安全許容範囲１１８は、安全許容範囲１１６が侵害されると予想される前の所定の時間に対応する所定の寸法を有しており、その時間は、例示的な実施形態では、２５０ミリ秒に相当する。そのような実施形態では、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、管理者に誤りを通知することなく、後の分析のためにデータログ２３４等の車両性能ログにイベントをロギングしてよい。

ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は安全許容範囲１１８の侵害を利用して、人間の管理者が介入する又は自律制御システムが応答する前に、人間の管理者が先行車両１１０等の外部物体を自車両１１２にかなり接近させる及び／又は安全許容範囲１１６を侵害させる「ニアミス」の状況、事故、及び同様のイベントを特定することができる。そのようなイベントから取得されたデータは、必ずしも人間の安全性管理者の行動の欠如を示すものではなく、自律制御システムが車両を比較的危険性の高い状況に置いたことを示す。そのようなイベントは、自律性能及び／又は管理者の行動のミッション後再調査の必要性を示す。

加えて、「ニアミス」である第３のトリガのイベントの記録を、管理者の離脱行為と併せて用いて、「有効な」離脱を事前に選別することができる。言い換えると、人間の管理者の離脱に関連する第３のトリガのイベントは、第３のトリガのイベントのない管理者の離脱と比較して、真陽性の自律性機能不全に対応している可能性が高い。代替的な実施形態では、トリガ時間が長くされて、又は、第２の安全許容範囲への侵害に対する一連のトリガと徐々に長くなる予想時間が監視されて、ニアミスの異なる重大度のプロファイルが作成されてよい。

図１乃至図４に示されているように、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、第２及び第３のトリガの偽警報率をＳＰＭＳ型システムにおけるであろう偽警報率よりも高く設定するように構成されてよい。このような設定は、警報及び／又は緊急安全動作の有効化をもたらす偽陽性のような、アクティブセーフティ及び緊急ブレーキ適用における誤警報率の２つの一般的な問題の解決に役立つ。

第１の問題は、頻繁な偽警報（例えば、警報及び／又は車両の危険軽減動作をトリガする安全許容範囲侵害の偽陽性）により人間のオペレータが、真陽性の警報を含む将来の警報を軽視する、又は、完全に無視してしまうことである。第２の問題は、パニックブレーキングのような緊急車両運転による頻繁な偽警報の作動が、後続車の追突のような二次災害を起こす危険を増大させる場合に起こる。ＳＰＭＳ型システムでは、多くの正当な安全性侵害を見逃すという代償を伴っても偽警報を最小にするようにタイミングが取られている一方で、そのようなシステムの偽陰性率は高い。

偽警報率は、例えば、周囲の物体の検出閾値を変更することで調整することができる。例えば、センサフュージョンアルゴリズムは、検出確実性が７５％より高い場合のみ、車両が自車両を先行していると宣言してよい。検出信頼度性を、例えば２５％に下げると、検出数（真陽性）は増加するが、偽警報検出（例えば、先行車両が実際は存在しないにも拘わらず、差し迫った衝突が宣言される偽陽性）の数も増加することが予想される。

ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００が基礎となる自律性行動を計測するのではなく、人間の管理者の行動を計測しようと試みる限りにおいて、偽警報率の上昇はより望ましい。特に、安全許容範囲１１８への侵害に関する警報のトリガは、車両又は管理者に影響を与えない。更に、そのようなイベントは、単に最小限の追加分析を必要とするだけに過ぎない。

高い偽陰性率を受け入れるようにＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００を構成することは、同等なＳＰＭＳ型システムよりも高い真陽性率を達成するためには有利になり得る。そのような実施形態では、検出閾値は、初期の配置において５０％の想定偽陽性率を達成するように設定されてよい。閾値は、観察結果に基づいて更に調整されてよい。

同様に、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、ＳＰＭＳ型システムよりも高い閾値で、安全許容範囲１１６の侵害の偽陽性率を設定するように構成されてよい。そのような実施形態では、好ましい初期配置の設定は３３％の想定偽陽性率（つまり、１つの偽陽性に対して２つの真陽性）である。閾値はその時点から、必要に応じて、運用経験に基づいて調整されてよい。

ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００を用いる利益は、本発明を複数の異なる構成に含める動機を与えるであろう。半自律走行車両（例えば、管理者の継続的な監視を必要とするＳＡＥ Ｊ３０１６レベル２の車両）は、内蔵される自律性の一部として、本明細書に記載された機能を有利に含んでよい。これは、人間の管理者の適切な監視行動を確実にすることに役立つ。そのようなシステムでは、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、コストを削減するために車両制御自律知覚システムを共有してよく、或いは、自律性とＡＶＰＭＳ２００動作の間の独立性を向上させるために、多様な知覚システムを含んでよい。

複数の知覚要素を含むシステムの実施形態では（例えば、危険最小化動作の実行を目的として）、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００が車両に既に内蔵されている第２の知覚システムを使用する一方で、通常の車両制御の自律性が第１知覚システムを使用して、現場の障害を検出することにより自律性を向上させることと、動作を継続的に監視することにより第２のシステムの健全性を確実にすることの両方を行ってよい。幾つかの実施形態では、ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、コストを削減するためにその他の自律機能と自律センサデータを共有する一方、専用の計算装置とのインターフェースを有してよい。

ＡＶＰＭＳ１２０及び／又はＡＶＰＭＳ２００は、製造された車両に搭載されてよい監視性能の追加として、ＳＡＥレベル４及びレベル５の試験プラットフォーム用に構成されてよく、ＡＶＰＭＳは、独立したセンサ及び計算ハードウェアを使用できる別個のアドオンハードウェアソフトウェアシステムである。この構成は、ベースライン車両設計への介入を最小限に抑え、そして、人間の管理者の監視が試験中のみに必要とされるＳＡＥレベル４及び５の車両の路上試験に特に適切であり、ＡＶＰＭＳの削除とその結果として大規模生産のコスト削減とを可能にする。

本明細書に記載されたシステムは、図５に大まかに示されているように、全体的な方法４００を実行するために設計されている。最初に、知覚センサデータ入力が、４１０にて、外部物体と安全許容範囲との相互作用を計測するためのセンサから取得される。次に、４２０にて、外部物体による安全許容範囲への侵害が知覚センサデータ入力内で検出される。最後に、４３０にて、安全許容範囲への侵害への応答がトリガされ、その応答は、安全許容範囲への侵害を軽減するのに予想される時間に基づいている。本明細書で説明したように、本プロセスは特定の目的のために変更されてよく、図５は、前述した方法の何れかと置き換わることを意図したものではない。むしろ、本開示と合致する方法の例であることを意図している。本発明の方法により、自律システム運転における人間の管理者の失敗が検出できるようになる。

追加の代替的な実施形態は、いつ知覚失敗がＳＰＭＳ型警告をトリガすることに寄与したかを特定するために、知覚監視機能からの検出と警告を組み合わせるＳＰＭＳ型システムの利用を含むが、これに限定されない。そのような実施形態は、ＳＭ人間管理者監視システム及び／又はＰＭ知覚監視システムの一方又は両方と組み合わせたＳＰＭＳ型システムを使用して、ＡＶの安全性を監視し、強化してよい。

その他の代替的な実施形態は、限定ではないが、ＡＶＰＭＳは、所定の第３のトリガの閾値を用いており、当該閾値では、第２のトリガを通過するのに予想される時間が記録され、ロギングされた離脱の各々と共に格納される。ログエントリは、人間の管理者が第２のトリガの閾値までどれほど接近したかの測定基準を提供する。第２のトリガの閾値を通過する予想時間は、車両の動作中に計算されて格納されるのではなく、代替的に、車両データログから決定されてよい。

追加の代替的な実施形態は、限定ではないが、第３の追加のトリガに加えて１又は複数の追加のトリガを含んでおり、そのような追加のトリガは、安全許容範囲の大きさは異なるが、同様の機能を有している。

本明細書では、好ましい実施形態及びその具体的な実施例を参照して本発明を説明及び記載してきたが、他の実施形態及び実施例も同様の機能を果たし、及び／又は同様の結果を達成できることは当業者には容易に明らかであろう。このような均等な実施形態及び実施例は全て、本発明の精神及び範囲内にあり、本発明によって予期されており、特許請求の範囲に含まれることが意図されている。

Claims (20)

1. 自律システム運転における人間の管理者の失敗を検出するシステムであって、
   メモリ又はその他のデータ記憶装置と、１又は複数のプロセッサとを含んでおり、
   前記１又は複数のプロセッサは、
   １又は複数のセンサから知覚センサデータ入力を取得するステップと、
   少なくとも１つの外部物体による安全許容範囲への侵害を、前記知覚センサデータ入力内で検出するステップと、
   前記安全許容範囲への侵害に対する１又は複数の応答をトリガするステップと、
   を実行するように構成されており、
   前記安全許容範囲は、前記安全許容範囲への侵害を軽減させるために予想される時間に基づく所定の寸法を有する、システム。
2. 前記応答は、前記安全許容範囲への侵害をロギングすることを含む、請求項１に記載のシステム。
3. 前記応答は、自動安全動作を有効にすることを含む、請求項１に記載のシステム。
4. 前記応答は、前記人間の管理者へ警告することを含む、請求項１に記載のシステム。
5. 前記安全許容範囲の所定の寸法は、前記人間の管理者が前記安全許容範囲への侵害を検出して前記安全許容範囲への侵害を軽減するための行動を開始することについて予想される時間に基づく、請求項４に記載のシステム。
6. 前記センサは、外部物体に関するデータを収集するように構成されている、請求項１に記載のシステム。
7. 前記センサは、管理者監視センサと車両状態動作センサとからなる群から選択される、請求項１に記載のシステム。
8. 前記センサは知覚センサである、請求項１に記載のシステム。
9. 前記知覚センサデータ入力は、知覚アルゴリズムの弱点と失敗を検出するための知覚評価システムの出力で拡張される、請求項８に記載のシステム。
10. 前記１又は複数のプロセッサは、複数の安全許容範囲への複数の侵害を検出するように構成される、請求項１に記載のシステム。
11. 応答システムを更に含んでおり、
    前記応答システムは、前記複数の安全許容範囲の各々への異なる応答を実装するように構成されている、請求項１０に記載のシステム。
12. 自律システム運転における人間の管理者の失敗を検出するためのコンピュータ実装方法であって、
    外部物体と安全許容範囲との相互作用を測定するためのセンサから知覚センサデータ入力を取得するステップと、
    前記外部物体による前記安全許容範囲への侵害を前記知覚センサデータ入力内で検出するステップと、
    前記安全許容範囲への侵害を軽減するために予想される時間に基づいた応答により、前記安全許容範囲への侵害への応答をトリガするステップと、
    を含む、方法。
13. 前記安全許容範囲への侵害をロギングするステップを更に含む、請求項１２に記載の方法。
14. 自動安全動作を有効化するステップを更に含む、請求項１２に記載の方法。
15. 前記人間の管理者へ警告するステップを更に含む、請求項１２に記載の方法。
16. 前記安全許容範囲は、前記人間の管理者が前記安全許容範囲への侵害を検出し、前記安全許容範囲への侵害を軽減するための行動を開始するための予想時間に基づいた所定の寸法を有する、請求項１２に記載の方法。
17. 前記センサを前記外部物体に関連するデータを収集するように構成するステップを更に含む、請求項１２に記載の方法。
18. 前記センサは、管理者監視センサと、車両状態動作センサとを含む群から選択される、請求項１２に記載の方法。
19. 前記センサは知覚センサである、請求項１２に記載の方法。
20. 知覚アルゴリズムの弱点及び失敗を検出するための知覚評価システムからの出力で前記知覚センサデータ入力を拡張するステップを更に含む、請求項１９に記載の方法。

Images