JP2022546930A - 予防的車両安全システム - Google Patents

予防的車両安全システム Download PDF

Info

Publication number
JP2022546930A
JP2022546930A JP2022508793A JP2022508793A JP2022546930A JP 2022546930 A JP2022546930 A JP 2022546930A JP 2022508793 A JP2022508793 A JP 2022508793A JP 2022508793 A JP2022508793 A JP 2022508793A JP 2022546930 A JP2022546930 A JP 2022546930A
Authority
JP
Japan
Prior art keywords
vehicle
crash
orientation
optimal
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022508793A
Other languages
English (en)
Inventor
ジェイ. コーマック、クリストファー
アール. ジャクソン、ジェフリー
ティー. モ、スタンレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2022546930A publication Critical patent/JP2022546930A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0276Non-manual adjustments, e.g. with electrical operation with logic circuits reaction to emergency situations, e.g. crash
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/085Taking automatic action to adjust vehicle attitude in preparation for collision, e.g. braking for nose dropping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204Actuation parameters of safety arrangents
    • B60R2021/01211Expansion of air bags
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34Protecting non-occupants of a vehicle, e.g. pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Air Bags (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

一実施形態において、自動運転車(AV)システムが、AV自体と別の物体との衝突が差し迫っていることを、AVに取り付けたセンサから取得したデータに基づいて判定する。AVシステムは、衝突に対する最適な車両向きを決定し、最適な車両向きに車両を位置付けるための車両進路を決定し、決定した車両進路に沿って走行するように車両を自律的に制御する。

Description

本開示は概してコンピュータシステムの分野に関し、より具体的には、自動運転車における安全技術を可能にするコンピューティングシステムに関する。
現在の車両安全システムは受動的な性質がある。すなわち、発生した衝突に応答して動作し、その衝撃の角度、方向、または強さを問わない。例えば、現在の車両安全システムは、膨張速度をプログラムした固定位置エアバッグや、プログラムされた加速度に基づいて作動する固定式衝突センサなどの受動的機構を含むことがある。こうした品目は、衝突前の自動車の事前状態も、車両が衝突時に行うことも認識していない可能性があり、これらは乗員の安全および内蔵安全装置の配置に影響を及ぼす場合がある。したがって乗員の安全は、衝撃の方向または強さ、乗員の位置、および車両が衝突している物体に応じて異なってよい。
自動運転環境の一例を示す簡略図である。
自動運転機能を備えた車両の一実装例を示す簡略ブロック図である。
特定の実施形態によるニューラルネットワークの一部の例を示す図である。
様々な車両で支援され得る自動運転の各レベルの例を示す簡略ブロック図である。
いくつかの自動運転システムに実装され得る自動運転フローの一例を示す簡略ブロック図である。
車両と物体との差し迫った衝突について最適な進路と向きを判定するシナリオの一例を示す図である。
車両と物体との差し迫った衝突について最適な乗員向きを判定するシナリオの一例を示す図である。 車両と物体との差し迫った衝突について最適な乗員向きを判定するシナリオの一例を示す図である。
車両同士の通信に基づいて、最適な進路および向きを判定するシナリオの一例を示す図である。
車両と物体との通信に基づいて、最適な進路および向きを判定するシナリオの一例を示す図である。
自動運転車制御システムの一例に関する簡略ブロック図である。
予防的車両安全システム用の意思決定プロセスの一例を示す簡略フロー図である。
予防的安全システムを実装する自動運転車を制御するプロセスの一例を示すフローチャートである。
いくつかの実施形態による例示的なプロセッサのブロック図である。
いくつかの実施形態による例示的なコンピューティングシステムのブロック図である。
様々な図面における同様の参照番号および名称は、同様の要素を示している。
図1は、自動運転環境の一例を示す簡略図(100)である。車両(例えば、105,110,115など)が、それぞれの自動運転スタックを可能にするようにハードウェア、ファームウェア、および/またはソフトウェアで実装されたロジックを有する車載コンピューティングシステムによって促進される様々なレベルの自動運転能力を備えてよい。そのような自動運転スタックにより、各車両は自己制御を行うかまたは運転者支援を提供して、道路を検出し、ある地点から別の地点まで誘導し、他の車両および道路上の動作主体(例えば、歩行者(例えば、135)、自転車に乗る人など)を検出し、障害物や危険要素(例えば、120)および道路状況(例えば、交通量、道路状況、気象条件など)を検出し、適宜車両の制御および誘導を調整することが可能になり得る。
いくつかの実装例では、この環境内にある車両(例えば、105、110、115)は、1つまたは複数の技術(例えば、IEEE802.11通信(例えば、WiFi)、セルラデータネットワーク(例えば、第3世代パートナーシッププロジェクト(3GPP)ネットワーク、移動体通信用グローバルシステム(GSM(登録商標))、汎用パケット無線サービス、符号分割多元接続(CDMA)など)、Bluetooth(登録商標)、ミリ波(mmWave)、Zigbee(登録商標)、Z-Waveなど)を用いて無線通信を支援する通信モジュールを車載コンピューティングシステムが含むという点で「接続」され得るので、車載コンピューティングシステムは、他の車両の車載コンピューティングシステム、路側機、またはクラウドベースのコンピューティングシステムなどの支援インフラストラクチャといった他のコンピューティングシステムに接続して通信することが可能になる。例えば、いくつかの実装例では、車両(例えば、105、110、115)は、センサ、データ、およびサービスを提供して車両自体の自動運転能力を支援するコンピューティングシステムとやり取りしてよい。例えば、図1の説明事例に示すように、いくつかある例の中でもとりわけ、支援ドローン180(例えば、地上および/または空中にある)、路側コンピューティングデバイス(例えば、140)、および様々な外部(車両の外部、すなわち「外側にある」)センサデバイス(例えば、160、165、170、175など)などのデバイスが、車両(例えば、105、110、115)に実装されたコンピューティングシステム、センサ、およびロジックとは別の自動運転インフラストラクチャとして提供され、車両によってもたらされる自動運転結果を支援し且つ向上させてよい。各車両は、いくつかある通信例の中でもとりわけ、ネットワーク接続されている他の車両とも無線通信チャネルで通信して、自動運転環境内でデータを共有し且つ動きを連携させてよい。
図1の例に示すように、自動運転インフラストラクチャは様々な異なるシステムを組み込んでよい。そのようなシステムは場所に応じて異なってよく、より発展した道路(例えば、特定の自治体または料金徴収当局が管理する道路、市街地にある道路、自動運転車にとっては問題が多いことが知られている道路区域など)には、他の道路区域よりも多数のまたは高度な支援インフラストラクチャデバイスがあるといった具合である。例えば、補助センサデバイス(例えば、160、165、170、175)が提供されてよく、これらのデバイスには、車道および環境内で移動する車両の一部を観察して、センサの観察結果を表現するまたは具現化する対応するデータを生成するためのセンサが含まれている。例として、センサデバイスは、いくつかある例の中でもとりわけ、道路自体に(例えば、センサ160)、路側標識または頭上標識(例えば、標識125に設置されたセンサ165)、電子式路側機器または設備(例えば、信号機(例えば、130)、電子式道路標識、電子式掲示板など)に取り付けられたセンサ(例えば、170、175)、専用の路側機(例えば、140)に組み込まれてよい。センサデバイスには、収集したセンサデータをネットワーク接続されている近くの車両またはフォグベースもしくはクラウドベースのコンピューティングシステム(例えば、140、150)に直接的に伝える通信機能も含まれてよい。車両は、外部センサデバイス(例えば、160、165、170、175、180)が収集したセンサデータ、またはこれらのセンサデバイス(例えば、160、165、170、175、180)からのセンサデータに基づいて他のシステム(例えば、140、150)が生成した観察結果もしくは推奨事項を具現化するデータを取得し、このデータを、センサフュージョン、推論、および進路計画などの、車載自動運転システムにより行われるタスクに用いてよい。場合によって、そのような外側にあるセンサおよびセンサデータは、実際には、車両に取り付けられたアフターマーケットセンサ、車両の乗員が携帯または着用するパーソナルコンピューティングデバイス(例えば、スマートフォン、ウェアラブル端末など)といった形などで車両内にあってもよい。歩行者、自転車、ドローン、電子式スクータなどを含む他の道路上の動作主体も、センサが備えられるかまたはセンサを携帯し、自動運転環境を表現するセンサデータを生成してよい。こうしたセンサデータは、いくつかある例の中でもとりわけ、自動運転車、クラウドベースもしくはフォグベースの支援システム(例えば、140、150)、他のセンサデバイス(例えば、160、165、170、175、180)により用いられて消費されてよい。
自動運転車システムは様々なレベルの機能性および精巧さを備えている場合があるので、支援インフラストラクチャは、一部の車両の検知能力だけではなく、一部の車両の自動運転機能を可能にするコンピュータおよび機械による学習機能も補うことを求められることがある。例えば、機械学習モデルの訓練およびそのような機械学習モデルの使用を促進するのに用いられる計算リソースおよび自動運転ロジックが、車載コンピューティングシステムに完全に、または車載システムおよび一部の外部システム(例えば、140、150)の両方に部分的に提供されてもよい。例えば、ネットワーク接続されている車両が、道路の特定の区間にだけある路側機、エッジシステム、またはクラウドベースのデバイス(例えば、140)とやり取りしてよく、そのようなデバイス(例えば、140)は、データ(例えば、ローカルセンサ(例えば、160、165、170、175、180)から集められたセンサデータ、または他の車両のセンサから報告されたデータ)を提供することができ、ネットワーク接続されている車両は、ある車両により提供されたデータに対して(サービスとして)計算を行って車両固有の能力を補う、且つ/または(例えば、デバイス140で収集された、または近くのセンサデバイスから収集されたセンサデータなどに基づいて)通過車両もしくは接近車両に情報をプッシュしてよい。ネットワーク接続されている車両(例えば、105、110、115)は同様にまたは代わりに、クラウドベースのコンピューティングシステム(例えば、150)とやり取りしてよく、このコンピューティングシステムは同様のメモリリソース、検知リソース、および計算リソースを提供して、車両で利用可能なリソースを拡張してよい。例えば、クラウドベースのシステム(例えば、150)は、1つまたは複数の場所にある様々なデバイスからセンサデータを収集し、このデータを利用して、(いくつかある実装例の中でもとりわけ、クラウドベースのシステム150と通信している様々な車両(例えば、105、110、115)に結果を提供する、またはその車載システムが使用するために車両にプッシュするために)クラウドベースのシステムで用いられ得る機械学習モデルの構築および/または訓練を行ってよい。アクセスポイント(例えば、145)、例えば、携帯電話用の中継塔、路側機、様々な道路インフラストラクチャに取り付けられたネットワークアクセスポイント、および近くの車両または建物により提供されるアクセスポイントなどのアクセスポイントが、環境内に設けられ、クラウドベースのシステム(例えば、150)と様々な車両(例えば、105、110、115)との間の1つまたは複数のローカルエリアネットワークまたはワイドエリアネットワーク(例えば、155)を介した通信を促進するのに用いられてよい。そのようなインフラストラクチャおよびコンピューティングシステムによって、本明細書で述べる例、特徴、および解決策は、そのような車載コンピューティングシステム、フォグベースもしくはエッジコンピューティングデバイス、またはクラウドベースのコンピューティングシステムのうちの1つまたは複数により、あるいはシステム間のやり取り及び協調による前述の組み合わせにより、完全に行われてよいことを理解されたい。
概して、本明細書で述べる「サーバ」、「クライアント」、「コンピューティングデバイス」、「ネットワークエレメント」、「ホスト」、「プラットフォーム」、「センサデバイス」、「エッジデバイス」、「自動運転システム」、「自動運転車」、「フォグベースのシステム」、「クラウドベースのシステム」、および「システム」などは一般に、自動運転環境と関連したデータおよび情報を受信する、送信する、処理する、格納する、または管理するように動作可能な電子式コンピューティングデバイスを含んでよい。本明細書で用いる場合、用語「コンピュータ」、「プロセッサ」、「プロセッサデバイス」、または「処理デバイス」は、任意の好適な処理装置を包含することが意図されており、こうした処理装置には、いくつかある例の中でもとりわけ、中央演算処理装置(CPU)、グラフィック処理ユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、およびテンソルプロセッサなどの行列計算プロセッサが含まれる。例えば、単一のデバイスとして環境内に示される要素が、複数のサーバコンピュータを含むサーバプールなどの、複数のコンピューティングデバイスおよびプロセッサを用いて実装されてよい。さらに、複数のコンピューティングデバイスのうちのいずれか、全部、または一部が、Linux(登録商標)、UNIX(登録商標)、Microsoft Windows(登録商標)、Apple OS、Apple iOS(登録商標)、Google Android(登録商標)、Windows Serverなどを含む任意のオペレーティングシステムを実行するように適合されてよく、また仮想マシンが、カスタマイズされた独自のオペレーティングシステムを含む特定のオペレーティングシステムの実行を仮想化するように適合される。
後述されるまたは図に示される様々なコンポーネントのうちのいずれかに関するフロー、方法、プロセス(またはその一部)、または機能のうちのいずれかが、1つまたは複数のモジュール、エンジン、ブロック、ユニット、モデル、またはシステムなどの好適なコンピューティングロジックといった任意の好適なコンピューティングロジックにより行われてよい。本明細書における、「モジュール」、「エンジン」、「ブロック」、「ユニット」、「モデル」、「システム」、または「ロジック」への言及は、1つまたは複数の機能を実行するハードウェア、ファームウェア、ソフトウェア、および/またはそれぞれの組み合わせを指してよい。一例として、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、マイクロコントローラまたはプロセッサなどの1つまたは複数のハードウェアコンポーネントを含んでよく、こうしたハードウェアコンポーネントは、マイクロコントローラまたはプロセッサにより実行されるように適合されたコードを格納する非一時的媒体と関連している。したがって、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックへの言及は、一実施形態において、ハードウェアを指してよく、こうしたハードウェアは具体的には、非一時的媒体に保持されるコードを認識し且つ/または実行するように構成される。さらに、別の実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックの使用が、コードを含む非一時的媒体を指し、こうしたコードは具体的には、マイクロコントローラまたはプロセッサにより実行されて、所定のオペレーションが行われるように適合される。推論できるであろうが、さらに別の実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、ハードウェアと非一時的媒体との組み合わせを指してもよい。様々な実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、ソフトウェア命令を動作可能に実行するマイクロプロセッサなどの処理要素、特定用途向け集積回路(ASIC)などの個別ロジック、フィールドプログラマブルゲートアレイ(FPGA)などのプログラムされた論理デバイス、命令を含むメモリデバイス、または(例えば、プリント回路基板上に見られるような)ロジックデバイスの組み合わせなどの好適なハードウェアおよび/またはソフトウェアを含んでよい。モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、例えば、トランジスタで実装され得る1つまたは複数のゲートなどの回路要素を含んでよい。いくつかの実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、ソフトウェアとして完全に具現化されてよい。ソフトウェアは、非一時的コンピュータ可読記憶媒体に記録されたソフトウェアパッケージ、コード、命令、命令セット、および/またはデータとして具現化されてよい。ファームウェアが、メモリデバイスにハードコードされた(例えば、不揮発性の)コード、命令もしくは命令セット、および/またはデータとして具現化されてよい。さらに、分離しているように示されているロジック境界が、一般に変化し、場合によっては重なり合う。例えば、第1モジュールおよび第2モジュール(または複数のエンジン、ブロック、ユニット、モデル、システム、またはロジック)が、ハードウェア、ソフトウェア、ファームウェア、またはその組み合わせを共有してよく、場合によっては、何らかの独立したハードウェア、ソフトウェア、またはファームウェアを保持してよい。
後述し図に示すフロー、方法、およびプロセスは、特定の実施形態で行われ得る機能を単に代表しているにすぎない。他の実施形態では、こうしたフロー、方法、およびプロセスにおいて、追加の機能が行われてもよい。本開示の様々な実施形態では、本明細書で説明される機能を実現するための、あらゆる好適なシグナリング機構が企図されている。本明細書で示される機能の一部が、必要に応じて、フロー、方法、プロセスの中で、繰り返され、組み合わされ、変更され、削除されてもよい。さらに、各機能が、特定の実施形態の範囲から逸脱することなく、フロー、方法、およびプロセスの中で任意の好適な順序で行われてもよい。
ここで、図2を参照すると、簡略ブロック図200が示されており、自動運転機能を備えた車両(および対応する車載コンピューティングシステム)105の一実装例を示している。一例では、車両105が、いくつかある例の中でもとりわけ、中央演算処理装置(CPU)、グラフィック処理ユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、およびテンソルプロセッサなどの行列計算プロセッサといった1つまたは複数のプロセッサ202を備えてよい。そのようなプロセッサ202は、ハードウェアアクセラレータデバイス(例えば、204)に結合されても、またはそれを統合していてもよく、ハードウェアアクセラレータデバイスは、いくつかある例の中でもとりわけ、機械学習推論または訓練(後述する機械学習推論または訓練のうちのいずれかを含む)に関連する機能、特定のセンサデータ(例えば、カメラ画像データ、LIDAR点群など)の処理、自動運転に関連する特定の計算機能(例えば、行列計算、畳み込み計算など)の実行といった特定の処理およびメモリアクセス機能を加速させるハードウェアを備えてよい。1つまたは複数のメモリ素子(例えば、206)が、車両に実装された自動運転スタックのモジュールまたはサブモジュールのうちのいずれか一方の全部または一部を実施する機械実行可能命令を格納するために、さらに機械学習モデル(例えば、256)、およびセンサデータ(例えば、258)などの、車両が行う自動運転機能に関連して受信される、生成される、または用いられる(または本明細書で述べた例および解決策に関連して用いられる)データを格納するために提供されてよい。様々な通信モジュール(例えば、212)も設けられてよく、これは、1つまたは複数のネットワーク通信技術を使用する1つまたは複数のネットワークチャネルを介して他の外側にあるコンピューティングシステムとやり取りするのに、車両のシステムにより用いられる通信機能を実現するハードウェア回路および/またはソフトウェアに実装される。こうした様々なプロセッサ202、アクセラレータ204、メモリデバイス206、およびネットワーク通信モジュール212は、車両のシステム上で、1つまたは複数の相互接続ファブリックまたはリンク(例えば、208)を通じて相互接続されてよく、そのような相互接続には、いくつかある中でもとりわけ、ペリフェラルコンポーネントインターコネクトエクスプレス(PCIe)、イーサネット(登録商標)、OpenCAPI(登録商標)、Gen-Z(登録商標)、UPI、ユニバーサルシリアルバス(USB)、アクセラレータ用のキャッシュコヒーレント相互接続(CCIX(登録商標))、Advanced Micro Device(登録商標)(AMD(登録商標))のInfinity(登録商標)、共通通信インタフェース(CCI)、またはQualcomm(登録商標)のCentriq(登録商標)相互接続といった技術を利用するファブリックなどがある。
図2の例を続けると、車両(および対応する車載コンピューティングシステム)105の一例が、自動運転車の機能性をハードウェアおよび/またはソフトウェアで実現したいくつかあるモジュール例の中でもとりわけ、自動運転システム210、運転制御装置(例えば、220)、センサ(例えば、225)、およびユーザ/乗員インタフェース(例えば、230)を含んでよい。例えば、自動運転システム210が、いくつかの実装例では、(例えば、図5の例に示して述べているように)自動運転スタックおよびプロセスフローの全部または一部を実装してよい。機械学習エンジン232が設けられてよく、これは、車両にまたは車両のために提供され実装される1つまたは複数の自律機能および特徴(例えば、本明細書の例で述べたもの)に関連して車両105に提供される様々な機械学習モデル(例えば、256)を利用する。そのような機械学習モデル256は、人工ニューラルネットワークモデル、畳み込みニューラルネットワーク、決定木ベースのモデル、サポートベクトルマシン(SVM)、ベイズモデル、および深層学習モデルなどのモデル例を含んでよい。いくつかの実装例では、機械学習エンジン232の一例に、複数の機械学習モデル256のうちの1つまたは複数の訓練(例えば、初期訓練、継続的訓練など)に関わる1つまたは複数のモデル訓練器エンジン252が含まれてよい。1つまたは複数の推論エンジン254も設けられてよく、これは、訓練済みの機械学習モデル256を利用して、様々な推論、予測、および分類などの結果を導出する。いくつかの実施形態において、本明細書で説明する機械学習モデルの訓練または推論は、車両外でコンピューティングシステム140または150などによって行われてよい。
車両に提供される機械学習エンジン232は、自動運転スタックなどの自動運転関連の機能を実装する自動運転システム210の他の論理コンポーネント及びモジュールによる使用のために結果を支援し提供するのに利用されてよい。例えば、データ収集モジュール234は、(例えば、車両により用いられる様々な機械学習モデル256を訓練または使用する際の入力のために)データをどのソースから収集すべきかを決定するロジックを備えてよい。例えば、特定のソース(例えば、内蔵センサ(例えば、225)または外側にあるソース(例えば、115、140、150、180、215など))が選択されてよく、データをサンプリングする頻度および忠実度も選択される。場合によって、そのような選択及び設定は、データ収集モジュール234によって、1つまたは複数の対応する機械学習モデルを用いて少なくとも一部は自律的に行われてよい(例えば、特定の検出されたシナリオが与えられると必要に応じてデータを収集する)。
センサフュージョンモジュール236も、自動運転システムの機械学習エンジン232などのモジュール(例えば、238、240、242、244、246など)により利用される様々なセンサ入力の使用および処理を制御するのに使用されてよい。1つまたは複数のセンサフュージョンモジュール(例えば、236)が設けられてよく、これは、(例えば、車両にある、または車両の外側にある)複数のセンサデータソースから出力を導出してよい。こうしたソースは同種のタイプのソースでも、または異種のタイプのソースでも(例えば、共通タイプのセンサの複数のインスタンスからの複数の入力でも、複数の異なるタイプのセンサの各インスタンスからの複数の入力でも)よい。センサフュージョンモジュール236の一例が、いくつかあるセンサフュージョン技術の例の中でもとりわけ、ダイレクトフュージョン、インダイレクトフュージョンを適用してよい。場合によって、センサフュージョンの出力は、入力として(場合によっては追加入力と共に)自動運転システムの別のモジュールおよび/または1つまたは複数の機械学習モデルに、自動運転機能などの機能(例えば、本明細書で述べた解決策の例で説明したようなもの)を提供することに関連して供給されてよい。
認知エンジン238がいくつかの例において設けられてよく、これは、場合によって、外側にあるソースおよび/またはセンサフュージョンモジュール236からのデータを含む様々なセンサデータ(例えば、258)を入力として取り入れ、車両105が遭遇した(または遭遇することになる)環境の自律認知に対応するいくつかある機能例の中でもとりわけ、物体認識および/または検出した物体の追跡を行ってよい。認知エンジン238は深層学習を用いて、例えば、1つまたは複数の畳み込みニューラルネットワークなどの機械学習モデル256によって、センサデータ入力から物体認識を行ってよい。物体追跡も行われてよく、これは、物体が移動しているかどうか、もしそうならば、どの軌道に沿って移動しているのかをセンサデータ入力から自律的に推定する。例えば、所定の物体を認識した後に、認知エンジン238は、所定の物体が車両に関連してどのように移動するかを検出してよい。そのような機能を用いて、例えば、いくつかある使用例の中でもとりわけ、他の車両、歩行者、野生生物、自転車に乗る人などといった、環境内を移動する物体を検出してよく、こうした物体の移動は、道路上の車両の進路に影響を与えることがある。
位置特定エンジン240も、何らかの実装においては、自動運転システム210に含まれてよい。場合によって、位置特定エンジン240は、認知エンジン238のサブコンポーネントとして実装されてもよい。位置特定エンジン240も、1つまたは複数の機械学習モデル256および(例えば、LIDARデータおよびGPSデータなどの)センサフュージョンを利用して、所定の物理空間(または「環境」)における車両および車両が占有する空間の確実な位置を判定してよい。
車両105はさらに、進路計画器242を含んでよく、これは、とりわけ(例えば、推奨エンジン244)、データ収集(例えば、234)、センサフュージョン(例えば、236)、認知エンジン(例えば、238)、および位置特定エンジン(例えば、240)といった様々な他のモジュールの結果を利用して、車両の進路計画および/または行動計画を決定してよく、それを用いて、運転制御装置(例えば、220)が環境内の車両105の運転を制御してよい。例えば、進路計画器242は、こうした入力および1つまたは複数の機械学習モデルを利用して、運転環境内の様々な事象の確率を決定して、その環境内で実行するのに有効なリアルタイム計画を決定してよい。
いくつかの実装例において、車両105は1つまたは複数の推奨エンジン244を含み、車両105自体のセンサ(例えば、225)により生成されるセンサデータ、および外側にあるセンサ(例えば、センサデバイス115、180、215など)からのセンサデータから様々な推奨事項を生成してよい。いくつかの推奨事項が推奨エンジン244によって決定されてよく、こうした推奨事項は、車両の自動運転スタックの他のコンポーネントに入力として提供され、これらのコンポーネントにより行われる決定に影響を与えることがある。例えば、進路計画器242が検討すると、進路計画器242に、推奨事項がなかったなら通常は別の形で決定することになる判定または計画から逸脱させる推奨事項が決定されることがある。推奨事項は、乗員の快適性および体験に関する配慮にも基づいて、推奨エンジン(例えば、244)により生成されてよい。場合によって、車両内の内部機能が、これらの推奨事項(車両のセンサおよび/または外側にあるセンサなどにより収集されたセンサデータ(例えば、258)から決定される)に基づいて予測的且つ自律的に操作されてよい。
上述したように、いくつかの車両実装例にはユーザ/乗員体験エンジン(例えば、246)が含まれてよく、これは、センサデータおよび車両の自動運転スタック内の他のモジュールの出力を利用し、センサデータ(例えば、258)により収集された観察結果に基づいて、運転操作および車両の車室環境の変化が車両内での乗員の体験を充実させる結果をもたらすことがある。場合によって、車両に設けられてユーザが車両およびその自動運転システムとやり取りできるようにするユーザインタフェース(例えば、230)の態様が、拡張されてよい。場合によって、情報表現(例えば、音声表現、視覚表現、および/または触知表現)が生成され、ユーザディスプレイを通じて提供され、いくつかある使用例の中でもとりわけ、車両(例えば、105)内の乗員体験に影響を与えてその体験を向上させるのに役立つことがある。
場合によって、システムマネージャ250も設けられてよく、これは、車両上の様々なセンサにより収集される情報を監視して、車両の自動運転システムの性能に関連する問題を検出する。例えば、計算上の誤り、センサの機能停止および問題、(例えば、通信モジュール212によって提供される)通信チャネルの可用性および品質、または車両システムの検査(例えば、モータ、変速機、バッテリ、冷却系統、電気系統、タイヤなどに関連する問題)などの運転上の事象が、システムマネージャ250により検出されてよい。そのような問題はシステムマネージャ250により生成されるシステム通知データで特定されてよく、こうしたデータは、場合によって、機械学習モデル256および関連する自動運転モジュール(例えば、232、234、236、238、240,242、244,246など)への入力として利用され、車両システムの健全性および問題も、車両105の自動運転機能に含まれるセンサデータ258に収集された他の情報と共に検討されることが可能になり得る。
いくつかの実装例では、いくつかある例の中でもとりわけ、ステアリング制御装置(例えば、260)、アクセル/スロットル制御装置(例えば、262)、ブレーキ制御装置(例えば、264)、シグナリング制御装置(例えば、266)を含む運転制御装置220に車両105の自動運転スタックを結合して、車両をどう運転するかについて影響を与えてよい。場合によって、車両が、ユーザ入力に完全に基づいて制御されても、または部分的に基づいて制御されてよい。例えば、ユーザインタフェース(例えば、230)には運転制御装置(例えば、物理または仮想のステアリングホイール、アクセル、ブレーキ、クラッチなど)が含まれており、人間の運転者が(例えば、ハンドオーバで、または運転者支援動作に従いながら)制御権を自動運転システムから引き継ぐことが可能になり得る。他のセンサを利用して、ユーザ/乗員の入力を受け取ってもよく、例えば、音声検出292およびジェスチャ検出カメラ294などの例がある。ユーザインタフェース(例えば、230)は、乗員ユーザの欲求および意図を読み取ってよく、これらを、車両105の自動運転スタックは車両の運転を制御する際に(例えば、運転制御装置220において)追加入力として配慮してよい。いくつかの実装例では、運転制御装置が外部コンピューティングシステムによって制御されてよい。例えば、いくつかある実装例の中でもとりわけ、乗員が外部デバイス(例えば、スマートフォンまたはタブレット)を利用して運転方向または運転指示を提供する場合、または外部の運転者もしくはシステムが(例えば、緊急事象に基づいて)車両の制御権を引き継ぐ遠隔駐車サービスの場合などである。
上述したように、車両の自動運転スタックは、車両に設けられている且つ車両の外部にある様々なセンサにより生成される様々なセンサデータ(例えば、258)を利用してよい。一例として、車両105はセンサ225のアレイを備え、車両の外部および周囲環境に関連する様々な情報、車両システムの状況、および車両内の状態などの、車両の処理システム210の各モジュールが利用可能な情報を収集してよい。例えば、そのようなセンサ225には、いくつかあるセンサ例の中でもとりわけ、全地球測位(GPS)センサ268、光検出と測距(LIDAR)センサ270、2次元(2D)カメラ272、3次元(3D)もしくはステレオカメラ274、音響センサ276、慣性計測ユニット(IMU)センサ278、温度センサ280、超音波センサ282、バイオセンサ284(例えば、顔認識、音声認識、心拍数センサ、体温センサ、感情検出センサなど)、レーダセンサ286、気象センサ(不図示)が含まれてよい。センサデータ258は同様に(または代わりに)、車両に一体的に結合されていないセンサによって生成されてよい。そのようなセンサには、他の車両(例えば、115)に搭載されたセンサ(車車間通信などの手法によって車両105に伝えられ得る)、地上または空中にあるドローン180に搭載されたセンサ、車両105の内側または外側にいる人間のユーザが携帯するユーザデバイス215(例えば、スマートフォンまたはウェアラブル端末)のセンサ、および他の路側要素、例えば、路側機(例えば、140)、道路標識、信号機、街灯などに取り付けられたまたは備えられたセンサが含まれる。そのような外側にあるセンサデバイスからのセンサデータが、いくつかある実装例の中でもとりわけ、センサデバイスから車両に直接的に提供されてもよく、またはデータ集約デバイスを通じて、もしくは他のコンピューティングシステム(例えば、140、150)がこれらのセンサに基づいて生成した結果として提供されてもよい。
いくつかの実装例では、自動運転車システム105が他のコンピューティングシステムにより提供される情報およびサービスとインタフェース接続して、その情報およびサービスを活用し、デバイス105の自動運転機能を拡張し、有効にし、または別のやり方で支援してよい。場合によって、いくつかの自動運転機能(本明細書で述べた例としての解決策のうちのいくつかを含む)は、車両の外部にあるコンピューティングシステムのサービス、コンピューティングロジック、機械学習モデル、またはデータなどのリソースによって有効になり得る。そのような外部システムが車両に利用できない場合、これらの機能は少なくとも一時的に無効になり得る。例えば、外部のコンピューティングシステムが提供され、活用されてよく、こうしたコンピューティングシステムは、路側機またはフォグベースのエッジデバイス(例えば、140)、他の(例えば、より上位レベルの)車両(例えば、115)、およびクラウドベースのシステム150(例えば、様々なネットワークアクセスポイント(例えば、145)を通じてアクセス可能)でホストされる。路側機140またはクラウドベースのシステム150(などの、車両(例えば、105)がやり取りする協調システム)が、自動運転システム(例えば、210)の一例に属するものとして示されたロジックの全部または一部を、場合によっては、追加の機能およびロジックと共に含んでよい。例えば、クラウドベースのコンピューティングシステムまたは路側機140などのコンピューティングシステムが、モデル訓練および推論エンジンロジックのいずれかまたは両方を支援する機械学習エンジンを含んでよい。例えば、そのような外部のシステムは、よりハイエンドなコンピューティングリソース、およびより発展したまたは最新の機械学習モデルを備えて、これらのサービスが、車両の処理システム210で元々生成されるよりも優れた結果を提供できるようにしてよい。例えば、自動運転システム210は、クラウドベースのサービスを通じて提供される機械学習訓練、機械学習推論、および/または機械学習モデルを、特定のタスクおよび特定のシナリオの処理のために利用してよい。実際に、車両105に属するものとして述べられ、示された複数のモジュールのうちの1つまたは複数が、いくつかの実装例では、代替的にまたは余分に、自動運転環境を支援するクラウドベースまたはフォグベースなどのコンピューティングシステム内に設けられてよいことを理解されたい。
本明細書の様々な実施形態が1つまたは複数の機械学習モデルを利用して、AVスタックの機能(などの本明細書で説明される機能)を実行してよい。機械学習モデルがコンピューティングシステムにより実行されて、特定のタスクの性能を段階的に向上させてよい。いくつかの実施形態では、機械学習モデルのパラメータが、訓練段階で訓練データに基づいて調整されてよい。訓練済みの機械学習モデルは次に、推論段階で用いられ、入力データに基づいて予測または決定が行われてよい。
本明細書で説明される機械学習モデルは、任意の好適な形をとっても、または任意の好適な手法を利用してもよい。例えば、複数の機械学習モデルのうちのいずれかが、教師あり学習、半教師あり学習、教師なし学習、または強化学習の手法を利用してもよい。
教師あり学習では、入力および対応する所望の出力の両方を含むデータの訓練セットを用いて、モデルが構築されてよい。各訓練インスタンスには、1つまたは複数の入力および所望の出力が含まれてよい。訓練には、新たな入力に対する出力を予測するようモデルに教えるために、訓練インスタンスによる反復と、目的関数の使用とが含まれてよい。半教師あり学習では、訓練セットに含まれる入力の一部が、所望の出力を欠いていることがある。
教師なし学習では、入力のみを含んで所望の出力がないデータのセットからモデルが構築されてよい。教師なしモデルは、データのパターンを発見することでデータの構造を見つけるのに用いられてよい(例えば、データポイントのグループ化またはクラスタ化)。教師なし学習モデルで実施され得る手法には、例えば、自己組織化マップ、最近傍マッピング、k平均法クラスタリング、および特異値分解が含まれてよい。
強化学習モデルでは、精度を向上させるために、正または負のフィードバックが与えられてよい。強化学習モデルでは、1つまたは複数の目標/報酬を最大化しようとしてよい。強化学習モデルで実施され得る手法には、例えば、Q学習、時間的差分(TD)、および敵対的ディープネットワークが含まれてよい。
本明細書で説明される様々な実施形態が、1つまたは複数の分類モデルを利用してよい。分類モデルでは、限定されたセットの値に出力を制限してよい。分類モデルは、1つまたは複数の入力値の入力セットに対するクラスを出力してよい。本明細書における分類モデルへの言及は、例えば、以下の技術のうちのいずれか1つまたは複数を実装するモデルを企図してよい。すなわち、線形分類器(例えば、ロジスティック回帰または単純ベイズ分類器)、サポートベクトルマシン、決定木、ブーステッドツリー、ランダムフォレスト、ニューラルネットワーク、または最近傍法といった技術である。
本明細書で説明される様々な実施形態が、1つまたは複数の回帰モデルを利用してよい。回帰モデルは、1つまたは複数の値の入力セットに基づいて、連続した範囲から数値を出力してよい。本明細書における回帰モデルへの言及は、例えば、以下の技術(などの好適な手法)のうちのいずれか1つまたは複数を実装するモデルを企図してよい。すなわち、線形回帰、決定木、ランダムフォレスト、またはニューラルネットワークといった技術である。
様々な実施形態では、本明細書で述べた機械学習モデルのうちのいずれかが、1つまたは複数のニューラルネットワークを利用してよい。ニューラルネットワークは、シナプスで接続されたニューロンの大規模クラスタを含む生物学的な脳の構造を大まかにモデル化したニューラルユニットのグループを含んでよい。ニューラルネットワークでは、ニューラルユニットが他のニューラルユニットにリンクを介して接続される。そのリンクは、接続されたニューラルユニットの活性化状態への影響に関して、興奮性にも、または抑制性にもなり得る。ニューラルユニットは、その入力の値を利用して関数を実行し、ニューラルユニットの膜電位を更新してよい。ニューラルユニットは、ニューラルユニットと関連した閾値を超えると、接続されたニューラルユニットにスパイク信号を伝えてよい。ニューラルネットワークは、(AVスタックによって行われるタスクを含む)様々なデータ処理タスク、例えば、コンピュータビジョンタスクまたは音声認識タスクなどの好適なコンピューティングタスクを行うように訓練されても、または別のやり方で適合されてもよい。
図3は、特定の実施形態によるニューラルネットワーク300の一部の例を示す図である。ニューラルネットワーク300は、ニューラルユニットX1~X9を含む。ニューラルユニットX1~X4は、それぞれ一次入力I1~I4(これは、ニューラルネットワーク300が出力を処理する間、一定に保たれてよい)を受け取る入力ニューラルユニットである。あらゆる好適な一次入力を用いてよい。一例として、ニューラルネットワーク300が画像処理を行う場合、一次入力値は画像からの画素の値でよい(また一次入力の値は、画像を処理している間、一定でよい)。別の例として、ニューラルネットワーク300が音声処理を行う場合、特定の入力ニューラルユニットに適用される一次入力値は入力音声の変化に基づいて経時的に変化してよい。
図3には特定のトポロジおよび接続方式が示されているが、本開示の教示内容は、任意の好適なトポロジおよび/または接続を有するニューラルネットワークに用いられてよい。例えば、ニューラルネットワークは、ニューラルユニット間に任意の好適な接続性を有する順伝播型ニューラルネットワークまたは回帰型ネットワークなどのニューラルネットワークであってよい。別の例として、ニューラルネットワークが入力層、隠れ層、および出力層を有するものとして示されているが、ニューラルネットワークは、任意の好適な方式で配置された任意の好適な層を有してよい。示されている実施形態では、2つのニューラルユニット間の各リンクにシナプス荷重があり、これは2つのニューラルユニット間の関係の強さを示している。シナプス荷重はWXYとして示されており、Xはシナプス前のニューラルユニットを示し、Yはシナプス後のニューラルユニットを示している。ニューラルユニット間のリンクは、接続されたニューラルユニットの活性化状態への影響に関して、興奮性にも、または抑制性にもなり得る。例えば、X1からX5に伝わるスパイクが、X5の膜電位をW15の値に応じて増やしても、または減らしてもよい。様々な実施形態において、接続には向きがあっても、または向きがなくてもよい。
様々な実施形態では、ニューラルネットワークの各時間ステップにおいて、ニューラルユニットは任意の好適な入力を受け取ってよい。そのような入力は、例えば、バイアス値、あるいはそれぞれのシナプスを介してニューラルユニットに接続されているニューラルユニット(このニューラルユニットのセットは、ニューラルユニットのファンインニューラルユニットと呼ばれる)のうちの1つまたは複数からの1つまたは複数の入力スパイクである。ニューラルユニットに適用されるバイアス値は、入力ニューラルユニットに適用される一次入力の関数、および/またはニューラルユニットに適用される何らかの他の値(例えば、ニューラルネットワークの訓練などのオペレーションで調整され得る定数値)でもよい。様々な実施形態において、各ニューラルユニットは、それ自体のバイアス値と関連付けられてよく、または、あるバイアス値が複数のニューラルユニットに適用されることがある。
ニューラルユニットは、その入力および現在の膜電位の値を利用して関数を実行してよい。例えば、ニューラルユニットの現在の膜電位に入力を加えて、更新済みの膜電位を生成してよい。別の例として、シグモイド伝達関数などの非線形関数が、入力および現在の膜電位に適用されてもよい。任意の他の好適な関数を用いてもよい。ニューラルユニットは次に、その膜電位を関数の出力に基づいて更新する。
図4を参照すると、様々な車両において(例えば、それぞれの対応する車載コンピューティングシステムによって)支援され得る自動運転のレベルの例を示す簡略ブロック図(400)が示されている。例えば、各レベルの範囲が定義されてよく(例えば、L0~L5(405~435))、レベル5(L5)が最上位レベルの自動運転機能(例えば、完全自動化)を備えた車両に対応し、レベル0(L0)が最下位レベルの自動運転機能(例えば、自動化なし)に対応する。例えば、L5の車両(例えば、435)では、人間の運転者が提供するのと同等またはそれより優れた自動運転性能を、過酷な道路状況および天候を含むあらゆる運転シナリオで提供できる完全自律型コンピューティングシステムを備えてよい。L4の車両(例えば、430)も、完全に自律しており、出発地点から目的地までの全行程を通して、安全重視の運転機能を自律的に行い且つ道路状況を効果的に監視することができるとみなされてよい。L4の車両は、L4の自律能力が車両の「運転設計領域」の制限内に定義されている点でL5の車両と異なってよく、全ての運転シナリオを含まなくてもよい。L3の車両(例えば、420)は、特定の交通量および環境条件のセットでは安全重視の機能を完全に車両に移す自動運転機能を提供するが、全ての他のシナリオでの運転を処理するのに、まだ人間の運転者の関与および可用性が期待されている。したがって、L3の車両は、人間の運転者から自動運転スタックへ、またその逆に制御権の移行を調整するハンドオーバプロトコルを提供してもよい。L2の車両(例えば、415)は運転者支援機能を提供し、これにより、運転者は時々車両の物理的操作から解放されることが可能になるので、運転者の手足は両方とも車両の物理的制御装置から時々解放され得る。L1の車両(例えば、410)は1つまたは複数の特定の機能(例えば、ステアリング、ブレーキなど)に関して運転者支援を提供するが、車両のほとんどの機能に関して、まだ運転者による恒常的な制御が必要である。L0の車両は自律的ではないとみなされるかもしれない。つまり、人間の運転者が車両の全ての運転機能を制御する(それでもなお、そのような車両は、例えば、センサデータをより上位レベルの車両に提供する、センサデータを用いて車両内のGPSおよびインフォテイメントサービスを充実させるなどにより、自動運転環境に受動的に関わることがある)。いくつかの実装例では、単一の車両が、複数の自動運転レベルで操作を支援してよい。例えば、所定の行程においてどの支援レベルの自律性を用いるか(例えば、L4またはそれより下位のレベル)を運転者が制御して選択してよい。他の場合には、例えば、道路または車両の自動運転システムに影響を与える状態に基づいて、車両がレベルを自律的に切り替えてよい。例えば、いくつかある例の中でもとりわけ、1つまたは複数のセンサが損傷していることを検出したのに応答して、L5またはL4の車両が、センサの問題を考慮して下位のモード(例えば、L2またはそれより下位)に移り、人間の乗員を関与させてよい。
図5は、いくつかの自動運転システムに実装され得る自動運転フローの一例を示す簡略ブロック図(500)である。例えば、自動(または半自動)車両で実施される自動運転フローが、検知・認識段階505、計画・決定段階510、並びに制御・実行段階515を含んでよい。検知・認識段階505では、データが様々なセンサにより生成され、自動運転システムによる使用のために収集される。場合によって、データ収集には、データのフィルタリングおよび外部ソースからのセンサの受信が含まれてよい。この段階には、センサフュージョン動作、および1つまたは複数の機械学習モデルを用いて行われる物体認識などの認知タスク(位置特定など)も含まれてよい。計画・決定段階510は、センサデータおよび様々な認知動作の結果を利用して、前方の道路に関する確率的予測を行い、これらの予測に基づいてリアルタイムの進路計画を決定してよい。計画・決定段階510はさらに、障害物などの事象の検出を受けて進路計画に関連する決定を行う段階を含み、これらの事象を考慮して、決定した進路を安全に誘導するのに行動を起こすべきなのか、またどの行動を起こすべきなのかを決定してよい。計画・決定段階510の進路計画および決定に基づいて、制御・実行段階515がこれらの決定を、ステアリング、アクセル、およびブレーキを含む運転制御装置、並びに方向指示器、センサクリーナ、ワイパー、ヘッドライトなどといった二次制御装置を操作するアクチュエータによって動作に変換してよい。
現在の車両安全システムは受動的な性質がある。すなわち、発生した衝突に応答して動作し、その衝撃の角度、方向、または強さを問わない。例えば、現在の車両安全システムは、膨張速度をプログラムした固定位置エアバッグや、プログラムされた加速度に基づいて作動する固定式衝突センサなどの受動的機構を含んでよい。こうした品目は、衝突前の自動車の事前状態も、車両が衝突時に行うことも認識していない可能性があり、そのことが乗員の安全および内蔵安全装置の配置に影響を及ぼす場合がある。乗員の安全は、衝撃の方向または強さ、乗員の位置、および車両が衝突している物体に応じて適宜変わることがある。それは、車両の全ての箇所がその安全性および構造的完全性に関して均質ではないからである(すなわち、車両のいくつかの箇所が、他の領域より弱く、さらなる保護を必要とすることがある)。
人間の運転者が車両を操縦している場合、運転の性質と緊急操作を計画し実行する人間の運転者の能力とが原因で、衝突の際にできることはほとんどない。しかしながら、自律的な(例えば、AIベースの)システムおよび強力なセンサネットワークを備えた世界では、衝突を予測して、多くのシナリオを推定し且つ予め計画することが可能になるはずである。例えば、自律システムが衝突を(例えば、衝突より前に車両の位置付けを制御することにより)判定し且つ最適化して損傷および乗員などへの傷害を最小化し、受動的及び能動的な安全システムを最大限に利用して、そのシステムの使用および実行を最適化してよい。さらに、現在の自動車システムが他の車両または路側物体/構造物とネットワーク接続されていることも、これらと通信していることもないため、今にも衝突しそうな車両同士(または車両と構造物)が互いとやり取りして、損傷、傷害、または死亡を軽減し得る見込みのある方策を決定する予防的手段がない。
したがって、本開示では、例えば、予防的車両進路計画、車両および/または乗員の位置付け、受動的安全機構のスマート制御などによって、衝突結果を最適化し得る予防的車両安全システムの実施形態を説明する。本明細書で説明する手法は、既存の自動車に適用されてよく、そこでは、アクチュエータ(例えば、ステアリング、ブレーキ、スロットル)が運転者の入力を無効にすることができ、また自動運転車(AV)にも適用されてよく、そこでは、予防的安全システムが、差し迫った事故の場合に備えて当該車両にとって最も安全で最小の損失/損傷になる方策を特定することに特化した別の高性能コンピュータシステム(例えば、AIベースのシステム)と並列に動作する。様々な方式が、本明細書で説明する手法によって支援されてよい。
例えば、能動的な衝突方向予測、能動的な車両向きおよび/または乗員向き、および受動的安全機構用の可変反応応答手法を含む単一車両損失最小化方式が利用されてよい。例えば、車両は、能動的センサ、および深層学習による識別追跡技術を用いて、衝突区域にある危険な物体を識別し、可能性のある事故軌道をプロットし、車両の「最も安全な」衝突面を示すように、車両を操作する車両のアクチュエータを用いて車両を能動的に方向付けてよい。さらに、車両は、事故方向に対して最も強い乗員拘束装置および安全システムを示してよい。これには、衝突より前に最も安全な角度を示す(例えば、乗員の背中側を事故に向けること、および衝撃が当たるのは空いた座席か人がいる座席かを確実にする)車両の回転方向または内部座席(または車室)の回転方向が含まれてよい。
さらに予測システムは、衝突より前に、エアバッグなどの保護拘束具および侵入防止システム(例えば、ロールバーまたは乗員保護ケージ)を事前展開するなどによって、受動的車両安全機構の起動を開始し且つ制御することができる。場合によって、予防的システムは、(例えば、乗員の手足、首、頭の損傷を最小化するために)受動的機構の応答、例えば、エアバッグ膨張速度または複数のエアバッグ展開を調整してよい。それに対して、今日のシステムは通常、空砲弾を用いてエアバッグを展開し、オールオアナッシングのオプションを提供する。またこのシステムは、他のシステムへの安全相互接続がない受動的センサを通じた衝撃に応答して解放され、様々な受動的機構と能動的機構とを連携させることで全体的な安全性を最適化する。これらのシステムを共に制御することで、衝撃の能動的減衰を通じて衝撃Gおよび内臓へのショックがもたらされ得る。例えば、可変膨張速度または時限膨張パターン(例えば、衝突時に早く開いて部分的収縮を提供する)を持ったエアバッグシステムは、(特に子供または小動物の場合に)乗員への傷害を軽減させることがある。
例えば、図6~図7に示すシナリオを参照すると、車両602が物体610に向かって進んでおり、両者の衝突が差し迫っている中で、(例えば、車両の能力、車両速度などが原因で)車両602が衝突を回避する時間も空間もない。運転者の入力がないと仮定すると(例えば、運転者が取り乱した、もしくは無能力になった、またはそれ以外のことで車両をこれ以上制御できない場合)、車両は進路607に沿って進み続け、ほぼ正面衝突状態で物体610に衝突することになり、これは非常に危険な可能性がある。しかしながら、本開示の態様によれば、車両602の予防的安全システムが、(例えば、車両の安全情報(例えば、衝撃吸収帯、衝突試験データなど)、乗員に関する情報(例えば、年齢、サイズ、車両内の位置)、または車両に関する他の情報(例えば、事故の際に飛び出す脅威になる得る車両内側の未拘束物体)に基づいて)衝突に対する安全結果を最適化する車両およびその乗員の衝突向きを決定してよく、車両およびその乗員にとって最適な衝突向きを実現するように車両を自律的に制御してよい。
例えば、図6に示す例を参照すると、車両602は、進路607、609などの可能性のある進路よりも進路605を選択してよい。差し迫った衝突に対して進路605が最も安全な結果をもたらすと判定されているからである。進路605がその他の進路に優先して選択された可能性があるが、それは、例えば、進路605のかすめるような衝突の性質が(例えば、進路607より)安全性を高めることになる、進路605における車両の衝突箇所が(例えば、車両の当該領域の衝撃吸収帯によって進路607より)安全性を高めることになる、車両内での乗員の位置によって進路605がより安全であることが決まる(例えば、車両内にいるのは運転者だけであり、衝突が生じた車両の側面が助手席側である場合(例えば、進路609に対して))などの理由があるとの判定に基づいている。車両602の進路を変更するものとして示しているが、場合によって、車両は代替的に進路607を進み続け、物体610との衝突に対して最も安全な角度を示すように、ヨーイングまたは旋回することを決定してよいことが理解されるであろう。さらに、図7A~図7Bに示すように、車両602は車両の乗員の向きを変えて、乗員の背中側を物体610との衝突の方向に見せ、乗員の座席を衝突箇所からさらに遠くに移動して、乗員の安全性を高めてよい。場合によって、本システムは、車両内にあるチャイルド/ベビーシートを識別して、事故衝撃の角度および方向を最適化するようにプログラムされてよく、これにより、子供(または高齢者)が車両自体および内蔵安全システムによって最大の保護を得られるようになる。
場合によって、複数の車両が互いとやり取りし、差し迫った衝突の判定に応答して安全性を連携させてよい。例えば、緊急または差し迫った衝突の際には、トラブル状態の車両が、その周辺にいる(例えば、現在の進路または可能性のある今後の進路にいる)1つまたは複数の車両、例えば、集束ベクトル上の車両とやり取りしてよい。各車両は互いとの最も安全な衝突箇所を共有してよく、車両が最も安全な場所に衝突するように衝突軌道を決定してよい。例えば、協調的安全動作には、暴走した車両またはトラックが通行車線から路肩に移動するために、1台の車両が避難スペース/車線を空けることが含まれてよい。
さらに車両は、車両が歩行者などの潜在的な危険要素から離れた「安全」な場所に停止し且つ乗員への傷害を最小にすることが可能になる衝突軌道を決定してよい。いくつかのモデルでは、複数の車両がやり取りして、高速で移動している制御不能の車両を、斜め方向の衝突によって当該移動車両の方向を変えてその軌道を調整するかまたは速度を低下させることにより、減速させて安全な場所に停止させてよい。このシナリオでは、例えば、あるモデルを用いて、複数の車両が可能性のある事故を1つの車線に封じ込めて転覆事故を回避することにより、高速道路の大規模玉突き衝突を回避するかもしれない。
例えば、図8に示すシナリオ例を参照すると、車両802が環境内で少なくとも1つの他の車両または物体との衝突が差し迫っていると判定している。車両802には(例えば、車両速度、現在の進路、物体までの距離、能力などに基づくと)衝突を回避する時間も空間もないからである。車両802などの車両に運転者の入力がないと仮定すると(例えば、車両802の運転者が取り乱した、もしくは無能力になった、またはそれ以外のことで車両802をこれ以上制御できない場合)、車両802は進路803に沿って進み続け、前方の車両804にほぼ正面衝突状態で衝突することになり、これは非常に危険である可能性があり、(例えば、車両808、810、812、814のうちの1つまたは複数と)さらなる衝突を引き起こすかもしれない。しかしながら、本開示の態様によれば、車両802の予防的安全システムが、(例えば、車両802の安全情報(例えば、衝撃吸収帯、衝突試験データなど)、他の車両からの安全性、軌道などに関する情報などの情報に基づいて)最適な衝突向きおよび進路を決定し、可能な限り最も安全な衝突結果を実現してよい。
最適な向きおよび進路の決定は、車両802が他の車両(例えば、804,806)から受け取るそれぞれの進路、安全情報などに関する情報に基づいてよい。場合によって、各車両が進路を連携させて、最も安全な全体としての衝突結果を実現してもよい。例えば、車両802、806は互いに情報をやり取りして進路を連携させてよい。例えば、1つのシナリオでは、車両802は進路805に沿って進み続けることを選択してよく、車両806は進路809に沿って進み続けることを選択してよいが、何かに衝突する(例えば、車両806が壁820に衝突する)前に、両方の車両の速度ができる限り低下するようにする。別のシナリオでは、車両802は進路807に沿って進み続けることを選択してよく、車両806は減速して車両802との軽度の衝突を引き起こし、車両802を壁820に向ける助けとなり、衝突前に車両802の速度を低下させる。車両802、806は、これらの2つのシナリオのうちの一方を選択してよい。この衝突に関与するのは2台の車両だけになるからである(804、808、810などといったさらなる車両が関与するのではない)。
場合によって、各車両は、路側物体または構造物から(例えば、標識を通じて、または物体/構造物とのやり取りで)情報を取得し、その情報を最適な進路および衝突向きを決定する際に用いてよい。例えば、車車間・路車間(V2X)モデルでは、建物の外壁から暴走車両に、その車両がぶつかる建物の「最も安全な」区域を伝えて、(車両もしくは建物の内側またはその両方にいる)人への傷害を最小化することが可能になる。場合によって、建物の特定の区域が、衝突に耐えるように意図的に設計された領域を有するように作られてよい(または、その領域を備えた隣接する構造物を有してもよい)。受動的モデルでは、構造物は、これらの「衝突区域」を車両の安全システムに示すのに用いられる可視標識を有するだけでよく、能動的モデルでは、構造物に車両の安全システムとやり取りするトランスポンダを備えることが可能である。さらに、場合によって、車両は建物自体に関する情報(例えば、窓対レンガ壁の配置)を用いて、進路/向きに関連する決定を行ってよい。例えば、車両が建物のガラス窓を回避すると決定してよい。ガラス窓は、建物内の人への傷害の可能性を高めることがある。
例えば、図9に示すシナリオ例を参照すると、車両902が車両904または構造物910のいずれかとの衝突が差し迫っていると判定している。車両902には(例えば、車両速度、現在の進路、物体までの距離、能力などに基づくと)衝突を回避する時間も空間もないためである。本開示の態様によれば、車両902の予防的安全システムが、(例えば、車両902の安全情報(例えば、衝撃吸収帯、衝突試験データなど)および構造物910からのその安全性に関する情報(例えば、構造、建物居住情報、「衝突区域」など)に基づいて)最適な衝突向きおよび進路を決定し、可能な限り最も安全な衝突結果を実現してよい。例えば、車両は、進路903か905かを選択して、車両904との衝突を回避し、構造物910との衝突を確実にしてよい。車両は、構造物910には建物の居住者にとって最も安全な結果を生むことになる特定の領域912があるという情報を(例えば、標識914または構造物910に接続されたトランスポンダを介して)構造物910から受け取ってよい。この区域は、安全な衝突区域として作られている(すなわち、構造物910の他の領域より適切に車両からの衝撃を処理できるように設計されている)、近くにいる居住者が最も少ないなどの理由で、最も安全な可能性がある。この情報に基づいて、車両910は進路903または905(または別の進路)を最も安全な衝突進路として選択してよい。例えば、進路903は、(例えば、よりかすめるような構造物との衝撃によって)進路905より安全であると判定された場合に選択されてよい。進路905は、(例えば、衝突区域912が許容する安全性の向上によって)進路903より安全であると判定された場合に選択されてよい。
特定の実装例では、車両動力学および安全システムの訓練済みニューラルネットワークモデルが、事故の際に車両の安全特性を最適化するのに用いられてよい。例えば車両が、最初に訓練された、車両に固有のモデルを備えてもよい。時間の経過と共に、このモデルは、車両自体のサービス情報などの履歴情報に基づいて、再訓練されても学習してもよく、これは実質的には(製造元が期待する仕様と比較して)特定の車両並びにその実際の期待される性能および能力に合わせたモデルのカスタマイズである。さらに、いくつかの実装例では、ニューラルネットワークが車両内にある受動的安全拘束装置の解放を制御する(例えば、タイミングを計る)アクチュエーションシステムとして用いられてよい。さらに、いくつかの実装例では、実際の事故データが、車両の特性向上に用いられてよく、道路上では、差し迫った事故の状況に直面している場合に用いられてよい。例えば、深層学習モデルが、差し迫った事故を理解し、それが避けられないと判定し、乗員安全システムを事前設定して調整する手段を取るのに用いられ、現在の車両安全システムに対して大幅な向上を示してよい。
例えば、本明細書で説明されるニューラルネットワーク強化型安全システムが、車両の自律制御システム(または「ADAS」)を自動車および可能性のある衝撃に関して常時追跡してよく、最も可能性の高い出来事として可能性のあるシナリオを絶えず識別してよく、車両のADASへの推奨事項の形で、損傷を最小にする軌道、一次衝突特性および二次衝突特性に関する安全応答を計算してよい。さらに、安全性ニューラルネットワーク(S-NN)は、車両の安全特性に関する情報を車両自体のモデルに用いて、差し迫った事故に対する可能性のある安全応答を計画してよい。言い換えれば、S-NNが、制御を失って事故が差し迫っているとのアラートを車両のADASから受け取った場合、S-NNは、能動的安全機構および受動的安全機構を予測的に事前設定して、傷害および人命の損失の可能性を最小化することができる。さらに、S-NNはADASに車両の衝突向きを最適化する情報を提供しているかもしれないので、ADASは、自動車を物体に(街灯柱対子供のスクールバスのように)方向付ける時間があったかもしれない。これにより、衝撃を受け止めるように最適設計された自動車の部分が衝撃を受け止めるようになる。これは、特定の自動車の向きおよび衝突角度の状況下で最大の保護を提供することを意図したエアバッグのような、あらゆる受動的装置または受動的機構の有効性も最適化する。最終的に、ネットワーク接続されている環境において、本願のシステムは、その方策を他の車両と相互にやり取りして、各車両が、次に来る車両事故のために、それぞれの安全性および衝突対策を最適化することを可能にすることができる。
本開示の態様が、1つまたは複数の利点を提供し得る。例えば、場合によって、本明細書で説明する手法は、現在の受動的安全システムを能動的なものに、また場合によっては予防的なものに変換してよい。さらに、本明細書で説明する手法は、既存の技術に基づくフェイルセーフモードの動作を無効にすることはない。場合によっては、本明細書で説明するような予防的車両システムは、自動運転車の事故に対するほとんどの消費者の懸念を、事故の場合に備えて安全性の向上を図ることによって減少させる助けとなり得る。したがって、自動運転車では事故が少なく傷害が少ないという位置付けは、あらゆる事故の場合に備えて、考え得る最も安全なシナリオに乗員を配置するシステムによってさらに強化される。さらに、本明細書で提案するシステムは、自動運転車の安全性ニューラルネットワーク(S-NN)システムおよび実際の事故データからのモデルを再訓練することによって、実際の事故から学習することができるので、既知の事故データを用いて、安全行動を強化または変更することができる可能性がある。
図10は、自動運転車(AV)制御システム1000の一例に関する簡略ブロック図である。システム1000は、図2の自動運転システム210などの自動運転システムの態様により実現されてよい。図10に示す例には、AVの一次制御システム1010と予防的安全システム1020との並列動作の要素を示している。一次制御システム1010は、AVに固定して取り付けられた複数のセンサからセンサデータを受け取ってそれを処理するセンサ処理モジュール1011を含む。センサ処理モジュール1011は、図2のデータ収集モジュール234と同様に実装され、これと同じまたは同様の機能を実行してよい。処理されたセンサデータは次に、センサフュージョンモジュール1012に渡される。センサフュージョンモジュール1012は、図2のセンサフュージョンモジュール236と同様に実装され、これと同じまたは同様の機能を実行してよい。センサフュージョンモジュール1012は、その出力を位置特定モジュール1013に渡す。位置特定モジュール1013は、図2の位置特定エンジン240と同様に実装され、これと同じまたは同様の機能を実行してよい。図に示すように、位置特定モジュール1013は、マップデータ1019を利用して、その環境内にあるAVの位置を特定してよい。
センサフュージョンモジュール1012は、その出力を物体識別モジュール1014にも渡し、物体識別モジュール1014は、センサ処理モジュール1011からも処理されたセンサデータを受け取る。物体識別モジュール1014は、このデータを用いて、AVの周辺にある特定の物体(例えば、他の車両、障害物、インフラストラクチャなど)を識別してよい。物体識別モジュール1014は、その出力を物体モデル化モジュール1015に渡し、物体モデル化モジュール1015は、物体識別モジュールを用いて、識別された物体をモデル化する。
位置特定モジュール1013および物体モデル化モジュール1015の出力は次に、センサフュージョンモジュール1012の出力と共に、環境モデル化モジュール1016に提供される。環境モデル化モジュール1016は、他のモジュールにより(図に示すようにマップデータ1019と共に)提供される情報を受け取り、AVの周辺の環境モデルを作成してよく、そのモデルは、AVの周囲にあるものの表現を含み、その表現の中にAV自体を配置してよい。モデル化した環境は、AVが進む進路を進路計画モジュール1017が決定するのに用いられ、次に、進路計画モジュール1017により決定された進路を進むように作動・制御モジュール1018がAVを自律的に制御するのに用いられる。進路計画モジュール1017は、図2の進路計画器242と同様に実装され、これと同じまたは同様の機能を実行してよく、作動・制御モジュール1018は、AVの様々なアクチュエータ(図2の運転制御装置220など)を制御する制御モジュールであってよい。
予防的安全システム1020は、一次システム1010と並列に動作してよい。場合によって、予防的安全システム1020は、ニューラルネットワークベースの安全性評価・予測システムなどのAI駆動システムでよい。他の場合では、予防的安全システム1020は、ヒューリスティックベースのシステムでもよい。例えば、本システムは、進路/向きに関するN個の異なる組み合わせを決定してよく、AVセンサまたはモデル化モジュール(例えば、環境モデル化モジュール1016)により提供される情報に基づいて、1つを選択してよい。図に示す例において、予防的安全システム1020は、(物体識別モジュール1014および/または環境モデル1016から受け取る)AVおよびその環境に関する情報を監視する常時衝突シミュレーションモジュール1021を含み、可能性のある衝突およびその結果を常時シミュレートする。
予防的安全システム1020は、物体識別モジュール1014および/または環境モデル1016からの情報と、常時衝突シミュレーションモジュール1021からのシミュレーション情報とを用いて、AVと別の物体(例えば、別の車両および/または構造物)との衝突が差し迫っていることを検出し且つ衝突緩和計画も決定する衝突検出・緩和モジュール1022も含む。衝突緩和計画の決定は、上述したように、AVの最適な衝突進路、AVの最適な衝突向き、および/またはAVの乗員の最適な衝突向きの決定を含んでよい。図に示すように、衝突検出・緩和モジュール1022は、車車間(V2V)/車車間・路車間(V2X)通信システム1030を介して他の車両および構造物とやり取りしてよく、この情報を衝突検出・衝突緩和計画に用いてよい。場合によって、衝突検出・緩和モジュール1022は、AVのために進路を常時計画して緊急避難対策を策定してよい。
予防的安全システム1020は、作動・制御モジュール1018により提供される作動および制御を無効にするかどうか、またそれをいつ無効にするかを判定するアクチュエータ無効化モジュール1023も含む。衝突が差し迫っていると判定されたときなどに、アクチュエータ無効化モジュール1023がアクチュエータ・制御モジュール1018を無効にすると判定した場合、車両を制御して車両および乗員の安全を最適化するように車両を誘導するために、一次システム1010のアクチュエータを無効にしてよい。
図11は、予防的車両安全システム用の意思決定プロセス1100の一例を示す簡略フロー図である。プロセス1100は、図2の自動運転システム210などの自動運転システムの態様により実現されてよい。オペレーションのセット1110は、現在のAV制御システムの態様により行われてよく、図に示す他のオペレーションは、車両の安全システムを予防的になるように向上させるための手法を表している。したがって、セット1110以外に示す追加のオペレーションによって、代表的な受動的車両安全システム(すなわち、可能性のある衝突または実際の衝突に反応するだけのシステム)が予防的車両安全システム(すなわち、差し迫った衝突の前に差し迫った衝突の判定に基づいて安全機構を提供するシステム)に変わる可能性がある。
図に示す例において、オペレーション1110のセットは、1111における、1つまたは複数の脅威を検出する段階(例えば、車両または路側構造物などの、もしかすると車両が接触するかもしれない物体を検出する段階)、1112における、事故回避ルーチン(例えば、衝突を回避するためのブレーキまたはステアリングなどの代表的な事故回避操作)を開始する段階、1113における、衝突が差し迫っていると判定する段階(例えば、車両と1111で検出された1つまたは複数の脅威との衝突が避けられないと判定する段階)、1114における、一次衝突脅威(例えば、車両が最初に衝突する可能性がある物体)を評価する段階、1115における、一次衝突に対して予想される進路の評価を決定する段階、および1116における、もしあれば二次衝突に対して予想される偏向進路を決定する段階を含む。いくつかの実装例において、オペレーション1110のセットは、ニューラルネットワーク(例えば、図2の機械学習モデル256向けのニューラルネットワーク)を用いて行われてよい。
これらのオペレーションと並列に、オペレーション1120のセットも行われてよい。具体的には、予防的車両安全システムが、車両の損傷および/またはその乗員などへの傷害を最小化するために、1121において、最適な車両向きを決定してよい。本システムは以下に挙げる事項を考慮してよい。すなわち、車両の安全情報(例えば、衝撃吸収帯、エアバッグ、シートベルト、またはロールバー/ケージなどの受動的安全機構の場所、および/または事故試験もしくは実際の事故データに関連する情報(後述))、車両の動力学(例えば、ブレーキまたはステアリングなどの処理機能であり、そのような装置の老朽化、消耗、または交換の説明を含む)、現在の走行方向、現在の速度、一次衝突脅威および/または二次衝突脅威までの距離、(オペレーション1115、1116からの)予想される衝突進路にある危険な物体の数およびそのタイプ、車載重量(例えば、トランク内対前部座席、後部座席などの重量位置)、乗員位置、年齢、サイズなどの車両の乗員に関する情報、あるいは他の車両からの同じ/同様の情報またはインフラストラクチャなどの物体からの情報といった情報などである。いくつかの実装例では、特定の車両および/または機能向けの訓練済みニューラルネットワークが、後述するように、最適な車両向きを決定するのに用いられてよい。
本システムは次に、1122において、車両の能動的安全機構(例えば、座席または車室の位置/向きの変更(上述)、燃料系統の無効化、電気系統の無効化、ドアロックの施錠/解錠、窓の開け/閉めなど)を関与させるための計画と、1123において、車両の受動的安全機構(例えば、エアバッグ展開の制御(例えば、膨張速度、複数のエアバッグにおけるエアバッグ展開のタイミングまたは順序、特定のエアバッグに限定した展開)、ロールバー/ケージ機構の関与)を関与させるための計画とを決定してよい。
予想される進路の情報、決定された車両向き、並びに能動的安全機構および受動的安全機構の計画に基づいて、車両は次に、停止するまでに進む最適な進路を選択してよい。これには、車両のアクチュエータを自律的に制御して、1124で選択した進路に車両を向けることが含まれてよく、これには、(例えば、車両の運転者からの)実際のアクチュエータ入力を無効にすることが含まれてよい。
衝突後に、衝突に関連する情報が1108で収集され、ニューラルネットワーク訓練システム1106に渡されて、特定の車両および機能向けの訓練済みニューラルネットワーク1102がもたらされてよい(このニューラルネットワークは、1121において車両が差し迫った衝突に対する最適な向きを決定するのに用いられる)。さらに車両は、ニューラルネットワークを用いて、周辺にある他の車両または物体とやり取りして、車両/物体との間で進路・衝突計画対策を連携させてよい。
場合によって、ニューラルネットワーク訓練システム1106は、エミュレートまたはシミュレートされた環境を用いて、車両自体の構造的安全性(衝撃吸収帯、保護帯など)に基づいてニューラルネットワークを訓練してよい。さらに、いくつかの実装例において、ニューラルネットワークを訓練するための(例えば、NTSBなどの安全/規制機関からの)衝突試験データまたは(現場の車両自体または他の同様の車両により報告された)実際の衝突データを用いてニューラルネットワークを訓練することができる。場合によって、ニューラルネットワークを車両動力学に基づいて訓練してもよい。現在の進路探索訓練システムをニューラルネットワーク訓練プロセスに用いてもよい。例えば、車両が様々な環境の異なる進路を走行するというシミュレーションに基づいて、AIベースの強化学習を用いてもよい。シミュレーションは、そこに構築された環境に加えて、シミュレーション中の特定の車両に関する一定の情報(例えば、ビルド情報、衝突データなど)を有してよい。シミュレーションには、車両およびその乗員に関する選択すべき所定の向きが複数あってよく、それぞれを異なるシナリオでシミュレートして最適な衝突向きを決定してよい。例えば、壁(広い面を持つ物体)に衝突する場合の最適な向きは、信号機の柱(強く細い物体)に衝突する場合の最適な向きと異なる可能性があり、別の車両(細い/広いという観点では先の2つの物体の中間にあるかもしれない)に衝突する場合の最適な衝突向きとも異なる可能性があり、低木などの比較的柔らかい物体に対する最適な衝突向きとも異なる可能性がある。ニューラルネットワークは、乗員への被害を最小化するために、周囲の車両/構造物への損傷を最小化するために、またはその両方の組み合わせのために、(例えば、車両自体の乗員への被害を最小化する方に重点を置いて)訓練することができる。
車両およびそのシステムが古くなると、ニューラルネットワーク訓練システム1106は、そのモデルに車両の挙動変化を組み込むことができる。例えば、ニューラルネットワークは、車両が以前に事故に遭ったことがあるかどうかを考慮し、例えば、新車時の車両と比較した場合、現在損傷している構造領域があるかどうかを把握してよい。ニューラルネットワークは、この情報を用いて、最適であると以前に決定した向きと異なる最適な向きを同じシナリオに対して決定してよい(例えば、以前に衝突した領域は現在損傷しているかもしれないので、次の事故ではその領域を回避してよい)。ニューラルネットワークは、ブレーキ、ステアリングなどといった車両の動力学の変化も考慮してよい。この情報を用いてニューラルネットワークを常時訓練し、安全性モデルが特定の車両に対してできる限り最新であり且つ正確であることを確実にし得る。
図12は、予防的安全システムを実装する自動運転車を制御するプロセスの一例を示すフローチャート1200である。図12に示すプロセスは、自動運転車の制御システム(例えば、図2の車両105の様々なコンポーネント、または図10のシステム1000に倣ってモデル化されたシステム)により行われてよい。このプロセス例には、追加または別のオペレーションが含まれてよく、これらのオペレーションは、図に示す順序で行われても、別の順序で行われてもよい。場合によって、図12に示すオペレーションのうちの1つまたは複数が、複数のオペレーションまたはサブプロセスなどのタイプのルーチンを含むプロセスとして実施されてよい。場合によって、これらのオペレーションを組み合わせる、別の順序で行う、並列に行う、反復する、あるいは別のやり方で繰り返す、または別の方式で行うことができる。
1202では、車両に接続された1つまたは複数のセンサにより生成されたセンサデータを処理する。センサデータは、図2のセンサ225と同様のセンサからのデータを含んでよい。
1204では、車両と別の物体(例えば、別の車両、路側物体、インフラストラクチャ、建物など)との衝突が差し迫っていると判定する。衝突が差し迫っているとの判定には、車両の現在の動力学(例えば、速度)および車両の環境(例えば、車両の周りにある物体の位置、およびそれらの物体までのそれぞれの距離)を考慮すると、衝突が避けられないと判定することが含まれてよい。
1206では、衝突に対する最適な車両向き(例えば、衝突時の車両の方向または角度)が決定され、1208では、車両を最適な向きに位置付けるように進路が決定される。最適な車両向きは、場合によって、(例えば、上述したように)車両の静的安全性情報、車両の衝突試験情報、および車両の実際の事故情報のうちの1つまたは複数に基づいて訓練されたニューラルネットワークを用いて決定されてよい。他の例では、この決定をヒューリスティックに行ってもよい。最適な車両向きは、決定された車両の乗員への傷害の可能性に基づいてよく、したがって、車両の乗員に関する情報(例えば、車両内での乗員の位置、乗員の年齢、または乗員のサイズ)に基づいてよい。さらに、場合によって、この決定は、車両の周辺にある他の車両または物体(例えば、建物、路側機、構造物など)から受け取った情報に基づいてもよい。これらの場合において、車両およびその他の物体は、衝突に対する最適な向きを決定するように連携してよい。同様に、車両は、車両自体で決定した進路または最適な車両向きを、他の車両/物体に連携のために送信してよい。1210では、1208で決定した進路に沿って走行するよう車両を自律的に制御する。これには、場合によって運転者の入力を無効にすることが含まれてよい。
1212では、衝突に対する最適な乗員向きが決定され、1214では、1212で決定された最適な乗員向きに乗員を位置付けるように、車両の座席または車室を移動する。
1216では、車両の1つまたは複数の受動的安全機構を制御する。これには、場合によって、エアバッグセットの解放のタイミングを計ること、エアバッグセットの解放を順序付けること、もしくはエアバッグセットのエアバッグ膨張速度を決定すること、またはロールバー/ケージを関与させることが含まれてよい。
図13~図14は、本明細書で開示される実施形態に従って用いられ得る例示的なコンピュータアーキテクチャのブロック図である。当技術分野で知られている、プロセッサおよびコンピューティングシステム用の他のコンピュータアーキテクチャ設計も用いられてよい。一般に、本明細書で開示される実施形態に好適なコンピュータアーキテクチャには、限定するわけではないが、図13~14に示す構成が含まれ得る。
図13は、一実施形態によるプロセッサの一事例を示す図である。プロセッサ1300は、上述した実装例に関連して用いることができる一種のハードウェアデバイスの一例である。プロセッサ1300は、任意のタイプのプロセッサであってよく、例えば、マイクロプロセッサ、組み込み型プロセッサ、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、マルチコアプロセッサ、またはシングルコアプロセッサなどの、コードを実行するデバイスである。図13には1つのプロセッサ1300しか示していないが、処理要素は代替的に、図13に示すプロセッサ1300を2つ以上含んでもよい。プロセッサ1300はシングルスレッドコアであってよく、または、少なくとも1つの実施形態については、プロセッサ1300は、コアごとに2つ以上のハードウェアスレッドコンテキスト(または論理プロセッサ)を含み得るという点でマルチスレッドであってもよい。
図13は、いくつかの実施形態によるプロセッサ1300に結合されたメモリ1302も示している。メモリ1302は、当業者に知られているか、さもなければ利用可能な多種多様なメモリ(メモリ階層構造の様々な層を含む)のうちのいずれかであってよい。そのようなメモリ素子には、限定するわけではないが、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、フィールドプログラマブルゲートアレイ(FPGA)のロジックブロック、消去可能プログラム可能型読み出し専用メモリ(EPROM)、および電気的消去可能プログラム可能型ROM(EEPROM)が含まれ得る。
プロセッサ1300は、本明細書で詳述するアルゴリズム、プロセス、またはオペレーションと関連するあらゆるタイプの命令を実行することができる。一般に、プロセッサ1300は、ある要素または品目(例えば、データ)を、ある状態またはモノから別の状態またはモノに変えることができる。
プロセッサ1300により実行される1つまたは複数の命令であってよいコード1304が、必要に応じて且つ特定のニーズに基づいて、メモリ1302に格納されてもよく、ソフトウェア、ハードウェア、ファームウェア、またはそのあらゆる好適な組み合わせ、あるいはあらゆる他の内部または外部のコンポーネント、デバイス、素子、もしくはオブジェクトに格納されてもよい。一例において、プロセッサ1300は、コード1304により示される命令のプログラムシーケンスに従うことができる。各命令はフロントエンドロジック1306に入り、1つまたは複数のデコーダ1308により処理される。デコーダは、その出力として、所定フォーマットの固定幅マイクロオペレーションなどのマイクロオペレーションを生成してもよく、元のコード命令を反映する他の命令、マイクロ命令、制御信号を生成してもよい。フロントエンドロジック1306は、レジスタリネーミングロジック1310およびスケジューリングロジック1312も含み、これらのロジックは一般に、リソースを割り当て、命令に対応するオペレーションを実行のためにキューに入れる。
プロセッサ1300は、実行ユニット1316a、1316b、1316nなどのセットを有する実行ロジック1314も含むことができる。いくつかの実施形態では、特定の機能または機能のセットに特化した実行ユニットをいくつか含んでもよい。他の実施形態では、実行ユニットを1つだけ含んでも、特定の機能を実行できる実行ユニットを1つ含んでもよい。実行ロジック1314は、コード命令が指定するオペレーションを行う。
コード命令が指定するオペレーションの実行完了後に、バックエンドロジック1318がコード1304の命令をリタイアさせることができる。一実施形態において、プロセッサ1300はアウトオブオーダ実行を許可するが、命令のインオーダリタイアメントが必要である。リタイアメントロジック1320は、様々な既知の形(例えば、リオーダバッファなど)をとってよい。このように、プロセッサ1300はコード1304の実行中に、少なくとも、デコーダにより生成される出力、レジスタリネーミングロジック1310により利用されるハードウェアレジスタおよびテーブル、並びに実行ロジック1314により変更される任意のレジスタ(不図示)に関して変化する。
図13には示されていないが、処理要素には、チップ上にプロセッサ1300と共に他の要素が含まれてもよい。例えば処理要素には、プロセッサ1300と共にメモリ制御ロジックが含まれてよい。処理要素には、I/O制御ロジックが含まれてもよく、且つ/またはメモリ制御ロジックと一体化したI/O制御ロジックが含まれてもよい。処理要素には、1つまたは複数のキャッシュも含まれてよい。いくつかの実施形態では、不揮発性メモリ(フラッシュメモリまたはヒューズなど)もプロセッサ1300と共にチップ上に含まれてよい。
図14は、ポイントツーポイント(PtP)構成で配置された、一実施形態によるコンピューティングシステム1400を示している。具体的には、図14は、プロセッサ、メモリ、入力/出力デバイスがいくつかのポイントツーポイントインタフェースで相互接続されたシステムを示している。一般に、本明細書で説明するコンピューティングシステムのうちの1つまたは複数が、コンピューティングシステム1300と同じまたは同様の方式で構成されてよい。
プロセッサ1470および1480がそれぞれ、メモリ素子1432および1434とやり取りする統合メモリコントローラロジック(MC)1472および1482も含んでよい。代替実施形態において、メモリコントローラロジック1472および1482は、プロセッサ1470および1480とは別の個別ロジックでもよい。メモリ素子1432および/または1434は、プロセッサ1470および1480が本明細書で概説したオペレーションおよび機能を実現する際に用いる様々なデータを格納してよい。
プロセッサ1470および1480は、あらゆるタイプのプロセッサ、例えば、他の図に関連して述べたプロセッサでもよい。プロセッサ1470および1480は、ポイントツーポイント(PtP)インタフェース1450を介し、ポイントツーポイントインタフェース回路1478および1488をそれぞれ用いてデータをやり取りしてよい。プロセッサ1470および1480はそれぞれ、個々のポイントツーポイントインタフェース1452および1454を介し、ポイントツーポイントインタフェース回路1476、1486、1494、および1498を用いて、チップセット1490とデータをやり取りしてよい。チップセット1490はコプロセッサ1438(例えば、高性能グラフィックス回路または機械学習アクセラレータなどのコプロセッサ1438)とも、インタフェース1439(PtPインタフェース回路でよい)を介してデータをやり取りしてよい。代替実施形態では、図14に示すPtPリンクのうちのいずれかまたは全てが、PtPリンクではなく、マルチドロップバスとして実装されてよい。
チップセット1490は、インタフェース回路1496を介してバス1420と通信してよい。バス1420は、バス1420を介して情報をやり取りする1つまたは複数のデバイス、例えば、バスブリッジ1418およびI/Oデバイス1416を有してよい。バスブリッジ1418はバス1410を介して他のデバイスと通信してよく、そのようなデバイスは、例えば、ユーザインタフェース1412(例えば、キーボード、マウス、タッチスクリーンなどの入力デバイス)、通信デバイス1426(例えば、コンピュータネットワーク1460を介して通信し得るモデムまたはネットワークインタフェースデバイスなどのタイプの通信デバイス)、オーディオI/Oデバイス1414、および/またはデータストレージデバイス1428である。データストレージデバイス1428はコード1430を格納してよく、このコードはプロセッサ1470および/または1480により実行されてよい。代替実施形態では、バスアーキテクチャのあらゆる部分が、1つまたは複数のPtPリンクで実現されてよい。
図14に示すコンピュータシステムは、本明細書で述べた様々な実施形態を実現するのに利用され得るコンピューティングシステムの一実施形態の概略図である。図14に示すシステムの様々なコンポーネントがシステムオンチップ(SoC)アーキテクチャ、または本明細書で提供された実施例および実装例の機能および特徴を実現できる任意の他の好適な構成で組み合わされてよいことが理解されるであろう。
本明細書で説明し且つ示したシステムおよび解決策の一部が、複数の要素を含んでいるまたは複数の要素と関連しているものとして説明されているが、明示的に示したまたは説明した全ての要素が、本開示のそれぞれの代替実装例に利用されなくてもよい。さらに、本明細書で説明した要素のうちの1つまたは複数がシステムの外部に配置されてもよく、他の例では、特定の要素が、その他の説明した要素および示された実装例に説明されていない他の要素のうちの1つまたは複数に含まれても、その一部として含まれてもよい。さらに、特定の要素が他のコンポーネントと組み合わされてもよく、また本明細書で説明した目的に加えて、代替または追加の目的に用いられてもよい。
さらに、上述した例は、一定の原則および機能を示す目的のためだけに提供された非制限的な例であり、本明細書で説明した概念の可能性のある実施形態を必ずしも限定するものでも、制約するものでもないことを理解されたい。例えば、様々な異なる実施形態が、本明細書で説明した機能およびコンポーネントの様々な組み合わせ(本明細書で説明したコンポーネントの様々な実装例によって実現される組み合わせを含む)を利用して実現されてよい。他の実装例、機能、および詳細は、本明細書の内容から理解されたい。
特定の実装例および概して関連する方法に関して本開示を説明してきたが、これらの実装例および方法の変更例および置換例が当業者には明らかであろう。例えば、本明細書で説明した動作は、説明されたものとは異なる順序で行うことができ、それでも所望の結果を得ることができる。一例として、添付図に示したプロセスは、所望の結果を得るために、必ずしも図に示した特定の順序も、連続した順序も必要とするわけではない。特定の実装例では、マルチタスクおよび並列処理が有利となる場合がある。さらに、他のユーザインタフェースのレイアウトおよび機能を支援することができる。他の変形例が、以下の「特許請求の範囲」の範囲に含まれる。
本明細書は、多くの特定の実装詳細を含んでいるが、これらを任意の発明または特許請求され得ることの範囲に対する限定と解釈するのではなく、特定の発明の特定の実施形態に固有の特徴を説明したものと解釈されたい。別個の実施形態の文脈で本明細書に説明されている特定の特徴も、単一の実施形態における組み合わせで実現することができる。反対に、単一の実施形態の文脈で説明されている様々な特徴も、複数の実施形態で別個に、またはあらゆる好適な部分的組み合わせで実現することができる。さらに、これらの特徴が特定の組み合わせで働くものとして上述され、そのようなものとして最初に請求されるかもしれないが、請求される組み合わせからの1つまたは複数の特徴は、場合によって、その組み合わせから削除することができ、請求される組み合わせは、部分的組み合わせまたは部分的組み合わせの変形を対象にしてよい。
同様に、図面には特定の順序で各オペレーションを示しているが、これについて、所望の結果を得るために、そのようなオペレーションを図に示す特定の順序または連続した順序で行うことも、図に示されている全てのオペレーションを行うことも必要と理解すべきではない。特定の状況では、マルチタスクおよび並列処理が有利となる場合がある。さらに、上述した実施形態における様々なシステムコンポーネントの分離は、全ての実施形態でそのような分離を必要としていると理解すべきではなく、説明したプログラムコンポーネントおよびシステムは一般に、単一のソフトウェア製品に共に統合することができる、または複数のソフトウェア製品にパッケージ化することができることを理解されたい。
概して、本明細書で述べる「サーバ」、「クライアント」、「コンピューティングデバイス」、「ネットワークエレメント」、「ホスト」、「ブロック」、「プラットフォーム」、「センサデバイス」、「エッジデバイス」、「自動運転システム」、「自動運転車」、「フォグベースのシステム」、「クラウドベースのシステム」、および「システム」などは一般に、自動運転環境と関連したデータおよび情報を受信する、送信する、処理する、格納する、または管理するように動作可能な電子式コンピューティングデバイスを含んでよい。本明細書で用いる場合、用語「コンピュータ」、「プロセッサ」、「プロセッサデバイス」、または「処理デバイス」は、任意の好適な処理装置を包含することが意図されており、そうした処理装置には、いくつかある例の中でもとりわけ、中央演算処理装置(CPU)、グラフィック処理ユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、およびテンソルプロセッサなどの行列計算プロセッサが含まれる。例えば、単一のデバイスとして環境内に示される要素が、複数のサーバコンピュータを含むサーバプールなどの、複数のコンピューティングデバイスおよびプロセッサを用いて実装されてよい。さらに、複数のコンピューティングデバイスのうちのいずれか、全部、または一部が、Linux、UNIX、Microsoft Windows、Apple OS、Apple iOS、Google Android、Windows Serverなどを含む任意のオペレーティングシステムを実行するように適合されてよく、また仮想マシンが、カスタマイズされた独自のオペレーティングシステムを含む特定のオペレーティングシステムの実行を仮想化するように適合される。
上述したまたは図に示される様々なコンポーネントのうちのいずれかに関するフロー、方法、プロセス(またはその一部)、または機能のうちのいずれかが、1つまたは複数のモジュール、エンジン、ブロック、ユニット、モデル、またはシステムなどの好適なコンピューティングロジックといった任意の好適なコンピューティングロジックにより行われてよい。本明細書における、「モジュール」、「エンジン」、「ブロック」、「ユニット」、「モデル」、「システム」、または「ロジック」への言及は、1つまたは複数の機能を実行するハードウェア、ファームウェア、ソフトウェア、および/またはそれぞれの組み合わせを指してよい。一例として、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、マイクロコントローラまたはプロセッサなどの、マイクロコントローラまたはプロセッサにより実行されるように適合されたコードを格納する非一時的媒体と関連した1つまたは複数のハードウェアコンポーネントを含んでよい。したがって、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックへの言及は、一実施形態において、ハードウェアを指してよく、こうしたハードウェアは具体的には、非一時的媒体に保持されるコードを認識し且つ/または実行するように構成される。さらに、別の実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックの使用が、コードを含む非一時的媒体を指し、こうしたコードは具体的には、マイクロコントローラまたはプロセッサにより実行されて、所定のオペレーションが行われるように適合される。推論できるように、さらに別の実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、ハードウェアと非一時的媒体との組み合わせを指してもよい。様々な実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、ソフトウェア命令を動作可能に実行するマイクロプロセッサなどの処理要素、特定用途向け集積回路(ASIC)などの個別ロジック、フィールドプログラマブルゲートアレイ(FPGA)などのプログラムされた論理デバイス、命令を含むメモリデバイス、または(例えば、プリント回路基板上に見られるような)ロジックデバイスの組み合わせなどの好適なハードウェアおよび/またはソフトウェアを含んでよい。モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、例えば、トランジスタで実装され得る1つまたは複数のゲートなどの回路要素を含んでよい。いくつかの実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックが、ソフトウェアとして完全に具現化されてよい。ソフトウェアは、非一時的コンピュータ可読記憶媒体に記録されたソフトウェアパッケージ、コード、命令、命令セット、および/またはデータとして具現化されてよい。ファームウェアが、メモリデバイスにハードコードされた(例えば、不揮発性の)コード、命令もしくは命令セット、および/またはデータとして具現化されてよい。さらに、分離しているように示されているロジック境界が、一般に変化し、場合によっては重なり合う。例えば、第1モジュールおよび第2モジュール(または複数のエンジン、ブロック、ユニット、モデル、システム、またはロジック)が、ハードウェア、ソフトウェア、ファームウェア、またはその組み合わせを共有してよく、場合によっては、何らかの独立したハードウェア、ソフトウェア、またはファームウェアを保持してよい。
上述し添付図面に示したフロー、方法、およびプロセスは、特定の実施形態で行われ得る機能を単に代表しているにすぎない。他の実施形態では、こうしたフロー、方法、及びプロセスにおいて、追加の機能が行われてもよい。本開示の様々な実施形態では、本明細書で説明される機能を実現するための、あらゆる好適なシグナリング機構が企図されている。本明細書で示される機能の一部が、必要に応じて、フロー、方法、プロセスの中で、繰り返され、組み合わされ、変更され、削除されてもよい。さらに、各機能が、特定の実施形態の範囲から逸脱することなく、フロー、方法、およびプロセスの中で任意の好適な順序で行われてもよい。
以下の実施例は、本明細書による実施形態に関連する。場合によって、1つまたは複数の態様において、後述するいくつかの実施例が他の実施例と組み合わされてもよいことが理解されるであろう。
実施例1は、命令を格納した少なくとも1つの機械アクセス可能な記憶媒体を含み、前記命令は、機械で実行されると前記機械に、車両に接続された1つまたは複数の接続済みセンサにより生成されるセンサデータにアクセスさせ、前記車両において、前記車両と別の物体との衝突が差し迫っていると判定させ、前記車両において、前記衝突が差し迫っているとの前記判定に基づいて、前記衝突に対する最適な車両向きを決定させ、前記車両において、前記車両を前記最適な車両向きに位置付けるための車両進路を決定させ、決定した前記車両進路に沿って走行するように前記車両を自律的に制御させる。
実施例2は実施例1の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記衝突に対する最適な乗員向きを決定させ、前記衝突より前に前記最適な乗員向きに乗員を位置付けるために、前記車両の1つまたは複数の座席を自律的に移動させるように実行可能である。
実施例3は、実施例1または2の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記衝突時にまたはその間際に1つまたは複数の受動的安全機構の起動を制御させるように実行可能である。
実施例4は実施例3の主題を含み、任意選択的に、前記1つまたは複数の受動的安全機構の起動を制御することには、エアバッグセットの解放のタイミングを計ること、前記エアバッグセットの解放を順序付けること、およびエアバッグセットのエアバッグ膨張速度を決定することのうちの1つまたは複数が含まれる。
実施例5は上述したいずれかの実施例の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記車両の静的安全性情報、前記車両の衝突試験情報、および前記車両の実際の事故情報のうちの1つまたは複数に基づいて訓練されたニューラルネットワークを用いて前記最適な車両向きを決定させるように実行可能である。
実施例6は上述したいずれかの実施例の主題を含み、任意選択的に、前記命令はさらに、前記機械に前記最適な車両向きをヒューリスティックに決定させるように実行可能である。
実施例7は上述したいずれかの実施例の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記車両の乗員への傷害の可能性に基づいて前記最適な車両向きを決定させるように実行可能である。
実施例8は実施例7の主題を含み、任意選択的に、前記差し迫った衝突は前記車両と別の車両との間であり、前記命令はさらに、前記機械に、前記別の車両の乗員への傷害の可能性にさらに基づいて前記最適な車両衝突向きを決定させるように実行可能である。
実施例9は上述したいずれかの実施例の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記車両の周辺にいる他の車両から受け取った情報、および前記車両の周辺にあるインフラストラクチャ物体から受け取った情報のうちの一方または両方に基づいて前記最適な車両向きを決定させるように実行可能である。
実施例10は上述したいずれかの実施例の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記車両内にいる少なくとも1人の乗員に関する情報に基づいて前記最適な車両向きを決定させるように実行可能である。
実施例11は実施例10の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記車両内での前記乗員の位置、前記乗員の年齢、前記乗員のサイズのうちの1つまたは複数に基づいて前記最適な車両向きを決定させるように実行可能である。
実施例12は上述したいずれかの実施例の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記車両の運転者からの入力を無効にすることにより前記車両を自律的に制御させるように実行可能である。
実施例13は上述したいずれかの実施例の主題を含み、任意選択的に、前記命令はさらに、決定された前記車両進路または前記最適な車両向きに関する情報を他の車両またはインフラストラクチャ物体に送信させるよう前記機械にさせるように実行可能である。
実施例14は実施例9および/または13の主題を含み、任意選択的に、前記命令はさらに、前記機械に、前記他の車両またはインフラストラクチャと連携して前記車両進路を決定させるように実行可能である。
実施例15は、車両に接続された1つまたは複数のセンサにより生成されるセンサデータを処理する段階と、前記センサデータに基づき、前記車両の少なくとも1つのデータプロセッサを用いて、前記車両と別の物体との衝突が差し迫っていると判定する段階と、前記衝突が差し迫っているとの前記判定に基づき、前記車両の少なくとも1つのデータプロセッサを用いて、前記衝突に対する最適な車両向きを決定する段階と、前記車両の少なくとも1つのデータプロセッサを用いて、前記車両を前記最適な車両向きに位置付けるための車両進路を決定する段階と、決定した前記車両進路に沿って走行するように前記車両を自律的に制御する段階とを備える方法である。
実施例16は実施例15の主題を含み、任意選択的にさらに、前記車両の少なくとも1つのデータプロセッサを用いて、前記衝突に対する最適な乗員向きを決定する段階と、前記衝突より前に前記最適な乗員向きに乗員を位置付けるために、前記車両の座席を自律的に移動させる段階とを備える。
実施例17は実施例15の主題を含み、任意選択的にさらに、前記車両の少なくとも1つのデータプロセッサにより、前記衝突時にまたはその間際に1つまたは複数の受動的安全機構を制御する段階を備える。
実施例18は実施例17の主題を含み、任意選択的に、前記1つまたは複数の受動的安全機構を制御する段階には、エアバッグセットの解放のタイミングを計ること、前記エアバッグセットの解放を順序付けること、およびエアバッグセットのエアバッグ膨張速度を決定することのうちの1つまたは複数が含まれる。
実施例19は上述したいずれかの方法実施例の主題を含み、任意選択的に、前記最適な車両向きは、前記車両の静的安全性情報、前記車両の衝突試験情報、および前記車両の実際の事故情報のうちの1つまたは複数に基づいて訓練されたニューラルネットワークを用いて決定される。
実施例20は上述したいずれかの方法実施例の主題を含み、任意選択的に、前記最適な車両向きはヒューリスティックに決定される。
実施例21は上述したいずれかの方法実施例の主題を含み、任意選択的に、前記最適な車両向きの決定は、決定された前記車両の乗員への傷害の可能性に基づいている。
実施例22は実施例21の主題を含み、任意選択的に、前記差し迫った衝突は前記車両と別の車両との間であり、前記最適な車両衝突向きの決定はさらに、決定された前記別の車両の乗員への傷害の可能性に基づいている。
実施例23は上述したいずれかの方法実施例の主題を含み、任意選択的に、前記最適な車両向きの決定は、前記車両の周辺にいる他の車両から受け取った情報、および前記車両の周辺にあるインフラストラクチャ物体から受け取った情報のうちの一方または両方に基づいている。
実施例24は上述したいずれかの方法実施例の主題を含み、任意選択的に、前記最適な車両向きを決定する段階は、前記車両内にいる少なくとも1人の乗員に関する情報に基づいている。
実施例25は実施例24の主題を含み、任意選択的に、前記少なくとも1人の乗員に関する前記情報は、前記車両内での前記乗員の位置、前記乗員の年齢、前記乗員のサイズのうちの1つまたは複数を含む。
実施例26は上述したいずれかの方法実施例の主題を含み、任意選択的に、前記車両を自律的に制御する段階は、前記車両の運転者からの入力を無効にする段階を含む。
実施例27は上述したいずれかの方法実施例の主題を含み、任意選択的にさらに、前記最適な車両向きに前記車両を前記位置付けることに関する情報を他の車両またはインフラストラクチャ物体に送信する段階を備える。
実施例28は実施例23および/または27の主題を含み、任意選択的に、前記車両進路は、前記他の車両またはインフラストラクチャと連携して決定される。
実施例29は、1つまたは複数のプロセッサと、メモリと、センサセットと、自動運転システムであって、前記1つまたは複数のプロセッサが、前記センサセットからのデータに少なくとも部分的に基づいて生成される車両用環境モデルに基づいて衝突の脅威を検出することと、前記環境モデルと現在の車両動力学とに基づいて、車両と前記衝突の脅威との衝突が避けられないと判定することと、前記衝突が差し迫っているとの前記判定に基づいて前記車両の衝突緩和計画を決定することであって、前記衝突緩和計画は前記車両の特定の衝突向きおよび特定の車両進路を示す、決定することと、前記衝突緩和計画を実施するように前記車両を自律的に制御することとを行うように実行可能である、自動運転システムとを備えるシステムを含む。
実施例30は実施例29の主題を含み、任意選択的に、前記衝突緩和計画はさらに、前記衝突に対する最適な乗員向きを示し、前記自動運転システムはさらに、前記1つまたは複数のプロセッサが、前記衝突より前に前記最適な乗員向きに乗員を位置付けるために、前記車両の1つまたは複数の座席を自律的に移動させるように実行可能である。
実施例31は実施例29または30の主題を含み、任意選択的に、前記衝突緩和計画はさらに、前記車両の1つまたは複数の受動的安全機構の起動計画を示し、前記自動運転システムはさらに、前記1つまたは複数のプロセッサが、前記起動計画に従って1つまたは複数の受動的安全機構の起動を自律的に制御するように実行可能である。
実施例32は上述したいずれかのシステム実施例の主題を含み、任意選択的にさらに、前記車両の静的安全性情報、前記車両の衝突試験情報、および前記車両の実際の事故情報のうちの1つまたは複数に基づいて訓練された機械学習モデルを備え、前記自動運転システムは前記機械学習モデルを用いて前記最適な車両向きを決定する。
実施例33は上述したいずれかのシステム実施例の主題を含み、任意選択的に、前記自動運転システムは、前記車両内にいる乗員の位置、前記車両内にいる乗員の年齢、前記車両内にいる乗員のサイズ、前記車両の乗員への傷害の可能性、前記車両の周辺にいる他の車両の乗員への傷害の可能性、前記車両の周辺にいる歩行者への傷害の可能性、および前記車両の周辺にある1つまたは複数の物体への損傷の可能性のうちの1つまたは複数に基づいて、前記衝突緩和計画を決定する。
実施例34は自動運転車システムを含み、前記自動運転車と別の物体との衝突が差し迫っていることを、前記自動運転車に取り付けられたセンサから取得するデータに基づいて判定する手段と、前記衝突が差し迫っているとの前記判定に基づいて前記衝突に対する最適な車両向きを決定する手段と、前記車両を前記最適な車両向きに位置付けるための車両進路を決定する手段と、決定した前記車両進路に沿って走行するように前記自動運転車を自律的に制御する手段とを備える。
実施例35は実施例34の主題を含み、任意選択的にさらに、前記衝突に対する最適な乗員向きを決定する手段と、前記衝突より前に前記最適な乗員向きに乗員を位置付けるために、前記車両の座席を移動させる手段とを備える。
実施例36は上述したいずれかの自動運転車システム実施例の主題を含み、任意選択的にさらに、前記衝突時にまたはその間際に前記車両の1つまたは複数の受動的安全機構を制御する手段を備える。
実施例37は上述したいずれかの自動運転車システム実施例の主題を含み、任意選択的に、前記最適な車両向きを決定する前記手段は、前記車両の静的安全性情報、前記車両の衝突試験情報、および前記車両の実際の事故情報のうちの1つまたは複数に基づいて訓練されたニューラルネットワークを含む。
実施例38は、ロジック、モジュール、または回路などの、上記実施例のうちのいずれかで説明したまたはそれに関連する方法、あるいは本明細書で説明した任意の他の方法またはプロセスの1つまたは複数の要素を行う手段を備える、自動運転車のデバイスを含む。
こうして、本主題のいくつかの実施形態を説明してきた。他の実施形態が、以下の「特許請求の範囲」の範囲に含まれる。場合によって、「特許請求の範囲」に記載される動作を別の順序で行うことができ、それでも所望の結果を得ることができる。さらに、添付図に示したプロセスは、所望の結果を得るために、必ずしも図に示した特定の順序も、連続した順序も必要とするわけではない。
[他の考え得る項目]
(項目1)
命令を格納した少なくとも1つの機械アクセス可能記憶媒体であって、前記命令が、機械で実行されると前記機械に、
車両に接続された1つまたは複数のセンサにより生成されるセンサデータにアクセスさせ、
前記車両において、前記車両と別の物体との衝突が差し迫っていると判定させ、
前記車両において、前記衝突が差し迫っているとの前記判定に基づいて、前記衝突に対する最適な車両向きを決定させ、
前記車両において、前記車両を前記最適な車両向きに位置付けるための車両進路を決定させ、
決定した前記車両進路に沿って走行するように前記車両を自律的に制御させる、記憶媒体。
(項目2)
前記命令がさらに、前記機械に
前記衝突に対する最適な乗員向きを決定させ、
前記衝突より前に前記最適な乗員向きに乗員を位置付けるために、前記車両の1つまたは複数の座席を自律的に移動させる
ように実行可能である、項目1に記載の記憶媒体。
(項目3)
前記命令がさらに、前記機械に、前記衝突時にまたはその間際に1つまたは複数の受動的安全機構の起動を制御させるように実行可能である、項目1に記載の記憶媒体。
(項目4)
前記1つまたは複数の受動的安全機構の起動を制御することには、エアバッグセットの解放のタイミングを計ること、前記エアバッグセットの解放を順序付けること、およびエアバッグセットのエアバッグ膨張速度を決定することのうちの1つまたは複数が含まれる、項目3に記載の記憶媒体。
(項目5)
前記命令がさらに、前記機械に、前記車両の静的安全性情報、前記車両の衝突試験情報、および前記車両の実際の事故情報のうちの1つまたは複数に基づいて訓練されたニューラルネットワークを用いて前記最適な車両向きを決定させるように実行可能である、項目1から4のいずれか一項に記載の記憶媒体。
(項目6)
前記命令がさらに、前記機械に前記最適な車両向きをヒューリスティックに決定させるように実行可能である、項目1から4のいずれか一項に記載の記憶媒体。
(項目7)
前記命令がさらに、前記機械に、前記車両の乗員への傷害の可能性に基づいて前記最適な車両向きを決定させるように実行可能である、項目1から4のいずれか一項に記載の記憶媒体。
(項目8)
前記差し迫った衝突が前記車両と別の車両との間であり、前記命令がさらに、前記機械に、前記別の車両の乗員への傷害の可能性にさらに基づいて前記最適な車両衝突向きを決定させるように実行可能である、項目7に記載の記憶媒体。
(項目9)
前記命令がさらに、前記機械に、前記車両の周辺にいる他の車両から受け取った情報、および前記車両の周辺にあるインフラストラクチャ物体から受け取った情報のうちの一方または両方に基づいて前記最適な車両向きを決定させるように実行可能である、項目1から4のいずれか一項に記載の記憶媒体。
(項目10)
前記命令がさらに、前記機械に、前記他の車両またはインフラストラクチャと連携して前記車両進路を決定させるように実行可能である、項目9に記載の記憶媒体。
(項目11)
前記命令がさらに、前記機械に、前記車両内にいる1人または複数の乗員に関する情報に基づいて前記最適な車両向きを決定させるように実行可能である、項目1から4のいずれか一項に記載の記憶媒体。
(項目12)
前記命令がさらに、前記機械に、前記車両内にいる前記1人または複数の乗員の位置、前記1人または複数の乗員の年齢、および1人または複数の乗員のサイズのうちの1つまたは複数に基づいて前記光学的な車両向きを決定させるように実行可能である、項目11に記載の記憶媒体。
(項目13)
前記命令がさらに、前記機械に前記車両の運転者からの入力を無効にさせるように実行可能である、項目1から4のいずれか一項に記載の記憶媒体。
(項目14)
車両に接続された1つまたは複数のセンサにより生成されるセンサデータを処理する段階と、
前記センサデータに基づき、前記車両の少なくとも1つのデータプロセッサを用いて、前記車両と別の物体との衝突が差し迫っていると判定する段階と、
前記衝突が差し迫っているとの前記判定に基づき、前記車両の少なくとも1つのデータプロセッサを用いて、前記衝突に対する最適な車両向きを決定する段階と、
前記車両の少なくとも1つのデータプロセッサを用いて、前記車両を前記最適な車両向きに位置付けるための車両進路を決定する段階と、
決定した前記車両進路に沿って走行するように前記車両を自律的に制御する段階と
を備える方法。
(項目15)
さらに、前記車両内にいる乗員の位置、前記車両内にいる乗員の年齢、前記車両内にいる乗員のサイズ、前記車両の乗員への傷害の可能性、前記車両の周辺にいる他の車両の乗員への傷害の可能性、前記車両の周辺にいる歩行者への傷害の可能性、および前記車両の周辺にある1つまたは複数の物体への損傷の可能性のうちの1つまたは複数に基づいて、前記最適な車両向きが決定される、項目14に記載の方法。
(項目16)
1つまたは複数のプロセッサと、
メモリと、
センサセットと、
自動運転システムであって、前記1つまたは複数のプロセッサが、
前記センサセットからのデータに少なくとも部分的に基づいて生成される車両用環境モデルに基づいて衝突の脅威を検出することと、
前記環境モデルと現在の車両動力学とに基づいて、車両と前記衝突の脅威との衝突が避けられないと判定することと、
前記衝突が差し迫っているとの前記判定に基づいて前記車両の衝突緩和計画を決定することであって、前記衝突緩和計画は前記車両の特定の衝突向きおよび特定の車両進路を示す、決定することと、
前記衝突緩和計画を実施するように前記車両を自律的に制御することと
を行うように実行可能である、自動運転システムと
を備えるシステム。
(項目17)
前記衝突緩和計画がさらに、前記衝突に対する最適な乗員向きを示し、前記自動運転システムがさらに、前記1つまたは複数のプロセッサが、前記衝突より前に前記光学的な乗員向きに乗員を位置付けるために、前記車両の1つまたは複数の座席を自律的に移動させるように実行可能である、項目16に記載のシステム。
(項目18)
前記衝突緩和計画がさらに、前記車両の1つまたは複数の受動的安全機構の起動計画を示し、前記自動運転システムがさらに、前記1つまたは複数のプロセッサが、前記起動計画に従って1つまたは複数の受動的安全機構の起動を自律的に制御するように実行可能である、項目16に記載のシステム。
(項目19)
前記システムがさらに、前記車両の静的安全性情報、前記車両の衝突試験情報、および前記車両の実際の事故情報のうちの1つまたは複数に基づいて訓練された機械学習モデルを備え、前記自動運転システムが前記機械学習モデルを用いて前記最適な車両向きを決定する、項目16から18のいずれか一項に記載のシステム。
(項目20)
前記自動運転システムが、前記車両内にいる乗員の位置、前記車両内にいる乗員の年齢、前記車両内にいる乗員のサイズ、前記車両の乗員への傷害の可能性、前記車両の周辺にいる他の車両の乗員への傷害の可能性、前記車両の周辺にいる歩行者への傷害の可能性、および前記車両の周辺にある1つまたは複数の物体への損傷の可能性のうちの1つまたは複数に基づいて、前記衝突緩和計画を決定する、項目16から18のいずれか一項に記載のシステム。

Claims (21)

  1. 車両に接続された1つまたは複数のセンサにより生成されたセンサデータにアクセスする段階と、
    前記車両と別の物体との衝突が差し迫っていることを前記車両において判定する段階と、
    前記衝突が差し迫っているとの前記判定に基づいて、前記衝突に対する最適な車両向きおよび受動的安全機構の起動計画を前記車両において決定する段階であって、前記受動的安全機構の起動計画は、前記衝突に対する前記最適な車両向きに基づいて決定され、エアバッグセットの解放タイミングおよび前記エアバッグセットの解放順序のうちの一方または両方を含む前記車両の1つまたは複数の受動的安全機構の起動タイミングを示し、少なくとも1つの受動的安全機構が前記衝突より前に起動する、決定する段階と、
    前記車両を前記最適な車両向きに位置付けるための車両進路を前記車両において決定する段階と、
    決定した前記車両進路に沿って走行するように前記車両を自律的に制御し、前記受動的安全機構の起動計画に従って前記車両の受動的安全機構の起動を制御する段階と
    を備える方法。
  2. 前記方法がさらに、
    前記衝突に対する最適な乗員向きを決定する段階と、
    前記衝突より前に前記最適な乗員向きに乗員を位置付けるために、前記車両の1つまたは複数の座席を自律的に移動させる段階と
    を備える、請求項1に記載の方法。
  3. 前記受動的安全機構の起動計画を決定する段階が、エアバッグセットの解放のタイミングを計ること、前記エアバッグセットの解放を順序付けること、および前記エアバッグセットのエアバッグ膨張速度を決定することのうちの1つまたは複数を決定する段階を有する、請求項1に記載の方法。
  4. 前記車両の静的安全性情報、前記車両の衝突試験情報、および前記車両の実際の事故情報のうちの1つまたは複数に基づいて訓練されたニューラルネットワークを用いて、前記最適な車両向きが決定される、請求項1から3のいずれか一項に記載の方法。
  5. 前記最適な車両向きがヒューリスティックに決定される、請求項1から3のいずれか一項に記載の方法。
  6. 前記車両の乗員への傷害の可能性に基づいて、前記最適な車両向きが決定される、請求項1から5のいずれか一項に記載の方法。
  7. 前記差し迫った衝突が前記車両と別の車両との間であり、前記方法がさらに、前記別の車両の乗員への傷害の可能性にさらに基づいて前記最適な車両衝突向きを決定する段階を備える、請求項6に記載の方法。
  8. 前記車両の周辺にいる他の車両から受け取った情報、および前記車両の周辺にあるインフラストラクチャ物体から受け取った情報のうちの一方または両方に基づいて、前記最適な車両向きが決定される、請求項1から7のいずれか一項に記載の方法。
  9. 前記方法がさらに、前記他の車両またはインフラストラクチャと連携して前記車両進路を決定する段階を備える、請求項8に記載の方法。
  10. 前記車両内にいる1人または複数の乗員に関する情報に基づいて、前記最適な車両向きが決定される、請求項1から9のいずれか一項に記載の方法。
  11. 前記方法がさらに、前記車両内にいる前記1人または複数の乗員の位置、前記1人または複数の乗員の年齢、および1人または複数の乗員のサイズのうちの1つまたは複数に基づいて前記最適な車両向きを決定する段階を備える、請求項10に記載の方法。
  12. 前記方法がさらに、前記車両の運転者からの入力を無効にする段階を備える、請求項1から11のいずれか一項に記載の方法。
  13. 前記受動的安全機構の起動計画を決定する段階が、前記車両の横転保護機構の関与タイミングを決定する段階を有し、前記横転保護機構は前記衝突より前に関与する、請求項1から12のいずれか一項に記載の方法。
  14. 前記方法がさらに、前記衝突時にまたはその間際に、前記車両の燃料系統の1つまたは複数のコンポーネントを無効化すること、前記車両の電気系統の1つまたは複数のコンポーネントを無効化すること、前記車両の1つまたは複数のドアロックを施錠または解錠すること、および前記車両の窓を開けるまたは閉じることのうちの1つまたは複数を行う段階を備える、請求項1に記載の方法。
  15. 請求項1から14のいずれか一項に記載の方法をプロセッサに実行させるコンピュータプログラム。
  16. 1つまたは複数のプロセッサと、
    メモリと、
    センサセットと、
    自動運転システムであって、前記1つまたは複数のプロセッサが、
    前記センサセットからのデータに少なくとも部分的に基づいて生成された車両の環境モデルに基づいて、衝突の脅威を検出することと、
    前記環境モデルおよび現在の車両動力学に基づいて、車両と前記衝突の脅威との衝突が避けられないと判定することと、
    前記衝突が差し迫っているとの前記判定に基づいて、前記車両の衝突緩和計画を決定することであって、前記衝突緩和計画は前記車両の特定の衝突向き、特定の車両進路、および前記車両の受動的安全機構の起動計画を示しており、前記起動計画は、前記車両の前記特定の衝突向きに基づいて決定され、エアバッグセットの解放タイミングおよび前記エアバッグセットの解放順序のうちの一方または両方を含む前記車両の前記受動的安全機構の起動タイミングを示しており、少なくとも1つの受動的安全機構の起動が前記衝突より前に行われる、決定することと、
    前記衝突緩和計画を実施するように前記車両を自律的に制御することと
    を行うように実行可能である、自動運転システムと
    を備えるシステム。
  17. 前記衝突緩和計画がさらに、前記衝突に対する最適な乗員向きを示し、前記自動運転システムがさらに、前記1つまたは複数のプロセッサが、前記衝突より前に前記最適な乗員向きに乗員を位置付けるために、前記車両の1つまたは複数の座席を自律的に移動させるように実行可能である、請求項16に記載のシステム。
  18. 前記システムがさらに、前記車両の静的安全性情報、前記車両の衝突試験情報、および前記車両の実際の事故情報のうちの1つまたは複数に基づいて訓練された機械学習モデルを備え、前記自動運転システムが前記機械学習モデルを用いて最適な車両向きを決定する、請求項16または17に記載のシステム。
  19. 前記自動運転システムが、前記車両内にいる乗員の位置、前記車両内にいる乗員の年齢、前記車両内にいる乗員のサイズ、前記車両の乗員への傷害の可能性、前記車両の周辺にいる他の車両の乗員への傷害の可能性、前記車両の周辺にいる歩行者への傷害の可能性、および前記車両の周辺にある1つまたは複数の物体への損傷の可能性のうちの1つまたは複数に基づいて、前記衝突緩和計画を決定する、請求項16から18のいずれか一項に記載のシステム。
  20. 前記衝突緩和計画がさらに、前記車両の能動的安全機構の計画を示しており、前記能動的安全機構の前記計画が、前記車両の燃料系統の1つまたは複数のコンポーネントを無効化すること、前記車両の電気系統の1つまたは複数のコンポーネントを無効化すること、前記車両の1つまたは複数のドアロックを施錠または解錠すること、および前記車両の窓を開けるまたは閉じることのうちの1つまたは複数を含む、請求項16から19のいずれか一項に記載のシステム。
  21. 前記車両の前記受動的安全機構の前記起動計画がさらに、前記衝突より前に前記車両のロールバー機構の関与を示す、請求項16から20のいずれか一項に記載のシステム。
JP2022508793A 2019-09-13 2020-08-12 予防的車両安全システム Pending JP2022546930A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/571,048 2019-09-13
US16/571,048 US11351987B2 (en) 2019-09-13 2019-09-13 Proactive vehicle safety system
PCT/US2020/045984 WO2021050195A1 (en) 2019-09-13 2020-08-12 Proactive vehicle safety system

Publications (1)

Publication Number Publication Date
JP2022546930A true JP2022546930A (ja) 2022-11-10

Family

ID=69101816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022508793A Pending JP2022546930A (ja) 2019-09-13 2020-08-12 予防的車両安全システム

Country Status (4)

Country Link
US (1) US11351987B2 (ja)
JP (1) JP2022546930A (ja)
DE (1) DE112020004336T5 (ja)
WO (1) WO2021050195A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE1750845A1 (en) * 2017-06-29 2018-12-30 Hoevding Sverige Ab Imroved airbag system
EP3543985A1 (de) * 2018-03-21 2019-09-25 dSPACE digital signal processing and control engineering GmbH Simulieren verschiedener verkehrssituationen für ein testfahrzeug
US11351987B2 (en) 2019-09-13 2022-06-07 Intel Corporation Proactive vehicle safety system
US11608083B2 (en) * 2019-09-18 2023-03-21 Honda Motor Co., Ltd. System and method for providing cooperation-aware lane change control in dense traffic
JP7215392B2 (ja) * 2019-10-15 2023-01-31 トヨタ自動車株式会社 車両制御システム
US11693415B2 (en) * 2019-11-06 2023-07-04 Waymo Llc Predicting cut-in probabilities of surrounding agents
KR20210077858A (ko) * 2019-12-17 2021-06-28 현대자동차주식회사 베이비 모드에 따른 차량 주행제어 방법 및 장치
US20210213977A1 (en) * 2020-01-14 2021-07-15 Allstate Insurance Company Nearby Driver Intent Determining Autonomous Driving System
US20210347376A1 (en) * 2020-05-07 2021-11-11 Steering Solutions Ip Holding Corporation Autonomous driver-feedback system and method
US11617074B2 (en) * 2020-06-15 2023-03-28 Toyota Motor North America, Inc. Secure boundary area communication systems and methods
CN111959526B (zh) * 2020-06-30 2022-02-15 北京百度网讯科技有限公司 基于无人车的控制方法、装置、无人车和电子设备
US11687094B2 (en) 2020-08-27 2023-06-27 Here Global B.V. Method, apparatus, and computer program product for organizing autonomous vehicles in an autonomous transition region
US11691643B2 (en) 2020-08-27 2023-07-04 Here Global B.V. Method and apparatus to improve interaction models and user experience for autonomous driving in transition regions
US11713979B2 (en) 2020-08-27 2023-08-01 Here Global B.V. Method, apparatus, and computer program product for generating a transition variability index related to autonomous driving
US20220065656A1 (en) * 2020-08-27 2022-03-03 Here Global B.V. Method, apparatus, and computer program product for generating an automated driving capability map index
US20220194426A1 (en) * 2020-12-17 2022-06-23 Here Global B.V. Method and apparatus for increasing passenger safety based on accident/road link correlation
CN112687173B (zh) * 2020-12-25 2022-06-21 安徽机电职业技术学院 一种基于主被动安全协同优化的汽车碰撞演示平台
US20220212658A1 (en) * 2021-01-05 2022-07-07 Toyota Motor Engineering & Manufacturing North America, Inc. Personalized drive with occupant identification
CN112925307B (zh) * 2021-01-20 2023-03-24 中国科学院重庆绿色智能技术研究院 一种用于智能仓储机器人系统的分布式多机器人路径规划方法
CN112706762B (zh) * 2021-01-27 2022-03-15 东风汽车集团股份有限公司 一种高速碰撞时车载总成主动脱离方法
US20220245387A1 (en) * 2021-02-04 2022-08-04 Toyota Research Institute, Inc. End-to-end monocular 2d semantic keypoint detector and tracker learning
CN113968245A (zh) * 2021-04-15 2022-01-25 上海丰豹商务咨询有限公司 适用于协同式自动驾驶系统的车载智能单元和控制方法
US11926342B2 (en) * 2021-08-31 2024-03-12 Motional Ad Llc Autonomous vehicle post-action explanation system
US11851068B2 (en) * 2021-10-25 2023-12-26 Ford Global Technologies, Llc Enhanced target detection
US11875662B2 (en) * 2021-10-28 2024-01-16 Joseph GAUL Device and system for vehicle proximity alert
DE102021213575B4 (de) 2021-12-01 2023-10-05 Continental Autonomous Mobility Germany GmbH Verfahren zur Planung eines zumindest teilweise automatisierten Fahrvorgangs mittels eines Fahrassistenzsystems
US11657716B1 (en) * 2022-02-24 2023-05-23 Scott C Harris Automobile system for determination and protection against external crash hazards
DE102022123716A1 (de) 2022-09-16 2024-03-21 Audi Aktiengesellschaft System und Verfahren zur Minimierung von Unfallfolgen

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043736A (en) * 1997-02-24 2000-03-28 Kansei Corporation Weighing apparatus, apparatus for detecting auxiliary-seat mounting direction, person-on-board protecting apparatus, and apparatus for giving warning about seating condition
US7156416B2 (en) * 1997-09-24 2007-01-02 Rajasingham Arjuna Indraeswara Easy ejector seat with skeletal crash safety beam
US6422597B1 (en) * 1999-11-12 2002-07-23 Delphi Technologies, Inc. Variable profile air bag restraint
US6466849B2 (en) * 2000-03-21 2002-10-15 Honda Giken Kogyo Kabushiki Kaisha Occupant position detection system
US6724920B1 (en) * 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
US20040066023A1 (en) * 2000-10-20 2004-04-08 Tabe Joseph Advanced weight responsive supplemental restraint computer system
JP2005307930A (ja) * 2004-04-26 2005-11-04 Hitachi Ltd 車両用エンジンの燃料供給装置
US20060106538A1 (en) * 2004-11-12 2006-05-18 Browne Alan L Cooperative collision mitigation
JP2006188129A (ja) 2005-01-05 2006-07-20 Hitachi Ltd 衝突負荷低減車両システム
DE102008040713B4 (de) * 2008-07-25 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Betätigung eines aktiven und/oder passiven Sicherheitssystems in einem Kraftfahrzeug
US9318023B2 (en) * 2011-08-31 2016-04-19 GM Global Technology Operations LLC System and method for collision avoidance maneuver path determination with jerk limit
JP6201928B2 (ja) 2014-08-04 2017-09-27 トヨタ自動車株式会社 車両制御装置
DE102015008839A1 (de) * 2015-07-08 2017-01-12 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Kraftfahrzeug mit Sitzentrieglungssystem
WO2017079349A1 (en) 2015-11-04 2017-05-11 Zoox, Inc. System for implementing an active safety system in an autonomous vehicle
KR102377541B1 (ko) 2015-12-14 2022-03-22 현대모비스 주식회사 2차 사고 방지를 위한 긴급제동 장치 및 방법
US9701307B1 (en) 2016-04-11 2017-07-11 David E. Newman Systems and methods for hazard mitigation
US10611269B1 (en) * 2016-07-26 2020-04-07 Waymo Llc Moving seats in a vehicle to enhance occupant protection
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
US20180090016A1 (en) * 2016-09-27 2018-03-29 Intel Corporation Methods and apparatus to navigate drones based on weather data
US10435150B1 (en) * 2016-10-10 2019-10-08 Joseph Szefi Pneumatically actuated trim tab system on a rotating blade
US10246090B2 (en) * 2016-11-07 2019-04-02 Ford Global Technologies, Llc Vehicle collision severity mitigation
WO2018229550A1 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
KR101956685B1 (ko) * 2018-05-14 2019-03-13 주식회사 만도 차량의 충돌 완화 장치 및 방법
US11351987B2 (en) 2019-09-13 2022-06-07 Intel Corporation Proactive vehicle safety system

Also Published As

Publication number Publication date
WO2021050195A1 (en) 2021-03-18
US11351987B2 (en) 2022-06-07
DE112020004336T5 (de) 2022-06-30
US20200010077A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
US11351987B2 (en) Proactive vehicle safety system
CN115206132B (zh) 基于道路使用者意图预测的潜在碰撞警告系统
JP7150846B2 (ja) 自律車両のための物体相互作用予測システムおよび方法
US20220126863A1 (en) Autonomous vehicle system
US11383722B2 (en) Methods and systems for managing interactions between vehicles with varying levels of autonomy
US11027751B2 (en) Reinforcement and model learning for vehicle operation
US10372130B1 (en) Communicating reasons for vehicle actions
US11292494B2 (en) Apparatus and method for determining levels of driving automation
US20190391582A1 (en) Apparatus and method for controlling the driving of a vehicle
CN113366497B (zh) 自主载具的智能体优先级划分
EP3974270A1 (en) Device for determining safety state of a vehicle
CN114270360A (zh) 让步行为建模和预测
JP2020531993A (ja) 自律車両に関する物体予測を優先順位化するためのシステムおよび方法
WO2019046199A1 (en) AUTONOMOUS VEHICLES COMPRISING A VEHICLE INTENTION SYSTEM
JP2020526832A (ja) 車両とテレオペレーションシステムとの間の対話
US11780466B1 (en) Vehicle fleet remote ride comfort tuning management system
US20210179097A1 (en) Lane-attention: predicting vehicles' moving trajectories by learning their attention over lanes
CN116745717A (zh) 评估由自主交通工具感知的行动者的当前意图
US20240286634A1 (en) Learning Constraints Over Beliefs in Autonomous Vehicle Operations
US20240286617A1 (en) School bus detection and response
US20240087450A1 (en) Emergency vehicle intent detection
Hao et al. Joint Local Reinforcement Learning Agent and Global Drone Cooperation for Collision-Free Lane Change
Shao Self-driving car technology: When will the robots hit the road?

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240802