JP2022171625A - 自律車両の通信に対する監督システム - Google Patents

自律車両の通信に対する監督システム Download PDF

Info

Publication number
JP2022171625A
JP2022171625A JP2022074210A JP2022074210A JP2022171625A JP 2022171625 A JP2022171625 A JP 2022171625A JP 2022074210 A JP2022074210 A JP 2022074210A JP 2022074210 A JP2022074210 A JP 2022074210A JP 2022171625 A JP2022171625 A JP 2022171625A
Authority
JP
Japan
Prior art keywords
data
command
road
unexpected
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022074210A
Other languages
English (en)
Inventor
ジャオ チャンイ
Changyi Zhao
タム ジョイス
Tam Joyce
フアン ビン
Bin Huang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/243,981 external-priority patent/US11767032B2/en
Priority claimed from US17/243,900 external-priority patent/US20220348223A1/en
Priority claimed from US17/243,785 external-priority patent/US11767031B2/en
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of JP2022171625A publication Critical patent/JP2022171625A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00182Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions in response to weather conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00184Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to infrastructure
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • G05D1/0297Fleet control by controlling means in a control room
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096844Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】自律車両の通信に対する監督システムを提供すること。
【解決手段】
システムは、自律車両(AV)と、AVと動作可能に結合されたオペレーションサーバとを含む。オペレーションサーバは、AVによって移動される道路に関連付けられた環境データにアクセスする。環境データは、AVが道路に沿って移動している間の時間枠に関連付けられている。オペレーションサーバは、環境データを、AVの前方に予想される道路状態を含む地図データと比較する。オペレーションサーバは、環境データが地図データに含まれていない予期せぬ道路状態を含んでいるかどうかを決定する。環境データが地図データに含まれていない予期せぬ道路状態を含んでいるという決定に応答して、オペレーションサーバは、予期せぬ道路状態の位置座標を決定し、予期せぬ道路状態を回避するように操縦するために、AVにコマンドを通信する。
【選択図】なし

Description

本開示は、概して自律車両に関する。より具体的には、本開示は、自律車両の通信に対する監督システムに関する。
自律車両技術の目的の1つは、目的地に向かって安全にナビゲートできる車両を提供することである。場合によっては、自律車両が移動する道路上では、予期せぬ道路状態が発生し得る。例えば、自律車両の前方の道路では、予期せぬ気象条件または予期せぬ交通が観察され得る。現在の自律車両技術は、そのような予期せぬ道路状態を考慮して構成されてはいない。
現在の自律車両技術は、予期せぬ道路状態を考慮して構成されてはいない。本開示は、自律車両(AV)へのコマンドの通信に関連する様々な問題およびこれまでに満たされていないニーズを認識する。本開示の特定の実施形態は、予期せぬ道路状態に向かう1つ以上のAVにコマンドを通信するための上記の問題を含む、現在の自律車両技術の技術的問題に対する独自の技術的解決策を提供する。開示のシステムは、1つ以上のAVに対するコマンドの異なるレベルの粒度を決定するように構成されている。いくつかの例では、コマンドは広範コマンドであり得、一方で、他の例では、コマンドは特殊コマンドであり得る。
広範コマンドは、特定の道路状態に関連し得、特定の道路状態に向かう1つ以上のAVに向けられ得る。予期せぬ道路状態は、とりわけ、予期せぬ気象条件、予期せぬ交通渋滞、道路の閉鎖、道路上の障害物、建設区域などを含み得るが、これらに限定されない。例えば、1つ以上のAVが移動する道路上での予期せぬ道路状態は、1つ以上のAVと動作可能に結合されたオペレーションサーバによって、1つ以上のAVが道路に沿って移動している間の時間窓に関連付けられた環境データを分析し、かつ環境データと予想される道路状態を含む地図データとを比較することによって検出され得る。環境データは、気象データと交通データを含み得る。オペレーションサーバは、ライブ天気予報、ライブ交通情報などの外部ソースからの環境データにアクセスし得る。予期せぬ道路状態を検出すると、広範コマンドが1つ以上のAVに通信され得、道路上で予期せぬ道路状態が検出されたことおよび迂回する旨を示す。
特殊コマンドは、特殊な道路状態に関連し得、特殊な道路状態にいる特定のAVに向けられ得る。例えば、特定のAVが、道路閉鎖によって閉鎖されている道路に沿って移動していると仮定する。道路の閉鎖を検出すると、特定のAVと動作可能に結合されたオペレーションサーバによって、特殊コマンドが特定のAVに通信され得、特殊な行動を取ることを知らせる(例えば、次の出口を出て、最初の右折をして、50フィート進み、道路脇に寄せる)。
本開示は、様々な予期せぬ道路状態を検出し、予期せぬ道路状態に向かっている1つ以上のAVにコマンド(例えば、広範または特殊コマンド)を発することを意図している。場合によっては、上記の例と同様に、コマンドは、オペレーションサーバから1つ以上のAVに通信され、すなわち、これはオペレーションサーバ対AVコマンドである。
場合によっては、コマンドを受信すると、AV(またはAVに関連付けられた車載制御装置)は、AV上のセンサーから受信したセンサーデータの分析に基づいてコマンドを更新し得る。例えば、車載制御装置が、発行されたコマンドに従ってAVをナビゲートするための経路上に障害物があると決定した場合、AVはコマンドを更新し得る。例えば、AVに送信されたコマンドは、道路の脇の第1の場所に寄せることを示していると仮定する。また、AVのセンサーが、第1の場所が障害物で占められていることを検出すると仮定する。故に、この例において、車載制御装置は、障害物が発行されたコマンドの遂行を妨げると決定する。故に、車載制御装置は、障害物のない場所を検索し得る。障害物のない第2の場所を見つけると、車載制御装置は、AVを第2の場所、例えば、第1の場所の50フィート先に寄せるようにコマンドを更新し得る。
場合によっては、AVは、コマンドをオペレーションサーバに通信し得、すなわち、AV対オペレーションサーバコマンドである。例えば、AVは、その移動経路上で予期せぬ物体を検出すると、1つ以上のナビゲーション命令を含むコマンドをオペレーションサーバに通信し得る。AV(またはAVに関連付けられた車載制御装置)は、センサーから受信したセンサーデータを分析し、センサーデータを、道路標識、建物、地形、車線区分線、道路境界、信号機など、AVの前方にある予想される物体を含む地図データと比較することにより、予期せぬ物体を検出し得る。AVは、センサーデータと地図データとを比較することにより、センサーデータに含まれる予期せぬ物体が地図データには含まれていないことを検出し得る。AVは、予期せぬ物体を回避するために、提案されたコマンドまたはナビゲーション命令を決定し得る。AVは、確認、肯定、または承認のために、提案されたコマンドをオペレーションサーバに通信し得る。オペレーションサーバは、提案されたコマンドを確認、修正、または上書きし、確認または修正をAVに通信し得る。確認または修正を受信すると、AVは元のコマンドまたは修正されたコマンドを遂行し得る。
場合によっては、第1のAVは、コマンドを第2のAVに通信し得、すなわち、これはAV対AVコマンドである。例えば、第1および第2のAVが同じ道路上にあり、第1のAVが第2のAVよりも先を進んでいると仮定する。また、第1のAVの先にある予期せぬ道路状態を回避するために、第1のAVがオペレーションサーバからコマンドを受信したと仮定する。第1のAVは、上記と同様に、センサーデータの分析に基づいて、コマンドを更新する場合もあり、しない場合もある。
一実施形態において、第1のAVは、コマンド(または更新されたコマンド)を第2のAVに間接的に通信し得る。例えば、第1のAVは、コマンド(または更新されたコマンド)をオペレーションサーバに通信し得、オペレーションサーバは、コマンド(または更新されたコマンド)を第2のAVに通信し得る。
別の実施形態において、第2のAVが第1のAVの車両対車両(V2V)通信範囲内にある場合、第1のAVは、例えば、車両対車両(V2V)ネットワークインターフェースを用いて、コマンド(または更新されたコマンド)を第2のAVに直接通信し得る。本実施形態において、第1のAVは、第1のAVと第2のAVとの間の道路の部分に関連付けられた環境データにアクセスする。環境データは、第1のAVが第1のAVと第2のAVとの間の道路の部分に沿って移動していた間に第1のAVのセンサーによって検出された複数の物体の位置座標を含み得る。第1のAVは、第1のAVと第2のAVの間の道路の部分をすでに移動しているため、第1のAVは環境データを経験かつ記録済みである。第1のAVは、センサーデータおよび/または環境データ(第1のAVと第2のAVとの間の道路の部分に関連)において検出された物体が、第2のAVによって発行されたコマンドの遂行を妨げるかどうかを決定し得る。本プロセスにおいて、例えば、第1のAVは、第2のAVの軌道を(例えば、オペレーションサーバおよび/または第2のAVから)受信し、センサーデータおよび/または環境データにおいて検出された物体が第2のAVの移動経路上にあるかどうかを決定し得る。物体が第2のAVの移動経路上にある場合、第1のAVは、物体が第2のAVによるコマンドの遂行を妨げると決定し得る。第1のAVが、センサーデータおよび/または環境データにおいて検出された物体が第2のAVによる発行コマンドの遂行を妨げると決定した場合、第1のAVは、更新されたコマンドが、コマンドの遂行中に第2のAVの移動経路上の物体を回避するための1つ以上のナビゲーション命令を含むように、第2のAVのコマンドを更新する。同様に、第3のAVが第1のAVのV2V通信範囲内にある場合、第1のAVは、第1のAVと第3のAVとの間の道路に関連付けられた環境データの集合を分析することに基づいて、第2のAVの後ろを移動する第3のAVに第2の更新されたコマンドを通信し得る。
第3のAVが第1のAVのV2V通信範囲内にはないが、第3のAVが第2のAVのV2V通信範囲内にある場合において、第2のAVは、第2のAVと第3のAVとの間の道路に関連付けられた環境データにアクセスして分析し、第3のAVがコマンドを遂行している間、第3のAVの移動経路上の物体を回避するように第3のAVに該コマンドを通信し得る。このように、本開示は、AVのネットワークメッシュ間の通信を意図しており、ここでは、AVの異なるサブセットは、AVの他のサブセットからのさまざまなV2V通信範囲にあり得る。故に、本開示は、AVのネットワークメッシュとオペレーションサーバとの間の1対1、1対多、および多対多の通信を意図する。
オペレーションサーバからAVへのコマンドの通信に関して、一実施形態において、システムは、AVとオペレーションサーバとを含む。AVは、少なくとも1つの車両センサーを含み、ここで、AVは道路に沿って移動するように構成されている。オペレーションサーバはAVと通信可能に結合されている。オペレーションサーバはプロセッサを含む。プロセッサは、AVの前方の道路に関連付けられた環境データにアクセスするように構成されている。環境データは、AVが道路に沿って移動している時間枠に関連付けられている。プロセッサは、環境データを、AVの前方にて予想される道路状態を含む地図データと比較する。環境データと地図データとを比較することに基づいて、プロセッサは、環境データが地図データに含まれていない予期せぬ道路状態を含むかどうかを決定する。環境データが、地図データに含まれていない予期せぬ道路状態および/またはAVが安全に動作できる状態に対応する動作設計ドメインを含むとの決定に応答して、プロセッサは、予期せぬ道路状態の位置座標を決定し、予期せぬ道路状態を回避するように操縦するために、コマンドをAVに通信する。
AVによるオペレーションサーバからのコマンドの受信に関して、一実施形態において、システムは、AVと制御装置とを含む。AVは、少なくとも1つの車両センサーを含み、ここで、AVは、道路に沿って移動するように構成されている。制御装置はAVに関連付けられている。制御装置はプロセッサを含む。プロセッサは、予期せぬ道路状態を回避するためにAVをナビゲートするコマンドをオペレーションサーバから受信するように構成されている。プロセッサは、少なくとも1つの車両センサーから、AVの前方の複数の物体の位置座標を含むセンサーデータを受信する。プロセッサは、複数の物体からの少なくとも1つの物体がコマンドの遂行を妨げるかどうかを決定する。複数の物体からの少なくとも1つの物体がコマンドの遂行を妨げると決定したことに応答して、プロセッサは、コマンドを更新し、その結果、更新されたコマンドは、コマンドの遂行中に少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む。プロセッサは、更新されたコマンドに従ってAVをナビゲートする。
後続AVにコマンドを通信する先頭AVに関して、一実施形態において、システムは、先頭AVと後続AVとを含む。先頭AVは、少なくとも1つの車両センサーを含む。先頭AVは道路に沿って移動するように構成されている。後続AVは先頭AVとは異なり、先頭AVと通信結合されている。後続AVは、先頭AVの後ろに続いて道路に沿って移動している。先頭AVは、制御装置に関連付けられている。制御装置は、第1のプロセッサを含む。第1のプロセッサは、先頭AVの前方の予期せぬ道路状態を回避するように先頭AVをナビゲートするためのコマンドを受信するように構成されている。第1のプロセッサは、少なくとも1つの車両センサーから、先頭AVの前方の第1の複数の物体の位置座標を含むセンサーデータを受信する。第1のプロセッサは、先頭AVと後続AVとの間の道路の部分に関連付けられた環境データの第1のセットにアクセスする。環境データの第1のセットは、先頭AVと後続AVとの間の第2の複数の物体の位置座標を含む。第1のプロセッサは、第1および第2の複数の物体からの少なくとも1つの物体が、後続AVによるコマンドの遂行を妨げるかどうかを決定する。少なくとも1つの物体が後続AVによるコマンドの遂行を妨げるとの決定に応答して、プロセッサは、センサーデータおよび環境データの第1のセットに少なくとも部分的に基づいて、後続AVのコマンドを更新し、その結果、更新されたコマンドは、コマンドの遂行中に少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む。第1のプロセッサは、更新されたコマンドを後続AVに通信する。
開示のシステムは、いくつかの実用的な用途および技術的利点を提供し、それらには以下を含む:1)コマンドの各粒度レベルが特殊な道路状態に関連し得、かつ特殊な道路状態に向かう1つ以上のAVに向けられ得る、広範および特殊コマンドを含む、コマンドのさまざまな粒度レベルを決定する技術;2)第1のAVが道路に沿って移動している間の時間窓に関連付けられた予期せぬ道路状態の検出に応じて、第1のAVが移動する道路上の予期せぬ道路状態を回避するために、コマンド(例えば、広域または特殊コマンド)を第1のAVに通信する技術;3)受信したコマンドに従って第1のAVをナビゲートする経路上の障害物を検出し、該障害物が受信したコマンドに従って第1のAVをナビゲートすることを妨げると決定することに応答して、受信したコマンドを更新する技術;4)オペレーションサーバを介した第1AVと第2AVとの間の間接データ通信を可能にする技術;5)V2V通信範囲内における第1AVと第2AVとの間の直接データ通信を可能にする技術;および6)コマンド(または更新されたコマンド)を第2のAVに通信し、発行されたコマンドに従って、予期せぬ道路状態およびナビゲーションを妨げる障害物について第2のAVに通知する技術。
従って、本開示で説明されるシステムは、予期せぬ道路状態を回避するためのコマンドを決定しAVに通信するためのより効率的で、安全で、信頼できる解決策を決定する実用的な用途に統合され得る。さらに、本開示で説明されるシステムは、予期せぬ道路状態がそれらのAVのセンサーの視野または検出ゾーン内にない場合においても、予期せぬ道路状態に向かっているAVのためのより効率的で、安全で、信頼できるナビゲーション向け解決策を決定する、追加の実用的な用途に統合され得る。例えば、ライブ天気予報および/または交通情報から、オペレーションサーバは、AVのセンサーの検出ゾーン外にある予期せぬ道路状態を検出し、予期せぬ道路状態を回避するためにAVにコマンドを発行し得る。よって、開示されたシステムは、現在の自律車両技術を改善し得る。
更に、開示されたシステムは、AVと、AVの動作を監視する任務を負っているオペレーションサーバとの間のデータ通信を改善し得る。例えば、開示されたシステムは、第1のAVと、第1のAVのV2V通信範囲内のオペレーションサーバおよび後続AVの一方または両方との間に通信チャネルを確立し得る。そのため、第1のAVは、オペレーションサーバおよび/または後続AVとの間においてデータ(例えば、コマンドまたは他の任意のデータ)を送受信することができる。
そのため、AVとオペレーションサーバとの間のデータ通信を改善することにより、開示されたシステムは、AVの車隊が同じ道路を移動している場合において、異なるAVに周波数帯域幅割り当ての柔軟性を提供する。故に、開示されたシステムは、異なるネットワーク/アクセスノード(例えば、オペレーションサーバまたは車隊内の任意のAV)での負荷分散および処理リソース分散のためにV2V通信を活用し、1つのアクセス/ネットワークにおけるデータ送信オーバーヘッドを低減または最小化し得る。
更に、AVとオペレーションサーバとの間のデータ通信を改善することにより、開示されたシステムは、AVの追跡およびAVの自律動作の監視をさらに改善し得る。例えば、現在の自律車両技術で用いられている現在のデータ通信技術は、すでに導入されている既存のネットワークインフラストラクチャの制限に悩まされ得る。開示されたシステムは、様々な通信状態で動作するように構成された1つ以上のコンピューティングエージェントユニットをAVに実装し得る。
例えば、AVがオペレーションサーバおよび後続AVに接続されている場合、1つ以上のコンピューティングエージェントユニットは、「オペレーションサーバおよび後続AVに接続されている」状態に移行する。この状態において、AVは、オペレーションサーバおよび/または後続AVの間においてデータ(例えば、コマンドまたは他の任意のデータ)を送受信できる。
別の例において、AVが後続AVに接続されると、1つ以上のコンピューティングエージェントユニットは、「後続AVに接続された」状態に移行する。故に、AVとオペレーションサーバとの間の通信が失われた場合、AVは後続AVとの間においてデータ(例えば、コマンドまたは他の任意のデータ)を送受信できる。
別の例において、AVがオペレーションサーバに接続されると、1つ以上のコンピューティングエージェントユニットは、「オペレーションサーバに接続された」状態に移行する。故に、AVと後続AVの間の通信が失われた場合、AVはオペレーションサーバとの間においてデータ(例えば、コマンドまたは他の任意のデータ)を送受信できる。
他の例において、AVとオペレーションサーバおよび後続AVの両方との間の接続が失われた場合、1つ以上のコンピューティングエージェントユニットが「オペレーションサーバおよび後続AVとの接続なしでコマンドを実行する」状態に移行する。この状態において、AVに関連付けられた制御装置は、オペレーションサーバおよび後続AVのいずれかまたは両方との通信が再確立されるまで、AVを道路の脇に寄せる。
このようにして、開示されたシステムは、AVとのデータ通信を改善し、AVを追跡し、AVの自律動作を監視し得る。
本開示の特定の実施形態は、これらの利点のいくつかを含むか、全てを含むか、または全く含まない場合がある。これらの利点および他の特徴は、添付の図面および特許請求の範囲と併せて取られる以下の詳細な説明からより明確に理解されるであろう。
本願は、例えば、以下を提供する。
(項目1)
システムであって、該システムは、
少なくとも1つの車両センサーを備える自律車両(AV)であって、該AVは、道路に沿って移動するように構成されている、自律車両(AV)と、
該AVに通信可能に結合されたオペレーションサーバと
を含み、
該オペレーションサーバは、プロセッサを備えており、該プロセッサは、
該AVの前方の該道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
該環境データが該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
該予期せぬ道路状態の位置座標を決定することと、
該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
を行うように構成されている、システム。
(項目2)
上記AVに関連付けられている制御装置をさらに含み、該制御装置は、第2のプロセッサを備えており、該第2のプロセッサは、
該少なくとも1つの車両センサーから、該AVの前方の上記道路上の複数の物体の位置座標を含むセンサーデータを受信することと、
該センサーデータに少なくとも部分的に基づいて、更新されたコマンドが、該AVが該コマンドの遂行中に該複数の物体を回避するための1つ以上の命令を含むように、上記コマンドを更新することと、
該更新されたコマンドに従って該AVをナビゲートすることと
を行うように構成されている、上記項目に記載のシステム。
(項目3)
上記第2のプロセッサは、上記AVの後方に並んで移動している1つ以上の後続AVに上記更新されたコマンドを通信するようにさらに構成されている、上記項目のいずれかに記載のシステム。
(項目4)
上記第2のプロセッサは、
上記センサーデータを上記地図データと比較することであって、該地図データは、上記AVの前方の上記道路上にある予想される物体の位置座標を含む、ことと、
該センサーデータを該地図データと比較することに少なくとも部分的に基づいて、該センサーデータが、予期せぬ物体は該地図データにはないことを示しているかどうかを決定することと、
該センサーデータが該予期せぬ物体は該地図データにはないことを示しているという決定に応答して、該AVが該予期せぬ物体を回避するための、提案されたナビゲーション命令を決定することと
を行うようにさらに構成されている、上記項目のいずれかに記載のシステム。
(項目5)
上記第2のプロセッサは、上記センサーデータが上記予期せぬ物体は上記地図データにはないことを示しているという決定に応答して、上記提案されたナビゲーション命令を遂行するようにさらに構成されている、上記項目のいずれかに記載のシステム。
(項目6)
上記第2のプロセッサは、
上記センサーデータが上記予期せぬ物体は上記地図データにはないことを示しているという決定に応答して、
上記提案されたナビゲーション命令を上記オペレーションサーバに通信することと、
該オペレーションサーバから該提案されたナビゲーション命令を遂行することの確認が受信されたかどうかを決定することと、
該オペレーションサーバからの該確認の受信に応答して、該提案されたナビゲーション命令を遂行することと
を行うようにさらに構成されている、上記項目のいずれかに記載のシステム。
(項目7)
上記第2のプロセッサは、
上記センサーデータが上記予期せぬ物体は上記地図データにはないことを示しているという決定に応答して、
該センサーデータを上記オペレーションサーバに通信することと、
該センサーデータに少なくとも部分的に基づいて該予期せぬ物体を回避する命令を提供するように、該オペレーションサーバに要求することと
を行うようにさらに構成されている、上記項目のいずれかに記載のシステム。
(項目8)
上記AVとは異なる1つ以上の後続AVをさらに含み、
該1つ以上の後続AVは、該AVの後方の上記道路上にあり、
該1つ以上の後続AVは、上記オペレーションサーバに通信可能に結合されており、
上記プロセッサは、
上記環境データが上記地図データに含まれていない上記予期せぬ道路状態を含むとの決定に応答して、
上記制御装置から上記センサーデータを受信することと、
該1つ以上の後続AVが上記複数の物体を回避している間に該予期せぬ道路状態を回避するための、1つ以上の命令を含む第2のコマンドを生成することであって、該第2のコマンドは、上記コマンドに示された該予期せぬ道路状態の上記位置座標、および上記センサーデータに示された該複数の物体の上記位置座標を含む、ことと、
該第2のコマンドを該1つ以上の後続AVに通信することと
を行うようにさらに構成されている、上記項目のいずれかに記載のシステム。
(項目9)
方法であって、該方法は、
自律車両(AV)の前方の道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
該環境データが該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
該予期せぬ道路状態の位置座標を決定することと、
該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
を含む、方法。
(項目10)
上記予期せぬ道路状態は、上記地図データには含まれていない、予期せぬ気象条件、予期せぬ交通渋滞、予期せぬ道路閉鎖、および予期せぬ建設区域のうちの少なくとも1つを含む、項目9に記載の方法。
(項目11)
上記環境データは、気象データおよび交通データのうちの少なくとも1つを含む、上記項目のいずれかに記載の方法。
(項目12)
上記コマンドは、
上記AVによる、自律運転から手動運転への移行、
該AVによる、該AVの前方の道路上の障害物の回避、
該AVによる、1つ以上の障害物が検出された1つ以上の一定の車線の回避、
該AVによる、上記予期せぬ道路状態が検出された1つ以上の一定のルートの回避、
該AVによる、特定のルート変更、および
該先頭AVによる、該先頭AVに関連付けられた運転指示に示されている速度よりも遅いまたは速い速度での運転、
のうちの少なくとも1つに関連している、上記項目のいずれかに記載の方法。
(項目13)
上記コマンドは、上記道路上の、上記AVおよび該AVの後方にある1つ以上の後続AVに向けられる広範コマンドを含み、
該広範コマンドは、該AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、上記項目のいずれかに記載の方法。
(項目14)
上記コマンドは、上記AVに向けられる特殊コマンドを含み、
該特殊コマンドは、該AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、上記項目のいずれかに記載の方法。
(項目15)
非一時的なコンピュータ読取り可能媒体に格納された実行可能な命令を含むコンピュータプログラムであって、該命令は、1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、
自律車両(AV)の前方の道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
該環境データが、該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
該予期せぬ道路状態の位置座標を決定することと、
該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
を行わせる、コンピュータプログラム。
(項目16)
上記命令は、上記1つ以上のプロセッサによって実行されると、上記1つ以上のプロセッサに、上記環境データが上記地図データに含まれていない上記予期せぬ道路状態を含むとの決定に応答して、上記AVの後方において上記道路に沿って移動している1つ以上の後続AVに該コマンドを伝搬することをさらに行わせる、上記項目のいずれかに記載のコンピュータプログラム。
(項目17)
上記コマンドは、設定コマンドを含む、上記項目のいずれかに記載のコンピュータプログラム。
(項目18)
上記設定コマンドは、上記少なくとも1つの車両センサーの方向の変更、および該少なくとも1つの車両センサーのデータサンプリング周波数の変更のうちの少なくとも1つを含む、上記項目のいずれかに記載のコンピュータプログラム。
(項目19)
上記AVは少なくとも1つの車両センサーを備えており、該少なくとも1つの車両センサーは、カメラ、光検知測距(LiDAR)センサー、モーションセンサー、および赤外線センサーのうちの少なくとも1つを含む、上記項目のいずれかに記載のコンピュータプログラム。
(項目20)
上記AVは、トレーラーに取り付けられたトラクターユニットである、上記項目のいずれかに記載のコンピュータプログラム。
(摘要)
システムは、自律車両(AV)と、AVと動作可能に結合されたオペレーションサーバとを含む。オペレーションサーバは、AVによって移動される道路に関連付けられた環境データにアクセスする。環境データは、AVが道路に沿って移動している間の時間枠に関連付けられている。オペレーションサーバは、環境データを、AVの前方に予想される道路状態を含む地図データと比較する。オペレーションサーバは、環境データが地図データに含まれていない予期せぬ道路状態を含んでいるかどうかを決定する。環境データが地図データに含まれていない予期せぬ道路状態を含んでいるという決定に応答して、オペレーションサーバは、予期せぬ道路状態の位置座標を決定し、予期せぬ道路状態を回避するように操縦するために、AVにコマンドを通信する。
本開示のより完全な理解のために、添付の図面および詳細な説明に関連して取られた以下の簡単な説明が参照され、ここで、同様の参照番号は同様の部品を表す。
図1は、1つ以上の自律車両(AV)とオペレーションサーバとの間でコマンドを通信するように構成されたシステムの実施形態を示す。
図2は、AVから、コマンドをオペレーションサーバおよび/または後続AVに通信するように構成されたシステムの実施形態を示す。
図3は、1つ以上のAVとオペレーションサーバとの間でコマンドを通信するための方法の例示的なフローチャートを示す。
図4は、AVから、コマンドをオペレーションサーバおよび/または後続AVに通信するための方法の例示的なフローチャートを示す。
図5は、AV間でコマンドを通信するように構成されたシステムの第1の例示的な実施形態を示す。
図6は、AV間でコマンドを通信するように構成されたシステムの第2の例示的な実施形態を示す。
図7は、AV間でコマンドを通信するための方法の例示的なフローチャートを示す。
図8は、自律運転動作を実施するように構成された例示的な自律車両のブロック図を示す。
図9は、図8のAVによって使用される自律運転動作を提供するための例示的なシステムを示す。
図10は、図8のAVに含まれる車載制御コンピュータのブロック図を示す。
上記のように、以前の技術は、予期せぬ道路状態を回避するためのコマンドを決定してAVに通信するための効率的で信頼性が高く、安全な解決策を提供できない。本開示は、1)予期せぬ道路状態を回避するために、移動中のAVにコマンドを通信するための、2)AVとのデータ通信を改善するための、3)AVのナビゲーションを改善するための、4)AVの追跡を改善するための、5)AVの自律動作の監視を改善するための、および6)AV、他の車両、および歩行者に安全な運転体験を提供するための、様々なシステム、方法およびデバイスを提供する。
一実施形態において、オペレーションサーバと1つ以上のAVとの間でコマンドを通信するためのシステム100および方法300は、それぞれ、図1および3に関連して本明細書に記載される。一実施形態において、AVによってオペレーションサーバおよび/または後続AVからコマンドを受信するためのシステム200および方法400は、それぞれ、図2および4に関連して本明細書に記載される。一実施形態において、AV間でコマンドを通信するための、システム500および600ならびに方法700は、それぞれ、図5~7に関連して本明細書に記載される。一実施形態において、例示的なAV、ならびにAVによる自律運転動作を実施するためのその様々なシステムおよびデバイスが、図8~10に関連して本明細書に記載される。
オペレーションサーバと1つ以上のAVとの間においてコマンドを通信するための例示的システム
図1は、オペレーションサーバ120と1つ以上のAV802との間においてコマンド130を通信するためのシステム100の実施形態を示す。図1はさらに、1つ以上のAV802、例えば、AV802aおよび後続AV802bによって移動される道路102の簡略化された概略図を示し、ここで、1つ以上のAV802は、様々な例示的な予期せぬ道路状態156に向かっている。一実施形態において、システム100は、オペレーションサーバ120、および一つ以上のAVs802を含む(AV802の詳細については、図8を参照)。システム100は、アプリケーションサーバ160、遠隔操作者162、およびネットワーク110を含む。ネットワーク110は、システム100の構成要素間の通信パスを提供する。システム100は、示されているように、または他の任意の適切な構成において構成され得る。
概して、(オペレーションサーバ120における)システム100は、気象データ152と道路102の状態に関する情報を提供する交通データ154とを含む環境データ150にアクセスする。環境データ150は、とりわけ、交通安全規制データ、障害物118に関連するデータ(例えば、道路閉鎖104、物体106、建設区域108などの位置座標、形状、サイズ、および種類)をさらに含み得る。例えば、オペレーションサーバ120は、ライブ天気予報、ライブ交通情報などの1つ以上の外部ソースから環境データ150を受信する。オペレーションサーバ120は、(プロセッサ122を介して)環境データ150を、AV802aの前方にある予想される道路状態を含む地図データ142と比較する。予想される道路状態は、道路102上のAV802aの前方の予測される気象条件および交通渋滞を含み得る。予想される道路状態は、とりわけ、道路102に関連付けられた予想される交通安全データ、予想される道路標高データ(例えば、さまざまな道路セグメントの標高情報)、AV802aの前方における予想される物体に関連する情報(例えば、車線区分線、道路標識、信号機、横断歩道などの位置座標、形状、サイズおよび種類)、ならびに道路102上の1つ以上のAV802の過去の運転情報をさらに含み得る。環境データ150と地図データ142との比較に基づいて、オペレーションサーバ120は、環境データ150が、地図データ142に含まれていない予期せぬ道路状態156を含むかどうかを決定する。例えば、予期せぬ道路状態156は、予期せぬ気象条件、予期せぬ交通渋滞、予期せぬ道路閉鎖104、予期せぬ物体106、予期せぬ建設区域108、または地図データ142に含まれていない他の予期せぬ道路状態156を含み得る。環境データ150が予期せぬ道路状態156を含むとの決定に応じて、オペレーションサーバ120は、予期せぬ道路状態156の位置座標158を決定し、コマンド130をAV802aに通信することにより予期せぬ道路状態156を回避するように操縦する。以下の対応する説明は、システム100の特定の構成要素の簡単な説明を含む。
システム構成要素
ネットワーク110は、インターネット、イントラネット、プライベートネットワーク、パブリックネットワーク、ピアツーピアネットワーク、公衆交換電話網、セルラーネットワーク、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、および衛星ネットワークの全部または一部を含むがこれらに限定されない、任意の適切な種類の無線および/または有線ネットワークであり得る。ネットワーク110は、当業者によって理解され得るように、任意の適切な種類の通信プロトコルをサポートするように構成され得る。
オペレーションサーバ120は、概して、AV802の動作を監督するように構成されている。オペレーションサーバ120は、プロセッサ122、ネットワークインターフェース124、ユーザーインターフェース126、およびメモリ128を備える。オペレーションサーバ120の構成要素は、お互いに動作可能に結合される。
プロセッサ122は、本明細書にて説明されるような様々な機能を遂行する1つ以上の処理ユニットを含み得る。メモリ128は、その機能を遂行するためにプロセッサ122によって使用されるデータおよび/または命令を格納する。例えば、メモリ128は、プロセッサ122によって実行されるとオペレーションサーバ120に本明細書にて説明される1つ以上の機能を遂行させるソフトウェア命令138を格納する。
オペレーションサーバ120は、AV802およびその構成要素と信号通信している。オペレーションサーバ120は、センサーデータ148を分析することにより、道路102上およびその周辺の物体を検出するようにさらに構成されている。例えば、オペレーションサーバ120は、物体検出機械学習モジュール140を実装することにより、道路102上およびその周辺の物体を検出し得る。物体検出機械学習モジュール140は、画像、ビデオ、赤外線画像、点群、レーダーデータなどから物体を検出するためのニューラルネットワークおよび/または機械学習アルゴリズムを用いて実装され得る。物体検出機械学習モジュール140は、以下でさらに詳細に説明される。
一実施形態において、AV802は、ある場所から別の場所に貨物または積み荷を輸送するためにトレーラーに取り付けられたセミトラックトラクターユニットを含み得る(図8を参照)。AV802は、図8~10に詳細に説明されている複数の構成要素によってナビゲートされる。AV802の動作は、図8にさらに詳細に記載される。以下の対応する説明は、AV802の特定の構成要素の簡単な説明を含む。簡単に言えば、AV802は、AV802の自律運転を容易にするように動作される車載制御コンピュータ850を含む。本開示において、車載制御コンピュータ850は、互換的に制御装置850と呼ばれ得る。
制御装置850は、概して、AV802およびその構成要素の動作を制御するように構成されている。制御装置850はさらに、安全に移動でき、物体/障害物がない、AV802の前方の経路を決定し、その経路を移動するようにAV802をナビゲートするように構成されている。このプロセスは、図8~10においてより詳細に説明される。制御装置850は、概して、AV802の他の構成要素と信号通信する1つ以上のコンピューティングデバイスを含む(図8を参照)。制御装置850は、AV802上に位置する1つ以上のセンサー846からセンサーデータ148を受信することにより、移動するための安全な経路を決定する。センサーデータ148は、センサー846によってキャプチャされたデータを含む。センサー846は、とりわけ、陸標、車線区分線、車線境界、道路境界、車両、歩行者、道路/交通標識などの、該センサーの検出ゾーンまたは視野内の任意の物体をキャプチャするように構成されている。センサー846は、カメラ、LiDARセンサー、モーションセンサー、赤外線センサーなどを含み得る。一実施形態において、センサー846は、AV802の周りに位置付けされることによりAV802を取り巻く環境をキャプチャし得る。
制御装置850は、オペレーションサーバ120と信号通信している。制御装置850は、例えば、ネットワーク110を介して、センサーデータ148をオペレーションサーバ120に通信させるように構成されている。制御装置850は、定期的に(例えば、毎分、数分ごと、または他の任意の適切な間隔で)、継続的に、および/またはオペレーションサーバ120からセンサーデータ148を送信する要求を受信すると同時に、センサーデータ148をオペレーションサーバ120に通信させ得る。センサーデータ148は、画像フィード、ビデオフィード、LiDARデータフィード、およびセンサー846の視野からキャプチャされた他のデータなどの、AV802を取り巻く環境を説明するデータを含み得る。センサーデータ148は、AV802の位置座標をさらに含み得る。制御装置850のさらなる説明については、図8の対応する説明を参照されたい。
通信サブシステム210は、制御装置850の構成要素であり、概して、AV802aとオペレーションサーバ120および/または後続AV802bとの間の通信を確立するように構成されている。通信サブシステム210はさらに、オペレーションサーバ120および/または後続AV802bからコマンド130または他の適切な通信を受信するように構成されている。コマンド130を受信すると、通信サブシステム210(または制御装置850)は、コマンド130を実施し得るか、または実施前にコマンド130を更新し得る。通信サブシステム210のさらなる説明については、図2の対応する説明を参照されたい。以下の対応する説明は、コマンド130の様々な例を説明している。
例示的コマンド
コマンド130は、概して、1つ以上のAV802をナビゲートおよび/または構成するために用いられ得る1つ以上の命令を含む。例えば、コマンド130は、1)AV802による、自律運転から手動運転への移行;2)AV802による、障害物118(例えば、道路閉鎖104、物体106、建設区域108など)の回避;3)AV802による、1つ以上の一定の車線(例えば、障害物118によって占められる車線など)の回避;4)AV802による、予期せぬ道路状態156または障害物118が検出された1つ以上の一定のルーティングプラン144の回避;5)AV802による、一定のルート変更(例えば、出口112を出る);および、6)AV802による、運転指示146とは異なる様式での動作(例えば、運転指示146に示されている速度よりも遅いまたは速い速度での運転)を行うための命令を含み得るが、これらに限定されない。
場合によっては、コマンド130は、AV802をナビゲートすること以外の態様に関連する設定コマンド130であり得る。例えば、設定コマンド130は、センサー846の方向の変更(例えば、センサ846の方向の傾け)、センサー846のデータサンプリング周波数の変更などを含む、センサーパラメータの変更に関連し得る。
コマンド130は、オペレーションサーバ対AVコマンド132、AV対オペレーションサーバコマンド134、およびAV対AVコマンド136を含み得る。オペレーションサーバ対AVコマンド132は、オペレーションサーバ120が1つ以上のAV802と通信するコマンド130である。AV対オペレーションサーバコマンド134は、AV802がオペレーションサーバ120と通信するコマンド130である。AV対AVコマンド136は、第1のAV802(例えば、AV802a)がオペレーションサーバ120を介して直接的または間接的に第2のAV802(例えば、AV802b)と通信するコマンド130である。
一実施形態において、遠隔操作者162は、オペレーションサーバ120からコマンド130を決定および発行し得る。遠隔操作者162は、オペレーションサーバ120に関連付けられ、かつ、オペレーションサーバ120にアクセスできる個人であり得る。例えば、遠隔操作者162は、メモリ128上で利用可能なデータなど、AV802に関する情報にアクセスおよび表示することができる管理者であり得る。遠隔操作者162は、直接または間接的にオペレーションサーバ120にアクセスし得る。例えば、遠隔操作者162は、通信パス164を介してオペレーションサーバ120に直接アクセスし得る。オペレーションサーバ120をレビューし、オペレーションサーバ120のユーザーインターフェース126上の環境データ150、地図データ142、ルーティングプラン144、およびセンサーデータ148をレビューすることによって、遠隔操作者162は、1つ以上のAV802に対してコマンド130を発行し得る。別の例では、遠隔操作者162は、ネットワーク110を介してプレゼンテーション層として機能しているアプリケーションサーバ160から、オペレーションサーバ120に間接的にアクセスし得る。オペレーションサーバ120は、コマンド130を1つ以上のAV802に転送または通信し得る。
別の実施形態では、コマンド130を決定および発行するプロセスは、コンピュータ化され、オペレーションサーバ120および/または制御装置850によって遂行され得る。
コマンド130は、異なるレベルの粒度を有し得る。例えば、コマンド130の異なる粒度レベルは、以下に説明するように、コマンド130が広範コマンド130aであるか特殊コマンド130bであるかを示し得る。
本明細書に記載の広範コマンド130aおよび特殊コマンド130bを含むコマンド130は例示的なものであり、本明細書に添付された特許請求の範囲に別段に提示または記載されている本発明の範囲を限定することを意味するものではない。
幅広いコマンドの例
広範コマンド130aは、概して1つ以上のAV802に適用される特定の予期せぬ道路状態156に関連し得る。広範コマンド130aは、例えば、特定の予期せぬ道路状態156に向かっている特定の道路102上の1つ以上のAV802に向けられ得る。図1に示されるように、AV802は、道路102に沿って移動しており、ここで、AV802aはAV802bの先を進んでおり、これらAV802は、異なる予期せぬ道路状態156に遭遇し得る。以下に説明するように、オペレーションサーバ120は、予期せぬ道路状態156毎に特殊コマンド130(すなわち、オペレーションサーバ対AVコマンド132)を発行し得る。
例えば、オペレーションサーバ120は、広範コマンド130aを1つ以上のAV802に通信し得、道路102上に道路閉鎖104があること、および目的地に到達するための別のルーティングプラン144(例えば、最も安全な運転体験を提供するルーティングプラン144)を見つける旨を知らせる。別の例では、オペレーションサーバ120は、広範コマンド130aを1つ以上のAV802に通信し得、先頭AV802aの前方の道路102上において(例えば、気象データ152に基づいて)悪天候が検出されたこと、および次の出口(例えば、出口112)を見つけ車両を道路脇に寄せる旨を知らせる。別の例では、オペレーションサーバ120は、広範コマンド130aを1つ以上のAV802に通信し得、(地図データ142では検出されていない)予期せぬ物体106が道路102上にて検出されたこと、および予期せぬ物体106を迂回してナビゲートする旨を知らせる。別の例では、オペレーションサーバ120は、広範コマンド130aを1つ以上のAV802に通信し得、(地図データ142では検出されていない)予期せぬ建設区域108が道路102上にて検出されたこと、および車両を寄せられる道路102上の脇を見つける旨を知らせる。
特殊コマンド例
特殊コマンド130bは、特定のAV802に適用される特殊な予期せぬ道路状態156に関連し得る。特殊コマンド130bは、特殊な予期せぬ道路状態156に遭遇している特定のAV802に向けられ得る。例えば、オペレーションサーバ120は、特殊コマンド130bをAV802aに通信し得、道路102上に道路閉鎖104があること、および次の出口112を出て、信号機を通過後に最初の右折を行い、50フィート運転し、道路脇に車両を寄せ、さらなる指示を待つ旨を知らせる。別の例では、AV802aが道路102の脇に寄ったが、AV802aが側車線上に2フィート進入して停止していると仮定する。オペレーションサーバ120は、特殊コマンド130bをAV802aに通信し得、ハンドルを2秒間右に回し、時速2マイル(mph)の速度で移動し、停止する旨を知らせる。別の例では、特殊コマンド130bは、AV802aの自律運転を引き継ぐことなく、特定のAV802aにターンバイターン命令を提供し得る。
制御装置850および/またはオペレーションサーバ120は、広範コマンド130aおよび特殊コマンド130bを訓練データセットとして使用し、各予期せぬ道路状態156とそれに対応する発行されたコマンド130との間の関連および関係を学習し得る。故に、制御装置850および/またはオペレーションサーバ120は、人間の介入(すなわち、遠隔操作者162の介入)を最小限(または皆無)に留めつつ、コマンド130を発行するように訓練され得る。
オペレーションサーバ
オペレーションサーバ120の実施形態の態様は上に説明されており、追加の態様が以下に提供される。オペレーションサーバ120は、少なくとも1つのプロセッサ122、少なくとも1つのネットワークインターフェース124、少なくとも1つのユーザーインターフェース126、および少なくとも1つのメモリ128を含む。オペレーションサーバ120は、示されるように、または他の任意の適切な構成で構成され得る。
一実施形態において、オペレーションサーバ120は、AV802の動作を監督するのに役立ち得るコンピューティングデバイスのクラスタによって実装され得る。例えば、オペレーションサーバ120は、分散コンピューティングシステムおよび/またはクラウドコンピューティングシステムを使用する複数のコンピューティングデバイスによって実装され得る。別の例では、オペレーションサーバ120は、1つ以上のデータセンター内の複数のコンピューティングデバイスによって実装され得る。従って、一実施形態において、オペレーションサーバ120は、制御装置850よりも多くの処理能力を包含し得る。オペレーションサーバ120は、1つ以上のAV802およびそれらの構成要素(例えば、制御装置850)と信号通信している。一実施形態において、オペレーションサーバ120は、AV802に対する特定のルーティングプラン144を決定するように構成されている。例えば、オペレーションサーバ120は、AV802の目的地に到達するための運転時間の短縮およびより安全な運転体験につながる、そのAV802のための特定のルーティングプランを決定し得る。
一実施形態において、環境データ150と地図データ142を比較することによって予期せぬ道路状態156が検出された場合にて、オペレーションサーバ120は、環境データ150と地図データ142とを評価し、AV802をナビゲートするコマンド130を決定し得る。例えば、特定の予期せぬ道路状態156の検出に応答して、オペレーションサーバ120は、コマンド130を決定し、AV802に通信して、予期せぬ道路状態156を回避し得る。一実施形態において、遠隔操作者162は、以下に説明するように、オペレーションサーバ120からの提案されたコマンド130(またはナビゲーションプラン)を確認、修正、および/または上書きし得る。
一実施形態において、AV802に対するナビゲートソリューションまたはルーティングプラン144は、1つのAV802と別のAV802などのV2V通信から決定され得る。一実施形態において、AV802に対するナビゲートソリューションまたはルーティングプラン144は、オペレーションサーバ120とAV802の間などの、車両対クラウド(V2C)通信から決定され得る。
一実施形態において、AV802に対するコマンド130、ナビゲートソリューション、および/またはルーティングプラン144は、車両対クラウド対人(V2C2H)、車両対人(V2H)、車両対クラウド対車両(V2C2V)、および/または車両対人間対車両(V2H2V)の通信によって決定され得、ここでは、人間の介入が、AV802に対するナビゲーションソリューションを決定する際に組み込まれる。例えば、遠隔操作者162は、ユーザーインターフェース126からの環境データ150および地図データ142をレビューし、オペレーションサーバ120および/または制御装置850によって決定されたAV802に対するコマンド130を確認、修正、および/または上書きし得る。遠隔操作者162は、制御装置850および/またはオペレーションサーバ120では提供しない、人間の視点をAV802のナビゲーションプランの決定に加え得る。場合によっては、安全性、燃料節約などの観点から、機械の視点よりも人間の視点の方が望ましい場合がある。
一実施形態において、AV802に対するコマンド130は、他の種類の通信の中でも、V2V、V2C、V2C2H、V2H、V2C2V、V2H2V通信の任意の組み合わせによって決定され得る。
図1に示されるように、遠隔操作者162は、通信パス166を介してアプリケーションサーバ160にアクセスすることができ、同様に、通信パス164を介してオペレーションサーバ120にアクセスすることができる。一実施形態において、オペレーションサーバ120は、センサーデータ148、コマンド130、環境データ150、および/または他の任意のデータ/命令を、例えば、ネットワーク110を介して無線で、および/または有線通信を介して、アプリケーションサーバ160へ送信し得、遠隔操作者162によってレビューされる。従って、一実施形態において、遠隔操作者162は、アプリケーションサーバ160を介してオペレーションサーバ120にリモートアクセスすることができる。
プロセッサ122は、メモリ128に動作可能に結合された1つ以上のプロセッサを備える。プロセッサ122は、ステートマシン、1つ以上の中央処理装置(CPU)チップ、論理ユニット、コア(例えば、マルチコアプロセッサ)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途集積回路(ASIC)、またはデジタル信号プロセッサ(DSP)を含むがそれらに限定されない、任意の電子回路である。プロセッサ122は、プログラマブルロジックデバイス、マイクロコントローラ、マイクロプロセッサ、または前述の任意の適切な組み合わせであり得る。プロセッサ122は、ネットワークインターフェース124、ユーザーインターフェース126、およびメモリ128に通信可能に結合され、信号通信している。1つ以上のプロセッサは、データを処理するように構成されており、ハードウェアまたはソフトウェアにおいて実施され得る。例えば、プロセッサ122は、8ビット、16ビット、32ビット、64ビット、または他の任意の適切なアーキテクチャのものであり得る。プロセッサ122は、算術演算および論理演算を遂行するための算術論理ユニット(ALU)、ALUにオペランドを供給し、ALU動作の結果を格納するプロセッサレジスタ、およびメモリから命令をフェッチし、ALU、レジスタ、および他の構成要素の調整された動作を指示することによってそれらを実行する制御ユニットを含み得る。1つ以上のプロセッサは、さまざまな命令を実施するように構成されている。例えば、1つ以上のプロセッサは、図1~7に関して説明されたものの幾つかまたは全てなど、本明細書に開示された機能を実施するためのソフトウェア命令138を実行するように構成されている。いくつかの実施形態では、本明細書にて説明される機能は、論理ユニット、FPGA、ASIC、DSP、または他の任意の適切なハードウェアまたは電子回路を用いて実装される。
ネットワークインターフェース124は、有線および/または無線通信を可能にするように構成されている。ネットワークインターフェース124は、オペレーションサーバ120と他のネットワークデバイス、システム、またはドメインとの間でデータを通信するように構成されている。例えば、ネットワークインターフェース124は、WIFIインターフェース、ローカルエリアネットワーク(LAN)インターフェース、ワイドエリアネットワーク(WAN)インターフェース、モデム、スイッチ、またはルーターを備え得る。プロセッサ122は、ネットワークインターフェース124を用いてデータを送受信するように構成されている。ネットワークインターフェース124は、任意の適切な種類の通信プロトコルを用いるように構成され得る。
ユーザーインターフェース126は、遠隔操作者162などのユーザと相互作用するように構成された1つ以上のユーザーインターフェースを含み得る。遠隔操作者162は、通信パス164を介してオペレーションサーバ120にアクセスし得る。ユーザーインターフェース126は、モニター、キーボード、マウス、トラックパッド、タッチパッドなどのようなオペレーションサーバ120の周辺機器を含み得る。遠隔操作者162は、ユーザーインターフェース126を用いてメモリ128にアクセスし、センサーデータ148、環境データ150、予期せぬ道路状態156、およびその他のメモリ128に格納されたデータをレビューし得る。
メモリ128は、プロセッサ122によって実行されるときに、本明細書に記載される機能を実施するように動作可能な他のデータ、命令、ロジック、規則、またはコードとともに、図1~7に記載される情報のいずれかを格納する。例えば、メモリ128は、コマンド130、ソフトウェア命令138、物体検出機械学習モジュール140、地図データ142、ルーティングプラン144、運転命令146、センサーデータ148、環境データ150、予期せぬ道路状態156、予期せぬ道路状態の位置座標158、障害物118、および/またはその他のデータ/指示を格納し得る。ソフトウェア命令138は、コードを含み、該コードは、プロセッサ122によって実行されると、オペレーションサーバ120に、図1~7に記載されたものの幾つかまたは全てなど本明細書に記載された機能を遂行させる。メモリ128は、1つ以上のディスク、テープドライブ、またはソリッドステートドライブを備えており、オーバーフローデータ記憶装置として、プログラムが実行のために選択されたときにそのようなプログラムを記憶し、プログラムの実行中に読み取られる命令およびデータを記憶するために使用され得る。メモリ128は、揮発性または非揮発性であり得、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、三元連想メモリ(TCAM)、ダイナミックランダムアクセスメモリ(DRAM)、およびスタティックランダムアクセスメモリ(SRAM)を含み得る。メモリ128は、ローカルデータベース、クラウドデータベース、ネットワーク接続ストレージ(NAS)などのうちの1つ以上を含み得る。
物体検出機械学習モジュール140は、ソフトウェア命令138を実行するプロセッサ122によって実装され得、概して、センサーデータ148から、道路閉鎖104、予期せぬ物体106、および建設区域108を含む物体または障害物118を検出するように構成されている。物体検出機械学習モジュール140は、画像、ビデオ、赤外線画像、点群、レーダーデータなどの任意のデータタイプから物体を検出するためのニューラルネットワークおよび/または機械学習アルゴリズムを用いて実装され得る。
一実施形態において、物体検出機械学習モジュール140は、サポートベクターマシン(SVM)、ナイーブベイズ、ロジスティック回帰、k個の近傍点、決定ツリーなどの機械学習アルゴリズムを用いて実装され得る。一実施形態において、物体検出機械学習モジュール140は、複数のニューラルネットワーク層、畳み込みニューラルネットワーク層、および/またはその他を利用し得、ここで、これらの層の重みおよびバイアスは、物体検出機械学習モジュール140のトレーニングプロセスで最適化される。物体検出機械学習モジュール140は、各サンプル内の1つ以上の物体でラベル付けされたデータタイプのサンプルを含むトレーニングデータセットによってトレーニングされ得る。例えば、トレーニングデータセットは、各サンプル画像内の物体でラベル付けされた物体(例えば、車両、車線区分線、歩行者、道路標識、障害物118など)のサンプル画像を含み得る。同様に、トレーニングデータセットは、ビデオ、赤外線画像、点群、レーダーデータなどの、各サンプルデータの物体でラベル付けされた他のデータタイプのサンプルを含み得る。物体検出機械学習モジュール140は、訓練データセットおよびセンサーデータ148によって訓練、試験、および改良され得る。物体検出機械学習モジュール140は、(物体でラベル付けされていない)センサーデータ148を使用することにより、物体の検出におけるそれらの予測精度を高める。例えば、監視されたおよび/または監視されていない機械学習アルゴリズムが用いられることにより、センサーデータ148内の物体を検出する際の物体検出機械学習モジュール140の予測を検証し得る。
地図データ142は、道路102を含む都市または地域の仮想地図を含み得る。いくつかの例では、地図データ142は、地図958および地図データベース936を含み得る(地図958および地図データベース936の説明については、図9を参照されたい)。地図データ142は、道路102、小道、高速道路などの運転可能領域、および地形などの運転不可能な領域(占有グリッドモジュール960によって決定される、占有グリッドモジュール960の説明については図9を参照)を含み得る。地図データ142は、道路標識、車線、車線区分線、車線境界、道路境界、信号機、障害物118などの位置座標を指定し得る。
ルーティングプラン144は、開始位置(例えば、第1のAVラウンチパッド/ランディングパッド)から目的地(例えば、第2のAVラウンチパッド/ランディングパッド)まで移動するためのプランである。例えば、ルーティングプラン144は、出発地から目的地までの特定の順序にて1つ以上の通り、道路、および高速道路の組み合わせを指定し得る。ルーティングプラン144は、第1段階(例えば、開始位置からの出発)、複数の中間段階(例えば、1つ以上の特定の通り/道路/高速道路の特定の車線に沿った移動)、および最終段階(例:目的地への進入)を含む、段階を指定し得る。ルーティングプラン144は、そのルーティングプラン144内の道路/交通標識などの、開始位置から目的地までのルートに関する他の情報を含み得る。
運転指示146は、計画モジュール962によって実施され得る(図9の計画モジュール962の説明を参照されたい)。運転指示146は、ルーティングプラン144の各段階の運転規則に従ってAV802の自律運転を適応させるための指示および規則を含み得る。例えば、運転指示146は、AV802によって移動される道路102の速度範囲内にとどまるための指示、周囲の車両の速度、センサー846の検出ゾーン内の物体など、センサー846によって観察された変化に関してAV802の速度を適応させるための指示、などを含み得る。
環境データ150は、道路102の状態に関する情報を提供する気象データ152および交通データ154を含み得る。気象データ152は、AV802より前方の地帯または地域の気象情報を含み得る。例えば、気象データ152は、天気予報サーバ、ライブ気象報告などからアクセスされ得る。環境データ150は、とりわけ、道路安全規制データや、障害物118に関連するデータ(例えば、道路閉鎖104、物体106、建設区域108などの位置座標、形状、サイズ、および種類)をさらに含み得る。
交通データ154は、地図データ142内の道路/通り/高速道路の交通データを含み得る。オペレーションサーバ120は、1つ以上のマッピング車両によって収集された交通データ154を用い得る。オペレーションサーバ120は、任意のソースからキャプチャされた交通データ154を用い得、該データは、例えば、Waze(登録商標)およびグーグルマップ(登録商標)などの外部ソース、ライブトラフィックレポート、などからキャプチャされたクラウドソースの交通データ154である。
アプリケーションサーバ
アプリケーションサーバ160は、概して、ネットワーク110を介して他のサーバ(例えば、オペレーションサーバ120)、AV802、データベースなどの他のデバイスと通信するように構成された任意のコンピューティングデバイスである。アプリケーションサーバ160は、本明細書で説明される機能を遂行し、例えば、そのユーザーインターフェースを使用する通信パス166を介して、遠隔操作者162と相互作用するように構成されている。アプリケーションサーバ160の例は、デスクトップコンピュータ、ラップトップコンピュータ、サーバなどを含むが、これらに限定されない。一例では、アプリケーションサーバ160は、遠隔操作者162がオペレーションサーバ120にアクセスするプレゼンテーション層として機能し得る。従って、オペレーションサーバ120は、センサーデータ148、コマンド130、環境データ150、および/または他の任意のデータ/命令を、例えば、ネットワーク110を介して、アプリケーションサーバ160に送信し得る。遠隔操作者162は、アプリケーションサーバ160との通信パス166を確立した後、以下に説明するように、受信データをレビューし、オペレーションサーバ120によって決定された提案されたコマンド130を確認、修正、および/または上書きし得る。
オペレーショナルフロー
オペレーションサーバからAVへのコマンド通信
オペレーションサーバ120からAV802にコマンド130を通信するための動作フローは、環境データ150において予期せぬ道路状態156が検出されたときに開始し得る。例えば、オペレーションサーバ120(および/または遠隔操作者162)は、環境データ150をレビューし、環境データ150を、AV802(例えば、AV802a)の前方の予想される道路状態を含む地図データ142と比較することによって、環境データ150が予期せぬ道路状態156を含むことを検出し得る。環境データ150は、AV802(例えば、AV802a)が道路102に沿って移動している時間窓内の気象データ152および交通データ154を含み得る。
環境データ150を地図データ142と比較することに基づいて、オペレーションサーバ120(および/または遠隔操作者162)は、環境データ150が、地図データ142に含まれていない予期せぬ道路状態156を含むかどうかを決定する。予期せぬ道路状態156の例は上記されている。
環境データ150が予期せぬ道路状態156を含むとの決定に応答して、オペレーションサーバ120(および/または遠隔操作者162)は、予期せぬ道路状態156の位置座標158を決定し、コマンド130(すなわち、オペレーションサーバ対AVコマンド132)をAV802aに通信することにより、予期せぬ道路状態156を回避するように操縦し得る。
AV対オペレーションサーバコマンドの通信
一実施形態において、オペレーションサーバ120からのコマンド130を受信することに応答して、制御装置850は(例えば、通信サブシステム210を介して)、コマンド130に従ってAV802aをナビゲートし得る。
代替の実施形態では、制御装置850は、(例えば、通信サブシステム210を介して)コマンド130を更新し得る。例えば、場合によっては、オペレーションサーバ120(および/または遠隔操作者162)は、センサーデータ148にアクセスできない(またはまだ受信していない)可能性があり、環境データ150と地図データ142との比較に基づいてコマンド130を決定し得る。従って、場合によっては、コマンド130は、AV802aにとっての最適なナビゲーションソリューションではない場合がある。そのような場合、制御装置850は、センサーデータ148の分析に基づいてコマンド130を更新し得る。
この目的のために、制御装置850は、センサー846からセンサーデータ148を受信する。センサーデータ148を処理することによって、制御装置850は、道路102上およびその周辺の複数の物体の位置座標を決定し得る。制御装置850は、コマンド130を更新し得、その結果、更新されたコマンド130-1は、コマンド130を遂行している間に道路102上およびその周辺にある複数の物体を回避するための1つ以上の命令を含む。
例えば、道路102が道路閉鎖104によって閉鎖されていると仮定する。また、道路閉鎖104が、AV802aのセンサー846の視野または検出ゾーンの外にあると仮定する。オペレーションサーバ120は、道路102が道路閉鎖104によって閉鎖されていることを示す環境データ150にアクセスし得る。環境データ150から、オペレーションサーバ120(および/または遠隔操作者162)は、道路閉鎖104の位置座標を決定する。
オペレーションサーバ120(および/または遠隔操作者162)は、道路102が前方にて閉鎖されていること、および位置114において道路102の脇に車両を寄せる旨のコマンド130をAV802aに発行し得る。制御装置850は、(例えば、通信サブシステム210を介して)オペレーションサーバ120からコマンド130を受信する。制御装置850はまた、(例えば、通信サブシステム210を介して)センサー846からセンサーデータ148を受信する。センサーデータ148を処理することによって、制御装置850は、(例えば、通信サブシステム210を介して)特定の位置114が障害物によって占められていることを決定し得る。この場合、制御装置850は、(例えば、通信サブシステム210を介して)コマンド130を更新することにより、特定の位置114上の障害物を回避し得る。例えば、センサーデータ148を処理することによって、制御装置850は、位置座標116には障害物がないと決定し、そしてコマンド130を更新することにより、コマンド130によって示される位置114ではなく、位置116にAV802aを寄せ得る。
一実施形態において、制御装置850は、更新されたコマンド130-1を遂行し得る。例えば、制御装置850は、更新されたコマンド130-1に従ってAV802aをナビゲートし得る。
代替の実施形態では、制御装置850は、センサーデータ148および更新されたコマンド130-1(すなわち、AV対オペレーションサーバコマンド134)をオペレーションサーバ120に通信し、更新されたコマンド130を遂行するための確認を待ち得る。センサーデータ148および更新されたコマンド130-1を受信すると、オペレーションサーバ120(および/または遠隔操作者162)は、受信したデータを分析し、更新されたコマンド130-1を確認、修正、または上書きし得る。次に、オペレーションサーバ130は、オペレーションサーバ120(および/または遠隔操作者162)の決定をAV802aに通信し得る。
AVからオペレーションサーバコマンドへの通信の扇動
場合によっては、制御装置850は、(例えば、通信サブシステム210を介して)AV802aをナビゲートするための提案されたコマンド130(すなわち、AV対オペレーションサーバコマンド134)をオペレーションサーバ120に通信するように扇動し得る。例えば、センサー846が道路102上の障害物118を検出すると仮定する。例えば、障害物118は、道路閉鎖104、物体106、および建設区域108のいずれかであり得る。故に、センサーデータ148は、道路102上の障害物118の存在を表す表示を含み得る。
制御装置850は、センサーデータ148を分析し、道路102上の障害物118の存在を決定する。制御装置850は、センサーデータ148を、道路102上およびその周辺にある予想される物体の位置座標を含む地図データ142と比較する。センサーデータ148と地図データ142とを比較することに基づいて、制御装置850は、障害物118が地図データ142には含まれていないことを決定する。それに応じて、制御装置850は、障害物118を回避するために、AV802aに対する提案されたコマンド130または提案されたナビゲーション命令を決定し得る。例えば、提案されたコマンド130は、車両を道路脇へ寄せること、障害物118に占有されていない別の車線へ迂回すること、経路を再選択することなどを含み得る。
一実施形態において、制御装置850は、提案されたコマンド130を遂行し得る。
代替の実施形態では、制御装置850は、上記のように、オペレーションサーバ120(および/または遠隔操作者162)による確認または修正のために、提案されたコマンド130(すなわち、AV対オペレーションサーバコマンド134(図1を参照されたい))を、オペレーションサーバ120に通信し得る。
制御装置850は、確認または修正がオペレーションサーバ120から受信されるかどうかを決定し得る。確認を受信することに応答して、制御装置850は、提案されたコマンド130を遂行する。修正を受信することに応答して、制御装置850は修正されたコマンド130を遂行する。
一実施形態において、制御装置850は、観測された障害物118の存在を示すセンサーデータ148を通信し、遠隔操作者162(および/またはオペレーションサーバ120)に、障害物118を回避するためのコマンド130を提供するように要求し得る。
従って、上記の様々な実施形態においては、制御装置850は、異なる障害物118および/または予期せぬ道路状態156の検出に応答して、オペレーションサーバ120(および/または遠隔操作者162)と交渉することにより、AV802aをナビゲートするためのより最適なコマンド130を決定し得る。
AVから別のAVへのコマンドの通信
一実施形態において、コマンド130をAV802(例えば、AV802a)から別のAV802(例えば、AV802b)に通信することは、オペレーションサーバ120から扇動され得る。例えば、上記のように、AV802aの前方において予期せぬ道路状態156を検出することに応答して、オペレーションサーバ120(および/または遠隔操作者162)は、コマンド130をAV802aに通信し、予期せぬ道路状態156を回避するように操縦し得る。上記のものと同様に、制御装置850は、コマンド130を遂行または更新し得る。このコマンド130(または更新されたコマンド130-1)は、AV802bなどの1つ以上の後続AV802に伝搬され得る。例えば、オペレーションサーバ120は、コマンド130(または更新されたコマンド130-1)をAV802bに通信し、予期せぬ道路状態156、予期せぬ道路閉鎖104の位置座標158、および予期せぬ道路状態156を回避するため1つ以上のナビゲーション命令をAV802bに通知し得る。
一実施形態において、コマンド130を第1のAV802aから第2のAV802bに通信することは、第1のAV802aから扇動され得る。例えば、予期せぬ道路状態156および/または障害物118の検出に応答して、制御装置850は、上記のものと同様に、(例えば、通信サブシステム210を介して)第1のAV802aをナビゲートするための提案されたコマンド130を決定し得る。制御装置850は、例えば、第2のAV802bが第1のAV802aのV2V通信範囲内にある場合、(例えば、通信サブシステム210を介して)コマンド130を第2のAV802bに直接通信し得る。このプロセスは、図2でより詳細に説明されており、AV802間においてコマンド130を通信する様々なシナリオが、図5~7で説明されている。
例示的通信サブシステムとその動作
図2は、AV802とオペレーションサーバ120との間の通信を確立するように構成されたシステム200の実施形態を示す。一実施形態において、システム200は、制御装置850の構成要素である通信サブシステム210(図8を参照)、AV802a、およびオペレーションサーバ120を含む。いくつかの実施形態では、システム200は、AV802bおよびネットワーク110をさらに含み得る。ネットワーク110は、システム200の構成要素間の通信を確立する。システム200は、示されるように、または他の任意の適切な構成で構成され得る。システム200の特定の構成要素の実施形態の態様は、上記の様に図1に記載されており、追加の態様が以下に提供される。
一実施形態において、ネットワーク110は、アマゾンウェブサービス(AWS)(登録商標)を含む任意の適切なクラウドコンピューティングサービスおよびネットワークインフラストラクチャを用いて実装され得る。ネットワーク110は、任意の適切なデータ通信プロトコルを使用することにより、メッセージキューイングテレメトリトランスポート(MQTT)(登録商標)を含む、デバイス間においてデータを転送し得る。ネットワーク110は、1)オペレーションサーバ120とAV802の間に安全な接続を提供すること、2)AV802(例えば、AV802a)から受信した、コマンド130、センサーデータ148などのデータを格納すること、3)AV802aとオペレーションサーバ120の間で通信されるデータへのアクセスを提供すること、および4)AV802とオペレーションサーバ120の間でデータを転送すること、を含む1つ以上の機能性を提供し得る。
制御装置850は、コンピューティング装置260と動作可能に結合された通信サブシステム210を含む複数の構成要素を含む。制御装置850の他の構成要素は、図8に記載されている。以下の対応する説明は、通信サブシステム210の構成要素を説明する。
通信サブシステム210は、AV802(例えば、AV802a)とシステム200の他の構成要素との間のデータ通信を容易にするために提供される。いくつかの実施形態では、通信サブシステム210は、通信サブシステム210内における構成要素間の通信を確立させるためのコントローラエリアネットワーク(CAN)コントローラを含み得る。通信サブシステム210は、通信サブシステム210の動作をサポートする様々な構成要素を含み得る。通信サブシステム210は、少なくとも1つのメモリ242と信号通信する少なくとも1つのプロセッサ212を含む。メモリ242は、ソフトウェア命令244を格納し、該ソフトウェア命令は、プロセッサ212によって実行されると、プロセッサ212に本明細書で説明される1つ以上の機能を遂行させる。例えば、ソフトウェア命令244が実行されると、プロセッサ212は、オペレーションサーバ120および/または後続AV802bからコマンド130を受信し、コマンド130を実行する。別の例では、ソフトウェア命令244が実行されると、オペレーションサーバ120および/または後続AV802bからのコマンド130の受信に応じて、プロセッサ212は、コマンド130を更新し、更新されたコマンド130をオペレーションサーバ120および/または後続AV802bに通信し、そして、確認(または修正)の受信に応じて、コマンド130を実施する。通信サブシステム210は、少なくとも1つのセンサーユニット224、無線周波数(RF)ゲートウェイ228、ロングタームエボリューション(LTE)モデム232、およびV2Vモデム234をさらに含み得る。
プロセッサ212は、コンピューティングユニット214および車両制御ユニット222などの1つ以上のプロセッサを含む。プロセッサ212は、センサーユニット224、RFゲートウェイ228、LTEモデム230、V2Vモデム234、およびメモリ242に動作可能に結合されている。プロセッサ212は、ステートマシン、1つ以上の中央処理装置(CPU)チップ、論理ユニット、コア(マルチコアプロセッサなど)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途集積回路(ASIC)、またはデジタル信号プロセッサ(DSP)を含むがこれらに限定されない任意の電子回路である。プロセッサ212は、プログラマブルロジックデバイス、マイクロコントローラ、マイクロプロセッサ、または前述の任意の適切な組み合わせであり得る。プロセッサ212は、データを処理するように構成されており、ハードウェアおよび/またはソフトウェアで実装され得る。例えば、プロセッサ212は、8ビット、16ビット、32ビット、64ビット、または他の任意の適切なアーキテクチャのものであり得る。プロセッサ212は、算術演算および論理演算を遂行するための算術論理ユニット(ALU)、ALUにオペランドを供給し、ALU動作の結果を格納するプロセッサレジスタ、およびメモリから命令をフェッチし、ALU、レジスタ、およびその他の構成要素の調整された動作を指示することによってそれらを実行する制御ユニットを含み得る。1つ以上のプロセッサは、さまざまな命令を実施するように構成されている。例えば、1つ以上のプロセッサは、図1~10に関して説明されたものの幾つかまたは全てなど、本明細書に開示された機能を実施するためのソフトウェア命令244を実行するように構成されている。いくつかの実施形態では、本明細書にて説明される機能は、論理ユニット、FPGA、ASIC、DSP、または他の任意の適切なハードウェアまたは電子回路を用いて実施される。
各コンピューティングユニット214は、ソフトウェア命令244を実行するプロセッサ212によって実施され得、概して、自律運転機能をサポートし、かつAV802aとシステム200の他の構成要素との間のデータ通信を容易にするように構成されている。
一実施形態において、コンピューティングユニット214は、互いの冗長バックアップである。プロセッサ212は、1つ、2つ、3つなどの任意の適切な数のコンピューティングユニット214を含み得る。各コンピューティングユニット214は、1)オペレーションサーバ120および/または後続AV802bから、広域コマンド130a、特殊コマンド130b、および設定コマンド130を含むコマンド130を受信すること、2)コマンド130をオペレーションサーバ120および/または後続AV802bに送信すること、3)AV802aの位置座標をオペレーションサーバ120および/または後続AV802bに通信すること、4)制御装置850の構成要素(例えば、ハードウェアおよびソフトウェア構成要素)の健康情報を収集することであって、ここで、制御デバイス850の構成要素の健康情報は、メモリ使用率、プロセッサ使用率、1秒あたりの平均応答時間、1分あたりの平均エラー率などのような、その構成要素のパフォーマンスステータスを示す、こと、および、5)制御装置850の構成要素の健康情報をオペレーションサーバ120および/または後続AV802bに通信することを含む、図1に記載の通信サブシステム210(または制御装置850)の1つ以上の機能を遂行し得る。
各コンピューティングユニット214は、LTEエージェント216、V2Vエージェント218、およびヒューマンマシンインターフェース(HMI)エージェント220を含み得る。
LTEエージェント216は、ソフトウェアおよび/またはハードウェアモジュールにおいて実装され得、概して、ネットワーク110を介してAV802aとオペレーションサーバ120との間の通信を確立するように構成されている。
V2Vエージェント218は、ソフトウェアおよび/またはハードウェアモジュールにおいて実装され得、概して、AV802bからコマンド130を受信し、V2Vモデム234を用いてコマンド130を後続AV802bに伝送するように構成されている。
HMIエージェント220は、ソフトウェアおよび/またはハードウェアモジュールであり得、概して、ビジターモードHMIサービスを提供するために後続AV802bとの通信を確立するように構成されており、その結果、オペレータは、AV802b上のコンピューティングデバイス260からAV802aの制御装置850にアクセスすることが可能となる。
各センサーユニット224は、ソフトウェアおよび/またはハードウェアモジュールに実装され得る。例えば、各センサーユニット224は、1つ以上のマイクロプロセッサに実装され得る。各センサーユニット224は、概して、1)1つ以上のセンサー846からセンサーデータ148を収集すること、2)各センサーデータ148が受信されたときにタイムスタンプを生成すること、3)例えば、障害物検出命令246を用いて、物体を検出するためのセンサーデータ148を処理すること、および、4)処理されたセンサーデータ148をプロセッサ212に送信することを含む、1つ以上の機能を遂行するように構成されている。
一実施形態において、センサーユニット224は、センサーデータ148を処理することにより、センサーデータ148に示される物体を決定および識別し得る。例えば、センサーデータ148に示される物体を決定または識別するために、センサーユニットは、障害物検出命令246を用い得る。センサーユニット224は、障害物検出命令246を用いて、物体がセンサーデータ148(例えば、画像/ビデオフィード、LiDARデータフィード、モーションセンサデータフィード、赤外線データフィードなど)において検出されているかどうかを決定し得る。例えば、障害物検出命令246は、ビデオのフレームに対応する画像のフィードから物体検出方法を実施するためのコードを含み得る(例えば、画像またはビデオからの物体の検出)。同様に、障害物検出命令246は、LiDARデータ、モーションセンサデータ(例えば、物体の動きを検出する)、音(例えば、AV802aの近くの音を検出する)、および赤外線データ(例えば、赤外線画像内の物体を検出する)から物体を検出するためのコードを含み得る。障害物検出命令246は、他のデータタイプも用いて物体を検出するためのコードを含み得る。一実施形態において、センサーユニット224は、互いの冗長バックアップである。通信サブシステム210は、1つ、2つ、3つなどの任意の適切な数のセンサーユニット224を含み得る。
車両制御ユニット222は、ソフトウェアおよび/またはハードウェアモジュールに実装され得、概して、オペレーションサーバ120または別のAV802(例えば、AV802b)のいずれかから受信したコマンド130を実装し、プロセッサ212へコマンド130を実装するプロセスのステータスを送信するように構成されている。
LTEモデム232は、ソフトウェアおよび/またはハードウェアモジュールに実装され得、概して、例えば、ネットワーク110を介して、通信サブシステム210へのインターネット接続を提供するように構成されている。LTEモデム232は、有線および/または無線通信を可能にするように構成されている。LTEモデム232は、第1のネットワークインターフェースと呼ばれ得る。LTEモデム232はさらに、通信サブシステム210と他のデバイス、システム(例えば、AV802b)、サーバ(例えば、オペレーションサーバ120)、またはドメインとの間においてデータを通信するように構成されている。例えば、LTEモデム232は、WIFIインターフェース、ローカルエリアネットワーク(LAN)インターフェース、ワイドエリアネットワーク(WAN)インターフェース、モデム、スイッチ、またはルーターを備え得る。
プロセッサ212は、LTEモデム232を用いて、オペレーションサーバ120などの他のデバイスとデータを送受信するように構成されている。LTEモデム232は、任意の適切な種類の通信プロトコルを使用するように構成され得る。LTEモデム232は、ファイアウォール機能を提供することによって通信サブシステム210にデータセキュリティを提供し得る。例えば、LTEモデム232は、未許可または未知のソースからのデータ通信をブロックまたはフィルタリングし、オペレーションサーバ120および他のAV802からのデータ通信を許可し得る。従って、部外者は、AV802aおよびその構成要素にアクセスできない可能性がある。
V2Vモデム234は、ソフトウェアおよび/またはハードウェアモジュールに実装され得、概して、AV802間の通信チャネルを確立するように構成されている。例えば、AV802aは、V2Vモデム234を用いて、コマンド130(または他の任意のデータ/命令)を後続AV802bに伝送し得る。プロセッサ212は、V2Vモデム234を用いて、例えばAV802bのような他のAV802などの他のデバイスとデータを送受信するように構成されている。V2Vモデム234は、第2のネットワークインターフェースと呼ばれ得る。
RFゲートウェイ228は、ソフトウェアおよび/またはハードウェアモジュールに実装され得、概して、車両制御ユニット222とV2Vモデム234との間の通信をブリッジするように構成されている。例えば、車両制御ユニット222は、(例えば、CANコネクタを用いて)CAN接続をサポートし得、V2Vモデム234は、(例えば、イーサネット(登録商標)ポートを用いて)イーサネット(登録商標)接続をサポートし得る。故に、RFゲートウェイ228は、車両制御ユニット222のCANコネクタとV2Vモデム234のイーサネット(登録商標)ポートとの間でデータを転送するために用いられ得る。
RFゲートウェイ228は、V2Vエージェント230を含み得る。V2Vエージェント230は、ソフトウェアおよび/またはハードウェアモジュールに実装され得、概して、V2Vモデム234を介して、後続AV802bからコマンド130(または他の任意のデータ/命令)を受信するように構成される。
メモリ242は、図1~10に関して説明された情報のいずれかを、プロセッサ212によって実行されたときに本明細書に説明される機能を実装するように動作可能な他のデータ、命令、ロジック、規則、またはコードとともに格納する。例えば、メモリ242は、ソフトウェア命令244、障害物検出命令246、センサーデータ148、コマンド130、および/または他の任意のデータ/命令を格納し得る。ソフトウェア命令244は、コードを含み、該コードは、プロセッサ212によって実行されると、通信サブシステム210に、図1~10に記載されたものの幾つかまたは全てなど、本明細書に記載された機能を遂行させる。メモリ242は、1つ以上のディスク、テープドライブ、またはソリッドステートドライブを含んでおり、オーバーフローデータ記憶装置として、プログラムが実行のために選択されたときにそのようなプログラムを記憶し、プログラム実行中に読み取られる命令およびデータを記憶するために使用され得る。メモリ242は、揮発性または非揮発性であり得、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、三元連想メモリ(TCAM)、ダイナミックランダムアクセスメモリ(DRAM)、およびスタティックランダムアクセスメモリ(SRAM)を含み得る。メモリ242は、ローカルデータベース、クラウドデータベース、ネットワーク接続ストレージ(NAS)などのうちの1つ以上を含み得る。
コンピューティングデバイス260は、概して、データを処理しユーザと対話するように構成された任意のデバイスである。コンピューティングデバイス260の例は、パーソナルコンピュータ、デスクトップコンピュータ、ワークステーション、サーバ、ラップトップ、タブレットコンピュータなどを含むが、これらに限定されない。コンピューティングデバイス260は、センサーデータ148、コマンド130、および/または他の任意のデータ/命令を監視するための監視インターフェースをユーザに提供するように構成されたソフトウェアアプリケーションを実行するように構成される。一実施形態において、コンピューティングデバイス260は、AV802の制御がコンピューティングデバイス260を介したAV802の不正アクセスおよび制御を軽減することを可能にしないように構成され得る。
通信サブシステムの構成要素間の通信
いくつかの実施形態では、プロセッサ212およびその構成要素は、有線および/または無線通信を用いて、通信サブシステム210の他の構成要素に接続するように構成され得る。例えば、コンピューティングユニット214は、有線および/または無線通信を用いて、通信サブシステム210の他の構成要素との通信を確立するように構成され得る。
各コンピューティングユニット210は、ネットワーク110を介して、オペレーションサーバ120および/または後続AV802aとの別個の通信チャネルを確立する。通信サブシステム210は、定期的に(例えば、0.02秒ごと、0.5秒ごと、または他の任意の適切な持続時間に)コンピューティングユニット214とオペレーションサーバ120との間のメッセージまたは承認を通信することにより、通信の喪失を検出し得る。
各コンピューティングユニット214は、LTEモデム232を介してネットワーク110に接続する。各コンピューティングユニット214は、イーサネット(登録商標)スイッチを用いてLTEモデム232に接続し得る。各コンピューティングユニット214は、CANコネクタを用いて車両制御ユニット222に接続され得る。各コンピューティングユニット214は、イーサネット(登録商標)接続を用いてV2Vモデム234に接続され得る。
AV802aにおいて、各コンピューティングユニット214およびRFゲートウェイ228は、AV802b上のコンピューティングデバイス260との別個の通信チャネルを確立し得る。通信サブシステム210は、定期的に(例えば、0.02秒ごと、0.5秒ごと、または他の任意の適切な持続時間に)RFゲートウェイ228とAV802b上のコンピューティングデバイス260との間のメッセージを通信することにより、通信の喪失を検出し得る。
AVとオペレーションサーバ間の通信
「オペレーションサーバおよび後続AVに接続された」状態への移行
AV802aのエンジン842aに点火または電源を入れると(図8を参照)、通信サブシステム210の構成要素が初期化される。コンピューティングユニット214および車両制御ユニット222を含むプロセッサ212の構成要素は、オペレーションサーバ120および/または後続AV802bへの通信チャネルを確立する。このようにして、通信サブシステム210は、「オペレーションサーバおよび後続AVに接続された」状態になる。この状態で、オペレーションサーバ120(または遠隔操作者162(図1を参照))は、図1において上記したものと同様に、AV802aの動作を監視し、かつコマンド130を発行できるようになる。
「後続AVに接続された」状態への移行
通信サブシステム210は、オペレーションサーバ120との通信チャネル270が失われると、「後続AVに接続された」状態に移行する。オペレーションサーバ120との通信チャネル270の喪失は、上記のように、後続AV802bでのRFゲートウェイ228とコンピューティングデバイス260との間の定期的な承認メッセージ(または定期的な承認メッセージの欠如)に基づいて検出される。
このように、AV802aが追跡されることが可能であり、コマンド130を送信(および、そこからのコマンド130の受信)することが可能であり、AV802aとオペレーションサーバ120との間の通信が失われた場合でも、その自律動作は監視され得る。例えば、定期的な承認メッセージが、対応する定期的な間隔でオペレーションサーバ120から受信されない場合、通信サブシステム210は、オペレーションサーバ120との通信チャネル270が失われたと決定する。それに応答して、通信サブシステム210は、「後続AVに接続された」状態に移行し得、ここで、AV802aは、第2の通信チャネル280を介して後続AV802bに接続される。
「オペレーションサーバに接続された」状態への移行
通信サブシステム210は、後続AV802bとの通信チャネル280が失われると、「オペレーションサーバに接続された」状態に移行する。後続AV802bとの通信チャネル280の喪失は、コンピューティングユニット214とオペレーションサーバ120との間の定期的な承認メッセージ(または定期的な承認メッセージの欠如)に基づいて検出される。この状態において、AV802aは、AV802aが例えばLTEモデム232を用いてネットワーク110に接続できる限り、オペレーションサーバ120との接続を維持することができる。
このように、AV802aが追跡されることが可能であり、コマンド130を送信(および、そこからのコマンド130の受信)されることが可能であり、AV802aと後続AV802bとの間の通信が失われた場合でも、その自律動作は監視され得る。例えば、定期的な承認メッセージが対応する定期的な間隔で後続AV802bから受信されない場合、通信サブシステム210は、後続AV802bとの通信チャネル280が失われたと決定する。それに応答して、通信サブシステム210は、「オペレーションサーバに接続された」状態に移行し得、ここで、AV802aは、通信チャネル270を介してオペレーションサーバ120に接続されている。
「オペレーションサーバおよび後続AVとの接続無しにコマンドを実行する」状態への移行
通信サブシステム210は、オペレーションサーバ120および後続AV802bとの通信が失われる、すなわち、通信チャネル270および280が失われると、「オペレーションサーバおよび後続AVとの接続無しにコマンドを実行する」状態に移行する。この状態において、プロセッサ212は、通信サブシステム210がオペレーションサーバ120および後続AV802bのいずれかまたは両方との通信を確立するまで、道路脇にAV802aを寄せておくコマンド130を実行し得る。従って、オペレーションサーバ120および後続AV802bの両方との通信が失われた場合でも、通信サブシステム210は、オペレーションサーバ120および後続AV802bのいずれかまたは両方との通信が再確立されるまで、道路脇に寄せるコマンド130を行うことができる。
AVにコマンドを通信する例示的方法
図3は、コマンド130をAV802に通信するための方法300の例示的なフローチャートを示す。方法300に対して修正、追加、または省略が行われ得る。方法300は、より多くの、より少ない、または他のステップを含み得る。例えば、ステップは並行して、または任意の適切な順序で行われ得る。AV802、オペレーションサーバ120、制御装置850、通信サブシステム210、またはそれらのいずれかの構成要素がステップを行っていることとして議論されることがあるが、任意の適切なシステムまたは該システムの構成要素は、方法300の1つ以上のステップを行い得る。例えば、方法300の1つ以上のステップは、少なくとも部分的に、非一時的で有形の機械読取り可能な媒体(例えば、それぞれ、図1、2、8および10からのメモリ128、242、890および1002)に格納された、図1、2、および8からのそれぞれのソフトウェア命令138、244および880の形式にて実施され得、該ソフトウェア命令は、1つ以上のプロセッサ(例えば、それぞれ、図1、2、8および10からのプロセッサ122、212、870および1004)によってランさせると、該1つ以上のプロセッサにステップ302~310を行わせ得る。
方法300は、オペレーションサーバ120が、AV802aの前方の道路102に関連付けられた環境データ150にアクセスするステップ302で始まり、ここで、環境データ150は、AV802aが道路102に沿って移動している間の時間窓に関連付けられた気象データ152および交通データ154を含む。例えば、オペレーションサーバ120は、ライブ気象報告ニュース、ライブ交通報告ニュースなどの1つ以上の外部ソースから環境データ150を受信し得る。
ステップ304において、オペレーションサーバ120は、環境データ150を、AV802の前方の予想される道路状態を含む地図データ142と比較する。例えば、予想される道路状態は、道路102上のAV802aの前方での予測される天候および交通渋滞を含み得る。
ステップ306において、オペレーションサーバ120は、環境データ150が、地図データ142に含まれていない予期せぬ道路状態156を含むかどうかを決定する。予期せぬ道路状態156は、とりわけ、予期せぬ気象条件、予期せぬ交通渋滞、予期せぬ道路閉鎖104、予期せぬ物体106、および予期せぬ建設区域108を含み得る。例えば、環境データ159を地図データ142と比較することに基づいて、オペレーションサーバ120は、環境データ150が予期せぬ道路状態156を含むかどうかを決定し得る。遠隔操作者162は、図1において上記したものと同様に、オペレーションサーバ120の決定を確認、修正、または上書きし得る。環境データ150が地図データ142に含まれていない予期せぬ道路状態156を含むと決定された場合、方法300は、ステップ308に進む。そうでない場合、方法300は終了する。
ステップ308において、オペレーションサーバ120は、予期せぬ道路状態156の位置座標158を決定する。例えば、オペレーションサーバ120は、図1において上記したものと同様に、環境データ150から予期せぬ道路状態156の位置座標158を決定し得る。
ステップ310において、オペレーションサーバ120は、コマンド130(またはオペレーションサーバ対AVコマンド132)をAV802aに通信することにより、予期せぬ道路状態156を回避するように操縦する。コマンド130は、広範コマンド130aまたは特殊コマンド130bであり得る。広範コマンド130aおよび特殊コマンド130bの例は、図1に記載されている。
受信したコマンドに基づいてAVをナビゲートするための例示的な方法
図4は、受信したコマンド130に基づいてAV802をナビゲートするための方法400の例示的なフローチャートを示す。方法400に対して修正、追加、または省略が行われ得る。方法400は、より多くの、より少ない、または他のステップを含み得る。例えば、ステップは並行して、または任意の適切な順序で行われ得る。AV802、オペレーションサーバ120、制御装置850、通信サブシステム210、またはそれらのいずれかの構成要素がステップを行っていることとして議論されることがあるが、任意の適切なシステムまたは該システムの構成要素は、方法400の1つ以上のステップを行い得る。例えば、方法400の1つ以上のステップは、少なくとも部分的に、非一時的で有形の機械読取り可能な媒体(例えば、それぞれ、図1、2、8および10からのメモリ128、242、890および1002)に格納された、図1、2および8からのそれぞれのソフトウェア命令138、244および880の形式にて実施され得、該ソフトウェア命令は、1つ以上のプロセッサ(例えば、それぞれ、図1、2、8および10からのプロセッサ122、212、870および1004)によってランさせると、該1つ以上のプロセッサにステップ402~412を行わせ得る。
方法400は、ステップ402で始まり、ここで、AV802(例えば、図1のAV802a)に関連付けられた制御装置850は、(例えば、通信サブシステム210を介して)オペレーションサーバ120から、図1に記載された予期せぬ道路状態156を含む、予期せぬ道路状態156を回避するようにAV802をナビゲートするためのコマンド130を受信する。
ステップ404において、制御装置850は、(例えば、通信サブシステム210を介して)車両センサー846から、AV802の前方の複数の物体の位置座標を含むセンサーデータ148を受信する。センサーデータ148は、複数の物体のアイデンティティを説明する表示をさらに含み得る。例えば、センサーデータ148は、図1の道路102上およびその周辺における、車両、歩行者、障害物118、車線区分線、道路境界、道路標識などの存在を示し得る。
ステップ406において、制御装置850は、(例えば、通信サブシステム210を介して)センサーデータ148に示される複数の物体からの任意の物体が、コマンド130の遂行を妨げるかどうかを決定する。例えば、制御装置850は、(例えば、通信サブシステム210を介して)複数の物体からのいずれかの物体が、AV802aの移動経路を占領しており、その結果、コマンド130に従ったAV802aのナビゲートを妨げるかどうかを決定し得る。複数の物体からのいずれかの物体がコマンド130の遂行を妨げると決定された場合、方法400はステップ410に進む。そうでない場合、方法400はステップ408に進む。
ステップ408において、制御装置850は、コマンド130に従ってAV802aをナビゲートする。例えば、コマンド130が位置座標114においてAV802aを道路脇に寄せるためのものと仮定すると、制御装置850は、図1において上記したものと同様に、位置座標114においてAV802aを道路脇に寄せる。
ステップ410において、制御装置850は、(例えば、通信サブシステム210を介して)コマンド130を更新し、その結果、更新されたコマンド130-1は、コマンド130を遂行している間に複数の物体を回避するための1つ以上のナビゲーション命令を含む。例えば、コマンド130が位置座標114でAV802aを道路脇に寄せるためのものであると仮定すると、制御装置850が、位置座標114を有するスポットが障害物または物体によって占領されていると決定した場合、制御装置850は、(例えば、通信サブシステム210を介して)コマンド130を更新することにより、図1に記載されたものと同様に、位置座標116においてAV802aを道路脇に寄せる。
ステップ412において、制御装置850は、更新されたコマンド130-1に従ってAV802aをナビゲートする。
2つ以上のAV間でコマンドを通信するための第1の例示的システム
図5は、2つ以上のAV802間でコマンド130を通信するためのシステム500の実施形態を示す。図5はさらに、先頭AV802a、第1の後続AV802b、および第2の後続AV802nを含む、AV802によって移動される道路102の簡略化された概略図を示す。図5では、AV802は、図1で説明されたものと同様の、予期せぬ道路状態156に向かって進んでいる。一実施形態において、システム500は、オペレーションサーバ120、先頭AV802a、および第1の後続AV802bを含む。いくつかの実施形態では、システム500は、第2の後続AV802nおよびネットワーク110をさらに含む。ネットワーク110は、システム500の構成要素間の通信を可能にする。システム500は、示されるように、または他の任意の適切な構成で構成され得る。
図5に示されるように、先頭AV802a、後続AV802b、および後続AV802nは、V2V通信範囲510内にある。図5には3台のAV802が示されているが、この開示に照らして、当業者は任意の数のAV802がV2V通信範囲510内にあり得ることを認識するであろう。V2V通信範囲510は、図2に記載された通信サブシステム210において実装されたV2Vモデム234の動作の閾値距離範囲に対応し得る。このように、V2Vモデム234(図2を参照)を用いて、AV802は、コマンド130を含むデータを互いに通信することができる。以下の対応する説明は、V2V通信範囲510におけるAV802間のコマンド130の通信を説明している。
第1の後続AVへのコマンドの通信
概して、(先頭AV802aにおける)システム500は、先頭AV802aの前方の予期せぬ道路状態156を回避するように先頭AV802aをナビゲートするためのコマンド130(例えば、オペレーションサーバ対AVコマンド132)を受信する。例えば、図1にて説明されたものと同様に、先頭AV802aの前方の道路102の部分に関連付けられた環境データ150aにおいて予期せぬ道路状態156を検出するオペレーションサーバ120に応答して、先頭AV802aはコマンド130を受信し得る。
先頭AV802aに関連付けられた制御装置850aは、センサー846からセンサーデータ148aを受信し、ここで、センサーデータ148aは、先頭AV802aの前方にある第1の複数の物体の位置座標を含む。例えば、センサーデータ148aは、センサー846が検出し得る他の任意の物体の中でも、他の車両、道路標識、車線区分線、道路境界および信号機の位置座標を含み得る。制御装置850aは、図8に記載された制御装置850の例であり得る。制御装置850aは、図2に記載された通信サブシステム210を介してコマンド130を送受信し得る。制御装置850aは、図1および2に記載されたものと同様に、センサーデータ148aの分析に基づいて、(例えば、通信サブシステム210(図2を参照)を介して)先頭AV802aをナビゲートするためのコマンド130を更新する場合もあり、しない場合もある。制御装置850aは、以下に説明するように、コマンド130-1(例えば、AV対AVコマンド136)を決定し、後続AV802bに通信し得る。
制御装置850aは、先頭AV802aと後続AV802bとの間の道路102の部分に関連付けられた環境データ150bにアクセスする。先頭AV802aは、先頭AV802aと後続AV802bとの間の道路102の該部分を移動してきたので、先頭AV802aは、環境データ150bを経験かつ記録済みである。環境データ150bは、先頭AV802aと後続AV802bとの間の第2の複数の物体の位置座標を含み得る。環境データ150bは、先頭AV802aが先頭AV802aと後続AV802bとの間の道路102の部分を移動した間に経験かつ記録した他の任意のデータの中でも、道路安全規制データ、および障害物118に関連するデータ(図1を参照)をさらに含み得る。環境データ150bは、後続AV802bが道路102に沿って移動している間の時間窓に関連付けられている。
制御装置850aは、センサーデータ148aならびに環境データ150aおよび150bのいずれかにおいて検出された少なくとも1つの物体が、後続AV802bによるコマンド130の遂行を妨げるかどうかを決定する。例えば、制御装置850aは、後続AV802bの軌道を(例えば、オペレーションサーバ120および/または後続AV802bから)受信し、センサーデータ148aならびに環境データ150aおよび150bのいずれかにおいて検出された物体が後続AV802bの移動経路上にあるかどうかを決定し得る。別の例では、制御装置850aは、図8に記載されたものと同様のセンサー846を用いて、後続AV802bの軌道を決定し得る。制御装置850aは、物体が後続AV802bの移動経路上にある場合、物体が後続AV802bによるコマンド130の遂行を妨げると決定し得る。
少なくとも1つの物体(センサーデータ148aならびに環境データ150aおよび150bのいずれかにおいて検出されたもの)が後続AV802bによるコマンド130の遂行を妨げると決定したことに応答して、制御装置850aは、後続AV802bに対するコマンド130を更新する。このプロセスにおいて、制御装置850aは、更新されたコマンド130-1(例えば、AV対AVコマンド136)を生成する。更新されたコマンド130-1は、後続AV802bがコマンド130を遂行している間にその移動経路上で検出された少なくとも1つの物体を後続AV802bが回避するための1つ以上のナビゲーション命令を含む。制御装置850aは、更新されたコマンド130-1を後続AV802bに通信する。
後続AV802bに関連付けられた制御装置850bは、更新されたコマンド130-1を受信し、更新されたコマンド130-1に従ってAV802bをナビゲートする。制御装置850bは、図8に記載された制御装置850の例であり得る。
一実施形態において、センサーデータ148bにおいて検出された物体が、上記の図1および2で説明したものと同様に、コマンド130-1の遂行を妨げると決定したことに応答して、制御装置850bは、コマンド130-1をさらに更新し得る。
第2の後続AVへのコマンドの通信
上記したものと同様に、制御装置850aは、更新されたコマンド130-2を生成し、更新されたコマンド130-2を、先頭AV802aのV2V通信範囲510内にある第2の後続AV802nに通信し得る。このプロセスにおいて、制御装置850aは、先頭AV802aと第2の後続AV802nとの間の道路102の部分に関連付けられた環境データ150にアクセスする。先頭AV802aと第2の後続AV802nとの間の道路102の部分に関連付けられた環境データ150は、環境データ150bおよび150nの集合を含み得る。環境データ150bおよび150nの集合は、先頭AV802aと第2の後続AV802nとの間の複数の物体の位置座標を含み得る。環境データ150bおよび150nの集合は、先頭AV802aが先頭AV802aと第2の後続AV802nとの間の道路102の部分を移動した間に経験かつ記録した他の任意のデータの中でも、道路安全規制データ、および障害物118に関連するデータ(図1を参照)をさらに含み得る。環境データ150bおよび150nの集合は、第2の後続AV802nが道路102に沿って移動している間の時間窓に関連付けられている。
制御装置850aは、センサーデータ148aおよび環境データ150a、150b、および150nのいずれかにおいて検出された少なくとも1つの物体が、第2の後続AV802nによるコマンド130の遂行を妨げるかどうかを決定する。例えば、制御装置850aは、第2の後続AV802nの軌道を(例えば、オペレーションサーバ120および/または後続AV802nから)受信し、センサーデータ148aならびに環境データ150a、150b、および150nのいずれかにおいて検出された物体が、第2の後続AV802nの移動経路上にあるかどうかを決定し得る。
少なくとも1つの物体(センサーデータ148aならびに環境データ150a、150b、および150nのいずれかにおいて検出されたもの)が、第2の後続AV802nによるコマンド130の遂行を妨げると決定することに応答して、制御装置850aは、第2の後続AV802nに対するコマンド130を更新する。このプロセスにおいて、制御装置850aは、コマンド130-1を更新することによって第2の更新されたコマンド130-2を生成する。第2の更新されたコマンド130-2は、第2の後続AV802nがコマンド130-1を遂行している間にその移動経路上で検出された少なくとも1つの物体を第2の後続AV802nが回避するための1つ以上のナビゲーション命令を含む。制御装置850aは、第2の更新されたコマンド130-2(例えば、AV対AVコマンド136)を第2の後続AV802nに通信し、その結果、AV802nは、コマンド130-2に従ってナビゲートされることにより、予期せぬ道路状態156およびその移動経路上の物体を回避することができる。
このようにして、センサーデータ148a、環境データ150a、および先頭AV802aと第n番目の後続AV802との間の対応する環境データ150の集合に従って、先頭AV802aは、コマンド130を更新し、第n番目の後続AV802に通信し得る。
一実施形態において、AV802(例えば、AV802a~n)のいずれかは、図1および2に記載されているものと同様に、それらの対応するセンサーデータ148の分析に基づいて、受信したコマンド130(または更新されたコマンド130-1、130-2)をさらに更新または修正し得る。
一実施形態において、AV802(例えば、AV802a~n)のいずれかは、図1および2に記載されているものと同様に、受信したコマンド130(または更新されたコマンド130-1、130-2)をオペレーションサーバ120に送信し、更なる命令を要求し得る。
一実施形態において、AV802(例えば、AV802a~n)のいずれかは、図1および2に記載されているものと同様に、受信したコマンド130(または更新されたコマンド130-1、130-2)をオペレーションサーバ120に送信し、確認を要求し得る。
一実施形態において、AV802bは、AV802bの後方を移動している1つ以上のAV802を含むV2V通信範囲510内の先頭AV802であり得る。
図5にさらに示されるように、AV802(例えば、AV802a~n)が道路102に沿って移動している間、該AV802は、それらの対応するセンサーデータ148をオペレーションサーバ120に通信する。例えば、図1および2に記載されたものと同様に、先頭AV802aはセンサーデータ148aを、後続AV802bはセンサーデータ148bを、第2の後続AV802nはセンサーデータ148nを、オペレーションサーバ120に通信する。オペレーションサーバ120は、図1および2に記載されたものと同様に、センサーデータ148a~nを用いて、コマンド130、130-1および130-2または任意のナビゲーションソリューションに関する制御装置850a~nのいずれかの決定を確認、修正、または上書きし得る。
2つ以上のAV間でコマンドを通信するための第2の例示的システム
図6は、2つ以上のAV802間においてコマンド130を通信するためのシステム600の実施形態を示す。図6はさらに、先頭AV802a、第1の後続AV802b、および第2の後続AV802cを含む、AV802によって移動される道路102の簡略化された概略図を示す。図6では、AV802は、図1で説明されたものと同様の、予期せぬ道路状態156に向かって進んでいる。一実施形態において、システム600は、オペレーションサーバ120、先頭AV802a、および第1の後続AV802bを含む。いくつかの実施形態では、システム600は、第2の後続AV802cおよびネットワーク110をさらに含む。ネットワーク110は、システム600の構成要素間の通信を可能にする。システム600は、示されるように、または他の任意の適切な構成で構成され得る。
図6に示すように、先頭AV802aと第1の後続AV802bとは、互いに第1のV2V通信範囲510内にあり、第1の後続AV802bと第2の後続AV802cとは、互いに第2のV2V通信範囲510内にある。V2V通信範囲510内にあるAV802は、コマンド130を含むデータを互いに通信することができる。図6は、AV802の様々なセットが異なるV2V通信範囲510内にあるシナリオを示す。以下の対応する説明は、異なるV2V通信範囲510におけるAV802間のコマンド130の通信を説明している。
第1の後続AVへのコマンドの通信
更新されたコマンド130-1(例えば、AV対AVコマンド136)を後続AV802bに通信する先頭AV802aのプロセスは、図5に記載されたものと同様であり得る。このプロセスにおいて、先頭AV802aは、先頭AV802aの前方の予期せぬ道路状態156を回避するためのコマンド130を受信し、ここで、コマンド130は、環境データ150aにおける予期せぬ道路状態156の検出に応答して発行される。先頭AV802aに関連付けられた制御装置850aは、センサー846からセンサーデータ148aを受信し、ここで、センサーデータ148aは、先頭AV802aの前方の第1の複数の物体の位置座標を含む。制御装置850aは、先頭AV802aと後続AV802bとの間の道路102の部分に関連付けられた環境データ150bにアクセスする。制御装置850aは、センサーデータ148aならびに環境データ150aおよび150bのいずれかにおいて検出された少なくとも1つの物体が、後続AV802bによるコマンド130の遂行を妨げるかどうかを決定する。少なくとも1つの物体(センサーデータ148aならびに環境データ150aおよび150bのいずれかにおいて検出されたもの)が後続AV802bによるコマンド130の遂行を妨げると決定したことに応答して、制御装置850aは、コマンド130を更新することによって、更新されたコマンド130-1を生成し、その結果、更新されたコマンド130-1は、後続AV802bがコマンド130を遂行している間にその移動経路上で検出された少なくとも1つの物体を後続AV802bが回避するための1つ以上のナビゲーション命令を含む。制御装置850aは、更新されたコマンド130-1を後続AV802bに通信する。更新されたコマンド130-1を受信すると、制御装置850bは、更新されたコマンド130-1に従ってAV802bをナビゲートし得る。
特定のAV802が先頭AV802aのV2V通信範囲510内にないシナリオにおいて、特定のAV802は、以下に説明するように、(図1および2に記載されたものと同様の)オペレーションサーバ120から、および/または該特定のAV802からのV2V通信範囲510内にある別のAV802から、予期せぬ道路状態156を回避するためのコマンド130を受信し得る。図6において、第2の後続AV802cは、先頭AV802aのV2V通信範囲510内にはないが、第2の後続AV802cは、第1の後続AV802bのV2V通信範囲510内にある。従って、第2の後続AV802cは、第1の後続AV802bから、予期せぬ道路状態156を回避するためのコマンド130ー2を受信し得る。このプロセスを以下に説明する。
第2の後続AVへのコマンドの通信
第2の後続AV802cに対するコマンド130-2(例えば、AV対AVコマンド136)を生成するために、制御装置850bは、AV802bとAV802cとの間の道路102の部分に関連付けられた環境データ150cにアクセスし得る。環境データ150cは、AV802bとAV802cとの間の複数の物体の位置座標を含み得る。環境データ150cは、AV802bとAV802cとの間の道路102の部分を移動する間にAV802bが経験かつ記録した他の任意のデータの中でも、交通安全規制データ、および障害物118に関連するデータ(図1を参照)をさらに含み得る。環境データ150cは、第2の後続AV802cが道路102に沿って移動している間の時間窓に関連付けられている。制御装置850bは、制御装置850aに関して、図5に記載されたものと同様に、センサーデータ148bにさらにアクセスして分析し得る。
制御装置850bは、センサーデータ148bならびに環境データ150a、150bおよび150cのいずれかにおいて検出された少なくとも1つの物体が、AV802cによるコマンド130-1の遂行を妨げるかどうかを決定する。例えば、制御装置850bは、AV802cの軌道を(例えば、オペレーションサーバ120および/またはAV802cから)受信し、センサーデータ148bならびに環境データ150a、150bおよび150cのいずれかにおいて検出された物体がAV802cの移動経路上にあるかどうかを決定し得る。少なくとも1つの物体(センサーデータ148bならびに環境データ150a、150bおよび150cのいずれかにおいて検出されたもの)がAV802cによるコマンド130-1の遂行を妨げると決定したことに応答して、制御装置850bは、コマンド130-1を更新することによりコマンド130-2を生成し、その結果、コマンド130-2は、AV802cがコマンド130-1を遂行している間にその移動経路上で検出された少なくとも1つの物体をAV802cが回避するための1つ以上のナビゲーション命令を含む。制御装置850bは、コマンド130-2をAV802cに通信し、その結果、AV802cは、コマンド130-2に従ってナビゲートされることにより、その移動経路上にある予期せぬ道路状態156および物体を回避することができる。
一実施形態において、AV802(例えば、AV802a~c)のいずれかは、図1および2に記載されているものと同様に、それらの対応するセンサーデータ148の分析に基づいて、受信したコマンド130(または更新されたコマンド130-1、130-2)をさらに更新または修正し得る。
一実施形態において、AV802(例えば、AV802a~c)のいずれかは、図1および2に記載されているものと同様に、受信したコマンド130(または更新されたコマンド130-1、130-2)をオペレーションサーバ120に送信し、更なる命令を要求し得る。
一実施形態において、AV802(例えば、AV802a~c)のいずれかは、図1および2に記載されているものと同様に、受信したコマンド130(または更新されたコマンド130-1、130-2)をオペレーションサーバ120に送信し、確認を要求し得る。
図6にさらに示されるように、AV802(例えば、AV802a~c)が道路102に沿って移動している間、該AV802は、それらの対応するセンサーデータ148をオペレーションサーバ120に通信する。例えば、図1および2に記載されたものと同様に、先頭AV802aはセンサーデータ148aを、後続AV802bはセンサーデータ148bを、第2の後続AV802cはセンサーデータ148cを、オペレーションサーバ120に通信する。図1および2に記載されたものと同様に、オペレーションサーバ120は、センサーデータ148a~cを用いて、コマンド130、130-1および130-2または任意のナビゲーションソリューションに関する制御装置850a~cのいずれかの決定を確認、修正、または上書きし得る。
図6には3台のAV802が示されているが、本開示は、コマンド130(または更新されたコマンド130-1、130-2など)を1つ以上の他のAV802に通信する、道路102上の任意の数のAV802を想定している。このように、本開示は、AV802のネットワークメッシュとオペレーションサーバ120との間の1対1、1対多、および多対多の通信を想定している。
AV間でコマンドを通信するための例示的方法
図7は、AV802間でコマンド130を通信するための方法700の例示的なフローチャートを示す。方法700に対して、修正、追加、または省略が行われ得る。方法700は、より多くの、より少ない、または他のステップを含み得る。例えば、ステップは並行して、または任意の適切な順序で行われ得る。AV802、オペレーションサーバ120、制御装置850、通信サブシステム210、またはそれらのいずれかの構成要素がステップを行っていることとして議論されることがあるが、任意の適切なシステムまたは該システムの構成要素は、方法700の1つ以上のステップを行い得る。例えば、方法700の1つ以上のステップは、少なくとも部分的に、非一時的で有形の機械読取り可能な媒体(例えば、それぞれ、図1、2、8および10からのメモリ128、242、890および1002)に格納された、図1、2および8からのそれぞれのソフトウェア命令138、244および880の形式にて実施され得、該ソフトウェア命令は、1つ以上のプロセッサ(例えば、それぞれ、図1、2、8および10からのプロセッサ122、212、870および1004)によってランさせると、該1つ以上のプロセッサにステップ702~714を行わせ得る。
方法700は、ステップ702で始まり、ここで、先頭AV802aに関連付けられた制御装置850aは、予期せぬ道路状態156を回避するように先頭AV802aをナビゲートするためのコマンド130を受信する。制御装置850aは、図2に記載されている通信サブシステム210を介してコマンド130を受信し得る。例えば、図1、5および6にて説明されたものと同様に、オペレーションサーバ120が先頭AV802aの前方の道路102の部分に関連付けられた環境データ150aにおいて予期せぬ道路状態156を検出したことに応答して、制御装置850aは、オペレーションサーバ120からコマンド130を受信し得る。
ステップ704において、制御装置850aは、先頭AV802aに関連付けられたセンサー846からセンサーデータ148aを受信し、ここで、センサーデータ148aは、先頭AV802aの前方の第1の複数の物体の位置座標を含む。例えば、制御装置850aは、コマンド130の受信に応答して、センサー846からセンサーデータ148aを受信するようにトリガーされ得る。別の例では、制御装置850aは、図2に記載されたものと同様に、定期的に(例えば、0.02秒ごと、0.5秒ごと、または他の任意の適切な持続時間に)センサーデータ148aを受信し得る。
ステップ706において、制御装置850aは、先頭AV802aと後続AV802bとの間の道路102の部分に関連付けられた環境データ150bにアクセスする。先頭AV802aは、先頭AV802aと後続AV802bとの間の道路102の部分を移動したので、先頭AV802aは、環境データ150bを経験かつ記録している。環境データ150bは、先頭AV802aと後続AV802bとの間の第2の複数の物体の位置座標を含み得る。環境データ150bは、先頭AV802aが先頭AV802aと後続AV802bとの間の道路102の部分を移動した間に経験かつ記録した他の任意のデータの中でも、道路安全規制データ、および障害物118に関連するデータ(図1を参照)をさらに含み得る。環境データ150aは、後続AV802bが道路102に沿って移動している間の時間窓に関連付けられている。
ステップ708において、制御装置850aは、センサーデータ148aならびに環境データ150aおよび150bのいずれかにおいて検出された少なくとも1つの物体が、後続AV802bによるコマンド130の遂行を妨げるかどうかを決定する。例えば、制御装置850aは、後続AV802bの軌道を(例えば、オペレーションサーバ120および/または後続AV802bから)受信し、センサーデータ148aならびに環境データ150aおよび150bのいずれかにおいて検出された物体が後続AV802bの移動経路上にあるかどうかを決定し得る。制御装置850aが、センサーデータ148aならびに環境データ150aおよび150bのいずれかにおいて検出された少なくとも1つの物体が、後続AV802bによるコマンド130の遂行を妨げると決定した場合、方法700はステップ712に進む。そうでない場合、方法700はステップ710に進む。
ステップ710において、制御装置850aは、コマンド130を後続AV802bに通信する。例えば、制御装置850aは、通信サブシステム210を介して、元のコマンド130を後続AV802bに通信する。
ステップ712において、制御装置850aは、後続AV802bに対するコマンド130を更新し、その結果、更新されたコマンド130-1は、コマンド130を遂行している間に少なくとも1つの物体を回避するための1つ以上の命令を含む。
ステップ714において、制御装置850aは、更新されたコマンド130-1を後続AV802bに通信する。
一実施形態において、先頭AV802aはさらに、図5で説明したものと同様に、センサーデータ148a、環境データ150a、および先頭AV802と特定のAV802との間の道路102の部分に関連付けられた環境データ150の集合体に従って、コマンド130(または更新されたコマンド130-1、130-2)を更新し、先頭AV802aのV2V通信範囲510内にある任意の特定のAV802に通信し得る。
特定のAV802が先頭AV802のV2V通信範囲510内にない場合において、特定のAV802は、図5で説明したものと同様に、特定のAV802のV2V通信範囲510内にある別のAV802から(例えば、先頭AV802aから間接的に)コマンド130(または更新されたコマンド130-1、130-2)を受信し得る。例えば、道路102上の複数のAV802は、AV802のネットワークメッシュを形成し得、そこでは、任意のAV802が、他の任意のAV802との間でコマンド130(または更新されたコマンド130-1、130-2)または他の任意のデータ/命令を送受信し得る。
例示的AVとその動作
図8は、自律運転動作が決定され得る例示的な車両エコシステム800のブロック図を示す。図8に示されるように、AV802はセミトレーラートラックであり得る。車両エコシステム800は、情報/データおよび関連サービスの1つ以上のソースを生成し、かつ/またはAV802に配置され得る車載制御コンピュータ850に配信することができる、いくつかのシステムおよび構成要素を含む。車載制御コンピュータ850は、複数の車両サブシステム840とデータ通信することができ、それらはすべて、AV802に常駐することができる。車両サブシステムインターフェース860は、車載制御コンピュータ850と複数の車両サブシステム840との間のデータ通信を容易にするために提供される。いくつかの実施形態では、車両サブシステムインターフェース860は、コントローラエリアネットワーク(CAN)コントローラを含むことにより、車両サブシステム840内のデバイスと通信できる。
AV802は、AV802の動作をサポートする様々な車両サブシステムを含み得る。車両サブシステム840は、通信サブシステム210、車両運転サブシステム842、車両センサーサブシステム844、および/または車両制御サブシステム848を含み得る。図8に示される車両運転サブシステム842、車両センサーサブシステム844、および車両制御サブシステム848の構成要素または装置がその例である。AV802は、示されるように、または他の任意の構成で構成され得る。
車両運転サブシステム842は、AV802に対して動力を与えられた運動を提供するように動作可能な構成要素を含み得る。例示的な実施形態では、車両運転サブシステム842は、エンジン/モーター842a、ホイール/タイヤ842b、トランスミッション842c、電気サブシステム842d、および電源842eを含み得る。
車両センサーサブシステム844は、AV802の環境または状態に関する情報を感知するように構成されたいくつかのセンサー846を含み得る。車両センサーサブシステム844は、1つ以上のカメラ846aまたは画像キャプチャ装置、レーダーユニット846b、1つ以上の温度センサー846c、無線通信ユニット846d(例えば、セルラー通信トランシーバ)、慣性測定ユニット(IMU)846e、レーザー距離計/LiDARユニット846f、グローバルポジショニングシステム(GPS)トランシーバ846g、および/またはワイパー制御システム846hを含み得る。車両センサーサブシステム844はまた、AV802の内部システムを監視するように構成されたセンサー(例えば、Oモニター、燃料計、エンジンオイル温度計など)を含み得る。
IMU846eは、慣性加速度に基づいてAV802の位置および向きの変化を感知するように構成されたセンサー(例えば、加速度計およびジャイロスコープ)の任意の組み合わせを含み得る。GPSトランシーバ846gは、AV802の地理的位置を推定するように構成された任意のセンサーであり得る。この目的のために、GPSトランシーバ846gは、地球に対するAV802の位置に関する情報を提供するように動作可能な受信機/送信機を含み得る。レーダーユニット846bは、無線信号を利用して、AV802のローカル環境内の物体を感知するシステムを表し得る。いくつかの実施形態では、物体を感知することに加えて、レーダーユニット846bは、AV802に近接する物体の速度および方位を感知するようにさらに構成され得る。レーザー距離計またはLiDARユニット846fは、レーザーを用いてAV802が配置されている環境内の物体を感知するように構成された任意のセンサーであり得る。カメラ846aは、AV802の環境の複数の画像をキャプチャするように構成された1つ以上の装置を含み得る。カメラ846aは、静止画像カメラまたはモーションビデオカメラであり得る。
車両制御サブシステム848は、AV802およびその構成要素の動作を制御するように構成され得る。従って、車両制御サブシステム848は、スロットルおよびギアセレクタ848a、ブレーキユニット848b、ナビゲーションユニット848c、ステアリングシステム848d、および/または自律制御ユニット848eなどの様々な要素を含み得る。スロットル848aは、例えば、エンジンの動作速度を制御し、次いで、AV802の速度を制御するように構成され得る。ギアセレクタ848aは、トランスミッションのギア選択を制御するように構成され得る。ブレーキユニット848bは、AV802を減速するように構成された機構の任意の組み合わせを含むことができる。ブレーキユニット848bは、摩擦を用いてホイールを減速させることまたはエンジンブレーキを使用することを含む、標準的な方法でAVを減速させることができる。ブレーキユニット848bは、ブレーキがかけられたときにブレーキがロックするのを防ぐことができるアンチロックブレーキシステム(ABS)を含み得る。ナビゲーションユニット848cは、AV802に対する運転経路またはルートを決定するように構成された任意のシステムであり得る。ナビゲーション848cユニットは、AV802が動作している間に運転経路を動的に更新するようにさらに構成され得る。いくつかの実施形態では、ナビゲーションユニット848cは、AV802の(例えば、図1の道路102に沿った)運転経路を決定するために、GPSトランシーバ846gからのデータおよび1つ以上の所定の地図を組み込むように構成され得る。ステアリングシステム848dは、自律モードまたはドライバー制御モードにおけるAV802の方位を調整するように動作可能であり得るメカニズムの任意の組み合わせを表し得る。
自律制御ユニット848eは、AV802の環境における潜在的な障害物または障害を識別、評価、および回避するか、さもなければ通り抜けるように構成された制御システムを表し得る。概して、自律制御ユニット848eは、ドライバーなしで動作するようにAV802を制御するように、またはAV802を制御する際にドライバー支援を提供するように構成され得る。いくつかの実施形態では、自律制御ユニット848eは、GSPトランシーバ846g、レーダー846b、LiDARユニット846f、カメラ846a、および/または他の車両サブシステムからのデータを組み込んで、AV802の運転経路または軌道を決定するように構成され得る。
AV802の機能の多くまたは全ては、車載制御コンピュータ850によって制御することができる。車載制御コンピュータ850は、データ記憶装置890またはメモリなどの非一時的なコンピュータ読取り可能媒体に記憶された処理命令880を実行する少なくとも1つの(少なくとも1つのマイクロプロセッサを含むことができる)データプロセッサ870を含み得る。車載制御コンピュータ850はまた、分散方式にてAV802の個々の構成要素またはサブシステムを制御するのに役立ち得る複数のコンピューティングデバイスを表し得る。いくつかの実施形態では、データ記憶装置890は、図1~7に関して説明されたものを含む、AV802の様々な方法および/または機能を遂行するためにデータプロセッサ870によって実行可能な処理命令880(例えば、プログラム論理)を含み得る。
データ記憶装置890は、追加の命令も含み得、該追加の命令は、車両運転サブシステム842、車両センサーサブシステム844、および車両制御サブシステム848のうちの1つ以上にデータを伝送する、データを受信する、相互作用する、または制御するための命令を含む。車載制御コンピュータ850は、データプロセッサ870およびデータ記憶装置890を含むように構成することができる。車載制御コンピュータ850は、様々な車両サブシステム(例えば、車両運転サブシステム842、車両センサーサブシステム844、および車両制御サブシステム848)から受信した入力に基づいて、AV802の機能を制御し得る。
図9は、正確な自律運転動作を提供するための例示的なシステム900を示す。システム900は、図8に記載されるように、車載制御コンピュータ850において動作することができるいくつかのモジュールを含む。車載制御コンピュータ850は、図9の左上隅に示されるセンサー融合モジュール902を含み、ここでは、センサー融合モジュール902は、少なくとも4つの画像または信号処理動作を行い得る。センサー融合モジュール902は、自律車両に配置されたカメラから画像を取得して画像セグメンテーション904を行うことにより、自律車両の周囲にある移動物体(例えば、他の車両、歩行者など)および/または静的障害物(例えば、停止標識、スピードバンプ、地形など)の存在を検出することができる。センサー融合モジュール902は、自律車両に配置されたLiDARセンサーからLiDAR点群データ項目を取得してLiDARセグメンテーション906を行うことにより、自律車両の周囲に配置された物体および/または障害物の存在を検出することができる。
センサー融合モジュール902は、画像および/または点群データ項目に対してインスタンスセグメンテーション908を行うことにより、自律車両の周囲に配置された物体および/または障害物の周囲の輪郭(例えば、ボックス)を識別することができる。センサー融合モジュール902は、一時融合910を行うことができ、ここで、1つの画像および/または点群データ項目の1つのフレームからの物体および/または障害物は、その後時間内に受信される1つ以上の画像またはフレームからの物体および/または障害物と相関または関連付けられる。
センサー融合モジュール902は、カメラから得られた画像および/またはLiDARセンサーから得られた点群データ項目から物体および/または障害物を融合することができる。例えば、センサー融合モジュール902は、2台のカメラの位置に基づいて、自律型車両の前に位置する車両の半分を含むカメラのうちの1つからの画像が、別のカメラによってキャプチャされて位置する車両と同じであることを決定し得る。センサー融合モジュール902は、融合物体情報を干渉モジュール946に送信し、融合障害物情報を占有グリッドモジュール960に送信する。車載制御コンピュータは、車載制御コンピュータに格納された地図データベース958から陸標を検索することができる占有グリッドモジュール960を含む。占有グリッドモジュール960は、センサー融合モジュール902から得られた融合障害物および地図データベース958に格納された陸標から、運転可能領域および/または障害物を決定することができる。例えば、占有グリッドモジュール960は、運転可能領域がスピードバンプの障害物を含み得ると決定することができる。
センサー融合モジュール902の下に、車載制御コンピュータ850は、自律車両に配置されたLiDARセンサー914から得られた点群データ項目に基づいて物体検出916を行うことができる、LiDARベース物体検出モジュール912を含む。物体検出916技術は、点群データ項目からの物体の(例えば、3D世界座標における)位置を提供することができる。LiDARベース物体検出モジュール912の下に、車載制御コンピュータは、自律車両に配置されたカメラ920から得られた画像に基づいて物体検出924を行うことができる、画像ベース物体検出モジュール918を含む。物体検出918技術は、深層機械学習技術924を利用することにより、カメラ920によって提供される画像から物体の(例えば、3D世界座標における)位置を提供することができる。
自律車両上のレーダー956は、自律車両の前方の領域または自律車両が運転されて向かっている領域をスキャンできる。レーダーデータは、センサー融合モジュール902に送信されるが、該センサー融合モジュール902は、レーダーデータを用いて、レーダー956によって検出された物体および/または障害物を、LiDAR点群データ項目およびカメラ画像の両方から検出された物体および/または障害物と相関させることができる。レーダーデータはまた、干渉モジュール946に送信されるが、該干渉モジュール946は、レーダーデータに対してデータ処理を行うことにより、以下でさらに説明するように、物体追跡モジュール948による物体の追跡をすることができる。
車載制御コンピュータは、点群からの物体および画像からの物体の位置と、センサー融合モジュール902からの融合された物体とを受信する干渉モジュール946を含む。干渉モジュール946はまた、レーダーデータを受信するが、該レーダーデータは、干渉モジュール946が、ある点群データ項目およびある時点で取得された1つの画像から、別の(または次の)点群データ項目および別の後続の時点で取得された別の画像への、物体追跡モジュール948による物体の追跡をすることができる、データである。
干渉モジュール946は、物体属性推定950を遂行し、画像または点群データ項目において検出された物体の1つ以上の属性を推定し得る。物体の1つ以上の属性は、物体のタイプ(例えば、歩行者、車、トラックなど)が含まれ得る。干渉モジュール946は、行動予測952を遂行し、画像および/または点群において検出された物体のモーションパターンを推定または予測し得る。行動予測952は、異なる時点で受信された画像のセット(例えば、連続画像)または異なる時点で受信された点群データ項目のセット(例えば、連続点群データ項目)における物体の位置を検出するために遂行され得る。いくつかの実施形態では、行動予測952は、カメラから受信された各画像、および/またはLiDARセンサーから受信された各点群データ項目に対して遂行することができる。いくつかの実施形態では、干渉モジュール946を遂行(例えば、ランまたは実行)し、1つおきに、または所定の数おきに、カメラから受信した画像またはLiDARセンサーから受信した点群データ項目に(例えば、2つの画像おき、または3つの点群データ項目おきに)行動予測952を遂行することによって、計算負荷を低減することができる。
行動予測952の特徴は、レーダーデータからの、自律車両を取り巻く物体の速度および方向を決定することができ、ここでは、該速度および方向の情報を用いて物体のモーションパターンを予測または決定することができる。モーションパターンは、画像がカメラから受信された後の将来の所定の期間にわたる物体の予測された軌道情報を含み得る。予測されたモーションパターンに基づいて、干渉モジュール946は、モーションパターン状況タグを物体に割り当て得る(例えば、「座標(x、y)に位置する」、「停止した」、「50mphで運転している」、「加速している」または「減速している」)。状況タグは、物体のモーションパターンを記述できる。干渉モジュール946は、1つ以上の物体属性(例えば、物体の種類)およびモーションパターン状況タグを計画モジュール962に送信する。干渉モジュール946は、システム900および任意の数のその構成要素の組み合わせによって取得された任意の情報を用いて、環境分析954を遂行し得る。
車載制御コンピュータは、計画モジュール962を含み、該計画モジュールは、干渉モジュール946から物体属性およびモーションパターン状況タグ、運転可能領域および/または障害物、ならびに融合ローカリゼーションモジュール926からの車両位置および姿勢情報を受信する(以下でさらに説明される)。
計画モジュール962は、ナビゲーションプラン964を遂行することにより、自律車両が運転することができる軌道のセットを決定し得る。軌道のセットは、運転可能領域情報、物体の1つ以上の物体属性、物体のモーションパターン状況タグ、障害物の位置、および運転可能領域情報に基づいて決定され得る。いくつかの実施形態では、ナビゲーションプラン964は、緊急時に自律車両を安全に駐車させることができる道路の隣の領域を決定することを含み得る。計画モジュール962は、道路上の変化しつつある状態(例えば、信号が黄色に変わった、または、自律車両は、別の車両が自律車両の前を走行し、自律車両の位置から事前に決定された安全距離内の領域にあるため、安全でない運転状態にある)を決定することに応答して、運転行動(例えば、ステアリング、ブレーキング、スロットル)を決定するための行動意思決定966を含み得る。計画モジュール962は、軌道生成968を遂行し、ナビゲーションプラン動作964によって決定された軌道のセットから軌道を選択する。選択された軌道情報は、計画モジュール962によって制御モジュール970に送信される。
車載制御コンピュータは、制御モジュール970を含み、該制御モジュールは、計画モジュール962からの提案された軌道と、融合ローカリゼーションモジュール926からの自律車両の位置および姿勢とを受け取る。制御モジュール970は、システム識別子972を含む。制御モジュール970は、モデルベースの軌道改良974を遂行することにより、提案された軌道を改良することができる。例えば、制御モジュール970は、フィルタリング(例えば、カルマンフィルタ)を適用することにより、提案された軌道データを滑らかにし、かつ/またはノイズを最小化することができる。制御モジュール970は、改良かつ提案された軌道情報ならびに自律車両の現在の位置および/または姿勢に基づいて、適用するブレーキ圧力の量、操舵角、車両の速度を制御するためのスロットル量、および/またはトランスミッションギアを決定することによって、ロバスト制御976を遂行し得る。制御モジュール970は、決定されたブレーキ圧力、操舵角、スロットル量、および/またはトランスミッションギアを自律車両内の1つ以上の装置に送信することにより、自律車両の正確な運転動作を制御および促進することができる。
画像ベース物体検出モジュール918によって遂行される深部画像ベース物体検出924はまた、道路(例えば、図1の道路102)上の陸標(例えば、停止標識、スピードバンプなど)を検出するために使用することができる。車載制御コンピュータは、融合ローカリゼーションモジュール926を含み、該融合ローカリゼーションモジュールは、画像から検出された陸標、車載制御コンピュータに格納された地図データベース936から取得された陸標、LiDARベース物体検出モジュール912により点群データ項目から検出された陸標、走行距離計センサー944からの速度および変位、ならびに、自律車両上または自律車両内に配置されたGPS/IMUセンサー938(すなわち、GPSセンサー940およびIMUセンサー942)からの自律車両の推定位置を取得する。この情報に基づいて、融合ローカリゼーションモジュール926は、ローカリゼーション動作928を遂行することにより自律型車両の位置を決定することができ、該位置は、計画モジュール962および制御モジュール970に送信することができる。
融合ローカリゼーションモジュール926は、GPSおよび/またはIMUセンサー938に基づいて自律車両の姿勢930を推定することができる。自律車両の姿勢は、計画モジュール962および制御モジュール970に送信することができる。融合ローカリゼーションモジュール926はまた、例えば、IMUセンサー942によって提供される情報(例えば、角速度および/または直線速度)に基づいて(例えば、トレーラー状態推定934)、トレーラーユニットの状態(例えば、位置、可能な移動角度)を推定することができる。融合ローカリゼーションモジュール926はまた、地図コンテンツ932をチェックし得る。
図10は、自律型AV802に含まれる車載制御コンピュータ850の例示的なブロック図を示す。車載制御コンピュータ850は、少なくとも1つのプロセッサ1004と、命令が格納されたメモリ1002(例えば、ソフトウェア命令138、244、および、図1、2および8それぞれの処理命令880)とを含む。命令は、プロセッサ1004によって実行されると、車載制御コンピュータ850および/または車載制御コンピュータ850の様々なモジュールを、図1~7に記載された動作を遂行するように構成する。送信機1006は、自律車両内の1つ以上の装置に情報またはデータを伝送または送信する。例えば、送信機1006は、自律車両をナビゲートするために、ステアリングホイールの1つ以上のモーターに命令を送信することができる。受信機1008は、1つ以上の装置によって伝送または送信された情報またはデータを受信する。例えば、受信機1008は、走行距離計センサーから現在の速度の状態を受信するか、またはトランスミッションから現在のトランスミッションギアを受信する。送信機1006および受信機1008はまた、上記の図8および9に記載された、複数の車両サブシステム840および車載制御コンピュータ850と通信するように構成されている。
本開示ではいくつかの実施形態が提供されているが、開示されたシステムおよび方法は、本開示の精神または範囲から逸脱することなく、他の多くの特定の形態で具体化され得ることを理解されたい。本実施例は、例示的であり、限定的ではないと見なされるべきであり、意図は、本明細書に与えられた詳細に限定されるべきではない。例えば、さまざまな要素または構成要素を組み合わせたり、別のシステムに統合したり、特定の機能を省略したり、実装しなかったりする場合がある。
さらに、離散的または別個として様々な実施形態で説明および図示された技術、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、または方法と組み合わせまたは統合され得る。相互に結合または直接結合または通信するものとして示されまたは説明されている他のアイテムは、電気的、機械的、またはその他の方法で、何らかのインターフェース、装置、または中間構成要素を介して間接的に結合または通信され得る。変更、置換、および改変の他の例は、当業者によって確認可能であり、本明細書に開示される精神および範囲から逸脱することなく行うことができる。
特許庁、および本出願で発行された特許の読者がここに添付された請求項を解釈するのを支援するために、出願人は、「のための手段」または「のためのステップ」という言葉が特定の請求項において明示的に使用されていない限り、添付されたクレームのいずれも、本明細書の出願日に存在する合衆国法典第35編、セクション112(f)を発動させることを意図していないことに注意されたい。
本開示の実施は、以下の項を考慮して説明することができ、その特徴は、任意の合理的な方法で組み合わせることができる。
項1。 システムであって、該システムは、
少なくとも1つの車両センサーを備える自律車両(AV)であって、該AVは、道路に沿って移動するように構成されている、自律車両(AV)と、
該AVに通信可能に結合されたオペレーションサーバと
を含み、
該オペレーションサーバは、プロセッサを備えており、該プロセッサは、
該AVの前方の該道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
該環境データが該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
該予期せぬ道路状態の位置座標を決定することと、
該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
を行うように構成されている、システム。
項2。 上記AVに関連付けられている制御装置をさらに含み、該制御装置は、第2のプロセッサを備えており、該第2のプロセッサは、
該少なくとも1つの車両センサーから、該AVの前方の上記道路上の複数の物体の位置座標を含むセンサーデータを受信することと、
該センサーデータに少なくとも部分的に基づいて、更新されたコマンドが、該AVが該コマンドの遂行中に該複数の物体を回避するための1つ以上の命令を含むように、上記コマンドを更新することと、
該更新されたコマンドに従って該AVをナビゲートすることと
を行うように構成されている、項1に記載のシステム。
項3。 上記第2のプロセッサは、上記AVの後方に並んで移動している1つ以上の後続AVに上記更新されたコマンドを通信するようにさらに構成されている、項2に記載のシステム。
項4。 上記第2のプロセッサは、
上記センサーデータを上記地図データと比較することであって、該地図データは、上記AVの前方の上記道路上の予想される物体の位置座標を含む、ことと、
該センサーデータを該地図データと比較することに少なくとも部分的に基づいて、該センサーデータが、予期せぬ物体は該地図データにはないことを示しているかどうかを決定することと、
該センサーデータが該予期せぬ物体は該地図データにはないことを示しているという決定に応答して、該AVが該予期せぬ物体を回避するための、提案されたナビゲーション命令を決定することと
を行うようにさらに構成されている、項2または3に記載のシステム。
項5。 上記第2のプロセッサは、上記センサーデータが上記予期せぬ物体は上記地図データにはないことを示しているという決定に応答して、上記提案されたナビゲーション命令を遂行するようにさらに構成されている、項2から4のいずれかに記載のシステム。
項6。 上記第2のプロセッサは、
上記センサーデータが上記予期せぬ物体は上記地図データにはないことを示しているという決定に応答して、
上記提案されたナビゲーション命令を上記オペレーションサーバに通信することと、
該オペレーションサーバから該提案されたナビゲーション命令を遂行することの確認を受信したかどうかを決定することと、
該オペレーションサーバからの該確認の受信に応答して、該提案されたナビゲーション命令を遂行することと
を行うようにさらに構成されている、項2から5のいずれかに記載のシステム。
項7。 上記第2のプロセッサは、
上記センサーデータが上記予期せぬ物体は上記地図データにはないことを示しているという決定に応答して、
該センサーデータを上記オペレーションサーバに通信することと、
該センサーデータに少なくとも部分的に基づいて該予期せぬ物体を回避する命令を提供するように、該オペレーションサーバに要求することと
を行うようにさらに構成されている、項2から6のいずれかに記載のシステム。
項8。 上記AVとは異なる1つ以上の後続AVをさらに含み、
該1つ以上の後続AVは、該AVの後方の上記道路上にあり、
該1つ以上の後続AVは、上記オペレーションサーバに通信可能に結合されており、
上記プロセッサは、
上記環境データが上記地図データに含まれていない上記予期せぬ道路状態を含むとの決定に応答して、
上記制御装置から上記センサーデータを受信することと、
該1つ以上の後続AVが上記複数の物体を回避している間に該予期せぬ道路状態を回避するための、1つ以上の命令を含む第2のコマンドを生成することであって、該第2のコマンドは、上記コマンドに示された該予期せぬ道路状態の上記位置座標、および該センサーデータに示された該複数の物体の上記位置座標を含む、ことと、
該第2のコマンドを該1つ以上の後続AVに通信することと
を行うようにさらに構成されている、項2から7のいずれかに記載のシステム。
項9。 方法であって、該方法は、
自律車両(AV)の前方の道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
該環境データが該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
該予期せぬ道路状態の位置座標を決定することと、
該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
を含む、方法。
項10。 上記予期せぬ道路状態は、上記地図データには含まれていない、予期せぬ気象条件、予期せぬ交通渋滞、予期せぬ道路閉鎖、および予期せぬ建設区域のうちの少なくとも1つを含む、項9に記載の方法。
項11。 上記環境データは、気象データおよび交通データのうちの少なくとも1つを含む、項9から10のいずれかに記載の方法。
項12。 上記コマンドは、
上記AVによる、自律運転から手動運転への移行、
該AVによる、該AVの前方の上記道路上にある障害物の回避、
該AVによる、1つ以上の障害物が検出された1つ以上の一定の車線の回避、
該AVによる、上記予期せぬ道路状態が検出された1つ以上の一定のルートの回避、
該AVによる、特定のルート変更、および
該先頭AVによる、該先頭AVに関連付けられた運転指示に示されている速度よりも遅いまたは速い速度での運転、
のうちの少なくとも1つに関連している、項9から11のいずれかに記載の方法。
項13。 上記コマンドは、上記道路上の、上記AVおよび該AVの後方にある1つ以上の後続AVに向けられる広範コマンドを含み、
該広範コマンドは、該AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、項9から12のいずれかに記載の方法。
項14。 上記コマンドは、上記AVに向けられる特殊コマンドを含み、
該特殊コマンドは、該AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、項9から13のいずれかに記載の方法。
項15。 実行可能な命令を含むコンピュータプログラムであって、該命令は、1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、
自律車両(AV)の前方の道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
該環境データが、該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
該予期せぬ道路状態の位置座標を決定することと、
該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
を行わせる、コンピュータプログラム。
項16。 上記命令は、上記1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、上記環境データが上記地図データに含まれていない上記予期せぬ道路状態を含むとの決定に応答して、上記AVの後方において上記道路に沿って移動している1つ以上の後続AVに該コマンドを伝搬することをさらに行わせる、項15に記載のコンピュータプログラム。
項17。 上記コマンドは、設定コマンドを含む、項15から16のいずれかに記載のコンピュータプログラム。
項18。 上記設定コマンドは、上記少なくとも1つの車両センサーの方向の変更、および該少なくとも1つの車両センサーのデータサンプリング周波数の変更のうちの少なくとも1つを含む、項15から17のいずれかに記載のコンピュータプログラム。
項19。 上記AVは少なくとも1つの車両センサーを備えており、該少なくとも1つの車両センサーは、カメラ、光検知測距(LiDAR)センサー、モーションセンサー、および赤外線センサーのうちの少なくとも1つを含む、項15から18のいずれかに記載のコンピュータプログラム。
項20。 上記AVは、トレーラーに取り付けられたトラクターユニットである、項15から19のいずれかに記載のコンピュータプログラム。
項21。 システムであって、該システムは、
少なくとも1つの車両センサーを備える自律車両(AV)であって、該AVは、道路に沿って移動するように構成されている、自律車両(AV)と、
該AVに関連付けられており、プロセッサを備えている、制御装置とを含み、
該プロセッサは、
オペレーションサーバから、予期せぬ道路状態を回避するように該AVをナビゲートするためコマンドを受信することと、
該少なくとも1つの車両センサーから、該AVの前方の複数の物体の位置座標を含むセンサーデータを受信することと、
該少なくとも1つの物体が該コマンドに従って該AVをナビゲートするための経路上にあるように、該複数の物体のうちの少なくとも1つの物体が該コマンドの遂行を妨げるかどうかを決定することと、
該少なくとも1つの物体が該コマンドの遂行を妨げるとの決定に応答して、該コマンドを更新することであって、その結果、更新されたコマンドは、該コマンドの遂行中に該少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む、ことと、
該更新されたコマンドに従って該AVをナビゲートすることと
を行うように構成されている、システム。
項22。 上記プロセッサは、
上記センサーデータを地図データと比較することであって、該地図データは、上記AVの前方の上記道路上にある予想される物体の位置座標を含む、ことと、
該センサーデータを該地図データと比較することに少なくとも部分的に基づいて、該センサーデータが、該地図データにはない予期せぬ物体を示しているかどうかを決定することと、
該センサーデータが、該地図データにはない該予期せぬ物体を示しているとの決定に応答して、
該予期せぬ物体の位置座標を決定することと、
該AVが該予期せぬ物体を回避するための、提案されたナビゲーション命令を決定することと
を行うようにさらに構成されている、項21に記載のシステム。
項23。 上記プロセッサは、上記センサーデータが上記予期せぬ物体は上記地図データには示されていないということを示しているという決定に応答して、上記提案されたナビゲーション命令を遂行するようにさらに構成されている、項22に記載のシステム。
項24。 上記プロセッサは、上記センサーデータが上記予期せぬ物体は上記地図データにはないということを示しているという決定に応答して、
上記提案されたナビゲーション命令を上記オペレーションサーバに通信することと、
該オペレーションサーバから該提案されたナビゲーション命令を遂行することの確認が受信されたかどうかを決定することと、
該オペレーションサーバからの該確認の受信に応答して、該提案されたナビゲーション命令を遂行することと
を行うようにさらに構成されている、項22から23のいずれかに記載のシステム。
項25。 上記プロセッサは、上記センサーデータが上記予期せぬ物体は上記地図データにはないということを示しているという決定に応答して、
上記センサーデータを上記オペレーションサーバに通信することと、
該センサーデータに少なくとも部分的に基づいて該予期せぬ物体を回避する命令を提供するように該オペレーションサーバに要求することと
を行うようにさらに構成されている、項22から24のいずれかに記載のシステム。
項26。上記オペレーションサーバは、第2のプロセッサを備え、該第2のプロセッサは、
上記AVの前方の上記道路に関連付けられた環境データにアクセスすることであって、
該環境データは、気象データおよび交通データのうちの少なくとも1つを含み、
該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
該環境データを、上記地図データと比較することと、
該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない上記予期せぬ道路状態を含むかどうかを決定することと、
該環境データが、該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、該予期せぬ道路状態を回避するように操縦するために、上記コマンドを該AVに通信することと
を行うように構成されている、項21から25のいずれかに記載のシステム。
項27。 上記プロセッサは、上記オペレーションサーバからの上記コマンドの受信に応答して、上記センサーデータを該オペレーションサーバに通信するようにさらに構成されており、
上記第2のプロセッサは、
上記制御装置から該センサーデータを受信することと、
上記1つ以上の後続AVが上記複数の物体を回避している間に上記予期せぬ道路状態を回避するための、1つ以上の命令を含む第2のコマンドを生成することであって、該第2のコマンドは、上記コマンドに示された該予期せぬ道路状態の上記位置座標、および該センサーデータに示された該複数の物体の上記位置座標を含み、
該1つ以上の後続AVは、該AVの後方の上記道路上にあり、
該1つ以上の後続AVは、該オペレーションサーバに通信可能に結合されている、ことと、
該第2のコマンドを該1つ以上の後続AVに通信することと
を行うようにさらに構成されている、項26に記載のシステム。
項28。 方法であって、該方法は、
オペレーションサーバから、予期せぬ道路状態を回避するように自律車両(AV)をナビゲートするためコマンドを受信することであって、
該AVは、少なくとも1つの車両センサーを備え、
該AVは、道路に沿って移動するように構成されている、ことと、
該少なくとも1つの車両センサーから、該AVの前方の複数の物体の位置座標を含むセンサーデータを受信することと、
該複数の物体のうちの少なくとも1つの物体が該コマンドの遂行を妨げるかどうかを決定することと、
該複数の物体のうちの少なくとも1つの物体が該コマンドの遂行を妨げるとの決定に応答して、該コマンドを更新することであって、その結果、更新されたコマンドは、該コマンドの遂行中に該少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む、ことと、
該更新されたコマンドに従って該AVをナビゲートすることと
を含む、方法。
項29。1つ以上のコンピューティングエージェントユニットによって、上記AVの1つ以上の構成要素から1つ以上の健康情報報告を収集することであって、該1つ以上の健康情報報告のそれぞれは、該AVの対応する構成要素のパフォーマンスのステータスを示す、ことと、
該1つ以上のコンピューティングエージェントユニットによって、該1つ以上の健康情報報告を上記オペレーションサーバに通信することと
をさらに含む、項28に記載の方法。
項30。 1つ以上のコンピューティングエージェントユニットによって、上記AVと上記オペレーションサーバとの間の第1の通信チャネルを確立することと、
該1つ以上のコンピューティングエージェントユニットによって、該オペレーションサーバから定期的な間隔ごとに第1の定期メッセージを受信し、該第1の通信チャネルが失われたかどうかを決定することであって、少なくとも1つの定期的な間隔において該第1の定期メッセージが受信されなかった場合には、該第1の通信チャネルが失われたと決定される、ことと、
該第1の通信チャネルが失われたとの決定に応答して、該1つ以上のコンピューティングエージェントユニットによって、該AVと、該AVの後方の上記道路上の後続AVとの間の第2の通信チャネルを確立することと
をさらに含む、項28または29に記載の方法。
項31。 1つ以上のコンピューティングエージェントユニットによって、上記AVと該AVの後方の上記道路上の後続AVとの間の第3の通信チャネルを確立することと、
該1つ以上のコンピューティングエージェントユニットによって、該後続AVから、定期的な時間間隔ごとに第2の定期メッセージを受信し、該第3の通信チャネルが失われたかどうかを決定することであって、少なくとも1つの定期的な間隔において該第2の定期メッセージが受信されなかった場合には、該第3の通信チャネルが失われたと決定される、ことと、
該第3の通信チャネルが失われたとの決定に応答して、該1つ以上のコンピューティングエージェントユニットによって、該AVと、上記オペレーションサーバとの間の第4の通信チャネルを確立することと
をさらに含む、項28から30のいずれかに記載の方法。
項32。 上記予期せぬ道路状態は、上記地図データには含まれていない、予期せぬ気象条件、予期せぬ交通渋滞、予期せぬ道路閉鎖、および予期せぬ建設区域のうちの少なくとも1つを含む、項28から31のいずれかに記載の方法。
項33。 上記コマンドは、
上記AVによる、自律運転から手動運転への移行、
該AVによる、該AVの前方の上記道路上にある障害物の回避、
該AVによる、1つ以上の障害物が検出された1つ以上の一定の車線の回避、
該AVによる、上記予期せぬ道路状態が検出された1つ以上の一定のルートの回避、
該AVによる、特定のルート変更、および
該先頭AVによる、該先頭AVに関連付けられた運転指示に示されている速度よりも遅いまたは速い速度での運転、
のうちの少なくとも1つに関連している、項28から32のいずれかに記載の方法。
項34。 上記コマンドは、上記道路上の、上記AVおよび該AVの後方にある1つ以上の後続AVに向けられる広範コマンドを含み、
該広範コマンドは、該AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、項28から33のいずれかに記載の方法。
項35。 上記コマンドは、上記AVに向けられる特殊コマンドを含み、
該特殊コマンドは、該AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、項28から34のいずれかに記載の方法。
項36。 実行可能な命令を含むコンピュータプログラムであって、該命令は、1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、
オペレーションサーバから、予期せぬ道路状態を回避するように自律車両(AV)をナビゲートするためコマンドを受信することであって、
該AVは、少なくとも1つの車両センサーを備え、
該AVは、道路に沿って移動するように構成されている、ことと、
該少なくとも1つの車両センサーから、該AVの前方の複数の物体の位置座標を含むセンサーデータを受信することと、
該少なくとも1つの物体が該コマンドに従って該AVをナビゲートするための経路上にあるように、該複数の物体のうちの少なくとも1つの物体が該コマンドの遂行を妨げるかどうかを決定することと、
該少なくとも1つの物体が該コマンドの遂行を妨げるとの決定に応答して、該コマンドを更新することであって、その結果、更新されたコマンドは、該コマンドの遂行中に該少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む、ことと、
該更新されたコマンドに従って該AVをナビゲートすることと
を行わせる、コンピュータプログラム。
項37。 上記命令は、上記1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、上記環境データが上記地図データに含まれていない上記予期せぬ道路状態を含むとの決定に応答して、上記AVの後方において上記道路に沿って移動している1つ以上の後続AVに該コマンドを伝搬することをさらに行わせる、項36に記載のコンピュータプログラム。
項38。 上記コマンドは、設定コマンドを含み、
該設定コマンドは、上記少なくとも1つの車両センサーの方向の変更、および該少なくとも1つの車両センサーのデータサンプリング周波数の変更のうちの少なくとも1つを含む、項36または37に記載のコンピュータプログラム。
項39。 上記少なくとも1つの車両センサーは、カメラ、光検知測距(LiDAR)センサー、モーションセンサー、および赤外線センサーのうちの少なくとも1つを含む、項36から38のいずれかに記載のコンピュータプログラム。
項40。 上記AVは、トレーラーに取り付けられたトラクターユニットである、項36から39のいずれかに記載のコンピュータプログラム。
項41。 システムであって、該システムは、
少なくとも1つの車両センサーを備える先頭自律車両(AV)であって、該先頭AVは、道路に沿って移動するように構成されている、先頭自律車両(AV)と、
該先頭AVとは異なり、該先頭AVに通信可能に結合されている、後続AVであって、該後続AVは、該先頭AVの後方を該道路に沿って移動している、後続AVと、
該先頭AVに関連付けられており、第1のプロセッサを備えている、第1の制御装置とを含み、該第1のプロセッサは、
該先頭AVの前方の予期せぬ道路状態を回避するように該先頭AVをナビゲートするためコマンドを受信することと、
該少なくとも1つの車両センサーから、該先頭AVの前方の第1の複数の物体の位置座標を含むセンサーデータを受信することと、
該先頭AVと該後続AVとの間の道路の部分に関連付けられた環境データの第1のセットにアクセスすることであって、該環境データの第1のセットは、該先頭AVと該後続AVとの間の第2の複数の物体の位置座標を含む、ことと、
該第1および第2の複数の物体のうちの少なくとも1つの物体が、該後続AVによる該コマンドの遂行を妨げるかどうかを決定することと、
該少なくとも1つの物体が該後続AVによる該コマンドの遂行を妨げるとの決定に応答して、該センサーデータおよび該環境データの第1のセットに少なくとも部分的に基づいて、該後続AVに対するコマンドを更新し、その結果、該更新されたコマンドは、該コマンドの遂行中に該少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む、ことと、
該更新されたコマンドを該後続AVに通信することと
を行うように構成されている、システム。
項42。 上記予期せぬ道路状態は、予期せぬ気象条件、および予期せぬ交通渋滞のうちの少なくとも1つを含む、項41に記載のシステム。
項43。 該環境データの第1のセットは、上記後続AVが上記道路に沿って移動している間の時間窓に関連付けられている、項41または42に記載のシステム。
項44。 上記後続AVに関連付けられており、第2のプロセッサを備えている、第2の制御装置をさらに含み、該第2のプロセッサは、
上記先頭AVから、上記更新されたコマンドを受信することと、
該更新されたコマンドに従って該後続AVをナビゲートすることと
を行うように構成されている、項41から43のいずれかに記載のシステム。
項45。 上記後続AVは、第1の後続AVを含み、上記システムは、該第1の後続AVと通信可能に結合されている第2の後続AVをさらに含み、該第2の後続AVは、該第1の後続AVの後方の上記道路に沿って移動しており、
上記第2のプロセッサは、
該第1の後続AVと該第2の後続AVとの間の該道路の部分に関連付けられている環境データの第2のセットにアクセスすることであって、該環境データの第2のセットは、該第1の後続AVと該第2の後続AVとの間の第3の複数の物体の位置座標を含む、ことと、
該第3の複数の物体のうちの少なくとも1つの物体が上記更新されたコマンドの遂行を妨げるかどうかを決定することと、
該少なくとも1つの物体が該更新されたコマンドの遂行を妨げるという決定に応答して、該環境データの上記第1および該第2のセットの集合に少なくとも部分的に基づいて、該更新されたコマンドを更新することによって第2の更新されたコマンドを生成することであって、その結果、該第2の更新されたコマンドは、該更新されたコマンドを遂行している間に該第3の複数の物体のうちの該少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む、ことと、
該第2の更新されたコマンドを該第2の後続AVに通信することと
を行うようにさらに構成されている、項44に記載のシステム。
項46。 上記先頭AVと上記後続AVとは、車両対車両(V2V)通信範囲内にあり、
該V2V通信範囲は、該先頭AVと該後続AVとの間の通信パスを確立するために該先頭AVおよび該後続AVにおいて実装されるV2Vモジュールの閾値距離に対応する、項41から45のうちのいずれかに記載のシステム。
項47。 上記第1のプロセッサは、
上記先頭AVと上記第2の後続AVとが車両対車両(V2V)通信範囲内にあることに応答して、上記環境データの第1および第2のセットの集合に少なくとも部分的に基づいて、該第2の後続AVに対して上記第2の更新されたコマンドを生成することと、
該第2の更新されたコマンドを該第2の後続AVに通信することと
を行うようにさらに構成されている、項45に記載のシステム。
項48。 方法であって、該方法は、
先頭自律車両(AV)の前方の予期せぬ道路状態を回避するように該先頭AVをナビゲートするためコマンドを受信することであって、
該先頭AVは、少なくとも1つの車両センサーを備え、
該先頭AVは、道路に沿って移動するように構成されている、ことと、
該少なくとも1つの車両センサーから、該先頭AVの前方の複数の物体の位置座標を含むセンサーデータを受信することと、
該先頭AVと後続AVとの間の該道路の部分に関連付けられた環境データの第1のセットにアクセスすることであって、
該後続AVは、該先頭AVに通信可能に結合されており、かつ該先頭AVの後方を該道路に沿って移動しており、
該環境データの第1のセットは、該先頭AVと該後続AVとの間の第2の複数の物体の位置座標を含む、ことと、
該第1および第2の複数の物体のうちの少なくとも1つの物体が、該後続AVによる該コマンドの遂行を妨げるかどうかを決定することと、
該少なくとも1つの物体が該後続AVによる該コマンドの遂行を妨げるとの決定に応答して、該センサーデータおよび該環境データの第1のセットに少なくとも部分的に基づいて、該後続AVに対するコマンドを更新し、その結果、該更新されたコマンドは、該コマンドの遂行中に該少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む、ことと、
該更新されたコマンドを該後続AVに通信することと
を含む、方法。
項49。 上記センサーデータに少なくとも部分的に基づいて、上記先頭AVをナビゲートするためのコマンドを更新することによって第2の更新されたコマンドを生成することであって、その結果、該第2の更新されたコマンドは、該コマンドを遂行している間に上記第1の複数の物体を回避するための1つ以上のナビゲーション命令を含む、ことと、
該第2の更新されたコマンドに従って該先頭AVをナビゲートすることと
をさらに含む、項48に記載の方法。
項50。 上記先頭AVの前方の上記道路の部分に関連付けられた環境データにアクセスすることであって、該環境データは、該先頭AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
該環境データを、該先頭AVの前方の予想される道路状態を含む地図データと比較することと、
該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
該環境データが該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
該予期せぬ道路状態の位置座標を決定することと、
該予期せぬ道路状態を回避するように操縦するために、上記コマンドを該先頭AVに通信することと
をさらに含む、項48または49に記載の方法。
項51。 上記センサーデータを上記地図データと比較することであって、該地図データは、上記先頭AVの前方の上記道路上の予想される物体の位置座標を含む、ことと、
該センサーデータを該地図データと比較することに少なくとも部分的に基づいて、該センサーデータが、該地図データにはない予期せぬ物体を示しているかどうかを決定することと、
該センサーデータが該地図データにはない該予期せぬ物体を示しているという決定に応答して、
該予期せぬ物体の位置座標を決定することと、
該先頭AVが該予期せぬ物体を回避するための、提案されたナビゲーション命令を決定することと
をさらに含む、項48から50のいずれかに記載の方法。
項52。 上記センサーデータが上記地図データにはない上記予期せぬ物体を示しているという決定に応答して、上記提案されたナビゲーション命令を遂行することをさらに含む、項51に記載の方法。
項53。 上記センサーデータが上記地図データにはない上記予期せぬ物体を示しているという決定に応答して、
上記提案されたナビゲーション命令をオペレーションサーバに通信することと、
該オペレーションサーバから該提案されたナビゲーション命令を遂行することの確認が受信されたかどうかを決定することと、
該オペレーションサーバからの該確認の受信に応答して、該提案されたナビゲーション命令を遂行することと
をさらに含む、項51または52に記載の方法。
項54。 上記センサーデータが上記地図データにはない上記予期せぬ物体を示しているという決定に応答して、
上記センサーデータをオペレーションサーバに通信することと、
該センサーデータに少なくとも部分的に基づいて該予期せぬ物体を回避する命令を提供するように該オペレーションサーバに要求することと
をさらに含む、項51から53のいずれかに記載の方法。
項55。 上記コマンドは、
上記先頭AVによる、自律運転から手動運転への移行、
該先頭AVによる、該先頭AVの前方の上記道路上にある障害物の回避、
該先頭AVによる、1つ以上の障害物が検出された1つ以上の一定の車線の回避、
該先頭AVによる、上記予期せぬ道路状態が検出された1つ以上の一定のルートの回避、
該先頭AVによる、特定のルート変更、および
該先頭AVによる、該先頭AVに関連付けられた運転指示に示されている速度よりも遅いまたは速い速度での運転、
のうちの少なくとも1つに関連している、項48から54のいずれかに記載の方法。
項56。実行可能な命令を含むコンピュータプログラムであって、該命令は、1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、
先頭自律車両(AV)の前方の予期せぬ道路状態を回避するために該先頭AVをナビゲートするためのコマンドを受信することであって、
該先頭AVは、少なくとも1つの車両センサーを備え、
該先頭AVは、道路に沿って移動するように構成されている、ことと、
該少なくとも1つの車両センサーから、該先頭AVの前方の第1の複数の物体の位置座標を含むセンサーデータを受信することと、
該先頭AVと後続AVとの間の該道路の部分に関連付けられた環境データの第1のセットにアクセスすることであって、
該後続AVは、該先頭AVに通信可能に結合されており、かつ該先頭AVの後方を該道路に沿って移動しており、
該環境データの第1のセットは、該先頭AVと該後続AVとの間の第2の複数の物体の位置座標を含む、ことと、
該第1および第2の複数の物体のうちの少なくとも1つの物体が、該後続AVによる該コマンドの遂行を妨げるかどうかを決定することと、
該少なくとも1つの物体が該後続AVによる該コマンドの遂行を妨げるとの決定に応答して、該センサーデータおよび該環境データの第1のセットに少なくとも部分的に基づいて、該後続AVに対するコマンドを更新し、その結果、該更新されたコマンドは、該コマンドの遂行中に該少なくとも1つの物体を回避するための1つ以上のナビゲーション命令を含む、ことと、
該更新されたコマンドを該後続AVに通信することと
を行わせる、コンピュータプログラム。
項57。 上記コマンドは、上記道路上の、上記先頭AVおよび該先頭AVの後方にある1つ以上の後続AVに向けられる広範コマンドを含み、
該広範コマンドは、該先頭AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、項56に記載のコンピュータプログラム。
項58。 上記コマンドは、上記先頭AVに向けられる特殊コマンドを含み、
該特殊コマンドは、該先頭AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、項56または57に記載のコンピュータプログラム。
項59。 上記コマンドは、設定コマンドを含み、
該設定コマンドは、上記少なくとも1つの車両センサーの方向の変更、および該少なくとも1つの車両センサーのデータサンプリング周波数の変更のうちの少なくとも1つを含む、項56から58のいずれかに記載のコンピュータプログラム。
項60。 上記少なくとも1つの車両センサーは、カメラ、光検知測距(LiDAR)センサー、モーションセンサー、および赤外線センサーのうちの少なくとも1つを含む、項56から59のいずれかに記載のコンピュータプログラム。

Claims (20)

  1. システムであって、該システムは、
    少なくとも1つの車両センサーを備える自律車両(AV)であって、該AVは、道路に沿って移動するように構成されている、自律車両(AV)と、
    該AVに通信可能に結合されたオペレーションサーバと
    を含み、
    該オペレーションサーバは、プロセッサを備えており、該プロセッサは、
    該AVの前方の該道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
    該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
    該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
    該環境データが該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
    該予期せぬ道路状態の位置座標を決定することと、
    該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
    を行うように構成されている、システム。
  2. 前記AVに関連付けられている制御装置をさらに含み、該制御装置は、第2のプロセッサを備えており、該第2のプロセッサは、
    該少なくとも1つの車両センサーから、該AVの前方の前記道路上の複数の物体の位置座標を含むセンサーデータを受信することと、
    該センサーデータに少なくとも部分的に基づいて、更新されたコマンドが、該AVが該コマンドの遂行中に該複数の物体を回避するための1つ以上の命令を含むように、前記コマンドを更新することと、
    該更新されたコマンドに従って該AVをナビゲートすることと
    を行うように構成されている、請求項1に記載のシステム。
  3. 前記第2のプロセッサは、前記AVの後方に並んで移動している1つ以上の後続AVに前記更新されたコマンドを通信するようにさらに構成されている、請求項2に記載のシステム。
  4. 前記第2のプロセッサは、
    前記センサーデータを前記地図データと比較することであって、該地図データは、前記AVの前方の前記道路上にある予想される物体の位置座標を含む、ことと、
    該センサーデータを該地図データと比較することに少なくとも部分的に基づいて、該センサーデータが、予期せぬ物体は該地図データにはないことを示しているかどうかを決定することと、
    該センサーデータが該予期せぬ物体は該地図データにはないことを示しているという決定に応答して、該AVが該予期せぬ物体を回避するための、提案されたナビゲーション命令を決定することと
    を行うようにさらに構成されている、請求項2に記載のシステム。
  5. 前記第2のプロセッサは、前記センサーデータが前記予期せぬ物体は前記地図データにはないことを示しているという決定に応答して、前記提案されたナビゲーション命令を遂行するようにさらに構成されている、請求項2に記載のシステム。
  6. 前記第2のプロセッサは、
    前記センサーデータが前記予期せぬ物体は前記地図データにはないことを示しているという決定に応答して、
    前記提案されたナビゲーション命令を前記オペレーションサーバに通信することと、
    該オペレーションサーバから該提案されたナビゲーション命令を遂行することの確認が受信されたかどうかを決定することと、
    該オペレーションサーバからの該確認の受信に応答して、該提案されたナビゲーション命令を遂行することと
    を行うようにさらに構成されている、請求項2に記載のシステム。
  7. 前記第2のプロセッサは、
    前記センサーデータが前記予期せぬ物体は前記地図データにはないことを示しているという決定に応答して、
    該センサーデータを前記オペレーションサーバに通信することと、
    該センサーデータに少なくとも部分的に基づいて該予期せぬ物体を回避する命令を提供するように、該オペレーションサーバに要求することと
    を行うようにさらに構成されている、請求項2に記載のシステム。
  8. 前記AVとは異なる1つ以上の後続AVをさらに含み、
    該1つ以上の後続AVは、該AVの後方の前記道路上にあり、
    該1つ以上の後続AVは、前記オペレーションサーバに通信可能に結合されており、
    前記プロセッサは、
    前記環境データが前記地図データに含まれていない前記予期せぬ道路状態を含むとの決定に応答して、
    前記制御装置から前記センサーデータを受信することと、
    該1つ以上の後続AVが前記複数の物体を回避している間に該予期せぬ道路状態を回避するための、1つ以上の命令を含む第2のコマンドを生成することであって、該第2のコマンドは、前記コマンドに示された該予期せぬ道路状態の前記位置座標、および前記センサーデータに示された該複数の物体の前記位置座標を含む、ことと、
    該第2のコマンドを該1つ以上の後続AVに通信することと
    を行うようにさらに構成されている、請求項1に記載のシステム。
  9. 方法であって、該方法は、
    自律車両(AV)の前方の道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
    該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
    該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
    該環境データが該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
    該予期せぬ道路状態の位置座標を決定することと、
    該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
    を含む、方法。
  10. 前記予期せぬ道路状態は、前記地図データには含まれていない、予期せぬ気象条件、予期せぬ交通渋滞、予期せぬ道路閉鎖、および予期せぬ建設区域のうちの少なくとも1つを含む、請求項9に記載の方法。
  11. 前記環境データは、気象データおよび交通データのうちの少なくとも1つを含む、請求項9に記載の方法。
  12. 前記コマンドは、
    前記AVによる、自律運転から手動運転への移行、
    該AVによる、該AVの前方の道路上の障害物の回避、
    該AVによる、1つ以上の障害物が検出された1つ以上の一定の車線の回避、
    該AVによる、前記予期せぬ道路状態が検出された1つ以上の一定のルートの回避、
    該AVによる、特定のルート変更、および
    該先頭AVによる、該先頭AVに関連付けられた運転指示に示されている速度よりも遅いまたは速い速度での運転、
    のうちの少なくとも1つに関連している、請求項9に記載の方法。
  13. 前記コマンドは、前記道路上の、前記AVおよび該AVの後方にある1つ以上の後続AVに向けられる広範コマンドを含み、
    該広範コマンドは、該AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、請求項9に記載の方法。
  14. 前記コマンドは、前記AVに向けられる特殊コマンドを含み、
    該特殊コマンドは、該AVの前方の特定の予期せぬ道路状態を回避するための1つ以上のナビゲーション命令を含む、請求項9に記載の方法。
  15. 非一時的なコンピュータ読取り可能媒体に格納された実行可能な命令を含むコンピュータプログラムであって、該命令は、1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、
    自律車両(AV)の前方の道路に関連付けられた環境データにアクセスすることであって、該環境データは、該AVが該道路に沿って移動している間の時間窓に関連付けられている、ことと、
    該環境データを、該AVの前方の予想される道路状態を含む地図データと比較することと、
    該環境データを該地図データと比較することに少なくとも部分的に基づいて、該環境データが該地図データに含まれていない予期せぬ道路状態を含むかどうかを決定することと、
    該環境データが、該地図データに含まれていない該予期せぬ道路状態を含むとの決定に応答して、
    該予期せぬ道路状態の位置座標を決定することと、
    該予期せぬ道路状態を回避するように操縦するために、コマンドを該AVに通信することと
    を行わせる、コンピュータプログラム。
  16. 前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、前記環境データが前記地図データに含まれていない前記予期せぬ道路状態を含むとの決定に応答して、前記AVの後方において前記道路に沿って移動している1つ以上の後続AVに該コマンドを伝搬することをさらに行わせる、請求項15に記載のコンピュータプログラム。
  17. 前記コマンドは、設定コマンドを含む、請求項15に記載のコンピュータプログラム。
  18. 前記設定コマンドは、前記少なくとも1つの車両センサーの方向の変更、および該少なくとも1つの車両センサーのデータサンプリング周波数の変更のうちの少なくとも1つを含む、請求項15に記載のコンピュータプログラム。
  19. 前記AVは少なくとも1つの車両センサーを備えており、該少なくとも1つの車両センサーは、カメラ、光検知測距(LiDAR)センサー、モーションセンサー、および赤外線センサーのうちの少なくとも1つを含む、請求項15に記載のコンピュータプログラム。
  20. 前記AVは、トレーラーに取り付けられたトラクターユニットである、請求項15に記載のコンピュータプログラム。
JP2022074210A 2021-04-29 2022-04-28 自律車両の通信に対する監督システム Pending JP2022171625A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US17/243,981 US11767032B2 (en) 2021-04-29 2021-04-29 Direct autonomous vehicle to autonomous vehicle communications
US17/243,900 2021-04-29
US17/243,900 US20220348223A1 (en) 2021-04-29 2021-04-29 Autonomous vehicle to oversight system communications
US17/243,785 US11767031B2 (en) 2021-04-29 2021-04-29 Oversight system to autonomous vehicle communications
US17/243,981 2021-04-29
US17/243,785 2021-04-29

Publications (1)

Publication Number Publication Date
JP2022171625A true JP2022171625A (ja) 2022-11-11

Family

ID=81306903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022074210A Pending JP2022171625A (ja) 2021-04-29 2022-04-28 自律車両の通信に対する監督システム

Country Status (3)

Country Link
EP (1) EP4089368A1 (ja)
JP (1) JP2022171625A (ja)
CN (1) CN115257799A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141112B1 (en) * 2013-10-16 2015-09-22 Allstate Insurance Company Caravan management
EP3690852A1 (en) * 2019-01-29 2020-08-05 Volkswagen Aktiengesellschaft System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component
US11535255B2 (en) * 2019-02-28 2022-12-27 Toyota Motor North America, Inc. Micro-weather reporting

Also Published As

Publication number Publication date
EP4089368A1 (en) 2022-11-16
CN115257799A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
US11157008B2 (en) Autonomous vehicle routing using annotated maps
US20190146508A1 (en) Dynamic vehicle routing using annotated maps and profiles
EP4120217A1 (en) Batch control for autonomous vehicles
US20230134068A1 (en) Autonomous Vehicle Navigation in Response to a Stopped Vehicle at a Railroad Crossing
US20230139933A1 (en) Periodic mission status updates for an autonomous vehicle
US11932286B2 (en) Responder oversight system for an autonomous vehicle
US20230303122A1 (en) Vehicle of interest detection by autonomous vehicles based on amber alerts
US20220348223A1 (en) Autonomous vehicle to oversight system communications
US20220250656A1 (en) Systems and methods for vehicular-network-assisted federated machine learning
US20230324188A1 (en) Autonomous vehicle fleet scheduling to maximize efficiency
US11767031B2 (en) Oversight system to autonomous vehicle communications
US11767032B2 (en) Direct autonomous vehicle to autonomous vehicle communications
EP4089368A1 (en) Oversight system to autonomous vehicle communications
US20230365143A1 (en) System and method for remote control guided autonomy for autonomous vehicles
US20230199450A1 (en) Autonomous Vehicle Communication Gateway Architecture
WO2023220509A1 (en) System and method for remote control guided autonomy for autonomous vehicles
US20230182742A1 (en) System and method for detecting rainfall for an autonomous vehicle
US20230384797A1 (en) System and method for inbound and outbound autonomous vehicle operations
US20230300877A1 (en) Dynamic allocation of communication network resources for autonomous vehicles
US20230136434A1 (en) Lane bias maneuver for autonomous vehicles to negotiate a curved road
WO2023122586A1 (en) Autonomous vehicle communication gateway architecture
WO2023076887A1 (en) Autonomous vehicle maneuver in response to construction zone hand signals
WO2023076891A1 (en) Hand signal detection system using oversight
WO2023229731A1 (en) System and method for inbound and outbound autonomous vehicle operations