JP2021534490A - 自律型車両のための行列の検出および行列に対する応答 - Google Patents

自律型車両のための行列の検出および行列に対する応答 Download PDF

Info

Publication number
JP2021534490A
JP2021534490A JP2021507573A JP2021507573A JP2021534490A JP 2021534490 A JP2021534490 A JP 2021534490A JP 2021507573 A JP2021507573 A JP 2021507573A JP 2021507573 A JP2021507573 A JP 2021507573A JP 2021534490 A JP2021534490 A JP 2021534490A
Authority
JP
Japan
Prior art keywords
objects
matrix
vehicle
involved
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021507573A
Other languages
English (en)
Other versions
JP7176098B2 (ja
Inventor
シルバー,デイビッド,ハリソン
ヤン,キチ
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2021534490A publication Critical patent/JP2021534490A/ja
Application granted granted Critical
Publication of JP7176098B2 publication Critical patent/JP7176098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18154Approaching an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/08Predicting or avoiding probable or impending collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/14Cruise control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、行列の検出、かつ行列に対する応答に関する。例えば、車両(100)の環境内の2つ以上の物体を識別するセンサデータが、受信され得る。2つ以上の物体は、所定の規則に同じ方法で違反していると判定され得る。2つ以上の物体が所定の規則に違反しているという判定に基づいて、2つ以上の物体は、行列に関与するということが、判定され得る。次いで、車両は、2つ以上の物体が行列に関与するという判定に基づいて、行列に対して応答するために、自律的に制御され得る。【選択図】図8

Description

関連出願の相互参照
本出願は、2018年8月20日に出願された出願第16/105,233号の優先権を主張し、その開示は、参照により本明細書に組み込まれる。
人間の運転者を必要としない車両などの自律型車両が、ある場所から別の場所への乗員または物品の輸送を支援するために使用される場合がある。かかる車両は、乗員が集荷または目的地などのいくつかの初期入力を提供することができ、かつ車両がその場所に車両自体を操縦する、完全な自律モードで動作し得る。
自律型車両または自律運転モードで動作する車両の堅牢な動作には、車両が行列に遭遇するときなどの、予想外の状況への適切な応答が必要とされる。行列は、パレード、行進、葬列、車列などの、共に移動する車両または人のグループを含み得る。これらはまれな状況であるが、合法的にまたは礼儀の観点から、まったく異なる交通規則を典型的に引き起こす。したがって、このような行列を検出し、かつ行列に対して応答できることは、安全で効果的な自律運転を確実にするために特に重要であり得る。
本開示の態様は、行列を検出し、かつ行列に応答する方法を提供する。本方法は、1つ以上のプロセッサによって、車両の環境内の2つ以上の物体を識別するセンサデータを受信することと、1つ以上のプロセッサによって、2つ以上の物体が所定の規則に同じ方法で違反していることを判定することと、2つ以上の物体が所定の規則に違反しているという判定に基づいて、1つ以上のプロセッサによって、2つ以上の物体が行列に関与することを判定することと、2つ以上の物体が行列に関与するという判定に基づいて、行列に応答するために、1つ以上のプロセッサによって、車両を自律的に制御することと、を含む。
一実施例では、所定の規則は、2つ以上の物体が違反している交通の優先順位を定義する。別の実施例では、2つ以上の物体が行列に関与することを判定することは、所定の規則に違反していると判定された閾値最小限の数の物体に基づく。この実施例では、2つ以上の物体が行列に関与することを判定することは、少なくとも閾値最小限の期間にわたって所定の規則に違反する閾値最小限の数の物体に基づく。別の実施例では、2つ以上の物体が行列に関与することを判定することは、少なくとも閾値最小限の期間にわたって所定の規則に違反していると判定された物体に基づく。別の実施例では、本方法はまた、行列が車列または葬列であることを判定することを含む。別の実施例では、本方法はまた、行列がパレードまたは行進であることを判定することを含む。別の実施例では、所定の規則は、赤信号で停止する、または一時停止標識を走行することのうちの一方を含む。別の実施例では、1つ以上のプロセッサによって、2つ以上の物体が行列に関与することを判定することは、各々が所定の規則に違反しているいくつかの追加の物体にさらに基づく。別の実施例では、1つ以上のプロセッサによって、2つ以上の物体が行列に関与することを判定することは、追加の物体もまた所定の規則に違反している間の時間の量にさらに基づく。別の実施例では、本方法はまた、センサデータから緊急車両を識別することを含み、2つ以上の物体が行列に関与することを判定することは、緊急車両にさらに基づく。この実施例では、2つ以上の物体が行列に関与することを判定することは、2つ以上の物体に対する緊急車両の場所にさらに基づく。この実施例では、2つ以上の物体が行列に関与することを判定することは、緊急車両が交差点内で停止しているかどうかにさらに基づく。別の実施例では、本方法はまた、センサデータから交通を誘導している歩行者を識別することを含み、2つ以上の物体が行列に関与することを判定することは、識別された交通を誘導している歩行者にさらに基づく。
別の実施例では、本方法はまた、センサデータから旗、標識、またはバナーを保持している歩行者を識別することを含み、2つ以上の物体が行列に関与することを判定することは、旗、標識、またはバナーを保持している識別された歩行者にさらに基づく。別の実施例では、本方法はまた、2つ以上の物体のうちの少なくとも1つが旗またはバッジを有することを識別することを含み、2つ以上の物体が行列に関与することを判定することは、2つ以上の物体のうちの少なくとも1つが旗またはバッジを有するという識別にさらに基づく。別の実施例では、本方法はまた、2つ以上の物体のうちの2つの間の追加の物体が所定の規則に違反していないことを判定することを含み、2つ以上の物体が行列に関与することを判定することは、2つ以上の物体のうちの2つの間の追加の物体が所定の規則に違反していないという判定にさらに基づく。別の実施例では、本方法はまた、所定の規則に同じ方法で違反している2つ以上の物体のうちの2つの間の時間的間隔を判定することを含み、2つ以上の物体が行列に関与することを判定することは、時間的間隔にさらに基づく。別の実施例では、本方法はまた、行列に関与する2つ以上の物体が、行列に関する地域の規制にさらに基づくことを判定することを含む。別の実施例では、本方法はまた、グループとして行列に関与する2つ以上の物体に道を譲ることを含む、車両を制御することを含む。
本開示の態様による、例示的な車両の機能図である。 本開示の態様による、詳細な地図情報の例示的な表現である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、例示的なシステムの絵図である。 本開示の態様による、図4のシステムの機能図である。 本開示の態様による、車道の区分の図である。 本開示の態様による、車道およびセンサデータの区分の図である。 本開示の態様による、車道およびセンサデータの区分の別の図である。 本開示の態様による、フロー図である。
概要
本技術は、完全な自律型車両または自律運転モードで動作する車両のための行列の検出および行列に対する応答に関する。行列は、パレード、行進、葬列、車列などの、共に移動する車両または人のグループを含み得る。これらはまれな状況であるが、合法的にまたは礼儀の観点から、まったく異なる交通規則を典型的に引き起こす。したがって、このような行列を検出し、かつ行列に対して応答できることは、安全で効果的な自律運転を確実にするために特に重要であり得る。
車両の知覚システムは、様々なセンサを使用して、車両の周囲にある物体を検出および識別し得る。この情報は、この情報、地図データ、ならびに異なる状況に応答するための規則の組み合わせに基づいて、車両を操縦する方法を判定するために使用され得る。
行列を検出するために、知覚システムからのセンサデータを分析して、任意の検出された物体が規則のうちの1つに違反しているかどうかを判定することができる。この情報を使用して、行列検出器は、物体が行列に関与するかどうかを検出するために使用され得る。一例では、検出器は、1つ以上の閾値が満たされるかどうかに基づいて、行列が存在するかどうかを判定することができる。他の例では、物体が行列に関与するかどうかは、より微妙な場合ある。例えば、追加の各物体が同じ規則に同じ方法で違反していると、物体が行列に関与する尤度を増加させ得る。加えてまたは代替的に、追加の秒ごとまたはその程度の時間、物体が同じ規則に同じ方法で違反し続けるとまた、物体が行列に関与する尤度を増加させ得る。
他の信号が、行列の尤度をさらに増加または減少させる場合がある。例えば、物体を識別することなどの視覚的信号もまた、行列の尤度を増加させ得る。同じ規則に同じ方法で違反しているように見えない物体が存在する場合、これは、行列の尤度を減少させるか、または行列の尤度に影響を与えない場合がある。同様に、物体が規則に従っている間に時間的間隔が存在する場合、これは行列の尤度を減少させ得る。場合によっては、地域の規制が、検出器によって考慮され得る。
一度尤度がある閾値に達すると、検出器は、行列が存在することを判定し得る。一度検出器が、行列が存在すると判定すると、この情報は、車両のプランナに送信され、行列に応答する方法、したがって車両を制御する方法を決定するために使用され得る。
本明細書に記載の特徴は、行列を検出し、かつ行列に対して応答するための有用な方法を提供し得る。そうすることで、車両は、行列に対して応答、例えば、適切に道を譲ることができる。これは、車両が不適切に攻撃的または強引になることを阻止し、ならびに行列に対して適切に応答しないことによる交通の気まずい停止を防止し得る。
例示的なシステム
図1に示されるように、本開示の一態様による車両100は、様々な構成要素を含む。本開示の特定の態様は、特定のタイプの車両との接続に特に有用であるが、車両は、限定されるものではないが、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含む、任意のタイプの車両であり得る。車両は、1つ以上のプロセッサ120、メモリ130、および汎用コンピューティングデバイスにおいて典型的に存在する他の構成要素を含む、コンピューティングデバイス110などの、1つ以上のコンピューティングデバイスを有し得る。
メモリ130は、1つ以上のプロセッサ120によってアクセス可能である情報を記憶し、その情報には、プロセッサ120によって実行または別様に使用され得る命令132およびデータ134が含まれる。メモリ130は、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ROM、RAM、DVD、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを利用して読み取られ得るデータを記憶する他の媒体を含む、プロセッサによってアクセス可能な情報を記憶することが可能である任意のタイプであり得る。システムおよび方法は、上記の異なる組み合わせを含み得、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。
命令132は、プロセッサにより直接的に(マシンコードなど)または間接的に(スクリプトなど)実行される任意の命令のセットであり得る。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶され得る。その点において、「命令」および「プログラム」という用語は、本明細書では、互換的に使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは事前にコンパイルされる、スクリプトもしくは独立したソースコードモジュールの集合体を含む、任意の他のコンピューティングデバイス言語で記憶され得る。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。
データ134は、命令132に従って、プロセッサ120によって検索、記憶、または修正され得る。1つ以上のプロセッサ120は、市販されているCPUなどの任意の従来のプロセッサであり得る。代替的に、1つ以上のプロセッサは、ASICまたは他のハードウェアベースプロセッサなどの専用デバイスであり得る。図1は、プロセッサ、メモリ、およびコンピューティングデバイス110の他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に記憶されても、またはされていなくてもよい、複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得ることは、当業者により、理解されるであろう。一例として、内部電子ディスプレイ152は、高帯域幅または他のネットワーク接続を介してコンピューティングデバイス110とインターフェースし得る、それ自体のプロセッサまたは中央処理装置(CPU)、メモリなどを有する専用コンピューティングデバイスによって制御され得る。いくつかの実施例では、このコンピューティングデバイスは、ユーザのクライアントデバイスと通信することができるユーザインターフェースコンピューティングデバイスであり得る。同様に、メモリは、コンピューティングデバイス110の筐体とは異なる筐体内に位置するハードドライブ、または他の記憶媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作する可能性がある、または可能性がない、プロセッサ、またはコンピューティングデバイス、またはメモリの集合体への言及を含むことを理解されよう。
コンピューティングデバイス110は、上述したプロセッサおよびメモリ、ならびにユーザ入力150(例えば、マウス、キーボード、タッチスクリーン、および/またはマイクロフォン)および様々な電子ディスプレイ(例えば、スクリーン、または情報を表示するように動作可能である任意の他の電気デバイスを有するモニタ)などのコンピューティングデバイスと接続して通常使用されるすべての構成要素であり得る。この実施例では、車両は、内部電子ディスプレイ152、ならびに1つ以上のスピーカ154を含み、情報または視聴覚体験を提供する。この点について、内部電子ディスプレイ152は、車両100の車内に位置し得、コンピューティングデバイス110によって使用されて、車両100内の乗員に情報を提供し得る。内部スピーカに加えて、1つ以上のスピーカ154は、外部スピーカを含むことができ、車両100の外部の物体に可聴通知を提供するために、車両上の様々な場所に配置される。
一実施例では、コンピューティングデバイス110は、車両100に組み込まれた自律運転コンピューティングシステムであり得る。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、図1に戻ると、コンピューティングデバイス110は、車両の乗員からの連続的または定期的な入力を要求しない、または必要としない自律運転モードにおいて、メモリ130の命令132に従って、車両100の移動、速度などを制御するための、(車両の制動を制御するための)減速システム160、(車両の加速を制御するための)加速システム162、(車輪の配向および車両の方向を制御するための)ステアリングシステム164、(方向指示器を制御するための)シグナリングシステム166、(車両を場所または物体の周りにナビゲートするための)ルーティングシステム168、(車両の位置を判定するための)測位システム170、(車両の外部環境における物体を検出するための)知覚システム172、および電力システム174(例えば、バッテリおよび/またはガスもしくはディーゼルエンジン)などの、車両100の様々なシステムと通信し得る。ここでも、これらのシステムは、コンピューティングデバイス110の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両100を制御するための自律運転コンピューティングシステムとして、ここでも、コンピューティングデバイス110の中に組み込まれ得る。
コンピューティングデバイス110は、様々な構成要素を制御することによって車両の方向および速度を制御し得る。例として、コンピューティングデバイス110は、地図情報およびルーティングシステム168からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス110は、測位システム170を使用して車両の場所を判定し、その場所に安全に到着するために必要である場合、知覚システム172を使用して、物体を検出し、物体に対して応答し得る。そうするために、コンピューティングデバイス110は、車両を、(例えば、加速システム162により、エンジンに提供される燃料または他のエネルギーを増加させることによって)加速させ、(例えば、エンジンに供給される燃料を低減させ、ギヤを切り替え、および/または減速システム160によりブレーキをかけることによって)減速させ、(例えば、ステアリングシステム164により、車両100の前輪または後輪の向きを変えることによって)方向転換させ、(例えば、シグナリングシステム166の方向指示器を点灯することによって)かかる変更を伝えさせ得る。このため、加速システム162および減速システム160は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。ここでも、これらのシステムを制御することによって、コンピューティングデバイス110はまた、車両を自律的に操縦するために、車両の動力伝達装置を制御し得る。
一例として、コンピューティングデバイス110は、車両の速度を制御するために、減速システム160および加速システム162と相互作用し得る。同様に、ステアリングシステム164は、車両100の方向を制御するために、コンピューティングデバイス110によって使用され得る。例えば、車両100が乗用車またはトラックなどの道路上で使用するように構成されている場合、ステアリングシステムは、車両の向きを変えるためにホイールの角度を制御するための構成要素を含み得る。シグナリングシステム166は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転者または車両に知らせるために、コンピューティングデバイス110によって使用され得る。
ルーティングシステム168は、ある場所までのルートを決定し、それをたどるために、コンピューティングデバイス110によって使用され得る。この点について、ルーティングシステム168および/またはデータ134は、例えば、車道の形状および標高、車線境界線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報、植生、または他のそのような物体および情報を識別する高精密地図などの詳細な地図情報を記憶し得る。換言すると、この詳細な地図情報は、車道を含む車両の予想される環境の幾何学形状、ならびにそれらの車道の速度制限(法定速度制限)を定義し得る。
図2は、交差点202および204を含む、車道の区分に関する地図情報200の実施例である。この実施例では、地図情報200は、車線境界線210、212、214、交通信号灯220、222、横断歩道230、歩道240、一時停止標識250、252、および譲れの標識260の形状、場所、ならびに他の特性を識別する情報を含む。車両が運転できる区域は、車両が地図情報の様々な場所で概して走行すべき場所および方向を示す、1つ以上のレール270、272、および274と関連付けられ得る。例えば、車両は、車線境界線210と車線境界線212との間の車線内を運転するときにレール270に追従し得、交差点204で右折するために、レール272に移行し得る。その後、車両は、レール274に追従し得る。当然のことながら、レールの数および性質を考慮して、数本のみが、簡潔さおよび理解を容易にするために地図情報200内に図示されている。
本明細書では詳細な地図情報は、画像ベースの地図として描かれているが、地図情報は、完全に画像ベースである必要はない(例えば、ラスタ)。例えば、詳細な地図情報は、1つ以上の道路グラフ、または道路、車線、交差点、およびこれらの特徴間の接続などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的場所などの情報と関連付けられ得、いずれにせよ、他の関連する特徴にリンクされ、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの実施例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含んで、特定の道路グラフの特徴の効率的な検索を可能にし得る。
知覚システム172はまた、他の車両、車道内の障害物、交通信号、標識、樹木などの車両の外部の物体を検出するために1つ以上の構成要素を含む。例えば、知覚システム172は、1つ以上のLIDARセンサ、ソナーデバイス、レーダーユニット、カメラ、および/またはコンピューティングデバイス110によって処理され得るセンサデータを記録する任意の他の検出デバイスを含み得る。知覚システムのセンサは、物体、ならびに、場所、配向、サイズ、形状、タイプ(例えば、車両、人または歩行者、自転車に乗る人など)、進行方向、および移動速度などのそれらの特性を検出し得る。センサおよび/または前述の特性からの未加工データは、記述的関数、ベクトル、および/または境界ボックスに定量化または配置され、知覚システム172によって生成されると、さらなる処理のために定期的かつ継続的にコンピューティングデバイス110にセンサデータとして送信され得る。さらなる詳細を以下で考察するが、コンピューティングデバイス110は、車両の場所を判定するために測位システム170を使用し、その場所に安全に到着する必要があるとき、物体を検出し、かつ物体に応答するために知覚システム172を使用し得る。
例えば、図3は、車両100の例示的な外観図である。この実施例では、ルーフ上部筐体310およびドーム状筐体312は、LIDARセンサ、ならびに種々のカメラおよびレーダーユニットを含み得る。加えて、車両100の前端部に位置する筐体320、ならびに車両の運転者側および助手席側の筐体330、332は、各々、LIDARセンサを記憶し得る。例えば、筐体330は、運転者ドア360の前部に位置している。車両100はまた、車両100のルーフ上にまた位置するレーダーユニットおよび/またはカメラのための筐体340、342を含む。追加のレーダーユニットおよびカメラ(図示せず)は、車両100の前端および後端に、ならびに/またはルーフもしくはルーフ上部筐体310に沿った他の位置上に位置し得る。
メモリ130はまた、コンピューティングデバイス110が車両の環境および/または異なる状況において物体に応答する方法を決定するために使用することができる所定の規則を記憶し得る。規則は、ヒューリスティック、デシジョンツリー、または他のモデルとして構成され得るが、特定の状況では交通の優先順位を定義し得る。例えば、歩行者が横断歩道内にいる場合、規則は、車両が歩行者に対して道を譲らなければならないということを要求し得るか、または、交差点において特定の車線と関連付けられた交通信号が赤で、車両がその車線内にいる場合、車両は、交差点に進む前に停止しなければならない。これらの規則は、メモリ130内に記憶され得、および/または地図情報に部分的に組み込まれ得る。例えば、一時停止標識250、252の各々は、一時停止標識が従われるべき車線または複数の車線を示す1つ以上の規則と関連付けら得、一時停止標識に従うことは、(交差点204など)ある場所のある距離内で停止すること、交差点204で停止する道路利用者(車両、自転車に乗る人、オートバイに乗る人など)の優先順位、および車両を停止させる場所を意味する。別の例として、交通信号灯220、222の各々は、どの車線がその交通信号灯によって制御されるかを示す規則と関連付けられ得る。
これらの判定に基づいて、コンピューティングデバイス110は、様々な構成要素を制御することによって車両の方向および速度を制御し得る。例として、コンピューティングデバイス110は、詳細な地図情報およびルーティングシステム168からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス110は、測位システム170を使用して車両の場所を判定し、その場所に安全に到着するために必要である場合、知覚システム172を使用して、物体を検出し、物体に対して応答し得る。そうするために、コンピューティングデバイス110は、車両を、(例えば、加速システム162により、エンジンに提供される燃料または他のエネルギーを増加させることによって)加速させ、(例えば、エンジンに供給される燃料を低減させ、ギヤを切り替え、および/または減速システム160によりブレーキをかけることによって)減速させ、(例えば、ステアリングシステム164により、車両100の前輪または後輪の向きを変えることによって)方向転換させ、(例えば、シグナリングシステム166の方向指示器を点灯することによって)かかる変更を伝えさせ得る。このため、加速システム162および減速システム160は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。ここでも、これらのシステムを制御することによって、コンピューティングデバイス110はまた、車両を自律的に操縦するために、車両の動力伝達装置を制御し得る。
車両100のコンピューティングデバイス110はまた、輸送サービスの一部であるこれらのコンピューティングデバイスならびに他のコンピューティングデバイスなどの、他のコンピューティングデバイスとの間で情報を受信または転送し得る。図4および図5は、それぞれ、例示的なシステム400の絵図および機能図であり、システムは、ネットワーク460を介して接続された複数のコンピューティングデバイス410、420、430、440、および記憶システム450を含む。システム400は、車両100、および車両100と同じまたは同様に構成され得る車両100A、100Bも含む。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、典型的なシステムは、これよりもはるかに多くのものを含み得る。
図4に示されるように、コンピューティングデバイス410、420、430、440の各々は、1つ以上のプロセッサ、メモリ、データ、および命令を含み得る。このようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス110の1つ以上のプロセッサ120、メモリ130、データ134、および命令132と同様に構成され得る。
ネットワーク460および仲介ノードは、ブルートゥース、ブルートゥースLE、インターネット、World Wide Web、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFi、およびHTTP、ならびに上記の様々な組み合わせなどの短距離通信プロトコルを含む様々な構成およびプロトコルを含み得る。そのような通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを送受信することができる任意のデバイスによって容易に行われ得る。
一実施例では、1つ以上のコンピューティングデバイス410は、他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的で、ネットワークの異なるノードと情報を交換する複数のコンピューティングデバイス、例えば、負荷分散サーバファーム、を有する1つ以上のサーバコンピューティングデバイスを含み得る。例えば、1つ以上のコンピューティングデバイス410は、ネットワーク460を介して、車両100のコンピューティングデバイス110、または車両100Aの同様のコンピューティングデバイス、ならびにコンピューティングデバイス420、430、440と通信することが可能である1つ以上のサーバコンピューティングデバイスを含み得る。例えば、車両100、100Aは、サーバコンピューティングデバイスによって様々な場所に配車され得る車両の集団の一部であり得る。この点について、サーバコンピューティングデバイス410は、車両100および車両100Aなどの車両が自律運転モードで動作するために使用し得る自律制御ソフトウェアを検証するために使用できる検証コンピューティングシステムとして機能し得る。加えて、サーバコンピューティングデバイス410は、ネットワーク460を使用して、コンピューティングデバイス420、430、440のディスプレイ424、434、444などのディスプレイ上に、ユーザ422、432、442などのユーザに情報を送信および提示し得る。この点について、コンピューティングデバイス420、430、440は、クライアントコンピューティングデバイスと見なされ得る。
図4に示されるように、各クライアントコンピューティングデバイス420、430、440は、ユーザ422、432、442による使用を意図されたパーソナルコンピューティングデバイスであり得、1つ以上のプロセッサ(例えば、中央処理装置(CPU))、データおよび命令を記憶するメモリ(例えば、RAMおよび内蔵ハードドライブ)、ディスプレイ424、434、444などのディスプレイ(例えば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能である他のデバイス)、およびユーザ入力デバイス426、436、446(例えば、マウス、キーボード、タッチスクリーン、またはマイクロフォン)を含む、パーソナルコンピューティングデバイスと接続して通常使用されるすべての構成要素を有し得る。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素を含み得る。
クライアントコンピューティングデバイス420、430、および440は、各々、フルサイズのパーソナルコンピューティングデバイスを含み得るが、代替的に、インターネットなどのネットワーク上でサーバとデータを無線で交換することが可能なモバイルコンピューティングデバイスを含み得る。単なる例として、クライアントコンピューティングデバイス420は、携帯電話、あるいは無線対応PDA、タブレットPC、ウェアラブルコンピューティングデバイスもしくはシステムなどのデバイス、またはインターネットもしくは他のネットワークを介して情報を得ることが可能なネットブックであり得る。別の実施例では、クライアントコンピューティングデバイス430は、図4に示されるように、腕時計として示されるウェアラブルコンピューティングシステムであり得る。一例として、ユーザは、小型キーボード、キーパッド、マイクロフォンを使用して、カメラを用いた視覚信号、またはタッチスクリーンを使用して、情報を入力し得る。
いくつかの実施例では、クライアントコンピューティングデバイス440は、以下でさらに考察されるように、シナリオの結果、ハンドオーバー時間、および検証情報を見直すための管理者または操作者によって使用される操作ワークステーションであり得る。図4および図5には単一の操作ワークステーション440が示されているが、典型的なシステムには、任意の数のそのようなワークステーションが含まれ得る。さらに、操作ワークステーションはデスクトップコンピュータとして図示されているが、操作ワークステーションは、ラップトップ、ネットブック、タブレットコンピュータなど様々なタイプのパーソナルコンピューティングデバイスを含み得る。
メモリ130と同様に、記憶システム450は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD−ROM、書き込み可能メモリ、および読み出し専用メモリなどの、サーバコンピューティングデバイス410によりアクセス可能である情報を記憶することができる、任意のタイプのコンピュータ化された記憶装置であり得る。加えて、記憶システム450は、データが、同じまたは異なる地理的場所に物理的に位置し得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含み得る。記憶システム450は、図4および図5に示すように、ネットワーク460を介してコンピューティングデバイスに接続され得、かつ/またはコンピューティングデバイス110、410、420、430、440などの何れかに直接接続されるか、もしくは組み込まれ得る。
記憶システム450は、以下でより詳細に説明されるように、様々なタイプの情報を記憶することができる。この情報は、本明細書で記載されるいくつかまたはすべての特徴を実行するために、1つ以上のサーバコンピューティングデバイス410などのサーバコンピューティングデバイスによって検索または別様にアクセスされ得る。
例示的な方法
上述し、図に例示した動作に加えて、様々な動作が、ここで説明される。以下の動作は、以下に説明する正確な順序で実行される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理され得、ステップもまた、追加または省略され得る。
コンピューティングデバイス110は、例えば、貨物および/または1人以上の乗員を輸送するために、目的地まで車両100を操縦し得る。この点について、コンピューティングデバイス110は、目的地までのルートに沿って自律的に車両を制御するために必要なシステムを開始し得る。例えば、ルーティングシステム168は、地図情報のデータ134を使用して、地図情報200の一組の接続されたレールを追従する目的地への経路またはルートを決定し得る。次いで、コンピューティングデバイス110は、目的地に向かうルートに沿って、上記のように自律的に(または自律運転モードで)車両を操縦し得る。
例えば、図6は、地図情報200に対応する交差点602および604を含む車道600の区分上で操縦されている車両100を図示する。この実施例では、交差点602および604は、それぞれ地図情報200の交差点202および204に対応する。この実施例では、車線境界線610、612、および614は、車線境界線210、212、および214の形状、場所、および他の特性にそれぞれ対応する。同様に、横断歩道630は、横断歩道230の形状、場所、および他の特性にそれぞれ対応し、歩道640は、歩道240に対応し、交通信号灯620、622は、交通信号灯220、222にそれぞれ対応し、一時停止標識650、652は、一時停止標識250、252にそれぞれ対応し、譲れの標識660は、譲れの標識260に対応する。加えて、様々な車両690〜494が、車道600の周りの異なる場所に配置される。
車両100がその環境を通って移動する際、車両の知覚システム172は、車両の環境に関する情報を含むセンサデータをコンピューティングデバイスに提供し得る。上記のように、このセンサデータは、地図情報ならびに他の物体の場所、配向、進行方向、形状、サイズ、特徴のタイプを含み得るセンサデータを含むことができる。この情報は、この情報、地図データ、ならびに異なる状況に応答するための規則の組み合わせに基づいて、車両を操縦する方法を決定するために使用され得る。
例えば、図7の実施例700は、知覚システム172によってコンピューティングデバイス110に提供される際の車両690〜694の一般的な形状および場所を表現する物体790〜794の境界ボックスで、(図6の実施例600のような)車両100の環境の特徴を図示する。この実施例では、ルーティングシステム168は、地図情報200を使用して、目的地(図示せず)に到達するために車両100が追従するルート670を決定し、この情報およびメモリ130の規則を使用して、コンピューティングデバイス110は、ルートを追従するために、次の数秒にわたって車両が追跡する軌道を決定し得る。
センサデータは、経時的に追跡されて、各物体の動作、例えば、物体が世界をどのように移動しているかを判定することができる。例えば、図8の実施例800は、図7より後のある時点、例えば、数秒またはその程度先における車両100の環境の特徴を図示する。ここでも、物体790〜794のための境界ボックスは、知覚システム172によってコンピューティングデバイス110に提供される際の車両690〜694の一般的な形状および場所を表現する。このような物体に関するセンサデータを経時的に(例えば、図7と図8との間、およびその間の時点で)比較することによって、コンピューティングデバイス110は、これらの物体の動作を判定することができる。
行列を検出するために、知覚システム172からのセンサデータおよび前述の判定された動作を分析して、任意の検出された物体が、規則のうちの1つに違反しているかどうか(すなわち、交通優先順位に従わない)を判定することができる。この情報を使用して、コンピューティングデバイス110の命令132の行列検出器、例えば、ソフトウェアモジュールを使用して、物体が行列に関与するかどうかを検出することができる。
検出器は、継続的に実行することができ、つまり、規則に違反しているとして初期物体を識別することは、検出器によって実行される処理の一部であり得る。代替的に、検出器は、規則のうちの1つに違反する1つ以上の物体の検出に応答して実行され得る。行列検出器は、物体が規則に従っているかまたは違反しているかどうかを判定するために、観察された動作を規則と比較することができる。例えば、境界ボックス790、792の各々は、一時停止標識250/650で停止することなく、交差点204/604を通過したことが観察される場合がある。加えて、境界ボックス792および794の各々は、交通信号灯220において赤信号で停止することなく、交差点202/602を通過したことが観察される場合がある。
規則に違反していることが観察される物体が多いほど、および違反していることが観察される規則が多いほど、物体または複数の物体が行列の一部である可能性が高くなり、または厳密には、物体または複数の物体が行列の一部であるという判定における確実性がより大きくなる。例えば、一度第1の物体が、一時停止標識250/650で停止せずに交差点204/604を通過することが観察され、追加の各物体が、一時停止標識250/650で停止せずに交差点204/604を通過することが観察されると、これらの物体の各々は、行列の一部である可能性が高くなり得る。同様に、一度第1の物体が交通信号灯220において赤信号で停止せずに交差点204/604を通過することが観察され、追加の各物体が、交通信号灯220において赤信号で停止せずに交差点204/604を通過することが観察されると、これらの物体の各々が行列の一部である可能性が高くなり得る。加えて、一時停止標識250/650で停止せずに交差点204/604を通過することが観察された、いくつかの物体またはすべての物体が、交通信号灯220において赤信号で停止せずに交差点204/604を通過することも観察された場合、これらの物体の各々が行列の一部である可能性が高くなり得る。
一例では、検出器は、1つ以上の閾値が満たされるかどうかに基づいて、行列が存在するかどうかを判定することができる。例えば、2つ程度などの、閾値最小限の数の物体が、同じ規則に同じ方法で違反していることが観察される場合、例えば、これらのすべての物体が交通信号灯220において赤信号で停止せずに交差点202/602を通過している場合、検出器は、これらの物体が行列に関与していると判定し得る。当然のことながら、閾値最小限の数は、固定された整数である必要はないが、実際には事実上確率的であり、知覚システムから収集され、メモリ130内に記録されたセンサデータから導出され得る。別の例では、任意の数の物体が、10秒程度などの閾値最小限の期間にわたって、同じ規則に同じ方法で一貫して違反しているように見える場合、検出器は、物体が行列に関与していると判定し得る。この実施例では、この閾値を満たすのに十分な物体の実際の数は、「規則違反」の性質および他の周囲の交通に依存し得る。例えば、赤信号をかろうじて走行するだけの車両は、強い徴候ではないが、確立された赤信号(または1秒以上赤色である交通信号)を走行し、次いで交差点の中央で停止する緊急車両は、それ自体で十分な徴候となり得る、など。さらに別の例では、最小限の数の物体が、ある最小限の期間の間、同じ規則に同じ方法で違反していることが検出された場合、物体が行列に関与することを示す場合がある。
他の例では、行列が存在するかどうかは、より微妙な場合がある。例えば、尤度は、複数の異なる信号および観察に基づいて、増加または減少し得る累積値であり得る。換言すると、規則に違反していることが観察された車両が多いほど、それらの車両に対して規則には「効力がない」という確実性が高まる。加えて、異なる規則がこれらの観察された車両によって違反されることが多いほど、それらの物体が行列の一部であるため、なんらかの異なる組の規則が施行されている可能性が高くなる。一例として、同じ規則に同じ方法で違反していることが観察された追加の各物体は、物体が行列に関与する尤度を、0.1程度など、ある値だけ増加させ得る。
この値は、固定または可変であってもよく、例えば、同じ規則に同じ方法で違反していることが観察される追加の物体ごとにわずかに増加する。例えば、初期の観察の場合、値は、0.1であり得るが、追加の観察ごとに、値は、0.05ずつ増加し得、その結果、第2の観察は、0.15(0.1に追加)、第3の観察は、0.2(.25に追加)となる。加えてまたは代替的に、追加の秒ごとまたはその程度の時間、物体が同じ規則に同じ方法で違反し続けるとまた、0.1程度など、物体が行列に関与する尤度を増加させ得る。加えてまたは代替的に、それらの物体が同じ方法で違反している追加の規則ごとにまた、0.1程度など、物体が行列に関与する尤度を増加させ得る。同様に、加えてまたは代替的に、追加の秒ごとまたはその程度の時間、物体がその追加の規則に同じ方法で違反し続けるとまた、0.1程度など、物体が行列に関与する尤度を増加させ得る。ここでも、値は、固定または可変であってもよく、例えば、同じ規則に同じ方法で違反していることが観察される追加の物体ごとにわずかに増加する。
知覚システム172によって検出された他の信号は、行列の尤度をさらに増加させ得る。例えば、付近に1つ以上の緊急車両(警察車、消防車、救急車、または警察のオートバイなど)が存在する場合、車両のグループが緊急車両によって誘導されている場合、緊急車両が交差点に入りかつ停止している場合、歩行者(警察またはその他)が交通を誘導している場合、もしくは1つ以上のオートバイが(緊急灯またはサイレンが無くとも)交差点内で停止している場合、かかる徴候は、ここでも、ある固定量または可変量だけ、行列の尤度を増加させ得る。「リープフロッグ」緊急事態または緊急車両が、通常の車両がしないことを行うなどのより複雑な状況もまた、ここでも固定量または可変量だけ、行列の尤度を増加させ得る徴候となり得る。一例として、前述のリープフロッグは、行列を進めさせるために一時的に交通を停止させている警察または他の緊急車両を伴う行列において典型的であり得る。これには、(例えば、交差交通を停止させるために第1の交差点において)第1の緊急車両が別の緊急車両を追い越して停止し、これは(例えば、第2の交差点において交差交通を停止させるために)その後停止する第2の緊急車両によってなされ、その後、第1の緊急車両が、第2の緊急車両を続けて追い越し、その後(例えば、第3の交差点で交差交通を停止させるために)停止する、などが含まれ得る。
例えば、知覚システム172の1つ以上のカメラによって捕捉された視覚信号もまた、ここでも固定量または可変量だけ、行列の尤度を増加させるために使用され得る。一例として、そのような視覚信号は、物体を(霊柩車検出器を使用して)霊柩車として識別し、葬列もしくは車列中、またはこのような行列の先頭車両上で典型的に使用される旗または窓のバッジを識別する信号を含み得、音楽の演奏の有無にかかわらず通りを歩行する歩行者を識別すること、旗、標識、またはバナーを保持している歩行者ならびにそれらの上の文字を識別することもまた、行列の尤度を増加させ得る。
知覚システム172によって検出されたいくつかの信号は、実際には、再度固定量または可変量だけ、行列の尤度を減少させる場合がある。同じ規則に同じ方法で違反しているように見えない物体が存在する場合、これは、行列の尤度を減少させるか、または行列の尤度に影響を与えないことがある。同様に、物体が規則に従っている間、時間的間隔が存在する場合、これは行列の尤度を減少させ得る。この場合、間隔が長いほど、行列の尤度の減少が大きくなる。場合によっては、地域の規制が、検出器によって考慮され得る。例えば、交通信号に違反する葬列またはパレードが、ある地域では禁止されている場合、これは、行列の尤度を減少させ得る。
この累積尤度がある閾値に達すると、検出器は、行列が存在すると判定し得る。例えば、物体790〜794および他の信号による車両690〜694の観察に基づいて、行列の尤度は、80%であると判定され得る。閾値が75%の場合、検出器は、行列が存在すると判定し得る。
場合によっては、検出器が、行列のタイプを判定することさえある。例えば、行列が歩行者を伴う場合、これはパレードまたは行進を示し得る。別の例として、行列が複数の乗用車を伴う場合、これは葬列または車列を示し得る。同時に、行列が複数のオートバイまたは歩行者を伴う場合、これはパレードを示し得る。さらに別の例として、行列が特定の特性を有する車両、例えば、(知覚システムのカメラによって捕捉された画像から判定される際)葬列の一部であることを示す旗または文字でマークされた車両を含む場合、これは葬列を示し得る。
一度検出器が、行列が存在すると判定すると、この情報は、車両のプランナに送信され、行列に応答する方法、したがって車両を制御する方法を決定するために使用され得る。例えば、行列が終了するまで、行列内の物体に道を譲るため、すべての行列に対するデフォルトの応答が存在し得る。その点において、車両100は、車両が物体790〜794のうちの1つ以上の前に交差点に進むための通行権を別様に有していたとしても、これらの物体が交差点202/602を通過する際にすべての物体790〜794に道を譲ることができる。加えてまたは代替的に、デフォルトの応答ではなく、車両100が通行権を有する交差点に進むなど、特定のタイプの動作が、車両を制御する方法を決定するときのオプションではなくなることがある。加えてまたは代替的に、特定のタイプの行列に関して、ネットワーク460を介して操作ワークステーション440に要求を送信することによってなど、遠隔操作者からの行列の支援または確認の要求などの追加のアクションも、取られ得る。
加えて、検出器は、行列内に含まれている物体、または厳密には、同じ規則に同じ方法で違反しているすべての物体を識別することができる。そのため、これらの物体は、共に「グループ化」され得、またはつまり、(知覚システムによって個別に追跡されている場合でも)単一の物体として応答され得る。これに関して、決定された応答が道を譲ることである場合、車両は、グループとしてのすべての物体に対して道を譲るように制御され得る。例えば、すべての物体790〜794が行列の一部であると判定された場合、コンピューティングデバイス110は、これらのすべての物体に対して道を譲るように車両100を制御することができる。これにより、車両が不適切に攻撃的または強引になることを阻止し得る。一例として、葬列が交差点を通過している場合、車両は、検出器がないので右折するためにラインに「割り込む」機会を有することがある。これは、車両100が、行列内の物体が単にゆっくりと移動する交通であると単純に判定することがあるためであり得る。このため、行列を検出することによって、車両100は、物体のグループ内の物体間を移動することがない。このように、概してひんしゅくを買い、行列内の人々を当惑させる可能性があるこのタイプの割り込み動作は、回避され得る。
図9は、行列を検出し、かつ行列に対して応答するために、コンピューティングデバイス110の1つ以上のプロセッサ120などの、1つ以上のプロセッサによって実行され得るフロー図900である。例えば、ブロック910において、車両の環境内の2つ以上の物体を識別するセンサデータが受信される。ブロック920において、2つ以上の物体が所定の規則に同じ方法で違反しているかどうかが、判定される。ブロック930において、2つ以上の物体が所定の規則に違反しているという判定に基づいて、2つ以上の物体が行列に関与するかどうかが、判定される。ブロック940において、車両は、2つ以上の物体が行列に関与するという判定に基づいて、行列に対して応答するために自律的に制御される。
上記の特徴は、行列を検出し、かつ行列に対して応答するための有用な方法を提供する。そうすることで、車両は、行列に対して応答、例えば、適切に道を譲ることができる。これは、車両が不適切に攻撃的または強引になることを阻止し、ならびに行列に対して適切に応答しないこと、例えば、道を譲らないまたは割り込むことによる、交通の気まずい停止を防止することができる。
別段の記載がない限り、前述の代替的な例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実装され得る。上で考察される特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載された実施例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではなく、むしろ、実施例は、多くの可能な実施形態のうちの1つだけを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。

Claims (20)

  1. 行列を検出し、かつ前記行列に対して応答する方法であって、
    1つ以上のプロセッサによって、車両の環境内の2つ以上の物体を識別しているセンサデータを受信することと、
    前記1つ以上のプロセッサによって、前記2つ以上の物体が、所定の規則に同じ方法で違反していることを判定することと、
    前記2つ以上の物体が、所定の規則に違反しているという前記判定に基づいて、前記1つ以上のプロセッサによって、前記2つ以上の物体が、行列に関与していると判定することと、
    前記1つ以上のプロセッサによって、前記2つ以上の物体が行列に関与しているという前記判定に基づいて、前記行列に応答するために、前記車両を自律的に制御することと、を含む、方法。
  2. 前記所定の規則は、前記2つ以上の物体が違反している交通の優先順位を定義する、請求項1に記載の方法。
  3. 前記2つ以上の物体が行列に関与していると判定することが、前記所定の規則に違反していると判定された閾値最小限の数の物体に基づいている、請求項1に記載の方法。
  4. 前記2つ以上の物体が行列に関与していると判定することが、少なくとも閾値最小限の期間にわたって、前記所定の規則に違反している前記閾値最小限の数の物体に基づいている、請求項3に記載の方法。
  5. 前記2つ以上の物体が行列に関与していると判定することが、少なくとも閾値最小限の期間にわたって、前記所定の規則に違反していると判定された物体に基づいている、請求項1に記載の方法。
  6. 前記行列が、車列または葬列であると判定することをさらに含む、請求項1に記載の方法。
  7. 前記行列が、パレードまたは行進であると判定することをさらに含む、請求項1に記載の方法。
  8. 前記所定の規則が、赤信号で停止する、または一時停止標識を走行することのうちの一方を含む、請求項1に記載の方法。
  9. 前記1つ以上のプロセッサによって、前記2つ以上の物体が前記行列に関与していると判定することが、各々が前記所定の規則に違反しているいくつかの追加の物体にさらに基づいている、請求項1に記載の方法。
  10. 前記1つ以上のプロセッサによって、前記2つ以上の物体が前記行列に関与していると判定することが、追加の物体もまた前記所定の規則に違反している間の時間の量にさらに基づいている、請求項1に記載の方法。
  11. 前記センサデータから緊急車両を識別することをさらに含み、前記2つ以上の物体が前記行列に関与していると判定することが、前記緊急車両にさらに基づいている、請求項1に記載の方法。
  12. 前記2つ以上の物体が前記行列に関与していると判定することが、前記2つ以上の物体に対する前記緊急車両の場所にさらに基づいている、請求項11に記載の方法。
  13. 前記2つ以上の物体が前記行列に関与していると判定することが、前記緊急車両が交差点内で停止しているかどうかにさらに基づいている、請求項11に記載の方法。
  14. 前記センサデータから交通を誘導している歩行者を識別することをさらに含み、前記2つ以上の物体が前記行列に関与していると判定することが、前記識別された交通を誘導している歩行者にさらに基づいている、請求項1に記載の方法。
  15. 前記センサデータから旗、標識、またはバナーを保持している歩行者を識別することをさらに含み、前記2つ以上の物体が前記行列に関与していると判定することが、前記旗、前記標識、または前記バナーを保持している前記識別された歩行者にさらに基づいている、請求項1に記載の方法。
  16. 前記2つ以上の物体のうちの少なくとも1つが旗またはバッジを有することを識別することをさらに含み、前記2つ以上の物体が前記行列に関与していると判定することが、前記2つ以上の物体のうちの前記少なくとも1つが旗またはバッジを有するという前記識別にさらに基づいている、請求項1に記載の方法。
  17. 前記2つ以上の物体のうちの2つの間の追加の物体が前記所定の規則に違反していないと判定することをさらに含み、前記2つ以上の物体が前記行列に関与していると判定することが、前記2つ以上の物体のうちの2つの間にある前記追加の物体が、前記所定の規則に違反していないという前記判定にさらに基づいている、請求項1に記載の方法。
  18. 前記所定の規則に同じ方法で違反している前記2つ以上の物体のうちの2つの間の時間的間隔を判定することをさらに含み、前記2つ以上の物体が前記行列に関与していると判定することが、前記時間的間隔にさらに基づいている、請求項1に記載の方法。
  19. 前記2つ以上の物体が前記行列に関与していると判定することが、行列に関する地域の規制にさらに基づいている、請求項1に記載の方法。
  20. 前記車両を制御することが、グループとして前記行列に関与している前記2つ以上の物体に対して譲ることを含む、請求項1に記載の方法。
JP2021507573A 2018-08-20 2019-08-12 自律型車両のための行列の検出および行列に対する応答 Active JP7176098B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/105,233 US10795362B2 (en) 2018-08-20 2018-08-20 Detecting and responding to processions for autonomous vehicles
US16/105,233 2018-08-20
PCT/US2019/046141 WO2020041023A1 (en) 2018-08-20 2019-08-12 Detecting and responding to processions for autonomous vehicles

Publications (2)

Publication Number Publication Date
JP2021534490A true JP2021534490A (ja) 2021-12-09
JP7176098B2 JP7176098B2 (ja) 2022-11-21

Family

ID=69523153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507573A Active JP7176098B2 (ja) 2018-08-20 2019-08-12 自律型車両のための行列の検出および行列に対する応答

Country Status (6)

Country Link
US (4) US10795362B2 (ja)
EP (1) EP3820752A4 (ja)
JP (1) JP7176098B2 (ja)
KR (1) KR102534960B1 (ja)
CN (1) CN112789205A (ja)
WO (1) WO2020041023A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210105995A1 (en) * 2018-02-05 2021-04-15 FarmWise Labs, Inc. Method for autonomously weeding crops in an agricultural field
US11971714B2 (en) * 2018-02-19 2024-04-30 Martin Tremblay Systems and methods for autonomous vehicles
WO2020145487A1 (ko) * 2019-01-11 2020-07-16 엘지전자 주식회사 무선 통신 시스템에서 신호를 전송하는 방법 및 단말
KR20240065734A (ko) 2022-11-07 2024-05-14 (주) 오토노머스에이투지 자율주행시 통행우선권에 기초한 충돌 위험도 관리 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600768B1 (en) * 2013-04-16 2017-03-21 Google Inc. Using behavior of objects to infer changes in a driving environment
WO2017056995A1 (ja) * 2015-09-30 2017-04-06 日産自動車株式会社 車両状態表示システム
JP2017138694A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3358403B2 (ja) * 1995-09-11 2002-12-16 トヨタ自動車株式会社 隊列走行制御装置
US20040236475A1 (en) * 2003-02-27 2004-11-25 Mahesh Chowdhary Vehicle safety management system that detects frequent lane change violations
EP2056270B1 (en) * 2006-08-07 2015-01-21 Toyota Jidosha Kabushiki Kaisha Travel control device
US20090157461A1 (en) * 2007-12-12 2009-06-18 Honeywell International Inc. Vehicle deployment planning system
US10643467B2 (en) * 2010-03-28 2020-05-05 Roadmetric Ltd. System and method for detecting and recording traffic law violation events
US8977420B2 (en) 2010-06-23 2015-03-10 GM Global Technology Operations LLC Vehicle procession control through a traffic intersection
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
KR101029096B1 (ko) 2010-11-18 2011-04-13 김은숙 차량의 측면 충돌 회피 방법
US8195394B1 (en) * 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
US20130093895A1 (en) * 2011-10-17 2013-04-18 Samuel David Palmer System for collision prediction and traffic violation detection
JP5838879B2 (ja) 2012-03-22 2016-01-06 株式会社デンソー 予測システム
JP5573876B2 (ja) * 2012-03-27 2014-08-20 株式会社デンソー 周辺車両決定装置
US9633564B2 (en) * 2012-09-27 2017-04-25 Google Inc. Determining changes in a driving environment based on vehicle behavior
SE1251163A1 (sv) * 2012-10-15 2014-04-16 Scania Cv Ab System och metod i samband med förekomst av fordonståg
US9536427B2 (en) 2013-03-15 2017-01-03 Carnegie Mellon University Methods and software for managing vehicle priority in a self-organizing traffic control system
DE202013006466U1 (de) * 2013-07-18 2014-10-27 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Computerprogrammprodukt und Fahrerassistenzsystem für einFahrzeug
CN103456047B (zh) * 2013-09-04 2016-04-20 广州华工信息软件有限公司 基于车辆动态检测技术的电子不停车收费车道系统及方法
JP6708368B2 (ja) * 2014-04-25 2020-06-10 コンデュエント ビジネス サービシーズ エルエルシー 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
EP3018027B1 (en) * 2014-11-10 2017-06-07 Volvo Car Corporation Control arrangement arranged to control an autonomous vehicle, autonomous drive arrangement, vehicle and method
US9586585B2 (en) 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
US20160163200A1 (en) * 2014-12-03 2016-06-09 Ebay Enterprise, Inc. Managing and controlling travel for a convoy of vehicles
CA2996546A1 (en) * 2015-08-26 2017-03-02 Peloton Technology, Inc. Devices, systems and methods for vehicle monitoring and platooning
US9868389B2 (en) 2015-09-30 2018-01-16 Nissan North America, Inc. Vehicle state indication system
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9811083B2 (en) * 2015-11-23 2017-11-07 Easy Aerial Inc. System and method of controlling autonomous vehicles
US20170249836A1 (en) 2016-02-25 2017-08-31 Delphi Technologies, Inc. Conflict-Resolution System For Operating An Automated Vehicle
US9633560B1 (en) 2016-03-30 2017-04-25 Jason Hao Gao Traffic prediction and control system for vehicle traffic flows at traffic intersections
US20170329332A1 (en) 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
KR102581482B1 (ko) * 2016-09-01 2023-09-21 삼성전자주식회사 차량의 자율 주행 컨트롤러의 동작 방법 및 장치
CN107492249B (zh) * 2016-09-20 2020-09-11 宝沃汽车(中国)有限公司 一种车队监控方法及系统
JP2020508252A (ja) 2017-02-10 2020-03-19 ニッサン ノース アメリカ,インク 自律走行車の動作管理
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
CN107452218B (zh) * 2017-09-22 2020-04-03 西北工业大学 一种多无人车编队的交叉路口集中式调度方法
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
US10562538B2 (en) * 2017-11-22 2020-02-18 Uatc, Llc Object interaction prediction systems and methods for autonomous vehicles
US10919444B2 (en) * 2018-01-24 2021-02-16 Peloton Technology, Inc. Systems and methods for providing information about vehicles
US11971714B2 (en) * 2018-02-19 2024-04-30 Martin Tremblay Systems and methods for autonomous vehicles
WO2019206252A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd. Systems and methods for monitoring traffic sign violation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600768B1 (en) * 2013-04-16 2017-03-21 Google Inc. Using behavior of objects to infer changes in a driving environment
WO2017056995A1 (ja) * 2015-09-30 2017-04-06 日産自動車株式会社 車両状態表示システム
JP2017138694A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法

Also Published As

Publication number Publication date
KR102534960B1 (ko) 2023-05-26
US20240085907A1 (en) 2024-03-14
US11860631B2 (en) 2024-01-02
WO2020041023A1 (en) 2020-02-27
US20210018919A1 (en) 2021-01-21
US20200057443A1 (en) 2020-02-20
US10795362B2 (en) 2020-10-06
JP7176098B2 (ja) 2022-11-21
KR20210034096A (ko) 2021-03-29
CN112789205A (zh) 2021-05-11
EP3820752A4 (en) 2022-04-20
EP3820752A1 (en) 2021-05-19
US11537128B2 (en) 2022-12-27
US20230141636A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
KR102274273B1 (ko) 자율 차량을 위한 정지 위치 계획
JP7395529B2 (ja) 自律走行車の予測のテスト
KR102446698B1 (ko) 폐색들이 있는 도로 사용자 반응 모델링에 따른 자율주행 차량의 동작
JP6840240B2 (ja) 自律走行車の動的ルート決定
JP7248797B2 (ja) 未知の標識の検出
KR102488743B1 (ko) 자율 차량들을 위한 교통 재지향에 대한 검출 및 응답
JP7176098B2 (ja) 自律型車両のための行列の検出および行列に対する応答
JP2022504457A (ja) 自律車両の信号機検知および車線状態認識
JP2021509646A (ja) 自律車両のソフトウェア検証
JP7217340B2 (ja) 停止した自律型車両によって引き起こされる周辺道路利用者への迷惑の低減
US20240126296A1 (en) Behavior prediction for railway agents for autonomous driving system
JP2023145525A (ja) 自立型車両の視界から出た対象の追跡
US20220063485A1 (en) Systems and methods for vehicular communication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221109

R150 Certificate of patent or registration of utility model

Ref document number: 7176098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150