JP2021521050A - 追加車両の決定されたヨーパラメータに基づいた自律走行車制御 - Google Patents

追加車両の決定されたヨーパラメータに基づいた自律走行車制御 Download PDF

Info

Publication number
JP2021521050A
JP2021521050A JP2020555890A JP2020555890A JP2021521050A JP 2021521050 A JP2021521050 A JP 2021521050A JP 2020555890 A JP2020555890 A JP 2020555890A JP 2020555890 A JP2020555890 A JP 2020555890A JP 2021521050 A JP2021521050 A JP 2021521050A
Authority
JP
Japan
Prior art keywords
vehicle
yaw
additional
additional vehicle
lidar data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020555890A
Other languages
English (en)
Other versions
JPWO2019199474A5 (ja
JP7358384B2 (ja
Inventor
ウォレン スミス
ウォレン スミス
イサン イーデ
イサン イーデ
スターリング ジェー アンダーソン
スターリング ジェー アンダーソン
ジェームズ アンドリュー バグネル
ジェームズ アンドリュー バグネル
バーソロメウス シー ナブ
バーソロメウス シー ナブ
クリストファー ポール アームソン
クリストファー ポール アームソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Innovation Inc
Original Assignee
Aurora Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Innovation Inc filed Critical Aurora Innovation Inc
Publication of JP2021521050A publication Critical patent/JP2021521050A/ja
Publication of JPWO2019199474A5 publication Critical patent/JPWO2019199474A5/ja
Application granted granted Critical
Publication of JP7358384B2 publication Critical patent/JP7358384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114Yaw movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G05D1/247
    • G05D1/81
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/803Relative lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00Output or target parameters relating to objects

Abstract

自律的に制御される車両に追加された追加車両のヨーパラメータ(例えば、少なくとも1つのヨーレート)を決定し、追加車両の決定されたヨーパラメータに基づいて車両の自律走行制御が調整される。例えば、車両の自律走行の操向、加速および/または減速は、追加車両の決定されたヨーレートに基づいて調整されることができる。多くの具現において、車両の位相コヒーレントLIDAR(Light Detection and Ranging)モノパルスコンポーネントおよび/または周波数変調連続波(FMCW)LIDARコンポーネントのような車両の位相コヒーレントLIDARコンポーネントからのデータに基づいて追加車両のヨーパラメータが決定される。

Description

コンピューティングおよび車両技術が進化し続けるにつれて、自律性の関連特徴は、より強力かつ広範囲に使用できることになり、より様々な環境で車両を制御できることになった。自動車の場合、例えば、米国自動車工学会(SAE)は、「非自動化」から「完全自動化」までの運転自動化を6つのレベルに識別した標準(J3016)を樹立した。SAE標準は、レベル0を警告または介入(Intervention)システムによる向上にもかかわらず、動的運転タスクのすべての面で人間ドライバーによるフルタイムの実行が必要な「非自動化」と定義する。レベル1は、「ドライバー補助」と定義され、車両は、少なくとも一部の運転モードで操向(Steering)または、加速/減速(両方ともではない)を制御し、ドライバーは、動的運転作業のすべての残りの部分を行う。レベル2は、「部分自動化」と定義され、車両は、少なくともいくつかの運転モードで操向および加速/減速を制御し、ドライバーは、動的運転作業のすべての残りの部分を行う。レベル3は、「条件付き自動化」と定義され、少なくとも一部の運転モードで自動化された運転システムは、動的運転作業のすべての面を行い、人間ドライバーが介入要求に対して適切に応答することを期待する。レベル4は、「高い自動化」と定義され、特定の条件でのみ自動化された運転システムは、人間ドライバーが介入要求に対して適切に応答しなくても、動的運転作業のすべての面を行う。レベル4の特定の条件は、例えば、特定の道路タイプ(例えば、高速道路)および/または特定の地理的領域(例えば、適切な地図が備えられ、境界が明確な(Geofenced)大都市地域)であり得る。最後に、レベル5は、「完全自動化」と定義され、ここで車両は、すべての条件下でドライバーの入力がなくても動作できる。
自律性関連技術についての基本的な挑戦は、車両の周囲環境についての情報を収集および解析するとともに、車両の動きを適切に制御する命令を計画および実行して現在の環境で車両を安全に調整することに関連する。したがって、このような側面のそれぞれを改善する努力が続けられており、そうすることにより、自律走行車は、より複雑な状況を確実に処理し得、ある環境内で予想や予想外の条件を収容することができる。
本発明が解決しようとする課題は、追加車両の決定されたヨーパラメータに基づいた自律走行車制御を提供するものである。
一部の具現において、追加車両の決定されたヨーパラメーター(Yaw Parameter)に基づいて自律走行車の自律走行制御を調整する方法が提供される。前記方法は、車両の位相コヒーレント(Phase Coherent)LIDAR(Light Detection and Ranging)コンポーネントのセンシングサイクルの位相コヒーレントLIDARデータポイントグループを位相コヒーレントLIDARコンポーネントから受信する。前記グループのLIDARデータポイントのそれぞれは、環境内の対応ポイントについての対応距離および対応速度を示し、前記グループの位相コヒーレントLIDARデータポイントのそれぞれは、センシングサイクル中に、位相コヒーレントLIDARコンポーネントの対応センシングイベントに基づいて生成される。前記方法は、前記グループの前記位相コヒーレントLIDARデータポイントのうち、一サブグループが前記車両に追加された追加車両に対応すると判断するステップをさらに含む。前記方法は、前記サブグループが前記追加車両に対応すると判断するステップに基づいて、前記サブグループの複数の前記位相コヒーレントLIDARデータポイントに基づいて前記追加車両のヨーパラメータを判断するステップをさらに含む。前記方法は、また前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップをさらに含む。
ここで説明した技術の具現および他の具現は、1つ以上の次の特徴を含み得る。
一部の具現において、前記グループの前記位相コヒーレントLIDARデータポイントのうち、前記サブグループが前記追加車両に対応すると判断するステップは、学習された機械学習モデルを使用して前記グループの前記位相コヒーレントLIDARデータポイントを処理するステップと、前記学習された機械学習モデルを使用して前記グループの前記位相コヒーレントLIDARデータポイントを処理したことに基づいて前記サブグループが車両分類(Vehicle Classification)を有することを示す出力を生成するステップと、前記サブグループが前記車両分類を有することを示す前記出力に基づいて前記サブグループが前記追加車両に対応すると判断するステップと、を含む。
一部の具現において、前記サブグループの前記複数の前記位相コヒーレントLIDARデータポイントに基づいて前記追加車両の前記ヨーパラメータを決定するステップは、前記サブグループの前記複数の位相コヒーレントLIDARデータポイントのうち、1つ以上の第1セットを決定するステップと、前記第1セットから空間的にオフセット(Spatially Offset)された第2セットに基づいて前記サブグループの前記複数の位相コヒーレントLIDARデータポイントのうち、1つ以上の第2セットを決定するステップと、前記第1セットおよび前記第2セットの比較に基づいて前記ヨーパラメータを決定するステップと、を含む。前記具現の一部のバージョンにおいて、前記第1セットおよび前記第2セットが相対的に互いに空間的にオフセットされていると判断するステップは、少なくとも部分的に前記第1セットおよび第2セットに示した対応距離に基づく。前記具現の一部の追加的または代替的なバージョンにおいて、前記第1セットおよび前記第2セットの比較に基づいて前記追加車両の前記ヨーパラメータを決定するステップは、前記第1セットの第1セット速度の大きさ(Velocity Magnitude)および前記第2セットの第2セット速度の大きさの比較に基づいて前記ヨーパラメータを決定するステップを含む。前記第1セット速度の大きさは、前記第1セットに対する対応速度に基づき、前記第2セット速度の大きさは、前記第2セットに対する対応速度に基づく。多様な具現において、追加車両のヨーパラメータは、追加車両のヨーレート(Yaw Rate)を含み得、第1セットおよび第2セットの比較に基づいて追加車両のヨーパラメータを決定するステップは、第1セットおよび第2セットとの間の空間オフセットに基づいて距離を決定するステップと、第1セット速度の大きさおよび第2セット速度の大きさの比較、および距離に基づいてヨーレートを決定するステップと、をさらに含む。第1セット速度の大きさおよび第2セット速度の大きさの比較、および距離に基づいて前記ヨーレートを決定するステップは、第1セット速度の大きさおよび第2セット速度の大きさの比較に基づいて第1セット速度の大きさおよび第2セット速度の大きさとの間の速度差(Velocity Differential)を決定するステップと、前記距離に基づいて前記速度差を前記ヨーレートに変換するステップと、を含み得る。多様な具現において、前記追加車両の前記ヨーパラメータは、前記追加車両の下界(Lower Bound)ヨーレートを含み得、前記方法は、上界(Upper Bound)ヨーレートに該当し、前記第1セットおよび前記第2セットの比較に基づいて決定される前記追加車両の追加ヨーパラメータを決定するステップを含み得る。例えば、前記方法は、前記第1セット速度の大きさおよび前記第2セット速度の大きさとの間の比較に基づいて前記第1セット速度の大きさおよび前記第2セット速度の大きさとの間の速度差を決定するステップをさらに含み、前記下界ヨーレートを決定するステップは、前記速度差を前記距離で割るステップを含み、前記上界ヨーレートを決定するステップは、前記距離に基づくが、前記距離に比べて大きさが減少した値で前記速度差を割るステップを含み得る。前記位相コヒーレントLIDARデータポイントの第1セットおよび第2セットを決定する多様な具現において、前記第1セットは、前記複数の位相コヒーレントLIDARデータポイントのうち、多数を含み、前記第1セット速度の大きさは、前記複数の位相コヒーレントLIDARデータポイントのうち、前記多数に対する前記対応速度に基づいて決定される。例えば、前記第1セット速度の大きさは、前記複数の位相コヒーレントLIDARデータポイントのうち、前記多数に対する前記対応速度の平均に基づくことができる。前記ヨーパラメータがヨーレートを含み、前記第1セットおよび前記第2セットの比較に基づいて前記追加車両の前記ヨーパラメータを決定する多様な具現において、前記ヨーパラメータを決定するステップは、第1セット速度の大きさおよび第2セット速度の大きさの比較に基づいて速度差を決定するステップと、前記追加車両に対する格納されたモデルを識別するステップと、前記追加車両に対する前記格納されたモデルに基づいて前記速度差を前記ヨーレートに変換するステップと、を含む。前記第1セット速度の大きさは、前記第1セットに対する対応速度に基づくことができ、前記第2セット速度の大きさは、前記第2セットに対する対応速度に基づくことができる。このような多様な具現の一部において、前記追加車両に対する前記格納されたモデルを識別するステップは、前記格納されたモデルを複数の格納された候補モデルのうち、前記サブグループの前記位相コヒーレントLIDARデータポイントに基づいて選択するステップを含む。
一部の具現において、前記ヨーパラメータは、ヨーレートおよびヨー方向を含む。このような一部の具現において、前記サブグループの前記複数の位相コヒーレントLIDARデータポイントに基づいて前記追加車両の前記ヨーパラメータを決定するステップは、学習された機械学習モデルを使用して前記サブグループの前記複数の位相コヒーレントLIDARデータポイントを処理するステップと、前記学習された機械学習モデルを使用して前記サブグループの前記位相コヒーレントLIDARデータポイントを処理することに基づいて、前記ヨーレートを示す出力を生成するステップと、前記出力に基づいて前記ヨーレートおよび前記ヨー方向を決定するステップと、を含む。このような具現の一部バージョンにおいて、前記学習された機械学習モデルを使用して前記サブグループの前記複数の位相コヒーレントLIDARデータポイントを処理するステップは、前記学習された機械学習モデルを使用して前記サブグループの前記複数の位相コヒーレントLIDARデータポイントのすべてを処理するステップを含む。
一部の具現において、前記追加車両の前記ヨーパラメータは、ヨーレートを示す速度差に該当する。このような一部の具現において、前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップは、しきい値を超過する前記速度差に基づいて前記自律走行制御を調整するステップを含む。
一部の具現において、前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップは、前記車両の速度および/または方向を変更するステップを含む。一部の具現において、前記ヨーパラメータは、ヨーレートであり、前記追加車両の前記決定されたヨーレートに基づいて前記車両の自律走行制御を調整するステップは、前記決定されたヨーレートがしきい値を満足するという判断に応答して行われる。
一部の具現において、前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップは、前記決定されたヨーパラメータに基づいて前記追加車両の少なくとも1つの候補軌跡を決定するステップと、少なくとも1つの候補軌跡に基づいて前記車両の自律走行制御を調整するステップと、を含む。
一部の具現において、前記位相コヒーレントLIDARデータポイントのグループは、3次元ポイントクラウドを含む。
一部の具現において、前記位相コヒーレントLIDARコンポーネントは、位相コヒーレントLIDARモノパルス(Monopulse)コンポーネントである。前記具現の一部において、前記位相コヒーレントLIDARコンポーネントの前記対応センシングイベントのそれぞれは、前記位相コヒーレントLIDARモノパルスコンポーネントの第1受信機での第1受信機センシングイベントおよび前記位相コヒーレントLIDARモノパルスコンポーネントの第2受信機での第2受信機センシングイベントを含む。前記具現の一部バージョンにおいて、前記位相コヒーレントLIDARコンポーネントの対応センシングイベントは、前記位相コヒーレントLIDARモノパルスコンポーネントの第3受信機での第3受信機センシングイベントをさらに含む。
一部の具現において、前記位相コヒーレントLIDARコンポーネントは、周波数変調連続波(Frequency−Modulated Continuous Wave:FMCW)LIDARコンポーネントである。
一部の具現において、追加車両の決定されたヨーレートに基づいて自律走行車の自律走行制御を調整する方法が提供され、前記方法は、車両の位相コヒーレントLIDARコンポーネントから前記車両の環境をキャプチャした位相コヒーレントLIDARデータを受信するステップを含む。前記位相コヒーレントLIDARデータは、前記車両の前記環境内の複数のポイントそれぞれに対して前記位相コヒーレントLIDARコンポーネントの対応するセンシングイベントに基づく少なくとも1つの対応距離および少なくとも1つの対応速度を示す。前記方法は、また前記位相コヒーレントLIDARデータのサブグループが前記環境内に存在し、前記車両に追加された追加車両に対応すると判断するステップをさらに含む。前記方法は、前記追加車両のヨーレートを決定するステップと、前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップと、をさらに含む。前記追加車両の前記ヨーレートを決定するステップは、前記サブグループの前記位相コヒーレントLIDARデータに示した多数の対応速度に基づく。
ここで説明した技術の具現および他の具現は、1つ以上の次の特徴を含み得る。
一部の具現において、前記位相コヒーレントLIDARデータのサブグループが前記追加車両に対応すると判断するステップは、学習された機械学習モデルを使用して前記位相コヒーレントLIDARデータを処理するステップと、前記学習された機械学習モデルを使用した前記位相コヒーレントLIDARデータポイントの処理に基づいて、前記サブグループが車両分類を有することを示す出力を生成するステップと、前記サブグループが前記車両分類を有することを示す出力に基づいて前記サブグループを選択するステップと、を含む。
一部の具現において、前記追加車両の前記ヨーレートを決定するステップは、前記サブグループの前記位相コヒーレントLIDARデータに示した前記多数の対応速度に基づいて速度勾配(Velocity Gradient)を決定するステップ、前記速度勾配に基づいて前記ヨーレートを決定するステップと、を含む。
一部の具現において、前記追加車両の前記決定されたヨーレートに基づいて前記車両の自律走行制御を調整するステップは、前記車両の速度および方向のうち、1つまたは両方を変更するステップを含む。
一部の具現において、前記位相コヒーレントLIDARデータは、距離−ドップラー(Range−Doppler)映像、3次元ポイントクラウドおよび/または中間周波数波形(Intermediate Frequency Waveform)を含む。前記中間周波数波形は、当該のセンシングサイクル中に、時間遅延した反射と局部光発振器の混合(Mixing)に基づいて生成され得る。
一部の具現において、位相コヒーレントLIDARコンポーネントは、少なくとも第1コヒーレント光受信機および第2コヒーレント光受信機を含む位相コヒーレントLIDARモノパルスコンポーネントである。前記具現の一部において、前記位相コヒーレントLIDARコンポーネントの前記対応センシングイベントのそれぞれは、前記位相コヒーレントLIDARモノパルスコンポーネントの第1受信機での第1受信機センシングイベントおよび前記位相コヒーレントLIDARモノパルスコンポーネントの第2受信機での第2受信機センシングイベントを(そして、選択的に追加受信機での追加受信機センシングイベントをさらに)含む。
一部の具現において、前記位相コヒーレントLIDARコンポーネントは、FMCW LIDARコンポーネントである。
一部の具現において、追加車両の決定されたヨーレートに基づいて自律走行車の自律走行制御を調整する方法が提供され、前記方法は、車両の位相コヒーレントモノパルスLIDARコンポーネントから前記車両の環境をキャプチャした位相コヒーレントLIDARモノパルスデータを受信するステップを含む。前記位相コヒーレントLIDARモノパルスコンポーネントは、レーザーソースおよび少なくとも第1コヒーレント受信機および第2コヒーレント受信機を含む。前記位相コヒーレントLIDARモノパルスデータは、前記車両の環境内の複数のポイントそれぞれに対して少なくとも1つの対応距離および少なくとも1つの対応速度を前記位相コヒーレントLIDARモノパルスコンポーネントの当該のセンシングイベントに基づいて示す。前記位相コヒーレントLIDARコンポーネントの前記対応センシングイベントは、それぞれ前記第1受信機による第1受信機センシングイベントおよび前記第2受信機による第2受信機センシングイベントを含む。前記方法は、前記位相コヒーレントLIDARモノパルスデータに示した前記多数の対応速度に基づいて前記車両の前記環境内の追加車両のヨーパラメータを決定するステップをさらに含む。前記方法は、前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップをさらに含む。
ここで説明した技術の具現および他の具現は、1つ以上の次の特徴を含み得る。
一部の具現において、前記位相コヒーレントLIDARモノパルスデータに基づいて前記追加車両の前記ヨーパラメータを決定するステップは、前記位相コヒーレントLIDARモノパルスデータの第1セットを決定するステップと、前記第1セットから空間的にオフセットされた第2セットに基づいて前記位相コヒーレントLIDARモノパルスデータの第2セットを決定するステップと、第1セット速度および第2セット速度に基づいて前記ヨーパラメータを決定するステップと、を含む。前記第1セット速度は、前記第1セットの対応速度のうち、少なくとも1つに基づき、前記第2セット速度の大きさは、前記第2セットの対応速度のうち、少なくとも1つに基づく。一部の具現において、前記追加車両の前記ヨーパラメータは、前記追加車両のヨーレートを含む。前記具現の一部のバージョンにおいて、前記第1セット速度および前記第2セット速度の比較に基づいて前記追加車両の前記ヨーパラメータを決定するステップは、前記第1セットおよび前記第2セットとの間の前記空間オフセットに基づいて距離を決定するステップと、前記ヨーレートを前記第1セット速度、前記第2セット速度、および前記距離の関数として決定するステップと、をさらに含む。前記バージョンの一部において、前記ヨーレートを前記第1セット速度、第2セット速度および前記距離の関数として決定するステップは、前記第1セット速度および前記第2セット速度との間の速度差を決定するステップと、前記距離に基づいて前記速度差を前記ヨーレートに変換するステップと、を含む。
一部の具現において、前記ヨーパラメータは、ヨーレートを含み、前記位相コヒーレントLIDARモノパルスデータに示した前記多数の対応速度に基づいて前記ヨーパラメータを決定するステップは、前記追加車両に対する格納されたモデルを識別するステップと、前記多数の対応速度および前記追加車両に対する前記格納されたモデルに基づいて前記ヨーレート決定するステップと、を含む。一部の具現において、前記多数の対応速度および前記追加車両に対する前記格納されたモデルに基づいて前記ヨーレートを決定するステップは、前記多数の対応速度に基づいて速度差を決定するステップと、前記追加車両に対する前記格納されたモデルに基づいて前記速度差を前記ヨーレートに変換するステップと、を含む。
一部の具現において、前記ヨーパラメータは、ヨーレートを含み、前記位相コヒーレントLIDARモノパルスデータに基づいて前記追加車両の前記ヨーパラメータを決定するステップは、学習された機械学習モデルを使用して前記位相コヒーレントLIDARモノパルスデータの少なくとも一部を処理するステップと、前記学習された機械学習モデルを使用した前記位相コヒーレントLIDARモノパルスデータの前記少なくとも一部の処理に基づいて前記ヨーレートを示す出力を生成するステップと、前記出力に基づいて前記ヨーレートを決定するステップと、を含む。
一部の具現において、前記位相コヒーレントLIDARコンポーネントは、FMCW LIDARコンポーネントである。
一部の具現において、車両の位相コヒーレントLIDARコンポーネントから前記車両の環境をキャプチャした位相コヒーレントLIDARデータを受信するステップを含む方法が提供される。前記位相コヒーレントLIDARデータは、前記車両の環境内の複数のポイントそれぞれに対して前記位相コヒーレントLIDARコンポーネントの当該のセンシングイベントに基づく少なくとも1つの対応距離および少なくとも1つの対応速度を示す。前記方法は、前記位相コヒーレントLIDARデータのサブグループが前記環境内にあり、前記車両に追加された追加車両に対応すると判断するステップをさらに含む。前記方法は、前記サブグループの前記位相コヒーレントLIDARデータに示した多数の対応速度に基づいて前記追加車両のヨーパラメータを決定するステップをさらに含む。前記方法は、また車両の計画ザブシステムおよび/または制御ザブシステムのような、車両の少なくとも1つのザブシステムに前記決定されたヨーパラメータを提供するステップをさらに含む。
一部の具現において、車両の位相コヒーレントコンポーネントから前記車両の環境をキャプチャしたものであり、前記車両の環境内の複数のポイントそれぞれに対して前記位相コヒーレントLIDARコンポーネントの対応センシングイベントに基づく少なくとも1つの対応距離および少なくとも1つの対応速度を示す位相コヒーレントLIDARデータを受信するステップを含む方法が提供される。前記方法は、前記方法は、前記位相コヒーレントLIDARデータに示した前記多数の対応速度に基づいて前記車両の環境内にある追加車両のヨーパラメータを決定するステップをさらに含む。前記方法は、車両の計画ザブシステムおよび/または制御ザブシステムのような、車両の少なくとも1つのザブシステムに前記決定されたヨーパラメータを提供するステップをさらに含む。
前述の2つの具現およびここで説明した技術の他の具現は、1つ以上の次の特徴を含み得る。
一部の具現において、前記ヨーパラメータは、ヨーレート(Yaw Rate)を含み、前記位相コヒーレントLIDARデータに基づいて前記追加車両のヨーパラメータを決定するステップは、学習された機械学習モデルを使用して前記位相コヒーレントLIDARデータの少なくとも一部を処理するステップと、前記学習された機械学習モデルを使用した前記位相コヒーレントLIDARデータの前記少なくとも一部の処理に基づいて前記ヨーレートを示す出力を生成するステップと、前記出力に基づいて前記ヨーレートを決定するステップと、を含む。
一部の具現において、前記位相コヒーレントLIDARコンポーネントは、前記位相コヒーレントモノパルスコンポーネントであり、前記位相コヒーレントLIDARデータは、位相コヒーレントLIDARモノパルスデータである。一部の追加的または代替的な具現において、前記位相コヒーレントLIDARコンポーネントは、FMCW LIDARコンポーネントである。
一部の具現において、機械学習モデルを学習する方法が提供される。前記機械学習モデルは、少なくとも1つの自律走行車の自律走行制御に使用され、前記方法は、複数の学習インスタンスを生成するステップを含む。前記学習インスタンスのそれぞれを生成するステップは、対応する自律走行車のビジョン(Vision)コンポーネントからのビジョンデータの対応インスタンスに基づいて前記学習インスタンスの学習インスタンス入力を生成するステップと、ビジョンデータの当該のインスタンスによってキャプチャされ、対応追加車両の1つ以上のセンサに基づく追加車両データの対応インスタンスに基づいて学習インスタンスの指導学習インスタンス出力(Supervised Training Instance Output)を生成するステップと、を含む。前記追加車両データの対応インスタンスは、前記対応追加車両の少なくとも1つの動的特性(Property)に対応する現在の状態を示す。追加車両データの前記対応インスタンスは、追加車両データの前記対応インスタンスが一時的に前記当該のビジョンデータインスタンスに対応するという判断に基づいて前記指導学習インスタンス出力を生成するのに使用される。前記方法は、複数の学習インスタンスに基づいて前記機械学習モデルを学習するステップと、前記少なくとも1つの自律走行車の制御に使用するように、前記学習された機械学習モデルを提供するステップと、をさらに含む。
ここで説明した技術の具現および他の具現は、選択的に1つ以上の次の特徴を含み得る。
一部の具現において、ビジョンデータの当該のインスタンスは、LIDAR(Light Detection and Ranging)データであり、ビジョンコンポーネントは、LIDARコンポーネントである。一部の具現において、LIDARコンポーネントは、位相コヒーレントLIDARコンポーネントであり、LIDARデータは、位相コヒーレントLIDARコンポーネントのセンシングサイクルのLIDARデータポイントグループを含む。前記グループのLIDARデータポイントのそれぞれは、前記環境内の対応ポイントについての対応距離および対応速度を示し、前記グループのLIDARデータポイントのそれぞれは、前記センシングサイクルの対応センシングイベントに基づいて生成される。
一部の具現において、前記学習インスタンスの前記指導学習インスタンス出力は、前記対応追加車両のキャプチャした前記ビジョンデータの一部を境界づける境界領域の表示(Indication)をさらに含む。
一部の具現において、機械学習モデルを学習するステップは、前記機械学習モデルを使用して前記学習インスタンスの前記学習インスタンス入力を処理して予測された出力を生成するステップと、前記予測された出力および前記学習インスタンスの前記指導学習インスタンス出力に基づいて損失を生成するステップと、前記生成された損失に基づいて前記機械学習モデルを更新するステップと、を含む。
一部の具現において、前記追加車両データのインスタンスは、1つ以上のヨーパラメータを含み、前記対応追加車両の1つ以上のセンサは、少なくともヨーレートセンサを含む。このような一部の具現において、前記追加車両データは、前記対応追加車両の制御器領域ネットワーク(Controller Area Network)に対するモニタリングに基づいて決定される。
一部の具現において、前記追加車両データインスタンスは、前記対応追加車両の速度および加速度のうち、1つまたは両方を含む。
一部の具現において、前記追加車両データインスタンスは、ヨーパラメータ、および速度と加速度のうち、1つまたは両方を含む。
一部の具現において、前記方法は、前記少なくとも1つの自律走行車のうち、与えられた自律走行車の少なくとも1つのプロセッサによって前記学習された機械学習モデルを使用して(与えられた自律走行車の与えられたビジョンコンポーネントによってキャプチャされた)与えられたビジョンデータを処理するステップと、前記処理に基づいて前記与えられたビジョンデータによってキャプチャされた与えられた追加車両の予測された状態を生成するステップと、前記予測された状態に基づいて前記与えられた自律走行車を制御するステップと、を含む。一部の具現において、前記与えられたビジョンデータは、前記ビジョンコンポーネントのセンシングサイクル中にキャプチャされたビジョンデータのサブグループであり、前記方法は、前記サブグループが前記与えられた追加車両に対応するという判断に基づいてビジョンデータのサブグループを生成するステップをさらに含む。このような具現のうち、一部のバージョンにおいて、前記サブグループが前記与えられた追加車両に対応すると判断するステップは、追加客体検出および分類モデルを使用して前記ビジョンデータを処理するステップと、前記追加客体検出および分類モデルを使用して前記ビジョンデータを処理するステップに基づいて生成された出力に応じて前記サブグループが前記与えられた追加車両に対応すると判断するステップと、を含む。
一部の具現において、学習された機械学習モデルを使用して自律走行車を制御する方法が提供される。前記方法は、自律走行車の1つ以上のプロセッサによって具現され、前記方法は、前記学習された機械学習モデルを使用して与えられたビジョンデータを処理するステップを含み、前記与えられたビジョンデータは、自律走行車のビジョンコンポーネントによってキャプチャされる。前記方法は、前記処理に基づいて前記与えられたビジョンデータによってキャプチャされた与えられた追加車両の少なくとも1つ以上の動的特性の予測された状態を生成するステップを含む。前記方法は、前記予測された状態に基づいて前記自律走行車を制御するステップをさらに含む。学習された機械学習モデルは、複数の学習インスタンスに基づいて学習され、学習インスタンスのそれぞれは、当該の自律走行車のビジョンコンポーネントからのビジョンデータの対応インスタンスに基づく学習インスタンス入力と、ビジョンデータの当該のインスタンスによってキャプチャされた対応追加車両の1つ以上のセンサに基づく追加車両データの対応インスタンスによる指導学習インスタンス出力を含む。
ここで説明した技術の具現および他の具現は、選択的に1つ以上の次の特徴を含み得る。
一部の具現において、前記与えられたビジョンデータは、前記ビジョンコンポーネントのセンシングサイクル中にキャプチャされたビジョンデータのサブグループであり、前記方法は、前記サブグループが前記与えられた追加車両に対応するという判断に基づいてビジョンデータのサブグループを生成するステップをさらに含む。一部の具現において、前記サブグループが前記与えられた追加車両に該当すると判断するステップは、追加客体検出および分類モデルを使用して前記ビジョンデータを処理するステップと、前記追加客体検出および分類モデルを使用して前記ビジョンデータを処理するステップに基づいて生成された出力に応じて前記サブグループが前記与えられた追加車両に対応すると判断するステップと、を含む。
一部の具現において、前記自律走行車を制御するステップは、前記自律走行車の速度および/または方向を制御するステップを含む。
一部の具現において、少なくとも1つの特性は、前記追加車両のヨーレートおよび/またはヨー方向を含む。
一部の具現において、少なくとも1つの特性は、追加車両の速度および/または加速度を含む。
一部の具現において、少なくとも1つの特性は、追加車両のヨーパラメータ、速度および/または加速度を含む。
また、一部の具現は、連想メモリに格納された命令を行うように動作可能な1つ以上のプロセッサを有する自律走行車を含み、前記命令は、ここに記述された方法のうち、いずれかを行うように構成される。一部具現は、追加的または代替的に1つ以上のプロセッサによって実行可能なコンピューター命令語を格納する1つ以上の非一時的コンピューターで読み出しできる格納媒体を含む。
前述した概念とより詳しく後述される追加概念のすべての組合せが本明細書に開示される構成要素の一部として考慮される。例えば、本明細書の最後に表示される請求される構成要素のすべての組合せが本明細書に開示される構成要素の一部として考慮される。
ここで開示された具現が行われることができる例示的な環境を示したものである。
図2Aは、図1のFMCW LIDARコンポーネントの具現を概略的に示したものである。図2Bは、図1のFMCW LIDARコンポーネントの他の具現を概略的に示したものである。
追加車両のヨー軸、ピッチ軸およびロール軸とともに例示的な追加車両を示したものである。
追加車両の決定されたヨーパラメータに基づいて車両の自律走行制御を調整する具現を示したブロック図である。
それぞれ車両の例示的な環境を示し、前記環境は、追加車両を含み、それぞれは、また環境内の追加車両に対応できる一部のFMCW LIDARデータポイントの例を示したものである。 それぞれ車両の例示的な環境を示し、前記環境は、追加車両を含み、それぞれは、また環境内の追加車両に対応できる一部のFMCW LIDARデータポイントの例を示したものである。 それぞれ車両の例示的な環境を示し、前記環境は、追加車両を含み、それぞれは、また環境内の追加車両に対応できる一部のFMCW LIDARデータポイントの例を示したものである。 それぞれ車両の例示的な環境を示し、前記環境は、追加車両を含み、それぞれは、また環境内の追加車両に対応できる一部のFMCW LIDARデータポイントの例を示したものである。
どのように追加車両の候補軌跡が決定されたヨーパラメータに基づいて決定され得るか、またはどのように車両の自律走行制御が追加車両の候補軌跡に基づいて調整されることができるかを示したものである。
ヨーパラメータを決定し、決定されたヨーパラメータに基づいて自律走行車を制御する例示的な方法を示したフローチャートである。
ヨーパラメータを決定し、決定されたヨーパラメータに基づいて自律走行車を制御する他の例示的な方法を示したフローチャートである。
FMCW LIDARデータに基づいてヨーレートの決定に使用できる機械学習モデルを学習する例示的な方法を示したフローチャートである。
車両の自律制御の様々なレベルで(例えば、前述したSAEレベル1ないし5のうち、いずれか)、いわゆる自車両(Ego Vehicle、すなわち、自律的に制御される車両)の様々なパラメータが決定され、自車両自体の多様に決定されたパラメータに基づく自車両の自律走行制御を調整する必要がある。このようなパラメータが自車両のヨーレート(Yaw Rate)である。車両のヨーレートは、ヨー軸に対する回転角速度であり、通常、秒当たりラジアンまたは秒当たり角度で測定される。自車両のヨーレートは、例えば、自車両のコリオリの力(Coriolis Force)を測定する圧電(Piezoelectric)またはマイクロ機械式(Micromechanical)センサのような自車両のヨーレートセンサからの出力に基づいて決定される。自車両のヨーレートは、自車両の電子式走行安定装置(Electronic Stability Control、ESC)のような様々な車両制御技法に使用されてきた。ESCにおいて、ヨーレートセンサおよび他のセンサからの出力は、例えば、アンチロックブレーキ(Anti−Lock Braking System、ABS)の制御調整に使用され、自車両の追跡/スキッド(Skid)の損失を軽減し得る。
自車両(以下、手短に「車両」とも述べる)の様々なレベルの自律制御において、自車両に追加され、自車両の環境内に存在する追加車両の様々なパラメータを決定することが好ましいか、または必要である。例えば、車両に対する追加車両のポーズ(位置および選択的に方向)を決定し、追加車両が車両に対してどのように移動するかを判断する必要がある。例えば、車両が継続して現在の意図された軌跡に進行すれば、追加車両のポーズおよび移動によって追加車両が車両に接近しすぎると判断される場合、車両の自律回避制動(Autonomous Evasive Braking)および/または自律回避操向(Autonomous Evasive Steering)が必要であり得る。
ここで開示された具現は、一般的に追加車両のヨーパラメータを決定することと追加車両の決定されたヨーパラメータに基づいて車両の自律走行制御を調整することに合わせられている。例えば、車両の自律操向、加速および/または減速は、追加車両の決定されたヨーパラメータに基づいて調整されることができる。追加車両のヨーパラメータは、例えば、追加車両の少なくとも1つのヨーレートを含み得る。ヨーレートは、ヨー軸(Yaw Axis)に対する追加車両の回転角速度および選択的に前記回転の方向を示し得る。追加車両のヨーパラメータは、選択的にヨー軸に対する追加車両の回転方向の表示とともに、追加的または代替的に追加車両の2つの部分の間の速度差の大きさを示す少なくとも1つの速度差を含み得る。ヨーパラメータは、追加的または代替的に追加車両がヨー移動(Yaw Movement)中にあるのか(例えば、追加車両がヨー軸を中心に少なくとも最小移動臨界角度だけ進行しているのか)の可否に対する表示を含む。
ここに開示された多くの具現において、追加車両のヨーパラメータは、車両の位相コヒーレントLIDAR(Light Detection and Ranging)からのデータに基づいて決定される。車両の位相コヒーレントLIDARコンポーネントからのデータは、ここで「位相コヒーレントLIDARデータ」と呼ばれる。ここで開示されたように、位相コヒーレントLIDARデータは、環境内の複数のポイントそれぞれに対して、少なくとも前記ポイントに対する距離と速度を示し得る。ポイントに対する距離は、位相コヒーレントLIDARコンポーネントの受信機から前記ポイントまでの距離を示す。前記ポイントに対する速度は、前記ポイントに対する速度の大きさ(および選択的に方向)を示す。ポイントに対して示した距離および速度は、位相コヒーレントLIDARコンポーネントの対応センシングイベントに基づく。したがって、センシングサイクルのセンシングイベントを通じて、環境内の多量のポイントに対する瞬間距離および瞬間速度を示す位相コヒーレントLIDARデータが決定され得る。ここに開示された具現は、少なくとも一部のFMCW LIDARデータに示した瞬間距離および瞬間速度に基づいて追加車両の瞬間ヨーパラメータを決定し得る。したがって、センシングサイクルの位相コヒーレントLIDARデータに基づいて決定されたヨーパラメータは、以後、センシングサイクルから位相コヒーレントLIDARデータの参照を必要とせず、センシングサイクル中のヨー移動に基づいて追加車両に対するヨー情報を提供する。これは、追加車両の現在のヨーパラメータに対する迅速な判断を可能にし、結果的に現在のヨーパラメータを考慮して車両制御調整が必要かどうかの迅速な決定(および調整が決定されたときは、迅速な調整)を可能にする。
一般的に、LIDARは、光学スペクトル内の電磁波の反射を使用して環境内のポイントの距離を決定する技術である。例えば、一部のLIDAR具現は、光パルスの双方向遅延(Round−Trip Delay)の測定に基づいてポイントの距離を決定する。LIDARコンポーネントは、光学スペクトル内の光パルスを生成する光源(例えば、レーザー)、(例えば、方位角および仰角をスキャンするため)光源の方向を調整するようにする光学装置(例えば、鏡など)、反射したパルスを測定するセンサ、および反射したパルスを処理するための局部プロセッサおよび/または他の電子コンポーネントを含み得る。反射したパルスは、送信されたパルスおよび反射したパルスとの間の時間遅延に基づいて(また、光束を用いて)環境内のターゲットのポイントまでの距離を決定するように処理され得る。一部の具現において、LIDARコンポーネントは、前記処理に基づいて(また、反射したパルスの強度に基づいて) 強度値(Intensity Value)を有し得る3次元(3D)ポイントクラウドである出力を生成する。
一般的に、位相コヒーレントLIDARは、光学スペクトル内の電磁波の反射を使用して環境内のポイントの距離および視線速度(Radial Velocities)を示すデータを決定する技術である。位相コヒーレントLIDARコンポーネントは、波長を生成する少なくとも1つの波長可変レーザー(Tunable Laser)(または、他の光源)を含み、干渉光受信機のような少なくとも1つの受信機を含む。位相コヒーレントLIDARコンポーネントは、また波長可変レーザーからの波形を(方位角および/または仰角で)環境内の複数のポイントに向けるのに使用できる光学装置のように、波長可変レーザーの方向を調整する1つ以上のコンポーネントを含み得る。また、位相コヒーレントLIDARコンポーネントは、波形反射を処理するための局部プロセッサおよび/または電子コンポーネントを含み得る。位相コヒーレントLIDARコンポーネントを有する波長可変レーザーは、生成した波形が前記波形を通じて波形の1つ以上の特徴を変更してエンコードされるように制御できるという点で可変である。波長可変レーザーは、チャープ(Chirp)、ステップおよび/またはパルス波形のように1つ以上の様々なエンコードされた波形を生成するように制御できる。
周波数変調連続波(Frequency−Modulated Continuous Wave:FMCW)LIDARコンポーネントは、位相コヒーレントLIDARコンポーネントの特別なタイプである。FMCW LIDARコンポーネントは、周波数変調によりエンコードされ、連続的な波形を生成するように波長可変レーザーを少なくとも選択的に(例えば、使用中であれば常に)制御する。例えば、波形は、周波数変調によりエンコードされた連続ステップ波形であり得る。例えば、波長可変レーザーは、ステップの周波数の変更によりエンコードされたステップ波形を生成するように制御できる。車両のFMCW LIDARコンポーネントからのデータは、ここで「FMCW LIDARデータ」と呼ばれる。したがって、「位相コヒーレントLIDARデータ」は、周波数変調によりエンコードされ、連続的な波形に基づいてFMCW LIDARコンポーネントによって生成された場合、「FMCW LIDARデータ」であり得る。
位相コヒーレントLIDARコンポーネントのセンシングサイクル中に、送信されたエンコードされた波形は、順次に環境内の複数の各ポイントを向け、順次に各ポイントによって反射する。エンコードされた波形の反射した部分は、センシングサイクルの当該のセンシングイベントで少なくとも1つの位相コヒーレントLIDARコンポーネント受信機によってそれぞれ検出される。例えば、センシングイベントの反射した部分は、前記部分が送信されたエンコード波形に対応する局部光信号と混合したコヒーレント検出(Coherent−Detection)方式を使用して少なくとも1つのコヒーレント光受信機によって検出され得る。コヒーレント検出方式は、例えば、ホモダインミキシング(Homodyne Mixing)、ヘテロダインミキシング(Heterodyne Mixing)、セルフヘテロダインミキシング(Self−Heterodyne Mixing)、または他のコヒーレント検出方式であり得る。反射した部分を局部光信号とミキシングして生成された結果信号は、(1)当該のポイントまでの距離、および(2)当該のポイントの速度を示す。例えば、前記結果信号は、信号に2次元フーリエ変換(Two−Dimensional Fourier Transform)を適用し、ダイレクトディメンション(Direct Dimension) 内の周波数座標で2Dスペクトルを生成することにより処理され得る。インダイレクト(Indirect)ディメンション内の周波数座標は、距離決定に使用でき、インダイレクトディメンション内の周波数座標は、速度決定に使用できる。特別の例として、ホモダイン検出方式は、局部光学信号が送信されたエンコード波形の分割された部分であり、光受信機に対する光学的局部発振器信号に使用される方式であり得る。センシングイベントの間、局部発振器と時間遅延した反射部分のミキシングは、時変(Time Varying)中間周波数(IF)波形を生成し、当該のポイントの距離に直接関係する。また、ポイントが動いている場合、ドップラー周波数遷移は、IF波形に重畳され、前記ポイントの視線速度(Radial Velocity)決定に使用できる。センシングサイクルの多数のセンシングイベントで検出することにより、位相コヒーレントLIDARデータは、車両の環境内の複数のポイントそれぞれに対して生成され、センシングサイクル中に環境内の各ポイントに対する距離、速度、および選択的に強度を示す。
前述したように、位相コヒーレントLIDARコンポーネントによって生成された位相コヒーレントデータは、ここで開示された多様な具現で追加車両のヨーパラメータの決定に使用される。このような具現において、センシングサイクルの位相コヒーレントLIDARデータは、直接または間接的に、位相コヒーレントLIDARコンポーネントが結合された車両の環境内の複数のポイントそれぞれに対する対応距離および対応速度を示す。このような具現のうち一部において、位相コヒーレントLIDARデータは、3次元(3D)ポイントクラウドを含み、3Dポイントクラウド内の各ポイントは、(3Dポイントクラウド内の3D座標による)対応距離、対応速度および選択的に対応強度を定義する。一部の他の具現において、位相コヒーレントLIDARデータは、距離−ドップラー映像(Range−Doppler Image)のように、各ピクセルが対応距離および交差距離(Cross−Range)に対する対応速度(および選択的に強度)を定義する距離−ドップラー映像を含む。言い換えれば、距離−ドップラー映像内の各ピクセルは、対応距離および(環境内のポイントに対応する)交差距離に対応し、前記距離および交差距離に対する速度を定義する。他の具現において、位相コヒーレントLIDARデータは、局部発振器の時間遅延した反射とのミキシングに基づいてFMCW LIDARコンポーネントの光受信機によって生成された時変中間周波数(IF)波形を含む。時変IF波形は、ヨーパラメータの直接決定に使用でき、および/またはフーリエ変換および/または他の技法、およびヨーパラメータの決定に使用された処理データを使用して処理され得る。例えば、時変IF波形の各スライス(Slice)が処理され、環境内の当該のポイントに対する距離および速度、およびヨーパラメータの決定に使用された多数のポイントに対する距離および速度を決定するように処理され得る。したがって、1つ以上の先行(Preceding)および/または他のタイプの位相コヒーレントLIDARデータが位相コヒーレントLIDARコンポーネントによって生成され得、ここで説明した具現によって、追加車両のヨーパラメータの決定に使用できる。ヨーパラメータの決定で生成および使用された位相コヒーレントLIDARデータのタイプは、例えば、使用されている特別位相コヒーレントLIDARコンポーネントに属し得る。また、一部の具現において、受信された位相コヒーレントLIDARデータに示された速度は、(例えば、自車両のセンサに基づいて決定された自車両の速度または位相コヒーレントLIDARデータ内の靜的(Static)客体の速度に基づいて推論された自車両の速度に基づいて)自車両の速度が減算したものであり得る。一部の具現において、自車両の速度は、受信された位相コヒーレントLIDARデータから減算しないことがある。このような具現において、受信された位相コヒーレントLIDARデータは、選択的に自車両の速度を減算するように処理され得る。
一部の具現において、位相コヒーレントLIDARデータは、第1および第2コヒーレント光受信機のような、少なくとも第1および第2受信機を含む位相コヒーレントLIDARモノパルス(Monopulse)コンポーネントから出力される。このような具現において、各センシングイベントは、第1受信機による第1受信機センシングイベントおよび第2受信機による第2受信機センシングイベントを含む。例えば、第1受信機センシングイベントは、波形の反射した部分の第1検出と局部発振器のコヒーレントミキシングを含み得、第2受信機センシングイベントは、波形の反射した部分の第2検出と局部発振器のコヒーレントミキシングを含み得る。第1受信機センシングイベントおよび第2受信機センシングイベントは、ここでは、別の受信機によるものであるように、別のイベントに示される。しかし、センシングイベントは、それぞれ同じ反射を有するものであり得、同時にまたは実質的に同時に(例えば、互いに1ミリ秒以内に、1マイクロ秒以内に、または1ナノ秒以内に)起こり得る。
第1および第2受信機は、位置上で互いに相対的にオフセットされ、これによって第1および第2検出が(例えば、一時的および/または特徴的に(例えば、同相(In Phase)に)変わることになる。これは、第1受信機センシングイベントおよび第2受信機センシングイベントの比較に基づいて少なくとも1つの追加データチャネルがセンシングイベントに対して決定できるようにする。追加チャネルは、センシングイベントに基づいて決定されたポイントに対する角度の正確性増加に使用できる。例えば、追加チャネルは、第1および第2受信機センシングイベントとの間の振幅および/または位相差(例えば、局部発振器信号とのミキシングで第1および第2受信機のそれぞれによって生成された時変IF波形内の差)に基づくことができる。例えば、振幅および/または位相差が比較され、センシングイベントに基づいて決定された1つ以上のポイントそれぞれに対して角度(特別角度または角度範囲)を決定し得、ポイントがセンシングイベントを起こした反射のビーム幅よりも小さくなるようにそれぞれの角度が決定される(Resolved)。したがって、当該の距離に対する角度(例えば、受信機に対する方位角および仰角)がサブビーム幅レベルで決定され得、これによって決定された角度に対してより大きな正確性を提供する。また、前記ポイントは、ポイントの位置が角度および距離によって定義されるときに、サブビーム幅レベルとして限定されることができる。
一部の具現において、多数の距離/速度のペアは、単一のセンシングイベントに基づいて(例えば、距離−ドップラー映像および/またはIF波形に示した多数の距離/速度のペアのうち、距離および/または速度差に基づいて)決定され得ることが知られている。このような具現において、対応する角度は、多数の距離/速度のペアのそれぞれに対して決定され得、それぞれはサブビーム幅レベルで決定され得る。別の方法で説明すると、センシングサイクルの単一のセンシングイベントは、2つ以上のポイントのそれぞれに対して対応距離および対応速度を決定するのに使用できる。前記具現の一部のバージョンにおいて、位相コヒーレントLIDARコンポーネントのレーザーによる出力である電磁気出力のビーム幅は、意図的に広げられ、ビーム幅によって広げられないビーム幅に比べてより多くの空間をカバーし得る。例えば、ビーム幅は、位相コヒーレントLIDARコンポーネントから与えられた距離(例えば、10メートル、15メートル、20メートル、50メートルまたは、他の距離)で、センシングサイクルのビームの間にカバレッジギャップ(Coverage Gap)がないように固定され得る。ここで記述された角度の正確度の増加技法は、センシングサイクルの各ビームの広くなったビーム幅内にある2つ以上のポイントそれぞれに対して対応距離および対応速度を決定するのに使用できる。これは、ここで記述された増加された角速度技法の不在時に、センシングサイクルで多くの量のビームとセンシングイベントを必要とする正確度を有する距離および速度の決定を可能にする。したがって、ここで記述された増加された角速度技法は、センシングサイクルで与えられた正確度を有する距離および速度の分解を可能にする一方、正確度の達成に必要なセンシングサイクル内のセンシングイベントの量が減少する。これは、各センシングサイクルで起こるセンシングイベントの量を減少させ得、これによってハードウェア資源(例えば、レーザー資源および/または電力源資源など)を保存する。これは、追加的または代替的に減少した時間の間の領域に対して与えられた距離および速度量の分解を可能にし、これによって追加領域に対する距離および速度を分解する追加時間を提供する(例えば、各センシングサイクルでセンシングサイクルの持続時間(Duration)を増加させずに)。より大きな全体領域がカバーできるようにし、および/または前記領域に対する更新された距離および速度に対する速い再分解を可能にする(例えば、角度の正確度を低下させず、センシングサイクルを短くすることができる)。
したがって、位相コヒーレントLIDARモノパルスコンポーネントで2つの受信機に対する反射をスプリット(Split)することにより、信号対雑音比(SNR)が減少する間に(すなわち、雑音が増加)スーパーピクセル分解能を得られる。これは、(位相コヒーレントLIDARモノパルスコンポーネントから)離れており、および/またはサイズが小さい追加車両のポイントに対する距離および速度の決定に有利であり得る。例えば、与えられたリターン/センシングイベントに対して距離および速度が決定され得る角度の正確度を増加(与えられたポイントで、角度センシングで、より正確なポジショニング)させ得、したがって、分解能を増加させ、離れており、および/またはサイズが小さい追加車両に対するヨーパラメータの決定(または、少なくともより正確な決定)を可能にする一方、ヨーパラメータは、離れており、および/またはサイズが小さい追加車両に対して決定できない場合がある(または、少なくとも正確度は、低くなるだろう)。
多様な具現において、位相コヒーレントLIDARモノパルスコンポーネントで2つ以上の受信機に対する反射をスプリット(Split)することにより、信号対雑音比(SNR)が減少する間に(すなわち、雑音が増加)スーパー分解能が追加的および/または代替的に達成され得る。2つ以上の受信機は、位置上で互いに相対的にオフセットされ、したがって、受信機の個別検出が(例えば、一時的および/または特徴的に(例えば、同相(In Phase)に)変わることになる。これは、各受信機でセンシングイベントからの非重複(Non−Redundant)LIDARデータが結合され、ある個別受信機のセンシングイベントのLIDARデータよりも高い解像度(例えば、より高い解像度の距離および/または速度)を有するLIDARデータ(例えば、距離−ドップラー映像および/またはIF波形)を生成することを可能にする。言い換えれば、各センシングイベントは、各受信機で受信機センシングイベントを含み得(例えば、第1受信機での第1受信機センシングイベント、第2受信機での第2受信機センシングイベントなど)、各受信機センシングイベントに対する各LIDARデータを生成し得る。受信機センシングイベントからの非重複LIDARデータを結合し、センシングイベントに対するスーパー解像度LIDARデータを生成し得る。非重複LIDARデータは、例えば、各受信機センシングイベントの間の振幅および/または位相差(例えば、局部発振器信号とのミキシングで第1および第2受信機のそれぞれによって生成された時変IF波形内の差)に基づくことができる。(例えば、連続および離散フーリエ変換のシフトおよびエイリアシング(Shift and Aliasing)の特性に基づく)周波数領域技法および/または空間領域技法(非繰り返し(Non−Iterative)および/または繰り返し技法)のような様々な技法が多数の受信機センシングイベントからスーパー解像度LIDARデータを生成するのに使用できる。空間領域技法は、受信機センシングイベントの低解像度LIDARデータからスーパー解像度LIDARデータを構築する上で1つ以上の柔軟な推定器を適用するのに使用できる。このような柔軟な推定器は、例えば、最尤度(Maximum Likelihood)、最大事後確率(Maximum a Posteriori)、凸集合投影(Projection Onto Convex Sets)、ベイジアン処理(Bayesian Treatments)などを含む。一部の位相コヒーレントLIDAR技法および一部の位相コヒーレントLIDARコンポーネントに対する追加説明は、モノパルスコンポーネントおよび技法を含んでここで提供される。
前述したように、位相コヒーレントLIDARコンポーネントのセンシングサイクル中に、送信されたエンコードされた波形の方向は、順次に環境内の複数のポイントそれぞれに向けて順次に反射し、エンコードされた波形の反射した部分がセンシングサイクルの当該のセンシングイベントで位相コヒーレントLIDARコンポーネントの少なくとも1つの受信機によってそれぞれ検出される。センシングサイクル中に、波形は、環境内の領域で複数のポイントに向かい、対応する反射が波形の方向がセンシングサイクル内で前記ポイントに再び向けずに検出される。したがって、センシングサイクルの位相コヒーレントLIDARデータに示したポイントの距離および速度は、以前または後続のセンシングイベントを参照せず、単一のセンシングイベントに基づくという点で即時的であり得る。一部の具現において、多数の(例えば、すべての)センシングサイクルのそれぞれは、(センシングサイクル中の波形の方向により)同じ持続時間、同じ視野(Field of View)および/または同じパターンの波形分布を有し得る。例えば、それぞれスイープ(Sweep)する多数のセンシングサイクルそれぞれは、同じ持続時間、同じ視野および同じ波形分布を有し得る。しかし、他の多くの具現において、持続時間、視野、および/または波形分布パターンは、1つ以上のセンシングサイクル中で変わることができる。例えば、第1センシングサイクルは、第1持続時間、第1視野、および第1波形分布パターンを有し得、第2センシングサイクルは、第1持続時間よりも短い第2持続時間、第1視野のサブセットである第2視野、および第1波形分布パターンよりも密な第2波形分布パターンを有し得る。
図面を見ると、図1は、ここで開示された様々な技術が具現された例示的な自律走行車100を示したものである。例えば、車両100は、エネルギーソース106が動力を供給する原動機104を含む動力系(Powertrain)102を含み、動力を方向制御器(Direction Control)112、動力系制御器114およびブレーキ制御器116を含む制御システム110だけでなく駆動系(Drivetrain)108にも供給できる。車両100は、人および/または貨物を輸送でき、陸地、海、空、地下、海底および/または空間を走行できる車両を含んで様々な形態に具現でき、前述したコンポーネント102ないし116は、前記コンポネントが使用される車両のタイプに基づいて様々に変わることができることが周知される。
以下の論議される具現は、例えば、乗用車、バン、トラック、バスなどの車輪の陸上車両に焦点を合わせる。このような例において、原動機104は、(他のもののうち)1つ以上の電気モーターおよび/または内燃機関(Internal Combustion Engine)を含み得る。エネルギーソース106は、例えば、燃料システム(例えば、ガソリン、ディーゼル、水素などを提供)、バッテリーシステム、太陽パネルまたは、他の再生可能なエネルギーソース、および/または燃料電池システムを含み得る。駆動系108は、制御可能に車両100を停止または遅くするように構成された1つ以上のブレーキおよび車両100の軌跡(例えば、車両100の1つ以上のホイールが一般的に垂直軸に対して回転し、ホイールの回転平面角が車両の長軸に対して変わるようにすることができるラックアンドピニオン操向連結(Rack and Pinion Steering Linkage))を制御するのに適した方向またはステアリングコンポーネントのみならず、原動機104の出力を車両の動きに変換するのに適したトランスミッションおよび/または任意の他の機械駆動コンポーネントとともに、ホイールおよび/またはタイヤを含み得る。一部の具現において、動力系およびエネルギーソースの結合が(例えば、電気/ガスハイブリッド車の場合に)使用でき、一部の例において、(例えば、個別ホイールまたは軸専用の)多数の電気モーターが原動機として使用できる。
方向制御器112は、方向または操向コンポーネントからのフィードバックを制御および受信して車両100がほしい軌跡に沿うようにする1つ以上のアクチュエータおよび/またはセンサを含み得る。動力系制御器114は、動力系102の出力を制御するように、例えば、原動機の出力パワーを制御し、駆動系108内のトランスミッションのギアなどを制御するように構成されて車両100の速度および/または方向を制御する。ブレーキ制御器116は、車両100の速度を緩めるか、または停止させる1つ以上のブレーキ、例えば、車ホイールと結合されたディスクまたはドラムブレーキを制御するように構成され得る。
飛行機、宇宙船、ヘリコプター、ドローン、軍用車両、全地形または軌道車(All−Terrain or Tracked Vehicles)、船舶、潜水艦、建設装備などを含むが、これに制限されない他の車両タイプは、本開示の利益を有する当業者であれば理解するように、必須に異なる動力系、駆動系、エネルギーソース、方向制御、動力系制御器およびブレーキ制御器を使用する。また、一部の具現において、コンポーネントの一部が結合され得、例えば、車両の方向制御は、1つ以上の原動機の出力を変わるようにして1次処理される。したがって、ここで開示された具現は、自律走行車輪の陸上車両において、ここに記述された技法の特別アプリケーションに制限されない。
図示された具現において、車両100に対する完全または半自律走行制御は、車両制御システム120で具現され、車両制御システム120は、1つ以上のプロセッサ122および1つ以上のメモリ124を含み得、各プロセッサ122は、メモリ124に格納されたプログラムコード命令126を行うように構成される。プロセッサ122は、例えば、グラフィックス処理ユニット(GPU(s))および/または中央処理ユニット(CPU(s))を含み得る。
センサ130は、車両の動作を制御するのに使用される車両の周囲環境から情報収集に適した様々なセンサを含み得る。例えば、センサ130は、車両(FMCW)の周波数変調連続波(FMCW)ライダ(LIDAR)コンポーネント132を含み得る。ここに記述したように、FMCW LIDARコンポーネント132は、車両100の環境内の1つ以上の客体のそれぞれに対する当該のヨーパラメータの決定に使用できるFMCW LIDARデータを生成し得る。FMCW LIDARコンポーネント132によって生成されたFMCW LIDARデータは、車両の環境内の複数のポイントそれぞれに対してFMCW LIDARコンポーネントの当該のセンシングイベントに基づく当該距離および当該速度を示す。FMCW LIDARコンポーネントが図1(および他の図面)に図示され、多くの図面と組み合わせてここに図示されたが、多くの具現でFMCW LIDARコンポーネントではなく、位相コヒーレントLIDARコンポーネントが代わりに使用できる。また、これらの具現において、FMCW LIDARデータではなく、位相コヒーレントLIDARデータがFMCW LIDARデータの代わりに使用できる。
センサ130は、また選択的にレーダー(Radio Detection and Ranging)コンポーネント134および/またはLIDARコンポーネント136(距離決定には使用できるが、速度には、使用できないデータを生成する非位相コヒーレント(Non−Phase Coherent)を含み得る。また、センサは、選択的に、例えば、GPS、GLONASS、Galileo、Compassなどのような様々な衛星航法システムのうち、いずれかと両立できる衛星航法(SATNAV)コンポーネント138を含み得る。SATNAVコンポーネント138は、衛星信号を使用して地上の車両の位置を決定するのに使用できる。センサ130は、またカメラ140、慣性測定ユニット(Inertial Measurement Unit、IMU)142および/または1つ以上のホイールエンコーダー144を含み得る。カメラ140は、モノグラフィックまたはステレオグラフィックカメラであり得、静止および/またはビデオイメージャー(Imager)を記録し得る。IMU142は、3つの方向から車両100の線形および回転の動きを検出できる多数のジャイロスコープおよび加速度計を含み得る。ホイールエンコーダー142は、車両100の1つ以上のホイールの回転をモニタリングするのに使用できる。
センサ130の出力は、位置追跡ザブシステム152、計画ザブシステム156、認識ザブシステム154および制御ザブシステム158を含む制御サブシステムセット150として提供され得る。位置追跡ザブシステム152は、主に周辺環境内で、そして、概ね一部の参照環境内で車両100の位置と方向(また、ときには「ポーズ」と呼ばれる)を正確に決定する。認識ザブシステム154は、主に車両100の周辺環境内のエレメントを検出、追跡および/または識別する。例えば、ここに記述されたように、認識ザブシステム154は、他のもののうち、車両100の周辺環境内の1つ以上の追加車両のそれぞれに対するヨーレート(Yaw Rate)を決定し得る。計画ザブシステム156は、主に環境内の停止または移動の客体だけではなく、ほしい目的地が指定されると、一部の時間フレームに対する車両100の軌跡を計画する。例えば、ここに記述されたように、計画ザブシステム156は、車両100の周辺環境で追加車両の(認識ザブシステム154によって決定された)決定ヨーパラメータに少なくとも部分的に基づいて車両100に対する軌跡を計画することができる。制御ザブシステム158は、主に車両の計画された軌跡を具現するために制御システム110で様々な制御器を制御する適切な制御信号を生成する。
車両制御システム120についての図1に示されたコンポーネントの収集は、本質的に単に例示的であることが理解されるであろう。個別センサは、一部の具現で省略され得る。追加的または代替的に、一部の具現において、図1に示された様々なタイプのセンサは、重複し、および/または車両周辺の異なる領域をカバーするために使用でき、他のセンサタイプが使用できる。同様に、制御ザブシステムの異なるタイプおよび/または結合が他の具現で使用できる。また、ザブシステム152ないし160がプロセッサ122およびメモリ124と分離されたものとして図示されたが、一部の具現において、ザブシステム152ないし160の一部またはすべての機能が1つ以上のメモリ124に常駐するプログラムコード命令126に具現されて1つ以上のプロセッサ122によって実行され、一部の例において、前記ザブシステム152ないし160が同じプロセッサおよび/またはメモリを使用して具現できることが理解されるであろう。一部の具現において、ザブシステムは、部分的に様々な専用回路ロジッグ、様々なプロセッサ、様々なフィールドプログラマブルゲートアレイ(FPGA)、様々な注文型半導体(ASIC)、様々なリアルタイム制御器などを使用して具現でき、前述したように、多数のザブシステムは、回路、プロセッサ、センサおよび/または他のコンポーネントを使用できる。また、車両制御システム120で様々なコンポーネントが様々な方式でネットワークに接続され得る。
一部の具現において、車両100は、また車両100用の重複または、バックアップ制御システムで使用できる2次車両制御システム(図示せず)を含み得る。一部の具現において、2次車両制御システムは、車両制御システム120で異常反応イベント(Adverse Event)で自律走行車100の全体を動作させることができる一方、他の具現において、2次車両制御システムは、例えば、1次車両制御システム120から検出された異常反応に応答し、車両100の停止制御を行う制限された機能のみを有し得る。他の具現において、2次車両制御システムは省略され得る。
概して、ソフトウェア、ハードウェア、回路ロジッグ、センサ、ネットワークなどの様々な結合を含む無数の異なるアーキテクチャーが図1に示された様々なコンポーネントの具現に使用できる。各プロセッサは、例えば、マイクロプロセッサとして具現でき、各メモリは、例えば、キャッシュメモリ、不揮発またはバックアップメモリ(例えば、プログラマブルまたはフラッシュメモリ)、ロム(ROM、Read Only Memory)などの補足レベルのメモリのみならず、メインストレージを含むラム(RAM、Random Access Memory)装置を示し得る。また、各メモリは、仮想メモリ、例えば、大量ストレージ装置または他のコンピューターまたは制御器に格納されて使用されるストレージ容量のみならず、車両100内のどこかに物理的に位置するメモリストレージ、例えば、プロセッサ内の任意のキャッシュメモリを含むものとして考慮され得る。図1に示された1つ以上のプロセッサまたは全体的に分離されたプロセッサが自律制御の目的を外れて車両100内の追加機能、例えば、娯楽システムの制御、ドア、照明、利便性の特徴などの制御の具現に使用できる。
また、追加ストレージの場合、車両100は、1つ以上の大量ストレージ装置、例えば、他のもののうち、着脱可能ディスクドライブ、ハードディスクドライブ、直接アクセスストレージ装置(DASD)、光ドライブ(例えば、CDドライブ、DVDドライブなど)、SSD(Solid State Storage Drive)、ネットワーク付着ストレージ、ストレージ領域ネットワーク(Storage Area Network)および/またはテープドライブなどを含み得る。また、車両100は、ユーザインターフェース164を含み、車両100がユーザまたはドライバーから多数の入力を受信し得るようにし、ユーザまたはドライバーのための出力、例えば、1つ以上のディスプレー、タッチスクリーン、音声および/またはジェスチャーインターフェース、ボタン、および他の触覚制御などを生成するようにする。また、ユーザ入力は、他のコンピューターまたは電子装置、例えば、移動装置アプリまたはウェブインターフェースを介して受信され得る。
また、車両100は、1つ以上のネットワーク(例えば、他のもののうち、LAN、WAN、無線ネットワークおよび/またはインターネット)と通信に適した1つ以上のネットワークインターフェース、例えば、ネットワークインターフェース162を含み、例えば、車両100が自律制御に使用するための環境および他のデータを受信するクラウドサービスのような中央サービスを含む他のコンピューターおよび電子装置との情報の通信を許容する。
ここで記述された様々な追加制御器およびサブシステムのみならず、図1に示された各プロセッサは、以下で具体的に説明するように、概してオペレーティングシステムの制御下で動作し、様々なコンピューターソフトウェアアプリケーション、コンポーネント、プログラム、客体、モジュール、データ構造などを実行、またはこれらに依存する。また、様々なアプリケーション、コンポーネント、プログラム、客体、モジュールなどは、例えば、分散クラウド基盤、または、クライアント−サーバーコンピューティング環境でネットワークを介して車両100に結合された他のコンピューターで1つ以上のプロセッサ上で行い得、これによってコンピュータープログラム機能の具現に必要なプロセシングがネットワークを介して多数のコンピューターおよび/またはサービスに割り当てられることができる。
概して、本明細書に記述された多様な具現のために実行されるルーチンは、オペレーティングシステムまたは特定アプリケーション、コンポーネント、プログラム、客体、モジュールまたは命令シーケンス、あるいは、前記サブセットの一部として具現されるかどうかに応じて本明細書では、「プログラムコード」と呼ばれる。プログラムコードは、様々な視覚でコンピューターの様々なメモリおよび格納装置に常駐する1つ以上のインストラクションを含み、コンピューターの1つ以上のプロセッサによって読取りおよび処理されると、コンピューターをして本発明の様々な様態を実施するステップまたはエレメントを行うのに必要なステップを行うようにする。また、完全に機能するコンピューターおよびコンピューターシステムの観点で本発明を後述するが、当業者は、本発明の様々な実施例が様々な形態のプログラム製品として配布され得、実際に前記配布を行うのに用いられる媒体を含むコンピューターで読み出し可能な特別タイプにかかわらず、本発明を具現できることを理解するであろう。コンピューターで読み出し可能な媒体の例は、揮発性および不揮発性メモリ装置、他の着脱可能なディスク、固体状態のドライブ(Solid State Drive)、ハードディスクドライブ、磁気テープおよび光ディスク(例えば、CD−ROM、DVDなど)のように触れることができ、非一時的な媒体を含む。
また、後述する様々なプログラムコードは、本発明の特定の実施例で具現されるアプリケーションに基づいて識別されることができる。しかし、後述する任意の特定プログラムの名称は、単に便宜のためのものであるから、このような名称によって識別および/または暗示される任意の特定アプリケーションに制限されてはならない。また、コンピュータープログラムがルーチン、プロシージャ、方法、モジュール、客体などで組織化される典型的に無数の方式のみならず、プログラム機能性が典型的なコンピューター内に常駐する様々なソフトウェア階層(例えば、オペレーティングシステム、ライブラリー、API、アプリケーション、アプレットなど)の間に割り当てられる様々な方式が与えられると、本発明が説明されるプログラム機能性の特定組織および割当てに制限されないことが理解されるべきである。
本開示の利益を得る当業者は、図1に示された例示的な環境が本発明を制限しようとしたものではないことを認識するであろう。確かに、当業者は、他の代替的なハードウェアおよび/またはソフトウェアの環境がここに開示された具現の範囲を逸脱することなく使用できることを認識するであるう。
図2Aおよび図2Bを見ると、図1のFMCW LIDARコンポーネント132の2つの具現が概略的に示されている。図2Aは、単一受信機132A3を含むFMCW LIDARコンポーネント132Aを示した一方、図2Bは、2つの受信機132B3Aおよび132B3Bを含むFMCW LIDARモノパルスコンポーネント132Bを示す。
図2Aにおいて、FMCW LIDARコンポーネント132Aは、光出力が信号生成器132A2によって制御される波長可変レーザー(Tunable Laser)132A1を含む。信号生成器132A2は、レーザー132A1が光スペクトル内にあり、電磁気出力の周波数変形を通じてエンコードされる電磁気出力を生成するようにレーザー132A1を駆動する。信号生成器132A2は、信号を生成して波形がエンコードされるようにする。様々なタイプの周波数エンコードされた波形が信号生成器132A2およびレーザー132A1を介して生成され得る。
図2Aは、先行の段落で説明したようにエンコードされ、ターゲットオブジェクト191上のポイントに向かうように、レーザー132A1から送信されたビーム192Aを示したものである。送信されたビーム192Aは、ターゲットオブジェクト191上のポイントから反射し、反射193Aは、センシングイベント中に受信機132A3から受信される。送信されたビーム192Aは、エンコードされた波形のスライス(Slice)を含み、反射193Aは、またエンコードされた波形のスライスを含む。エンコードされた波形のスライスは、センシングイベント中に受信機132A3によって検出される。
受信機132A3は、コヒーレント受信機であり得、反射193Aは、受信機132A3によってコヒーレント検出方式−反射193Aが送信されたビーム192Aのスプリット部分である局部光信号とミキシングされた−を使用して検出され得る。受信機132A3による反射193Aの検出は、局部光信号(例えば、送信されたビーム192Aのスプリット部分)の検出について時間遅延される。コヒーレント検出方式は、プロセッサ132A4によって具現でき、例えば、ホモダインミキシング(Homodyne Mixing)、ヘテロダインミキシング(Heterodyne Mixing)、セルフヘテロダインミキシング(Self−Heterodyne Mixing)、または他のコヒーレント検出方式であり得る。反射した部分を局部光信号とミキシングして生成された結果信号は:(1)ターゲットオブジェクト191のポイントまでの距離、および(2)ターゲットオブジェクト191のポイントの速度を示す。一部の具現において、プロセッサ132A4は、前記結果信号をFMCW LIDARコンポーネント132Aからのポイントに対するFMCW LIDARデータとして提供する。一部の他の具現において、プロセッサ132A4は、追加処理を行ってポイントの距離および速度を直接示すポイント用FMCW LIDARデータを生成する。例えば、前記ポイントの距離および速度は、距離および速度値、または、距離−ドップラー映像を示す3DポイントクラウドであるFMCW LIDARデータ内で直接示し得る。レーザー132A1からの光出力の方向(例えば、方位角および/または仰角)が変わる多数のセンシングイベントに対する検出を通じて、FMCW LIDARデータは、環境内の複数のポイントそれぞれに対してFMCW LIDARコンポーネントによって生成され、環境内の各ポイントに対して距離、速度および選択的に強度を示す。
前述した図2Aの説明は、FMCW LIDARコンポーネントを説明するが、FMCWではなく、位相コヒーレントLIDARコンポーネントが同一および/または類似コンポーネントを有し得ることが注目される。しかし、非FMCW(Non−FMCW)LIDARコンポーネントが備えられた場合、信号生成器132A2は、レーザー132A1を駆動して非連続的であり、および/または周波数変調ではない技法を使用してエンコードされる波形を生成し得る。
図2Bにおいて、FMCW LIDARモノパルスコンポーネント132Bは、光出力が信号生成器132B2によって制御される波長可変レーザー132B1を含む。信号生成器132B2は、レーザー132B1が、光スペクトル内にあり、電磁気出力の周波数変形を通じてエンコードされる電磁気出力を生成するようにレーザー132B1を駆動する。信号生成器132B2は、信号を生成して波形がエンコードされるようにする。様々なタイプのエンコードされた波形が信号生成器132B2およびレーザー132B1を介して生成され得る。
図2Bは、先行の段落で説明したようにエンコードされ、方向がターゲットオブジェクト191上のポイントに向かうレーザー132B1から送信されたビーム192Bを示したものである。送信されたビーム192Bは、ターゲットオブジェクト191上のポイントから反射し、センシングイベント中に、第1反射193B1が第1受信機132B3Aから受信され、第2反射193B2が第2受信機132B3Bから受信される。送信されたビーム192Bは、エンコードされた波形のスライスを含み、反射193B1および193B2もエンコードされた波形スライスを含む。第1および第2受信機132B3Aおよび132B3Bは、コヒーレント受信機であり得、センシングイベントは、第1受信機センシングイベントおよび第2受信機センシングイベントを含み得る。第1受信機センシングイベントは、第1反射193B1の第1検出と局部発振器のコヒーレントミキシング(例えば、送信されたビーム192Bのスプリット部分)を含み得、第2受信機センシングイベントは、第2反射193B2の第2検出と局部発振器のコヒーレントミキシングを含み得る。第1および第2受信機132B3Aおよび132B3Bは、位置上で互いに相対的にオフセットされ、したがって、第1および第2検出が変わるようにする。これは、プロセッサ132B4が、第1受信機センシングイベントおよび第2受信機センシングイベントの比較に基づいてセンシングイベントに対する少なくても1つの追加データチャネルを決定するようにする。例えば、プロセッサ132B4は、第1および第2受信機センシングイベントとの間の振幅および/または位相差(例えば、局部発振器信号とのミキシングで第1および第2受信機のそれぞれによって生成された時変IFの差)に基づいて追加チャネルを決定し得る。例えば、振幅および/または位相差は、センシングイベントに基づいて決定された1つ以上のポイントそれぞれに対して角度(特別角度または角度範囲)を決定するように比較され得、ポイントがセンシングイベントをもたらした反射のビーム幅よりも小さくなるように各角度が分解される。したがって、当該の距離に対する角度(例えば、受信機に対する方位角および仰角)がサブビーム幅のレベルとして決定され得る。また、前記ポイントは、ポイントの位置が角度および距離によって定義されるとき、サブビーム幅レベルとして限定できる。したがって、2つの受信機に対する反射スプリットを介して信号対雑音比(SNR)が減少する間に(すなわち、雑音が増加)増加された角度の正確度を得られる。これは(FMCW LIDARモノパルスコンポーネントから)離れており、および/またはサイズが小さい追加車両の多数のポイントに対する距離および速度決定に有利であり得る。追加的または代替的に、および前述したように、プロセッサ132B4は、第1および第2検出から非重複データを使用してスーパー分解能のLIDARデータを決定し得る。例えば、プロセッサ132B4は、第1および第2検出から低解像度のLIDARデータからスーパー分解能のLIDARデータを作ることができる。したがって、2つの受信機に対する反射スプリットを介してSNRが減少する間に、スーパー分解能の距離および速度が決定され得る。
一部の具現において、プロセッサ132B4は、第1および第2受信機センシングイベントから生成された信号をFMCW LIDARモノパルスコンポーネント132Bからのポイントに対するFMCW LIDARモノパルスコンポーネントに提供する。一部の他の具現において、プロセッサ132B4は、追加処理を行い、ポイントの距離および速度を直接示すポイント用FMCW LIDARモノパルスデータを生成する。例えば、前記ポイントの距離および速度は、3Dポイントクラウドまたは距離−ドップラー映像であるFMCW LIDARモノパルスデータに直接示し得る。レーザー132B1からの光出力方向(例えば、方位角および/または仰角)が変わる多数のセンシングイベントに対する検出を通じて、FMCW LIDARモノパルスデータは、環境内の複数のポイントそれぞれに対してFMCW LIDARモノパルスコンポーネント132Bによって生成され、環境内の各ポイントに対して距離、速度および選択的に強度を示す。
前述した図2Bの説明は、FMCW LIDARモノパルスコンポーネントを説明するが、FMCWではない位相コヒーレントLIDARモノパルスコンポーネントが同一および/または類似コンポーネントを有し得ることが注目される。しかし、非FMCW LIDARコンポーネントが備えられた場合、信号生成器132B2は、レーザー132B1を駆動して非連続的であり、および/または周波数変調ではない技法を使用してエンコードされた波形を生成し得る。
図3を見ると、追加車両300のヨー軸371、ピッチ軸372およびロール軸373に沿って例示的な追加車両300が図示されている。追加車両300のヨー軸371は、追加車両300の車軸に垂直する。一部の状況で、ヨー軸371は、必要ではないが、追加車両300の車軸と交差し得、ヨー軸371は、追加車両300のヨー移動の原因および/または規模に応じて一定の状況でシフトし得る。ヨー軸371に対する追加車両300の回転は、追加車両300の旋回(Turning)、追加車両300による追跡損失(例えば、水膜現象(Hydroplaning))、他の客体に対する追加車両300の衝撃のような様々な要因によるものであり得る。追加車両300のヨー移動は、ヨー軸371に対する追加車両300の回転であり、追加車両300のヨーレートは、ヨー軸371に対する回転の角速度である。ヨーレートは、たびたび秒当たりラジアン(Radian)または秒当たり度(Degree)として測定される。
追加車両300のロール軸373は、ヨー軸371と垂直し、追加車両300に沿って前後(Front−to−Back)方式で拡張される。追加車両300が動いている場合、追加車両300は、ロール軸373に沿って絶対客体速度を有する。このような絶対客体速度は、また、ここに記述された具現で自律走行車の制御調整に考慮され得る。しかし、絶対客体速度は、追加車両300のヨーレートと別物であることが知られている。例えば、追加車両300は、移動する間に比較的高い絶対客体速度を有し得る一方、(例えば、比較的直線経路で移動し、追跡損失がない場合)0または最小のヨーレートを有する。追加車両300のピッチ軸は、ヨー軸371およびロール軸373と垂直し、追加車両300に沿って並んでいる(Side−to−Side)方式で拡張される。
図4を見ると、追加車両の決定されたヨーパラメータに基づいて車両の自律走行制御を調整する具現を示したブロック図が提供される。図4は、車両制御システム120のザブシステム152、154、156、158およびこれらがどのように追加車両のヨーパラメータの決定で相互作用をするのか、および/または決定されたヨーパラメータに基づいて自律走行制御を調整するのかの例を図示する。
位置追跡ザブシステム152は、一般的に環境内で車両の位置追跡を担当する。位置追跡ザブシステム152は、例えば、周囲環境内の自律走行車100のポーズ(一般的に位置、一部の例においては、方向)を決定し得る。位置追跡ザブシステム152は、FMCW LIDARコンポーネント132からのFMCW LIDARデータ492および/またはカメラ140、RADARコンポーネント134、LIDARコンポーネント136および/または図1の他のセンサ130(例えば、IMU142(エンコーダー144))のような他のセンサからのデータを使用して自律走行車100のポーズを決定し得る。位置追跡ザブシステム152によって決定されたポーズは、例えば、車両制御システム120によって使用されたマップについてのものであり得る。ポーズは、車両が全体環境を移動するとき、位置追跡ザブシステム152によって更新され得、ポーズは、ザブシステムによって使用されるように、1つ以上の他のザブシステム154、156および/または158に提供され得る(または、接近可能になる)。
認識ザブシステム154は、主に環境内の歩行者および追加車両のような動的客体を認知し、FMCW LIDARデータ492および選択的に他のセンサ491(すなわち、カメラ140、RADARコンポーネント134)からのデータを使用して動的客体を識別および追跡することができる。追加車両の追跡において、認識ザブシステム154は、複数の繰り返しのそれぞれで、絶対客体速度および/またはヨーパラメータ(例えば、ヨーレート)のみならず、ポーズ(位置および/または場所)のような追加車両の様々な特性を決定し得る。
認識ザブシステム154は、FMCW LIDARデータ492および/または他のセンサ491のデータを使用して様々な客体を検出(例えば、客体のポーズを決定)し、選択的に検出された客体を分類するのに使用する客体検出および分類モジュール154Aを含み得る。例えば、客体検出および分類モジュール154Aは、車両100の環境内の追加車両、歩行者および/または他の動的客体を検出および分類するのにおいて、FMCW LIDARデータ492および/または他のセンサ491のデータを処理し得る。多様な具現において、客体検出および分類モジュール154Aは、様々な客体の検出および/または分類に1つ以上の学習された機械学習モデルを使用できる。例えば、学習された機械学習モデルは、FMCW LIDARデータ(および/または他のデータ)処理に使用するように学習された神経回路網モデルを含んでデータに示された客体のポーズおよび選択的に前記客体の対応分類の表示を出力として生成する。例えば、前記出力は、データから検出された1つ以上の客体のそれぞれに対する境界ボックス(Bounding Boxes)、境界球(Bounding Spheres)、または、他の境界領域を選択的に各境界領域に対する対応分類とともに示し得る。
特別な例であって、FMCW LIDARデータ492は、(3Dポイントクラウド内の3D座標による)対応距離、対応速度および選択的に対応強度を定義する3Dポイントクラウドを含み得る。客体検出および分類モジュール154Aは、学習された機械学習モデルを使用してFMCW LIDARデータ492を処理して検出された客体を含む3Dポイントクラウドの一部にそれぞれ対応する1つ以上の境界ボックスを示す出力を生成する。一部の具現において、また前記出力は、各境界ボックスごとに、検出された客体が属する分類を示し得る。例えば、前記出力は、各境界ボックスごとに、検出された客体が追加車両、歩行者、動物などである各確率を示し得る。一部の他の具現において、学習された機械学習モデルは、追加車両のみを検出するように学習され得、境界形状に対する分類の明白な表示がなく、境界ボックスおよび/または境界形状を示す出力生成に使用できる。
一部の具現において、様々な客体に対する検出および/または分類で、客体検出および分類モジュール154Aは、追加的または代替的に機械学習モデルを使用せず、FMCW LIDARデータ492および/または他のセンサのデータを処理し得る。例えば、最近接隣りおよび/または他のクラスタリング技法が追加車両および/または他の客体に対応するようなデータ部分を決定するのに使用できる。
使用された技法とは無関係に、客体検出および分類モジュール154Aは、追加車両493のポーズに対する表示を認識ザブシステム154のヨーモジュール154Bに提供し得る。前記ポーズは、車両制御システム120によって使用されたマップに関連するものであるか、および/またはFMCW LIDARデータ492に関連するものであり得る。ヨーモジュール154Bは、追加車両493の提供されたポーズを使用して前記ポーズに対応するFMCW LIDARデータ492のサブグループを決定する。また、ヨーモジュール154Bは、FMCW LIDARデータ492のサブグループに基づいて追加車両494に対する1つ以上のヨーパラメータを決定する。
ヨーモジュール154Bは、FMCW LIDARデータ492のサブグループの全部または一部によって示された大きさおよび選択的に方向に基づいて追加車両494に対するヨーパラメータを決定し得る。例えば、ヨーパラメータモジュール154Bは、少なくとも臨界速度勾配(Gradient)がFMCW LIDARデータ492のサブグループの少なくとも一部として示されるという判断に基づいてヨー移動(例えば、少なくともヨー移動の臨界角度)をしているのかの可否を示すヨーパラメータを決定し得る。例えば、FMCW LIDARデータ492のサブグループが4m/sの速度勾配(例えば、+2m/sないし−2m/s範囲の速度または+9m/sないし+5m/s範囲の速度)を有する場合に、ヨーパラメータモジュール154Bは、4m/sの速度勾配に基づいてヨー運動をしていると判断できる。一方、FMCW LIDARデータ492のサブグループが0.1m/s未満の速度勾配を有する場合に、ヨーパラメータモジュール154Bは、低い速度勾配に基づいて車両がヨー運動をしないか、またはほとんどしないと判断できる。
また、例えば、ヨーパラメータモジュール154Bは、FMCW LIDARデータ492のサブグループの多数セットに示された速度に基づいて追加車両に対するヨーパラメータを決定し得る。例えば、ヨーパラメータモジュール154Bは、FMCW LIDARデータ492の第1セットの速度および空間的にオフセットされたFMCW LIDARデータ492の第2セットの速度比較に基づいて速度差を決定し得る。ヨーパラメータモジュール154Bは、速度差をヨーパラメータとして使用できるか、または速度差に基づいてヨーレートを決定し得る。一部の具現において、ヨーパラメータモジュール154Bは、速度差に基づき、第1セットおよび第2セットとの間の決定された距離に基づいてヨーレートを決定し得る。このような一部の具現において、ヨーパラメータモジュール154Bは、(選択的に定数が乗算された)距離で速度差を割ったことに基づいてヨーレートを決定し、ヨーレートを秒当たりラジアンに決定し得る。前記具現の一部の他のバージョンにおいて、ヨーパラメータモジュール154Bは、ヨーレートの範囲を決定し得る。例えば、下界(Lower Bound)ヨーレートは、速度差を距離で割ったことに基づくことができ、上界(Upper Bound)ヨーレートは、速度差を0.4および0.9との間の値、0.4および0.75との間の値、または0.4および0.7との間の値のように、0と1の間の定数が乗算された距離で割ったことに基づくことができる。例えば、速度差が1m/sであり、距離が1.5mであれば、下界ヨーレートは、秒当たり0.67ラジアン((1m/s)/(1.5m))である一方、速度差が1m/sであり、距離がより大きい4mであれば、下界ヨーレートは、秒当たり0.25ラジアンであり得る。定数の値は、例えば、自車両に対する追加車両の角度のコサインに基づくことができる。例えば、FMCW LIDAR受信機に対する追加車両の角度は、追加車両に対応し、FMCW LIDARデータに示された1つ以上の角度に基づくことができる。
特別な例であって、第1セットは、単一データポイントであり得、第1セットの速度は、単一データポイントに対する速度であり得、第2セットは、別個の単一データポイントであり得、第2セットの速度は、別個の単一データポイントに対する速度であり得る。ヨーパラメータモジュール154Bは、第1および第2セットの速度の大きさの差(速度差)に基づいて、そして、第1および第2セットとの間の決定された距離に基づいてヨーレートを決定し得る。また、ヨーパラメータモジュール154Bは、(速度差が0でない場合)第1および第2セットの速度の大きさの比較に基づいてヨー移動の方向(そして、選択的に極端なヨー移動(例えば、追加車両の制御不能(Loss Of Control))の場合の方向)を決定し得る。
他の特別な例であって、ヨーパラメータモジュール154Bは、FMCW LIDARデータの第1および第2セットの決定に基づいて追加車両に対するヨーレートを決定し得、このとき、第1および第2セットのそれぞれは、多数の対応データポイントを含む。また、ヨーパラメータモジュール154Bは、平均速度、または第1セットのデータポイントの速度の他の統計測定値(例えば、平均(Mean))、第2セットのデータポイントの速度の統計測定値を決定し得、第1セットに対する速度の統計測定値および第2セットに対する速度の統計測定値の比較に基づくヨーレートを決定し得る。ヨーレート測定のため前記技法および他の技法についての追加説明がここで提供される。例えば、一部の技法についての追加説明が図5ないし図8の説明と関連して以下で提供される。
一部の具現において、ヨーパラメータモジュール154Bは、追加的または代替的にFMCW LIDARデータ492のサブグループの少なくとも一部に示された速度に基づいて、そして、追加車両に対する格納されたモデルに基づいて追加車両に対するヨーレートを決定し得る。追加車両に対する格納されたモデルは、追加車両の幾何特徴(Geometric Features)を説明する。格納されたモデルは、例えば、追加車両の3次元(3D)モデルであり得る。ヨーパラメータモジュール154Bは、FMCW LIDARデータ492のサブグループの少なくとも一部に示された速度を格納されたモデルの対応位置にマッピングし、前記速度と格納されたモデルの前記位置を使用して追加車両のヨーレートを決定する。例えば、ヨーパラメータモジュール154Bは、多数の速度を格納されたモデルに適用し、適用された速度を有する格納されたモデルのヨー軸に対するヨーレートを決定し得る。ヨーパラメータモジュール154Bは、例えば、適用された速度を有する格納されたモデルの移動を模擬実験する(Simulate)シミューレーターを使用してこれを決定し得る。
追加車両の格納されたモデルが使用された一部の具現において、ヨーパラメータモジュール154Bは、選択的にすべての追加車両に対する包括的な(Generic)格納されたモデルを使用できる。一部の他の具現において、ヨーパラメータモジュール154Bは、選択された格納されたモデルが追加車両をキャプチャしたセンサデータに最も近いに合致するという判断に基づいて、与えられた追加車両に対する格納されたモデルを複数の格納された候補モデルから選択できる。例えば、ヨーパラメータモジュール154Bは、 一サブグループのFMCW LIDARデータが他の格納されたモデルよりも選択されたモデルに最も近いに合致するという判断に基づいて格納されたモデルを選択できる。
一部の具現において、ヨーパラメータモジュール154Bは、追加的または代替的に学習された(Trained)ヨー機械学習(ML)モデル154B1を使用して追加車両に対するヨーレートを決定し得る。例えば、ヨーパラメータモジュール154Bは、学習されたヨーMLモデル154B1を使用してFMCW LIDARデータ492のすべてまたは一部分を処理してヨーレートを示す出力を生成し得る。例えば、追加車両に対応すると判断されたFMCW LIDARデータ492の少なくとも1つのサブグループは、学習されたヨーMLモデル154B1を使用して処理されてヨーレートを示す出力を生成し得る。学習されたヨーMLモデル154B1は、例えば、図12の方法1200について以下で説明するように学習されることができる。
認識ザブシステム154は、追加車両494に対するヨーパラメータを計画ザブシステム156に提供する(または、計画ザブシステム156が使用できるようにする)。計画ザブシステム156は、主に一部の時間フレーム(例えば、数秒)の間、車両の軌跡を計画し、位置追跡ザブシステム152および認識ザブシステム154から入力を受信し得る。計画ザブシステム156は、追加車両494の提供されたヨーパラメータに基づいて車両の軌跡を調整できる。例えば、ヨーパラメータ494が追加車両が制御不能であることを示すしきい値を超過した追加車両に対する速度差および/またはヨーレートを示す場合、計画ザブシステム154は、追加車両を回避するように車両の軌跡を調整できる。また、例えば、ヨーパラメータ494がヨーレートおよびヨー方向を示す場合、計画ザブシステム154は、追加車両に対する1つ以上の候補軌跡の決定に追加車両494に対するヨーレートおよびヨー方向を使用でき、追加車両が候補軌跡のうち、1つを横断する場合(Traverse)、車両は、接触および/または追加車両の臨界距離の以内に入らないように車両の軌跡を調節できる。追加車両に対して決定されたヨーパラメータに基づいて車両の制御を調整する技法および他の技法についての追加説明がここで提供される。例えば、一部の技法についての追加説明が図9の説明と関連して以下で提供される。
次に、決定されたヨーパラメータを考慮して計画ザブシステム156によって生成された軌跡および/または他のデータが制御ザブシステム158に伝達され、ほしい軌跡を制御システム110内の様々な車両制御器112、114および/または116の制御に適した軌跡命令195に変換し、位置追跡データも制御ザブシステム158に提供されて制御ザブシステム158が適切な命令を下せるようにし、車両の位置が時間フレームに対して変化しながら、ほしい軌跡を具現させる。
図5ないし図8を見ると、図面は、それぞれ車両の例示的な環境を示し、前記環境は、追加車両300を含む。また、図5ないし図8のそれぞれは、環境内の追加車両300に対応できる一部のFMCW LIDARデータポインタの例を図示する。例えば、図5は、例示的なFMCW LIDARデータポイント582A−B、583A−B、584A−C、および585A−Cを図示する。データポイントは、例えば、3DポイントクラウドであるFMCW LIDARデータのインスタンス(Instance)から出てきたものであり得、ここで、3Dポイントクラウドのポイントのそれぞれは、(3Dポイントクラウド内の位置を介して)対応距離を示し得、対応比/速度、および選択的に対応強度値を含み得る。追加FMCW LIDARデータポイントは、追加環境客体に対応する追加ポイントだけではなく、車両300に対応する追加ポイントを含むFMCW LIDARデータを備えることが理解される。しかし、簡単に一部のFMCW LIDARデータポイントだけが単純性のために図5ないし図8のそれぞれで説明される。また、車両300は、(対応FMCW LIDARデータポイントによって視覚的に確認できても)図5ないし図8に示されているが、FMCW LIDARデータに提供されないことが理解される。しかし、車両300は、参照目的として図5ないし図8のそれぞれに図示されている。また、図5ないし図8は、FMCW LIDARデータポイントについて説明したが、追加的または代替的なFMCW LIDARデータのタイプがここでも説明したデータの前記タイプのように、追加車両のヨーパラメータの決定に使用できることが理解される。
図5において、境界ボックス581が追加車両300の周囲に図示されている。境界ボックス581は、追加車両300に対応できるFMCW LIDARデータのサブグループを示す。境界ボックス581は、例えば、FMCW LIDARデータおよび/または他のデータの処理に基づいて図4の客体検出および分類モジュール154Aによって決定され、車両および車両のポーズを決定し得る。例えば、客体検出および分類モジュール154Aは、機械学習モデルを使用してFMCW LIDARデータを処理し、境界ボックス581に囲まれたFMCW LIDARデータポイントが車両に対応することを示す出力を生成する。境界ボックス581内に示されたものは、例示的なFMCW LIDARデータポイントである。すなわち、データポイント582A−Bの第1セット582、データポイント583A−Bの第2セット583、データポイント584A−Cの第3セット584、およびデータポイント585A−Cの第4セットをそれぞれ示す。
図4のヨーパラメータモジュール154Bは、第1セット582、第2セット583、第3セット584および/または第4セット585との間の比較に基づいて追加車両300のヨーパラメータを決定し得る。例えば、ヨーパラメータモジュール154Bは、データポイント582Aおよび582Bに示された速度に基づいて第1セット582に対する速度の統計測定値を決定し得る。例えば、データポイント582Aが+3.1m/sの速度を示し、データポイント582Bが+3.3m/sの速度を示すと、ヨーパラメータモジュール154Bは、第1セット582に対する+3.2m/sの平均速度を決定し得る。また、ヨーパラメータモジュール154Bは、データポイント583Aおよび583Bに示された速度に基づいて第2セット583に対する速度の統計測定値を決定し得る。例えば、データポイント583Aが+3.8m/sの速度を示し、データポイント583Bが+4.0m/sの速度を示すと、ヨーパラメータモジュール154Bは、第2セット583に対する+3.9m/sの平均速度を決定し得る。次に、ヨーパラメータモジュール154Bは、第1セット582および第2セット583との間の速度差を決定し得る。例えば、第1セット582および第2セット583がそれぞれ+3.1m/sおよび+3.9m/sの平均速度を有する場合、速度差は、0.8m/sであり得る。一部の具現において、0.8m/sの速度差は、ヨーパラメータとして使用できる。また、ヨーパラメータモジュール154Bは、第1セット582および第2セット583の速度の大きさの比較に基づいてヨー移動の方向を決定し得る。例えば、第1セット582および第2セット583がそれぞれ+3.1m/sおよび+3.9m/sの平均速度を有する場合、ヨー動きの方向(ヨー方向)は、図5の矢印371Aに表された方向であり得る。
一部の具現において、ヨーパラメータは、追加的または代替的に0.8m/sの速度差に基づいて決定されたヨーレートを含み得る。例えば、少なくとも上界および下界ヨーレートは、0.8m/sの速度差および第1セット582と第2セット583との間の空間オフセットに基づく距離588に基づいて決定され得る。距離588は、例えば、ポイント582Aおよび582Bの平均距離およびポイント583Aおよび583Bの平均距離との間の3D距離であり得る。一例として、距離588が4.5メートルであり、速度差が0.8m/sであれば、下界ヨーレートは、秒当たり0.18ラジアン((0.8m/s)/(4.5m))であり得、上界ヨーレートは、秒当たり0.36ラジアン((0.8m/s)/(4.5m)(0.5))であり得る。
ヨーパラメータモジュール154Bは、追加的または代替的に第3セット584に対する速度の統計測定値、第4セット585に対する速度の統計測定値を決定し、第3セット584および第4セット585との間の速度差を決定し、そして、第3セット584および第4セット585との間の速度差に基づくヨーパラメータを決定し得る。例えば、ヨーパラメータは、第3セット584および第4セット585との間の速度差のみに基づくことができるか、または前記速度差および第1セット582および第2セット583との間の速度差の結合(例えば、平均)に基づくことができる。また、追加セットの間の追加速度差(図示していないセットおよび/または図示したセットの他の結合)が決定されてヨーパラメータの決定に使用できる。
図6において、境界ボックス681が追加車両300周囲に図示されている。境界ボックス681は、追加車両300に対応できるFMCW LIDARデータのサブグループを示す。境界ボックス681は、例えば、FMCW LIDARデータおよび/または他のデータの処理に基づいて図4の客体検出および分類モジュール154Aによって決定され、車両および車両のポーズを決定し得る。境界ボックス681内に示されたものは、例示的なFMCW LIDARデータポイント682A−Hである。
図4のヨーパラメータモジュール154Bは、2つ以上のFMCW LIDARデータポイント682A−Hの間の比較に基づいて追加車両300のヨーパラメータを決定し得る。例えば、ヨーパラメータモジュール154Bは、データポイント682Eおよび682Hに示された速度の間の第1速度差に基づく第1ヨーレート(または、第1下界および上界ヨーレート)およびデータポイント682Eおよび682Hの間の決定された距離と、データポイント682Fおよび682Hに示された速度の間の第2速度差に基づく第2ヨーレート(または、第2下界および上界ヨーレート)およびデータポイント682Fおよび682Hの間の決定された距離と、データポイント682Aおよび682Dに示された速度の間の第3速度差に基づく第3ヨーレート(または、第3下界および上界ヨーレート)およびデータポイント682Aおよび682Dの間の決定された距離などを決定し得る。前記例に続いて、次にヨーパラメータモジュール154Bは、多数のヨーレートの結合(または、多数の下界ヨーレートの結合および多数の上界ヨーレートの結合)に基づいて全体ヨーレート(または、全体下界ヨーレートおよび全体上界ヨーレート)を決定し得る。また、ヨーパラメータモジュール154Bは、1つ以上のデータポイントペアの大きさの比較に基づいてヨー移動の方向も決定し得る。
図7において、追加車両300は、図5および図6に示されたものとは異なる(FMCW LIDARコンポーネントに関連する)ポーズに図示されている。すなわち、図7の追加車両300は、FMCW LIDARコンポーネントと垂直である。境界ボックス781が図7の追加車両300の周囲に図示されて追加車両300に対応できるFMCW LIDARデータのサブグループを示す。境界ボックス781内に示されたものは、例示的なFMCW LIDARデータポイント782Aおよび782である。
追加車両300は、図7で垂直であるため、データポイント782Aおよび782Bは、追加車両300がヨー移動を行っていない場合、0(または、ほぼ0)の速度を示すものである。一方、追加車両300がヨー移動を行っている場合、データポイント782Aおよび782Bは、0でない速度を示すものである。図4のヨーパラメータモジュール154Bは、データポイント782Aおよび782Bの間の比較に基づいて追加車両300のヨーパラメータを決定し得る。例えば、ヨーパラメータモジュール154Bは、データポイント782Aおよび782Bに示された速度の間の第1速度差がしきい値を満足するという判断に基づいて追加車両300がヨー移動を行っているのかの可否を判断できる。
図8において、境界ボックス881は、追加車両300の周囲に図示されており、境界ボックス881は、追加車両300に対応するただ2つのFMCW LIDARデータポイント882Aおよび882Bを示す。図8において、追加車両300は、FMCW LIDARコンポーネントから遠く離れている。図8において、FMCW LIDARデータポイント882Aおよび882Bは、FMCW LIDARモノパルスコンポーネントによって生成されたFMCW LIDARモノパルスデータポイントであり得る。図8の例は、FMCW LIDARモノパルスデータポイントが特に有用であり得る一例である。すなわち、FMCW LIDARモノパルスコンポーネントの増加された角度の正確度によって2つのFMCW LIDARデータポイント882Aおよび882Bが決定され得た一方、FMCW LIDAR(非モノパルス(Non−Monopulse)コンポーネント)では、1つだけが決定されるか、または1つも決定されないことがある。図8は、一例であるが、図5ないし図7のFMCW LIDARデータポイントもFMCW LIDARモノパルスデータポイントになることがあり、例えば、ここで開示された具現によってヨーレートの決定に使用できる追加車両300に対するFMCW LIDARデータの角度の正確度を増加させるため、有利であり得る。このように増加されたFMCW LIDARデータの角度の正確度は、一部の具現でより正確なヨーレートの決定をもたらすことができる。
図4のヨーパラメータモジュール154Bは、FMCW LIDARデータポイント882Aおよび882Bとの間の比較に基づいて追加車両300のヨーパラメータを決定し得る。例えば、ヨーパラメータモジュール154Bは、データポイント882Aおよび882Bに示した速度の間の速度差およびデータポイント882Aおよび882Bとの間の決定された距離に基づいてヨーレートを決定し得る。また、ヨーパラメータモジュール154Bは、データポイント882Aおよび882Bに対する速度の大きさの比較に基づいてヨー移動の方向も決定し得る。
ここで記述された技法によって決定されたヨーパラメータは、自車両の制御調整に使用できる。このような調整の一例が図9について説明されており、前記図面は、どのように追加車両300の候補軌跡が決定されたヨーパラメータに基づいて決定され得るか、またはどのように車両100の自律走行の制御が追加車両300の候補軌跡に基づいて調整されることができるのかを図示する。
図9において、車両100は、車両100のFMCW LIDARコンポーネントからFMCW LIDARデータを使用して与えられたインスタンスで追加車両300のヨーレートを決定し得る。候補軌跡991は、与えられたヨーレートが0または0に近い場合、決定され得る候補軌跡を図示する。候補軌跡991は、(決定されたヨーレートが0または0に近いため)ヨーレートに基づく変更がなく、追加車両300の決定された客体速度方向および大きさに基づいて決定され得る。
一方、候補軌跡992は、決定されたヨーレートが図9の鳥瞰図と関連して時計方向であるヨー方向に車両のヨー移動を示す場合、決定され得る候補軌跡を図示する。候補軌跡992は、決定された絶対速度方向および大きさ、そして、決定されたヨーレートの決定された大きさおよび方向の関数で決定され得る。多数のセンサデータ(例えば、FMCW LIDARおよび/または他のデータ)インスタンスに対する追加車両の追跡のような絶対客体速度の決定に様々な技法が使用できる。ただ1つの候補軌跡992が図9に図示されているが、一部の具現で多数の候補軌跡が決定され得る。例えば、下界および上界ヨーレートがここで説明したとおり決定される場合、第1候補軌跡は、下界ヨーレートに基づいて決定され得、第2候補軌跡は、上界ヨーレートに基づいて決定され得る。第1および第2候補軌跡との間にある複数の軌跡(および選択的に第1および第2候補軌跡自体)は、追加車両300の候補軌跡(例えば、候補軌跡の地域)として考慮され得る。
図9から分かるように、車両300に対して候補軌跡991が決定される場合、(追加車両300が候補軌跡991を横断する場合は、追加車両300が車両100の車線を過ぎるようになるとき)車両100の制御を調整して追加車両300を回避する必要がある。一方、候補軌跡992が代わりに決定される場合、車両の回避適応制御は、必要ないこともある。
図9は、与えられたインスタンスに対して決定されたヨーレートに基づいて与えられたインスタンスに対して決定され得る候補軌跡を示したものである。ヨーレートおよび候補軌跡は、複数の追加インスタンスのそれぞれで(例えば、更新されたヨーレートおよび候補軌跡が各制御サイクル(例えば、60Hzおよび/または他の速度))で生成され続けるものであり、これによって候補軌跡は、ヨーレートの変化を考慮して継続的に更新し得る。また、与えられたインスタンスで候補軌跡の生成時に、1つ以上の先行インスタンスから1つ以上の候補軌跡および/または1つ以上のヨーレートが与えられたインスタンスで候補軌跡を滑らかにし、例えば、誤って決定されたヨーレートに基づく(例えば、雑音があるデータに基づく)不必要な回避調節および/または簡単かつ間欠的なヨーレートの変更を防止するように考慮され得る。
図10を見ると、ヨーパラメータを決定し、決定されたヨーパラメータに基づいて自律走行車を制御する例示的な方法1000を示したフローチャートが提供される。便宜上、フローチャートの動作は、その動作を行うシステムを参照して記述される。前記システムは、図1の自律走行車100の1つ以上のプロセッサのような様々なコンポーネントを含み得る。また、方法1000の動作は、特別の手順によって図示されるが、これに限定されない。1つ以上の動作が記録、省略、または追加され得る。
1002ブロックにおいて、システムは、車両のFMCW LIDARコンポーネントからFMCW LIDARデータを受信する。1002ブロックの繰り返し時に受信されたFMCW LIDARデータは、FMCW LIDARコンポーネントによって生成されたデータの処理されない(方法1000を使用して処理されない)最も最近のインスタンスであり得る。データインスタンスは、センシングサイクル中にFMCW LIDARコンポーネントによって生成され得、システムによって、例えば、ストリームの一部として、データパケット、または共有メモリ接続を介して受信され得る。
1004ブロックにおいて、システムは、FMCW LIDARデータのサブグループが追加車両に対応すると決定する。1004ブロックは、選択的にサブブロック1004Aを含み得、ここでシステムは、サブグループが学習された機械学習モデルを使用したFMCW LIDARデータおよび/または他のセンサデータの処理に基づく車両分類を有すると判断する。一部の具現において、サブブロック1004Aは、省略され得、システムは、機械学習モデルを使用せずに、サブグループが追加車両に対応すると判断できる。例えば、システムは、最近接隣り(Nearest Neighbor)および/または他のクラスタリング技法を使用してFMCW LIDARデータのサブグループが追加車両に対応すると判断できる。
1006ブロックにおいて、システムは、サブグループのFMCW LIDARデータに基づいて追加車両の1つ以上のヨーパラメータを決定する。システムは、サブグループのFMCW LIDARデータおよび追加車両に対応するサブグループのFMCW LIDARデータに基づいてヨーパラメータを決定する。
1006ブロックは、選択的にサブブロック1006Aおよびサブブロック1006Bを含み得る。1006Aサブブロックにおいて、システムは、サブグループの第1FMCW LIDARデータセットおよびサブグループの第2FMCW LIDARデータセットの比較に基づいてヨーパラメータを決定する。例えば、システムは、第1および第2セットとの間の速度差と第1および第2セットとの間の3D距離に基づいてヨーレートを決定し得る。システムは、第1および第2セットだけの比較に基づいて、または追加セットの追加比較にも基づいてヨーパラメータを決定し得る。
1006Bサブブロックにおいて、システムは、学習されたヨー機械学習モデルを使用したサブグループのFMCW LIDARデータの処理に基づいてヨーパラメータを決定する。例えば、システムは、学習されたヨー機械学習モデルを使用してFMCW LIDARデータ492のすべてまたは一部分を処理してヨーレートを示す出力を生成し得る。学習されたヨー機械学習モデルは、例えば、図12の方法1200について以下で説明するように学習されることができる。
一部の具現において、システムは、1006Aサブブロックおよび1006Bサブブロックのうち、1つだけを使用してヨーパラメータを決定する。他の具現において、システムは、1006Aサブブロックおよび1006Bサブブロックの両方を使用してヨーパラメータを決定する。例えば、システムは、1006Aサブブロックに基づいて第1ヨーレートを、1006Bサブブロックに基づいて第2ヨーレートを決定し、第1ヨーレートおよび第2ヨーレートの結合に基づいて最終ヨーレートを決定し得る。サブブロック1006Aおよび1006Bが図10に図示されているが、追加車両の格納された3Dモデルを使用してヨーパラメータを決定するサブブロックのような追加および/または代替的なサブブロックがブロック1006に含まれ得る。
1008ブロックにおいて、システムは、決定されたヨーパラメータに基づいて車両の自律走行制御を調節するかの可否を決定する。例えば、システムは、決定されたヨーパラメータの少なくとも一部に基づいて自律操向および/または加速/減速を選択的に調節できる。1008ブロックは、選択的に、システムが決定されたヨーパラメータに基づいて追加車両の候補軌跡を決定し、前記候補軌跡に基づいて車両の自律走行制御を調節するかの可否を判断するサブブロック1008Aを含み得る。例えば、追加車両の候補軌跡および車両の現在の意図された軌跡が追加車両を示し、および/または追加車両が車両と追加車両との間の潜在的衝突を示す場合、システムは、車両の自律走行制御を調整できる。
1008ブロックの後、システムは、1002ブロックに戻り、新規FMCW LIDARデータ(例えば、方法1000を使用して処理されていない最も最近に生成されたデータ)を受信し、次に、ブロック1002、1004、1006、1008を繰り返しに行う。図8に連続して図示されたが、ブロック1002、1004、および/または1006の次の繰り返しは、1つ以上の今後ブロックの以前の繰り返しと並列に(例えば、多数のプロセッサおよび/またはスレッド(Threads)を介して)行われ得る。車両が方向を探索する(Navigating)間に図10のブロックの継続的な繰り返しを通じて、追加車両のヨーパラメータが継続して決定され、更新(追加車両が存在する場合)され得、車両の自律走行制御は、選択的にヨーパラメータに基づいて調整される。
図11を見ると、ヨーパラメータを決定し、決定されたヨーパラメータに基づいて自律走行車を制御する他の例示的な方法1100を示したフローチャートが提供される。便宜上、フローチャートの動作は、前記動作を行うシステムを参照して記述される。前記システムは、図1の自律走行車100の1つ以上のプロセッサのような様々なコンポーネントを含み得る。また、方法1100の動作は、特別の手順によって図示されるが、これに限定されない。1つ以上の動作が記録、省略、または追加され得る。
1102ブロックにおいて、システムは、車両のFMCW LIDARコンポーネントからFMCW LIDARデータを受信する。1つの非制限的な作業の例として、FMCW LIDARデータは、距離−ドップラー映像であり得る。
1104ブロックにおいて、システムは、受信されたFMCW LIDARデータに基づいて追加車両のヨーパラメータを決定する。1104ブロックは、システムが学習されたヨー機械学習モデルを使用したサブグループのFMCW LIDARデータの処理に基づいてヨーパラメータを決定するサブブロック1004Aを選択的に含み得る。作業例を続けると、システムは、学習されたヨー機械学習モデルを使用して距離−ドップラー映像のすべてまたは一部を処理して距離−ドップラー映像からキャプチャされた追加車両の少なくともヨーレートを示す出力を生成し得る。例えば、システムは、距離−ドップラー映像の全体を処理し、距離−ドップラー映像内の追加車両の位置の表示とともに、追加車両のヨーレートを示す出力を生成し得る。また、例えば、システムは、単一追加車両に対応する距離−ドップラー映像の一部を処理し、前記単一追加車両のヨーレーターを示す出力を生成し得る。学習されたヨー機械学習モデルは、例えば、図12の方法1200について以下で説明するように学習されることができる。
1106ブロックにおいて、システムは、決定されたヨーパラメータに基づいて車両の自律走行制御を調整するかの可否を決定する。1106ブロックは、選択的に、システムが決定されたヨーパラメータに基づいて追加車両の候補軌跡を決定し、前記候補軌跡に基づいて車両の自律走行制御を調整するかの可否を判断するサブブロック1106Aを含み得る。
1106ブロックの後、システムは、1102ブロックに戻り、新規FMCW LIDARデータ(例えば、方法1100を使用して処理されていない最も最近に生成されたデータ)を受信し、次に、ブロック1104、および1106を繰り返しに行う。図8に連続して図示されたが、ブロック1102、1104、および/または1106の次の繰り返しは、1つ以上の今後ブロックの以前の繰り返しと並列に(例えば、多数のプロセッサおよび/またはスレッドを介して)行われ得る。車両が方向を探索する間に図11のブロックの継続的な繰り返しを通じて、追加車両のヨーパラメータが継続して決定され、更新(追加車両が存在する場合)され得、車両の自律走行制御は、選択的にヨーパラメータに基づいて調整される。
図12を見ると、FMCW LIDARデータに基づいてヨーレートの決定に使用できる機械学習の方法を学習する例示的な方法1200を示したフローチャートが提供される。便宜上、フローチャートの動作は、前記動作を行うシステムを参照して記述される。前記システムは、1つ以上のコンピューティングデバイスのうち、1つ以上のプロセッサ、1つ以上のコンピューティングデバイスのうち、1つ以上のグラフィックス処理ユニットのような様々なコンポーネントを含み得る。また、方法1200の動作は、特別の手順によって図示されるが、これに限定されない。1つ以上の動作が記録、省略、または追加され得る。
1202ブロックにおいて、システムは、それぞれ学習インスタンス入力および学習インスタンス出力を含む学習インスタンスを生成する。学習インスタンス入力は、FMCW LIDARデータを含む。学習インスタンス出力は、学習インスタンス入力のFMCW LIDARデータに対応する追加車両に対するヨーレートの表示を含む。追加車両は、追加自律走行車および/または非自律走行車を含み得る。
特別な一例として、各学習インスタンスの学習インスタンス入力は、インスタンスのFMCW LIDARデータの全体を含み得る。例えば、各学習インスタンス入力は、当該の距離−ドップラー映像、(速度値および強度値を有する)当該の3Dポイントクラウド、または当該の時変中間周波数波形であり得る。このような特別な例において、各学習インスタンスの学習インスタンス出力は、例えば、存在する場合、それぞれ追加車両を含むFMCW LIDARデータの一部を示す境界ボックス(または、他の境界表示)および(存在する場合)境界ボックスのそれぞれに対するヨーレートおよびヨー方向を含み得る。例えば、追加車両をキャプチャできなかったFMCW LIDARデータの学習インスタンス入力を有する第1学習インスタンスの場合、学習インスタンス出力は、境界表示がないことを示し得る。また、例えば、単一追加車両をキャプチャしたFMCW LIDARデータの学習インスタンス入力を有する第2学習インスタンスの場合、学習インスタンス出力は、単一追加車両に対応するFMCW LIDARデータの当該部分を示す単一境界表示と前記境界表示に対するヨーレートおよびヨー方向を示し得る。また、例えば、多数の追加車両をキャプチャしたFMCW LIDARデータの学習インスタンス入力を有する第3学習インスタンスの場合、学習インスタンス出力は、多数の追加車両のうち、対応車両に該当するFMCW LIDARデータの当該部分をそれぞれ示す多数の境界表示と各境界表示に対する対応ヨーレートおよび対応ヨー方向を示し得る。
他の特別な例であって、各学習例の学習インスタンス入力は、インスタンスのFMCW LIDARデータのサブグループを含み得、FMCW LIDARデータのサブグループは、当該サブグループが追加車両に対応するという判断に基づいて(例えば、個別学習された客体検出および分類機械学習モデルを使用してインスタンスのFMCW LIDARデータを処理したことに基づいて)選択され得る。追加車両に該当するFMCW LIDARデータのサブグループは、(例えば、インスタンスで追加車両の個別ポーズに基づいて)インスタンスごとに異なる場合があり、1つ以上の技法がそれぞれ同じディメンションを有する学習インスタンス入力の生成に使用できる。例えば、パディングデータが前記ディメンションよりも低いサブグループに追加され得る。また、例えば、FMCW LIDARデータは、(前記ディメンションよりも低い場合)アップサンプリングされるか、または(前記ディメンションよりも低い場合)ダウンサンプリングされ得る。このような特別な例において、各学習インスタンスの学習インスタンス出力は、例えば、ヨーレートおよびヨー方向を含み得る。
学習インスタンスの学習インスタンス出力に対する追加車両のヨーレートは、学習インスタンスに対するFMCW LIDARデータのキャプチャ時刻に対応する時間でのヨーレートの決定に基づくことができる。一部の具現で、そして少なくとも一部の学習インスタンスの場合、ヨーレートは、追加車両の車両搭載型(On−Vehicle)ヨーレートセンサの出力に基づいて決定され得る。例えば、車両搭載型ヨーレートセンサの出力は、FMCW LIDARデータと時間同期化でき、複数のFMCW LIDARデータのインスタンスそれぞれにヨーレートおよびヨー方向を割り当てるのに使用できる。この具現において、追加車両の車両搭載型ヨーレートセンサがヨー機械学習モデルの学習に使用された学習インスタンスの学習インスタンス出力の生成に使用できる。しかし、追加車両のヨーレートセンサのデータを使用しなくても、推論時間に学習されたヨー機械学習モデルを使用して追加車両のヨーレートの予測が生成され得る。例えば、推論時間に与えられたインスタンスでヨーレートの予測は、学習されたヨー機械学習モデルを使用して与えられたインスタンスに対するFMCW LIDARデータだけの処理に基づいて生成され得る。
多様な具現において、学習インスタンス出力生成に使用された追加車両の車両搭載型ヨーレートセンサの出力は、追加車両のCAN(Controller Area Network)バス、またはヨーレートセンサのデータを含む追加車両の他の通信ネットワークからのデータモニタリングに基づいて決定され得る。一部の多様な具現において、追加車両が移動する間に、ラップトップ(Laptop)コンピューターまたは他のコンピューティングデバイスが追加車両に統合され得、追加車両の通信ネットワークに結合して通信ネットワークについて送信されたヨーレートセンサデータおよび/または他のデータを記録(Log)できる。追加的または代替的な具現において、追加車両の車両搭載型ヨーレーターセンサは、追加車両のCANバスまたは他の必須通信ネットワークと通信しない独立型(Stand−Alone)センサであり得る。例えば、ヨーレートセンサおよび通信装置を含む装備パッケージが追加車両が移動する間に追加車両に統合され得、コンピューティングデバイスは、ヨーレートセンサと通信するように結合してセンサからのセンサデータを記録およびタイムスタンプすることができる。
様々な技法が追加車両の車両搭載型ヨーレートセンサの出力を(自律走行車の)FMCW LIDARデータと時間同期化するのに使用でき、これにより与えられたヨーレートおよび与えられたヨー方向を当該のFMCW LIDARデータインスタンスに割り当てることができる。例えば、追加車両のヨーレートデータを記録した追加車両のコンピューティングデバイスは、コンピューティングデバイスの局部クロックを使用してヨーレートデータをタイムスタンプすることができる。同様に、自律走行車の局部クロックは、FMCW LIDARデータをタイムスタンプすることができる。ヨーレートデータのタイムスタンプおよびFMCW LIDARデータのタイムスタンプは、FMCW LIDARデータのインスタンスと当該のヨーレートデータをペアリングするのに使用できる。例えば、局部クロックは、データ収集以前の最近に同期化でき、タイムスタンプは、同期であると仮定される。また、例えば、局部クロックの間のデルタ(Delta)が(データ収集前後に)決定され得、デルタは、FMCW LIDARデータのどのタイムスタンプがヨーレートデータのどのタイムスタンプに対応するかの決定に使用できる。
一部の追加的または代替的な具現において、および少なくとも一部の学習インスタンスの場合、ヨーレートは、自動化されたヨーレートの決定技法に基づいて決定され得、前記技法は、追加車両をキャプチャした1つ以上の以前および/または今後FMCW LIDARデータ(および/または他のセンサデータ)の分析に少なくとも部分的に基づいて与えられたインスタンスでヨーレートを決定する。この具現において、FMCW LIDARデータの以前および/または今後のインスタンスがヨー機械学習モデルの学習に使用された学習インスタンスの学習インスタンス出力を生成するのに使用できる。しかし、推論時点での追加車両のヨーレートの予測は、与えられたインスタンスに対して学習されたヨー機械学習モデルおよび与えられたインスタンスに対するFMCW LIDARデータを使用し、そして、以前および/または今後のFMCW LIDARデータを使用しなくて生成され得る。例えば、推論時点での与えられたインスタンスでのヨーレートの予測は、与えられたインスタンスに対するFMCW LIDARデータの処理に基づいて学習されたヨー機械学習モデルを使用し、そして、今後のFMCW LIDARデータを処理しなくて(または選択的に今後FMCW LIDARデータが生成および/または受信される前に)生成され得る
1204ブロックにおいて、システムは、1202ブロックから生成された学習インスタンスのうち、1つの学習インスタンスを選択する。
1206のブロックにおいて、システムは、機械学習モデルを使用してインスタンスの学習インスタンス入力の処理に基づいて予測を生成する。一部の具現において、機械学習モデルは、フィードフォワード(Feed−Forward)神経回路網のような神経回路網モデルであり得る。例えば、機械学習モデルは、1つ以上のコンボリューション層を含むフィードフォワードコンボリューショナル(Feed−Forward Convolutional)神経回路網(CNN)であり得る。
1208ブロックにおいて、システムは、予測を学習インスタンスの学習インスタンス出力と比較して損失(Loss)を生成する。例えば、予測と学習インスタンス出力との間の差に基づいて誤差(Error)が決定され得、損失は、前記誤差の大きさに基づいて決定され得る。
1210ブロックにおいて、システムは、損失に基づいて機械学習モデルを更新する。例えば、システムは、損失に基づいて機械学習モデルの逆伝播(Backpropagation)を行い、機械学習モデルのパーセプトロン(Perceptron(s))の加重値を更新し得る。
1212ブロックにおいて、システムは、追加学習を行うかどうかを決定する。システムが追加学習の実行を決定すると、システムは、1204、1206、1208、および1210ブロックの他の繰り返しを行う。一部の具現において、システムは、未処理学習インスタンスが残っている場合には、追加学習の実行を決定する。一部の具現において、システムは、1つ以上の追加的または代替的な基準(Criterion)に基づいて追加学習を行うかどうかを決定する。例えば、システムは、学習エポック(Epochs)の臨界回数だけ行われたかどうかに基づいて機械学習モデルを使用して生成された最近の予測が基準を満足するという判断および/または他の基準/基準に基づいて追加学習の可否を決定し得る。
1214ブロックにおいて、システムが追加学習を行わないことに決定すると、システムは、1214ブロックに進行する。1214ブロックにおいて、システムは、FMCW LIDARデータに基づいて追加車両のヨーレートの決定に使用するように学習された機械学習モデルを提供する。例えば、システムは、図10の方法1000または図11の方法1100で使用する学習された機械学習モデルを提供し得る。
方法1200は、予測および単一学習インスタンスの学習インスタンス出力に基づいて、損失を生成することについて説明したが、多様な具現において、損失が予測バッチ(Batch)および学習インスタンスバッチの学習インスタンス出力に基づいて決定されるバッチ技法が使用できる。例えば、1208ブロックの各繰り返しの以前に1204および1206ブロックの多数の繰り返しが行われ得、1208ブロックの各繰り返しでシステムは、1204および1206ブロックの最も最近の繰り返しに基づいて損失を生成し得る。
ここで記述されたように、図12の方法1200の具現によって学習された機械学習モデルは、追加車両のヨーパラメータの決定に使用できる。追加に記述されたように、学習された機械学習モデルの一部の具現は、LIDARデータ処理に使用でき、LIDARデータ処理に基づいてLIDARデータによってキャプチャされた追加車両のヨーパラメータを直接または間接的に示す出力を生成するのに使用できる。前記具現の一部において、処理されたLIDARデータは、追加車両に対応するように決定されたLIDARデータのサブセットであり得る。例えば、追加学習された機械学習モデルは、追加車両に対応するLIDARデータの一部、および学習された機械学習モデルを使用して処理されたLIDARデータの一部の検出に使用できる。追加に記述されたように、学習された機械学習モデルの多様な具現は、LIDARデータの処理に使用でき、LIDARデータ処理に基づいて境界表示を示す出力の生成に使用でき、境界表示のそれぞれは、境界表示のそれぞれに対する対応ヨーレートおよび対応ヨー方向によって対応車両に該当するFMCW LIDARデータの一部を示す。したがって、このような多様な具現において、学習された機械学習モデルは、検出された追加車両のヨーパラメータの決定だけでなく、追加車両の検出も行うように学習され得る。
図12の方法1200は、FMCW LIDARデータに基づいてヨーレートの決定に使用できる機械学習モデルの学習について記述している。しかし、多くの具現において、方法1200は、FMCW LIDARデータおよび/または他のセンサデータ(例えば、非FMCW−LIDARデータ、カメラベースの映像、および/または他のビジョンセンサデータ)に基づいて追加車両の追加的および/または代替的なパラメータの決定に使用できる機械学習モデルを学習させるように調節できる。
このような調節の一例として、1201ステップの変異(Variant)において、システムは、位相コヒーレントLIDARデータ(FMCW LIDARデータまたは他の位相コヒーレントLIDARデータ)を含む学習インスタンス入力をそれぞれ含み、学習インスタンス入力の位相コヒーレントLIDARデータに対応する追加車両に対する速度、加速度および/または進路(Heading)の表示を含んだ学習インスタンス出力を含む学習インスタンスを生成し得る。追加車両は、追加自律走行車および/または非自律走行車を含み得る。学習インスタンス出力内の与えられた追加車両に対する速度、加速度および/または進路の表示は、追加車両の対応センサからの出力に基づくことであり得る。例えば、前記表示は、CANバス、または追加車両の他の通信ネットワークからの対応データをモニタリングしたこと、および/またはCANバスおよび/または追加車両の他の必須通信ネットワークと通信しない追加車両の独立型センサをモニタリングしたことに基づいて決定され得る。様々な技法が(追加車両)の速度、加速度および/または進路を(自律走行車の)位相コヒーレントLIDARデータと時間同期化するのに使用され、与えられた速度、与えられた加速度および/または与えられた進路が当該の位相コヒーレントLIDARデータインスタンスに割り当てられるようにすることができる。
前記調整の特別な一例として、各学習インスタンスの学習インスタンス入力は、インスタンスの位相コヒーレントLIDARデータの全体を含み得る。例えば、各学習インスタンス入力は、当該の距離−ドップラー映像、(速度値および強度値を有する)当該の3Dポイントクラウドまたは当該の時変中間周波数波形であり得る。このような特別な例において、各学習インスタンスの学習インスタンス出力は、例えば、存在する場合は、それぞれ追加車両を含む位相コヒーレントLIDARデータの一部を示す境界ボックス(または、他の境界表示)および(存在する場合は)境界ボックスのそれぞれに対する速度、加速度および/または進路の表示を含み得る。
調整の他の特別な例であって、各学習例の学習インスタンス入力は、インスタンスの位相コヒーレントLIDARデータのサブグループを含み得、位相コヒーレントLIDARデータのサブグループは、前記サブグループが追加車両に対応するという判断に基づいて(例えば、個別学習された客体検出および分類機械学習モデルを使用してインスタンスの位相コヒーレントLIDARデータを処理することに基づいて)選択され得る。このような特別な例において、各学習インスタンスの学習インスタンス出力は、例えば、追加車両に対する速度、加速度および/または進路を含み得る。
したがって、ここで記述された多様な具現は、自律走行車のセンサデータに基づく学習インスタンス入力、追加車両のセンサデータに基づく学習インスタンス出力を含む学習インスタンスを生成し得、ここで追加車両は、自律走行車のセンサデータで少なくとも一部キャプチャされる。このような学習インスタンスに基づく機械学習モデルの学習は、機械学習モデルを使用して自律走行車からのセンサデータを処理し得るようにし、前記センサデータに対して少なくとも部分的にキャプチャされた追加車両の1つ以上の特性を予測できるようにする。前述の説明のように、このような学習インスタンスの生成が人の関与なしに(または、最小限に関与して)自動で行われることが理解され得る。例えば、学習インスタンスに対して指導(Supervised)ラベルが追加車両のセンサデータに基づいて生成され得、人間検討者の必要性を排除(およびこのような人間のラベリング(Labeling)と連携した様々な計算リソースを排除)してこのような指導ラベリングを提供し、および/または人間が学習インスタンス入力の検討に基づいてラベルを生成できなくなる状況で自動化された指導ラベリングを可能にする。

Claims (24)

  1. 追加車両の決定されたヨーパラメータに基づいて自律制御車の自律走行制御を調整する方法において、
    車両の位相コヒーレント(Phase Coherent)LIDAR(Light Detection and Ranging)コンポーネントから、前記位相コヒーレントLIDARコンポーネントのセンシングサイクルのLIDARデータポイントグループを受信し、前記グループのLIDARデータポイントのそれぞれは、環境内の対応ポイントについての対応距離および対応速度を示し、それぞれは、前記センシングサイクル中に前記位相コヒーレントLIDARコンポーネントの対応センシングイベントに基づいて生成されるステップと、
    前記グループの前記LIDARデータポイントのうち、一サブグループが前記車両に追加された追加車両に対応すると判断するステップと、
    前記サブグループが前記追加車両に対応するという判断に基づいて、
    前記サブグループの複数の前記LIDARデータポイントに基づいて前記追加車両のヨーパラメータを決定するステップと、
    前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップと、を含む方法。
  2. 前記グループの前記LIDARデータポイントのうち、前記サブグループが前記追加車両に対応すると判断するステップは、
    学習された機械学習モデルを使用して前記グループの前記LIDARデータポイントを処理するステップと、
    前記学習された機械学習モデルを使用して前記グループの前記LIDARデータポイントを処理することに基づいて前記サブグループが車両分類を有することを示す出力を生成するステップと、
    前記サブグループが前記車両分類を有することを示す出力に基づいて前記サブグループが前記追加車両に対応すると判断するステップと、を含む請求項1に記載の方法。
  3. 前記サブグループの前記複数のLIDARデータポイントに基づいて前記追加車両の前記ヨーパラメータを決定するステップは、
    前記サブグループの前記複数のLIDARデータポイントのうち、1つ以上の第1セットを決定するステップと、
    前記サブグループの前記複数のLIDARデータポイントのうち、1つ以上の第2セットを前記第2セットが前記第1セットから空間的にオフセットされること(Spatially Offset)に基づいて決定するステップと、
    前記第1セットと前記第2セットの比較に基づいて前記ヨーパラメータを決定するステップと、を含む請求項1に記載の方法。
  4. 前記第1セットおよび前記第2セットが相対的に互いに空間的にオフセットされているという判断は、前記第1セットおよび第2セットによって示した対応距離に少なくとも部分的に基づく請求項3に記載の方法。
  5. 前記第1セットおよび前記第2セットの比較に基づいて前記追加車両の前記ヨーパラメータを決定するステップは、
    前記第1セットの第1セット速度の大きさ(Velocity Magnitude)および前記第2セットの第2セット速度の大きさの比較に基づいて前記ヨーパラメータを決定するステップを含み、前記第1セット速度の大きさは、前記第1セットに対する対応速度に基づき、前記第2セット速度の大きさは、前記第2セットに対する対応速度に基づく請求項3に記載の方法。
  6. 前記追加車両の前記ヨーパラメータは、前記追加車両のヨーレートを含み、前記第1セットおよび前記第2セットの比較に基づいて前記追加車両の前記ヨーパラメータを決定するステップは、
    前記第1セットおよび前記第2セットとの間の前記空間オフセットに基づいて距離を決定するステップと、
    前記ヨーレートを
    前記第1セット速度の大きさおよび前記第2セット速度の大きさの比較および
    前記距離に基づいて決定するステップと、を含む請求項5に記載の方法。
  7. 前記第1セット速度の大きさおよび前記第2セット速度の大きさの前記比較および前記距離に基づいて前記ヨーレートを決定するステップは、
    前記第1セット速度の大きさおよび前記第2セット速度の大きさの前記比較に基づいて前記第1セット速度の大きさおよび前記第2セット速度の大きさとの間の速度差(Velocity Differential)を決定するステップと、
    前記速度差を前記距離に基づいて前記ヨーレートに変換するステップと、を含む請求項6に記載の方法。
  8. 前記追加車両の前記ヨーパラメータは、前記追加車両の下界(Lower Bound)ヨーレートを含み、前記第1セットおよび前記第2セットの比較に基づいて上界(Upper Bound)ヨーレートである前記追加車両の追加ヨーパラメータを決定するステップをさらに含む請求項5に記載の方法。
  9. 前記第1セットおよび前記第2セットとの間の前記空間オフセットに基づいて距離を決定するステップと、
    前記第1セット速度の大きさおよび前記第2セット速度の大きさの前記比較に基づいて前記第1セット速度の大きさおよび前記第2セット速度の大きさとの間の速度差(Velocity Differential)を決定するステップと、をさらに含み、
    前記下界ヨーレートを決定するステップは、
    前記速度差を前記距離で割るステップを含む請求項8に記載の方法。
  10. 前記上界ヨーレートを決定するステップは、
    前記速度差を前記距離に基づくが、前記距離に対して大きさが減少した値で割るステップを含む請求項9に記載の方法。
  11. 前記第1セットは、前記複数のLIDARデータポイントのうち、多数を含み、前記第1セット速度の大きさは、前記複数のLIDARデータポイントのうち、前記多数に対する前記対応速度に基づいて決定される請求項5に記載の方法。
  12. 前記第1セット速度の大きさは、前記複数のLIDARデータポイントのうち、前記多数に対する前記対応速度の平均に基づく請求項11に記載の方法。
  13. 前記ヨーパラメータは、ヨーレートを含み、前記第1セットおよび前記第2セットの比較に基づいて前記追加車両の前記ヨーパラメータを決定するステップは、
    第1セット速度の大きさおよび第2セット速度の大きさの比較に基づいて速度差(Velocity Differential)を決定するステップを含み、前記第1セット速度の大きさは、前記第1セットに対する対応速度に基づき、前記第2セット速度の大きさは、前記第2セットに対する対応速度に基づくステップと、
    前記追加車両に対する格納されたモデルを識別するステップと、
    前記追加車両に対する前記格納されたモデルに基づいて前記速度差を前記ヨーレートに変換するステップと、を含む請求項3に記載の方法。
  14. 前記追加車両に対する前記格納されたモデルを識別するステップは、
    前記サブグループの前記LIDARデータポイントに基づいて複数の格納された候補モデルから前記格納されたモデルを選択するステップを含む請求項13に記載の方法。
  15. 前記ヨーパラメータは、ヨーレートおよびヨー方向を含み、前記サブグループの前記複数のLIDARデータポイントに基づいて前記追加車両の前記ヨーパラメータを決定するステップは、
    学習された機械学習モデルを使用して前記サブグループの前記複数のLIDARデータポイントを処理するステップと、
    前記処理された機械学習モデルを使用して前記グループの前記LIDARデータポイントを処理するステップに基づいて前記ヨーレートおよび前記ヨー方向を示す出力を生成するステップと、
    前記出力に基づいて前記ヨーレートおよび前記ヨー方向を決定するステップと、を含む請求項1に記載の方法。
  16. 前記学習された機械学習モデルを使用して前記サブグループの前記LIDARデータポイントを処理するステップは、前記学習された機械学習モデルを使用して前記サブグループの前記LIDARデータポイントのすべてを処理するステップを含む請求項15に記載の方法。
  17. 前記追加車両の前記ヨーパラメータは、ヨーレートを示す速度差(Velocity Differential)であり、前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップは、しきい値を超過する前記速度差に基づいて前記自律走行制御を調整するステップを含む請求項1に記載の方法、
  18. 前記追加車両の前記ヨーパラメータは、ヨーレートおよびヨー方向を含む請求項1に記載の方法。
  19. 前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップは、
    前記車両の速度および
    前記車両の方向のうち、少なくとも1つを変更するステップを含む請求項1に記載の方法。
  20. 前記ヨーパラメータは、ヨーレートであり、前記追加車両の前記決定されたヨーレートに基づいて前記車両の自律走行制御を調整するステップは、前記決定されたヨーレートがしきい値を満足するという判断に応答して行われる請求項19に記載の方法。
  21. 前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップは、
    前記決定されたヨーパラメータに基づいて前記追加車両の少なくとも1つの候補軌跡を決定するステップと、
    前記少なくとも1つの候補軌跡に基づいて前記車両の自律走行制御を調整するステップと、を含む請求項1に記載の方法。
  22. 前記LIDARコンポーネントは、LIDARモノパルスコンポーネントであり、前記LIDARコンポーネントの前記対応センシングイベントは、それぞれ前記LIDARモノパルスコンポーネントの第1受信機での第1受信機センシングイベントおよび前記LIDARモノパルスコンポーネントの第2受信機での第2受信機センシングイベントを含む請求項1に記載の方法。
  23. 追加車両の決定されたヨーレートに基づいて自律制御車の自律走行制御を調整する方法において、
    車両の位相コヒーレント(Phase Coherent)LIDAR(Light Detection and Ranging)コンポーネントから前記車両の環境をキャプチャしたLIDARデータを受信するが、
    前記LIDARデータは、前記車両の前記環境内の複数のポイントそれぞれに対して少なくとも1つの対応距離および少なくとも1つの対応速度を前記LIDARコンポーネントの対応センシングイベントに基づいて示すステップと、
    前記LIDARデータのサブグループが前記環境内の追加車両に対応すると決定し、前記追加車両は、前記車両に追加されたものであるステップと、
    前記追加車両のヨーレートを決定し、前記決定は、前記サブグループのLIDARデータに示した多数の対応速度に基づいて行われるステップと、
    前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行制御を調整するステップと、を含む方法。
  24. 自律走行車において、
    位相コヒーレント(Phase Coherent)LIDAR(Light Detection and Ranging)コンポネントと、
    格納されたコンピューター命令を行って
    前記位相コヒーレントLIDARコンポーネントから前記車両の環境をキャプチャしたLIDARデータを受信するが、
    前記LIDARデータは、前記車両の前記環境内の複数のポイントそれぞれに対して少なくとも1つの対応距離および少なくとも1つの対応速度を前記位相コヒーレントLIDARコンポーネントの対応センシングイベントに基づいて表示し、
    前記位相コヒーレントLIDARデータに示した前記多数の対応速度に基づいて前記車両の前記環境内の追加車両のヨーパラメータを決定し、
    前記追加車両の前記決定されたヨーパラメータに基づいて前記車両の自律走行の制御調整を行う1つ以上のプロセッサを含む自律走行車。
JP2020555890A 2018-04-11 2019-03-28 方法及び自律走行車両 Active JP7358384B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862655965P 2018-04-11 2018-04-11
US62/655,965 2018-04-11
US16/173,660 US10906536B2 (en) 2018-04-11 2018-10-29 Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US16/173,660 2018-10-29
PCT/US2019/024672 WO2019199474A1 (en) 2018-04-11 2019-03-28 Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle

Publications (3)

Publication Number Publication Date
JP2021521050A true JP2021521050A (ja) 2021-08-26
JPWO2019199474A5 JPWO2019199474A5 (ja) 2022-03-16
JP7358384B2 JP7358384B2 (ja) 2023-10-10

Family

ID=68160190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020555890A Active JP7358384B2 (ja) 2018-04-11 2019-03-28 方法及び自律走行車両

Country Status (5)

Country Link
US (5) US10676085B2 (ja)
EP (1) EP3774477B1 (ja)
JP (1) JP7358384B2 (ja)
KR (2) KR102497330B1 (ja)
WO (2) WO2019199474A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230174505A (ko) * 2022-06-21 2023-12-28 (주)뉴빌리티 자율주행을 위한 횡방향 제어 장치 및 방법

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296093A (zh) 2016-11-29 2022-04-08 布莱克莫尔传感器和分析有限责任公司 用于以点云数据集合对对象进行分类的方法和系统
US11624828B2 (en) 2016-11-30 2023-04-11 Blackmore Sensors & Analytics, Llc Method and system for adaptive scanning with optical ranging systems
CN113985427A (zh) 2016-11-30 2022-01-28 布莱克莫尔传感器和分析有限责任公司 对光学啁啾距离检测进行多普勒检测和校正的方法和系统
WO2018102188A1 (en) 2016-11-30 2018-06-07 Blackmore Sensors and Analytics Inc. Method and system for automatic real-time adaptive scanning with optical ranging systems
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
US11307309B2 (en) * 2017-12-14 2022-04-19 COM-IoT Technologies Mobile LiDAR platforms for vehicle tracking
US11620419B2 (en) * 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
WO2019209727A1 (en) * 2018-04-23 2019-10-31 Blackmore Sensors and Analytics Inc. Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
US10839262B2 (en) * 2018-04-24 2020-11-17 Here Global B.V. Machine learning a feature detector using synthetic training data
JP6661695B2 (ja) * 2018-05-09 2020-03-11 三菱電機株式会社 移動体検出装置、車両制御システム、移動体検出方法および車両制御方法
US11354406B2 (en) * 2018-06-28 2022-06-07 Intel Corporation Physics-based approach for attack detection and localization in closed-loop controls for autonomous vehicles
USD922889S1 (en) * 2018-06-29 2021-06-22 Zoox, Inc. Sensor housing
US11726210B2 (en) 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
US11061406B2 (en) * 2018-10-22 2021-07-13 Waymo Llc Object action classification for autonomous vehicles
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
JP7208388B2 (ja) * 2018-11-13 2023-01-18 ブラックモア センサーズ アンド アナリティクス エルエルシー 位相エンコーディングlidarにおける内部反射減算のためのレーザー位相追跡方法およびシステム
US10831209B2 (en) * 2018-12-19 2020-11-10 Fca Us Llc Using a long-term recurrent convolutional network to plan a sequence of lateral controls in autonomous driving
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
JP2020148593A (ja) * 2019-03-13 2020-09-17 株式会社明電舎 自動操縦ロボットを制御する操作推論学習モデルの学習システム及び学習方法
CN109782015A (zh) * 2019-03-21 2019-05-21 同方威视技术股份有限公司 激光测速方法、控制装置和激光测速仪
US11016496B2 (en) * 2019-04-10 2021-05-25 Argo AI, LLC Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications
KR20210050052A (ko) * 2019-10-25 2021-05-07 현대모비스 주식회사 자동차용 센서 통합 모듈
US11657290B2 (en) * 2019-10-28 2023-05-23 Robert Bosch Gmbh System and method with a robust deep generative model
US11531107B2 (en) 2019-11-19 2022-12-20 Volvo Car Corporation Long range LIDAR-based speed estimation
US10732261B1 (en) * 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning
US10733463B1 (en) 2020-03-31 2020-08-04 Lyft, Inc. Systems and methods for augmenting perception data with supplemental information
US11906967B1 (en) * 2020-03-31 2024-02-20 Zoox, Inc. Determining yaw with learned motion model
US11782451B1 (en) * 2020-04-21 2023-10-10 Aurora Operations, Inc. Training machine learning model for controlling autonomous vehicle
US11919529B1 (en) 2020-04-21 2024-03-05 Aurora Operations, Inc. Evaluating autonomous vehicle control system
US11703599B2 (en) * 2020-05-15 2023-07-18 Baidu Usa Llc Partial point cloud-based pedestrians' velocity estimation method
KR102283237B1 (ko) * 2020-05-29 2021-07-29 서울대학교산학협력단 데이터 주도 기계학습 기반 차량 조향 특성 모델 실시간 규명 장치 및 방법
CA3181067A1 (en) 2020-06-05 2021-12-09 Gautam Narang Method and system for context-aware decision making of an autonomous agent
WO2021247081A1 (en) 2020-06-05 2021-12-09 Gatikai Inc. Method and system for data-driven and modular decision making and trajectory generation of an autonomous agent
JP2023528078A (ja) 2020-06-05 2023-07-03 ガティック エーアイ インコーポレイテッド 自律エージェントの不確実性推定に基づく決定論的軌道選択のための方法およびシステム
US11960290B2 (en) * 2020-07-28 2024-04-16 Uatc, Llc Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps
US20220128995A1 (en) * 2020-10-22 2022-04-28 Waymo Llc Velocity estimation and object tracking for autonomous vehicle applications
US11841439B2 (en) * 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
GB2600695A (en) * 2020-11-03 2022-05-11 Daimler Ag A method for estimating an attribute of an entity for an autonomous control system such as an at least partially autonomous motor vehicle
US20220141804A1 (en) * 2020-11-04 2022-05-05 Huawei Technologies Co., Ltd. Waveform adaptation for integrated communications and sensing
WO2022104259A1 (en) * 2020-11-16 2022-05-19 Oculii Corp. System and method for radar-based localization and/or mapping
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
JP7472784B2 (ja) * 2020-12-28 2024-04-23 トヨタ自動車株式会社 車両電子制御装置、車両電子制御方法及び車両制御プログラム
WO2022216885A1 (en) * 2021-04-07 2022-10-13 Ridecell, Inc. A systematic approach towards system identification based yaw rate estimation with low-cost imu+gps units
US11734909B2 (en) * 2021-05-04 2023-08-22 Ford Global Technologies, Llc Machine learning
US11760368B2 (en) * 2021-10-19 2023-09-19 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016200443A (ja) * 2015-04-08 2016-12-01 トヨタ自動車株式会社 障害物検出装置
JP2017502315A (ja) * 2013-12-19 2017-01-19 ディーエスシージー ソルーションズ,インコーポレイテッド 単一レーザーlidarシステム
WO2017013750A1 (ja) * 2015-07-21 2017-01-26 日産自動車株式会社 運転計画装置、走行支援装置、運転計画方法
JP2017516110A (ja) * 2014-05-21 2017-06-15 ディーエスシージー ソルーションズ,インコーポレイテッド 物体をリアルタイムで追跡するためのデバイス、システム、および方法
WO2017158768A1 (ja) * 2016-03-16 2017-09-21 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3477616A (en) * 1968-01-16 1969-11-11 Mainar Sa Ind Metering device
US3987297A (en) 1975-06-09 1976-10-19 United Technologies Corporation Monopulse optical receiver system
SE432224B (sv) * 1983-08-04 1984-03-26 Stig Holmgren Sekerhetsinrettning vid fordon
US7629899B2 (en) 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
JP3651259B2 (ja) * 1998-05-01 2005-05-25 日産自動車株式会社 先行車追従制御装置
DE19851027C2 (de) * 1998-11-05 2000-09-21 Daimler Chrysler Ag Kopfstütze für Fahrzeugsitze
DE10148071A1 (de) 2001-09-28 2003-04-17 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10353348A1 (de) 2003-11-14 2005-06-02 Ibeo Automobile Sensor Gmbh Verfahren zur Verfolgung von Objekten
DE112006003044T5 (de) 2005-10-21 2008-10-23 Deere & Company, Moline Vielseitiges Robotersteuermodul
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US7744154B2 (en) * 2008-07-30 2010-06-29 Cosco Management, Inc. Energy-dissipation system
US8229663B2 (en) * 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
JP2014514849A (ja) 2011-04-14 2014-06-19 ノキア シーメンス ネットワークス オサケユキチュア 単一キャリアセルアグリゲーションでの協調送信CoMP
DE102013100446B4 (de) * 2012-01-25 2020-01-09 Denso Corporation Spurhalte-Steuersystem
EP2637072B1 (en) * 2012-03-05 2017-10-11 Volvo Car Corporation Path following of a target vehicle
DE102012008391A1 (de) * 2012-04-26 2013-10-31 Trw Automotive Gmbh Fahrzeuginsassenschutzsystem
US8849557B1 (en) * 2012-11-15 2014-09-30 Google Inc. Leveraging of behavior of vehicles to detect likely presence of an emergency vehicle
US8849494B1 (en) 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
US9463725B2 (en) * 2013-04-03 2016-10-11 AISIN Technical Center of America, Inc. Comfort headrest
US8983705B2 (en) * 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
KR102142361B1 (ko) 2013-04-11 2020-08-07 웨이모 엘엘씨 차량 온보드 센서들을 사용하여 날씨 상태들을 검출하는 방법들 및 시스템들
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
KR101470221B1 (ko) * 2013-10-17 2014-12-05 현대자동차주식회사 현가 제어 장치 및 그 방법
EP3114574A4 (en) 2014-03-03 2018-03-07 Inrix, Inc. Traffic obstruction detection
US9834207B2 (en) * 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
US20160107552A1 (en) * 2014-09-02 2016-04-21 Olivia Wakeman Multi-function customizable cover
KR20160093465A (ko) 2015-01-29 2016-08-08 엘지전자 주식회사 차량용 레이더 장치, 차량 운전 보조 장치, 차량 및 차량용 레이더 장치의 동작 방법
WO2016164435A1 (en) 2015-04-07 2016-10-13 Oewaves, Inc. Compact lidar system
US9481277B1 (en) * 2015-09-23 2016-11-01 Ford Global Technologies, Llc Adjustable headrest
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10220752B2 (en) * 2016-01-13 2019-03-05 Ford Global Technologies, Llc Adjustable headrest assembly with neck support feature
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
JP6480366B2 (ja) * 2016-03-14 2019-03-06 株式会社Soken 自動運転制御装置、自動運転制御方法、および運転情報出力方法
CN116659526A (zh) 2016-03-15 2023-08-29 康多尔收购第二分公司 用于提供车辆认知的系统和方法
EP3432285A4 (en) * 2016-03-16 2019-03-27 Panasonic Intellectual Property Management Co., Ltd. FAHRANALYSE DEVICE AND FAIR ANALYSIS SYSTEM
JPWO2017168586A1 (ja) * 2016-03-29 2019-03-07 パイオニア株式会社 算出装置、制御方法、プログラム及び記憶媒体
JP6500826B2 (ja) * 2016-04-08 2019-04-17 トヨタ自動車株式会社 乗員保護装置
US20200222010A1 (en) 2016-04-22 2020-07-16 Newton Howard System and method for deep mind analysis
US20180053102A1 (en) 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US20180188736A1 (en) 2016-08-16 2018-07-05 Faraday&Future Inc. System and method for vehicle localization assistance using sensor data
EP3285230B1 (en) * 2016-08-19 2021-04-07 Veoneer Sweden AB Enhanced object detection and motion estimation for a vehicle environment detection system
US10592805B2 (en) 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
GB201616097D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
US10599150B2 (en) 2016-09-29 2020-03-24 The Charles Stark Kraper Laboratory, Inc. Autonomous vehicle: object-level fusion
US20180113210A1 (en) 2016-10-21 2018-04-26 Waymo Llc Mountable Radar System
US20180136332A1 (en) 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
EP3563265B1 (en) 2016-12-30 2021-06-02 DeepMap Inc. High definition map updates
CN117310741A (zh) 2017-01-03 2023-12-29 应诺维思科技有限公司 用于检测和分类物体的激光雷达系统和方法
US10145945B2 (en) 2017-01-11 2018-12-04 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle
US10409279B2 (en) 2017-01-31 2019-09-10 GM Global Technology Operations LLC Efficient situational awareness by event generation and episodic memory recall for autonomous driving systems
US10127814B2 (en) 2017-02-03 2018-11-13 Ford Global Technologies, Llc Advanced V2X event dissemination
JP6542824B2 (ja) * 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
US10252688B2 (en) * 2017-03-22 2019-04-09 Ford Global Technologies, Llc Monitoring a vehicle cabin
US10037613B1 (en) 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
JP2018176792A (ja) * 2017-04-03 2018-11-15 本田技研工業株式会社 車両シート制御装置、車両シート制御方法、及びプログラム
EP3616387A1 (en) * 2017-04-24 2020-03-04 Carnegie Mellon University Virtual sensor system
US10262234B2 (en) 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US11209825B2 (en) 2017-07-01 2021-12-28 International Business Machines Corporation Moving traffic obstacle detection and avoidance
US10416681B2 (en) 2017-07-12 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Barcode: global binary patterns for fast visual inference
US10558224B1 (en) 2017-08-10 2020-02-11 Zoox, Inc. Shared vehicle obstacle data
US10216189B1 (en) 2017-08-23 2019-02-26 Uber Technologies, Inc. Systems and methods for prioritizing object prediction for autonomous vehicles
US10503170B2 (en) 2017-08-28 2019-12-10 GM Global Technology Operations LLC Method and apparatus for monitoring an autonomous vehicle
WO2019079750A1 (en) 2017-10-19 2019-04-25 Gerard Dirk Smits METHODS AND SYSTEMS FOR NAVIGATING A VEHICLE EQUIPPED WITH A NEW MILITARY MARKER SYSTEM
EP3477616A1 (en) * 2017-10-27 2019-05-01 Sigra Technologies GmbH Method for controlling a vehicle using a machine learning system
JP7346401B2 (ja) 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
US11017550B2 (en) 2017-11-15 2021-05-25 Uatc, Llc End-to-end tracking of objects
US11232350B2 (en) 2017-11-29 2022-01-25 Honda Motor Co., Ltd. System and method for providing road user classification training using a vehicle communications network
US10338223B1 (en) 2017-12-13 2019-07-02 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using two-dimensional interpolation and distance thresholding
US10599929B2 (en) 2018-01-04 2020-03-24 Motionloft, Inc. Event monitoring with object detection systems
US11022971B2 (en) 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
JP6819620B2 (ja) * 2018-01-23 2021-01-27 トヨタ自動車株式会社 車両用シート及び車両
US10915101B2 (en) 2018-02-02 2021-02-09 Uatc, Llc Context-dependent alertness monitor in an autonomous vehicle
US11386055B2 (en) 2018-02-23 2022-07-12 Toyota Research Institute, Inc. Adaptive storage of data captured by one or more vehicles
US11073618B2 (en) 2018-04-03 2021-07-27 GM Global Technology Operations LLC Optical amplifier in return path of coherent lidar system
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
US11164016B2 (en) 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
US10755575B2 (en) 2018-08-30 2020-08-25 Cisco Technology, Inc. Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety
US11182986B2 (en) 2018-10-10 2021-11-23 Micron Technology, Inc. Real-time selection of data to collect in autonomous vehicle
US11163998B2 (en) 2018-10-22 2021-11-02 Woven Planet North America, Inc. Systems and methods for automated image labeling for images captured from vehicles
US10928826B2 (en) 2018-10-26 2021-02-23 Lyft, Inc. Sensor fusion by operations-control vehicle for commanding and controlling autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502315A (ja) * 2013-12-19 2017-01-19 ディーエスシージー ソルーションズ,インコーポレイテッド 単一レーザーlidarシステム
JP2017516110A (ja) * 2014-05-21 2017-06-15 ディーエスシージー ソルーションズ,インコーポレイテッド 物体をリアルタイムで追跡するためのデバイス、システム、および方法
JP2016200443A (ja) * 2015-04-08 2016-12-01 トヨタ自動車株式会社 障害物検出装置
WO2017013750A1 (ja) * 2015-07-21 2017-01-26 日産自動車株式会社 運転計画装置、走行支援装置、運転計画方法
WO2017158768A1 (ja) * 2016-03-16 2017-09-21 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230174505A (ko) * 2022-06-21 2023-12-28 (주)뉴빌리티 자율주행을 위한 횡방향 제어 장치 및 방법
KR102647477B1 (ko) 2022-06-21 2024-03-14 (주)뉴빌리티 자율주행을 위한 횡방향 제어 장치 및 방법

Also Published As

Publication number Publication date
CN112313133A (zh) 2021-02-02
KR20220151039A (ko) 2022-11-11
US11358601B2 (en) 2022-06-14
US20190318206A1 (en) 2019-10-17
US10906536B2 (en) 2021-02-02
WO2019199475A3 (en) 2019-11-28
WO2019199475A2 (en) 2019-10-17
US20190315351A1 (en) 2019-10-17
KR102497330B1 (ko) 2023-02-07
KR102464758B1 (ko) 2022-11-08
EP3774477A1 (en) 2021-02-17
WO2019199474A1 (en) 2019-10-17
US20230271615A1 (en) 2023-08-31
EP3774477B1 (en) 2022-12-07
JP7358384B2 (ja) 2023-10-10
US11964663B2 (en) 2024-04-23
US10676085B2 (en) 2020-06-09
US20200391736A1 (en) 2020-12-17
KR20200138817A (ko) 2020-12-10
US20210146932A1 (en) 2021-05-20
US11654917B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
JP7358384B2 (ja) 方法及び自律走行車両
KR102481638B1 (ko) 위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어
US10620634B2 (en) Vehicle interface for autonomous vehicle
US20220128995A1 (en) Velocity estimation and object tracking for autonomous vehicle applications
WO2022094430A1 (en) Point cloud segmentation using a coherent lidar for autonomous vehicle applications
Kelly A partial analysis of the high speed autonomous navigation problem
US11693110B2 (en) Systems and methods for radar false track mitigation with camera
WO2022051263A1 (en) Localization methods and architectures for an autonomous vehicle
US11531113B1 (en) System and methods for object detection and tracking using a lidar observation model
US11841441B2 (en) LIDAR system
CN112313133B (zh) 基于附加车辆的所确定的横摆参数控制自动驾驶车辆
US11859994B1 (en) Landmark-based localization methods and architectures for an autonomous vehicle
Barzaghi Sensors’ Architecture Definition for Energy Consumption Reduction in Urban Battery Electric Vehicles

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230927

R150 Certificate of patent or registration of utility model

Ref document number: 7358384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02