JP2022514484A - 自律運転のための個人運転スタイル学習 - Google Patents

自律運転のための個人運転スタイル学習 Download PDF

Info

Publication number
JP2022514484A
JP2022514484A JP2021532936A JP2021532936A JP2022514484A JP 2022514484 A JP2022514484 A JP 2022514484A JP 2021532936 A JP2021532936 A JP 2021532936A JP 2021532936 A JP2021532936 A JP 2021532936A JP 2022514484 A JP2022514484 A JP 2022514484A
Authority
JP
Japan
Prior art keywords
autonomous vehicle
driving style
passenger
machine learning
preference profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021532936A
Other languages
English (en)
Other versions
JP7361775B2 (ja
Inventor
ジャフェン・ジュ
ヒリ・ル
ホン・ジャン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2022514484A publication Critical patent/JP2022514484A/ja
Application granted granted Critical
Publication of JP7361775B2 publication Critical patent/JP7361775B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484Personalized, e.g. from learned user behaviour or user-defined profiles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

自律型車両の運転スタイルに関する入力を受け付ける機械学習モジュールであって、機械学習モジュールが動作中にパッセンジャーフィードバックを受信し、パッセンジャーフィードバックが個人運転スタイルの意思決定モデルを作成するために機械学習モジュールをトレーニングし、個人運転スタイルの意思決定モデルを使用して自律型車両の動作を制御する、機械学習モジュールを含む、自律型車両の動作を変更する方法。自律型車両制御システムおよびコンピュータ可読媒体も開示される。

Description

関連出願の相互参照
本出願は、2018年12月10日に出願された「自律運転のための個人運転スタイル学習(Personal Driving Style Learning for Autonomous Driving)」と題する米国仮出願第62/777,655号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願は、一般に、自律運転技術に関し、より具体的には、自律型車両のための運動制御システムおよび方法に関する。
本明細書で使用される場合、「自律型車両」は、人間の入力なしにその環境を検知してナビゲートすることができる、いわゆるレベル4の自律型車両を指す。そのような自律型車両は、様々な技術を使用して周囲を検出することができ、自律型車両の自律制御システムは、感覚情報を解釈して適切なナビゲーション経路を識別する。
自律型車両は、車両動作を制御するためにモーションプランナに入力を提供するセンサを含む。モーションプランナは、検知された動作条件に基づいて安全に運転するように車両を制御するが、一般に主観的な個人的感覚である車両動作中のパッセンジャーの快適性レベルを考慮していない。従来技術のモーションプランナは、一般に、自律型車両の運転スタイルに関する主観的なパッセンジャーの好みを考慮していない。例えば、自律型車両は、通常、センサ入力に応答して、ルート上に留まり、障害物を回避し、気象条件に適応する。しかしながら、自律型車両は、パッセンジャーの好みに基づいて減速または加速の調整などをしない。個々のパッセンジャーの好みは製造時には知ることができず、いずれにしてもパッセンジャーによって異なるため、自律型車両製造業者は、すべてのパッセンジャーに対して満足に運転する自律型車両を設計することはできない。さらに、同じパッセンジャーであっても、異なる運転条件下では異なる快適性レベル要件を有する。自律型車両は、一般に、パッセンジャーが自律型車両に乗車している間に遭遇する可能性がある様々な状態に対するこれらの快適性レベル要件を知らず、したがってそれらに適応できない可能性がある。自律型車両の製造業者は、パッセンジャーごとの主観的な違いのために、すべての条件下ですべてのパッセンジャーに適した自律型車両のモーションプランナを設計することができない。
次に、様々な例を示して、以下の詳細な説明でさらに説明される概念のうちの選択したものを簡略化した形で紹介する。この概要は、特許請求される主題の重要な特徴または本質的な特徴を特定するためのものでも、特許請求される主題の範囲の限定に使用するためのものでもない。
本明細書に記載されるシステムおよび方法は、自律型車両のモーションプランナのための運転スタイルモジュールを提供し、運転スタイルモジュールは、個人に固有の運転制御パラメータを与える。サンプル実施形態では、運転スタイルモジュールは、自律型車両の1人または複数のパッセンジャーの運転の好みを表現するように変更されてもよい。運転スタイルモジュールは、パッセンジャーの運転スタイル好みプロファイル、ならびにパッセンジャーフィードバックに基づいて運転パラメータを経時的に調整するための機械学習モデルを含むことができる。
本明細書に記載されたシステムおよび方法は、少なくとも2つの主要な特徴を含む。第1の特徴によれば、ドライバーの運転習慣に関する動きセンサデータが収集されて、ドライバーの運転スタイル好みプロファイルが作成され、運転データ(ビデオ、動き)が運転スタイルモデルをトレーニングするために使用される。トレーニング後、この運転スタイルモデルは、運転スタイルモジュールに格納される。自律型車両の動作中、運転スタイルモジュールからの運転スタイル好みプロファイルは、運転スタイル好みプロファイルにより自律型車両の動作を変更するために自律型車両のモーションプランナに提供される。第2の特徴によれば、自律型車両のモーションプランナが自律型車両の運転スタイルに関するパッセンジャー入力を受け入れることを可能にするために機械学習モジュールが提供され、運転スタイル入力は、動作中の自律型車両の速度、加速、制動、操舵などを表すデータを含む。パッセンジャー入力は、自律型車両の運転スタイルに関するフィードバックの形で提供される。パッセンジャーフィードバックは、機械学習モジュールを継続的にトレーニング/更新して、自律型車両の動作を制御するパッセンジャーのための個人運転スタイルの意思決定モデルを作成するために使用される。動作中、モーションプランナは、同時運転条件により一連の安全動作コマンドを提供する。例えば、モーションプランナは、パッセンジャーの個人運転スタイル好みプロファイルに基づいて加速範囲(4秒、5秒、6秒などで0から60)を調整して、パッセンジャーの個人運転スタイル好みプロファイルと一致する安全なコマンド範囲内で加速選択を行うことができる。サンプル実施形態では、モーションプランナは安全範囲を伴う運転コマンドを提供し、運転スタイルモデルは安全範囲の値を選択してパッセンジャーの好みを満たす。
本開示の第1の態様によれば、パッセンジャーの運転スタイル意思決定モデルに基づいて自律型車両の動作を変更するコンピュータ実装方法が提供される。本方法は、自律型車両の運転スタイルに関する入力を受け入れる自律型車両のモーションプランナのための機械学習モジュールを含む。運転スタイル入力は、動作中の自律型車両の速度、加速、制動、および操舵のうちの少なくとも1つを表すデータを含む。自律型車両のモーションプランナの機械学習モジュールはまた、動作中にパッセンジャーフィードバックを受信する。パッセンジャーフィードバックは、自律型車両の運転スタイルに関する。パッセンジャーフィードバックは、パッセンジャーの個人運転スタイルの意思決定モデルを作成するように機械学習モジュールをトレーニングし、自律型車両の動作は、パッセンジャーの個人運転スタイルの意思決定モデルを使用して制御される。
本開示の第2の態様によれば、パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更するコンピュータ実装方法が提供され、それは、ドライバーの運転スタイル好みプロファイルを作成するためにドライバーの運転習慣に関する動きセンサデータを収集するステップと、運転スタイル好みプロファイルを運転スタイルモジュールに格納するステップと、運転スタイル好みプロファイルにより自律型車両の動作を変更するために、運転スタイルモジュールから自律型車両のモーションプランナに運転スタイル好みプロファイルを提供するステップとを含む。
本開示の第3の態様によれば、パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更する自律型車両制御システムが提供される。自律型車両制御システムは、ドライバーの運転習慣に関する動きセンサデータを提供する動きセンサ、動きセンサデータからドライバーの運転スタイル好みプロファイルを作成するプロセッサ、運転スタイル好みプロファイルを格納する運転スタイルモジュール、および運転スタイルモジュールから運転スタイル好みプロファイルを受信し、運転スタイル好みプロファイルにより自律型車両の動作を変更するモーションプランナを含む。
本開示の第4の態様によれば、パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更するためのコンピュータ命令を格納する非一時的コンピュータ可読媒体が提供され、コンピュータ命令が、1つまたは複数のプロセッサによって実行されるとき、1つまたは複数のプロセッサに、ドライバーの運転スタイル好みプロファイルを作成するためにドライバーの運転習慣に関する動きセンサデータを収集するステップ、運転スタイル好みプロファイルを運転スタイルモジュールに格納するステップ、および運転スタイル好みプロファイルにより自律型車両の動作を変更するために、運転スタイルモジュールから自律型車両のモーションプランナに運転スタイル好みプロファイルを提供するステップを実行させる。
前述の態様のいずれかの第1の実装形態では、パッセンジャーフィードバックは、音声、タッチスクリーン、スマートフォン入力、車内センサ、および/またはパッセンジャーのウェアラブルセンサによって提供され、フィードバックは、動作中の自律型車両の速度、加速、制動、および/または操舵、ならびに/もしくは自律型車両動作中のパッセンジャーの快適性/不快感に関する。
前述の態様のいずれかの第2の実装形態では、パッセンジャーフィードバックは、機械学習モジュールのコスト関数を調整する。
前述の態様のいずれかの第3の実装形態では、機械学習モジュールが自律型車両の動作前または動作中にパッセンジャーから個人運転スタイルの意思決定モデルのパラメータを受信し、機械学習モジュールが自律型車両の動作中のパッセンジャーフィードバックに基づいて個人運転スタイルの意思決定モデルを変更する。
前述の態様のいずれかの第4の実装形態では、本方法は、自律型車両のパッセンジャーを認識するステップ、および認識されたパッセンジャーからの個人運転スタイルの意思決定モデルのパラメータを機械学習モジュールにロードするステップをさらに含む。
前述の態様のいずれかの第5の実装形態では、個人運転スタイルの意思決定モデルのパラメータは、パッセンジャーのメモリ記憶デバイスに格納され、メモリ記憶デバイスから機械学習モジュールに通信される。
前述の態様のいずれかの第6の実装形態では、メモリ記憶デバイス/運転スタイルモジュールは、キーフォブ、スマートフォン、およびクラウドベースのメモリのうちの少なくとも1つを備える。
前述の態様のいずれかの第7の実装形態では、本方法は、自律型車両のモーションプランナのための機械学習モジュールが、入力として、運転スタイル好みプロファイルおよび自律型車両の運転スタイルに関する入力を受け入れるステップであって、運転スタイル入力は、動作中の自律型車両の速度、加速、制動、および操舵のうちの少なくとも1つを表すデータを含む、ステップと、自律型車両のモーションプランナの機械学習モジュールが動作中にパッセンジャーフィードバックを受信するステップであって、パッセンジャーフィードバックは自律型車両の運転スタイルに関する、ステップと、パッセンジャーのための個人運転スタイルの意思決定モデルを作成するために運転スタイル好みプロファイルおよびパッセンジャーフィードバックを使用して機械学習モジュールをトレーニングするステップとをさらに含む。
本方法が実行され得、コンピュータ可読媒体上の命令は、自律型車両のモーションプランナに関連付けられた1つまたは複数のプロセッサによって処理され得、本方法のさらなる特徴およびコンピュータ可読媒体上の命令は、モーションプランナの機能に起因する。また、各態様およびその実装態様について提供される説明は、他の態様および対応する実装形態にも等しく適用される。異なる実施形態は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実施されうる。また、前述の例のいずれか1つを、他の前述の例のいずれか1つ以上と組み合わせて、本開示の範囲内で新しい実施形態を作成することができる。
必ずしも縮尺通りに描かれていない図面では、同様の符号は異なる図で同様の構成要素を説明することができる。図面は、一般に、限定ではなく例として、本明細書で説明される様々な実施形態を示す。
従来の自律型車両運転制御アーキテクチャのブロック図を示す。 従来の自律型車両の従来のモーションプランナへの入力を示す図である。 一サンプル実施形態における自律型車両のコンピューティングデバイスの概略図である。 機械学習モジュールの一サンプル実施形態を示す図である。 一サンプル実施形態における個人運転スタイルモジュールを含むように適合された自律型車両運転制御アーキテクチャのブロック図を示す。 第1のサンプル実施形態による、パッセンジャーの運転スタイルに基づいて自律型車両の動作を変更する方法のフローチャートを示す。 第2のサンプル実施形態による、パッセンジャーの運転スタイルに基づいて自律型車両の動作を変更する方法のフローチャートを示す。 サンプル実施形態による、個人向け運転スタイルモジュールを自律型車両に提供するシステムおよび方法を実施するための処理システムの形の回路を示すブロック図である。
最初に、以下では1つまたは複数の実施形態の例示的な実装態様が提供されるが、図1から8に関して説明される開示のシステムおよび/または方法は、現在既知または既存であるかどうかを問わず、任意の数の技術を使用して実施されうることを理解されたい。本開示は、いかなる点でも、本明細書で例示および説明される例示的な設計および実装態様を含む、以下で例示される例示的な実装態様、図面、および技術に限定されるべきではなく、添付の特許請求の範囲およびそれらの均等物の全範囲内で変更されうる。
本明細書に記載されたシステムおよび方法は、パッセンジャーのスマートデバイス(キーフォブ、スマートフォンなど)またはクラウドにパッセンジャーの運転スタイルモデルを格納することによって、パッセンジャーの運転スタイルに基づいて自律型車両へのパッセンジャーの乗車をカスタマイズすることを可能にする。パッセンジャーが自律型車両に入ると、自律型車両がパッセンジャーの運転好みにより動作するように、運転スタイル好みプロファイルが自律型車両にロードされる(タクシー、レンタル、または共有車両)。代替的に、自律型車両がパッセンジャーによって所有されている場合、パッセンジャーの運転スタイル好みプロファイルは、自律型車両に直接ロードされてもよい。いずれの場合も、運転スタイル好みプロファイルは、自律型車両に乗車している間のユーザのアクションおよび応答に基づいて更新されうる。アクションは、自律型車両への直接的なユーザ入力、または適切なセンサを使用して自律型車両によって検知されるアクションであってもよい。
図1は、従来の自律型車両運転制御アーキテクチャ100を示す。図示されるように、自律型車両運転制御アーキテクチャ100は、自律型車両の周囲の環境を知覚し、自律型車両運転制御アーキテクチャ100のそれぞれの機能ユニットに制御入力を提供するいくつかのセンサを含む知覚システム102を含む。例えば、物体の種類および位置、ならびにマップベースの位置特定および絶対位置特定データは、車線、車線ウェイポイント、ミッションウェイポイントなどのマップ属性105と共にミッションプランナ104に提供され、ミッションプランナ104が次のミッションウェイポイントを計算し、挙動などを選択することを可能にする。計算された次の長距離(キロメートルのオーダーの)ミッションウェイポイントおよび選択された挙動は、物体の種類および位置、ならびに粗い操作選択および動き計画制約を計算する挙動プランナ106への知覚システム102からのマップベースの位置特定および絶対位置特定データと共に提供される。挙動プランナ106はまた、次の短距離(50~100メートルのオーダーの)ウェイポイントを計算する。計算された粗い操縦選択、動き計画制約、および計算された次の短距離ウェイポイントデータは、知覚システム102からの物体データおよび道路制約データと共にモーションプランナ108に提供され、所望の車両速度および方向を含む、自律型車両の制御を計算する。計算された制御110は、従来の方法で自律型車両の適切なアクチュエータを制御するために使用される。挙動プランナ106が何らかの理由で失敗した場合、失敗分析および回復プランナ112は、自律型車両を安全に道路の脇に寄せ、修正アクションが講じられうるまでさらなる移動を停止するなどの適切なアクションを講じるために、モーションプランナ108に制御入力を提供する。
図2は、従来の自律型車両200を制御するための図1の従来のモーションプランナ108へのサンプル入力を示す。一般に、上述したように、自律型車両200に対する制御110は、所望の速度、曲率、加速などを含み、これらの値は、自律型車両200の動作を制御するための適切なアクチュエータを制御するために使用される。図示されているように、モーションプランナへの制御入力は、車線維持202、車線変更204、ブレーキ保持206、旋回208などのデータのサブセットを含むことができる。
図3は、本開示の一実施形態による、自律型車両310に装備された、またはそれと通信可能に結合されたコンピューティングデバイス300の概略図を示す。自律型車両310は、限定はしないが、自動車、トラック、オートバイ、バス、レクリエーション車両、遊園地車両、農場設備、建設設備、路面電車、およびゴルフカートを含む任意の種類の車両であってもよい。
図3に示されるように、コンピューティングデバイス300は、センサ311のセットと結合される。センサ311は、これらに限定するものではないが、道路状況の知覚を入力するためのカメラ、レーダ/ライダユニット、マイクロフォン、レーザユニットなどを含むことができる。センサ311はまた、自律型車両310の緯度、経度、および/または高度位置を決定するために使用される、全地球測位システム(GPS)受信機などの地理的位置デバイスを含むことができる。レーザベースの位置特定デバイス、慣性支援GPS、またはセンサ311と結合されたカメラベースの位置特定デバイスなどの他の位置特定デバイスも、自律型車両310の位置を識別するために使用することができる。自律型車両310の位置情報は、緯度および経度などの絶対的な地理的位置情報、ならびに自律型車両の近傍の他の車両に対する位置などの相対的な位置情報を含むことができる。
センサ311はまた、現在の環境情報をコンピューティングデバイス300に提供することができる。例えば、自律型車両310の前方に予期しない障害物が現れると、センサ311は、予期しない障害物に関する現在の環境情報を収集し、収集した環境情報をコンピューティングデバイス300に提供する。収集される環境情報は、障害物のサイズ、障害物の移動方向、および障害物の速度を含むことができる。
コンピューティングデバイス300はまた、自律型車両310の制御システム312と結合される。コンピューティングデバイス300および制御システム312は、自律型車両300の蓄電池または太陽電池によって電力を供給されてもよい。コンピューティングデバイス300は、自律型車両310を経路に沿って誘導し、自律型車両310の制御システム312に動き情報(例えば、ポーズを含む経路情報)を提供するための動き制御方法を実施する。自律型車両310の制御システム312は、受信した動きおよびアクチュエータ制御情報により自律型車両310の運転を制御する。
図3に示されるように、コンピューティングデバイス300は、プロセッサ301、メモリ302、無線通信インターフェース303、センサデータ入力インターフェース304、制御データ出力インターフェース305、および通信チャネル306を含むことができる。プロセッサ301、メモリ302、無線通信インターフェース303、センサデータ入力インターフェース304、および制御データ出力インターフェース305は、通信チャネル306を介して互いに通信可能に結合される。通信チャネル306は、FlexRay、コントローラエリアネットワーク(CAN)、および共有ケーブルイーサネットをサポートするバスを含むが、これらに限定されない。コンピューティングデバイス300はまた、汎用コンピュータに通常存在する他のデバイスを含んでもよい。
センサデータ入力インターフェース304は、自律型車両310のセンサ311と結合され、センサ311によって生成された位置情報を受信するように構成される。制御データ出力インターフェース305は、自律型車両310の制御システム312に結合され、コンピューティングデバイス300によって生成された動きおよびアクチュエータ制御情報を制御システム312に提供するように構成される。制御システム312は、コンピューティングデバイス300によって生成された受信した動きおよびアクチュエータ制御情報により自律型車両310の移動方向および速度を制御する。
無線通信インターフェース303は、無線信号を用いて他の車両およびセンサと通信するように構成される。無線通信インターフェース303と他の車両/センサとの間で送信される無線信号は、専用短距離通信(DSRC)のために開発された802.llpプロトコルによって搬送される。無線通信インターフェース303はまた、無線信号を送信するために、例えば、ロングタームエボリューション(LTE)または第5世代無線システムを含む他のプロトコルを使用してもよい。
プロセッサ301は、縮小命令セットコンピューティング(RISC)プロセッサ、複合命令セットコンピューティング(CISC)プロセッサ、または前述の組み合わせを含む、任意の従来の1つまたは複数のプロセッサであってもよい。代替的に、プロセッサ301は、特定用途向け集積回路(ASIC)などの専用デバイスであってもよい。プロセッサ301は、メモリ302に格納された命令を実行するように構成される。
メモリ302は、プロセッサ301によって実行あるいは使用されうる命令およびデータなど、プロセッサ301によってアクセス可能な情報を格納することができる。メモリ302は、コンピュータ可読媒体、または電子デバイスの助けにより読み取りうるデータを格納する他の媒体を含む、プロセッサ301によってアクセス可能な情報を格納するように動作する任意の種類のメモリであってもよい。メモリ302の例は、これらに限定するものではないが、ハードドライブ、メモリカード、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、デジタルビデオディスク(DVD)、または他の光ディスク、ならびに他の書き込み可能および読出し専用メモリを含む。システムおよび方法は、前述の異なる組み合わせを含むことができ、それによって命令およびデータの異なる部分が異なる種類の媒体に格納される。
メモリ302に格納された命令は、マシンコードなどの直接的に、またはプロセッサ301によって、スクリプトなどの間接的に実行される任意の命令セットであってもよい。例えば、命令は、コンピュータ可読媒体にコンピュータコードとして格納されてもよい。その点に関して、「命令」および「プログラム」という用語は、本明細書では互換的に使用されうる。命令は、プロセッサ301による直接処理のためのオブジェクトコードフォーマットで、またはオンデマンドで解釈されるかまたは事前にコンパイルされる独立したソースコードモジュールのスクリプトまたはコレクションを含む任意の他のコンピュータ言語で格納されてもよい。命令の機能、方法、およびルーチンは、米国特許出願公開第2018/0143641号により詳細に説明されており、その内容は参照により本明細書に組み込まれる。
コンピューティングデバイス300によって生成される動き情報は、2種類の動き情報、すなわち、高レベルの動き情報および低レベルの動き情報を含む。動き情報は、自律型車両310の進行中の動きを示す。
図3は、メモリ301に格納された命令を実行するときに、プロセッサ302によって生成されるアプリケーションプロセスの論理機能ブロック図をさらに示す。アプリケーションプロセスは、少なくとも3つの機能モジュール、すなわち、軌道プランナ320、モーションプランナ330、およびコントローラ340を含む。軌道プランナ320は、受信した入力情報およびプリセットされた軌道生成アルゴリズムに基づいて、自律型車両310のための高レベルの動き情報を生成するように構成される。軌道プランナ320によって受信される入力情報は、開始点、現在位置、目的地、ナビゲーション情報、および環境情報を含む。ナビゲーション情報は、マップデータを含む。環境情報は、交通統計データおよび静止障害物データを含む。軌道生成アルゴリズムは、入力情報により複数の可能な経路を生成するために軌道プランナ320によって使用される動的プログラミング(DP)方法を含む。軌道プランナ320によって生成された各経路は、一連のウェイポイントを含む。各ウェイポイントは、p(x、y)によって表される位置値を有し、p(x、y)のシンボルxは、マップの横軸の値を示し、p(x、y)のシンボルyは、マップの縦軸の値を示す。隣接する2つのウェイポイント間の距離は、約50メートルから150メートルである。
サンプル実施形態では、軌道プランナ320は、開始点、現在位置(粗い位置値)、目的地、ナビゲーション情報、および環境情報を受信し、詳細な現在位置値および次のウェイポイントを含む選択された経路をモーションプランナ330に出力する。モーションプランナ330は、自律型車両の動作を制御する際に使用する複数のポーズを含む経路情報を出力する。
軌道プランナ320は、自律型車両310が開始点から目的地に移動するときに、コントローラ340と複数回通信しうる。この状況では、入力情報の開始点は、自律型車両310の現在位置に置き換えられる。自律型車両310の現在位置は、センサ311によって提供される粗い位置値によって示される。粗い位置値は、マップの2つの連続するウェイポイントによって構築されたセグメントに配置される位置を示す。コントローラ340が自律型車両310の現在位置を示す粗い位置値を軌道プランナ320に入力した後、軌道プランナ320は、他の入力制約、例えば静止障害物に基づいて受信された各粗い位置値に対して複数の可能な経路を計算することができ、複数の可能な経路のそれぞれは、現在位置に近いウェイポイントで開始し、目的地で終了する。次いで、軌道プランナ320は、プリセットポリシーに従って複数の可能な経路から経路を選択する。軌道プランナ320は、現在位置に最も近く、選択された経路上にあるウェイポイントをさらに決定する。軌道プランナ320は、選択された経路および決定されたウェイポイントを高レベルの動き情報として出力する。
現在位置に最も近く、選択された経路上にあるウェイポイントは、「次のウェイポイント」と呼ばれる。次のウェイポイントは、自律型車両310が最短制御期間で到着するための目的地とみなされる。言い換えれば、次のウェイポイントは、現在の低レベルの経路計画の目的地である。次のウェイポイントは、低レベルの動き情報を生成するための入力として、モーションプランナ330によって使用されうる。低レベルの経路計画は、自律型車両310が次のウェイポイントに到着するための低レベルの動き情報を提供する。
モーションプランナ330は、センサ311によって提供された詳細な位置値、軌道プランナ320によって生成された次のウェイポイント、およびプリセットの動き生成アルゴリズムに基づいて、自律型車両310の低レベルの動き情報を生成するように構成されている。モーションプランナ330によって受信された入力情報は、センサ311によって提供された障害物情報をさらに含む場合がある。障害物は、静止障害物であってもよいし、移動障害物であってもよい。障害物が静止障害物である場合、障害物情報は、形状、サイズなどを含む詳細な位置情報を含む。障害物が道路上の車両などの移動障害物である場合、障害物情報は、詳細な位置情報、方位値、速度値などを含む。プリセットされた動き生成アルゴリズムは、自律型車両310の動作を制御するための低レベルの動き情報を一緒に生成するハイブリッドA*、A*、D*、およびR*を含む。
入力情報のセットについて、モーションプランナ330は自律型車両310の現在位置および受信した次のウェイポイントに基づいて経路情報を計算する。経路情報は、自律型車両310が自律型車両310の現在の位置値によって示される位置からステップごとに受信される次のウェイポイントに移動することを可能にする、複数のポーズを含む。各ポーズのデータ構造は、ベクトルP(p(x、y)、s(x、y)、h(θ))として表される。ベクトルPにおけるp(x、y)は、経路の位置値を示す。例えば、p(x、y)のシンボルxはマップの横軸の値を示し、p(x、y)のシンボルyはマップの縦軸の値を示す。ベクトルPにおけるs(x、y)は、横軸および縦軸にそれぞれ、自律型車両310の速度を示す。ベクトルPにおけるh(θ)は、自律型車両310の移動方向を示す。モーションプランナ330は、複数のポーズを含む経路情報を低レベルの動き情報として出力する。
自律型車両310の動きを正確に制御するために、モーションプランナ330によって出力されるいくつかのポーズは、自律型車両310のおおよその移動速度およびプリセットされた要件に基づいて決定される。例えば、プリセットされた要件は、自律型車両310の各第2の動きに10のポーズが必要であることであってもよい。一例では、自律型車両310の詳細な現在位置値によって示される現在位置と軌道プランナ320によって生成された次のウェイポイントとの距離は約100メートルであり、自律型車両310のおおよその移動速度は36 km/h(10 m/s)である。したがって、自律型車両310は、現在位置から軌道プランナ320によって生成された次のウェイポイントに移動するのに10秒必要であり、モーションプランナ320は100個のポーズを出力する必要がある。
コントローラ340は、センサ311から送信されたデータを受信し、センサ311から送信されたデータおよびプリセットされたアルゴリズムにより、ターゲット車両が自律型車両310の次のウェイポイントへのルート上にあるかどうかを決定するように構成される。コントローラ340は、異なる入力情報および異なる道路条件に基づいて軌道プランナ320およびモーションプランナ330と通信するようにさらに構成される。コントローラ340は、無線通信インターフェース303を介してターゲット車両と通信するようにさらに構成されうる。
サンプル実施形態では、上述の種類の自律型車両は、運転スタイルデータを収集するようにさらに変更される。運転スタイルデータは、ドライバーの運転習慣を学習するために収集され、次いでそのデータを使用して自律型車両の運転スタイルを設定する。一般に、自律型車両の運転スタイルは製造業者によって設定されず、自律型車両の運転スタイルをドライバー/パッセンジャーの好みにカスタマイズするための機構は提供されない。運転スタイルデータは、センサ311、ならびに加速度計の動きセンサ、スマートフォンアプリケーションのジャイロスコープデータ、携帯電話カメラ、パッセンジャーの状態を検知するために車両に搭載されたセンサ、またはカメラアクセサリデータを含むパッセンジャーセンサ350から収集される。収集された運転スタイルデータは、例えば、運転ビデオ、動きデータ、タイムスタンプデータなどを含む。加速度計は、x、y、およびz方向の動きの直線加速度をさらに測定することができ、ジャイロスコープは角回転速度を測定し、カメラは道路および気象条件を提供する。ライダおよび他のセンサ入力もまた、運転スタイルデータの一部として収集されてもよい。
サンプル実施形態では、収集された運転スタイルデータは、車両が自律モードにないときの運転状態を表す。言い換えれば、収集された運転データは、パッセンジャーが車両を運転しているときに収集された運転パラメータを含む。しかしながら、運転データはまた、速度を上げる、遅くする、よりゆっくりと加速するなどのためのコマンドの形のパッセンジャーフィードバックによって調整されるように、自律運転中に収集された運転パラメータを含むことができる。サンプル実施形態では、パッセンジャーフィードバックは、スマートフォンアプリケーション、音声認識デバイスによって受信されたパッセンジャー命令、および/または車両のパッセンジャータッチスクリーンインターフェースを介して提供される制御入力によって提供されてもよい。パッセンジャーフィードバックはまた、車両内のセンサを使用して受動的に、またはパッセンジャーの血圧、心拍数、およびパッセンジャーの快適性レベルを表す他の生体データを測定するパッセンジャーウェアラブルデバイスから収集されてもよい。そのように収集された運転スタイルデータは、図示のようにコンピュータ300の一部であってもよく、またはユーザのスマートフォンもしくは他のコンピュータデバイス、またはクラウドに配置されてもよい機械学習モジュール360に提供される。機械学習モジュール360は、個人の運転スタイルの意思決定モデルをトレーニングするために運転スタイルデータを受信して処理する。
個人運転スタイルの意思決定モデルをトレーニングするとき、(センサまたは直接パッセンジャーフィードバックからの)パッセンジャー入力は、強化学習モデルにおいて運転データ抽象のためのコスト報酬関数として扱われる。パッセンジャーは、「いいね」、「嫌い」、「速すぎる」、「遅すぎる」、「恐怖」、「車酔い」などの予め定義された選択セットで現在の運転状態に注釈を付けることが可能になる。強化学習運転スタイルモデルは、パッセンジャーがパッセンジャーとして車両に乗車するとき、および利用可能な場合、パッセンジャーが車両を運転するときに継続的に更新される。運転スタイルモデルがトレーニングされると、運転スタイルモデルのサイズを縮小することができ、トレーニングオペレータのみが運転スタイルモデルから除去される。その後、運転スタイルモデルは、より小さいサイズで固定され、デバイスに格納されてもよい。例えば、運転スタイルモデルは、運転スタイルモジュール370に格納され、運転スタイルモデルの継続的なパッセンジャーフィードバックおよび更新を受けて、自律型車両の動作を制御するために使用される。運転スタイルモジュール370は、車両と共に残っていてもよく、またはパッセンジャーが乗車時に各自律型車両に個人向け運転スタイルモジュール370を提供することができるように携帯可能であってもよい。例えば、運転スタイルモジュール370は、フォブ、パッセンジャーのスマートフォンに格納されてもよく、またはクラウドに格納され、要求に応じてアクセス可能であってもよい。もちろん、パッセンジャーの運転スタイルが最適な運転行為と矛盾する可能性がある場合、自律型車両は、パッセンジャーの安全を優先するために運転スタイルモデルを無効にする。サンプル実施形態では、モーションプランナは安全範囲を伴う運転コマンドを提供し、運転スタイルモデルは安全範囲の値を選択してパッセンジャーの好みを満たす。
図4は、機械学習モジュールの一サンプル実施形態を示す。機械学習モジュールは、人間などの生きているアクターを従来必要としていた認知タスクを実行するように適合されうる人工知能(AI)意思決定システムである。機械学習モジュールは、生物学的ニューロンを粗くモデル化した計算構造である人工ニューラルネットワーク(ANN)を含むことができる。一般に、ANNは、ノード(例えば、ニューロン)間の重み付けされた接続(例えば、シナプス)を介して情報(例えば、データまたは意思決定)を符号化する。現代のANNは、とりわけ、自動知覚(例えば、コンピュータビジョン、音声認識、コンテキスト認識など)、自動認知(例えば、意思決定、物流、ルーティング、サプライチェーン最適化など)、および自動制御(例えば、自律走行車、ドローン、ロボットなど)などの多くのAI用途の基礎である。
多くのANNは、モデル化された接続に対応する重みの行列として表される。ANNは、他のニューロンへの多くの発信接続を有することが多い入力ニューロンのセットにデータを受け入れることによって動作する。ニューロン間の各トラバースにおいて、対応する重みは入力を変更し、目的地ニューロンにおけるしきい値に対してテストされる。重み付けされた値がしきい値を超える場合、値は再び重み付けされるか、または非線形関数を通して変換され、ANNグラフのさらに下方の別のニューロンに送信され、しきい値を超えない場合、一般に、値はダウングラフニューロンに送信されず、シナプス接続は非アクティブのままである。重み付けおよびテストのプロセスは、出力ニューロンに到達するまで継続される。出力ニューロンのパターンおよび値は、ANN処理の結果を構成する。
ほとんどのANNの正しい動作は、正しい重みに依存する。しかしながら、ANN設計者は、一般に、所与のアプリケーションについてどの重みが機能するかを知らない。代わりに、適切な重みに到達するためにトレーニングプロセスが用いられる。ANN設計者は、通常、いくつかのニューロン層、または循環接続を含む層間の特定の接続を選択するが、ANN設計者は、一般に、所与のアプリケーションに対してどの重みが機能するかを知らない。代わりに、トレーニングプロセスは、一般に、ランダムに選択されうる初期重みを選択することによって進行する。トレーニングデータがANNに供給され、結果は、エラーの表示を提供する目的関数と比較される。エラー表示は、ANNの結果が期待された結果と比較してどの程度誤っているかの尺度である。次に、このエラーを使用して重みを補正する。多くの反復にわたって、重みは集合的に収束して、動作データをANNへ符号化する。このプロセスは、目的関数の最適化(例えば、コストまたは損失関数)と呼ばれることがあり、それによってコストまたは損失が最小化される。
勾配降下技術は、目的関数最適化を実行するために使用されることが多い。勾配(例えば、偏導関数)は、補正の方向、および場合によっては程度を与えるために層パラメータ(例えば、重みの態様)に対して計算されるが、重みを「正しい」値に設定するための単一の補正をもたらさない。すなわち、何回かの反復を介して、重みは「正しい」または動作上有用な値に向かって移動する。いくつかの実装態様では、移動の量またはステップサイズは固定である(例えば、反復から反復まで同じ)。小さなステップサイズは収束するのに長い時間がかかる傾向があり、一方、大きなステップサイズは正しい値の周りで振れるか、または他の望ましくない挙動を示す可能性がある。大きなステップサイズの欠点なしにより速い収束を提供するために可変ステップサイズが試されてもよい。
バックプロパゲーションは、トレーニングデータがANNを通して順方向に供給される技術であり、ここで「順方向」とは、データが入力ニューロンで開始し、出力ニューロンに達するまでニューロン接続の有向グラフをたどることを意味し、目的関数は、シナプス重みを補正するためにANNを通して逆方向に適用される。バックプロパゲーションプロセスの各ステップでは、前のステップの結果が重みを補正するために使用される。したがって、出力ニューロン補正の結果は、入力ニューロンに到達するまで、出力ニューロンに接続するニューロンなどに適用される。バックプロパゲーションは、様々なANNをトレーニングするための一般的な技術になっている。
図4は、一実施形態による、ニューラルネットワークトレーニングのためのシステムを含む環境の一例を示す図である。このシステムは、処理ノード402を使用してトレーニングされたANN 400を含む。処理ノード402は、CPU、GPU、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、または図3のプロセッサ301などの他の処理回路であってもよい。一例では、複数の処理ノードが、ANN 400の異なるレイヤ、またはレイヤ内の異なるノード404をトレーニングするために使用されうる。したがって、処理ノード404のセットは、ANN 400のトレーニングを行うように配置される。
処理ノード404のセットは、ANN 400のためのトレーニングセット406を受信するように配置される。ANN 400は、層に配置されたノード404のセット(ノード404の行として示されている)、およびノード404のセットのノード404間のノード間重み408のセット(例えば、パラメータ)を含む。一例では、トレーニングセット406は完全なトレーニングセットのサブセットである。ここで、サブセットは、限られた記憶リソースしか含まない処理ノード404が、ANN 400のトレーニングに参加することを可能にしうる。
トレーニングデータは、上述の運転スタイルパラメータなど、領域を表す複数の数値を含むことができる。トレーニングの各値、またはANN 400がトレーニングされると分類される入力410は、ANN 400の第1のレイヤまたは入力レイヤの対応するノード404に提供される。値は層を通って伝播し、目的関数によって変更される。
上述したように、処理ノード404のセットは、ニューラルネットワークをトレーニングしてトレーニング済ニューラルネットワークを作成するように配置される。トレーニングされると、ANN 400へのデータ入力は、例えば、有効な分類412(例えば、入力データ410はカテゴリに割り当てられる)を生成する。処理ノード404のセットによって実行されるトレーニングは反復的である。一例では、ニューラルネットワークのトレーニングの各反復は、ANN 400の層間で独立して行われる。したがって、処理ノード404のセットの異なるメンバによって、2つの別個の層を並行して処理されうる。一例では、ANN 400の異なるレイヤは、異なるハードウェア上でトレーニングされる。処理ノード404のセットの異なるメンバのメンバは、異なるパッケージ、ハウジング、コンピュータ、クラウドベースのリソースなどに配置されうる。一例では、トレーニングの各反復は、ノード404のセットのノード404間で独立して行われる。一例では、ノード404は異なるハードウェア上でトレーニングされる。
したがって、パッセンジャーによる運転中またはパッセンジャーからのフィードバックを伴う自律型車両による運転中に収集された運転スタイルパラメータは、図4に示される機械学習モジュール360に与えられ、パッセンジャーの運転スタイルモデルとなる分類412を与える。この運転スタイルモデルは、運転スタイルモジュール370に格納され、運転スタイルモジュール370に格納されたパラメータによって反映されるパッセンジャーの好みおよび快適性レベルを反映するようにモーションプランナ330の動作を変更するために使用される。例えば、図5に示されるように、パッセンジャーの運転スタイルパラメータによってトレーニングされた運転スタイルモジュール370は、自律型車両制御システムに接続されて、パッセンジャーの運転スタイルを反映するように作動パラメータ110を変更するために運転スタイルパラメータをモーションプランナ108に与える。
上述したように、運転スタイルモジュール370は、車両と共に残ることができる、またはパッセンジャーが自律型車両310に乗車しているときに使用するためのフォブ、スマートフォン、またはアクセス可能なクラウドメモリなどのメモリデバイスに格納することができる。運転スタイルモジュールは、必要に応じて、無線通信インターフェース303のセンサデータ入力インターフェース304を介してコンピュータ300にプラグインされてもよく、またはデータが送信されてもよい。あるいは、自律型車両310のセンサ370は、キーフォブからパッセンジャーを認識し、顔認識、虹彩認識、音声認識などを介してデータにログインし、運転スタイルモジュール370からドライバー(パッセンジャー)の運転スタイルパラメータを自動的にダウンロードすることができる。不確実な場合、システムは、パッセンジャーに、自分自身を識別するように、および/または運転スタイルモジュール370をプラグインするように、あるいは運転スタイルパラメータを与えるように要求することができる。機械学習モジュール360のコスト関数は、直接のパッセンジャーフィードバックまたは心拍数検出器などからの受動フィードバックに基づいて車両動作中に変更され続け、運転スタイルモデルは変更され、運転スタイルモジュール370はそれに応じて更新される。
商用自律型車両がパッセンジャーの快適性レベルを満たすためには、1つの運転スタイルモデルがすべてのパッセンジャーを満たすわけではないため、商用自律型車両は適応可能でなければならないことが認識されている。そのような状況では、運転スタイルモジュール370は上記のように経時的にトレーニングされ、運転スタイルモジュール370は、パッセンジャーが自律型車両に乗車しているときにモーションプランナ108に注入される。次いで、運転制御モジュール370に格納された運転制御モデルのパラメータは、自律型車両の作動パラメータ110を生成するためにモーションプランナ108によって使用される。このやり方で、個人運転スタイルモジュール370は、自動運転車、ファミリーカー、商用共有車、タクシーなどに個人向け運転スタイルパラメータを注入する。サンプル実施形態では、個人運転スタイルモジュール370は、トレーニングされ、パッセンジャーの携帯電話またはキーフォブに格納され、次いで、旅行が開始される前に自律型車両のモーションプランナ108にロードされる。必要に応じて、運転スタイルモジュールは、自律型車両310の異なるパッセンジャー間で共有されうる。
図6は、第1のサンプル実施形態による、パッセンジャーの運転スタイルに基づいて自律型車両の動作を変更する方法のフローチャートを示す。図示されたプロセスは、全面的にプロセッサ301(図3)上で実装されてもよく、またはトレーニングプロセスはオフラインで実施され、動作中に適切な制御動作を実装するために自律型車両310に通信される個人向け運転スタイルモジュール370を作成してもよい。図示されるように、プロセスは、600において、入力デバイスへの入力、キーフォブの認識、パッセンジャーのスマートフォンからの通信に基づいて、および/または顔認識、音声認識、虹彩認識、または他の識別技術を使用したパッセンジャーの感覚認識によって、602においてパッセンジャーが自分自身を識別することによって開始する。パッセンジャーが識別されると、604において、自律型車両310のモーションプランナ330の機械学習モジュール360は、パッセンジャーの運転スタイルに関する入力を受け入れる。サンプル実施形態では、運転スタイル入力は、動作中の車両の速度、加速、制動、および/または操舵を表すデータを含む。動作中、自律型車両310のモーションプランナ330の機械学習モジュール360はまた、自律型車両310の運転スタイルに関するパッセンジャーフィードバックを受信することができる。サンプル実施形態では、フィードバックデータは、センサデータ入力インターフェース304で音声、タッチスクリーン、スマートフォン入力などによって、パッセンジャーによって提供されるアクティブフィードバックデータ606、および/またはカメラ、パッセンジャーウェアラブルデバイス、車内センサなどのセンサ350によってパッセンジャーから収集されたパッシブフィードバックデータ608であってもよい。フィードバックは、動作中の自律型車両の速度、加速、制動、および操舵、ならびに自律型車両動作中のパッセンジャーの快適さ/不快感に関する。フィードバックデータは、610において動作中に機械学習モジュール360によって受信され、612において機械学習モジュール360をトレーニングしてパッセンジャーの個人運転スタイルの意思決定モデルを作成するためコスト関数を調整するために使用される。個人運転スタイルの意思決定モデルは、キーフォブ、スマートフォン、クラウドベースのメモリデバ
イスなどを含むことができるメモリ616に614で格納される。618において、自律型車両の動作は、パッセンジャーのための個人運転スタイルの意思決定モデルを使用して制御される。
図7は、第2のサンプル実施形態による、パッセンジャーの運転スタイル好みプロファイルデータを注入することによって自律型車両の動作を変更する方法のフローチャートを示す。図示されたプロセスは、全体がプロセッサ301(図3)上に実装されてもよく、または個人向け運転スタイルモジュール370は、オフラインで作成され、適切な制御動作を実装するために自律型車両310に通信されてもよい。図示されるように、プロセスは、700において、ドライバーの運転習慣に関する動きセンサデータ702を収集して、704においてドライバーの運転スタイル好みプロファイルを作成することによって開始する。運転スタイル好みプロファイルは、706において運転スタイルモジュール708に格納され、710において自律型車両のモーションプランナに提供されて、運転スタイル好みプロファイルの注入時に自律型車両の動作を変更する。次いで、車両の動きは、712において、モーションプランナから受信したパラメータに基づいて調整される。この実施形態では、運転スタイルモジュール708は、図6の実施形態で提供されるフィードバック動作の利用可能性に関係なく、車両動作中にモーションプランナに注入されうる。
したがって、本明細書に記載されたシステムおよび方法は、乗車体験のためのある程度のパーソナライズを提供することによって、自律型車両のパッセンジャーに向上したレベルの快適さを提供する。様々な実装形態では、自律型車両製造業者は、運転スタイルモデルの個人向けパラメータが自律型車両のモーションプランナ108に動的に通信されうるように、運転スタイルモジュール370のための通信機構および/またはプラグインスロットを提供する。もちろん、個人運転スタイルモジュールロード機構は、不適切なデータの注入を同時に防止しながら、運転スタイルパラメータを安全に注入するために、業界標準のセキュリティプロトコルの周りに十分なセキュリティ予防措置を有するべきである。
図8は、サンプル実施形態による、図1~図7に関して上述したような個人向け運転スタイルモジュールを自律型車両に提供するシステムおよび方法を実施するための処理システムの形の回路を示すブロック図である。様々な実施形態において、すべての構成要素が使用される必要はない。コンピュータ800の形の1つの例示的なコンピューティングデバイスは、処理ユニット802、メモリ803、キャッシュ807、リムーバブルストレージ811、および非リムーバブルストレージ822を含んでもよい。例示的なコンピューティングデバイスがコンピュータ800として図示および説明されているが、コンピューティングデバイスは、異なる実施形態では異なる形であり得る。例えば、コンピューティングデバイスは、図3のコンピュータ300であってもよく、または代わりに、スマートフォン、タブレット、スマートウォッチ、または図3に関して図示および説明されるのと同じかもしくは同様の要素を含む他のコンピューティングデバイスであってもよい。スマートフォン、タブレット、スマートウォッチなどのデバイスは一般に、モバイルデバイスまたはユーザ機器と総称される。さらに、様々なデータ記憶要素がコンピュータ800の一部として図示されているが、ストレージは、これに加えてまたは代替として、インターネットやサーバベースのストレージなど、ネットワークを介してアクセス可能なクラウドベースのストレージを含んでいてもよい。
メモリ803は、揮発性メモリ814および不揮発性メモリ808を含みうる。コンピュータ800はまた、揮発性メモリ814および不揮発性メモリ808、リムーバブルストレージ811および非リムーバブルストレージ822などの、様々なコンピュータ可読媒体を含みうるか、またはこれらを含むコンピューティング環境にアクセスしうる。コンピュータストレージには、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、消去可能プログラマブル読出し専用メモリ(EPROM)、もしくは電気的消去可能プログラマブル読出し専用メモリ(EEPROM)、フラッシュメモリもしくは他のメモリ技術、コンパクトディスク読出し専用メモリ(CD ROM)、デジタル多用途ディスク(DVD)、もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、またはコンピュータ可読命令を格納することが可能な任意の他の媒体が含まれる。
コンピュータ800は、入力インターフェース826、出力インターフェース824、および通信インターフェース816を含むコンピューティング環境を含むか、またはそれにアクセスすることができる。出力インターフェース824は、入力デバイスとしても機能しうる、タッチスクリーンなどの表示デバイスを含みうる。入力インターフェース826は、タッチスクリーン、タッチパッド、マウス、キーボード、カメラ、1つまたは複数のデバイス固有のボタン、コンピュータ800内に統合されるかまたは有線もしくは無線データ接続を介してコンピュータ800に結合された1つまたは複数のセンサ、および他の入力デバイスを含みうる。コンピュータ800は、パーソナルコンピュータ(PC)、サーバ、ルータ、ネットワークPC、ピアデバイスまたは他の一般的なDFDネットワークスイッチなどを含むことができる、1つまたは複数のリモートコンピュータに接続するために通信接続を使用してネットワーク環境で動作することができる。通信接続は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、セルラ、Wi-Fi、ブルートゥース(登録商標)、または他のネットワークを含みうる。一実施形態によれば、コンピュータ800の様々な構成要素は、システムバス820に接続される。
コンピュータ可読媒体に格納されたコンピュータ可読命令は、プログラム818などのコンピュータ800の処理ユニット802によって実行可能である。いくつかの実施形態におけるプログラム818は、処理ユニット802によって実行されると、本明細書に含まれる実施形態のいずれかによる運転スタイル動作を実行するソフトウェアを含む。ハードドライブ、CD-ROM、およびRAMは、ストレージデバイスなどの非一時的コンピュータ可読媒体を含む物品のいくつかの例である。コンピュータ可読媒体およびストレージデバイスという用語は、搬送波が一時的であるとみなされる限りにおいて、搬送波を含まない。ストレージは、ストレージエリアネットワーク(SAN)などのネットワークストレージも含むことができる。コンピュータプログラム818はまた、処理時に処理ユニット802に本明細書に記載された1つまたは複数の方法またはアルゴリズムを実行させる命令モジュールを含むことができる。
以上ではいくつかの実施形態が詳細に説明されているが、他の変形形態も可能である。例えば、図に示されている論理フローは、所望の結果を達成するために、図示されている特定の順序、すなわち順番を必要としない。他のステップが提供されてもよく、または記載されたフローからステップが除去されてもよく、記載されたシステムに他の構成要素が追加されてもよく、または記載されたシステムから除去されてもよい。添付の特許請求の範囲内には他の実施形態があり得る。
本開示のステップのいずれか1つまたはすべてに関して上述したような処理および動作を容易にする1つまたは複数のコンピュータ実行可能命令を含むソフトウェアは、本開示と一致する1つまたは複数のコンピューティングデバイスにインストールされ、それと共に販売されうることをさらに理解されたい。代替的に、ソフトウェアは、例えば、ソフトウェア作成者によって所有されているサーバから、またはソフトウェア作成者によって所有されていないが使用されているサーバからを含めて、物理媒体または配布システムを介してソフトウェアを取得することを含めて、取得されて1つまたは複数のコンピューティングデバイスにロードされうる。ソフトウェアは、例えば、インターネット上で配布するためのサーバに格納されうる。
また、本開示は、その適用において、説明に記載されたまたは図面に示された構成要素の構造および配置の詳細に限定されないことが当業者によって理解されるであろう。本明細書の実施形態は、他の実施形態が可能であり、様々な方法で実施または実行されうる。また、本明細書で使用される表現および用語は、説明のためのものであり、限定するものとみなされるべきではないことが理解されるであろう。本明細書における「含む」、「備える」または「有する」およびその変形の使用は、その後に列挙される項目およびその均等物ならびに追加の項目を包含することを意味する。特に限定されない限り、本明細書における「接続される」、「結合される」、および「取り付けられる」という用語ならびにそれらの変形は、広く使用され、直接的および間接的な接続、結合、および取り付けを包含する。加えて、「接続される」および「結合される」という用語およびそれらの変形は、物理的または機械的な接続または結合に限定されない。
図示された実施形態により採用される例示的なデバイス、システム、および方法の構成要素は、少なくとも部分的に、デジタル電子回路、アナログ電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実施されうる。これらの構成要素は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のコンピュータなどのデータ処理装置によって実行される、またはその動作を制御するために、情報キャリア、または機械可読記憶デバイスに有形に具現化されたコンピュータプログラム、プログラムコードまたはコンピュータ命令などのコンピュータプログラム製品として実装されうる。
コンピュータプログラムは、コンパイル言語またはインタプリタ言語を含む任意の形のプログラミング言語で記述され得、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして含む任意の形で展開されうる。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトの複数のコンピュータ上で実行されるように、または複数のサイトにわたって分散され、通信ネットワークによって相互接続されるように展開されうる。また、本明細書に記載された技術を達成するための機能プログラム、コード、およびコードセグメントは、本明細書に記載された技術が関連する当業者によって特許請求の範囲内にあると容易に解釈されうる。例示的な実施形態に関連付けられた方法ステップは、機能(例えば、入力データを操作し、および/または出力を生成することによって)を実行するためのコンピュータプログラム、コード、または命令を実行する1つまたは複数のプログラマブルプロセッサによって実行されうる。方法ステップはまた、例えばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)などの専用論理回路によって実行され得、方法を実行するための装置は、専用論理回路として実装されうる。
本明細書に開示された実施形態に関して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASIC、FPGAもしくは他のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタ論理、ディスクリートハードウェア構成要素、または本明細書に記載された機能を実行するように設計されたそれらの任意の組み合わせにより実装または実行されうる。汎用プロセッサはマイクロプロセッサであってもよいが、代替的に、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、またはその他の任意のこのような構成として実装されうる。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用および専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般に、プロセッサは、読出し専用メモリまたはランダムアクセスメモリあるいはその両方から命令およびデータを受信する。コンピュータの必要な要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを格納するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを格納するための1つまたは複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含むか、それらからデータを受信するか、それらにデータを転送するか、それらの両方を行うように動作可能に結合される。コンピュータプログラム命令およびデータを具現化するのに適した情報キャリアは、例として、半導体メモリデバイス、例えば、電気的にプログラマブルな読出し専用メモリまたはROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリデバイス、およびデータストレージディスク(例えば、磁気ディスク、内蔵ハードディスク、またはリムーバブルディスク、光磁気ディスク、CD-ROMおよびDVD-ROMディスク)を含む、あらゆる形の不揮発性メモリを含む。プロセッサおよびメモリは、専用論理回路によって補完されうるか、または専用論理回路に組み込まれうる。
当業者は、情報および信号が様々な異なる技術および技法のいずれかを使用して表されうることを理解する。例えば、上記の説明全体で参照されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは粒子、光場もしくは粒子、またはそれらの任意の組み合わせによって表されうる。
本明細書で使用される場合、「機械可読媒体」は、命令およびデータを一時的または永続的に格納することができるデバイスを意味し、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、バッファメモリ、フラッシュメモリ、光学媒体、磁気媒体、キャッシュメモリ、他の種類のストレージ(例えば、消去可能プログラマブル読出し専用メモリ(EEPROM))、および/またはそれらの任意の適切な組み合わせを含みうるが、これらに限定されない。「機械可読媒体」という用語は、プロセッサ命令を格納することができる単一の媒体または複数の媒体(例えば、集中型もしくは分散型データベース、または関連するキャッシュおよびサーバ)を含むと解釈されるべきである。「機械可読媒体」という用語はまた、命令が、1つまたは複数のプロセッサ802による実行時に、1つまたは複数のプロセッサ802に、本明細書に記載された方法論のうちの任意の1つまたは複数を実行させるように、1つまたは複数のプロセッサ802による実行のための命令を格納することができる任意の媒体、または複数の媒体の組み合わせを含むと解釈されるべきである。したがって、「機械可読媒体」は、単一のストレージ装置またはデバイス、ならびに複数のストレージ装置またはデバイスを含む「クラウドベースの」ストレージシステムを指す。
サンプル実施形態では、自律型車両の運転スタイル管理を提供する方法に関してサンプル実施形態を説明したが、本明細書に記載された開示はそのように限定されないことが当業者には理解されよう。例えば、本明細書に記載された技術は、部分的にのみ自律的である車両に運転スタイルの好みを収集し提供するために使用されうる。例えば、運転スタイルパラメータは、格納され、標準的な非自律型車両のクルーズ制御動作を管理するために使用されうる。
加えて、様々な実施形態において別個かまたは分離したものとして説明および図示された技法、システム、サブシステム、および方法が、本開示の範囲を逸脱することなく、他のシステム、モジュール、技法、または方法と結合または統合される場合もある。互いに結合されるかまたは直接結合されるかまたは通信し合うものとして図示または考察された他の項目が、電気的にせよ、機械的にせよ、またはそれ以外にせよ、何らかのインターフェース、デバイス、または介在構成要素を介して間接的に結合されるかまたは通信する場合もある。交換、代用、および変更の他の例も、当業者により確認可能であり、本明細書において開示される趣旨および範囲を逸脱することなく実施することができる。
本開示は当該特定の特徴および実施形態を参照して説明されてきたが、本開示の範囲から逸脱することなく様々な変更および組み合わせをそれに行いうることは明らかである。したがって、本明細書および本図面は、添付の特許請求の範囲によって規定される本開示の例示として単にみなされるべきであり、本開示の範囲内に含まれるありとあらゆる修正、変形、組み合わせ、または均等物を包含すると考えられる。
100 自律型車両運転制御アーキテクチャ
102 知覚システム
104 ミッションプランナ
105 マップ属性
106 挙動プランナ
108 モーションプランナ
110 制御、作動パラメータ
112 失敗分析および回復プランナ
200 自律型車両
202 車線維持
204 車線変更
206 ブレーキ保持
208 旋回
300 コンピューティングデバイス
301 プロセッサ
302 メモリ
303 無線通信インターフェース
304 センサデータ入力インターフェース
305 制御データ出力インターフェース
306 通信チャネル
310 自律型車両
311 センサ
312 制御システム
320 軌道プランナ
330 モーションプランナ
340 コントローラ
350 パッセンジャーセンサ
360 機械学習モジュール
370 運転スタイルモジュール、運転制御モジュール
400 人工ニューラルネットワーク(ANN)
402 処理ノード
404 処理ノード
406 トレーニングセット
408 ノード間重み
410 入力データ
412 分類
602 パッセンジャー
606 アクティブフィードバックデータ
608 パッシブフィードバック
616 メモリ
702 動きセンサデータ
708 運転スタイルモジュール
800 コンピュータ
802 プロセッサ、処理ユニット
803 メモリ
807 キャッシュ
808 不揮発性メモリ
811 リムーバブルストレージ
814 揮発性メモリ
816 通信インターフェース
818 コンピュータプログラム
820 システムバス
822 非リムーバブルストレージ
824 出力インターフェース
826 入力インターフェース
本出願は、一般に、自律運転技術に関し、より具体的には、自律型車両のための運動制御システムおよび方法に関する。
本明細書で使用される場合、「自律型車両」は、人間の入力なしにその環境を検知してナビゲートすることができる、いわゆるレベル4の自律型車両を指す。そのような自律型車両は、様々な技術を使用して周囲を検出することができ、自律型車両の自律制御システムは、感覚情報を解釈して適切なナビゲーション経路を識別する。
自律型車両は、車両動作を制御するためにモーションプランナに入力を提供するセンサを含む。モーションプランナは、検知された動作条件に基づいて安全に運転するように車両を制御するが、一般に主観的な個人的感覚である車両動作中のパッセンジャーの快適性レベルを考慮していない。従来技術のモーションプランナは、一般に、自律型車両の運転スタイルに関する主観的なパッセンジャーの好みを考慮していない。例えば、自律型車両は、通常、センサ入力に応答して、ルート上に留まり、障害物を回避し、気象条件に適応する。しかしながら、自律型車両は、パッセンジャーの好みに基づいて減速または加速の調整などをしない。個々のパッセンジャーの好みは製造時には知ることができず、いずれにしてもパッセンジャーによって異なるため、自律型車両製造業者は、すべてのパッセンジャーに対して満足に運転する自律型車両を設計することはできない。さらに、同じパッセンジャーであっても、異なる運転条件下では異なる快適性レベル要件を有する。自律型車両は、一般に、パッセンジャーが自律型車両に乗車している間に遭遇する可能性がある様々な状態に対するこれらの快適性レベル要件を知らず、したがってそれらに適応できない可能性がある。自律型車両の製造業者は、パッセンジャーごとの主観的な違いのために、すべての条件下ですべてのパッセンジャーに適した自律型車両のモーションプランナを設計することができない。
次に、様々な例を示して、以下の詳細な説明でさらに説明される概念のうちの選択したものを簡略化した形で紹介する。この概要は、特許請求される主題の重要な特徴または本質的な特徴を特定するためのものでも、特許請求される主題の範囲の限定に使用するためのものでもない。
本明細書に記載されるシステムおよび方法は、自律型車両のモーションプランナのための運転スタイルモジュールを提供し、運転スタイルモジュールは、個人に固有の運転制御パラメータを与える。サンプル実施形態では、運転スタイルモジュールは、自律型車両の1人または複数のパッセンジャーの運転の好みを表現するように変更されてもよい。運転スタイルモジュールは、パッセンジャーの運転スタイル好みプロファイル、ならびにパッセンジャーフィードバックに基づいて運転パラメータを経時的に調整するための機械学習モデルを含むことができる。
本明細書に記載されたシステムおよび方法は、少なくとも2つの主要な特徴を含む。第1の特徴によれば、ドライバーの運転習慣に関する動きセンサデータが収集されて、ドライバーの運転スタイル好みプロファイルが作成され、運転データ(ビデオ、動き)が運転スタイルモデルをトレーニングするために使用される。トレーニング後、この運転スタイルモデルは、運転スタイルモジュールに格納される。自律型車両の動作中、運転スタイルモジュールからの運転スタイル好みプロファイルは、運転スタイル好みプロファイルにより自律型車両の動作を変更するために自律型車両のモーションプランナに提供される。第2の特徴によれば、自律型車両のモーションプランナが自律型車両の運転スタイルに関するパッセンジャー入力を受け入れることを可能にするために機械学習モジュールが提供され、運転スタイル入力は、動作中の自律型車両の速度、加速、制動、操舵などを表すデータを含む。パッセンジャー入力は、自律型車両の運転スタイルに関するフィードバックの形で提供される。パッセンジャーフィードバックは、機械学習モジュールを継続的にトレーニング/更新して、自律型車両の動作を制御するパッセンジャーのための個人運転スタイルの意思決定モデルを作成するために使用される。動作中、モーションプランナは、同時運転条件により一連の安全動作コマンドを提供する。例えば、モーションプランナは、パッセンジャーの個人運転スタイル好みプロファイルに基づいて加速範囲(4秒、5秒、6秒などで0から60)を調整して、パッセンジャーの個人運転スタイル好みプロファイルと一致する安全なコマンド範囲内で加速選択を行うことができる。サンプル実施形態では、モーションプランナは安全範囲を伴う運転コマンドを提供し、運転スタイルモデルは安全範囲の値を選択してパッセンジャーの好みを満たす。
本開示の第1の態様によれば、パッセンジャーの運転スタイル意思決定モデルに基づいて自律型車両の動作を変更するコンピュータ実装方法が提供される。本方法は、自律型車両の運転スタイルに関する入力を受け入れる自律型車両のモーションプランナのための機械学習モジュールを含む。運転スタイル入力は、動作中の自律型車両の速度、加速、制動、および操舵のうちの少なくとも1つを表すデータを含む。自律型車両のモーションプランナの機械学習モジュールはまた、動作中にパッセンジャーフィードバックを受信する。パッセンジャーフィードバックは、自律型車両の運転スタイルに関する。パッセンジャーフィードバックは、パッセンジャーの個人運転スタイルの意思決定モデルを作成するように機械学習モジュールをトレーニングし、自律型車両の動作は、パッセンジャーの個人運転スタイルの意思決定モデルを使用して制御される。
本開示の第2の態様によれば、パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更するコンピュータ実装方法が提供され、それは、ドライバーの運転スタイル好みプロファイルを作成するためにドライバーの運転習慣に関する動きセンサデータを収集するステップと、運転スタイル好みプロファイルを運転スタイルモジュールに格納するステップと、運転スタイル好みプロファイルにより自律型車両の動作を変更するために、運転スタイルモジュールから自律型車両のモーションプランナに運転スタイル好みプロファイルを提供するステップとを含む。
本開示の第3の態様によれば、パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更する自律型車両制御システムが提供される。自律型車両制御システムは、ドライバーの運転習慣に関する動きセンサデータを提供する動きセンサ、動きセンサデータからドライバーの運転スタイル好みプロファイルを作成するプロセッサ、運転スタイル好みプロファイルを格納する運転スタイルモジュール、および運転スタイルモジュールから運転スタイル好みプロファイルを受信し、運転スタイル好みプロファイルにより自律型車両の動作を変更するモーションプランナを含む。
本開示の第4の態様によれば、パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更するためのコンピュータ命令を格納する非一時的コンピュータ可読媒体が提供され、コンピュータ命令が、1つまたは複数のプロセッサによって実行されるとき、1つまたは複数のプロセッサに、ドライバーの運転スタイル好みプロファイルを作成するためにドライバーの運転習慣に関する動きセンサデータを収集するステップ、運転スタイル好みプロファイルを運転スタイルモジュールに格納するステップ、および運転スタイル好みプロファイルにより自律型車両の動作を変更するために、運転スタイルモジュールから自律型車両のモーションプランナに運転スタイル好みプロファイルを提供するステップを実行させる。
前述の態様のいずれかの第1の実装形態では、パッセンジャーフィードバックは、音声、タッチスクリーン、スマートフォン入力、車内センサ、および/またはパッセンジャーのウェアラブルセンサによって提供され、フィードバックは、動作中の自律型車両の速度、加速、制動、および/または操舵、ならびに/もしくは自律型車両動作中のパッセンジャーの快適性/不快感に関する。
前述の態様のいずれかの第2の実装形態では、パッセンジャーフィードバックは、機械学習モジュールのコスト関数を調整する。
前述の態様のいずれかの第3の実装形態では、機械学習モジュールが自律型車両の動作前または動作中にパッセンジャーから個人運転スタイルの意思決定モデルのパラメータを受信し、機械学習モジュールが自律型車両の動作中のパッセンジャーフィードバックに基づいて個人運転スタイルの意思決定モデルを変更する。
前述の態様のいずれかの第4の実装形態では、本方法は、自律型車両のパッセンジャーを認識するステップ、および認識されたパッセンジャーからの個人運転スタイルの意思決定モデルのパラメータを機械学習モジュールにロードするステップをさらに含む。
前述の態様のいずれかの第5の実装形態では、個人運転スタイルの意思決定モデルのパラメータは、パッセンジャーのメモリ記憶デバイスに格納され、メモリ記憶デバイスから機械学習モジュールに通信される。
前述の態様のいずれかの第6の実装形態では、メモリ記憶デバイス/運転スタイルモジュールは、キーフォブ、スマートフォン、およびクラウドベースのメモリのうちの少なくとも1つを備える。
前述の態様のいずれかの第7の実装形態では、本方法は、自律型車両のモーションプランナのための機械学習モジュールが、入力として、運転スタイル好みプロファイルおよび自律型車両の運転スタイルに関する入力を受け入れるステップであって、運転スタイル入力は、動作中の自律型車両の速度、加速、制動、および操舵のうちの少なくとも1つを表すデータを含む、ステップと、自律型車両のモーションプランナの機械学習モジュールが動作中にパッセンジャーフィードバックを受信するステップであって、パッセンジャーフィードバックは自律型車両の運転スタイルに関する、ステップと、パッセンジャーのための個人運転スタイルの意思決定モデルを作成するために運転スタイル好みプロファイルおよびパッセンジャーフィードバックを使用して機械学習モジュールをトレーニングするステップとをさらに含む。
本方法が実行され得、コンピュータ可読媒体上の命令は、自律型車両のモーションプランナに関連付けられた1つまたは複数のプロセッサによって処理され得、本方法のさらなる特徴およびコンピュータ可読媒体上の命令は、モーションプランナの機能に起因する。また、各態様およびその実装態様について提供される説明は、他の態様および対応する実装形態にも等しく適用される。異なる実施形態は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実施されうる。また、前述の例のいずれか1つを、他の前述の例のいずれか1つ以上と組み合わせて、本開示の範囲内で新しい実施形態を作成することができる。
必ずしも縮尺通りに描かれていない図面では、同様の符号は異なる図で同様の構成要素を説明することができる。図面は、一般に、限定ではなく例として、本明細書で説明される様々な実施形態を示す。
従来の自律型車両運転制御アーキテクチャのブロック図を示す。 従来の自律型車両の従来のモーションプランナへの入力を示す図である。 一サンプル実施形態における自律型車両のコンピューティングデバイスの概略図である。 機械学習モジュールの一サンプル実施形態を示す図である。 一サンプル実施形態における個人運転スタイルモジュールを含むように適合された自律型車両運転制御アーキテクチャのブロック図を示す。 第1のサンプル実施形態による、パッセンジャーの運転スタイルに基づいて自律型車両の動作を変更する方法のフローチャートを示す。 第2のサンプル実施形態による、パッセンジャーの運転スタイルに基づいて自律型車両の動作を変更する方法のフローチャートを示す。 サンプル実施形態による、個人向け運転スタイルモジュールを自律型車両に提供するシステムおよび方法を実施するための処理システムの形の回路を示すブロック図である。
最初に、以下では1つまたは複数の実施形態の例示的な実装態様が提供されるが、図1から8に関して説明される開示のシステムおよび/または方法は、現在既知または既存であるかどうかを問わず、任意の数の技術を使用して実施されうることを理解されたい。本開示は、いかなる点でも、本明細書で例示および説明される例示的な設計および実装態様を含む、以下で例示される例示的な実装態様、図面、および技術に限定されるべきではなく、添付の特許請求の範囲およびそれらの均等物の全範囲内で変更されうる。
本明細書に記載されたシステムおよび方法は、パッセンジャーのスマートデバイス(キーフォブ、スマートフォンなど)またはクラウドにパッセンジャーの運転スタイルモデルを格納することによって、パッセンジャーの運転スタイルに基づいて自律型車両へのパッセンジャーの乗車をカスタマイズすることを可能にする。パッセンジャーが自律型車両に入ると、自律型車両がパッセンジャーの運転好みにより動作するように、運転スタイル好みプロファイルが自律型車両にロードされる(タクシー、レンタル、または共有車両)。代替的に、自律型車両がパッセンジャーによって所有されている場合、パッセンジャーの運転スタイル好みプロファイルは、自律型車両に直接ロードされてもよい。いずれの場合も、運転スタイル好みプロファイルは、自律型車両に乗車している間のユーザのアクションおよび応答に基づいて更新されうる。アクションは、自律型車両への直接的なユーザ入力、または適切なセンサを使用して自律型車両によって検知されるアクションであってもよい。
図1は、従来の自律型車両運転制御アーキテクチャ100を示す。図示されるように、自律型車両運転制御アーキテクチャ100は、自律型車両の周囲の環境を知覚し、自律型車両運転制御アーキテクチャ100のそれぞれの機能ユニットに制御入力を提供するいくつかのセンサを含む知覚システム102を含む。例えば、物体の種類および位置、ならびにマップベースの位置特定および絶対位置特定データは、車線、車線ウェイポイント、ミッションウェイポイントなどのマップ属性105と共にミッションプランナ104に提供され、ミッションプランナ104が次のミッションウェイポイントを計算し、挙動などを選択することを可能にする。計算された次の長距離(キロメートルのオーダーの)ミッションウェイポイントおよび選択された挙動は、物体の種類および位置、ならびに粗い操作選択および動き計画制約を計算する挙動プランナ106への知覚システム102からのマップベースの位置特定および絶対位置特定データと共に提供される。挙動プランナ106はまた、次の短距離(50~100メートルのオーダーの)ウェイポイントを計算する。計算された粗い操縦選択、動き計画制約、および計算された次の短距離ウェイポイントデータは、知覚システム102からの物体データおよび道路制約データと共にモーションプランナ108に提供され、所望の車両速度および方向を含む、自律型車両の制御を計算する。計算された制御110は、従来の方法で自律型車両の適切なアクチュエータを制御するために使用される。挙動プランナ106が何らかの理由で失敗した場合、失敗分析および回復プランナ112は、自律型車両を安全に道路の脇に寄せ、修正アクションが講じられうるまでさらなる移動を停止するなどの適切なアクションを講じるために、モーションプランナ108に制御入力を提供する。
図2は、従来の自律型車両200を制御するための図1の従来のモーションプランナ108へのサンプル入力を示す。一般に、上述したように、自律型車両200に対する制御110は、所望の速度、曲率、加速などを含み、これらの値は、自律型車両200の動作を制御するための適切なアクチュエータを制御するために使用される。図示されているように、モーションプランナへの制御入力は、車線維持202、車線変更204、ブレーキ保持206、旋回208などのデータのサブセットを含むことができる。
図3は、本開示の一実施形態による、自律型車両310に装備された、またはそれと通信可能に結合されたコンピューティングデバイス300の概略図を示す。自律型車両310は、限定はしないが、自動車、トラック、オートバイ、バス、レクリエーション車両、遊園地車両、農場設備、建設設備、路面電車、およびゴルフカートを含む任意の種類の車両であってもよい。
図3に示されるように、コンピューティングデバイス300は、センサ311のセットと結合される。センサ311は、これらに限定するものではないが、道路状況の知覚を入力するためのカメラ、レーダ/ライダユニット、マイクロフォン、レーザユニットなどを含むことができる。センサ311はまた、自律型車両310の緯度、経度、および/または高度位置を決定するために使用される、全地球測位システム(GPS)受信機などの地理的位置デバイスを含むことができる。レーザベースの位置特定デバイス、慣性支援GPS、またはセンサ311と結合されたカメラベースの位置特定デバイスなどの他の位置特定デバイスも、自律型車両310の位置を識別するために使用することができる。自律型車両310の位置情報は、緯度および経度などの絶対的な地理的位置情報、ならびに自律型車両の近傍の他の車両に対する位置などの相対的な位置情報を含むことができる。
センサ311はまた、現在の環境情報をコンピューティングデバイス300に提供することができる。例えば、自律型車両310の前方に予期しない障害物が現れると、センサ311は、予期しない障害物に関する現在の環境情報を収集し、収集した環境情報をコンピューティングデバイス300に提供する。収集される環境情報は、障害物のサイズ、障害物の移動方向、および障害物の速度を含むことができる。
コンピューティングデバイス300はまた、自律型車両310の制御システム312と結合される。コンピューティングデバイス300および制御システム312は、自律型車両300の蓄電池または太陽電池によって電力を供給されてもよい。コンピューティングデバイス300は、自律型車両310を経路に沿って誘導し、自律型車両310の制御システム312に動き情報(例えば、ポーズを含む経路情報)を提供するための動き制御方法を実施する。自律型車両310の制御システム312は、受信した動きおよびアクチュエータ制御情報により自律型車両310の運転を制御する。
図3に示されるように、コンピューティングデバイス300は、プロセッサ301、メモリ302、無線通信インターフェース303、センサデータ入力インターフェース304、制御データ出力インターフェース305、および通信チャネル306を含むことができる。プロセッサ301、メモリ302、無線通信インターフェース303、センサデータ入力インターフェース304、および制御データ出力インターフェース305は、通信チャネル306を介して互いに通信可能に結合される。通信チャネル306は、FlexRay、コントローラエリアネットワーク(CAN)、および共有ケーブルイーサネットをサポートするバスを含むが、これらに限定されない。コンピューティングデバイス300はまた、汎用コンピュータに通常存在する他のデバイスを含んでもよい。
センサデータ入力インターフェース304は、自律型車両310のセンサ311と結合され、センサ311によって生成された位置情報を受信するように構成される。制御データ出力インターフェース305は、自律型車両310の制御システム312に結合され、コンピューティングデバイス300によって生成された動きおよびアクチュエータ制御情報を制御システム312に提供するように構成される。制御システム312は、コンピューティングデバイス300によって生成された受信した動きおよびアクチュエータ制御情報により自律型車両310の移動方向および速度を制御する。
無線通信インターフェース303は、無線信号を用いて他の車両およびセンサと通信するように構成される。無線通信インターフェース303と他の車両/センサとの間で送信される無線信号は、専用短距離通信(DSRC)のために開発された802.llpプロトコルによって搬送される。無線通信インターフェース303はまた、無線信号を送信するために、例えば、ロングタームエボリューション(LTE)または第5世代無線システムを含む他のプロトコルを使用してもよい。
プロセッサ301は、縮小命令セットコンピューティング(RISC)プロセッサ、複合命令セットコンピューティング(CISC)プロセッサ、または前述の組み合わせを含む、任意の従来の1つまたは複数のプロセッサであってもよい。代替的に、プロセッサ301は、特定用途向け集積回路(ASIC)などの専用デバイスであってもよい。プロセッサ301は、メモリ302に格納された命令を実行するように構成される。
メモリ302は、プロセッサ301によって実行あるいは使用されうる命令およびデータなど、プロセッサ301によってアクセス可能な情報を格納することができる。メモリ302は、コンピュータ可読媒体、または電子デバイスの助けにより読み取りうるデータを格納する他の媒体を含む、プロセッサ301によってアクセス可能な情報を格納するように動作する任意の種類のメモリであってもよい。メモリ302の例は、これらに限定するものではないが、ハードドライブ、メモリカード、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、デジタルビデオディスク(DVD)、または他の光ディスク、ならびに他の書き込み可能および読出し専用メモリを含む。システムおよび方法は、前述の異なる組み合わせを含むことができ、それによって命令およびデータの異なる部分が異なる種類の媒体に格納される。
メモリ302に格納された命令は、マシンコードなどの直接的に、またはプロセッサ301によって、スクリプトなどの間接的に実行される任意の命令セットであってもよい。例えば、命令は、コンピュータ可読媒体にコンピュータコードとして格納されてもよい。その点に関して、「命令」および「プログラム」という用語は、本明細書では互換的に使用されうる。命令は、プロセッサ301による直接処理のためのオブジェクトコードフォーマットで、またはオンデマンドで解釈されるかまたは事前にコンパイルされる独立したソースコードモジュールのスクリプトまたはコレクションを含む任意の他のコンピュータ言語で格納されてもよい。命令の機能、方法、およびルーチンは、米国特許出願公開第2018/0143641号により詳細に説明されており、その内容は参照により本明細書に組み込まれる。
コンピューティングデバイス300によって生成される動き情報は、2種類の動き情報、すなわち、高レベルの動き情報および低レベルの動き情報を含む。動き情報は、自律型車両310の進行中の動きを示す。
図3は、メモリ301に格納された命令を実行するときに、プロセッサ302によって生成されるアプリケーションプロセスの論理機能ブロック図をさらに示す。アプリケーションプロセスは、少なくとも3つの機能モジュール、すなわち、軌道プランナ320、モーションプランナ330、およびコントローラ340を含む。軌道プランナ320は、受信した入力情報およびプリセットされた軌道生成アルゴリズムに基づいて、自律型車両310のための高レベルの動き情報を生成するように構成される。軌道プランナ320によって受信される入力情報は、開始点、現在位置、目的地、ナビゲーション情報、および環境情報を含む。ナビゲーション情報は、マップデータを含む。環境情報は、交通統計データおよび静止障害物データを含む。軌道生成アルゴリズムは、入力情報により複数の可能な経路を生成するために軌道プランナ320によって使用される動的プログラミング(DP)方法を含む。軌道プランナ320によって生成された各経路は、一連のウェイポイントを含む。各ウェイポイントは、p(x、y)によって表される位置値を有し、p(x、y)のシンボルxは、マップの横軸の値を示し、p(x、y)のシンボルyは、マップの縦軸の値を示す。隣接する2つのウェイポイント間の距離は、約50メートルから150メートルである。
サンプル実施形態では、軌道プランナ320は、開始点、現在位置(粗い位置値)、目的地、ナビゲーション情報、および環境情報を受信し、詳細な現在位置値および次のウェイポイントを含む選択された経路をモーションプランナ330に出力する。モーションプランナ330は、自律型車両の動作を制御する際に使用する複数のポーズを含む経路情報を出力する。
軌道プランナ320は、自律型車両310が開始点から目的地に移動するときに、コントローラ340と複数回通信しうる。この状況では、入力情報の開始点は、自律型車両310の現在位置に置き換えられる。自律型車両310の現在位置は、センサ311によって提供される粗い位置値によって示される。粗い位置値は、マップの2つの連続するウェイポイントによって構築されたセグメントに配置される位置を示す。コントローラ340が自律型車両310の現在位置を示す粗い位置値を軌道プランナ320に入力した後、軌道プランナ320は、他の入力制約、例えば静止障害物に基づいて受信された各粗い位置値に対して複数の可能な経路を計算することができ、複数の可能な経路のそれぞれは、現在位置に近いウェイポイントで開始し、目的地で終了する。次いで、軌道プランナ320は、プリセットポリシーに従って複数の可能な経路から経路を選択する。軌道プランナ320は、現在位置に最も近く、選択された経路上にあるウェイポイントをさらに決定する。軌道プランナ320は、選択された経路および決定されたウェイポイントを高レベルの動き情報として出力する。
現在位置に最も近く、選択された経路上にあるウェイポイントは、「次のウェイポイント」と呼ばれる。次のウェイポイントは、自律型車両310が最短制御期間で到着するための目的地とみなされる。言い換えれば、次のウェイポイントは、現在の低レベルの経路計画の目的地である。次のウェイポイントは、低レベルの動き情報を生成するための入力として、モーションプランナ330によって使用されうる。低レベルの経路計画は、自律型車両310が次のウェイポイントに到着するための低レベルの動き情報を提供する。
モーションプランナ330は、センサ311によって提供された詳細な位置値、軌道プランナ320によって生成された次のウェイポイント、およびプリセットの動き生成アルゴリズムに基づいて、自律型車両310の低レベルの動き情報を生成するように構成されている。モーションプランナ330によって受信された入力情報は、センサ311によって提供された障害物情報をさらに含む場合がある。障害物は、静止障害物であってもよいし、移動障害物であってもよい。障害物が静止障害物である場合、障害物情報は、形状、サイズなどを含む詳細な位置情報を含む。障害物が道路上の車両などの移動障害物である場合、障害物情報は、詳細な位置情報、方位値、速度値などを含む。プリセットされた動き生成アルゴリズムは、自律型車両310の動作を制御するための低レベルの動き情報を一緒に生成するハイブリッドA*、A*、D*、およびR*を含む。
入力情報のセットについて、モーションプランナ330は自律型車両310の現在位置および受信した次のウェイポイントに基づいて経路情報を計算する。経路情報は、自律型車両310が自律型車両310の現在の位置値によって示される位置からステップごとに受信される次のウェイポイントに移動することを可能にする、複数のポーズを含む。各ポーズのデータ構造は、ベクトルP(p(x、y)、s(x、y)、h(θ))として表される。ベクトルPにおけるp(x、y)は、経路の位置値を示す。例えば、p(x、y)のシンボルxはマップの横軸の値を示し、p(x、y)のシンボルyはマップの縦軸の値を示す。ベクトルPにおけるs(x、y)は、横軸および縦軸にそれぞれ、自律型車両310の速度を示す。ベクトルPにおけるh(θ)は、自律型車両310の移動方向を示す。モーションプランナ330は、複数のポーズを含む経路情報を低レベルの動き情報として出力する。
自律型車両310の動きを正確に制御するために、モーションプランナ330によって出力されるいくつかのポーズは、自律型車両310のおおよその移動速度およびプリセットされた要件に基づいて決定される。例えば、プリセットされた要件は、自律型車両310の各第2の動きに10のポーズが必要であることであってもよい。一例では、自律型車両310の詳細な現在位置値によって示される現在位置と軌道プランナ320によって生成された次のウェイポイントとの距離は約100メートルであり、自律型車両310のおおよその移動速度は36 km/h(10 m/s)である。したがって、自律型車両310は、現在位置から軌道プランナ320によって生成された次のウェイポイントに移動するのに10秒必要であり、モーションプランナ320は100個のポーズを出力する必要がある。
コントローラ340は、センサ311から送信されたデータを受信し、センサ311から送信されたデータおよびプリセットされたアルゴリズムにより、ターゲット車両が自律型車両310の次のウェイポイントへのルート上にあるかどうかを決定するように構成される。コントローラ340は、異なる入力情報および異なる道路条件に基づいて軌道プランナ320およびモーションプランナ330と通信するようにさらに構成される。コントローラ340は、無線通信インターフェース303を介してターゲット車両と通信するようにさらに構成されうる。
サンプル実施形態では、上述の種類の自律型車両は、運転スタイルデータを収集するようにさらに変更される。運転スタイルデータは、ドライバーの運転習慣を学習するために収集され、次いでそのデータを使用して自律型車両の運転スタイルを設定する。一般に、自律型車両の運転スタイルは製造業者によって設定されず、自律型車両の運転スタイルをドライバー/パッセンジャーの好みにカスタマイズするための機構は提供されない。運転スタイルデータは、センサ311、ならびに加速度計の動きセンサ、スマートフォンアプリケーションのジャイロスコープデータ、携帯電話カメラ、パッセンジャーの状態を検知するために車両に搭載されたセンサ、またはカメラアクセサリデータを含むパッセンジャーセンサ350から収集される。収集された運転スタイルデータは、例えば、運転ビデオ、動きデータ、タイムスタンプデータなどを含む。加速度計は、x、y、およびz方向の動きの直線加速度をさらに測定することができ、ジャイロスコープは角回転速度を測定し、カメラは道路および気象条件を提供する。ライダおよび他のセンサ入力もまた、運転スタイルデータの一部として収集されてもよい。
サンプル実施形態では、収集された運転スタイルデータは、車両が自律モードにないときの運転状態を表す。言い換えれば、収集された運転データは、パッセンジャーが車両を運転しているときに収集された運転パラメータを含む。しかしながら、運転データはまた、速度を上げる、遅くする、よりゆっくりと加速するなどのためのコマンドの形のパッセンジャーフィードバックによって調整されるように、自律運転中に収集された運転パラメータを含むことができる。サンプル実施形態では、パッセンジャーフィードバックは、スマートフォンアプリケーション、音声認識デバイスによって受信されたパッセンジャー命令、および/または車両のパッセンジャータッチスクリーンインターフェースを介して提供される制御入力によって提供されてもよい。パッセンジャーフィードバックはまた、車両内のセンサを使用して受動的に、またはパッセンジャーの血圧、心拍数、およびパッセンジャーの快適性レベルを表す他の生体データを測定するパッセンジャーウェアラブルデバイスから収集されてもよい。そのように収集された運転スタイルデータは、図示のようにコンピュータ300の一部であってもよく、またはユーザのスマートフォンもしくは他のコンピュータデバイス、またはクラウドに配置されてもよい機械学習モジュール360に提供される。機械学習モジュール360は、個人の運転スタイルの意思決定モデルをトレーニングするために運転スタイルデータを受信して処理する。
個人運転スタイルの意思決定モデルをトレーニングするとき、(センサまたは直接パッセンジャーフィードバックからの)パッセンジャー入力は、強化学習モデルにおいて運転データ抽象のためのコスト報酬関数として扱われる。パッセンジャーは、「いいね」、「嫌い」、「速すぎる」、「遅すぎる」、「恐怖」、「車酔い」などの予め定義された選択セットで現在の運転状態に注釈を付けることが可能になる。強化学習運転スタイルモデルは、パッセンジャーがパッセンジャーとして車両に乗車するとき、および利用可能な場合、パッセンジャーが車両を運転するときに継続的に更新される。運転スタイルモデルがトレーニングされると、運転スタイルモデルのサイズを縮小することができ、トレーニングオペレータのみが運転スタイルモデルから除去される。その後、運転スタイルモデルは、より小さいサイズで固定され、デバイスに格納されてもよい。例えば、運転スタイルモデルは、運転スタイルモジュール370に格納され、運転スタイルモデルの継続的なパッセンジャーフィードバックおよび更新を受けて、自律型車両の動作を制御するために使用される。運転スタイルモジュール370は、車両と共に残っていてもよく、またはパッセンジャーが乗車時に各自律型車両に個人向け運転スタイルモジュール370を提供することができるように携帯可能であってもよい。例えば、運転スタイルモジュール370は、フォブ、パッセンジャーのスマートフォンに格納されてもよく、またはクラウドに格納され、要求に応じてアクセス可能であってもよい。もちろん、パッセンジャーの運転スタイルが最適な運転行為と矛盾する可能性がある場合、自律型車両は、パッセンジャーの安全を優先するために運転スタイルモデルを無効にする。サンプル実施形態では、モーションプランナは安全範囲を伴う運転コマンドを提供し、運転スタイルモデルは安全範囲の値を選択してパッセンジャーの好みを満たす。
図4は、機械学習モジュールの一サンプル実施形態を示す。機械学習モジュールは、人間などの生きているアクターを従来必要としていた認知タスクを実行するように適合されうる人工知能(AI)意思決定システムである。機械学習モジュールは、生物学的ニューロンを粗くモデル化した計算構造である人工ニューラルネットワーク(ANN)を含むことができる。一般に、ANNは、ノード(例えば、ニューロン)間の重み付けされた接続(例えば、シナプス)を介して情報(例えば、データまたは意思決定)を符号化する。現代のANNは、とりわけ、自動知覚(例えば、コンピュータビジョン、音声認識、コンテキスト認識など)、自動認知(例えば、意思決定、物流、ルーティング、サプライチェーン最適化など)、および自動制御(例えば、自律走行車、ドローン、ロボットなど)などの多くのAI用途の基礎である。
多くのANNは、モデル化された接続に対応する重みの行列として表される。ANNは、他のニューロンへの多くの発信接続を有することが多い入力ニューロンのセットにデータを受け入れることによって動作する。ニューロン間の各トラバースにおいて、対応する重みは入力を変更し、目的地ニューロンにおけるしきい値に対してテストされる。重み付けされた値がしきい値を超える場合、値は再び重み付けされるか、または非線形関数を通して変換され、ANNグラフのさらに下方の別のニューロンに送信され、しきい値を超えない場合、一般に、値はダウングラフニューロンに送信されず、シナプス接続は非アクティブのままである。重み付けおよびテストのプロセスは、出力ニューロンに到達するまで継続される。出力ニューロンのパターンおよび値は、ANN処理の結果を構成する。
ほとんどのANNの正しい動作は、正しい重みに依存する。しかしながら、ANN設計者は、一般に、所与のアプリケーションについてどの重みが機能するかを知らない。代わりに、適切な重みに到達するためにトレーニングプロセスが用いられる。ANN設計者は、通常、いくつかのニューロン層、または循環接続を含む層間の特定の接続を選択するが、ANN設計者は、一般に、所与のアプリケーションに対してどの重みが機能するかを知らない。代わりに、トレーニングプロセスは、一般に、ランダムに選択されうる初期重みを選択することによって進行する。トレーニングデータがANNに供給され、結果は、エラーの表示を提供する目的関数と比較される。エラー表示は、ANNの結果が期待された結果と比較してどの程度誤っているかの尺度である。次に、このエラーを使用して重みを補正する。多くの反復にわたって、重みは集合的に収束して、動作データをANNへ符号化する。このプロセスは、目的関数の最適化(例えば、コストまたは損失関数)と呼ばれることがあり、それによってコストまたは損失が最小化される。
勾配降下技術は、目的関数最適化を実行するために使用されることが多い。勾配(例えば、偏導関数)は、補正の方向、および場合によっては程度を与えるために層パラメータ(例えば、重みの態様)に対して計算されるが、重みを「正しい」値に設定するための単一の補正をもたらさない。すなわち、何回かの反復を介して、重みは「正しい」または動作上有用な値に向かって移動する。いくつかの実装態様では、移動の量またはステップサイズは固定である(例えば、反復から反復まで同じ)。小さなステップサイズは収束するのに長い時間がかかる傾向があり、一方、大きなステップサイズは正しい値の周りで振れるか、または他の望ましくない挙動を示す可能性がある。大きなステップサイズの欠点なしにより速い収束を提供するために可変ステップサイズが試されてもよい。
バックプロパゲーションは、トレーニングデータがANNを通して順方向に供給される技術であり、ここで「順方向」とは、データが入力ニューロンで開始し、出力ニューロンに達するまでニューロン接続の有向グラフをたどることを意味し、目的関数は、シナプス重みを補正するためにANNを通して逆方向に適用される。バックプロパゲーションプロセスの各ステップでは、前のステップの結果が重みを補正するために使用される。したがって、出力ニューロン補正の結果は、入力ニューロンに到達するまで、出力ニューロンに接続するニューロンなどに適用される。バックプロパゲーションは、様々なANNをトレーニングするための一般的な技術になっている。
図4は、一実施形態による、ニューラルネットワークトレーニングのためのシステムを含む環境の一例を示す図である。このシステムは、処理ノード402を使用してトレーニングされたANN 400を含む。処理ノード402は、CPU、GPU、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、または図3のプロセッサ301などの他の処理回路であってもよい。一例では、複数の処理ノードが、ANN 400の異なるレイヤ、またはレイヤ内の異なるノード404をトレーニングするために使用されうる。したがって、処理ノード404のセットは、ANN 400のトレーニングを行うように配置される。
処理ノード404のセットは、ANN 400のためのトレーニングセット406を受信するように配置される。ANN 400は、層に配置されたノード404のセット(ノード404の行として示されている)、およびノード404のセットのノード404間のノード間重み408のセット(例えば、パラメータ)を含む。一例では、トレーニングセット406は完全なトレーニングセットのサブセットである。ここで、サブセットは、限られた記憶リソースしか含まない処理ノード404が、ANN 400のトレーニングに参加することを可能にしうる。
トレーニングデータは、上述の運転スタイルパラメータなど、領域を表す複数の数値を含むことができる。トレーニングの各値、またはANN 400がトレーニングされると分類される入力410は、ANN 400の第1のレイヤまたは入力レイヤの対応するノード404に提供される。値は層を通って伝播し、目的関数によって変更される。
上述したように、処理ノード404のセットは、ニューラルネットワークをトレーニングしてトレーニング済ニューラルネットワークを作成するように配置される。トレーニングされると、ANN 400へのデータ入力は、例えば、有効な分類412(例えば、入力データ410はカテゴリに割り当てられる)を生成する。処理ノード404のセットによって実行されるトレーニングは反復的である。一例では、ニューラルネットワークのトレーニングの各反復は、ANN 400の層間で独立して行われる。したがって、処理ノード404のセットの異なるメンバによって、2つの別個の層を並行して処理されうる。一例では、ANN 400の異なるレイヤは、異なるハードウェア上でトレーニングされる。処理ノード404のセットの異なるメンバのメンバは、異なるパッケージ、ハウジング、コンピュータ、クラウドベースのリソースなどに配置されうる。一例では、トレーニングの各反復は、ノード404のセットのノード404間で独立して行われる。一例では、ノード404は異なるハードウェア上でトレーニングされる。
したがって、パッセンジャーによる運転中またはパッセンジャーからのフィードバックを伴う自律型車両による運転中に収集された運転スタイルパラメータは、図4に示される機械学習モジュール360に与えられ、パッセンジャーの運転スタイルモデルとなる分類412を与える。この運転スタイルモデルは、運転スタイルモジュール370に格納され、運転スタイルモジュール370に格納されたパラメータによって反映されるパッセンジャーの好みおよび快適性レベルを反映するようにモーションプランナ330の動作を変更するために使用される。例えば、図5に示されるように、パッセンジャーの運転スタイルパラメータによってトレーニングされた運転スタイルモジュール370は、自律型車両制御システムに接続されて、パッセンジャーの運転スタイルを反映するように作動パラメータ110を変更するために運転スタイルパラメータをモーションプランナ108に与える。
上述したように、運転スタイルモジュール370は、車両と共に残ることができる、またはパッセンジャーが自律型車両310に乗車しているときに使用するためのフォブ、スマートフォン、またはアクセス可能なクラウドメモリなどのメモリデバイスに格納することができる。運転スタイルモジュールは、必要に応じて、無線通信インターフェース303のセンサデータ入力インターフェース304を介してコンピュータ300にプラグインされてもよく、またはデータが送信されてもよい。あるいは、自律型車両310のセンサ370は、キーフォブからパッセンジャーを認識し、顔認識、虹彩認識、音声認識などを介してデータにログインし、運転スタイルモジュール370からドライバー(パッセンジャー)の運転スタイルパラメータを自動的にダウンロードすることができる。不確実な場合、システムは、パッセンジャーに、自分自身を識別するように、および/または運転スタイルモジュール370をプラグインするように、あるいは運転スタイルパラメータを与えるように要求することができる。機械学習モジュール360のコスト関数は、直接のパッセンジャーフィードバックまたは心拍数検出器などからの受動フィードバックに基づいて車両動作中に変更され続け、運転スタイルモデルは変更され、運転スタイルモジュール370はそれに応じて更新される。
商用自律型車両がパッセンジャーの快適性レベルを満たすためには、1つの運転スタイルモデルがすべてのパッセンジャーを満たすわけではないため、商用自律型車両は適応可能でなければならないことが認識されている。そのような状況では、運転スタイルモジュール370は上記のように経時的にトレーニングされ、運転スタイルモジュール370は、パッセンジャーが自律型車両に乗車しているときにモーションプランナ108に注入される。次いで、運転制御モジュール370に格納された運転制御モデルのパラメータは、自律型車両の作動パラメータ110を生成するためにモーションプランナ108によって使用される。このやり方で、個人運転スタイルモジュール370は、自動運転車、ファミリーカー、商用共有車、タクシーなどに個人向け運転スタイルパラメータを注入する。サンプル実施形態では、個人運転スタイルモジュール370は、トレーニングされ、パッセンジャーの携帯電話またはキーフォブに格納され、次いで、旅行が開始される前に自律型車両のモーションプランナ108にロードされる。必要に応じて、運転スタイルモジュールは、自律型車両310の異なるパッセンジャー間で共有されうる。
図6は、第1のサンプル実施形態による、パッセンジャーの運転スタイルに基づいて自律型車両の動作を変更する方法のフローチャートを示す。図示されたプロセスは、全面的にプロセッサ301(図3)上で実装されてもよく、またはトレーニングプロセスはオフラインで実施され、動作中に適切な制御動作を実装するために自律型車両310に通信される個人向け運転スタイルモジュール370を作成してもよい。図示されるように、プロセスは、600において、入力デバイスへの入力、キーフォブの認識、パッセンジャーのスマートフォンからの通信に基づいて、および/または顔認識、音声認識、虹彩認識、または他の識別技術を使用したパッセンジャーの感覚認識によって、602においてパッセンジャーが自分自身を識別することによって開始する。パッセンジャーが識別されると、604において、自律型車両310のモーションプランナ330の機械学習モジュール360は、パッセンジャーの運転スタイルに関する入力を受け入れる。サンプル実施形態では、運転スタイル入力は、動作中の車両の速度、加速、制動、および/または操舵を表すデータを含む。動作中、自律型車両310のモーションプランナ330の機械学習モジュール360はまた、自律型車両310の運転スタイルに関するパッセンジャーフィードバックを受信することができる。サンプル実施形態では、フィードバックデータは、センサデータ入力インターフェース304で音声、タッチスクリーン、スマートフォン入力などによって、パッセンジャーによって提供されるアクティブフィードバックデータ606、および/またはカメラ、パッセンジャーウェアラブルデバイス、車内センサなどのセンサ350によってパッセンジャーから収集されたパッシブフィードバックデータ608であってもよい。フィードバックは、動作中の自律型車両の速度、加速、制動、および操舵、ならびに自律型車両動作中のパッセンジャーの快適さ/不快感に関する。フィードバックデータは、610において動作中に機械学習モジュール360によって受信され、612において機械学習モジュール360をトレーニングしてパッセンジャーの個人運転スタイルの意思決定モデルを作成するためコスト関数を調整するために使用される。個人運転スタイルの意思決定モデルは、キーフォブ、スマートフォン、クラウドベースのメモリデバ
イスなどを含むことができるメモリ616に614で格納される。618において、自律型車両の動作は、パッセンジャーのための個人運転スタイルの意思決定モデルを使用して制御される。
図7は、第2のサンプル実施形態による、パッセンジャーの運転スタイル好みプロファイルデータを注入することによって自律型車両の動作を変更する方法のフローチャートを示す。図示されたプロセスは、全体がプロセッサ301(図3)上に実装されてもよく、または個人向け運転スタイルモジュール370は、オフラインで作成され、適切な制御動作を実装するために自律型車両310に通信されてもよい。図示されるように、プロセスは、700において、ドライバーの運転習慣に関する動きセンサデータ702を収集して、704においてドライバーの運転スタイル好みプロファイルを作成することによって開始する。運転スタイル好みプロファイルは、706において運転スタイルモジュール708に格納され、710において自律型車両のモーションプランナに提供されて、運転スタイル好みプロファイルの注入時に自律型車両の動作を変更する。次いで、車両の動きは、712において、モーションプランナから受信したパラメータに基づいて調整される。この実施形態では、運転スタイルモジュール708は、図6の実施形態で提供されるフィードバック動作の利用可能性に関係なく、車両動作中にモーションプランナに注入されうる。
したがって、本明細書に記載されたシステムおよび方法は、乗車体験のためのある程度のパーソナライズを提供することによって、自律型車両のパッセンジャーに向上したレベルの快適さを提供する。様々な実装形態では、自律型車両製造業者は、運転スタイルモデルの個人向けパラメータが自律型車両のモーションプランナ108に動的に通信されうるように、運転スタイルモジュール370のための通信機構および/またはプラグインスロットを提供する。もちろん、個人運転スタイルモジュールロード機構は、不適切なデータの注入を同時に防止しながら、運転スタイルパラメータを安全に注入するために、業界標準のセキュリティプロトコルの周りに十分なセキュリティ予防措置を有するべきである。
図8は、サンプル実施形態による、図1~図7に関して上述したような個人向け運転スタイルモジュールを自律型車両に提供するシステムおよび方法を実施するための処理システムの形の回路を示すブロック図である。様々な実施形態において、すべての構成要素が使用される必要はない。コンピュータ800の形の1つの例示的なコンピューティングデバイスは、処理ユニット802、メモリ803、キャッシュ807、リムーバブルストレージ811、および非リムーバブルストレージ822を含んでもよい。例示的なコンピューティングデバイスがコンピュータ800として図示および説明されているが、コンピューティングデバイスは、異なる実施形態では異なる形であり得る。例えば、コンピューティングデバイスは、図3のコンピュータ300であってもよく、または代わりに、スマートフォン、タブレット、スマートウォッチ、または図3に関して図示および説明されるのと同じかもしくは同様の要素を含む他のコンピューティングデバイスであってもよい。スマートフォン、タブレット、スマートウォッチなどのデバイスは一般に、モバイルデバイスまたはユーザ機器と総称される。さらに、様々なデータ記憶要素がコンピュータ800の一部として図示されているが、ストレージは、これに加えてまたは代替として、インターネットやサーバベースのストレージなど、ネットワークを介してアクセス可能なクラウドベースのストレージを含んでいてもよい。
メモリ803は、揮発性メモリ814および不揮発性メモリ808を含みうる。コンピュータ800はまた、揮発性メモリ814および不揮発性メモリ808、リムーバブルストレージ811および非リムーバブルストレージ822などの、様々なコンピュータ可読媒体を含みうるか、またはこれらを含むコンピューティング環境にアクセスしうる。コンピュータストレージには、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、消去可能プログラマブル読出し専用メモリ(EPROM)、もしくは電気的消去可能プログラマブル読出し専用メモリ(EEPROM)、フラッシュメモリもしくは他のメモリ技術、コンパクトディスク読出し専用メモリ(CD ROM)、デジタル多用途ディスク(DVD)、もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、またはコンピュータ可読命令を格納することが可能な任意の他の媒体が含まれる。
コンピュータ800は、入力インターフェース826、出力インターフェース824、および通信インターフェース816を含むコンピューティング環境を含むか、またはそれにアクセスすることができる。出力インターフェース824は、入力デバイスとしても機能しうる、タッチスクリーンなどの表示デバイスを含みうる。入力インターフェース826は、タッチスクリーン、タッチパッド、マウス、キーボード、カメラ、1つまたは複数のデバイス固有のボタン、コンピュータ800内に統合されるかまたは有線もしくは無線データ接続を介してコンピュータ800に結合された1つまたは複数のセンサ、および他の入力デバイスを含みうる。コンピュータ800は、パーソナルコンピュータ(PC)、サーバ、ルータ、ネットワークPC、ピアデバイスまたは他の一般的なDFDネットワークスイッチなどを含むことができる、1つまたは複数のリモートコンピュータに接続するために通信接続を使用してネットワーク環境で動作することができる。通信接続は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、セルラ、Wi-Fi、ブルートゥース(登録商標)、または他のネットワークを含みうる。一実施形態によれば、コンピュータ800の様々な構成要素は、システムバス820に接続される。
コンピュータ可読媒体に格納されたコンピュータ可読命令は、プログラム818などのコンピュータ800の処理ユニット802によって実行可能である。いくつかの実施形態におけるプログラム818は、処理ユニット802によって実行されると、本明細書に含まれる実施形態のいずれかによる運転スタイル動作を実行するソフトウェアを含む。ハードドライブ、CD-ROM、およびRAMは、ストレージデバイスなどの非一時的コンピュータ可読媒体を含む物品のいくつかの例である。コンピュータ可読媒体およびストレージデバイスという用語は、搬送波が一時的であるとみなされる限りにおいて、搬送波を含まない。ストレージは、ストレージエリアネットワーク(SAN)などのネットワークストレージも含むことができる。コンピュータプログラム818はまた、処理時に処理ユニット802に本明細書に記載された1つまたは複数の方法またはアルゴリズムを実行させる命令モジュールを含むことができる。
以上ではいくつかの実施形態が詳細に説明されているが、他の変形形態も可能である。例えば、図に示されている論理フローは、所望の結果を達成するために、図示されている特定の順序、すなわち順番を必要としない。他のステップが提供されてもよく、または記載されたフローからステップが除去されてもよく、記載されたシステムに他の構成要素が追加されてもよく、または記載されたシステムから除去されてもよい。添付の特許請求の範囲内には他の実施形態があり得る。
本開示のステップのいずれか1つまたはすべてに関して上述したような処理および動作を容易にする1つまたは複数のコンピュータ実行可能命令を含むソフトウェアは、本開示と一致する1つまたは複数のコンピューティングデバイスにインストールされ、それと共に販売されうることをさらに理解されたい。代替的に、ソフトウェアは、例えば、ソフトウェア作成者によって所有されているサーバから、またはソフトウェア作成者によって所有されていないが使用されているサーバからを含めて、物理媒体または配布システムを介してソフトウェアを取得することを含めて、取得されて1つまたは複数のコンピューティングデバイスにロードされうる。ソフトウェアは、例えば、インターネット上で配布するためのサーバに格納されうる。
また、本開示は、その適用において、説明に記載されたまたは図面に示された構成要素の構造および配置の詳細に限定されないことが当業者によって理解されるであろう。本明細書の実施形態は、他の実施形態が可能であり、様々な方法で実施または実行されうる。また、本明細書で使用される表現および用語は、説明のためのものであり、限定するものとみなされるべきではないことが理解されるであろう。本明細書における「含む」、「備える」または「有する」およびその変形の使用は、その後に列挙される項目およびその均等物ならびに追加の項目を包含することを意味する。特に限定されない限り、本明細書における「接続される」、「結合される」、および「取り付けられる」という用語ならびにそれらの変形は、広く使用され、直接的および間接的な接続、結合、および取り付けを包含する。加えて、「接続される」および「結合される」という用語およびそれらの変形は、物理的または機械的な接続または結合に限定されない。
図示された実施形態により採用される例示的なデバイス、システム、および方法の構成要素は、少なくとも部分的に、デジタル電子回路、アナログ電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実施されうる。これらの構成要素は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のコンピュータなどのデータ処理装置によって実行される、またはその動作を制御するために、情報キャリア、または機械可読記憶デバイスに有形に具現化されたコンピュータプログラム、プログラムコードまたはコンピュータ命令などのコンピュータプログラム製品として実装されうる。
コンピュータプログラムは、コンパイル言語またはインタプリタ言語を含む任意の形のプログラミング言語で記述され得、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして含む任意の形で展開されうる。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトの複数のコンピュータ上で実行されるように、または複数のサイトにわたって分散され、通信ネットワークによって相互接続されるように展開されうる。また、本明細書に記載された技術を達成するための機能プログラム、コード、およびコードセグメントは、本明細書に記載された技術が関連する当業者によって特許請求の範囲内にあると容易に解釈されうる。例示的な実施形態に関連付けられた方法ステップは、機能(例えば、入力データを操作し、および/または出力を生成することによって)を実行するためのコンピュータプログラム、コード、または命令を実行する1つまたは複数のプログラマブルプロセッサによって実行されうる。方法ステップはまた、例えばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)などの専用論理回路によって実行され得、方法を実行するための装置は、専用論理回路として実装されうる。
本明細書に開示された実施形態に関して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASIC、FPGAもしくは他のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタ論理、ディスクリートハードウェア構成要素、または本明細書に記載された機能を実行するように設計されたそれらの任意の組み合わせにより実装または実行されうる。汎用プロセッサはマイクロプロセッサであってもよいが、代替的に、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、またはその他の任意のこのような構成として実装されうる。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用および専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般に、プロセッサは、読出し専用メモリまたはランダムアクセスメモリあるいはその両方から命令およびデータを受信する。コンピュータの必要な要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを格納するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを格納するための1つまたは複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含むか、それらからデータを受信するか、それらにデータを転送するか、それらの両方を行うように動作可能に結合される。コンピュータプログラム命令およびデータを具現化するのに適した情報キャリアは、例として、半導体メモリデバイス、例えば、電気的にプログラマブルな読出し専用メモリまたはROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリデバイス、およびデータストレージディスク(例えば、磁気ディスク、内蔵ハードディスク、またはリムーバブルディスク、光磁気ディスク、CD-ROMおよびDVD-ROMディスク)を含む、あらゆる形の不揮発性メモリを含む。プロセッサおよびメモリは、専用論理回路によって補完されうるか、または専用論理回路に組み込まれうる。
当業者は、情報および信号が様々な異なる技術および技法のいずれかを使用して表されうることを理解する。例えば、上記の説明全体で参照されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは粒子、光場もしくは粒子、またはそれらの任意の組み合わせによって表されうる。
本明細書で使用される場合、「機械可読媒体」は、命令およびデータを一時的または永続的に格納することができるデバイスを意味し、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、バッファメモリ、フラッシュメモリ、光学媒体、磁気媒体、キャッシュメモリ、他の種類のストレージ(例えば、消去可能プログラマブル読出し専用メモリ(EEPROM))、および/またはそれらの任意の適切な組み合わせを含みうるが、これらに限定されない。「機械可読媒体」という用語は、プロセッサ命令を格納することができる単一の媒体または複数の媒体(例えば、集中型もしくは分散型データベース、または関連するキャッシュおよびサーバ)を含むと解釈されるべきである。「機械可読媒体」という用語はまた、命令が、1つまたは複数のプロセッサ802による実行時に、1つまたは複数のプロセッサ802に、本明細書に記載された方法論のうちの任意の1つまたは複数を実行させるように、1つまたは複数のプロセッサ802による実行のための命令を格納することができる任意の媒体、または複数の媒体の組み合わせを含むと解釈されるべきである。したがって、「機械可読媒体」は、単一のストレージ装置またはデバイス、ならびに複数のストレージ装置またはデバイスを含む「クラウドベースの」ストレージシステムを指す。
サンプル実施形態では、自律型車両の運転スタイル管理を提供する方法に関してサンプル実施形態を説明したが、本明細書に記載された開示はそのように限定されないことが当業者には理解されよう。例えば、本明細書に記載された技術は、部分的にのみ自律的である車両に運転スタイルの好みを収集し提供するために使用されうる。例えば、運転スタイルパラメータは、格納され、標準的な非自律型車両のクルーズ制御動作を管理するために使用されうる。
加えて、様々な実施形態において別個かまたは分離したものとして説明および図示された技法、システム、サブシステム、および方法が、本開示の範囲を逸脱することなく、他のシステム、モジュール、技法、または方法と結合または統合される場合もある。互いに結合されるかまたは直接結合されるかまたは通信し合うものとして図示または考察された他の項目が、電気的にせよ、機械的にせよ、またはそれ以外にせよ、何らかのインターフェース、デバイス、または介在構成要素を介して間接的に結合されるかまたは通信する場合もある。交換、代用、および変更の他の例も、当業者により確認可能であり、本明細書において開示される趣旨および範囲を逸脱することなく実施することができる。
本開示は当該特定の特徴および実施形態を参照して説明されてきたが、本開示の範囲から逸脱することなく様々な変更および組み合わせをそれに行いうることは明らかである。したがって、本明細書および本図面は、添付の特許請求の範囲によって規定される本開示の例示として単にみなされるべきであり、本開示の範囲内に含まれるありとあらゆる修正、変形、組み合わせ、または均等物を包含すると考えられる。
100 自律型車両運転制御アーキテクチャ
102 知覚システム
104 ミッションプランナ
105 マップ属性
106 挙動プランナ
108 モーションプランナ
110 制御、作動パラメータ
112 失敗分析および回復プランナ
200 自律型車両
202 車線維持
204 車線変更
206 ブレーキ保持
208 旋回
300 コンピューティングデバイス
301 プロセッサ
302 メモリ
303 無線通信インターフェース
304 センサデータ入力インターフェース
305 制御データ出力インターフェース
306 通信チャネル
310 自律型車両
311 センサ
312 制御システム
320 軌道プランナ
330 モーションプランナ
340 コントローラ
350 パッセンジャーセンサ
360 機械学習モジュール
370 運転スタイルモジュール、運転制御モジュール
400 人工ニューラルネットワーク(ANN)
402 処理ノード
404 処理ノード
406 トレーニングセット
408 ノード間重み
410 入力データ
412 分類
602 パッセンジャー
606 アクティブフィードバックデータ
608 パッシブフィードバック
616 メモリ
702 動きセンサデータ
708 運転スタイルモジュール
800 コンピュータ
802 プロセッサ、処理ユニット
803 メモリ
807 キャッシュ
808 不揮発性メモリ
811 リムーバブルストレージ
814 揮発性メモリ
816 通信インターフェース
818 コンピュータプログラム
820 システムバス
822 非リムーバブルストレージ
824 出力インターフェース
826 入力インターフェース

Claims (24)

  1. パッセンジャーの運転スタイル意思決定モデルに基づいて自律型車両の動作を変更するコンピュータ実装方法であって、
    前記自律型車両のモーションプランナのための機械学習モジュールが前記自律型車両の運転スタイルに関する入力を受け入れるステップであって、前記運転スタイル入力は、動作中の自律型車両の速度、加速、制動、および操舵のうちの少なくとも1つを表すデータを含む、ステップと、
    前記自律型車両の前記モーションプランナの前記機械学習モジュールが動作中にパッセンジャーフィードバックを受信するステップであって、前記パッセンジャーフィードバックは前記自律型車両の前記運転スタイルに関する、ステップと、
    前記パッセンジャーフィードバックが、前記パッセンジャーのための個人運転スタイルの意思決定モデルを作成するために前記機械学習モジュールをトレーニングするステップと、
    前記パッセンジャーのための前記個人運転スタイルの意思決定モデルを使用して前記自律型車両の動作を制御するステップと
    を含むコンピュータ実装方法。
  2. 前記パッセンジャーフィードバックは、音声、タッチスクリーン、スマートフォン入力、車内センサ、および前記パッセンジャーのウェアラブルセンサのうちの少なくとも1つによって提供され、前記パッセンジャーフィードバックは、動作中の自律型車両の速度、加速、制動、および操舵、ならびに自律型車両動作中のパッセンジャーの快適性/不快感のうちの少なくとも1つに関する、請求項1に記載の方法。
  3. 前記パッセンジャーフィードバックは、前記機械学習モジュールのコスト関数を調整する、請求項1に記載の方法。
  4. 前記機械学習モジュールが前記自律型車両の動作前または動作中に前記パッセンジャーから前記個人運転スタイルの意思決定モデルのパラメータを受信するステップと、前記機械学習モジュールが前記自律型車両の動作中のパッセンジャーフィードバックに基づいて前記個人運転スタイルの意思決定モデルを変更するステップとをさらに含む、請求項1に記載の方法。
  5. 前記自律型車両のパッセンジャーを認識するステップと、前記認識されたパッセンジャーからの前記個人運転スタイルの意思決定モデルの前記パラメータを前記機械学習モジュールにロードするステップとをさらに含む、請求項4に記載の方法。
  6. 前記個人運転スタイルの意思決定モデルの前記パラメータは、前記パッセンジャーのメモリ記憶デバイスに格納され、前記メモリ記憶デバイスから前記機械学習モジュールに通信される、請求項4に記載の方法。
  7. 前記メモリ記憶デバイスは、キーフォブ、スマートフォン、およびクラウドベースのメモリのうちの少なくとも1つを含む、請求項6に記載の方法。
  8. パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更するコンピュータ実装方法であって、
    ドライバーの運転スタイル好みプロファイルを作成するために前記ドライバーの運転習慣に関する動きセンサデータを収集するステップと、
    前記運転スタイル好みプロファイルを運転スタイルモジュールに格納するステップと、
    前記運転スタイル好みプロファイルにより前記自律型車両の動作を変更するために、前記運転スタイルモジュールから前記自律型車両のモーションプランナに前記運転スタイル好みプロファイルを提供するステップと
    を含むコンピュータ実装方法。
  9. 前記自律型車両の前記モーションプランナのための機械学習モジュールが、入力として、前記運転スタイル好みプロファイルおよび前記自律型車両の運転スタイルに関する入力を受け入れるステップであって、前記運転スタイル入力は、動作中の自律型車両の速度、加速、制動、および操舵のうちの少なくとも1つを表すデータを含む、ステップと、前記自律型車両の前記モーションプランナの前記機械学習モジュールが動作中にパッセンジャーフィードバックを受信するステップであって、前記パッセンジャーフィードバックが前記自律型車両の前記運転スタイルに関する、ステップと、前記パッセンジャーのための個人運転スタイルの意思決定モデルを作成するために、前記運転スタイル好みプロファイルおよびパッセンジャーフィードバックを使用して前記機械学習モジュールをトレーニングするステップとをさらに含む、請求項8に記載の方法。
  10. 前記パッセンジャーフィードバックは、音声、タッチスクリーン、スマートフォン入力、車内センサ、および前記パッセンジャーのウェアラブルセンサのうちの少なくとも1つによって提供され、前記パッセンジャーフィードバックは、動作中の自律型車両の速度、加速、制動、および操舵、ならびに自律型車両動作中のパッセンジャーの快適性/不快感のうちの少なくとも1つに関する、請求項9に記載の方法。
  11. 前記パッセンジャーフィードバックは、前記機械学習モジュールのコスト関数を調整する、請求項10に記載の方法。
  12. 前記自律型車両のパッセンジャーを認識するステップと、前記認識されたパッセンジャーのための運転スタイル好みプロファイルを前記機械学習モジュールにロードするステップとをさらに含む、請求項9に記載の方法。
  13. 前記パッセンジャー運転スタイル好みプロファイルは、前記パッセンジャーのメモリ記憶デバイスに格納され、前記メモリ記憶デバイスから前記機械学習モジュールに通信される、請求項12に記載の方法。
  14. 前記メモリ記憶デバイスは、キーフォブ、スマートフォン、およびクラウドベースのメモリのうちの少なくとも1つを含む、請求項13に記載の方法。
  15. パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更する自律型車両制御システムであって、
    ドライバーの運転習慣に関する動きセンサデータを提供する動きセンサと、
    前記動きセンサデータから前記ドライバーの運転スタイル好みプロファイルを作成するプロセッサと、
    前記運転スタイル好みプロファイルを格納する運転スタイルモジュールと、
    前記運転スタイルモジュールから前記運転スタイル好みプロファイルを受信し、前記運転スタイル好みプロファイルにより前記自律型車両の動作を変更するモーションプランナと
    を備える自律型車両制御システム。
  16. 入力として、前記運転スタイル好みプロファイルおよび前記自律型車両の運転スタイルに関する入力を受け入れ、前記運転スタイル入力は、動作中の自律型車両の速度、加速、制動、および操舵のうちの少なくとも1つを表すデータを含む、機械学習モジュールであって、前記機械学習モジュールは、前記自律型車両の動作中にパッセンジャーフィードバックをさらに受信し、前記パッセンジャーフィードバックは前記自律型車両の前記運転スタイルに関するものであり、前記機械学習モジュールは、前記パッセンジャーのための個人運転スタイルの意思決定モデルを作成するために、前記運転スタイル好みプロファイルおよびパッセンジャーフィードバックを使用してトレーニングされる、機械学習モジュールをさらに備える、請求項15に記載の自律型車両制御システム。
  17. 音声認識デバイス、タッチスクリーン、スマートフォン、車内センサ、および前記パッセンジャーのウェアラブルセンサのうちの少なくとも1つを含む入力デバイスをさらに備え、前記入力デバイスによって提供されるフィードバックは、動作中の自律型車両の速度、加速、制動、および操舵、ならびに自律型車両動作中のパッセンジャーの快適性/不快感のうちの少なくとも1つに関する、請求項16に記載の自律型車両制御システム。
  18. 前記パッセンジャーフィードバックが前記機械学習モジュールのコスト関数を調整する、請求項17に記載の自律型車両制御システム。
  19. 前記自律型車両のパッセンジャーを認識し、前記認識されたパッセンジャーのための運転スタイル好みプロファイルを前記機械学習モジュールにロードするセンサをさらに備える、請求項16に記載の自律型車両制御システム。
  20. 前記運転スタイルモジュールは、前記運転スタイル好みプロファイルを格納し、前記運転スタイル好みプロファイルを前記モーションプランナに通信する、キーフォブ、スマートフォン、およびクラウドベースのメモリのうちの少なくとも1つを含む、請求項15に記載の自律型車両制御システム。
  21. パッセンジャーの運転スタイル好みプロファイルに基づいて自律型車両の動作を変更するためのコンピュータ命令を格納する非一時的コンピュータ可読媒体であって、前記コンピュータ命令が、1つまたは複数のプロセッサによって実行されるとき、前記1つまたは複数のプロセッサに、
    ドライバーの運転スタイル好みプロファイルを作成するために前記ドライバーの運転習慣に関する動きセンサデータを収集するステップと、
    前記運転スタイル好みプロファイルを運転スタイルモジュールに格納するステップと、
    前記運転スタイル好みプロファイルにより前記自律型車両の動作を変更するために、前記運転スタイルモジュールから前記自律型車両のモーションプランナに前記運転スタイル好みプロファイルを提供するステップと
    を実行させる非一時的コンピュータ可読媒体。
  22. 前記自律型車両の前記モーションプランナのための機械学習モジュールを実装するための命令をさらに含み、前記命令が、前記1つまたは複数のプロセッサによって処理されるとき、前記1つまたは複数のプロセッサに、入力として、前記運転スタイル好みプロファイルおよび前記自律型車両の運転スタイルに関する入力を受け入れるステップであって、前記運転スタイル入力は、動作中の自律型車両の速度、加速、制動、および操舵のうちの少なくとも1つを表すデータを含む、ステップと、前記自律型車両の前記モーションプランナの前記機械学習モジュールが動作中にパッセンジャーフィードバックを受信するステップであって、前記パッセンジャーフィードバックは前記自律型車両の前記運転スタイルに関する、ステップと、前記パッセンジャーのための個人運転スタイルの意思決定モデルを作成するために、前記運転スタイル好みプロファイルおよびパッセンジャーフィードバックを使用して前記機械学習モジュールをトレーニングするステップとを追加的に実行させる、請求項21に記載の媒体。
  23. 前記1つまたは複数のプロセッサによって処理されるとき、前記1つまたは複数のプロセッサに、前記自律型車両の前記運転スタイルに関する前記パッセンジャーフィードバックに基づいて前記機械学習モジュールのコスト関数を調整させる命令をさらに含む、請求項22に記載の媒体。
  24. 前記1つまたは複数のプロセッサによって処理されるとき、前記1つまたは複数のプロセッサに、前記自律型車両のパッセンジャーを認識させ、前記認識されたパッセンジャーのための運転スタイル好みプロファイルを前記機械学習モジュールにロードさせる命令をさらに含む、請求項22に記載の媒体。
JP2021532936A 2018-12-10 2019-04-24 自律運転のための個人運転スタイル学習 Active JP7361775B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862777655P 2018-12-10 2018-12-10
US62/777,655 2018-12-10
PCT/CN2019/084068 WO2020119004A1 (en) 2018-12-10 2019-04-24 Personal driving style learning for autonomous driving

Publications (2)

Publication Number Publication Date
JP2022514484A true JP2022514484A (ja) 2022-02-14
JP7361775B2 JP7361775B2 (ja) 2023-10-16

Family

ID=71076360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021532936A Active JP7361775B2 (ja) 2018-12-10 2019-04-24 自律運転のための個人運転スタイル学習

Country Status (5)

Country Link
US (1) US20200216094A1 (ja)
EP (1) EP3870491A4 (ja)
JP (1) JP7361775B2 (ja)
CN (1) CN112805198B (ja)
WO (1) WO2020119004A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073880B2 (ja) * 2018-04-19 2022-05-24 トヨタ自動車株式会社 進路決定装置
GB2608567B (en) * 2018-12-18 2023-06-14 Motional Ad Llc Operation of a vehicle using motion planning with machine learning
US10915109B2 (en) * 2019-01-15 2021-02-09 GM Global Technology Operations LLC Control of autonomous vehicle based on pre-learned passenger and environment aware driving style profile
US20200369268A1 (en) * 2019-05-20 2020-11-26 Toyota Research Institute, Inc. Vehicles and systems for predicting road agent behavior based on driving style
KR20210073686A (ko) * 2019-12-10 2021-06-21 현대자동차주식회사 운전자 인증 기반 개인화 주행모드 제어 장치, 그를 포함한 시스템 및 그 방법
US11420645B2 (en) * 2019-12-11 2022-08-23 At&T Intellectual Property I, L.P. Method and apparatus for personalizing autonomous transportation
WO2021150779A1 (en) * 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation
KR20210120393A (ko) * 2020-03-26 2021-10-07 현대자동차주식회사 자율주행차량의 제어권 전환 장치 및 그 방법
WO2022019932A1 (en) * 2020-07-21 2022-01-27 Harman International Industries, Incorporated Systems and methods for data security in autonomous vehicles
CN112061123B (zh) * 2020-08-18 2021-07-20 纵联汽车工业工程研究(天津)有限公司 基于脉冲信号的新能源汽车匀速控制方法及装置
CN112009465B (zh) * 2020-09-04 2021-12-28 中国第一汽车股份有限公司 一种泊车辅助雷达的控制方法、装置、系统、车辆及介质
EP4247648A1 (en) * 2020-11-23 2023-09-27 Volvo Truck Corporation System and method for tire contact patch optimization
CN112677983B (zh) * 2021-01-07 2022-04-12 浙江大学 一种识别驾驶员驾驶风格的系统
CN112861910A (zh) * 2021-01-07 2021-05-28 南昌大学 一种网络模拟机器自学习方法及其装置
CN113173170B (zh) * 2021-01-08 2023-03-17 海南华天科创软件开发有限公司 基于人员画像个性化算法
CN113022578B (zh) * 2021-04-02 2023-04-07 中国第一汽车股份有限公司 基于车辆运动信息乘客提醒方法、系统、车辆及存储介质
US11657422B2 (en) * 2021-05-13 2023-05-23 Gm Cruise Holdings Llc Reward system for autonomous rideshare vehicles
CN113511215B (zh) * 2021-05-31 2022-10-04 西安电子科技大学 一种混合自动驾驶决策方法、设备及计算机存储介质
CN113895464B (zh) * 2021-12-07 2022-04-08 武汉理工大学 融合个性化驾驶风格的智能车驾驶地图生成方法及系统
US20230227061A1 (en) * 2022-01-14 2023-07-20 Aurora Operations, Inc. Systems and Methods for Pareto Domination-Based Learning
JP2023165317A (ja) * 2022-05-02 2023-11-15 トヨタ自動車株式会社 個人特性管理システム、個人特性管理方法及びプログラム
DE102022126555A1 (de) 2022-10-12 2024-04-18 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur Prädiktion von gruppenspezifischen Bewertungen eines ADAS/ADS-Systems
CN115476884A (zh) * 2022-10-31 2022-12-16 重庆长安汽车股份有限公司 一种自动驾驶中横向偏移方法及装置、电子设备、存储介质
CN117207976A (zh) * 2023-09-25 2023-12-12 赛力斯汽车有限公司 一种基于驾驶风格的换道方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170369052A1 (en) * 2014-12-29 2017-12-28 Robert Bosch Gmbh Systems and methods for operating autonomous vehicles using personalized driving profiles
JP2018024286A (ja) * 2016-08-08 2018-02-15 日立オートモティブシステムズ株式会社 自動運転装置
JP2018052160A (ja) * 2016-09-26 2018-04-05 三菱自動車工業株式会社 運転支援装置
JP2018108800A (ja) * 2016-12-28 2018-07-12 バイドゥ ユーエスエイ エルエルシーBaidu USA LLC 自律走行車の速度制御率の動的調整方法
WO2018154995A1 (ja) * 2017-02-22 2018-08-30 ジヤトコ株式会社 車両制御装置及び車両制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013210941A1 (de) * 2013-06-12 2014-12-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US9766625B2 (en) * 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
US20170174221A1 (en) * 2015-12-18 2017-06-22 Robert Lawson Vaughn Managing autonomous vehicles
US9827993B2 (en) * 2016-01-14 2017-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for improving ride quality in an autonomous vehicle
US20170217445A1 (en) * 2016-01-29 2017-08-03 GM Global Technology Operations LLC System for intelligent passenger-vehicle interactions
US10035519B2 (en) * 2016-03-15 2018-07-31 GM Global Technology Operations LLC System and method for autonomous vehicle driving behavior modification
CN105818810B (zh) * 2016-04-22 2018-07-27 百度在线网络技术(北京)有限公司 应用于无人驾驶汽车的控制方法及智能设备
US10049328B2 (en) * 2016-10-13 2018-08-14 Baidu Usa Llc Group driving style learning framework for autonomous vehicles
US20180143641A1 (en) 2016-11-23 2018-05-24 Futurewei Technologies, Inc. Motion controlling method for an autonomous vehicle and a computer device
US20180170392A1 (en) * 2016-12-20 2018-06-21 Baidu Usa Llc Method and System to Recognize Individual Driving Preference for Autonomous Vehicles
US10449958B2 (en) * 2017-02-15 2019-10-22 Ford Global Technologies, Llc Feedback-based control model generation for an autonomous vehicle
US20180307228A1 (en) * 2017-04-20 2018-10-25 GM Global Technology Operations LLC Adaptive Autonomous Vehicle Driving Style
US10692371B1 (en) * 2017-06-20 2020-06-23 Uatc, Llc Systems and methods for changing autonomous vehicle operations based on user profiles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170369052A1 (en) * 2014-12-29 2017-12-28 Robert Bosch Gmbh Systems and methods for operating autonomous vehicles using personalized driving profiles
JP2018024286A (ja) * 2016-08-08 2018-02-15 日立オートモティブシステムズ株式会社 自動運転装置
JP2018052160A (ja) * 2016-09-26 2018-04-05 三菱自動車工業株式会社 運転支援装置
JP2018108800A (ja) * 2016-12-28 2018-07-12 バイドゥ ユーエスエイ エルエルシーBaidu USA LLC 自律走行車の速度制御率の動的調整方法
WO2018154995A1 (ja) * 2017-02-22 2018-08-30 ジヤトコ株式会社 車両制御装置及び車両制御方法

Also Published As

Publication number Publication date
EP3870491A1 (en) 2021-09-01
EP3870491A4 (en) 2022-03-23
CN112805198A (zh) 2021-05-14
WO2020119004A1 (en) 2020-06-18
JP7361775B2 (ja) 2023-10-16
US20200216094A1 (en) 2020-07-09
CN112805198B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
JP7361775B2 (ja) 自律運転のための個人運転スタイル学習
US11493926B2 (en) Offline agent using reinforcement learning to speedup trajectory planning for autonomous vehicles
US11467591B2 (en) Online agent using reinforcement learning to plan an open space trajectory for autonomous vehicles
US11231717B2 (en) Auto-tuning motion planning system for autonomous vehicles
EP3660745B1 (en) Real time decision making for autonomous driving vehicles
JP6773040B2 (ja) 情報処理システム、および情報処理システムの情報処理方法、情報処理装置、並びにプログラム
JP6922739B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11269329B2 (en) Dynamic model with learning based localization correction system
US20190318267A1 (en) System and method for training a machine learning model deployed on a simulation platform
US11409284B2 (en) Relaxation optimization model to plan an open space trajectory for autonomous vehicles
EP4041607B1 (en) System and method for controlling an autonomous vehicle adaptive to user driving preferences
US11372417B2 (en) Method for predicting exiting intersection of moving obstacles for autonomous driving vehicles
EP4020113A1 (en) Dynamic model evaluation package for autonomous driving vehicles
US11814073B2 (en) Learning based controller for autonomous driving
CN111746557B (zh) 用于车辆的路径规划融合
CN111661045B (zh) 训练用于察觉碰撞的轨迹预测的生成器单元和鉴别器单元
Vasquez et al. Multi-objective autonomous braking system using naturalistic dataset
CN115907250A (zh) 用于调整自主驾驶车辆的运动规划器的基于学习的评论器
US20230391371A1 (en) Precise pull-over with mechanical simulation
US20230406345A1 (en) Distributional expert demonstrations for autonomous driving
US20240034353A1 (en) Automatic generation of corner scenarios data for tuning autonomous vehicles
US20230406362A1 (en) Planning-impacted prediction evaluation
US20240092386A1 (en) Optimization and selection of compute paths for an autonomous vehicle
US20240220789A1 (en) Virtual training for autonomous vehicle operations personnel
CN117312841A (zh) 自动驾驶车辆训练数据的制定方法、电子设备和介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210720

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231003

R150 Certificate of patent or registration of utility model

Ref document number: 7361775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150