JP2020524632A - 自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法 - Google Patents

自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法 Download PDF

Info

Publication number
JP2020524632A
JP2020524632A JP2019569895A JP2019569895A JP2020524632A JP 2020524632 A JP2020524632 A JP 2020524632A JP 2019569895 A JP2019569895 A JP 2019569895A JP 2019569895 A JP2019569895 A JP 2019569895A JP 2020524632 A JP2020524632 A JP 2020524632A
Authority
JP
Japan
Prior art keywords
autonomous vehicle
occupant
user interface
computing system
driving event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019569895A
Other languages
English (en)
Other versions
JP6842574B2 (ja
Inventor
モリー キャッスル ニックス,
モリー キャッスル ニックス,
ショーン リー チン,
ショーン リー チン,
デニス ジャオ,
デニス ジャオ,
ダニエル ハーツ,
ダニエル ハーツ,
Original Assignee
ユーエーティーシー, エルエルシー
ユーエーティーシー, エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユーエーティーシー, エルエルシー, ユーエーティーシー, エルエルシー filed Critical ユーエーティーシー, エルエルシー
Publication of JP2020524632A publication Critical patent/JP2020524632A/ja
Application granted granted Critical
Publication of JP6842574B2 publication Critical patent/JP6842574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282Rating or review of business operators or products
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2205/00Indexing scheme relating to group G07C5/00
    • G07C2205/02Indexing scheme relating to group G07C5/00 using a vehicle scan tool

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Automation & Control Theory (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本開示は、自律車両乗車者フィードバックを取得するためのシステムおよび方法を提供する。特に、本開示のシステムおよび方法は、自律車両によって実施される運転イベントの発生を検出し、それに応答して、自律車両の乗車者が運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする、双方向ユーザインターフェースを提供することができる。したがって、本開示のシステムおよび方法は、運転イベントの具体的タイプの特定のインスタンスに応答して、乗車者フィードバックを能動的にプロンプトし、それによって、運転イベントの具体的タイプに対する自律車両の乗車品質についての情報の改良された収集を可能にすることができる。

Description

本開示は、概して、自律車両に関する。より具体的には、本開示は、自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法に関する。
自律車両は、その環境を感知し、殆どまたは全く人間入力を伴わずに、ナビゲートすることが可能である、車両である。特に、自律車両は、種々のセンサを使用して、その周囲環境を観察することができ、種々の処理技法をセンサによって収集されたデータ上で実施することによって、環境を把握するように試みることができる。その周囲環境の知識を前提として、自律車両は、そのような周囲環境を通した適切なモーション経路を識別することができる。
本開示の実施形態の側面および利点は、以下の説明に部分的に記載されるであろう、または説明から学習されることができる、または実施形態の実践を通して学習されることができる。
本開示の一例示的側面は、自律車両乗車者フィードバックを取得するためのコンピュータ実装方法を対象とする。本方法は、1つ以上のコンピューティングデバイスを含む、コンピューティングシステムによって、自律車両によって実施される運転イベントの発生を検出するステップを含む。本方法は、運転イベントの発生の検出に応答して、コンピューティングシステムによって、自律車両の乗車者が自律車両によって実施される運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする、双方向ユーザインターフェースを提供するステップを含む。本方法は、コンピューティングシステムによって、双方向ユーザインターフェースを介して自律車両の乗車者によって打ち込まれる、乗車者フィードバックを受信するステップを含む。本方法は、コンピューティングシステムによって、乗車者フィードバックと、自律車両によって実施される運転イベントの識別、運転イベントが生じた時間、運転イベントが生じた場所、および運転イベントの実施の間に自律車両によって収集されたデータのうちの1つ以上のものとを関連付けるステップを含む。
本開示の別の例示的側面は、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、コンピューティングシステムに動作を実施させる、命令を集合的に記憶する、1つ以上の非一過性コンピュータ可読媒体とを含む、コンピューティングシステムを対象とする。動作は、自律車両によって実施される運転イベントの発生を検出するステップを含む。動作は、運転イベントの発生の検出に応答して、自律車両の乗車者が自律車両によって実施される運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする、双方向ユーザインターフェースを提供するステップを含む。動作は、双方向ユーザインターフェースを介して自律車両の乗車者によって打ち込まれる、乗車者フィードバックを受信するステップを含む。動作は、乗車者フィードバックと、自律車両によって実施される運転イベントの識別、運転イベントが生じた時間、運転イベントが生じた場所、および運転イベントの実施の間に自律車両によって収集されたデータのうちの1つ以上のものとを関連付けるステップを含む。
本開示の別の例示的側面は、1つ以上のプロセッサによって実行されると、コンピューティングシステムに動作を実施させる、命令を集合的に記憶する、1つ以上の非一過性コンピュータ可読媒体を対象とする。動作は、自律車両によって実施される運転イベントの発生を検出するステップを含む。動作は、運転イベントの発生の検出に応答して、自律車両の乗車者が自律車両によって実施される運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする、双方向ユーザインターフェースを提供するステップを含む。動作は、双方向ユーザインターフェースを介して自律車両の乗車者によって打ち込まれる、乗車者フィードバックを受信するステップを含む。動作は、乗車者フィードバックと、自律車両によって実施される運転イベントの識別、運転イベントが生じた時間、運転イベントが生じた場所、および運転イベントの実施の間に自律車両によって収集されたデータのうちの1つ以上のものとを関連付けるステップを含む。
本開示の他の側面は、種々のシステム、装置、非一過性コンピュータ可読媒体、ユーザインターフェース、および電子デバイスを対象とする。
本開示の種々の実施形態のこれらおよび他の特徴、側面、および利点は、以下の説明および添付の請求項を参照して、より深く理解されるようになるであろう。本明細書内に組み込まれ、その一部を構成する、付随の図面は、本開示の例示的実施形態を図示し、説明とともに、関連原理を説明する役割を果たす。
当業者を対象とする実施形態の詳細な議論は、添付の図を参照する、明細書に記載される。
図1は、本開示の例示的実施形態による、例示的コンピューティングシステムのブロック図を描写する。
図2は、本開示の例示的実施形態による、例示的自律車両のブロック図を描写する。
図3は、本開示の例示的実施形態による、例示的後部座席用ディスプレイデバイスを描写する。
図4は、本開示の例示的実施形態による、例示的双方向ユーザインターフェースを描写する。
図5は、本開示の例示的実施形態による、例示的双方向ユーザインターフェースを描写する。
図6は、本開示の例示的実施形態による、例示的双方向ユーザインターフェースを描写する。
図7は、本開示の例示的実施形態による、自律車両乗車者フィードバックを取得するための例示的方法のフローチャート図を描写する。
概して、本開示は、自律車両乗車者フィードバックを取得するためのシステムおよび方法を対象とする。特に、本開示のシステムおよび方法は、自律車両によって実施される運転イベントの発生を検出し、それに応答して、自律車両の乗車者が運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする、双方向ユーザインターフェースを提供することができる。したがって、本開示のシステムおよび方法は、運転イベントの具体的タイプの特定のインスタンスに応答して、乗車者フィードバックを能動的にプロンプトし、それによって、運転イベントの具体的タイプに対する自律車両の乗車品質についての情報の改良された収集を可能にすることができる。
より具体的には、自律車両技術を開発する、動作させる、および精緻化する一側面は、自律車両の性能を持続的に試験および改良することである。自律車両によって実施されるモーション制御の品質が測定され得る、1つのメトリックは、自律車両がある運転イベントを実施するときの自律車両の乗車者の主観的応答(例えば、満足または快適性レベル)である。実施例として、運転イベントは、方向転換イベント、車線変更イベント、または停止イベント等のルーチン運転イベントを含むことができる。他の実施例として、運転イベントは、高加速イベント、高減速イベントまたは急ブレーキイベント、ジューク(juke)モーションイベント、ジャーク(jerk)モーションイベント、ウィービング(weaving)モーションイベント、過剰な速さイベント、不十分な速さイベント、または自律車両の人間乗車者によって体験される乗車の品質を低減させる(例えば、乗車を人間乗車者にとって不快にさせる)他のイベント等の望ましくない運転イベントを含むことができる。
したがって、自律車両によって実施される運転イベントに対する車両乗車者の主観的応答は、自律車両によって実施されるモーション制御の品質のインジケーションを提供することができる。したがって、そのような主観的乗車者応答を説明するデータは、自律車両の動作を試験する、スコア化する、および/または精緻化するために有用であり得る。
そのような主観的乗車者応答を説明する乗車者フィードバックの収集を促進するために、本開示は、双方向ユーザインターフェースを利用して、乗車者が乗車者フィードバックを打ち込むことを可能にする、システムおよび方法を提供する。特に、本開示のある側面によると、本開示のシステムおよび方法は、運転イベントの発生を能動的に検出し、それに応答して、乗車者に、そのような運転イベントに対するその主観的応答に関するフィードバックを提供するようにプロンプトすることができる。そのような方式では、運転イベントの具体的インスタンスおよび/またはタイプに関する乗車者フィードバックが、収集され、特定のタイプの運転イベントおよび/または特定の物理的場所に対する自律車両技術のより高度かつ粒度の細かい理解および精緻化を可能にすることができる。
本開示の乗車者フィードバック収集システムは、1つ以上のコンピューティングデバイスを含む、または別様にそれによって実装されることができる。例えば、コンピューティングデバイスの一部または全部は、自律車両に搭載されて位置することができる。
本開示のいくつかの例示的システムは、自律車両と人間乗車者との間の相互作用を促進する、ヒューマンマシンインターフェースデバイスを含む。例えば、ヒューマンマシンインターフェースデバイスは、自律車両に搭載されて位置することができ、人間乗車者と自律車両のモーションを制御する自律車両の自律型コンピューティングシステムとの間の相互作用を促進することができる。
いくつかの実装では、ヒューマンマシンインターフェースデバイスは、ディスプレイデバイス(例えば、タッチセンサ式ディスプレイデバイス)および/または双方向ユーザインターフェース(例えば、それを通して、乗車者は、乗車者フィードバックを提供することができる)を提供する他の入力/出力コンポーネントを含むことができる。例えば、ディスプレイデバイスは、自律車両の後部座席に位置する乗車者によってアクセス可能である、後部座席用ディスプレイデバイスであることができる。
いくつかの実装では、ヒューマンマシンインターフェースデバイスに加えて、またはその代替として、本開示のシステムおよび方法は、乗車者と関連付けられたユーザコンピューティングデバイス(例えば、スマートフォン)を含む、またはそれを活用することができる。例えば、いくつかの実装では、ヒューマンマシンインターフェースデバイスによるユーザインターフェースの表示に加えて、またはその代替として、双方向ユーザインターフェースは、ユーザコンピューティングデバイスのディスプレイ上に提供される、またはそれを介してアクセス可能であることができる。なおもさらなる実装では、本明細書に説明されるある動作は、自律車両に対して遠隔に位置し、1つ以上の無線ネットワーク(例えば、セルラーデータネットワーク)を経由して、自律車両と通信する、中央コンピューティングシステムによって実施されることができる。
ある側面によると、本開示のシステムは、自律車両によって実施される運転イベントの発生を検出することができる。例えば、ヒューマンマシンインターフェースデバイス、自律型コンピューティングシステム、および/または他の通信可能に結合されるデバイスまたはシステムは、持続的に、ほぼ持続的に、または周期的に、利用可能なデータを査定し、自律車両によって実施される運転イベントの発生を検出する、イベント検出器を含むことができる。運転イベントの例示的タイプは、上記に説明される。
いくつかの実装では、本開示のシステムは、少なくとも部分的に、自律車両内に含まれるナビゲーションシステムと関連付けられたターンバイターンデータに基づいて、運転イベントの発生を検出することができる。例えば、ナビゲーションシステムは、自律型システムおよび/またはヒューマンマシンインターフェースデバイス内に含まれることができる。ナビゲーションシステムは、1つ以上のナビゲーション操縦を含む、ルートに対する自律車両の現在の場所を監視することができる(例えば、GPSまたは他の測位技術を介して)。車両の現在の場所が、ナビゲーション操縦(例えば、方向転換イベント)を完了したことを示すと、ナビゲーションシステムおよび/またはイベント検出器は、そのような運転イベントが生じたことを検出し、乗車者フィードバックのためのプロンプトを生じさせることができる。したがって、ターンバイターンまたは他のナビゲーション情報は、運転イベントの発生を検出するために使用されることができる。
いくつかの実装では、本開示のシステムは、少なくとも部分的に、自律車両によって収集された車両データに基づいて、運転イベントの発生を検出することができる。例えば、車両データは、自律運転セッションの間の自律車両と関連付けられた車両条件を説明することができる。いくつかの実装では、車両データは、自律車両内に含まれる種々のセンサによって収集された、または別様にそれから受信されたデータを含むことができる。実施例として、車両データは、速さ(速度とも称される)を説明するデータおよび/または自律車両の操向角度を説明するデータを含むことができる。別の実施例として、自律車両の横加速度を説明する、付加的車両データが、取得または生成されることができる。例えば、いくつかの実装では、横加速度は、車両の速さと車両の操向角度の関数であることができる。したがって、いくつかの実装では、横加速度データは、速さデータおよび操向角度データから生成されることができる。
さらなる実施例として、車両データは、例えば、光検出および測距(ライダ)データ、無線検出および測距(レーダ)データ、自律車両に搭載される1つ以上のカメラによって収集された画像、加速度計データ、測位システムデータ、ジャイロスコープデータ、スロットル位置データ、エンジンまたはクランクシャフトトルクデータ、排気酸素データ、エンジン気流データ、エンジンRPMデータ、車両コントローラと関連付けられた車両制御データ、および/または車両と関連付けられた任意の他の形態の車両データ(例えば、車両に搭載されたセンサによって収集または生産される)を含む、車両条件を説明する種々のタイプのデータを含むことができる。上記に示されるように、本開示のシステムおよび方法は、そのような車両データに基づいて、運転イベント検出を実施することができる。
運転イベントを検出するために本開示によって実装または別様に使用され得る、例示的システムおよび方法は、2017年3月27日に出願され、「Machine Learning for Event Detection and Classification in Autonomous Vehicles」と題された米国特許出願第15/469,981号に説明される。米国特許出願第15/469,981号は、参照することによって全体として本明細書に組み込まれる。運転イベントの自動検出のための他の技法も、米国特許出願第15/469,981号に説明される技法に加え、使用されることができる。
いくつかの実装では、本開示のシステムは、少なくとも部分的に、自律車両によって生成されたテレマティクスデータに基づいて、運転イベントの発生を検出することができる。例えば、テレマティクスデータは、自律車両によって生成され、中央コンピューティングシステムに伝送される、任意のタイプのデータ(例えば、車両場所等のナビゲーションデータ、車両データ等)を含むことができる。いくつかの実装では、中央コンピューティングシステムは、受信されたテレマティクスデータに基づいて、運転イベントを検出することができ、その後、検出された運転イベントに応答して、ヒューマンマシンインターフェースデバイスまたはユーザコンピューティングデバイスに、双方向ユーザインターフェースを提供するように通知することができる。代替として、自律車両に搭載されて含まれる、コンピューティングシステムまたはデバイス(例えば、ヒューマンマシンインターフェースデバイス)は、テレマティクスデータを分析し、運転イベントを検出することができる。
いくつかの実装では、本開示のシステムは、少なくとも部分的に、乗車者によって体験されるモーションを説明する、ヒューマンマシンインターフェースコンピューティングデバイスによって収集されたデータに基づいて、運転イベントの発生を検出することができる。例えば、ヒューマンマシンインターフェースデバイスは、例えば、加速度計、慣性測定ユニット、ジャイロスコープ等のその独自のセンサのセットを含むことができる。ヒューマンマシンインターフェースデバイスまたは他のシステムデバイスは、ヒューマンマシンインターフェースデバイスのセンサによって生成されセンサデータを分析することができ、そのような分析に基づいて、運転イベントを検出することができる(例えば、米国特許出願第15/469,981号に説明される技法をヒューマンマシンインターフェースコンピューティングデバイスによって収集されたデータに適用することによって)。
いくつかの実装では、本開示のシステムは、少なくとも部分的に、乗車者によって体験されるモーションを説明する、ユーザコンピューティングデバイスによって収集されたデータに基づいて、運転イベントの発生を検出することができる。例えば、ユーザコンピューティングデバイスは、例えば、加速度計、慣性測定ユニット、ジャイロスコープ等のその独自のセンサのセットを含むことができる。ユーザコンピューティングデバイスは、そのようなセンサによって生成されたデータをヒューマンマシンインターフェースデバイスまたは自律車両の他のシステム/デバイスに伝送することができる。ヒューマンマシンインターフェースデバイスまたは他のシステム/デバイスは、ユーザコンピューティングデバイスのセンサによって生成されたセンサデータを分析することができ、そのような分析に基づいて、運転イベントを検出することができる(例えば、米国特許出願第15/469,981号に説明される技法をユーザコンピューティングデバイスによって収集されたデータに適用することによって)。
別の側面によると、運転イベントの発生の検出に応答して、本開示のシステムは、双方向ユーザインターフェースを提供することができる。例えば、ユーザインターフェースは、ユーザコンピューティングデバイスのディスプレイ上のヒューマンマシンインターフェースデバイスのディスプレイ部分(例えば、後部座席用ディスプレイ、ハンドヘルドディスプレイ等)上または他の様式または場所に表示されることができる。双方向ユーザインターフェースは、自律車両の乗車者が自律車両によって実施される運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にすることができる。例えば、タッチセンサ式ディスプレイは、タッチを介して、乗車者入力を受信することができる。例えば、マウス、キーボードまたはキーパッド、タッチパッド、クリックホイール、キーボード等の他の入力デバイスも、同様に使用されることができる。
いくつかの実装では、ユーザインターフェースは、ディスプレイデバイス上に表示されず、代わりに、一実施例として、オーディオベースであってもよい。例えば、自律車両内に含まれるスピーカは、ユーザに、自律車両によって実施される運転イベントの発生に関する乗車者フィードバックを含む、音声応答を提供するようにプロンプトしてもよい。別の実施例として、ユーザインターフェースは、1つ以上の物理的ボタン、ノブ、スライダ、レバー、または同等物内に具現化されることができ、これは、ユーザが、そのような物理的コンポーネントの操作を通して、乗車者フィードバックを提供することを可能にする。さらに別の実施例として、乗車者フィードバックは、カメラによって捕捉された画像の分析を通して取得されることができる。例えば、コンピュータビジョン技法が、画像に適用され、乗車者快適性および/または満足を示す、ジェスチャ、発話、眼移動、および/または顔の表情を査定または識別することができる。
いくつかの実装では、ユーザインターフェースは、それぞれ複数の満足レベルに対応する、複数のユーザ選択可能アイコンを含むことができる。乗車者は、複数のユーザ選択可能アイコンのうちの1つを選択し、対応する満足レベルを示す、乗車者フィードバックを提供することができる。一実施例として、ユーザ選択可能アイコンは、非常に不満、不満、どちらでもない、満足、非常に満足に対応し得る。しかしながら、多くの他の分割または満足レベルも、これらの例示的レベルの代わりに使用されることができる。いくつかの実装では、複数のユーザ選択可能アイコンは、単一グラフィカルアイテム(例えば、軸に沿った複数のユーザ選択可能段階)内に含まれることができる。いくつかの実装では、離散満足レベルではなく、スライダ、ダイヤル、ノブ、または他の物理的または仮想特徴が、乗車者が満足レベルの連続スペクトルに沿ったフィードバックを提供することを可能にすることができる。
いくつかの実装では、ユーザインターフェースは、最初に、乗車者が乗車者フィードバックを提供することの所望を示すことを可能にする、初期ユーザ選択可能アイコンを含むことができる。例えば、初期ユーザ選択可能アイコンは、ボタンまたはアイコンのクラスタを描写する、単一選択可能空間であることができる。初期ユーザ選択可能アイコンのユーザ選択の受信後、ユーザインターフェースは、次いで、それぞれ複数の満足レベルに対応する、複数のユーザ選択可能アイコンを提供することができる。例えば、ボタンまたはアイコンのクラスタは、視覚的に拡散し、独立して、選択可能となることができる。
いくつかの実装では、複数のユーザ選択可能アイコンのうちの1つを選択する、乗車者フィードバックの受信に応答して、本開示のシステムは、ユーザインターフェースを修正し、続いて、第2の複数のユーザ選択可能アイコンを提供する、二次メニューを提供することができる。一実施例として、第2の複数のユーザ選択可能アイコンは、それぞれ示される満足レベルに対する異なる理由を説明する、それぞれ複数のテキスト語句に対応することができる。実施例として、テキスト語句は、「速すぎる」、「遅すぎる」、「他の車両に接近しすぎる」、「大回りすぎる」等の語句を含んでもよい。いくつかの実装では、第2の複数のユーザ選択可能アイコンは、性質上、テキストではなく、代わりに、示される満足レベルに対する異なる理由のグラフィカル描写(例えば、大回りしている車両のグラフィカル描写)を含む。いくつかの実装では、本開示のシステムは、乗車者がネガティブな満足レベルに対応する複数のユーザ選択可能アイコン(またはアイコンのある他の定義されたサブセット)のうちの1つを選択するときのみ、ユーザインターフェースを修正し、二次メニューを提供する。いくつかの実装では、二次メニュー以上の付加的レベルの階層フィードバックメニューも、使用されることができる。
いくつかの実装では、双方向ユーザインターフェースは、検出された運転イベントの実施の間、自律車両の可視化を含むことができる。一実施例として、可視化は、少なくとも部分的に、運転イベントの実施の間に自律車両によって収集された光検出および測距データに基づいて、可視化することができる、または別様に生成されることができる。検出された運転イベントの実施の間、自律車両の可視化をユーザインターフェース内に提供することは、乗車者が、乗車者フィードバックを提供する間、運転イベントを視覚的に精査することを可能にすることができる。
いくつかの実装では、双方向ユーザインターフェースは、特定の検出された運転イベントに特有であり、かつ、それと関連付けられることができる。特に、特定の検出された運転イベントに特有であり、かつ、それと関連付けられる、双方向ユーザインターフェースは、少なくとも1つの代替運転イベントに特有であり、かつ、それと関連付けられる、少なくとも1つの代替ユーザインターフェースと異なることができる。一実施例として、ユーザ選択可能アイコンの異なるセットが、それぞれ、異なるイベントのために提供されることができる。別の実施例として、異なる二次メニューアイテムが、それぞれ、異なるイベントのために提供されることができる。例えば、方向転換イベントに応答して提供される二次メニューアイテムは、方向転換イベントに特有のテキスト語句(例えば、「大回りすぎる」、「小回りすぎる」等)を含むことができる一方、停止イベントに応答して提供される二次メニューアイテムは、停止イベントに特有のテキスト語句(例えば、「停止が遅すぎる」、「停止が早すぎる」等)を含むことができる。なおもさらなる実施例として、異なる識別子が、双方向ユーザインターフェース内に提供され、各イベントを他のイベントから区別することに役立つことができる。実施例を提供するために、テキスト、マップベース、または他の視覚的識別子が、「Center Streetに曲がる」を「First Streetに曲がる」から識別することができる。ユーザインターフェースの任意の他の側面(例えば、フォント、フォーマッティング、サイズ、アイコンの数、アイコンのタイプ、識別子の数、識別子のタイプ等)も、修正され、個別の運転イベントに特有のインターフェースを提供することができる。
いくつかの実装では、双方向ユーザインターフェースは、乗車者が、運転イベントを識別する、乗車者フィードバックを提供することを要求することができる。例えば、フィードバック収集システムは、運転イベントが生じたことを識別するが、運転イベントの正確な性質を決定することが不可能であり得る。したがって、双方向ユーザインターフェースは、乗車者が、運転イベントを識別する、乗車者フィードバックを提供することを要求することができる。例えば、ユーザインターフェースは、乗車者が、運転イベントを一般的カテゴリ(例えば、停止イベント)から具体的タイプ(例えば、停止標識における停止イベント対横断歩道における停止イベント対交通信号灯における停止イベント対人間(例えば、交通隊員)誘導車両停止に起因する停止イベント等)に絞り込む、乗車者フィードバックを提供することを要求することができる。
いくつかの実装では、双方向ユーザインターフェースは、乗車者が、複数の重複運転イベント(例えば、時間的に重複するイベント)に対する乗車者フィードバックを提供することを要求することができる。例えば、乗車者は、重複イベント毎に、離散フィードバックを提供することができる、または一連のイベントに関して全体としてフィードバックを提供することができる。
いくつかの実装では、乗車者フィードバックを受信後、本開示のシステムは、乗車者フィードバックと、自律車両によって実施される運転イベントの識別、運転イベントが生じた時間、運転イベントが生じた場所、および運転イベントの実施の間に自律車両によって収集されたデータのうちの1つ以上のものとを関連付けることができる。いくつかの実装では、乗車者フィードバックとそのようなアイテムのうちの1つ以上のものとを関連付けることは、乗車者フィードバックまたはそのような1つ以上のアイテムと関係上関連付けられた他のデータ表現をデータベース内に記憶することを含むことができる。乗車者フィードバックは、ローカルで記憶され、次いで、中央コンピューティングシステムにバッチとしてオフラインで転送されることができ、および/または車両によって乗車者から受信されるとすぐに、中央コンピューティングシステムに伝送されることができる。
そのような方式における乗車者フィードバックの収集および関連付けは、時間、場所、運転イベント、車両データ、他の要因、またはそれらの組み合わせに基づく、乗車者フィードバックの高度な呼出および分析を可能にする。
特に、本開示の別の側面によると、上記に説明される技法を使用した有意な量の乗車者フィードバックの収集後、本開示のシステムおよび方法(例えば、中央コンピューティングシステム)は、フィードバックデータを相関させ、組み合わせ、自律車両の車隊の一般的性能を査定することができる。自律車両の車隊の性能は、異なるメトリックに従って、および/または異なる次元または次元の組み合わせを横断して、査定されることができる。一実施例として、10PM〜11PMの間の右折を行うときの全ての車両の性能が、分析されることができる。別の実施例として、単一場所または場所のセットにおける全ての車両の性能が、分析されることができる。別の実施例として、集約乗車者フィードバックの分析は、乗車者が日常的にネガティブなフィードバックを提供する場所の識別をもたらし得る。これは、開発チームが、そのような一貫したネガティブなフィードバックにつながった特定の要因(例えば、正しくないマップデータ)を研究および理解することを可能にすることができる。代替として、または加えて、集約乗車者フィードバックが有意にネガティブである場所は、問題が解決されるまで、自律車両に関して立入禁止としてマークされることができる。
本開示のさらに別の例示的側面では、本明細書に説明されるシステムおよび方法は、自律車両の特定の乗車者が、乗車者が乗車者フィードバックを以前に提供した場所を訪問している、または特定の乗車者が、乗車者が乗車者フィードバックを以前に提供した運転イベントに遭遇していることを検出することができる。それに応答して、本開示のシステムおよび方法は、乗車者が新しい乗車者フィードバックを提供することを要求することができる。付加的乗車者フィードバックの受信は、自律車両性能における任意の改良が、フィードバックの変化によって示されるように、個別の乗車者フィードバック間の時間周期内で達成されたかどうかの評価を可能にすることができる。
本開示のシステムおよび方法は、いくつかの技術的効果および利点を提供する。例えば、具体的な検出された運転イベントに応答して、乗車者フィードバックをプロンプトすることによって、本開示のシステムおよび方法は、ある運転イベントと相関される、乗車者フィードバックの収集を可能にする。したがって、1つの技術的利点として、本開示のシステムおよび方法は、低乗車者満足度をもたらす、特定のイベントの高度かつより粒度の細かい検出および分析を可能にする、改良された車両性能分析システムを提供する。加えて、いくつかの実装では、乗車者フィードバックは、その人間満足レベルの非テキスト(例えば、数値またはカテゴリ)説明および/または運転イベントについての良かった点または悪かった点のその主観的人間感覚の詳細なテキスト説明を含む。したがって、別の技術的利点として、本開示のシステムおよび方法は、時間、場所、車両データ、および/または任意の他の利用可能なデータ次元と相関され得る、自律運転挙動に関するテキストおよび非テキスト人間知覚情報の両方の大規模収集を可能にする、改良された車両性能分析システムを提供する。
別の技術的利点として、本開示は、自律車両のコンピューティングハードウェアまたは他のコンピューティングリソースの性能を改良することができる。例えば、乗車者に運転イベントに関するフィードバックをログ付けおよび/または提供するようにプロンプトすることによって、自律車両の限定されるコンピューティングおよび/またはハードウェアリソースは、運転イベントをリアルタイムで特性評価するタスクに配分されるように要求されない。したがって、自律車両の処理パワーまたは他のコンピューティングまたはハードウェアリソースは、運転イベント特性評価ではなく、他のタスク(例えば、車両モーション制御)を実施するために配分および利用され、それによって、自律車両の処理効率および性能を改良することができる。特に、リソースの改良された配分は、自律車両が、より効率的で、信頼性があって、正確な自律運転を提供することを可能にすることができる。
さらに、いくつかの実装では、運転イベント検出およびフィードバック収集を実施する、コンピューティングデバイスは、自律車両のモーションを制御する、自律型コンピューティングシステムと別個であることができる。したがって、そのような実装では、自律型コンピューティングシステムは、アップグレード、モード/冗長性チェックの実装等がより容易である、簡略化されたハードウェアアーキテクチャを含むことができる。
ここで図を参照すると、本開示の例示的実施形態が、さらに詳細に議論されるであろう。
例示的デバイスおよびシステム
図1は、本開示の例示的実施形態による、例示的コンピューティングシステムのブロック図を描写する。例示的コンピューティングシステムは、自律車両10と、中央コンピューティングシステム170と、1つ以上の通信ネットワーク180を経由して通信可能に結合される、ユーザコンピューティングデバイス175とを含む。自律車両10は、1つ以上のセンサ101と、自律型コンピューティングシステム102と、1つ以上の車両制御107と、ヒューマンマシンインターフェースデバイス150とを含むことができる。センサ101、自律型コンピューティングシステム102、および車両制御107は、図2を参照して下記にさらに詳細に議論されるであろう。
ヒューマンマシンインターフェースデバイス150は、通信、制御、および/または他のインターフェースアクションが、自律車両10と人間(例えば、自律車両10内に位置する乗車者)との間で生じることを可能にすることができる。ヒューマンマシンインターフェースデバイス150は、自律型コンピューティングシステム102に通信可能に結合され、システム102とデバイス150との間のデータ、命令、および/または要求の交換を可能にすることができる。
ヒューマンマシンインターフェースデバイス150は、動作可能に接続される、1つ以上のコンピューティングデバイスを含む、またはそれによって実装されることができる。ヒューマンマシンインターフェースデバイス150は、内蔵コンピューティングデバイスまたは独立型コンピューティングデバイスであることができる。1つの特定の実施例では、ヒューマンマシンインターフェースデバイス150は、自律車両10内(例えば、自律車両10の後部座席エリア内)に位置付けられる、タブレットコンピューティングデバイスであることができる。
ヒューマンマシンインターフェースデバイス150は、1つ以上のプロセッサ152と、メモリ154とを含むことができる。1つ以上のプロセッサ152は、任意の好適な処理デバイス(例えば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラ等)であることができ、動作可能に接続される、1つのプロセッサまたは複数のプロセッサであることができる。メモリ154は、RAM、ROM、EEPROM、EPROM、1つ以上のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせ等の1つ以上の非一過性コンピュータ可読記憶媒体を含むことができる。
メモリ154は、1つ以上のプロセッサ152によってアクセスされ得る、情報を記憶することができる。例えば、メモリ154(例えば、1つ以上の非一過性コンピュータ可読記憶媒体、メモリデバイス)は、取得される、受信される、アクセスされる、書き込まれる、操作される、作成される、および/または記憶され得る、データを記憶することができる。メモリ154はまた、1つ以上のプロセッサ152によって実行され得る、コンピュータ可読命令を記憶することができる。命令は、任意の好適なプログラミング言語で書き込まれるソフトウェアであることができる、またはハードウェア内に実装されることができる。加えて、または代替として、命令は、プロセッサ152上で論理的および/または仮想的に別個のスレッドにおいて実行されることができる。例えば、メモリ154は、1つ以上のプロセッサ152によって実行されると、1つ以上のプロセッサ152に、本明細書に説明される動作および/または機能のいずれかを実施させる、命令を記憶することができる。
本開示のある側面によると、ヒューマンマシンインターフェースデバイス150は、自律車両の乗車者フィードバックのプロンプト、収集、および/または打ち込みを促進することができる。特に、ヒューマンマシンインターフェースデバイス150は、1つ以上の双方向ユーザインターフェースを利用して、乗車者が、乗車者フィードバックを打ち込むことを可能にすることができる。
特に、本開示のある側面によると、ヒューマンマシンインターフェースデバイス150および/または自律型コンピューティングシステム102は、運転イベントの発生を能動的に検出し、それに応答して、乗車者に、そのような運転イベントに対するその主観的応答に関するフィードバックを提供するようにプロンプトすることができる。そのような方式では、運転イベントの具体的インスタンスおよび/またはタイプに関する乗車者フィードバックが、収集され、特定のタイプの運転イベントおよび/または特定の物理的場所に対する自律車両技術のより高度かつ粒度の細かい理解および精緻化を可能にすることができる。
いくつかの実装では、ヒューマンマシンインターフェースデバイス150は、ディスプレイデバイス158(例えば、タッチセンサ式ディスプレイデバイス)および/または双方向ユーザインターフェース(例えば、それを通して、乗車者は、乗車者フィードバックを提供することができる)を提供する他の入力/出力コンポーネント160を含むことができる。例えば、ディスプレイデバイス158は、自律車両の後部座席に位置する乗車者によってアクセス可能である、後部座席用ディスプレイデバイスであることができる。一実施例として、図3は、本開示の例示的実施形態による、例示的後部座席用ディスプレイデバイスを描写する。
再び図1を参照すると、いくつかの実装では、ヒューマンマシンインターフェースデバイス150に加えて、またはその代替として、本開示のシステムおよび方法は、乗車者と関連付けられたユーザコンピューティングデバイス175を含む、またはそれを活用することができる。例えば、いくつかの実装では、ヒューマンマシンインターフェースデバイス150によるユーザインターフェースの表示に加えて、またはその代替として、双方向ユーザインターフェースは、ユーザコンピューティングデバイス175のディスプレイ上に提供される、またはそれを介してアクセス可能であることができる。ユーザコンピューティングデバイス175は、短距離無線接続(例えば、Bluetooth(登録商標)、ZigBee、NFC、赤外線等)等のローカルエリアネットワークまたは他の形態の接続(例えば、有線)を介して、ヒューマンマシンインターフェースデバイス150に通信可能に接続されることができる。実施例として、ユーザコンピューティングデバイス175は、スマートフォン、タブレットコンピューティングデバイス、ウェアラブルコンピューティングデバイス、ポータブルゲーム用デバイス、ハンドヘルドディスプレイ画面、または他の形態のコンピューティングデバイスであることができる。
なおもさらなる実装では、本明細書に説明されるある動作は、自律車両10に対して遠隔に位置し、1つ以上の無線ネットワーク180(例えば、セルラーデータネットワーク、衛星通信ネットワーク、広域ネットワーク等)を経由して、自律車両と通信する、中央コンピューティングシステム170によって実施されることができる。実施例として、中央コンピューティングシステム170は、1つ以上のサーバコンピューティングデバイスを含むことができる。複数のサーバコンピューティングデバイスが使用される場合、サーバコンピューティングデバイスは、並列コンピューティングアーキテクチャ、シーケンシャルコンピューティングアーキテクチャ、またはそれらの組み合わせに従って配列されることができる。いくつかの実装では、中央コンピューティングシステム170は、自律車両10の車隊のための制御、監視、管理、および/または他の機能性を提供することができる。
本開示のある側面によると、図1に図示されるコンピューティングシステムは、自律車両10によって実施される運転イベントの発生を検出することができる。例えば、ヒューマンマシンインターフェースデバイス150、自律型コンピューティングシステム102、および/または他の通信可能に結合されるデバイスまたはシステム(例えば、中央コンピューティングシステム170)は、持続的に、ほぼ持続的に、または周期的に、(例えば、センサ101および/または自律型コンピューティングシステム102から受信された)利用可能なデータを査定し、自律車両10によって実施される運転イベントの発生を検出する、イベント検出器156を含むことができる。図1の例示的システムでは、イベント検出器156は、ヒューマンマシンインターフェースデバイス150内に含まれる、または別様にそれによって実装されるように図示される。しかしながら、記載されるように、イベント検出器156は、代替として、例えば、自律型コンピューティングシステム102を含む、他のデバイスまたはコンポーネント内に含まれる、または別様にそれによって実装されることができる。
運転イベントの例示的タイプは、方向転換イベント、車線変更イベント、または停止イベント等のルーチン運転イベントを含む。他の実施例として、運転イベントは、高加速イベント、高減速イベントまたは急ブレーキイベント、ジュークモーションイベント、ジャークモーションイベント、ウィービングモーションイベント、過剰な速さイベント、不十分な速さイベント、または自律車両の人間乗車者によって体験される乗車の品質を低減させる(例えば、乗車を人間乗車者にとって不快にさせる)他のイベント等の望ましくない運転イベントを含むことができる。
いくつかの実装では、イベント検出器156は、少なくとも部分的に、自律車両内に含まれるナビゲーションシステム164と関連付けられたターンバイターンデータに基づいて、運転イベントの発生を検出することができる。例えば、ナビゲーションシステム164は、自律型システムおよび/またはヒューマンマシンインターフェースデバイス150内に含まれることができる(図1に図示されるように)。ナビゲーションシステム164は、1つ以上のナビゲーション操縦を含む、ルートに対する自律車両10の現在の場所を監視することができる(例えば、GPSまたは他の測位システムおよび/またはセンサ101からのデータを介して)。車両10の現在の場所が、ナビゲーション操縦(例えば、方向転換イベント)を完了したことを示すと、ナビゲーションシステム164および/またはイベント検出器156は、そのような運転イベントが生じたことを検出し、乗車者フィードバックが生じるためのプロンプトを生じさせることができる。したがって、ターンバイターンまたは他のナビゲーション情報は、運転イベントの発生を検出するために使用されることができる。
いくつかの実装では、イベント検出器156は、少なくとも部分的に、自律車両10によって収集された車両データに基づいて、運転イベントの発生を検出することができる。例えば、車両データは、自律運転セッションの間の自律車両10と関連付けられた車両条件を説明することができる。いくつかの実装では、車両データは、自律車両10内に含まれる種々のセンサ101によって収集された、または別様にそれから受信されたデータを含むことができる。実施例として、車両データは、速さ(速度とも称される)を説明するデータおよび/または自律車両10の操向角度を説明するデータを含むことができる。別の実施例として、自律車両10の横加速度を説明する、付加的車両データが、取得または生成されることができる。例えば、いくつかの実装では、横加速度は、車両の速さと車両の操向角度の関数であることができる。したがって、いくつかの実装では、横加速度データは、速さデータおよび操向角度データから生成されることができる。
さらなる実施例として、車両データは、例えば、光検出および測距(ライダ)データ、無線検出および測距(レーダ)データ、自律車両に搭載される1つ以上のカメラによって収集された画像、加速度計データ、測位システムデータ、ジャイロスコープデータ、スロットル位置データ、エンジンまたはクランクシャフトトルクデータ、排気酸素データ、エンジン気流データ、エンジンRPMデータ、車両コントローラと関連付けられた車両制御データ、および/または車両10と関連付けられた任意の他の形態の車両データ(例えば、車両に搭載されたセンサ101によって収集または生産される)を含む、車両条件を説明する、種々のタイプのデータを含むことができる。上記に示されるように、イベント検出器156は、そのような車両データに基づいて、運転イベント検出を実施することができる。
いくつかの実装では、イベント検出器156は、少なくとも部分的に、自律車両10によって生成されたテレマティクスデータに基づいて、運転イベントの発生を検出することができる。例えば、テレマティクスデータは、自律車両10によって生成され、中央コンピューティングシステム170に伝送される、任意のタイプのデータ(例えば、車両場所等のナビゲーションデータ、車両データ等)を含むことができる。いくつかの実装では、中央コンピューティングシステム170は、受信されたテレマティクスデータに基づいて、運転イベントを検出することができ、その後、検出された運転イベントに応答して、ヒューマンマシンインターフェースデバイス150またはユーザコンピューティングデバイス175に、双方向ユーザインターフェースを提供するように通知することができる。代替として、自律車両に搭載されて含まれる、コンピューティングシステムまたはデバイス(例えば、ヒューマンマシンインターフェースデバイス150)は、テレマティクスデータを分析し、運転イベントを検出することができる。
いくつかの実装では、イベント検出器156は、少なくとも部分的に、乗車者によって体験されるモーションを説明する、ヒューマンマシンインターフェースコンピューティングデバイス150によって収集されたデータに基づいて、運転イベントの発生を検出することができる。例えば、ヒューマンマシンインターフェースデバイス150は、例えば、加速度計、慣性測定ユニット、ジャイロスコープ等のその独自のセンサ162のセットを含むことができる。イベント検出器156は、ヒューマンマシンインターフェースデバイス150のセンサ162によって生成されたセンサデータを分析することができ、そのような分析に基づいて、運転イベントを検出することができる。
いくつかの実装では、イベント検出器156は、少なくとも部分的に、乗車者によって体験されるモーションを説明する、ユーザコンピューティングデバイス175によって収集されたデータに基づいて、運転イベントの発生を検出することができる。例えば、ユーザコンピューティングデバイス175は、例えば、加速度計、慣性測定ユニット、ジャイロスコープ等のその独自のセンサのセットを含むことができる。ユーザコンピューティングデバイス175は、そのようなセンサによって生成されたデータを自律車両10のヒューマンマシンインターフェースデバイス150または他のシステム/デバイスに伝送することができる。イベント検出器156は、ユーザコンピューティングデバイス175のセンサによって生成されたセンサデータを分析することができ、そのような分析に基づいて、運転イベントを検出することができる。
イベント検出器156が動作し得る方法の一実施例として、本開示のいくつかの実装では、イベント検出器156は、例えば、車両データ、テレマティクスデータ、ユーザデバイスセンサデータ、ヒューマンマシンインターフェースデバイスセンサデータ等の上記に説明される形態のデータから抽出された種々の特徴に基づいて、イベント検出を実施し得る、1つ以上の機械学習分類子モデルを含む、または別様に活用することができる。例えば、特徴は、連続ウェーブレット変換または他の特徴抽出技法を車両データまたは上記に説明される他の形態のデータ上で実施することによって、抽出されることができる。
人間乗車者によって記録されるイベントラベルを含む、既存のデータログが、機械学習分類子モデルを訓練するために使用されることができる。例えば、分類子モデルは、既存のデータログおよびデータログと関連付けられたイベントラベル上の分類子モデルによって行われる予測間の差異を説明する、目的関数を使用して訓練されることができる。
いくつかの実装では、イベント検出器156は、車両データまたは上記に説明される他の形態のデータを取得することができる。イベント検出器156は、データを事前処理し、それをイベント分析のために準備する、データプリプロセッサを含むことができる。実施例として、いくつかの実装では、データプリプロセッサは、未加工データ(例えば、未加工センサデータ)を処理し、所与の時間における車両の状態を決定することができる。例えば、所与の時間における車両の状態は、車両に関する以下のパラメータ、すなわち、タイムスタンプ、速さ、操向角度、縦加速度、地理的場所、および/または他のパラメータのうちの1つ以上のものを説明する、情報を含むことができる。いくつかの実装では、データを前処理することは、1つ以上のフィルタをデータに適用することを含むことができる。例えば、適用されるフィルタは、平均フィルタ、中央値フィルタ、および/または低域通過フィルタを含むことができる。フィルタをそのような方式で適用することは、データを平滑化し、雑音を低減させることができる。いくつかの実装では、データは、データログ内への記憶に先立って、自律車両によってリアルタイムで事前処理されることができる。いくつかの実装では、データは、事前処理されない。
本開示の別の側面によると、イベント検出器156は、複数の特徴をデータ(例えば、事前処理されたデータ)から抽出する、特徴抽出器を含むことができる。いくつかの実装では、特徴抽出器は、均一に離間された時間点においてデータをサンプリングすることによって、均一サンプリングをデータ上で実施することができる。他の実装では、データのサンプリングは、非均一に離間されてもよい。なおもさらなる実装では、特徴抽出器は、持続的またはほぼ持続的に、データをサンプリングすることができる。いくつかの実装では、データの各サンプルは、特定のサンプリング時間の周囲のデータ窓を含むことができる。
それにかかわらず、データのサンプリングのインスタンス毎に、特徴抽出器は、1つ以上の特徴をデータから抽出することができる。実施例として、抽出された特徴は、速さ特徴、操向角度特徴、横加速度特徴、または他のタイプの特徴を含むことができる。概して、特徴は、イベントを検出および分類するために有用な任意のタイプであることがきる。
特に、いくつかの実装では、特徴抽出器は、特徴抽出技法をデータ上で実施し、複数の特徴を抽出することができる。実施され得る、例示的特徴抽出技法は、連続ウェーブレット変換技法、短期フーリエ変換、および/または他の時間周波数分析技法を含む。連続ウェーブレット変換技法を実施するとき、実施例として、ハールウェーブレット、ドブシーウェーブレット、双直交ウェーブレット、BDウェーブレット、コイフレットウェーブレット、シムレットウェーブレット、モルレーウェーブレット、メキシカンハットウェーブレット、メイエウェーブレット、および/または他のウェーブレットを含む、種々のウェーブレットのうちの1つ以上のものが、使用されることができる。特に、メキシカンハットウェーブレットおよび/またはBDウェーブレットを伴う、連続ウェーブレット変換を実施することは、特に、高加速、高減速、および/またはジュークのイベントの検出のために有用な特徴を抽出するために有益であり得る。
したがって、実施例として、特徴抽出器は、データ(例えば、速さデータ、操向角度データ、横加速度データ、および/または他の車両データチャネルまたは表現)をサンプリングし、連続ウェーブレット変換(または他の特徴抽出技法)をサンプリングされたデータの各チャネル上で実施することができる。特に、いくつかの実装では、連続ウェーブレット変換(または他の特徴抽出技法)をサンプリングされたデータ上で実施することは、データのチャネル毎に、複数のスケール成分を決定することを含むことができる。例えば、選択されたウェーブレット(例えば、メキシカンハットウェーブレット)は、いくつかのスケール値に従ってスケーリングされることができる。例えば、いくつかの実装では、約100のスケール値が、使用されることができる。したがって、例証目的のために特定の実施例を提供するために、特徴抽出器は、メキシカンハットウェーブレットの100のスケール値において、連続ウェーブレット変換をサンプリングされた速さデータ上で実施することができ、これは、サンプリングのインスタンスあたりの速さデータに関して、100のスケール成分をもたらし得る。いくつかの実装では、スケール成分は、直接、イベントを検出および分類するための特徴として使用されることができる。
加えて、いくつかの実装では、特徴抽出器は、そのようなデータのチャネルのサンプル毎の複数のスケール成分を説明する、データのチャネル毎の統計のセットを算出することができる。実施例として、データのチャネル毎に算出された統計は、複数のスケール成分の平均、複数のスケール成分の標準偏差、複数のスケール成分の最大値、複数のスケール成分の最小値、および複数のスケール成分のモーメントのうちの1つ以上のものを含むことができる。例えば、スケール成分のモーメントは、そのようなスケール成分の大きさによって乗算されるスケール値に対応し得る、または換言すると、ウェーブレット振幅によって乗算される周波数に対応し得る。したがって、上記に提供される特定の実施例を継続すると、特徴抽出器は、サンプリングのインスタンスあたりの速さデータに関して100のスケール成分に関する統計のセットを算出することができる。加えて、いくつかの実装では、統計は、変化に富む検出において使用するために、長期時間窓(例えば、1分)にわたって算出されることができる。いくつかの実装では、算出された統計は、特徴としてのスケール成分の直接使用に加えて、またはその代替として、イベントを検出および分類するための特徴として使用されることができる。
いくつかの実装では、データの時間サンプル毎に抽出された特徴(例えば、スケール成分および/またはスケール成分に関する統計)は、イベント検出器156内に含まれる分類子モデルの中に入力され、データのそのようなサンプルに関する分類を受信することができる。例えば、分類子は、所与の時間サンプルにわたってデータチャネルの一部または全部から抽出された特徴を受信し、それに応答して、そのような時間サンプルにわたって受信された特徴に基づいて、分類を提供することができる。分類は、2項分類または多項分類であることができる。
他の実装では、イベント検出器156は、データの時間サンプル毎に抽出された特徴を分析し、そのような時間サンプルが1つ以上の候補イベントを含むかどうかを識別する、候補イベント検出器を含むことができる。したがって、いくつかの実装では、1つ以上の候補イベントに対応すると識別された特徴のみが、分類子モデルの中に入力され、これは、いくつかのインスタンスでは、システム効率を向上させ得る。
いくつかの実装では、候補イベント検出器は、抽出された特徴に基づいて、候補イベントを識別することができる。例えば、いくつかの実装では、候補イベント検出器は、特定のデータチャネルに関して決定された複数のスケール成分と関連付けられた1つ以上の相対的ピークを識別することができる。一実施例として、相対的ピークは、スケール成分の絶対値がそのようなスケール成分の絶対値の平均を上回る、各インスタンスにおいて識別されることができる。各識別されたピークは、候補イベントと見なされる、または別様にそれに対応し得る。
上記に説明されるように、データの特定の時間サンプル(例えば、1つ以上の候補イベントに対応すると識別された時間サンプル)にわたって抽出された特徴は、データのそのようなサンプルにわたって(例えば、識別された候補イベント毎に)、分類子モデルの中に入力され、分類を受信することができる。例えば、分類子は、所与の時間サンプルにわたってデータチャネルの一部または全部から抽出された特徴を受信し、それに応答して、そのような時間サンプルにわたって受信された特徴に基づく分類または対応する候補イベントを提供することができる。いくつかの実装では、データもまた、抽出された特徴に加え、分類子モデルへの入力として提供されることができる。分類は、2項分類(例えば、単一分類を識別する)または多項分類(例えば、利用可能な分類毎に相対的スコアまたは確率を提供する)であることができる。例示的イベント分類は、高減速分類、高加速分類、ジューク分類、ジャーク分類、ウィービング分類、「無イベント」分類、「他の」分類、および/または本明細書に説明される任意の例示的イベントタイプ、および/または検出されることが所望される任意の他のタイプの分類を含む。いくつかの実装では、分類子モデルはさらに、ある時間窓(例えば、1分)内に多数のイベントが検出される、変化に富む検出を実施することができる。
実施例として、分類子モデルは、例えば、ロジスティック回帰分類子、サポートベクトルマシン、1つ以上の決定ツリー、ニューラルネットワーク、および/または線形および非線形モデルの両方を含む、他のタイプのモデル等の1つ以上の機械学習モデルである、またはそれを含むことができる。ニューラルネットワークは、深層ニューラルネットワーク、フィードフォワードニューラルネットワーク、再帰ニューラルネットワーク(例えば、長短期メモリ再帰ニューラルネットワーク)、畳み込みニューラルネットワーク、またはそれらの組み合わせを含むことができる。
本開示の別の側面によると、人間乗車者によって記録されるイベントラベルを含む、既存のデータログは、分類子モデルを訓練するために使用されることができる。特に、人間副操縦士または乗車者は、自律車両内に乗車し、特定のイベントが生じるときの記録を行うことができる。同時に、自律車両は、その収集されたデータを記録または別様に記憶することができる。人間によって生成されたイベント記録は、そのような時間において自律車両によって収集されたデータに添付されることができる。したがって、手動ラベルを提供するための人間乗車者の使用は、概して、そのようなイベントを反映するデータと時間的に整合される、イベントラベルを含む、データログの集積をもたらし得る。本開示のある側面によると、イベントラベルを伴うデータログのそのような集積は、分類子モデルを訓練するために使用されることができる。
しかしながら、人間乗車者を使用して、イベント記録を作成および完成させることは、いくつかのインスタンスでは、イベントが生じたときと記録が作成されたときとの間の遅延を生じさせ、それによって、イベント記録のうちの少なくともいくつかがイベントが生じたときに対してそのタイムスタンプにおいて若干の遅延を有することにつながり得る。本問題を是正するために、いくつかの実装では、本開示のシステムは、各イベントラベルをそのようなイベントラベルのタイムスタンプに先立ったある時間窓内で生じた任意の潜在的に参照されるイベントに適用または再適用することができる。したがって、データログ内に含まれるイベントラベル毎に、コンピューティングシステムは、イベントラベルと関連付けられた特定の時間に先立ったある時間窓内の複数の潜在的に参照されるイベントを識別し、イベントラベルと複数の潜在的に参照されるイベントのそれぞれとを関連付けることができる。特定の高加速イベントラベルに関する実施例を提供するために、イベントラベルに先立った60秒窓以内の高加速の全ての潜在的イベント(例えば、加速が閾値を上回るインスタンス)は、高加速イベントに関してポジティブとして標識されることができる。他の実装では、時間窓内の候補イベントが、上記に説明されるように(例えば、スケール成分における相対的ピークの識別を通して)識別されることができ、イベントラベルが、そのような候補イベントのそれぞれに適用されることができる。他の技法も同様に、手動イベントラベルをその対応する特徴に適用するために使用されることができる。
いくつかの実装では、訓練データをデータログおよび手動ラベルから生成するために、本開示のシステムおよび方法は、イベントラベルがデータに適用される度に、1つ以上の特徴をデータログから抽出することができる。例えば、上記に説明される特徴抽出プロセスは、ラベルがデータに適用された各インスタンスにおいて、適用されることができる。イベントラベルは、次いで、対応する時間にわたってデータログから抽出された1つ以上の特徴と関連付けられる、またはその逆であることができる。したがって、その結果、複数の特徴のセットを含む、訓練セットが、生成されることができ、特徴の各セットは、特定のイベントラベル(例えば、「高加速」)で標識される。
分類モデルは、そのような訓練データを使用して、訓練されることができる。特に、いくつかの実装では、訓練コンピューティングシステムは、各対の抽出された特徴および対応するイベントラベルに対し、抽出された特徴を分類子モデルの中に入力し、少なくとも1つの分類を分類子モデルの出力として受信し、少なくとも1つの分類と入力特徴に対応するイベントラベルとの間の差異を説明する、目的関数を評価することができる。訓練システムは、少なくとも部分的に、目的関数に基づいて、分類子モデルを訓練することができる。一実施例として、いくつかの実装では、目的関数は、分類子モデルを通して逆伝搬され、分類子モデルを訓練することができる。そのような方式では、分類子モデルは、データから抽出された特徴の受信に基づいて、正しいイベント分類を提供するように訓練されることができる。
イベント検出器156は、所望の機能性を提供するために利用される、コンピュータ論理を含むことができる。いくつかの実装では、イベント検出器156は、汎用プロセッサを制御する、ハードウェア、ファームウェア、および/またはソフトウェア内に実装されることができる。例えば、いくつかの実装では、イベント検出器156は、記憶デバイス上に記憶され、メモリの中にロードされ、1つ以上のプロセッサによって実行される、プログラムファイルを含む。他の実装では、イベント検出器156は、RAMハードディスクまたは光学または磁気媒体等の有形コンピュータ可読記憶媒体内に記憶される、コンピュータ実行可能命令の1つ以上のセットを含む。
本開示の別の側面によると、イベント検出器156による運転イベントの発生の検出に応答して、図1に図示されるコンピューティングシステムは、双方向ユーザインターフェースを提供することができる。例えば、ユーザインターフェースは、ヒューマンマシンインターフェースデバイス150のディスプレイ部分158(例えば、後部座席用ディスプレイ、ハンドヘルドディスプレイ等)上、ユーザコンピューティングデバイス175のディスプレイ上、または他の様式または場所において表示されることができる。双方向ユーザインターフェースは、自律車両10の乗車者が、自律車両10によって実施される運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にすることができる。例えば、タッチセンサ式ディスプレイは、タッチを介して、乗車者入力を受信することができる。例えば、マウス、キーボードまたはキーパッド、タッチパッド、クリックホイール、キーボード等の他の入力コンポーネント160も同様に、使用されることができる。
いくつかの実装では、ユーザインターフェースは、ディスプレイデバイス(例えば、ディスプレイ158)上に表示されず、代わりに、一実施例として、オーディオベースであってもよい。例えば、ヒューマンマシンインターフェースデバイス150または他のシステムコンポーネント内に含まれるスピーカが、ユーザに、自律車両によって実施される運転イベントの発生に関する乗車者フィードバックを含む、音声応答を提供するようにプロンプトしてもよい。例えば、パーソナルアシスタントまたは他の人工知能ベースの技術が、音声会話を介して、乗車者と相互作用し、フィードバックを取得することができる。
別の実施例として、ユーザインターフェースは、1つ以上の物理的ボタン、ノブ、スライダ、レバー、または他のユーザ入力コンポーネント160内に具現化されることができ、これは、ユーザが、そのような物理的コンポーネントの操作を通して、乗車者フィードバックを提供することを可能にする。
さらに別の実施例として、乗車者フィードバックは、カメラによって捕捉された画像の分析を通して、取得されることができる。例えば、コンピュータビジョン技法が、画像に適用され、乗車者快適性および/または満足を示す、ジェスチャ、発話、眼移動、および/または顔の表情(例えば、サムズアップ対サムズダウン)を査定または識別することができる。
いくつかの実装では、乗車者フィードバックを受信後、ヒューマンマシンインターフェースデバイス150または他のシステムコンポーネントは、乗車者フィードバックと、自律車両によって実施される運転イベントの識別、運転イベントが生じた時間、運転イベントが生じた場所、および運転イベントの実施の間に自律車両10によって収集されたデータのうちの1つ以上のものとを関連付けることができる。いくつかの実装では、乗車者フィードバックと、そのようなアイテムのうちの1つ以上のものとを関連付けることは、乗車者フィードバックまたはそのような1つ以上のアイテムと関係上関連付けられた他のデータ表現をデータベース内に記憶することを含むことができる。乗車者フィードバックは、ローカルで(例えば、メモリ154によって)記憶され、次いで、バッチとしてオフラインで中央コンピューティングシステム170に転送されることができる、および/または車両10によって乗車者から、受信されるとすぐに、中央コンピューティングシステム170に伝送されることができる。
ネットワーク180は、デバイス間の通信を可能にする、任意のタイプのネットワークまたはネットワークの組み合わせであることができる。いくつかの実施形態では、ネットワークは、ローカルエリアネットワーク、広域ネットワーク、インターネット、セキュアネットワーク、セルラーネットワーク、メッシュネットワーク、ピアツーピア通信リンク、および/またはいくつかのそれらの組み合わせのうちの1つ以上のものを含むことができ、任意の数の有線または無線リンクを含むことができる。ネットワーク180を経由した通信は、例えば、任意のタイプのプロトコル、保護スキーム、エンコード、フォーマット、パッケージング等を使用して、ネットワークインターフェースを介して、遂行されることができる。
図2は、本開示の例示的実施形態による、例示的自律車両10のブロック図をさらに詳細に描写する。自律車両10は、人間入力を伴わずに、その環境を感知し、ナビゲートすることが可能である。自律車両10は、陸上ベースの自律車両(例えば、車、トラック、バス等)、空中ベースの自律車両(例えば、航空機、ドローン、ヘリコプター、または他の航空機)、または他のタイプの車両(例えば、船舶)であることができる。
自律車両10は、1つ以上のセンサ101と、自律型コンピューティングシステム102と、1つ以上の車両制御107とを含む。自律型コンピューティングシステム102は、自律車両10を制御することを補助することができる。特に、自律型コンピューティングシステム102は、センサデータを1つ以上のセンサ101から受信し、種々の処理技法をセンサ101によって収集されたデータ上で実施することによって、周囲環境を把握するように試み、そのような周囲環境を通した適切なモーション経路を生成することができる。自律型コンピューティングシステム102は、1つ以上の車両制御107を制御し、モーション経路に従って、自律車両10を動作させることができる。
自律型コンピューティングシステム102は、1つ以上のプロセッサ112と、メモリ114とを含む。1つ以上のプロセッサ112は、任意の好適な処理デバイス(例えば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラ等)であることができ、動作可能に接続される、1つのプロセッサまたは複数のプロセッサであることができる。メモリ114は、RAM、ROM、EEPROM、EPROM、1つ以上のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせの1つ以上の非一過性コンピュータ可読記憶媒体を含むことができる。
メモリ114は、1つ以上のプロセッサ112によってアクセスされ得る、情報を記憶することができる。例えば、メモリ114(例えば、1つ以上の非一過性コンピュータ可読記憶媒体、メモリデバイス)は、取得される、受信される、アクセスされる、書き込まれる、操作される、作成される、および/または記憶され得る、データ116を記憶することができる。いくつかの実装では、コンピューティングシステム102は、データをシステム102から遠隔の1つ以上のメモリデバイスから取得することができる。
メモリ114はまた、1つ以上のプロセッサ112によって実行され得る、コンピュータ可読命令118を記憶することができる。命令118は、任意の好適なプログラミング言語で書き込まれるソフトウェアであることができる、またはハードウェア内に実装されることができる。加えて、または代替として、命令118は、プロセッサ112上で論理的におよび/または仮想的に別個のスレッドにおいて実行されることができる。
例えば、メモリ114は、1つ以上のプロセッサ112によって実行されると、1つ以上のプロセッサ112に、本明細書に説明される動作および/または機能のいずれかを実施させる、命令118を記憶することができる。
いくつかの実装では、自律型コンピューティングシステム102はさらに、測位システム122を含むことができる。測位システム122は、車両10の現在の位置を決定することができる。測位システム122は、車両10の位置を分析するための任意のデバイスまたは回路であることができる。例えば、測位システム122は、慣性センサ、衛星測位システムのうちの1つ以上のものを使用することによって、IPアドレスに基づいて、ネットワークアクセスポイントまたは他のネットワークコンポーネント(例えば、セルラータワー、WiFiアクセスポイント等)との三角測量および/または近接度を使用することによって、および/または他の好適な技法によって、位置を決定することができる。車両10の位置は、自律型コンピューティングシステム102の種々のシステムによって使用されることができる。
図2に図示されるように、自律型コンピューティングシステム102は、自律車両10の周囲環境を知覚し、適宜、自律車両10のモーションを制御するためのモーション計画を決定するように協働する、知覚システム103と、予測システム104と、モーション計画システム105とを含むことができる。
特に、いくつかの実装では、知覚システム103は、センサデータを、自律車両10に結合または別様にその中に含まれる、1つ以上のセンサ101から受信することができる。実施例として、1つ以上のセンサ101は、光検出および測距(ライダ)システム、無線検出および測距(レーダ)システム、1つ以上のカメラ(例えば、可視スペクトルカメラ、赤外線カメラ等)、および/または他のセンサを含むことができる。センサデータは、自律車両10の周囲環境内の物体の場所を説明する、情報を含むことができる。
一実施例として、ライダシステムに関して、センサデータは、測距レーザを反射した物体に対応するいくつかの点の(例えば、ライダシステムに対する3次元空間内の)場所を含むことができる。例えば、ライダシステムは、短レーザパルスが、センサから物体に進行し、そこから戻る、飛行時間(TOF)を測定し、距離を光の既知の速さから計算することによって、距離を測定することができる。
別の実施例として、レーダシステムに関して、センサデータは、測距無線波を反射した物体に対応するいくつかの点の(例えば、レーダシステムに対する3次元空間内の)場所を含むことができる。例えば、レーダシステムによって伝送される無線波(パルス状または連続)は、物体から反射し、レーダシステムの受信機に戻り、物体の場所および速さについての情報を与えることができる。したがって、レーダシステムは、物体の現在の速さについての有用な情報を提供することができる。
さらに別の実施例として、1つ以上のカメラに関して、種々の処理技法(例えば、モーションからの構造、構造化された光、立体三角測量、および/または他の技法等の、例えば、範囲結像技法)が、1つ以上のカメラによって捕捉された画像に描写される物体に対応するいくつかの点の(例えば、1つ以上のカメラに対する3次元空間内の)場所を識別するために実施されることができる。他のセンサシステムも同様に、物体に対応する点の場所を識別することができる。
したがって、1つ以上のセンサ101が、自律車両10の周囲環境内の物体に対応する点の(例えば、自律車両10に対する3次元空間内の)場所を説明する情報を含む、センサデータを収集するために使用されることができる。
センサデータに加え、知覚システム103は、自律車両10の周囲環境についての詳細な情報を提供する、マップデータ126を読み出す、または別様に取得することができる。マップデータ126は、異なる進行路(例えば、車道)、道路区画、建物、または他のアイテムまたは物体(例えば、街灯、横断歩道、縁石等)の識別および場所、交通車線の場所および方向(例えば、駐車車線、方向転換車線、自転車車線、または特定の車道または他の進行路内の他の車線の場所および方向)、交通制御データ(例えば、表記、交通信号灯、または他の交通制御デバイスの場所および命令)、および/またはコンピューティングシステム102がその周囲環境およびそれとのその関係を把握および知覚することを補助する情報を提供する、任意の他のマップデータに関する情報を提供することができる。
知覚システム103は、1つ以上のセンサ101から受信されたセンサデータおよび/またはマップデータ126に基づいて、自律車両10に近接する1つ以上の物体を識別することができる。特に、いくつかの実装では、知覚システム103は、物体毎に、そのような物体の現在の状態を説明する、状態データを決定することができる。実施例として、物体毎の状態データは、物体の推定値、すなわち、現在の場所(位置とも称される)、現在の速さ(速度とも称される)、現在の加速、現在の進行方向、現在の配向、サイズ/占有面積(例えば、境界ポリゴンまたは多面体等の境界形状によって表されるように)、クラス(例えば、車両対歩行者対自転車対その他)、ヨーレート、および/または他の状態情報を説明することができる。
いくつかの実装では、知覚システム103は、数回の反復にわたって、物体毎の状態データを決定することができる。特に、知覚システム103は、各反復時に、物体毎の状態データを更新することができる。したがって、知覚システム103は、自律車両10に近接する物体(例えば、車両)を経時的に検出および追跡することができる。
予測システム104は、状態データを知覚システム103から受信し、そのような状態データに基づいて、物体毎に、1つ以上の将来的場所を予測することができる。例えば、予測システム104は、各物体が、次の5秒、10秒、20秒等以内に位置するであろう、場所を予測することができる。一実施例として、物体は、その現在の速さに従って、その現在の軌道に準拠して予測されることができる。別の実施例として、他のより高度な予測技法またはモデル化が、使用されることができる。
モーション計画システム105は、少なくとも部分的に、物体に関する予測される1つ以上の将来的場所および/または知覚システム103によって提供される物体に関する状態データに基づいて、自律車両10のためのモーション計画を決定することができる。換言すると、物体の現在の場所および/または近接物体の予測される将来的場所についての情報を前提として、モーション計画システム105は、自律車両10をそのような場所における物体に対して最良にナビゲートする、自律車両10のためのモーション計画を決定することができる。
一実施例として、いくつかの実装では、モーション計画システム105は、少なくとも部分的に、物体の現在の場所および/または予測される将来的場所に基づいて、自律車両10のための1つ以上の候補モーション計画毎に、コスト関数を評価することができる。例えば、コスト関数は、特定の候補モーション計画に準拠するコスト(例えば、経時的)を提供することができる。例えば、コスト関数によって提供されるコストは、自律車両10が、別の物体に衝突し、および/または好ましい経路(例えば、事前に承認された経路)から逸脱するとき、増加し得る。
したがって、物体の現在の場所および/または予測される将来的場所についての情報を前提として、モーション計画システム105は、特定の候補経路に準拠するコストを決定することができる。モーション計画システム105は、少なくとも部分的に、コスト関数に基づいて、自律車両10のためのモーション計画を選択または決定することができる。例えば、コスト関数を最小限にする、モーション計画が、選択または別様に決定されることができる。モーション計画システム105は、選択されたモーション計画を、1つ以上の車両制御107(例えば、ガスフロー、操向、制動等を制御する、アクチュエータまたは他のデバイス)を制御し、選択されたモーション計画を実行する、車両コントローラ106に提供することができる。
知覚システム103、予測システム104、モーション計画システム105、および車両コントローラ106はそれぞれ、所望の機能性を提供するために利用される、コンピュータ論理を含むことができる。いくつかの実装では、知覚システム103、予測システム104、モーション計画システム105、および車両コントローラ106はそれぞれ、汎用プロセッサを制御する、ハードウェア、ファームウェア、および/またはソフトウェア内に実装されることができる。例えば、いくつかの実装では、知覚システム103、予測システム104、モーション計画システム105、および車両コントローラ106はそれぞれ、記憶デバイス上に記憶され、メモリの中にロードされ、1つ以上のプロセッサによって実行される、プログラムファイルを含む。他の実装では、知覚システム103、予測システム104、モーション計画システム105、および車両コントローラ106はそれぞれ、RAMハードディスクまたは光学または磁気媒体等の有形コンピュータ可読記憶媒体内に記憶される、コンピュータ実行可能命令の1つ以上のセットを含む。
例示的ユーザインターフェース
本開示の別の側面によると、自律車両によって実施される運転イベントの発生の検出に応答して、本開示のシステムは、双方向ユーザインターフェースを提供することができる。双方向ユーザインターフェースは、自律車両の乗車者が、運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にすることができる。図4−6は、本開示の例示的実施形態による、例示的ユーザインターフェースを描写する。図4−6に示されるユーザインターフェースは、実施例としてのみ提供される。異なる特徴、配列、または相互作用を伴う、異なるユーザインターフェースも、図4−6に示されるユーザインターフェースに加えて、またはその代替として、使用されることができる。
運転イベントの検出に応答して提供され得る、一例示的ユーザインターフェースとして、図4は、本開示の例示的実施形態による、例示的双方向ユーザインターフェース400を描写する。ユーザインターフェース400は、乗車者が、乗車者フィードバックを提供することの所望を示すことを可能にする、初期ユーザ選択可能アイコン404を含む。例えば、初期ユーザ選択可能アイコン404は、図4に図示されるように、ボタンまたはアイコンのクラスタを描写する、単一選択可能空間であることができる。プラス標識は、アイコン404の選択が付加的フィードバックオプションの提示をもたらすであろうことを示すことができる。
メッセージまたはヘッダ402が、ユーザ選択可能アイコン404に隣接して(例えば、その上方に)提供されることができる。メッセージ402は、乗車者フィードバックが要求されることのコンテキストを提供することができる。例えば、メッセージは、検出された運転イベント(例えば、方向転換)を識別することができる。
加えて、いくつかの実装では、ユーザインターフェース400は、検出された運転イベントの実施の間、自律車両の可視化406を含むことができる。一実施例として、可視化406は、少なくとも部分的に、運転イベントの実施の間に自律車両によって収集された光検出および測距データに基づいて、可視化することができる、または別様に生成されることができる。検出された運転イベントの実施の間、自律車両の可視化406をユーザインターフェース400内に提供することは、乗車者が、乗車者フィードバックを提供するかどうかを決定するとき、運転イベントを視覚的に精査することを可能にすることができる。
いくつかの実装では、双方向ユーザインターフェース400は、特定の検出された運転イベントに特有であり、かつ、それと関連付けられることができる。一実施例として、異なるユーザ選択可能アイコンは、それぞれ、異なるイベントのために提供されることができる。別の実施例として、異なるグラフィック、識別子、またはメッセージが、双方向ユーザインターフェース400内に提供され、各イベントを他のイベントから区別することに役立つことができる。実施例を提供するために、テキスト、マップベース、または他の視覚的識別子(例えば、メッセージ402の代替として、またはそれに加え)が、「Center Streetに曲がる」を「First Streetに曲がる」から識別することができる。
ユーザインターフェース400の任意の他の側面(例えば、フォント、フォーマッティング、サイズ、アイコンの数、アイコンのタイプ、識別子の数、識別子のタイプ等)が、修正され、個別の運転イベントに特有のインターフェースを提供することができる。
いくつかの実装では、初期ユーザ選択可能アイコン404のユーザ選択の受信後、ユーザインターフェースは、次いで、それぞれ、複数の満足レベルに対応する、複数のユーザ選択可能アイコンを提供することに遷移することができる。例えば、404に描写されるボタンまたはアイコンのクラスタは、視覚的に拡散され、独立して選択可能になることができる。
一実施例として、図5は、それぞれ複数の満足レベルに対応する、複数のユーザ選択可能アイコン504a−eを含む、例示的ユーザインターフェース500を描写する。いくつかの実装では、ユーザインターフェース500は、乗車者が乗車者フィードバックを提供することの所望を示すことを可能にする、初期ユーザ選択可能アイコン(例えば、アイコン404)のユーザ選択の受信に応答して、提供される。他の実装では、ユーザインターフェース500は、直接、運転イベントの検出に応答して、(例えば、ユーザインターフェース400を提供せずに、または別様に初期フィードバックアイコンの選択を要求せずに)、提供されることができる。
図5を依然として参照すると、乗車者は、複数のユーザ選択可能アイコン504a−eのうちの1つを選択し、対応する満足レベルを示す、乗車者フィードバックを提供することができる。一実施例として、ユーザ選択可能アイコン504a−eは、非常に不満、不満、どちらでもない、満足、非常に満足に対応し得る。しかしながら、多くの他の分割または満足レベルも、これらの例示的レベルの代わりに使用されることができる。
メッセージまたはヘッダ502が、アイコン504a−eに隣接して(例えば、その上方に)提供され、乗車者フィードバックに関するコンテキストを提供することができる。例えば、メッセージ502は、それに対して乗車者フィードバックが要求される、運転イベント(例えば、「Centre Aveへの方向転換はどうでしたか?」)を識別することができる。
いくつかの実装では、複数のユーザ選択可能アイコン504a−eは、乗車者が適切なアイコン504a−eを選択することを補助する、グラフィカルおよび/またはテキストインジケータを含むことができる。したがって、図5に図示されるように、対応する満足レベルを説明する、テキストインジケータが、提供されることができる。加えて、または代替として、同様に図5に図示されるように、対応する満足レベルを説明する、グラフィカルインジケータが、提供されることができる。
いくつかの実装では、複数のユーザ選択可能アイコンは、単一グラフィカルアイテム(例えば、軸に沿った複数のユーザ選択可能段階またはダイヤル上の複数のユーザ選択可能段階)内に含まれることができる。いくつかの実装では、離散満足レベルではなく、スライダ、ダイヤル、ノブ、または他の物理的または仮想特徴が、乗車者が、満足レベルの連続スペクトルに沿ってフィードバックを提供することを可能にすることができる。
加えて、いくつかの実装では、ユーザインターフェース500は、検出された運転イベントの実施の間、自律車両の可視化506を含むことができる。一実施例として、可視化506は、少なくとも部分的に、運転イベントの実施の間に自律車両によって収集された光検出および測距データに基づいて、可視化することができる、または別様に生成されることができる。検出された運転イベントの実施の間、自律車両の可視化506をユーザインターフェース内に提供することは、乗車者が、乗車者フィードバックを提供するとき、運転イベントを視覚的に精査することを可能にすることができる。
いくつかの実装では、双方向ユーザインターフェース500は、特定の検出された運転イベントに特有であり、かつ、それと関連付けられることができる。一実施例として、ユーザ選択可能アイコン504a−eの異なるセットが、それぞれ、異なるイベントのために提供されることができる。別の実施例として、異なる識別子は、双方向ユーザインターフェース500内に提供され、各イベントを他のイベントから区別することに役立つことができる。実施例を提供するために、テキスト、マップベース、または他の視覚的識別子(例えば、メッセージ502に加え)が、「Center Streetに曲がる」を「First Streetに曲がる」から識別することができる。
ユーザインターフェース500の任意の他の側面(例えば、フォント、フォーマッティング、サイズ、アイコンの数、アイコンのタイプ、識別子の数、識別子のタイプ等)が、修正され、個別の運転イベントに特有のインターフェースを提供することができる。
いくつかの実装では、複数のユーザ選択可能アイコン504a−eのうちの1つを選択する、乗車者フィードバックの受信に応答して、本開示のシステムは、ユーザインターフェースを、続いて、第2の複数のユーザ選択可能アイコンを提供する、二次メニューを提供するように遷移させることができる。
一実施例として、図6は、第2の複数のユーザ選択可能アイコン608a−eを含む、例示的ユーザインターフェース600を描写する。一実施例として、第2の複数のユーザ選択可能アイコン608a−eは、それぞれ示される満足レベルに対する異なる理由を説明する、それぞれ複数のテキスト語句に対応することができる。いくつかの実装では、以前に選択された満足レベルは、604に示されるように、ハイライトされることができる。実施例として、テキスト語句は、「速すぎる」、「遅すぎる」、「他の車両に接近しすぎる」、「大回りすぎる」等の語句を含むことができる。
他の実装では、第2の複数のユーザ選択可能アイコン608a−eは、性質上、テキストではなく、代わりに、示される満足レベルに対する異なる理由のグラフィカル描写を含む(例えば、大回りしている車両のグラフィカル描写)。異なるテキスト語句またはグラフィカルアイコンが、さらに下記に議論されるであろうように、検出されたイベントの性質に応じて、使用されることができる。
ユーザインターフェース600はさらに、アイコン608a−eのためのコンテキストを提供する、メッセージ602を含むことができる。いくつかの実装では、図6に図示されるように、満足レベルに対応する、第1の複数のアイコンは、ユーザインターフェース600内に残されたまま、第2の複数のユーザ選択可能アイコン608a−eが、提供される。例えば、選択されたアイコン/満足レベルは、604に示されるように、ハイライトされることができる。代替として、選択されたアイコン/満足レベル604のみが、残されたままであり得、他のアイコン/満足レベルは、除去される。なおもさらなる実装では、満足レベルに対応する、第1の複数のアイコンは、第2の複数のユーザ選択可能アイコン608a−eが提供されると、ユーザインターフェース600から除去される。
いくつかの実装では、双方向ユーザインターフェース600は、特定の検出された運転イベントに特有であり、かつ、それと関連付けられることができる。換言すると、異なる二次メニューアイテム608a−eが、それぞれ、異なるイベントのために提供されることができる。例えば、方向転換イベントに応答して提供される、二次メニューアイテムは、方向転換イベントに特有のテキスト語句(例えば、「大回りすぎる」、「小回りすぎる」等)を含むことができる一方、停止イベントに応答して提供される二次メニューアイテムは、停止イベントに特有のテキスト語句(例えば、「停止が遅すぎる」、「停止が早すぎる」等)を含むことができる。したがって、いくつかの実装では、満足レベルに対応する、第1の複数のアイコンは、異なるイベントタイプを横断して一貫する一方、第2の複数のアイコン608a−eは、検出されたイベントの特定のタイプに特有であることができる(例えば、方向転換イベント対停止イベント)。
いくつかの実装では、双方向ユーザインターフェース600は、特定の選択された満足レベルに特有であり、かつ、それと関連付けられることができる。換言すると、アイコン608a−eの異なるセットは、乗車者によって選択された満足レベルに応じて、提供されることができる。例えば、図6に図示されるアイコン608a−eは、良くなかった点の個別のテキスト説明を提供する。したがって、図6に図示されるアイコン608a−eは、ネガティブな満足レベルに対応する、アイコン(例えば、604)の選択に応答して、表示されることができる。しかしながら、乗車者が、ポジティブな満足レベルに対応するアイコンを選択した場合、アイコン608a−eは、異なり得る。特に、そのようなシナリオでは、アイコン608a−eは、良かった点を説明する、または乗車者が満足であると感じた側面の個別のテキスト語句を提供し得る。
異なる識別子が、双方向ユーザインターフェース内に提供され、各イベントを他のイベントから区別することに役立つことができる。実施例を提供するために、テキスト、マップベース、または他の視覚的識別子が、「Center Streetに曲がる」を「First Streetに曲がる」から識別することができる。
ユーザインターフェース600の任意の他の側面(例えば、フォント、フォーマッティング、サイズ、アイコンの数、アイコンのタイプ、識別子の数、識別子のタイプ等)が、修正され、個別の運転イベントに特有のインターフェースを提供することができる。
いくつかの実装では、本開示のシステムは、ユーザインターフェースを修正し(例えば、インターフェース500からインターフェース600に遷移させ)、乗車者が、ネガティブな満足レベルに対応する、複数のユーザ選択可能アイコン504a−e(または乗車者フィードバックのアイコンまたはタイプのある他の定義されたサブセット)のうちの1つを選択するときのみ、第2の複数のアイコン608a−eを提供する。
いくつかの実装では、一次および二次メニュー以外の付加的レベルの階層フィードバックメニューも、使用されることができる。例えば、異なる任意の数の異なるカテゴリまたはスキームに従って編成される、任意の数の階層(三次メニュー、四次メニュー等)も、使用されることができる。
いくつかの実装では、第2の複数のアイコン608a−eは、直接、あるタイプの検出された運転イベントに応答して、提供されることができる。例えば、方向転換イベントの検出に応答して、乗車者フィードバックのテキストまたはグラフィカル説明が、最初に、満足レベルに関するフィードバックを受信せずに提供されることができる。
いくつかの実装では、双方向ユーザインターフェースは、検出された運転イベントの実施の間、自律車両の可視化610を含むことができる。一実施例として、可視化610は、少なくとも部分的に、運転イベントの実施の間に自律車両によって収集された光検出および測距データに基づいて、可視化することができる、または別様に生成されることができる。検出された運転イベントの実施の間、自律車両の可視化610をユーザインターフェース600内に提供することは、乗車者が、第2の複数のアイコン608a−eの中から選択する間、運転イベントを視覚的に精査することを可能にすることができる。
いくつかの実装では、双方向ユーザインターフェース400、500、および600のうちの1つ以上のものは、乗車者が、運転イベントを識別する、乗車者フィードバックを提供することを要求することができる。例えば、フィードバック収集システムは、運転イベントが生じたことを識別するが、運転イベントの正確な性質を決定することが不可能であり得る。したがって、双方向ユーザインターフェースは、乗車者が、運転イベントを識別する、乗車者フィードバックを提供することを要求することができる。例えば、ユーザインターフェースは、乗車者が、運転イベントを一般的カテゴリ(例えば、停止イベント)から具体的タイプ(例えば、停止標識における停止イベント対横断歩道における停止イベント対交通信号灯における停止イベント対人間(例えば、交通隊員)誘導車両停止に起因する停止イベント等)に絞り込む、乗車者フィードバックを提供することを要求することができる。
例示的方法
図7は、本開示の例示的実施形態による、自律車両乗車者フィードバックを取得するための例示的方法のフローチャート図を描写する。
図7は、例証目的および議論のために、特定の順序で実施されるステップを描写するが、本開示の方法は、特に、図示される順序または配列に限定されない。方法700の種々のステップは、本開示の範囲から逸脱することなく、種々の方法において、省略される、再配列される、組み合わせられる、および/または適合されることができる。
702では、コンピューティングシステムは、自律車両によって実施される運転イベントの発生を検出する。例えば、コンピューティングシステムは、自律車両に搭載される、1つ以上のコンピューティングデバイスを含むことができる。
いくつかの実装では、コンピューティングシステムは、702において、少なくとも部分的に、自律車両内に含まれるナビゲーションシステムと関連付けられたターンバイターンデータ、自律車両によって収集された車両データ、自律車両によって生成されたテレマティクスデータ、乗車者によって体験されるモーションを説明する、ヒューマンマシンインターフェースコンピューティングデバイスによって収集されたデータ、および乗車者によって体験されるモーションを説明する乗車者と関連付けられたユーザデバイスから無線で受信されたデータのうちの1つ以上のものに基づいて、運転イベントの発生を検出することができる。
いくつかの実装では、702において、運転イベントの発生を検出するステップは、方向転換イベント、車線変更イベント、停止イベント、急ブレーキイベント、ウィービング(weaving)イベント、ジューキング(juking)イベント、ジャーキング(jerking)イベント、過剰な速さイベント、不十分な速さイベント、および過剰な加速イベントのうちの1つ以上のものの発生を検出するステップを含むことができる。
704では、コンピューティングシステムは、表示のために、自律車両の乗車者が運転イベントに関するユーザフィードバックを打ち込むことを可能にする、双方向ユーザインターフェースを提供する。例えば、双方向ユーザインターフェースは、自律車両の後部座席に位置する乗車者にアクセス可能な後部座席用ディスプレイ上に提供されることができる。
いくつかの実装では、704において、双方向ユーザインターフェースを提供するステップは、それぞれ複数の満足レベルに対応する、複数のユーザ選択可能アイコンを提供する、双方向ユーザインターフェースを提供するステップを含むことができる。各ユーザ選択可能アイコンは、対応する満足レベルを示す乗車者フィードバックを提供するために乗車者によって選択可能であることができる。
いくつかの実装では、704において、ユーザインターフェースを提供するステップは、運転イベントを実施する自律車両の可視化を含む、ユーザインターフェースを提供するステップを含むことができる。
いくつかの実装では、704において、ユーザインターフェースを提供するステップは、特定の検出された運転イベントに特有であり、かつ、それと関連付けられる、ユーザインターフェースを提供するステップを含むことができる。
いくつかの実装では、704において、ユーザインターフェースを提供するステップは、乗車者が、運転イベントを識別する、乗車者フィードバックを提供することを要求する、ユーザインターフェースを提供するステップを含むことができる。
706では、コンピューティングシステムは、双方向ユーザインターフェースを介して、自律車両の乗車者によって打ち込まれる、ユーザフィードバックを受信する。例えば、フィードバックは、それぞれ複数の満足レベルに対応する、ユーザ選択可能アイコンのうちの1つのユーザ選択を含むことができる。
708では、コンピューティングシステムは、ユーザフィードバックと運転イベントの識別、運転イベントが生じた時間、運転イベントが生じた場所、および運転イベントの実施の間に自律車両によって収集されたデータのうちの1つ以上のものとを関連付ける。いくつかの実装では、708において、乗車者フィードバックと、そのようなアイテムのうちの1つ以上のものとを関連付けるステップは、乗車者フィードバックまたはそのような1つ以上のアイテムと関係上関連付けられた他のデータ表現をデータベース内に記憶するステップを含むことができる。
いくつかの実装では、704において、双方向ユーザインターフェースを提供するステップと、706において、乗車者フィードバックを受信するステップとは、最初に、乗車者が乗車者フィードバックを提供することの所望を示すことを可能にする、初期ユーザ選択可能アイコンを含む、双方向ユーザインターフェースを提供するステップと、初期ユーザ選択可能アイコンのユーザ選択を受信するステップと、初期ユーザ選択可能アイコンのユーザ選択に応答して、それぞれ複数の満足レベルに対応する、複数のユーザ選択可能アイコンを提供する、双方向ユーザインターフェースを提供するステップとを含むことができる。
いくつかの実装では、704において、双方向ユーザインターフェースを提供するステップと、706において、乗車者フィードバックを受信するステップとは、複数のユーザ選択可能アイコンのうちの1つを選択する、乗車者フィードバックを受信するステップと、それに応答して、それぞれ示される満足レベルに対する異なる理由を説明する、それぞれ複数のテキスト語句に対応する、第2の複数のユーザ選択可能アイコンを提供する、二次メニューを提供するステップとを含むことができる。さらに706において、コンピューティングシステムは、第2の複数のユーザ選択可能アイコンのうちの1つ以上のもののユーザ選択を受信することができ、708において、そのような選択と、運転イベントの識別、運転イベントが生じた時間、運転イベントが生じた場所、および運転イベントの実施の間に自律車両によって収集されたデータのうちの1つ以上のものとを関連付けることができる。
本開示のさらに別の例示的方法では、コンピューティングシステムは、自律車両の特定の乗車者が、乗車者が乗車者フィードバックを以前に提供した場所を訪問している、または特定の乗車者が、乗車者が乗車者フィードバックを以前に提供した運転イベントに遭遇していることを検出することができる。それに応答して、コンピューティングシステムは、乗車者が新しい乗車者フィードバックを提供することを要求することができる。付加的乗車者フィードバックの受信は、コンピューティングシステムが、自律車両性能における任意の改良が、フィードバックの変化によって示されるように、個別の乗車者フィードバック間の時間周期内で達成されたかどうかを評価することを可能にすることができる。
本開示の別の例示的方法は、コンピューティングシステムによって、複数の検出された運転イベントに対する双方向ユーザインターフェースを介して受信されたフィードバックデータの複数のインスタンスを経時的に集約するステップを含むことができる。本方法はさらに、コンピューティングシステムによって、少なくとも部分的に、フィードバックデータの集約された複数のインスタンスに基づいて、少なくとも1つの物理的場所に対する少なくとも自律車両に関する集約性能スコアを決定するステップを含むことができる。例えば、場所に関する集約性能スコアは、そのような場所に関して受信された全てのフィードバックの平均または他の統計的測定値であることができる。
付加的開示
本明細書で議論される技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、および行われるアクションおよびそのようなシステムへおよびそこから送信される情報を参照する。コンピュータベースのシステムの固有のフレキシビリティは、コンポーネント間およびその中のタスクおよび機能性の多様な可能性として考えられる構成、組み合わせ、および分割を可能にする。例えば、本明細書で議論されるプロセスは、単一デバイスまたはコンポーネントまたは組み合わせて作用する複数のデバイスまたはコンポーネントを使用して、実装されることができる。データベースおよびアプリケーションは、単一システム上に実装される、または複数のシステムを横断して分散されることができる。分散型コンポーネントは、順次または並行して動作することができる。
本主題は、その種々の具体的例示的実施形態に対して詳細に説明されたが、各実施例は、本開示の限定ではなく、説明として提供される。当業者は、前述の理解の試みに応じて、そのような実施形態の改変、変形例、および均等物を容易に生産することができる。故に、本開示は、当業者に容易に明白となるであろうような本主題のそのような修正、変形例、および/または追加の含有を除外しない。例えば、一実施形態の一部として図示または説明される特徴は、別の実施形態と併用され、依然として、さらなる実施形態をもたらすことができる。したがって、本開示は、そのような改変、変形例、および均等物を網羅することが意図される。
本開示の種々の実施形態のこれらおよび他の特徴、側面、および利点は、以下の説明および添付の請求項を参照して、より深く理解されるようになるであろう。本明細書内に組み込まれ、その一部を構成する、付随の図面は、本開示の例示的実施形態を図示し、説明とともに、関連原理を説明する役割を果たす。
本発明は、例えば、以下を提供する。
(項目1)
自律車両乗車者フィードバックを取得するためのコンピュータ実装方法であって、前記方法は、
1つ以上のコンピューティングデバイスを備えるコンピューティングシステムによって、自律車両によって実施される運転イベントの発生を検出することと、
前記運転イベントの発生の検出に応答して、前記コンピューティングシステムによって、前記自律車両の乗車者が前記自律車両によって実施される前記運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする双方向ユーザインターフェースを提供することと、
前記コンピューティングシステムによって、前記双方向ユーザインターフェースを介して前記自律車両の乗車者によって打ち込まれる前記乗車者フィードバックを受信することと、
前記コンピューティングシステムによって、前記乗車者フィードバックと、前記自律車両によって実施される前記運転イベントの識別、前記運転イベントが生じた時間、前記運転イベントが生じた場所、および前記運転イベントの実施の間に前記自律車両によって収集されたデータのうちの1つ以上のものとを関連付けることと
を含む、コンピュータ実装方法。
(項目2)
前記1つ以上のコンピューティングデバイスは、前記自律車両に搭載される、項目1に記載のコンピュータ実装方法。
(項目3)
前記コンピューティングシステムによって、前記自律車両によって実施される前記運転イベントの発生を検出することは、前記コンピューティングシステムによって、少なくとも部分的に、
前記自律車両内に含まれるナビゲーションシステムと関連付けられたターンバイターンデータ、
前記自律車両によって収集された車両データ、
前記自律車両によって生成されたテレマティクスデータ、
前記乗車者によって体験されるモーションを説明するヒューマンマシンインターフェースコンピューティングデバイスによって収集されたデータ、および
前記乗車者によって体験されるモーションを説明する前記乗車者と関連付けられたユーザデバイスから無線で受信されたデータ
のうちの1つ以上のものに基づいて、前記運転イベントの発生を検出すること
を含む、項目1または2に記載のコンピュータ実装方法。
(項目4)
前記コンピューティングシステムによって、前記自律車両によって実施される前記運転イベントの発生を検出することは、前記コンピューティングシステムによって、
方向転換イベント、
車線変更イベント、
停止イベント、
急ブレーキイベント、
ウィービングイベント、
ジューキングイベント、
ジャーキングイベント、
過剰な速さイベント、
不十分な速さイベント、および
過剰な加速イベント
のうちの1つ以上のものの発生を検出すること
を含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目5)
前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記自律車両の後部座席に位置する前記乗車者によってアクセス可能な後部座席用ディスプレイデバイス上に前記双方向ユーザインターフェースを表示することを含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目6)
前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、それぞれ複数の満足レベルに対応する複数のユーザ選択可能アイコンを提供する前記双方向ユーザインターフェースを提供することを含み、各ユーザ選択可能アイコンは、前記対応する満足レベルを示す乗車者フィードバックを提供するために前記乗車者によって選択可能である、前記項目のいずれかに記載のコンピュータ実装方法。
(項目7)
前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、
前記コンピューティングシステムによって、表示のために、前記乗車者が前記乗車者フィードバックを提供することの所望を示すことを可能にする初期ユーザ選択可能アイコンを最初に含む前記双方向ユーザインターフェースを提供することと、
前記コンピューティングシステムによって、前記初期ユーザ選択可能アイコンのユーザ選択を受信することと、
前記初期ユーザ選択可能アイコンのユーザ選択の受信に応答して、前記コンピューティングシステムによって、表示のために、それぞれ前記複数の満足レベルに対応する前記複数のユーザ選択可能アイコンを提供する前記双方向ユーザインターフェースを提供することと
を含む、項目6に記載のコンピュータ実装方法。
(項目8)
前記複数のユーザ選択可能アイコンのうちの1つを選択する前記乗車者フィードバックの受信に応答して、前記コンピューティングシステムによって、前記ユーザインターフェースに、前記示される満足レベルに対する異なる理由をそれぞれ説明する複数のテキスト語句にそれぞれ対応する第2の複数のユーザ選択可能アイコンを提供する二次メニューを提供させること
をさらに含む、項目6に記載のコンピュータ実装方法。
(項目9)
前記コンピューティングシステムによって、前記ユーザインターフェースに、前記複数のユーザ選択可能アイコンのうちの1つを選択する前記乗車者フィードバックの受信に応答して、前記二次メニューを提供させることは、前記コンピューティングシステムによって、前記ユーザインターフェースに、ネガティブな満足レベルに対応する前記複数のユーザ選択可能アイコンのうちの1つを選択する前記乗車者フィードバックの受信に応答して、前記二次メニューを提供させることを含む、項目8に記載のコンピュータ実装方法。
(項目10)
前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、表示のために、前記運転イベントを実施する前記自律車両の可視化を含む前記双方向ユーザインターフェースを提供することを含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目11)
前記コンピューティングシステムによって、表示のために、前記運転イベントを実施する前記自律車両の可視化を含む前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、表示のために、前記運転イベントの実施の間に前記自律車両によって収集された光検出および測距データを可視化する前記可視化を含む前記双方向ユーザインターフェースを提供することを含む、項目10に記載のコンピュータ実装方法。
(項目12)
前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、特定の検出された運転イベントに特有でありかつ前記特定の検出された運転イベントと関連付けられる前記双方向ユーザインターフェースを提供することを含み、特定の検出された運転イベントに特有でありかつ前記特定の検出された運転イベントと関連付けられる前記双方向ユーザインターフェースは、少なくとも1つの代替運転イベントに特有でありかつ前記少なくとも1つの代替運転イベントと関連付けられる少なくとも1つの代替ユーザインターフェースと異なる、前記項目のいずれかに記載のコンピュータ実装方法。
(項目13)
前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、前記乗車者が前記運転イベントを識別する前記乗車者フィードバックを提供することを要求する前記双方向ユーザインターフェースを提供することを含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目14)
前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、前記乗車者が複数の重複運転イベントに対する前記乗車者フィードバックを提供することを要求する前記双方向ユーザインターフェースを提供することを含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目15)
前記コンピューティングシステムによって、複数の検出された運転イベントに対する前記双方向ユーザインターフェースを介して受信されたフィードバックデータの複数のインスタンスを経時的に集約することと、
前記コンピューティングシステムによって、前記フィードバックデータの集約された複数のインスタンスに少なくとも部分的に基づいて、少なくとも1つの物理的場所に対する少なくとも前記自律車両に関する集約性能スコアを決定することと
をさらに含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目16)
コンピューティングシステムであって、
1つ以上のプロセッサと、
命令を集合的に記憶する1つ以上の非一過性コンピュータ可読媒体であって、前記命令は、前記1つ以上のプロセッサによって実行されると、前記コンピューティングシステムに、
自律車両によって実施される運転イベントの発生を検出することと、
前記運転イベントの発生の検出に応答して、前記自律車両の乗車者が前記自律車両によって実施される前記運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする双方向ユーザインターフェースを提供することと、
前記双方向ユーザインターフェースを介して前記自律車両の乗車者によって打ち込まれる前記乗車者フィードバックを受信することと、
前記乗車者フィードバックと、前記自律車両によって実施される前記運転イベントの識別、前記運転イベントが生じた時間、前記運転イベントが生じた場所、および前記運転イベントの実施の間に前記自律車両によって収集されたデータのうちの1つ以上のものとを関連付けることと
を含む動作を実施させる、1つ以上の非一過性コンピュータ可読媒体と
を備える、コンピューティングシステム。
(項目17)
前記自律車両の後部座席に位置する前記乗車者によってアクセス可能である後部座席用ディスプレイデバイス
をさらに備え、
前記双方向ユーザインターフェースを提供することは、前記双方向ユーザインターフェースを後部座席用ディスプレイ上に表示することを含む、項目16に記載のコンピューティングシステム。
(項目18)
前記双方向ユーザインターフェースを提供することは、ユーザコンピューティングデバイスによる表示のために、前記双方向ユーザインターフェースを前記乗車者と関連付けられた前記ユーザコンピューティングデバイスに提供することを含む、項目16または17に記載のコンピューティングシステム。
(項目19)
前記コンピューティングシステムは、自律型システムと、ヒューマンマシンインターフェースデバイスとを備え、前記自律型システムおよび前記ヒューマンマシンインターフェースデバイスの一方または両方は、前記自律車両によって実施される前記運転イベントの発生を検出する動作を実施する、項目16、17、または18に記載のコンピューティングシステム。
(項目20)
命令を集合的に記憶する1つ以上の非一過性コンピュータ可読媒体であって、前記命令は、1つ以上のプロセッサによって実行されると、コンピューティングシステムに、
自律車両によって実施される運転イベントの発生を検出することと、
前記運転イベントの発生の検出に応答して、前記自律車両の乗車者が前記自律車両によって実施される前記運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする双方向ユーザインターフェースを提供することと、
前記双方向ユーザインターフェースを介して前記自律車両の乗車者によって打ち込まれる前記乗車者フィードバックを受信することと、
前記乗車者フィードバックと、前記自律車両によって実施される前記運転イベントの識別、前記運転イベントが生じた時間、前記運転イベントが生じた場所、および前記運転イベントの実施の間に前記自律車両によって収集されたデータのうちの1つ以上のものとを関連付けることと
を含む動作を実施させる、非一過性コンピュータ可読媒体。

Claims (20)

  1. 自律車両乗車者フィードバックを取得するためのコンピュータ実装方法であって、前記方法は、
    1つ以上のコンピューティングデバイスを備えるコンピューティングシステムによって、自律車両によって実施される運転イベントの発生を検出することと、
    前記運転イベントの発生の検出に応答して、前記コンピューティングシステムによって、前記自律車両の乗車者が前記自律車両によって実施される前記運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする双方向ユーザインターフェースを提供することと、
    前記コンピューティングシステムによって、前記双方向ユーザインターフェースを介して前記自律車両の乗車者によって打ち込まれる前記乗車者フィードバックを受信することと、
    前記コンピューティングシステムによって、前記乗車者フィードバックと、前記自律車両によって実施される前記運転イベントの識別、前記運転イベントが生じた時間、前記運転イベントが生じた場所、および前記運転イベントの実施の間に前記自律車両によって収集されたデータのうちの1つ以上のものとを関連付けることと
    を含む、コンピュータ実装方法。
  2. 前記1つ以上のコンピューティングデバイスは、前記自律車両に搭載される、請求項1に記載のコンピュータ実装方法。
  3. 前記コンピューティングシステムによって、前記自律車両によって実施される前記運転イベントの発生を検出することは、前記コンピューティングシステムによって、少なくとも部分的に、
    前記自律車両内に含まれるナビゲーションシステムと関連付けられたターンバイターンデータ、
    前記自律車両によって収集された車両データ、
    前記自律車両によって生成されたテレマティクスデータ、
    前記乗車者によって体験されるモーションを説明するヒューマンマシンインターフェースコンピューティングデバイスによって収集されたデータ、および
    前記乗車者によって体験されるモーションを説明する前記乗車者と関連付けられたユーザデバイスから無線で受信されたデータ
    のうちの1つ以上のものに基づいて、前記運転イベントの発生を検出すること
    を含む、請求項1または2に記載のコンピュータ実装方法。
  4. 前記コンピューティングシステムによって、前記自律車両によって実施される前記運転イベントの発生を検出することは、前記コンピューティングシステムによって、
    方向転換イベント、
    車線変更イベント、
    停止イベント、
    急ブレーキイベント、
    ウィービングイベント、
    ジューキングイベント、
    ジャーキングイベント、
    過剰な速さイベント、
    不十分な速さイベント、および
    過剰な加速イベント
    のうちの1つ以上のものの発生を検出すること
    を含む、前記請求項のいずれかに記載のコンピュータ実装方法。
  5. 前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記自律車両の後部座席に位置する前記乗車者によってアクセス可能な後部座席用ディスプレイデバイス上に前記双方向ユーザインターフェースを表示することを含む、前記請求項のいずれかに記載のコンピュータ実装方法。
  6. 前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、それぞれ複数の満足レベルに対応する複数のユーザ選択可能アイコンを提供する前記双方向ユーザインターフェースを提供することを含み、各ユーザ選択可能アイコンは、前記対応する満足レベルを示す乗車者フィードバックを提供するために前記乗車者によって選択可能である、前記請求項のいずれかに記載のコンピュータ実装方法。
  7. 前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、
    前記コンピューティングシステムによって、表示のために、前記乗車者が前記乗車者フィードバックを提供することの所望を示すことを可能にする初期ユーザ選択可能アイコンを最初に含む前記双方向ユーザインターフェースを提供することと、
    前記コンピューティングシステムによって、前記初期ユーザ選択可能アイコンのユーザ選択を受信することと、
    前記初期ユーザ選択可能アイコンのユーザ選択の受信に応答して、前記コンピューティングシステムによって、表示のために、それぞれ前記複数の満足レベルに対応する前記複数のユーザ選択可能アイコンを提供する前記双方向ユーザインターフェースを提供することと
    を含む、請求項6に記載のコンピュータ実装方法。
  8. 前記複数のユーザ選択可能アイコンのうちの1つを選択する前記乗車者フィードバックの受信に応答して、前記コンピューティングシステムによって、前記ユーザインターフェースに、前記示される満足レベルに対する異なる理由をそれぞれ説明する複数のテキスト語句にそれぞれ対応する第2の複数のユーザ選択可能アイコンを提供する二次メニューを提供させること
    をさらに含む、請求項6に記載のコンピュータ実装方法。
  9. 前記コンピューティングシステムによって、前記ユーザインターフェースに、前記複数のユーザ選択可能アイコンのうちの1つを選択する前記乗車者フィードバックの受信に応答して、前記二次メニューを提供させることは、前記コンピューティングシステムによって、前記ユーザインターフェースに、ネガティブな満足レベルに対応する前記複数のユーザ選択可能アイコンのうちの1つを選択する前記乗車者フィードバックの受信に応答して、前記二次メニューを提供させることを含む、請求項8に記載のコンピュータ実装方法。
  10. 前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、表示のために、前記運転イベントを実施する前記自律車両の可視化を含む前記双方向ユーザインターフェースを提供することを含む、前記請求項のいずれかに記載のコンピュータ実装方法。
  11. 前記コンピューティングシステムによって、表示のために、前記運転イベントを実施する前記自律車両の可視化を含む前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、表示のために、前記運転イベントの実施の間に前記自律車両によって収集された光検出および測距データを可視化する前記可視化を含む前記双方向ユーザインターフェースを提供することを含む、請求項10に記載のコンピュータ実装方法。
  12. 前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、特定の検出された運転イベントに特有でありかつ前記特定の検出された運転イベントと関連付けられる前記双方向ユーザインターフェースを提供することを含み、特定の検出された運転イベントに特有でありかつ前記特定の検出された運転イベントと関連付けられる前記双方向ユーザインターフェースは、少なくとも1つの代替運転イベントに特有でありかつ前記少なくとも1つの代替運転イベントと関連付けられる少なくとも1つの代替ユーザインターフェースと異なる、前記請求項のいずれかに記載のコンピュータ実装方法。
  13. 前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、前記乗車者が前記運転イベントを識別する前記乗車者フィードバックを提供することを要求する前記双方向ユーザインターフェースを提供することを含む、前記請求項のいずれかに記載のコンピュータ実装方法。
  14. 前記コンピューティングシステムによって、前記双方向ユーザインターフェースを提供することは、前記コンピューティングシステムによって、前記乗車者が複数の重複運転イベントに対する前記乗車者フィードバックを提供することを要求する前記双方向ユーザインターフェースを提供することを含む、前記請求項のいずれかに記載のコンピュータ実装方法。
  15. 前記コンピューティングシステムによって、複数の検出された運転イベントに対する前記双方向ユーザインターフェースを介して受信されたフィードバックデータの複数のインスタンスを経時的に集約することと、
    前記コンピューティングシステムによって、前記フィードバックデータの集約された複数のインスタンスに少なくとも部分的に基づいて、少なくとも1つの物理的場所に対する少なくとも前記自律車両に関する集約性能スコアを決定することと
    をさらに含む、前記請求項のいずれかに記載のコンピュータ実装方法。
  16. コンピューティングシステムであって、
    1つ以上のプロセッサと、
    命令を集合的に記憶する1つ以上の非一過性コンピュータ可読媒体であって、前記命令は、前記1つ以上のプロセッサによって実行されると、前記コンピューティングシステムに、
    自律車両によって実施される運転イベントの発生を検出することと、
    前記運転イベントの発生の検出に応答して、前記自律車両の乗車者が前記自律車両によって実施される前記運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする双方向ユーザインターフェースを提供することと、
    前記双方向ユーザインターフェースを介して前記自律車両の乗車者によって打ち込まれる前記乗車者フィードバックを受信することと、
    前記乗車者フィードバックと、前記自律車両によって実施される前記運転イベントの識別、前記運転イベントが生じた時間、前記運転イベントが生じた場所、および前記運転イベントの実施の間に前記自律車両によって収集されたデータのうちの1つ以上のものとを関連付けることと
    を含む動作を実施させる、1つ以上の非一過性コンピュータ可読媒体と
    を備える、コンピューティングシステム。
  17. 前記自律車両の後部座席に位置する前記乗車者によってアクセス可能である後部座席用ディスプレイデバイス
    をさらに備え、
    前記双方向ユーザインターフェースを提供することは、前記双方向ユーザインターフェースを後部座席用ディスプレイ上に表示することを含む、請求項16に記載のコンピューティングシステム。
  18. 前記双方向ユーザインターフェースを提供することは、ユーザコンピューティングデバイスによる表示のために、前記双方向ユーザインターフェースを前記乗車者と関連付けられた前記ユーザコンピューティングデバイスに提供することを含む、請求項16または17に記載のコンピューティングシステム。
  19. 前記コンピューティングシステムは、自律型システムと、ヒューマンマシンインターフェースデバイスとを備え、前記自律型システムおよび前記ヒューマンマシンインターフェースデバイスの一方または両方は、前記自律車両によって実施される前記運転イベントの発生を検出する動作を実施する、請求項16、17、または18に記載のコンピューティングシステム。
  20. 命令を集合的に記憶する1つ以上の非一過性コンピュータ可読媒体であって、前記命令は、1つ以上のプロセッサによって実行されると、コンピューティングシステムに、
    自律車両によって実施される運転イベントの発生を検出することと、
    前記運転イベントの発生の検出に応答して、前記自律車両の乗車者が前記自律車両によって実施される前記運転イベントの発生に関する乗車者フィードバックを打ち込むことを可能にする双方向ユーザインターフェースを提供することと、
    前記双方向ユーザインターフェースを介して前記自律車両の乗車者によって打ち込まれる前記乗車者フィードバックを受信することと、
    前記乗車者フィードバックと、前記自律車両によって実施される前記運転イベントの識別、前記運転イベントが生じた時間、前記運転イベントが生じた場所、および前記運転イベントの実施の間に前記自律車両によって収集されたデータのうちの1つ以上のものとを関連付けることと
    を含む動作を実施させる、非一過性コンピュータ可読媒体。
JP2019569895A 2017-06-16 2018-06-15 自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法 Active JP6842574B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/625,145 2017-06-16
US15/625,145 US10346888B2 (en) 2017-06-16 2017-06-16 Systems and methods to obtain passenger feedback in response to autonomous vehicle driving events
PCT/US2018/037750 WO2018232237A1 (en) 2017-06-16 2018-06-15 Systems and methods to obtain passenger feedback in response to autonomous vehicle driving events

Publications (2)

Publication Number Publication Date
JP2020524632A true JP2020524632A (ja) 2020-08-20
JP6842574B2 JP6842574B2 (ja) 2021-03-17

Family

ID=62909595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019569895A Active JP6842574B2 (ja) 2017-06-16 2018-06-15 自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法

Country Status (4)

Country Link
US (1) US10346888B2 (ja)
EP (1) EP3638558A1 (ja)
JP (1) JP6842574B2 (ja)
WO (1) WO2018232237A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020192824A (ja) * 2019-05-24 2020-12-03 日産自動車株式会社 運転挙動制御方法及び運転挙動制御装置
KR20220072126A (ko) * 2020-11-24 2022-06-02 주식회사 오비고 자율주행 차량으로부터 획득된 운행 데이터 및 자율주행 차량의 탑승자로부터 획득된 피드백 데이터를 이용하여 자율주행 차량의 자율주행 네트워크를 학습할 수 있도록 지원하는 방법 및 장치

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657745B2 (en) * 2016-04-19 2020-05-19 Be Topnotch Llc Autonomous car decision override
US10429846B2 (en) 2017-08-28 2019-10-01 Uber Technologies, Inc. Systems and methods for communicating intent of an autonomous vehicle
US10452956B2 (en) * 2017-09-29 2019-10-22 Here Global B.V. Method, apparatus, and system for providing quality assurance for training a feature prediction model
CN110248861B (zh) 2018-01-07 2023-05-30 辉达公司 在车辆操纵过程中使用机器学习模型来引导车辆
US11079758B2 (en) * 2018-01-12 2021-08-03 Toyota Research Institute, Inc. Systems and methods for incentivizing user-aided improvement of autonomous vehicle control systems and methods of operating a vehicle using the same
DE112019000065T5 (de) 2018-02-02 2020-03-05 Nvidia Corporation Sicherheitsprozeduranalyse zur hindernisvermeidung in einem autonomen fahrzeug
US11474519B2 (en) * 2018-02-26 2022-10-18 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US11402227B2 (en) 2018-08-14 2022-08-02 GM Global Technology Operations LLC Dynamic route adjustment
JP7077895B2 (ja) * 2018-09-21 2022-05-31 トヨタ自動車株式会社 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム
US11657318B2 (en) 2018-10-19 2023-05-23 Waymo Llc Assessing ride quality for autonomous vehicles
US10771412B2 (en) * 2018-10-29 2020-09-08 GM Global Technology Operations LLC Character-by-character chat for autonomous vehicle support
US10464577B1 (en) * 2018-11-15 2019-11-05 GM Global Technology Operations LLC Contextual autonomous vehicle support through written interaction
WO2020163390A1 (en) 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
US11072342B2 (en) * 2019-02-19 2021-07-27 Toyota Research Institute, Inc. Actively adapting to driving environments based on human interactions
US11077844B2 (en) * 2019-04-19 2021-08-03 GM Global Technology Operations LLC System and method for increasing passenger satisfaction in a vehicle having an automated driving system
US11869048B2 (en) * 2019-06-12 2024-01-09 Gm Cruise Holdings Llc User recommendations and reviews using autonomous vehicle information
US11548520B2 (en) * 2019-10-11 2023-01-10 Mitsubishi Electric Research Laboratories, Inc. Control of autonomous vehicles adaptive to user driving preferences
DE112021000497T5 (de) * 2020-01-10 2022-11-24 Magna Electronics, Inc. Kommunikationssystem und -verfahren
JP7347252B2 (ja) * 2020-02-17 2023-09-20 株式会社デンソー 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム
WO2021226767A1 (zh) * 2020-05-09 2021-11-18 华为技术有限公司 一种自适应优化自动驾驶系统的方法及装置
US20220119004A1 (en) * 2020-10-15 2022-04-21 Atieva, Inc. Defining driving envelope for assisted-driving system
DE102021111642A1 (de) * 2021-05-05 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugsystem und Verfahren zum Betreiben einer zum zumindest teilweise automatisierten Fahren oder Parken ausgebildeten Funktionalität in einem Fahrzeug
US20230017550A1 (en) * 2021-07-15 2023-01-19 Waymo Llc Real time event triggered feedback for autonomous vehicles
CN115631550A (zh) * 2021-07-16 2023-01-20 北京航迹科技有限公司 一种用户反馈的方法和系统
CN113320537A (zh) * 2021-07-16 2021-08-31 北京航迹科技有限公司 一种车辆控制方法和系统
USD985615S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface
USD985619S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface
USD985608S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface
DE102022126555A1 (de) 2022-10-12 2024-04-18 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur Prädiktion von gruppenspezifischen Bewertungen eines ADAS/ADS-Systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016020177A (ja) * 2014-07-15 2016-02-04 株式会社デンソー 運転制御装置
JP2017225647A (ja) * 2016-06-23 2017-12-28 国立大学法人名古屋大学 運転時の心理状態解析方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129460B2 (en) * 2007-06-25 2015-09-08 Inthinc Technology Solutions, Inc. System and method for monitoring and improving driver behavior
US20140309872A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Customization of vehicle user interfaces based on user intelligence
US9607526B1 (en) * 2013-03-14 2017-03-28 Allstate Insurance Company Pre-license development tool
WO2014172323A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Driver facts behavior information storage system
US9783109B2 (en) * 2013-12-19 2017-10-10 Trapeze Software Ulc System and method for providing feedback to a vehicle driver
US9406177B2 (en) 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
CN107249954B (zh) 2014-12-29 2020-07-10 罗伯特·博世有限公司 用于使用个性化驾驶简档操作自主车辆的系统和方法
US11374809B2 (en) * 2015-01-01 2022-06-28 Harman Becker Automotive Systems Gmbh Auxiliary device to enhance native in-vehicle systems by adding interfaces and computational power
CA2985539C (en) 2015-05-13 2023-04-04 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance
US9875583B2 (en) 2015-10-19 2018-01-23 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle operational data acquisition responsive to vehicle occupant voice inputs
JP6696679B2 (ja) * 2015-11-11 2020-05-20 株式会社デンソーテン 運転支援装置
US11318952B2 (en) 2017-01-24 2022-05-03 Ford Global Technologies, Llc Feedback for an autonomous vehicle
US20180292830A1 (en) * 2017-04-06 2018-10-11 Uber Technologies, Inc. Automatic Tuning of Autonomous Vehicle Cost Functions Based on Human Driving Data
US10168705B2 (en) * 2017-04-06 2019-01-01 Uber Technologies, Inc. Automatic tuning of autonomous vehicle cost functions based on human driving data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016020177A (ja) * 2014-07-15 2016-02-04 株式会社デンソー 運転制御装置
JP2017225647A (ja) * 2016-06-23 2017-12-28 国立大学法人名古屋大学 運転時の心理状態解析方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020192824A (ja) * 2019-05-24 2020-12-03 日産自動車株式会社 運転挙動制御方法及び運転挙動制御装置
JP7233299B2 (ja) 2019-05-24 2023-03-06 日産自動車株式会社 運転挙動制御方法及び運転挙動制御装置
KR20220072126A (ko) * 2020-11-24 2022-06-02 주식회사 오비고 자율주행 차량으로부터 획득된 운행 데이터 및 자율주행 차량의 탑승자로부터 획득된 피드백 데이터를 이용하여 자율주행 차량의 자율주행 네트워크를 학습할 수 있도록 지원하는 방법 및 장치
KR102467013B1 (ko) * 2020-11-24 2022-11-15 주식회사 오비고 자율주행 차량으로부터 획득된 운행 데이터 및 자율주행 차량의 탑승자로부터 획득된 피드백 데이터를 이용하여 자율주행 차량의 자율주행 네트워크를 학습할 수 있도록 지원하는 방법 및 장치

Also Published As

Publication number Publication date
US20180365740A1 (en) 2018-12-20
EP3638558A1 (en) 2020-04-22
WO2018232237A1 (en) 2018-12-20
US10346888B2 (en) 2019-07-09
JP6842574B2 (ja) 2021-03-17

Similar Documents

Publication Publication Date Title
JP6842574B2 (ja) 自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法
US11900738B2 (en) Systems and methods to obtain feedback in response to autonomous vehicle failure events
US10532749B2 (en) Systems and methods to adjust autonomous vehicle parameters in response to passenger feedback
JP6341311B2 (ja) ドライバの動的道路シーンに対する精通度インデックスのリアルタイム作成
US10748446B1 (en) Real-time driver observation and progress monitoring
CN109466543B (zh) 规划自主运动
US9275552B1 (en) Real-time driver observation and scoring for driver'S education
US20170032480A1 (en) Personalized travel planning and guidance system
JP7391990B2 (ja) 運転者疲労マップに基づく個人向けルート探索
US11840261B2 (en) Ground truth based metrics for evaluation of machine learning based models for predicting attributes of traffic entities for navigating autonomous vehicles
US11657318B2 (en) Assessing ride quality for autonomous vehicles
JP5691237B2 (ja) 運転支援装置
JP6513913B2 (ja) 情報提示装置、方法及びプログラム
JP4814816B2 (ja) 事故発生予測シミュレーション装置、方法及びプログラム並びに安全システム評価装置及び事故警報装置
WO2021231985A1 (en) Turn aware machine learning for traffic behavior prediction
JP7092958B1 (ja) 情報処理方法、情報処理装置、及びプログラム
EP3454269A1 (en) Planning autonomous motion
US11864268B2 (en) Systems and methods for validating a vehicle driver based on mobile device positions within a vehicle
CN117125072A (zh) 车辆控制方法、装置、存储介质以及电子装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200205

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200205

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210219

R150 Certificate of patent or registration of utility model

Ref document number: 6842574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250