CN115963785A - 用于运载工具的方法、系统和设备以及存储介质 - Google Patents

用于运载工具的方法、系统和设备以及存储介质 Download PDF

Info

Publication number
CN115963785A
CN115963785A CN202210179420.5A CN202210179420A CN115963785A CN 115963785 A CN115963785 A CN 115963785A CN 202210179420 A CN202210179420 A CN 202210179420A CN 115963785 A CN115963785 A CN 115963785A
Authority
CN
China
Prior art keywords
vehicle
user
location
mobile device
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210179420.5A
Other languages
English (en)
Inventor
F·林格
T·德怀尔
L·H·范姆
C·科诺普卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN115963785A publication Critical patent/CN115963785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1003—Alarm systems characterised by arm or disarm features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/34—Detection related to theft or to other events relevant to anti-theft systems of conditions of vehicle components, e.g. of windows, door locks or gear selectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3652—Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20—Destination assistance within a business structure or complex
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)

Abstract

本发明提供用于运载工具的方法、系统和设备以及存储介质。所公开的实施例大体上向用户提供视觉和/或音频提示以将用户引导至运载工具接客卸客(PuDo)地点，诸如自主运载工具(AV)PuDo等。基于来自用户的移动装置的信息确定用户的当前地点。确定从用户的当前地点到指定PuDo地点的路径，并且例如使用用户的移动装置上的实时更新的增强现实(AR)接口，在用户的移动装置上显示到达指定PuDo的指令(例如，建议路线规划指示)。所公开的实施例还允许运载工具在允许用户进入运载工具之前基于由运载工具的外部传感器(例如，照相机、LiDAR)检测到的由用户进行的手部姿势序列来认证用户的身份。

Description

用于运载工具的方法、系统和设备以及存储介质
技术领域
本发明涉及用于运载工具的方法、系统和设备以及存储介质。
背景技术
在线运输公司在全世界大多数主要城市已经变得普遍存在。在它们的移动装置(例如，智能电话、智能手表)上的移动应用通过指定接客/卸客(PuDo)地点和其他信息来请求搭乘。然后将运载工具派遣至PuDo。用户可以在他们的移动装置上显示的地图上观察运载工具行进至PuDo的进展，并且当用户的所分配运载工具到达时，通过文本消息或其他警报通知用户。然而，对于失明或视力受损的用户而言，寻找PuDo可能是有挑战性的，并且可能导致搭乘取消。视觉上受损的用户经常通过呼叫运载工具驾驶员寻求帮助来解决该导航问题。然而，如果运载工具是自主运载工具(AV)，则该解决方案不起作用。
此外，研究已经表明，许多用户在寻找他们的所分配运载工具方面具有困难。这些困难包括不准确的地点信息、不精确的地点标记和不准确描绘PuDo环境的移动应用，诸如位于建筑工地附近、不良或缺失的标识等。加剧这种困惑的是，寻找所分配运载工具经常是“碰运气的”相遇，其中乘客正使用他们的移动装置与其驾驶员讲话(各自都忙乱地试图将他们的地点通信给另一方)。
用户经常引入的另一问题是在运载工具被定位之后访问该运载工具。当用户进入运载工具时，人类驾驶员解锁运载工具的乘客门，核实用户的身份并且确认用户的目的地。然而，对于自主运载工具，用户需要寻找新的方式来解锁、进入并核实他们在正确的运载工具中。现有的访问解决方案依赖于用户的移动装置使用与运载工具计算机的近距离通信进行访问和认证。然而，当乘客的移动装置不可访问或具有低的电池电量或没有电池电量时，这些解决方案是不可用的。使用远程控制辅助(RVA)访问运载工具对一些乘客起作用，但对于例如听力受损的其他用户而言，需要其他解决方案。
发明内容
一种方法，包括：从用户的移动装置的传感器获得指示所述移动装置的地点的传感器数据；利用所述移动装置的至少一个处理器，获得指示指定运载工具接客/卸客地点的位置数据；利用所述移动装置的所述至少一个处理器，基于所述传感器数据和所述位置数据来确定从所述移动装置的当前地点到所述指定运载工具接客/卸客地点的路径；利用所述移动装置的所述至少一个处理器，基于所述路径来确定用以跟随所述路径的指令集合；以及利用所述移动装置的所述至少一个处理器，使用所述移动装置的接口来提供信息，所述信息包括：与所述指定运载工具接客/卸客地点相关联的指示，以及用以基于所述移动装置的当前地点跟随所述路径的指令集合。
一种用于运载工具的方法，包括：利用所述运载工具的至少一个处理器，获得与用户简档相关联的所存储的手部姿势序列；利用所述至少一个处理器，获得与用户所进行的手部姿势序列相关联的传感器数据；利用所述至少一个处理器，基于所述传感器数据来识别用户所进行的手部姿势序列；利用所述至少一个处理器，将用户所进行的手部姿势序列与所存储的手部姿势序列进行比较；利用所述至少一个处理器，基于所述比较来确定为用户所进行的手部姿势序列与所存储的手部姿势序列匹配；以及利用所述至少一个处理器，基于确定为用户所进行的手部姿势序列与所存储的手部姿势序列匹配来解锁所述运载工具的至少一个门。
一种系统，包括：至少一个处理器；以及至少一个非暂时性计算机可读存储介质，其包括指令，在所述至少一个处理器执行所述指令时，所述指令使所述至少一个处理器全部或部分地进行上述的方法。
至少一个非暂时性计算机可读存储介质，其包括指令，在至少一个处理器执行所述指令时，所述指令使所述至少一个处理器全部或部分地进行上述的方法。
一种设备，其包括用于全部或部分地进行上述的方法的部件。
附图说明
图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
图2是包括自主系统的运载工具的一个或多于一个系统的图；
图3是图1和图2的一个或多于一个装置以及/或者一个或多于一个系统的组件的图；
图4是自主系统的某些组件的图；
图5是示出远程运载工具辅助(RVA)引导的导航的图；
图6示出使用音频和触觉反馈的导航；
图7A至7C示出分别使用用于服务动物的磁场、气味和声音的导航；
图8A至8E示出使用移动装置以利用移动装置在寻找PuDo地点时辅助用户；
图9示出用于使用一系列手部姿势访问运载工具的系统；
图10示出用于使用一系列手部姿势访问运载工具的处理流程；
图11是用于辅助用户寻找运载工具的处理的流程图；以及
图12是用于使用手部姿势序列访问运载工具的处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或更多个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在某些方面和/或实施例中，本文描述的系统、方法和计算机程序产品包括和/或实现用于寻找和访问运载工具、并且特别是用于失明、视觉受损或听力受损的用户的技术。
所公开的实施例大体上向用户提供视觉和/或音频提示以将该用户引导至运载工具(诸如AV等)。例如，基于来自用户的移动装置(例如，智能电话)的信息来确定用户的当前地点。确定从用户的当前地点到指定PuDo地点的路径，并且例如使用用户的移动装置上实时更新的增强现实(AR)接口，将到达指定PuDo地点的指令显示在用户的移动装置上。
所公开的实施例还允许运载工具基于由运载工具的外部传感器(例如，照相机、LiDAR)检测到的由用户进行的手部姿势序列来在允许用户进入运载工具之前认证用户的身份。例如，在初始化过程期间，用户可以选择与其用户简档相关联地存储的优选手部姿势序列。当用户接近运载工具时，用户进行手部姿势序列以获得进入运载工具。安装在运载工具外部的传感器(例如，照相机)检测手部姿势序列。将手部姿势序列与存储在用户简档中的手部姿势序列进行比较。如果手部姿势序列与所存储的序列的匹配度在所期望的阈值内，则用户的身份被认证并且通过自动解锁运载工具的一个或多于一个门而允许用户进入运载工具。
借助于本文所描述的系统、方法和计算机程序产品的实现，用于寻找和访问运载工具的技术至少提供以下优点。
利用用户的个人移动装置来提供可评估和直观的到PuDo地点的引导指令。动态距离图形帮助用户理解用户朝向指定PuDo地点的进展。当用户紧邻指定PuDo地点时，移动装置上的电子罗盘帮助用户快速定位该指定PuDo地点。AR和/或物理终点标记(例如，标志、地标)进一步辅助用户在若干PuDo地点中定位指定PuDo地点。
使用手部姿势来实时认证用户的身份，这为听力受损的用户提供了可访问的方式以安全地进入运载工具。例如，能够识别ASL(美国手语)或其他已建立的手语或共同的触摸屏手部姿势(例如，握、捏、挥)的运载工具为听力受损的用户提供更好的实时可访问性。用于检测手部姿势的手跟踪技术可适用于不同类型的运载工具。手部姿势的实时检测使乘客等待时间最小化。可修改的手部姿势序列确保乘客隐私。
在实施例中，一种方法包括：从用户的移动装置的传感器(例如，个人智能电话或平板电脑)获得指示所述移动装置的地点的传感器数据(例如，GNSS数据或来自WIFI、蓝牙TM、蜂窝塔的三角地点数据)；由所述移动装置的至少一个处理器获得指示指定PuDo地点的位置数据；由所述移动装置的至少一个处理器基于传感器数据和位置数据确定从所述移动装置的当前地点到所述指定PuDo地点的路径；由所述移动装置的至少一个处理器基于所述路径确定跟随所述路径的指令集合(例如，建议路线规划指示(turn-by-turndirections))；由所述移动装置的至少一个处理器使用所述移动装置的接口提供信息，所述信息包括与所述指定PuDo地点相关联的指示(例如，AR标记或物理标记，诸如标识等)，以及基于所述移动装置的当前地点跟随所述路径的指令集合。
在实施例中，所述方法还包括：基于所述路径确定从所述移动装置的当前地点到所述指定PuDo地点的距离；以及使用所述移动装置的接口提供信息，所述信息包括从所述移动装置的当前地点到所述指定PuDo地点的距离。
在实施例中，该指示与以下各项其中至少之一相关联(例如，表示)：位于环境中的物理特征或地标(例如，建筑物、交通灯或物理标记)、以及相对于显示在移动装置上的环境中的至少一个对象定位的显示在用户的移动装置上的AR标记。
在实施例中，AR标记在地理区域内是唯一的(例如，一个AR标记的多个副本可以存在于波士顿内，但是在距南站1英里内仅存在一个这样的AR标记)并且与计划到达指定PuDo地点的将要到达的运载工具相关联(例如，AR标记可以在视觉上与该运载工具相关联)。
在实施例中，指令集合包括覆盖在环境的实况视频馈送上的视觉提示集合(例如，覆盖在实况视频流上并且沿着路径指向指定PuDo地点的AR箭头集合)。
在实施例中，指令集合包括指向指定PuDo地点的方向的罗盘(例如，图形或AR罗盘)。
在实施例中，当移动装置在指定PuDo地点的阈值距离内时，显示罗盘。
在实施例中，从移动装置的当前地点至指定PuDo地点的路径是至少部分通过基于网络的计算系统(也称为“云计算系统”)确定的。
在实施例中，指令集合是至少部分通过基于网络的计算系统确定的。
在实施例中，从移动装置的当前地点到指定PuDo地点的距离是至少部分通过基于网络的计算系统确定的。
在实施例中，指令集合是至少部分通过基于网络的计算系统确定的。
在实施例中，传感器数据包括卫星数据、无线网络数据和定位信标数据其中至少之一。
在实施例中，该方法还包括由移动装置的至少一个处理器基于移动装置的新地点来更新所提供的信息。
在实施例中，一种方法包括：由运载工具的至少一个处理器获得所存储的用户手部姿势的序列(例如，保存在属于该用户的NFC装置的用户简档中或网络服务器上)；由所述至少一个处理器获得与用户(例如，当所述用户在所述运载工具的阈值距离内时)进行的手部姿势序列相关联的传感器数据(例如，照相机数据或LiDAR数据)；由所述至少一个处理器基于获得所述传感器数据来识别用户进行的手部姿势序列；由所述至少一个处理器基于识别用户进行的手部姿势序列和所存储的手部姿势序列来将用户进行的手部姿势序列与所存储的手部姿势序列进行比较；由所述至少一个处理器基于将用户进行的手部姿势序列与所存储的手部姿势序列进行比较来确定为用户进行的手部姿势序列与用户的简档中的所存储的手部姿势序列相匹配(例如，利用一组相应匹配度量的阈值百分比对所存储的序列进行匹配)；由所述至少一个处理器基于确定为用户进行的手部姿势序列与所存储的用户的手部姿势序列相匹配来解锁所述运载工具的至少一个门。
在实施例中，该方法还包括通过运载工具外部上的接口来提供解锁的通知(例如，通过显示标识、灯等)。
在实施例中，该方法还包括：基于所述传感器数据确定(例如，识别和/或计算)相对于所述运载工具的用户地点；以及打开最靠近用户地点的至少一个门(或载物空间)。
在实施例中，上述的方法还包括在打开之前通过运载工具外部上的接口来提供打开的通知。
在实施例中，上述的方法还包括：基于来自乘客的请求确定为该乘客需要远程辅助；基于确定为用户需要远程辅助而联系至少一个远程运载工具辅助(RVA)；从至少一个RVA接收与获得对所述运载工具的访问的指令相关联的数据；以及通过所述运载工具外部上的接口提供所述指令。
在实施例中，所存储的序列是至少部分基于来自近距离通信(例如，NFC、蓝牙)装置的数据获得的。
在实施例中，识别用户进行的手部姿势序列是基于机器学习(ML)模型(例如，经训练以识别手部姿势序列的递归神经网络)。
在实施例中，ML模型是递归神经网络(例如，经训练以识别手部姿势和手部姿势的顺序)。
在实施例中，识别用户进行的手部姿势序列包括使用远程系统(例如，云服务器)识别用户进行的手部姿势序列中的至少一个手部姿势。
在实施例中，一种系统包括：至少一个处理器；以及至少一个非暂时性计算机可读存储介质，其包括指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器全部或部分地进行上述方法中的任一方法。
在实施例中，至少一个非暂时性计算机可读存储介质包括指令，所述指令在由至少一个处理器执行时使所述至少一个处理器全部或部分地进行上述方法中的任一方法。
在实施例中，一种设备包括用于全部或部分地进行上述方法中的任一方法的部件。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程AV系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、远程AV系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、远程AV系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到基础设施)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标识、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其他类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和线控(DBW)系统202h。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其他系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
在一些实施例中，运载工具200包括用于测量运载工具200周围的大气状况的至少一个大气传感器202i，其包括但不限于：气压传感器、温度传感器、湿度/雨水传感器、环境光传感器等。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括计算处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)；以及/或者网络112的至少一个装置或者一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、计算处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，计算处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，计算处理器304包括计算处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供计算处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-
Figure BDA0003521837470000201
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于计算处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使计算处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由计算处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的计算处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示出AV计算400(有时称为“AV堆栈”)的示例框图。如所例示的，AV计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
在另一示例中，定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用AV计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。
图5是示出RVA引导的导航的图。在实施例中，在签约使用机器人出租车服务(例如，经由在线服务或移动应用)时，用户填写用户简档，用户通过该用户简档对问题作出响应或提供其他信息以自我识别为失明、视觉受损或听力受损，并且进一步指示他们是否利用服务动物、盲杖或听力装置进行导航。然后向这些用户呈现用于到指定PuDo地点以供登上运载工具以及从目的地PuDo地点到他们的最终目的地的方向引导的选项。
在实施例中，RVA 501(例如，远程人类或虚拟远程操作者)基于由运载工具200提供的运载工具信息提供实时引导来辅助用户导航到运载工具PuDo地点。运载工具信息可以包括但不限于运载工具200的当前地点和航向。地点数据可由定位模块(例如，定位系统406)使用全球卫星导航系统(GNSS)接收器(例如，GPS接收器)、或来自例如WIFI网络、蜂窝网络或位置信标(例如，蓝牙低功耗(BLE)信标)的无线网络信号来确定。可以从真北(trueNorth)参考航向数据，并且由运载工具200的车载电子罗盘(例如，磁力计)提供航向数据。此外，运载工具200向RVA 501提供来自安装至运载工具200的至少一个面向外部的照相机的实时或“实况”照相机馈送和/或来自安装至运载工具200(例如，安装在运载工具200的顶上)的至少一个深度传感器(例如，LiDAR、RADAR、SONAR、TOF传感器)的点云数据。在实施例中，运载工具200还为RVA 501提供使用位于运载工具200上的一个或多于一个麦克风捕获运行环境中的环境声音的实况音频馈送。然后该运载工具信息与移动装置数据的当前地点和航向一起被RVA 501使用以通过用户的移动装置502(例如，通过电话呼叫、文本消息或推送通知)向用户提供实时引导。例如，RVA501可通过耦合到用户的移动装置502的扬声器或耳机或者通过其他通信模式向用户提供建议路线规划指示。引导可由RVA 501处的人类远程操作者提供，或者可由RVA 501处的计算机生成(例如，虚拟或数字助理)。
在实施例中，当运载工具200接近用户的当前地点时，用户在其移动装置上从RVA501接收电话呼叫、推送通知或触觉警报(例如，振动)。RVA 501向用户给出用于导航到运载工具200的PuDo地点的口头方向。方向基于用户的地点和/或来自运载工具200的照相机馈送。具体地，RVA 501基于许多数据提供口头方向，数据包括但不限于：从用户的移动装置获得的GNSS数据(例如，纬度、经度、高度、航向、速率)、用于获得用户周围有什么对象的上下文的用户照相机数据(例如，“您的紧前方存在树。触摸该树，然后左转”)，以及用于理解运载工具200与用户有关的位置的上下文的运载工具照相机数据。在实施例中，当用户距运载工具200具有阈值径向距离(例如，在100英尺半径内)时，RVA 501通过运载工具200的外部扬声器提供口头引导或其他可听信号(例如，嘟嘟声模式)以在运载工具200的方向上引导用户。
图6示出使用音频和触觉反馈的导航。在实施例中，在预订运载工具200(例如，类似于AV系统114)之后，用户601戴上耦合至移动装置502(例如，有线或无线耦合至其智能电话/智能手表)的一组耳机602。当运载工具200接近用户601时，通过耳机602通信口头方向。随着用户接近运载工具200，口头方向的音量水平逐渐增加。在另一实施例中，随着用户601更靠近运载工具200，嵌入在移动装置502上的触觉引擎以增加的频率振动，或以不同模式或强度振动。类似地，随着用户601移动远离运载工具200，口头方向的音量和/或触觉引擎的振动频率逐渐或递增地减小。
图7A至7C示出分别使用针对服务动物的磁场、气味和声音的导航。服务动物是经过训练来进行辅助残疾人的任务的工作动物。服务动物可以包括引导失明或视力受损者的引导动物(例如，引导狗)、发信号通知听力受损者的听力动物、以及为具有除失明或耳聋之外的残疾的人工作的其他服务动物。
参考图7A，可以将发射器安装在运载工具PuDo地点704(例如，安装在标识或电线杆上)，该发射器生成可以由服务动物703检测到、并用于引导服务动物703以及因此引导用户701至运载工具PuDo地点704的磁场。狗对地球磁场的小变化敏感，并且研究已经证明，狗可以使用该感觉用于导航和寻路。在另一实施例中，运载工具702可以在停放在运载工具PuDo地点704处时发射磁场。在另一实施例中，运载工具PuDo地点704可以是具有停车传感器的停车空间，该停车传感器发射可以由服务动物703感测并因此用于引导服务动物703以及因此引导用户701至运载工具PuDo地点704的磁场。
参考图7B，运载工具702(或安装在运载工具PuDo地点704处的装置)运载工具仅可被服务动物703听到(例如，大于20KHz)、并因此用于引导服务动物703以及因此引导用户701至运载工具702的的特有的高频声音705。超声传感器在小汽车中被广泛地用作停车传感器，以帮助驾驶员倒退到停车空间中并且辅助AV导航。在实施例中，这些超声信号可以用于引导服务动物以及因此引导用户至运载工具PuDo地点。
参考图7C，运载工具702(或运载工具PuDo地点704)发出特有的气味706，该气味706可以由服务动物703检测到并用于引导服务动物703以及因此引导用户701至运载工具702。
图8A至8E示出允许移动装置801辅助用户寻找他们的指定PuDo地点的集成系统800。参考图8A，使用移动装置801(例如，智能电话、智能手表)，用户可以查看其PuDo地点的360度照片/视频802，如通过运载工具上的至少一个照相机或深度传感器查看的那样。例如，运载工具可以提供来自至少一个照相机的实况视频馈送，其可以由移动装置801直接地(例如，通过WIFI、蓝牙、5G)或间接地(例如，通过通信装置202e)接收。此外，用户在PuDo地点处被呈现最终结束标记803的图形或图像，使得用户在他们到达PuDo地点时可以容易地识别结束标记803。结束标记803可以是显示符号、条形码、QR码或唯一地识别PuDo地点的任何其他视觉提示的物理标识。结束标记803还可以是覆盖在由移动装置801显示的实况视频馈送上的AR对象，如图8E所示。各个PuDo地点可以被分配特定地理区域中的唯一符号、条形码或QR码。结束标记803可以安装在标识、电线杆或PuDo地点处的任何其他基础设施上。当运载工具停放在PuDo地点时，外部显示屏(例如，图9所示的附接到B柱的访问装置903)或由运载工具在地面上做出的激光/LED投影可以显示结束标记803，以将该运载工具与可能停放或使用相同PuDo地点(例如，机场、火车站、娱乐场所或其他公共地点处的指定PuDo地点)的其他运载工具区分开来。
参考图8B，用户可以调用移动装置801上的提供到PuDo地点的实时建议路线规划指示的导航应用。用户可以通过跟随建议路线规划指示导航到PuDo地点。在实施例中，导航应用使用可以用于辅助引导用户到其PuDo地点的实况视频馈送上的AR标记804(例如，方向箭头)。物理标记(例如，橙色停车锥)还可用于附加引导。此外，指示距PuDo地点的距离的数字AR距离计805和/或其他图形(例如，进度条)可被显示在移动装置801上，该距离随着用户更靠近PuDo地点而减小。在实施例中，可以使用从移动装置801获得/由移动装置801计算的GNSS数据、基于无线网络(例如，WIFI、蜂窝塔)的地点数据或运动传感器数据(例如，用于航位推算(dead reckoning)的加速度和陀螺仪/航向数据)来确定距离。
参考图8C，当用户在PuDo地点的阈值距离内时，方向指示图形806(例如，罗盘、方向箭头)出现在移动装置801的显示器上并且指向PuDo地点的方向。
参考图8D，当用户到达PuDo地点时，用户或移动装置801上的照相机可以搜索标记了确切的PuDo地点的结束标记803。结束标记803可以是物理标识和/或AR标记。结束标记803可以是地标，诸如建筑物、交通灯或任何其他物理结构。
参考图8E，在等待运载工具到达PuDo地点的同时，在实施例中，AR信标807(例如，类似于聚光灯)被投影在移动装置显示器上以指示运载工具当前地点(例如，投影在运载工具的地点上)，从而允许用户或移动装置801跟踪运载工具朝向PuDo地点的进展。如果运载工具在用户之前到达PuDo地点，则AR信标807还可增强用户到PuDo地点的导航。
以上参见图8A至8E描述的实施例提供了若干优点和益处，包括但不限于：1)通过使用移动装置应用和改进的定位技术的的混合来改进导航；2)在GPS故障(例如，在密集城市环境中GPS信号丢失)的情况下使用PuDo地点的照片和结束标记标识来向GPS提供备份引导；以及3)通过持续通信运载工具的上下文和当前地点以及PuDo地点来管理用户期望。上述优点和益处共同使得用户更容易将其PuDo地点与其他PuDo地点区分开来，特别是在多个PuDo地点彼此靠近的上下文中。
图9示出用于使用手部姿势(例如，ASL手部姿势)访问运载工具的系统900。当预期用户进入常规出租车时，驾驶员解锁运载工具，核实用户的身份并确认用户的目的地。现有的访问解决方案需要使用用户的移动装置来认证用户并解锁运载工具以供用户进入，或者使用RVA来获得访问。然而，存在许多情况，其中用户的移动装置不可用，诸如丢失或失去电池电力。在这些情况下，手部姿势进入可以用于提供无缝的方式以供用户使用例如NFC通信和用于解锁AV的用户手部姿势序列将运载工具链接到其用户简档。一旦解锁，外部显示器(例如，附接至B柱(B-pillar)或其他运载工具结构的LED显示器、在运载工具外的地面上的LED/激光投影)提供运载工具被解锁的附加视觉提示。
在实施例中，系统900基于传感器数据(例如，视频、3D深度数据)确定用户相对于运载工具200的地点，并且打开离用户的地点最近的至少一个门以确保门不会打开进入交通或一些其他危险状况。在实施例中，在打开门之前，通过在运载工具200外部上的外部显示器(例如，附接到B柱或其他运载工具结构的LED显示器、在运载工具外的地面上的LED/激光投影等)显示门打开的通知。
参考图9，示出包括附接至运载工具200(例如，AV)的B柱或其他结构的访问装置902的运载工具200的示例实施例。访问装置902可以包括至少一个嵌入式处理器(CPU)、存储器、用于接收用户触摸输入并显示内容的触敏显示器903(例如，触敏LCD显示器)以及至少一个照相机904。随着用户接近运载工具200，在访问装置902和移动装置502之间建立近距离无线通信链路(例如，NFC连接、蓝牙连接、WIFI连接)，以将用户与存储在其移动装置502上的其简档链接。用户在照相机904的前方进行手部姿势序列。访问装置902中的处理器分析由照相机904和/或其他传感器(诸如LiDAR等)捕获的手部姿势序列。
在实施例中，本地或远程机器学习(ML)程序905(例如，在手部姿势和手部姿势序列的视频数据或图像上训练的深度神经网络)预测和标定(label)由照相机904捕获的手部姿势序列。在实施例中，ML程序905的输出是标定的手部姿势序列和相应置信度分数(例如，正确标定的概率)的视频数据流906，其经由AV计算400由运载工具200中的通信装置202e(例如，无线发射器发送到基于网络的计算系统907(例如，队列管理系统116、远程AV系统114)。AV计算400可添加附加数据，诸如时间戳、地点数据、VIN号、照相机数据、由访问装置902和/或移动装置502捕获的可被发送到基于网络的服务904以进一步辅助用户认证的生物特征数据(例如，面部图像、指纹、声纹)。
在实施例中，AV计算400和基于网络的计算系统907中的一者或两者分析该信息以认证用户以及手部姿势和手部姿势顺序，并且如果认证成功，则根据运载工具200是否正在接载乘客和/或货物来向运载工具200发送解锁命令以解锁一个或多于一个门和/或后备箱。
图10示出用于使用手部姿势序列905访问运载工具(例如，运载工具200)的处理流1000。手部姿势905由照相机904或LiDAR或者照相机904和LiDAR的组合捕获，照相机904或LiDAR耦合到访问装置902，访问装置902在该示例中附接到运载工具200的B柱1002。手部姿势905可以是ASL手部姿势序列，或按照用户所确定的特定顺序进行的其他手部信号。例如，手部姿势905可以包括表示词语、字母、数字或对象的四个ASL手部姿势的序列。手部姿势905可以包括用双手或单手做出的手部姿势。手部姿势包括由任一只手的一个或多于一个手指做出的姿势，即使手部运动是静态的也是如此。在实施例中，面部表情或头部姿势可以用于适应截肢者和其手被占用(例如，携带杂货或婴儿)的用户。
在实施例中，访问装置902中的处理器使用以上先前描述的ML程序来分析手部姿势905的照相机图像。访问装置905经由以太网交换机1006或其他通信信道(例如，控制器局域网(CAN)总线)将手部姿势905的图像以流的方式传输到AV计算400。AV计算400将该姿势与存储在用户简档中的先前姿势序列进行比较。在实施例中，存储的姿势序列由用户在初始化过程期间选择。示例初始化过程可以包括通过访问装置902的显示器903或移动装置502向用户提供指令以从默认手部姿势集合中选择一系列手部姿势，其中图像或图形示出各个手部姿势(例如，示出ASL手部姿势)。默认的手部姿势序列用于离线训练由ML程序使用的ML模型(例如，递归神经网络)，使得当用户在照相机904前方进行手部姿势以获得对运载工具的实时访问时，ML程序可以使用在训练图像上训练的ML模型(例如，递归神经网络)来检测手部姿势序列905。
在实施例中，ML程序输出序列905中的各个手部姿势的标定以及指示该标定的准确度的置信度的置信度分数。置信度分数可以是概率。例如，ML程序可以输出针对4个ASL手部姿势序列的4个标定及其各自的概率。将各个概率与阈值概率(例如，90％)进行比较(1011)，并且如果所有概率都高于阈值概率并且按照用户简档中指示的顺序进行手部姿势，则确定手部姿势序列匹配。
ML模型可以通过从不同角度、视角、距离、照明条件等获得的各个手部姿势的多个图像来训练，以提高ML模型的准确度。在实施例中，ML模型可以被训练作为整个序列来检测手部姿势序列而不是单独地检测各个手部姿势。
如果手部姿势序列与存储在用户简档中的手部姿势序列的匹配度在阈值(例如，预测标定的概率大于指定概率阈值)内，并且按照如由用户简档所指示的正确顺序进行手部姿势，则AV计算1400解锁运载工具200的一个或多于一个门以允许用户进入(1007)。
如果在N次尝试(例如，N＝3次尝试)之后，用户进行的手部姿势序列905与存储在用户的简档中的手部姿势序列不匹配，或者以与用户简档中指示的顺序不同的顺序进行手部姿势序列905，则AV计算400保持门锁定并且通过访问装置902或通信接口314(图3)自动将用户连接至RVA 501，使得用户可以与可以使用密码或其他认证数据来认证用户的人类远程操作者或虚拟数字助理讲话(1008)，并且如果认证成功，则向AV计算400发出命令以解锁运载工具200的一个或多于一个门。
在实施例中，除了代替手部姿势或除了手部姿势以外，RVA 501或访问装置902和/或AV计算400还可以使用照相机904或其他照相机和/或TOF传感器来捕获用户的面部，并且使用面部识别程序来基于数据中检测到的面部界标认证用户。在实施例中，可以通过触摸显示器903或访问装置902或运载工具200的其他区域上的指纹传感器来认证用户。在实施例中，AV计算400通过例如蜂窝连接而连接到基于网络的计算系统907，以检索包括所存储的手部姿势数据的用户简档并记录该访问尝试(日志响应)(1010)。在实施例中，ML程序可以完全地或部分地由基于网络的计算系统907来运行。
图11是根据一个或多于一个实施例的用于导航至运载工具的处理1100的流程图。处理1100可以通过例如图3所示的处理器304来进行。
处理1100可以包括以下步骤：从用户的移动装置的传感器获得指示该移动装置的地点的传感器数据(1101)；由所述移动装置的至少一个处理器获得指示指定运载工具接客位置的位置数据(1102)；由所述移动装置的至少一个处理器基于所述传感器数据和所述位置数据来确定从所述移动装置的当前地点到所述指定运载工具PuDo地点的路径(1103)；由所述移动装置的至少一个处理器基于所述路径确定跟随所述路径的指令集合(1104)，并且由所述移动装置的至少一个处理器使用所述移动装置的接口来提供信息，所述信息包括与所述指定的运载工具PuDo地点相关联的指示以及用于基于所述移动装置的当前地点跟随所述路径的指令集合(1105)。先前参考图8A至8E更多地描述了这些步骤中的各步骤。
图12是根据一个或多于一个实施例的用于使用手部姿势访问运载工具的处理1200的流程图。处理1200可以通过例如图3所示的处理器304来进行。
处理1200可以包括以下步骤：由运载工具的至少一个处理器获得所存储的用户的手部姿势序列(1201)；由所述至少一个处理器获得与用户进行的至少一个手部姿势相关联的传感器数据(1202)；由所述至少一个处理器基于获得所述传感器数据来识别用户进行的手部姿势序列(1203)；由所述至少一个处理器基于识别用户进行的手部姿势序列和所存储的手部姿势序列，将用户进行的手部姿势序列与所存储的手部姿势序列进行比较(1204)；由所述至少一个处理器基于将用户进行的手部姿势序列与所存储的手部姿势序列进行比较来确定为用户进行的手部姿势序列与所存储的用户的手部姿势序列相匹配(1205)，以及由所述至少一个处理器基于确定为用户进行的手部姿势序列与所存储的用户的手部姿势序列相匹配来解锁所述运载工具的至少一个门(1206)。先前参考图9和图10描述了这些步骤中的各步骤。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (24)

1.一种方法，包括：
从用户的移动装置的传感器获得指示所述移动装置的地点的传感器数据；
利用所述移动装置的至少一个处理器，获得指示指定运载工具接客/卸客地点的位置数据；
利用所述移动装置的所述至少一个处理器，基于所述传感器数据和所述位置数据来确定从所述移动装置的当前地点到所述指定运载工具接客/卸客地点的路径；
利用所述移动装置的所述至少一个处理器，基于所述路径来确定用以跟随所述路径的指令集合；以及
利用所述移动装置的所述至少一个处理器，使用所述移动装置的接口来提供信息，所述信息包括：
与所述指定运载工具接客/卸客地点相关联的指示，以及
用以基于所述移动装置的当前地点跟随所述路径的指令集合。
2.根据权利要求1所述的方法，还包括：
基于所述路径来确定从所述移动装置的当前地点到所述指定运载工具接客/卸客地点的距离；以及
使用所述移动装置的所述接口来提供包括从所述移动装置的当前地点到所述指定运载工具接客/卸客地点的距离的信息。
3.根据权利要求1所述的方法，其中，所述指示与以下两者至少之一相关联：位于环境中的物理特征、以及相对于所述环境中的至少一个对象而定位的增强现实标记即AR标记。
4.根据权利要求3所述的方法，其中，所述AR标记在地理区域内是唯一的并且与计划到达所述指定运载工具接客/卸客地点的将要到达的运载工具相关联。
5.根据权利要求1所述的方法，其中，所述指令集合包括覆盖在环境的实况视频馈送上的视觉提示集合。
6.根据权利要求1所述的方法，其中，所述指令集合包括指向所述指定运载工具接客/卸客地点的方向的增强现实罗盘即AR罗盘。
7.根据权利要求6所述的方法，其中，在所述移动装置在所述指定运载工具接客/卸客地点的阈值距离内的情况下，显示所述AR罗盘。
8.根据权利要求1所述的方法，其中，从所述移动装置的当前地点到所述指定运载工具接客/卸客地点的所述路径是至少部分由基于网络的计算系统确定的。
9.根据权利要求1所述的方法，其中，所述指令集合是至少部分由基于网络的计算系统确定的。
10.根据权利要求2所述的方法，其中，从所述移动装置的当前地点到所述指定运载工具接客/卸客地点的所述距离是至少部分由基于网络的计算系统确定的。
11.根据权利要求1所述的方法，其中，所述传感器数据包括卫星数据、无线网络数据和定位信标数据至少之一。
12.根据权利要求1所述的方法，还包括利用所述移动装置的所述至少一个处理器，基于所述移动装置的新地点来更新所提供的信息。
13.一种用于运载工具的方法，包括：
利用所述运载工具的至少一个处理器，获得与用户简档相关联的所存储的手部姿势序列；
利用所述至少一个处理器，获得与用户所进行的手部姿势序列相关联的传感器数据；
利用所述至少一个处理器，基于所述传感器数据来识别用户所进行的手部姿势序列；
利用所述至少一个处理器，将用户所进行的手部姿势序列与所存储的手部姿势序列进行比较；
利用所述至少一个处理器，基于所述比较来确定为用户所进行的手部姿势序列与所存储的手部姿势序列匹配；以及
利用所述至少一个处理器，基于确定为用户所进行的手部姿势序列与所存储的手部姿势序列匹配来解锁所述运载工具的至少一个门。
14.根据权利要求13所述的方法，还包括通过所述运载工具外部上的接口来提供所述解锁的通知。
15.根据权利要求13所述的方法，还包括：
基于所述传感器数据来确定相对于所述运载工具的用户地点；以及
打开最靠近所述用户地点的至少一个门。
16.根据权利要求15所述的方法，还包括在所述打开之前通过所述运载工具外部上的接口来提供所述打开的通知。
17.根据权利要求13至16中任一项所述的方法，还包括：
基于来自用户的请求来确定为用户需要远程辅助；
基于确定为用户需要远程运载工具辅助即RVA来联系RVA；
从所述RVA接收与获得对所述运载工具的访问的指令相关联的数据；以及
通过所述运载工具外部上的接口来提供所述指令。
18.根据权利要求13至17中任一项所述的方法，其中，所存储的手部姿势序列是至少部分基于来自近距离通信装置的数据而获得的。
19.根据权利要求13至18中任一项所述的方法，其中，识别用户进行的手部姿势序列是基于机器学习模型的。
20.根据权利要求19所述的方法，其中，所述机器学习模型是神经网络。
21.根据权利要求13至20中任一项所述的方法，其中，识别用户进行的手部姿势序列包括使用远程系统识别用户所进行的姿势序列中的至少一个姿势。
22.一种系统，包括：
至少一个处理器；以及
至少一个非暂时性计算机可读存储介质，其包括指令，在所述至少一个处理器执行所述指令时，所述指令使所述至少一个处理器全部或部分地进行根据权利要求1至21中任一项所述的方法。
23.至少一个非暂时性计算机可读存储介质，其包括指令，在至少一个处理器执行所述指令时，所述指令使所述至少一个处理器全部或部分地进行根据权利要求1至21中任一项所述的方法。
24.一种设备，其包括用于全部或部分地进行根据权利要求1至21中任一项所述的方法的部件。
CN202210179420.5A 2021-10-08 2022-02-25 用于运载工具的方法、系统和设备以及存储介质 Pending CN115963785A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/497,773 US20230111327A1 (en) 2021-10-08 2021-10-08 Techniques for finding and accessing vehicles
US17/497,773 2021-10-08

Publications (1)

Publication Number Publication Date
CN115963785A true CN115963785A (zh) 2023-04-14

Family

ID=80820782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210179420.5A Pending CN115963785A (zh) 2021-10-08 2022-02-25 用于运载工具的方法、系统和设备以及存储介质

Country Status (5)

Country Link
US (1) US20230111327A1 (zh)
KR (1) KR20230051412A (zh)
CN (1) CN115963785A (zh)
DE (1) DE102022103428A1 (zh)
GB (1) GB2611589A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230142544A1 (en) * 2021-11-11 2023-05-11 Argo AI, LLC System and Method for Mutual Discovery in Autonomous Rideshare Between Passengers and Vehicles
US11897421B1 (en) * 2023-01-13 2024-02-13 Feniex Industries Preconfiguration of emergency vehicle device lockable functions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220186533A1 (en) * 2015-09-12 2022-06-16 Adac Plastics, Inc. Motor vehicle gesture access system including powered door speed control
US10837788B1 (en) * 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
US20200232803A1 (en) * 2019-01-23 2020-07-23 Uber Technologies, Inc. Generating composite images for display on a mobile device based on ground truth image rendering
WO2020190254A1 (en) * 2019-03-15 2020-09-24 Google Llc Pickup and drop-off location identification for ridesharing and delivery via augmented reality
US11656089B2 (en) * 2019-09-30 2023-05-23 GM Cruise Holdings LLC. Map driven augmented reality
US20210201661A1 (en) * 2019-12-31 2021-07-01 Midea Group Co., Ltd. System and Method of Hand Gesture Detection
US11886559B2 (en) * 2020-08-31 2024-01-30 Harlock Creative Llc Biometric identification and control systems and methods for providing customizable security through authentication of biosignal representations of one or more user-specific and user-selected gesture-intentions
US20220266796A1 (en) * 2021-02-23 2022-08-25 Magna Mirrors Of America, Inc. Vehicle door handle with multi-function sensing system
CN113053984B (zh) * 2021-03-19 2024-05-14 京东方科技集团股份有限公司 显示装置、及对应的信号处理装置及手势识别方法
US11981181B2 (en) * 2021-04-19 2024-05-14 Apple Inc. User interfaces for an electronic key
US20220413596A1 (en) * 2021-06-28 2022-12-29 Sigmasense, Llc. Vehicle sensor system

Also Published As

Publication number Publication date
DE102022103428A1 (de) 2023-04-13
US20230111327A1 (en) 2023-04-13
GB202201882D0 (en) 2022-03-30
KR20230051412A (ko) 2023-04-18
GB2611589A (en) 2023-04-12

Similar Documents

Publication Publication Date Title
CN110349405B (zh) 利用联网汽车的实时交通监视
EP3703028A1 (en) Operation of a vehicle in the event of an emergency
CN214151498U (zh) 一种车辆控制系统及车辆
WO2019111702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20210019499A (ko) 로컬화 및 위치 기반 서비스를 위해 차량에서 캡처된 승객 주의 데이터의 활용
CN115963785A (zh) 用于运载工具的方法、系统和设备以及存储介质
CN113167592A (zh) 信息处理设备、信息处理方法和信息处理程序
CN111619550A (zh) 车辆控制装置、车辆控制系统、车辆控制方法及存储介质
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
CN116323359B (zh) 低置信度对象检测条件下的运载工具操作的注释和绘制成图
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
US11518402B2 (en) System and method for controlling a vehicle using contextual navigation assistance
WO2023250290A1 (en) Post drop-off passenger assistance
JP2020056757A (ja) 情報処理装置および方法、プログラム、並びに移動体制御システム
US20240122780A1 (en) Autonomous vehicle with audio user guidance
CN115050203B (zh) 地图生成装置以及车辆位置识别装置
WO2020261703A1 (ja) 情報処理装置と情報処理方法およびプログラム
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US20230219595A1 (en) GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
US11573333B2 (en) Advanced driver assistance system, vehicle having the same, and method of controlling vehicle
US20210300438A1 (en) Systems and methods for capturing passively-advertised attribute information
US20240123975A1 (en) Guided generation of trajectories for remote vehicle assistance
WO2024081593A1 (en) Methods and systems for traffic light labelling via motion inference
CN116483062A (zh) 用于运载工具的方法、系统以及存储介质
WO2024035575A1 (en) Discriminator network for detecting out of operational design domain scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination