DE102022103428A1 - Methoden zum auffinden von und zugang zu fahrzeugen - Google Patents

Methoden zum auffinden von und zugang zu fahrzeugen Download PDF

Info

Publication number
DE102022103428A1
DE102022103428A1 DE102022103428.3A DE102022103428A DE102022103428A1 DE 102022103428 A1 DE102022103428 A1 DE 102022103428A1 DE 102022103428 A DE102022103428 A DE 102022103428A DE 102022103428 A1 DE102022103428 A1 DE 102022103428A1
Authority
DE
Germany
Prior art keywords
vehicle
user
location
mobile device
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022103428.3A
Other languages
English (en)
Inventor
Felice Ling
Tristan Dwyer
Linh Hong Pham
Christopher Konopka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of DE102022103428A1 publication Critical patent/DE102022103428A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1003—Alarm systems characterised by arm or disarm features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/34—Detection related to theft or to other events relevant to anti-theft systems of conditions of vehicle components, e.g. of windows, door locks or gear selectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3652—Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20—Destination assistance within a business structure or complex
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)

Abstract

Die offenbarten Ausführungsformen stellen allgemein optische und/oder akustische Hinweise für einen Benutzer bereit, um den Benutzer zu einem Fahrzeug-Abhol-/Absetz- (PuDo-) Standort wie z.B. einen PuDo für autonome Fahrzeuge (AV) zu führen. Der aktuelle Standort des Benutzers wird auf Grundlage von Informationen der Mobileinrichtung des Benutzers bestimmt. Vom aktuellen Standort des Benutzers aus wird ein Weg zu dem ausgewiesenen PuDo-Standort bestimmt, und auf der Mobileinrichtung des Benutzers werden Anweisungen (zum Beispiel Abbiegehinweise) zum Erreichen des ausgewiesenen PuDo-Standorts angezeigt, beispielsweise über eine in Echtzeit aktualisierte AR- (augmented reality) Schnittstelle auf dessen Mobileinrichtung. Offenbarte Ausführungsformen ermöglichen es Fahrzeugen zudem, die Identität eines Benutzers zu authentifizieren, bevor dem Benutzer der Einstieg in das Fahrzeug gestattet wird, und zwar auf Grundlage einer Abfolge von Handgesten, die der Benutzer ausführt und die von Außensensoren (z.B. Kamera, LiDAR) des Fahrzeugs erkannt werden.

Description

  • HINTERGRUND
  • Online-Verkehrsunternehmen sind in den meisten Großstädten der Welt inzwischen allgegenwärtig. Eine mobile Anwendung auf wird auf einer Mobileinrichtung (z.B. Smartphone, Smartwatch) verwendet, um eine Fahrt anzufordern, indem ein Abhol- und Absetz- (pick-up/drop-off, PuDo-) Ort und andere Informationen angegeben werden. Anschließend wird ein Fahrzeug zum PuDo geschickt. Der Benutzer kann den Weg des Fahrzeugs zum PuDo auf einer auf seiner Mobileinrichtung angezeigten Karte verfolgen und wird durch eine Textnachricht oder auf andere Weise benachrichtigt, wenn das ihm zugewiesene Fahrzeug angekommen ist. Für blinde oder sehbehinderte Benutzer kann es jedoch schwierig sein, einen PuDo zu finden, was zu Fahrtstornierungen führen kann. Sehbehinderte Benutzer lösen dieses Navigationsproblem oft, indem sie den Fahrer des Fahrzeugs um Hilfe bitten. Diese Lösung funktioniert jedoch nicht, wenn es sich bei dem Fahrzeug um ein autonomes Fahrzeug (autonomous vehicle, AV) handelt.
  • Außerdem haben Untersuchungen gezeigt, dass viele Benutzer Schwierigkeiten haben, die ihnen zugewiesenen Fahrzeuge zu finden. Zu diesen Schwierigkeiten gehören ungenaue Standortinformationen, ungenaue Standortmarkierungen und mobile Anwendungen, die die PuDo-Umgebung nicht genau wiedergeben, z.B. in der Nähe einer Baustelle, bei schlechter oder fehlender Beschilderung und dergleichen. Zu dieser Verwirrung kommt noch hinzu, dass die Suche nach dem zugewiesenen Fahrzeug oft zu einem Glücksspiel wird, bei dem ein Fahrgast mit seinem Fahrer über seine Mobileinrichtung spricht und beide verzweifelt versuchen, dem anderen ihren Standort mitzuteilen.
  • Ein weiteres Problem, das von Benutzern häufig genannt wird, ist der Zugang zu dem Fahrzeug, nachdem es geortet wurde. Wenn der Benutzer in ein Fahrzeug einsteigt, entriegelt ein menschlicher Fahrer eine Beifahrertür des Fahrzeugs, überprüft die Identität des Benutzers und bestätigt den Zielort des Benutzers. Bei autonomen Fahrzeugen müssen die Nutzer jedoch neue Wege finden, um zu entriegeln, einzusteigen und zu überprüfen, ob sie sich im richtigen Fahrzeug befinden. Bestehende Zugangslösungen nutzen die Mobileinrichtung des Benutzers für den Zugang und eine Authentifizierung über eine Kurzstreckenkommunikation mit dem Fahrzeugcomputer. Diese Lösungen stehen jedoch nicht zur Verfügung, wenn die Mobileinrichtung eines Fahrgastes nicht zugänglich ist oder nur eine geringe oder gar keine Akkulaufzeit mehr hat. Der Zugang zum Fahrzeug mithilfe einer Fernsteuerungsunterstützung (remote control assistance, RVA) funktioniert für einige Fahrgäste, aber für andere Benutzer, die beispielsweise hörgeschädigt sind, ist eine andere Lösung erforderlich.
  • Figurenliste
    • 1 ist ein Beispiel für eine Umgebung, in der ein Fahrzeug mit einer oder mehreren Komponenten eines autonomen Systems implementiert werden kann;
    • 2 ist eine Darstellung eines oder mehrerer Systeme eines Fahrzeugs mit einem autonomen System;
    • 3 ist eine Darstellung von Komponenten einer oder mehrerer Einrichtungen und/oder eines oder mehrerer Systeme aus 1 und 2;
    • 4 ist eine Darstellung bestimmter Komponenten eines autonomen Systems;
    • 5 ist eine Darstellung zur Veranschaulichung von durch Fahrzeugfernunterstützung (remote vehicle assistance, RVA) geführter Navigation;
    • 6 veranschaulicht Navigation mithilfe von akustischem und haptischem Feedback;
    • 7A-7C veranschaulichen Navigation mithilfe von Magnetfeldern, Gerüchen und Geräuschen für Assistenztiere;
    • 8A-8E zeigen das Verwenden einer Mobileinrichtung, um einen Benutzer beim Auffinden eines PuDo-Standorts unter Verwendung einer Mobileinrichtung zu unterstützen;
    • 9 veranschaulicht ein System für den Zugang zu einem Fahrzeug mithilfe einer Reihe von Handgesten;
    • 10 veranschaulicht einen Prozessablauf für den Zugang zu einem Fahrzeug unter Verwendung einer Reihe von Handgesten;
    • 11 ist ein Flussdiagramm eines Prozesses zum Unterstützen eines Benutzers beim Auffinden eines Fahrzeugs; und
    • 12 ist ein Flussdiagramm eines Prozesses für den Zugang zu einem Fahrzeug unter Verwendung einer Abfolge von Handgesten.
  • AUSFÜHRLICHE BESCHREIBUNG
  • In der folgenden Beschreibung werden zu Erklärungszwecken zahlreiche spezifische Details aufgeführt, um ein umfassendes Verständnis der vorliegenden Offenbarung zu ermöglichen. Es versteht sich jedoch, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen auch ohne diese konkreten Einzelheiten umgesetzt werden können. In einigen Fällen werden allgemein bekannte Strukturen und Einrichtungen in Blockschaubildform veranschaulicht, um Aspekte der vorliegenden Offenbarung klarer darzustellen.
  • Konkrete Anordnungen oder Ordnungen schematischer Elemente, wie etwa solche, die Systeme, Einrichtungen, Module, Befehlsblöcke, Datenelemente und/oder dergleichen darstellen, sind zur leichteren Beschreibung in den Zeichnungen veranschaulicht. Ein Fachmann versteht jedoch, dass die konkrete Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Reihenfolge oder Abfolge der Verarbeitung oder eine Trennung von Prozessen erforderlich ist, soweit dies nicht explizit angegeben ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden können, soweit dies nicht explizit angegeben ist.
  • Wenn ferner in den Zeichnungen Verbindungselemente wie beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, eine Beziehung oder einen Zusammenhang zwischen oder unter zwei oder mehr anderen schematischen Elementen in den Zeichnungen zu veranschaulichen, so ist das Fehlen solcher Verbindungselemente nicht so zu verstehen, dass keine Verbindung, keine Beziehung oder kein Zusammenhang vorliegen kann. Mit anderen Worten, einige Verbindungen, Beziehungen oder Zusammenhänge zwischen Elementen sind in den Zeichnungen nicht veranschaulicht, um nicht von der Offenbarung abzulenken. Zudem kann aus Gründen einer vereinfachten Darstellung ein einziges Verbindungselement verwendet werden, um mehrere Verbindungen, Beziehungen oder Zusammenhänge zwischen Elementen zu repräsentieren. Wenn beispielsweise ein Verbindungselement Kommunikation von Signalen, Daten oder Anweisungen (z.B. „Software-Anweisungen“ darstellt, sollte ein Fachmann verstehen, dass ein solches Element einen oder mehrere Signalwege (z.B. einen Bus) repräsentieren kann, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
  • Auch wenn die Ausdrücke „erste/r/s“, „zweite/r/s“, „dritte/r/s“ und/oder dergleichen zur Beschreibung verschiedener Elemente verwendet werden, ist nicht beabsichtigt, dass diese Elemente durch diese Ausdrücke eingeschränkt werden. Die Ausdrücke „erste/r/s“, „zweite/r/s“, „dritte/r/s“ und/oder dergleichen werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als zweiter Kontakt bezeichnet werden und entsprechend ein zweiter Kontakt als erster Kontakt, ohne vom Umfang der beschriebenen Ausführungsformen abzuweichen. Sowohl beim ersten Kontakt als auch beim zweiten Kontakt handelt es sich um Kontakte, jedoch nicht um denselben Kontakt.
  • Die vorliegend verwendete Terminologie der verschiedenen vorliegend beschriebenen Ausführungsformen dient lediglich dem Zweck der Beschreibung bestimmter Ausführungsformen und soll nicht einschränkend sein. Die Singularformen „ein/eine“ und „der/die/das“, wie sie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den beiliegenden Ansprüchen verwendet werden, sollen ebenso die Pluralformen einschließen und können synonym mit „eine/r oder mehrere“ oder „mindestens ein/e“ verwendet werden, sofern nicht durch den Kontext eindeutig anders angegeben. Zudem versteht es sich, dass sich die Angabe „und/oder“ wie vorliegend verwendet auf sämtliche mögliche Kombinationen aus einem oder mehreren der zugehörigen aufgeführten Elemente bezieht und diese umfasst. Ferner ist zu beachten, dass die Ausdrücke „beinhalten/aufweisen“, „beinhaltend/aufweisend“, „umfasst“ und/oder „umfassend“, soweit in dieser Spezifikation verwendet, das Vorliegen genannter Merkmale, Zahlen, Schritte, Operationen, Elemente und/oder Komponenten angibt, jedoch nicht das Vorliegen oder Hinzufügen eines oder mehrerer weiterer Merkmale, Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
  • Vorliegend beziehen sich die Ausdrücke „Kommunikation“ und „kommunizieren“ auf den Empfang und/oder die Übertragung und/oder die Weitergabe und/oder die Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die z.B. durch Daten, Signale, Nachrichten, Anweisungen, Befehle und/oder dergleichen dargestellt werden). Wenn eine Einheit (z.B. eine Einrichtung, ein System, eine Komponente einer Einrichtung oder eines Systems, Kombinationen aus diesen und/oder dergleichen) mit einer anderen Einheit in Kommunikation steht, bedeutet dies, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder Informationen an die andere Einheit zu senden (z.B. zu übertragen). Dies kann sich auf eine direkte oder indirekte Kommunikation beziehen, die drahtgebunden und/oder drahtlos erfolgt. Darüber hinaus können zwei Einheiten miteinander kommunizieren, auch wenn die übertragenen Informationen zwischen der ersten und der zweiten Einheit geändert, verarbeitet, weitergegeben und/oder weitergeleitet werden können. So kann beispielsweise eine erste Einheit auch dann mit einer zweiten Einheit in Kommunikation stehen, wenn die erste Einheit passiv Informationen empfängt und nicht aktiv Informationen an die zweite Einheit überträgt. Ein weiteres Beispiel: Eine erste Einheit kann mit einer zweiten Einheit in Kommunikation stehen, wenn mindestens eine Zwischeneinheit (z.B. eine dritte Einheit, die sich zwischen der ersten und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen an die zweite Einheit überträgt. In einigen Ausführungsformen kann sich eine Nachricht auf ein Netzwerkpaket (z.B. ein Datenpaket und/oder dergleichen) beziehen, das Daten enthält.
  • Die Bezeichnung „falls“ ist vorliegend je nach Kontext wahlweise auszulegen als „wenn“, „bei/nach“ oder „in Reaktion auf Bestimmen“, „in Reaktion auf Erfassen“ und/oder dergleichen. Entsprechend ist die Formulierung „falls bestimmt wird“ oder „falls [eine genannte Bedingung oder ein genanntes Ereignis] erfasst wird“ je nach Kontext wahlweise auszulegen als „bei/nach Bestimmen“, „in Reaktion auf Bestimmen“, „bei/nach Erfassen [der genannten Bedingung oder des genannten Ereignisses]“, „in Reaktion auf Erfassen [der genannten Bedingung oder des genannten Ereignisses]“ und/oder dergleichen. Auch die vorliegend verwendeten Ausdrücke „hat/weist auf“, „haben/weisen auf“, „aufweisend“ oder dergleichen sind als offene Ausdrücke zu verstehen. Ferner soll die Formulierung „auf Grundlage von“ bedeuten „zumindest teilweise auf Grundlage von“, sofern nicht explizit etwas anderes angegeben ist.
  • Es wird nun im Einzelnen Bezug auf Ausführungsformen genommen, zu denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der nachfolgenden ausführlichen Beschreibung werden zahlreiche konkrete Einzelheiten dargelegt, um ein vollständiges Verständnis der verschiedenen beschriebenen Ausführungsformen zu gewährleisten. Ein Fachmann versteht jedoch, dass die verschiedenen beschriebenen Ausführungsformen auch ohne diese konkreten Einzelheiten umgesetzt werden können. In anderen Fällen wurden allgemein bekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht im Einzelnen beschrieben, um nicht unnötig von Aspekten der Ausführungsformen abzulenken.
  • Allgemeine Übersicht
  • In einigen Aspekten und/oder Ausführungsformen beinhalten und/oder implementieren vorliegend beschriebene Systeme, Verfahren und Computerprogrammprodukte Technologie zum Auffinden und für den Zugang zu einem Fahrzeug, insbesondere für blinde, seh- oder hörbehinderte Benutzer.
  • Die offenbarten Ausführungsformen stellen allgemein optische und/oder akustische Hinweise für einen Benutzer bereit, um ihn zu einem Fahrzeug wie z.B. einem AV zu führen. Der aktuelle Standort des Benutzers wird beispielsweise anhand von Informationen der Mobileinrichtung (z.B. eines Smartphones) des Benutzers bestimmt. Vom aktuellen Standort des Benutzers aus wird ein Weg zu einem ausgewiesenen PuDo-Standort bestimmt, und auf der Mobileinrichtung des Benutzers werden Anweisungen zum Erreichen des ausgewiesenen PuDo-Standorts angezeigt, z.B. über eine in Echtzeit aktualisierte Augmented-Reality- (AR-) Schnittstelle auf dessen Mobileinrichtung.
  • Die offenbarten Ausführungsformen ermöglichen es Fahrzeugen zudem, die Identität eines Benutzers zu authentifizieren, bevor dem Benutzer der Einstieg in das Fahrzeug gestattet wird, und zwar auf Grundlage einer Abfolge von Handgesten, die der Benutzer ausführt und die von Außensensoren (z.B. Kameras, LiDAR) des Fahrzeugs erkannt werden. Beispielsweise kann ein Benutzer während einer Initialisierungsprozedur eine Abfolge von bevorzugten Handgesten auswählen, die im Zusammenhang mit seinem Benutzerprofil gespeichert werden sollen. Wenn sich der Benutzer einem Fahrzeug nähert, führt er die Abfolge von Handgesten aus, um Zutritt zu dem Fahrzeug zu erhalten. An der Außenseite des Fahrzeugs angebrachte Sensoren (z.B. Kameras) erkennen die Abfolge von Handgesten. Die Abfolge von Handgesten wird mit der im Benutzerprofil gespeicherten Abfolge von Handgesten verglichen. Stimmt die Abfolge von Handgesten mit der gespeicherten Abfolge bis zu einem gewünschten Schwellenwert überein, wird die Identität des Benutzers authentifiziert, und dem Benutzer wird durch automatisches Entriegeln einer oder mehrerer Türen des Fahrzeugs gestattet, das Fahrzeug zu betreten.
  • Durch die Implementierung vorliegend beschriebener Systeme, Verfahren und Computerprogrammprodukte bieten Methoden zum Auffinden und zum Zugang zu einem Fahrzeug zumindest die folgenden Vorteile.
  • Eine persönliche Mobileinrichtung eines Benutzers wird genutzt, um bewertbare und intuitive Führungsanweisungen zu einem PuDo-Standort bereitzustellen. Eine dynamische Entfernungsgrafik hilft dem Benutzer, seinen Fortschritt in Richtung des ausgewiesenen PuDo-Standorts zu erkennen. Ein elektronischer Kompass auf der Mobileinrichtung hilft dem Nutzer, den ausgewiesenen PuDo-Standort schnell zu finden, wenn er sich in unmittelbarer Nähe des PuDo-Standorts befindet. AR- und/oder physische Endmarkierungen (z.B. Schilder, Bezugspunkte) helfen dem Benutzer ferner dabei, unter mehreren PuDo-Standorten den ausgewiesenen PuDo-Standort zu finden.
  • Die Verwendung von Handgesten zur Echtzeit-Authentifizierung der Identität eines Benutzers bietet einem hörgeschädigten Benutzer eine barrierefreie Möglichkeit, sicher in ein Fahrzeug einzusteigen. Ein Fahrzeug, das in der Lage ist, ASL (American Sign Language, amerikanische Gebährdensprache) oder andere gängige Gebärdensprachen oder gängige Touchscreen-Gesten (z.B. Hand zur Faust ballen, Auseinander-/Zusammenziehen, Winken) zu erkennen, bietet beispielsweise eine bessere Echtzeit-Zugänglichkeit für hörgeschädigte Benutzer. Die zur Erkennung von Handgesten verwendete Handverfolgungstechnologie ist an verschiedene Fahrzeugtypen anpassbar. Die Echtzeit-Erkennung von Handgesten minimiert die Wartezeit für Fahrgäste. Eine modifizierbare Abfolge von Handgesten gewährleistet Fahrgast-Datenschutz.
  • In einer Ausführungsform umfasst ein Verfahren: Beziehen von Sensordaten (z.B. GNSS-Daten oder durch Triangulation bestimmte Standortdaten über WIFI, Bluetooth™, Mobilfunkmasten) von Sensoren einer Mobileinrichtung eines Benutzers (z.B. ein persönliches Smartphone oder Tablet), die einen Standort der Mobileinrichtung anzeigen; durch mindestens einen Prozessor der Mobileinrichtung erfolgendes Beziehen von Positionsdaten, die einen ausgewiesenen PuDo-Standort anzeigen; durch den mindestens einen Prozessor der Mobileinrichtung auf Grundlage der Sensordaten und der Positionsdaten erfolgendes Bestimmen eines Weges von dem aktuellen Standort der Mobileinrichtung zu dem ausgewiesenen PuDo-Standort; durch den mindestens einen Prozessor der Mobileinrichtung auf Grundlage des Weges erfolgendes Bestimmen eines Satzes von Anweisungen zum Verfolgen des Weges (z.B. Abbiegeanweisungen); durch den mindestens einen Prozessor der Mobileinrichtung unter Verwendung einer Schnittstelle der Mobileinrichtung erfolgendes Bereitstellen voninformationen, die einen Hinweis (z.B. eine AR-Markierung oder eine physische Markierung, wie z.B. eine Beschilderung), der mit dem ausgewiesenen PuDo-Standort verbunden ist; und einen Satz von Anweisungen zum Verfolgen des Weges auf Grundlage des aktuellen Standorts der Mobileinrichtung umfassen.
  • In einer Ausführungsform umfasst das Verfahren ferner: Bestimmen einer Entfernung von dem aktuellen Standort der Mobileinrichtung zu dem ausgewiesenen PuDo-Standort auf Grundlage des Weges; und unter Verwendung der Schnittstelle der Mobileinrichtung erfolgendes Bereitstellen von Informationen, die eine Entfernung von dem aktuellen Standort der Mobileinrichtung zu dem ausgewiesenen PuDo-Standort umfassen.
  • In einer Ausführungsform hängt der Hinweis mit einem physischen Merkmal und/oder einem Bezugspunkt in einer Umgebung (z.B. einem Gebäude, einer Ampel oder einer physischen Markierung) (z.B. repräsentiert er diese) und/oder einer AR-Markierung zusammen, die auf der Mobileinrichtung des Benutzers angezeigt wird und sich relativ zu mindestens einem Objekt in der Umgebung befindet, das auf der Mobileinrichtung angezeigt wird.
  • In einer Ausführungsform ist die AR-Markierung innerhalb einer geografischen Region eindeutig (z.B. können mehrere Exemplare einer AR-Markierung innerhalb von Boston existieren, aber nur eine solche AR-Markierung innerhalb einer Meile um den Bahnhof South Station) und ist dem ankommenden Fahrzeug zugeordnet (z.B. kann eine AR-Markierung optisch dem Fahrzeug zugeordnet werden), das für die Ankunft am ausgewiesenen PuDo-Standort vorgesehen ist.
  • In einer Ausführungsform umfasst der Satz von Anweisungen einen Satz optischer Hinweise, die in einen Live-Videostream der Umgebung eingeblendet werden (z.B. eine Reihe von AR-Pfeilen, die in einen Live-Videostream eingeblendet werden und dem Weg folgend auf den ausgewiesenen PuDo-Standort gerichtet sind).
  • In einer Ausführungsform umfasst der Satz von Anweisungen einen Kompass (z.B. einen Grafik- oder AR-Kompass), der in die Richtung des ausgewiesenen PuDo-Standorts zeigt.
  • In einer Ausführungsform wird der Kompass angezeigt, wenn sich die Mobileinrichtung innerhalb einer Schwellenentfernung zum ausgewiesenen PuDo-Standort befindet.
  • In einer Ausführungsform wird der Weg vom aktuellen Standort der Mobileinrichtung zum ausgewiesenen PuDo-Standort zumindest teilweise von einem netzwerkbasierten Datenverarbeitungssystem (auch als „Cloud-Computing-System“ bezeichnet) bestimmt.
  • In einer Ausführungsform wird der Satz von Anweisungen zumindest teilweise durch das netzwerkbasierte Datenverarbeitungssystem bestimmt.
  • In einer Ausführungsform wird die Entfernung zwischen dem aktuellen Standort der Mobileinrichtung und dem ausgewiesenen PuDo-Standort zumindest teilweise durch das netzwerkbasierte Datenverarbeitungssystem bestimmt.
  • In einer Ausführungsform wird der Satz von Anweisungen zumindest teilweise durch das netzwerkbasierte Datenverarbeitungssystem bestimmt.
  • In einer Ausführungsform umfassen die Sensordaten Satellitendaten und/oder Daten aus drahtlosen Netzwerken und/oder Daten von Standortbaken.
  • In einer Ausführungsform umfasst das Verfahren ferner durch den mindestens einen Prozessor der Mobileinrichtung erfolgendes Aktualisieren der bereitgestellten Informationen auf Grundlage eines neuen Standorts der Mobileinrichtung.
  • In einer Ausführungsform umfasst ein Verfahren: durch mindestens einen Prozessor eines Fahrzeugs erfolgendes Beziehen einer gespeicherten Abfolge (z.B. gespeichert in einem Benutzerprofil einer dem Benutzer gehörenden NFC-Einrichtung oder auf einem Netzwerkserver) von Handgesten eines Benutzers; durch den mindestens einen Prozessor erfolgendes Beziehen von Sensordaten (z.B. Kameradaten oder LiDAR-Daten) im Zusammenhang mit der Abfolge von Handgesten, die von dem Benutzer ausgeführt werden (z.B., wenn der Benutzer sich innerhalb einer Schwellenentfernung zum Fahrzeug befindet); durch den mindestens einen Prozessor erfolgendes Identifizieren der von dem Benutzer ausgeführten Abfolge von Handgesten auf Grundlage des Beziehens der Sensordaten; durch den mindestens einen Prozessor erfolgendes Vergleichen der von dem Benutzer ausgeführten Abfolge von Handgesten und der gespeicherten Abfolge von Handgesten auf Grundlage des Identifizierens der von dem Benutzer ausgeführten Abfolge von Handgesten und der gespeicherten Abfolge von Handgesten; durch den mindestens einen Prozessor erfolgendes Bestimmen, dass die von dem Benutzer ausgeführte Abfolge von Handgesten mit der gespeicherten Abfolge von Handgesten in dem Profil des Benutzers übereinstimmt, auf Grundlage des Vergleichens der von dem Benutzer ausgeführten Abfolge von Handgesten und der gespeicherten Abfolge von Handgesten (z.B. Abgleichen der gespeicherten Abfolge durch Schwellenprozentsätze eines Satzes jeweiliger Übereinstimmungsmetriken); durch den mindestens einen Prozessor erfolgendes Entriegeln mindestens einer Tür des Fahrzeugs auf Grundlage des Bestimmens, dass die vom Benutzer ausgeführte Abfolge von Handgesten mit der gespeicherten Abfolge von Handgesten des Benutzers übereinstimmt.
  • In einer Ausführungsform umfasst das Verfahren ferner Bereitstellen einer Benachrichtigung über die Entriegelung (z.B. durch Anzeige von Schildern, Lichtern usw.) über eine Schnittstelle an der Außenseite des Fahrzeugs.
  • In einer Ausführungsform umfasst das Verfahren ferner: Bestimmen (z.B. Erkennen und/oder Berechnen) eines Benutzerstandortes relativ zum Fahrzeug auf Grundlage der Sensordaten; und Öffnen der mindestens einen Tür (oder des Laderaums), die/der dem Benutzerstandort am nächsten ist.
  • In einer Ausführungsform umfasst das Verfahren nach einem der vorhergehenden Verfahrensansprüche ferner Bereitstellen einer Benachrichtigung über das Öffnen durch eine Schnittstelle an der Außenseite des Fahrzeugs vor dem Öffnen.
  • In einer Ausführungsform umfasst das Verfahren nach einem der vorhergehenden Ansprüche ferner: auf Grundlage einer vom Fahrgast stammenden Anfrage erfolgendes Bestimmen, dass der Fahrgast Fernunterstützung benötigt; Kontaktieren mindestens einer Fahrzeugfernunterstützung (RVA) auf Grundlage des Bestimmens, dass der Benutzer Fernunterstützung benötigt, Empfangen von Daten von der mindestens einen RVA, die mit Anweisungen verbunden sind, um Zugang zum Fahrzeug zu erhalten, und Bereitstellen der Anweisungen durch die Schnittstelle an der Außenseite des Fahrzeugs.
  • In einer Ausführungsform wird die gespeicherte Abfolge zumindest teilweise auf Grundlage von Daten von einer Kurzstrecken-Kommunikations- (z.B. NFC, Bluetooth) Einrichtung bestimmt.
  • In einer Ausführungsform beruht das Identifizieren einer vom Benutzer ausgeführten Abfolge von Handgesten auf einem Maschinenlern- (ML-) Modell (z.B. einem rekurrenten neuronalen Netz, das für die Erkennung einer Abfolge von Handgesten trainiert wurde).
  • In einer Ausführungsform ist das ML-Modell ein rekurrentes neuronales Netz (z.B. trainiert, um Handgesten und die Reihenfolge der Handgesten zu erkennen).
  • In einer Ausführungsform umfasst das Identifizieren der vom Benutzer ausgeführten Abfolge von Handgesten unter Verwendung eines entfernt angeordneten Systems (z.B. eines Cloud-Servers) erfolgendes Identifizieren mindestens einer Geste in der vom Benutzer ausgeführten Abfolge von Gesten.
  • In einer Ausführungsform umfasst ein System: mindestens einen Prozessor; und mindestens ein nicht-transientes computerlesbares Speichermedium, das Anweisungen enthält, die bei Ausführung der Anweisungen durch den mindestens einen Prozessor den mindestens einen Prozessor veranlassen, eines der vorstehend beschriebenen Verfahren ganz oder teilweise durchzuführen.
  • In einer Ausführungsform umfasst mindestens ein nicht-transientes computerlesbares Speichermedium Anweisungen, die bei Ausführung der Anweisungen durch mindestens einen Prozessor den mindestens einen Prozessor veranlassen, eines der vorstehend beschriebenen Verfahren ganz oder teilweise durchzuführen.
  • In einer Ausführungsform umfasst eine Vorrichtung Mittel zur vollständigen oder teilweisen Durchführung eines der vorstehend beschriebenen Verfahren.
  • In 1 ist eine beispielhafte Umgebung 100 dargestellt, in der sowohl Fahrzeuge mit autonomen Systemen als auch Fahrzeuge ohne solche Systeme betrieben werden. Wie dargestellt, umfasst die Umgebung 100 Fahrzeuge 102a-102n, Objekte 104a-104n, Routen 106a-106n, ein Gebiet 108, eine Fahrzeug-zu-Infrastruktur- (V2I-) Einrichtung 110, ein Netzwerk 112, ein entfernt angeordnetes AV-System 114, ein Fuhrparkverwaltungssystem 116 und ein V21-System 118. Die Fahrzeuge 102a-102n, die Fahrzeug-zu-Infrastruktur- (V2I-) Einrichtung 110, das Netzwerk 112, das AV-System 114, das Fuhrparkverwaltungssystem 116 und das V21-System 118 sind über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen miteinander verbunden (z.B. stellen sie eine Verbindung her, um zu kommunizieren und/oder dergleichen). In einigen Ausführungsformen sind die Objekte 104a-104n mit den Fahrzeugen 102a-102n und/oder der Fahrzeug-zu-Infrastruktur- (V2I-) Einrichtung 110 und/oder dem Netzwerk 112 und/oder dem AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen verbunden.
  • Die Fahrzeuge 102a-102n (einzeln als Fahrzeug 102 und gemeinsam als Fahrzeuge 102 bezeichnet) beinhalten mindestens eine Einrichtung, die für den Transport von Gütern und/oder Personen konfiguriert ist. In einigen Ausführungsformen sind die Fahrzeuge 102 so konfiguriert, dass sie über das Netzwerk 112 mit der V21-Einrichtung 110, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 in Kommunikation stehen. In einigen Ausführungsformen umfassen die Fahrzeuge 102 Autos, Busse, Lastwagen, Züge und/oder dergleichen. In einigen Ausführungsformen sind die Fahrzeuge 102 gleich oder ähnlich wie die vorliegend beschriebenen Fahrzeuge 200 (siehe 2). In einigen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 einem Verwalter eines autonomen Fuhrparks zugeordnet. In einigen Ausführungsformen fahren die Fahrzeuge 102 entlang jeweiliger Routen 106a-106n (einzeln als Route 106 und gemeinsam als Routen 106 bezeichnet), wie vorliegend beschrieben. In einigen Ausführungsformen umfassen ein oder mehrere Fahrzeuge 102 ein autonomes System (z.B. ein autonomes System, das mit dem autonomen System 202 identisch oder diesem ähnlich ist).
  • Zu den Objekten 104a-104n (einzeln als Objekt 104 und gemeinsam als Objekte 104 bezeichnet) zählen beispielsweise mindestens ein Fahrzeug, mindestens ein Fußgänger, mindestens ein Radfahrer, mindestens ein Gebilde (z.B. ein Gebäude, ein Schild, ein Hydrant usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (z.B. für eine bestimmte Zeit an einem festen Ort) oder mobil (z.B. mit einem Geschwindigkeitsvektor und mindestens einer Trajektorie). In einigen Ausführungsformen sind die Objekte 104 entsprechenden Standorten im Gebiet 108 zugeordnet.
  • Die Routen 106a-106n (einzeln als Route 106 und gemeinsam als Routen 106 bezeichnet) sind jeweils mit einer Abfolge von Aktionen (auch als Trajektorie bezeichnet) verbunden (z.B. geben sie diese vor), die Zustände miteinander verbinden, entlang derer ein AV navigieren kann. Jede Route 106 beginnt mit einem Anfangszustand (z.B. einem Zustand , der einem ersten raumzeitlichen Standort, einem Geschwindigkeitsvektor und/oder dergleichen entspricht) und einem Endzielzustand (z.B. einem Zustand, der einem zweiten raumzeitlichen Standort entspricht, der sich vom ersten raumzeitlichen Standort unterscheidet) oder einer Zielregion (z.B. einem Teilraum akzeptabler Zustände (z.B. Endzustände)). In einigen Ausführungsformen beinhaltet der erste Zustand einen Standort, an dem eine oder mehrere Personen vom AV abgeholt werden sollen, und der zweite Zustand oder die Region beinhaltet einen oder mehrere Standorte, an denen die vom AV abgeholte(n) Person(en) abgesetzt werden soll(en). In einigen Ausführungsformen beinhalten die Routen 106 eine Vielzahl von akzeptablen Zustandsabfolgen (z.B. eine Vielzahl von raumzeitlichen Standortabfolgen), wobei die Vielzahl von Zustandsabfolgen einer Vielzahl von Trajektorien zugeordnet ist (z.B. diese definiert) . In einem Beispiel beinhalten die Routen 106 nur übergeordnete Aktionen oder ungenaue Zustandsorte, wie z.B. eine Reihe verbundener Straßen, die Abbiegerichtungen an Straßenkreuzungen vorgeben. Zusätzlich oder alternativ können die Routen 106 präzisere Aktionen oder Zustände beinhalten, wie beispielsweise bestimmte Zielfahrspuren oder genaue Standorte innerhalb der Fahrspurbereiche und eine Zielgeschwindigkeit an diesen Positionen. In einem Beispiel beinhalten die Routen 106 eine Vielzahl präziser Zustandsabfolgen entlang der mindestens einen Abfolge übergeordneter Aktionen mit einem begrenzten Vorausschauhorizont, um Zwischenziele zu erreichen, wobei die Kombination aufeinanderfolgender Iterationen von Zustandsabfolgen mit begrenztem Horizont kumulativ einer Vielzahl von Trajektorien entspricht, die zusammen die übergeordnete Route bilden, um im endgültigen Zielzustand oder -bereich anzukommen.
  • Das Gebiet 108 beinhaltet ein physisches Gebiet (z.B. eine geografische Region), in dem die Fahrzeuge 102 navigieren können. In einem Beispiel beinhaltet das Gebiet 108 mindestens einen Staat (z.B. ein Land, eine Provinz, einen einzelnen Staat einer Vielzahl von Staaten, die zu einem Land gehören, usw.), mindestens einen Teil eines Staates, mindestens eine Stadt, mindestens einen Teil einer Stadt usw. In einigen Ausführungsformen beinhaltet das Gebiet 108 mindestens eine benannte Durchgangsstraße (im Folgenden als „Straße“ bezeichnet), wie z.B. eine Autobahn, eine Fernstraße, eine Allee, eine Stadtstraße usw. Zusätzlich oder alternativ beinhaltet das Gebiet 108 in einigen Beispielen mindestens eine unbenannte Straße, wie z.B. eine Einfahrt, einen Abschnitt eines Parkplatzes, einen Abschnitt eines freien und/oder unbebauten Grundstücks, einen Feldweg usw. In einigen Ausführungsformen beinhaltet eine Straße mindestens eine Fahrspur (z.B. einen Teil der Straße, der von Fahrzeugen 102 befahren werden kann). In einem Beispiel beinhaltet eine Straße mindestens eine Fahrspur, die mit mindestens einer Fahrspurmarkierung verbunden ist (z.B. auf Grundlage dieser Markierung identifiziert wird).
  • Die Fahrzeug-zu-Infrastruktur- (V2I-) Einrichtung 110 (manchmal auch als Fahrzeug-zu-Infrastruktur- (V2X-) Einrichtung bezeichnet) beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass sie mit Fahrzeugen 102 und/oder dem V2I-Infrastruktursystem 118 in Kommunikation steht. In einigen Ausführungsformen ist die V21-Einrichtung 110 so konfiguriert, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 in Kommunikation steht. In einigen Ausführungsformen umfasst die V21-Einrichtung 110 eine RFID-(Radio Frequency Identification) Einrichtung, Schilder, Kameras (z.B. zweidimensionale (2D-) und/oder dreidimensionale (3D-) Kameras), Fahrspurmarkierungen, Straßenlaternen, Parkuhren usw. In einigen Ausführungsformen ist die V21-Einrichtung 110 so konfiguriert, dass sie direkt mit den Fahrzeugen 102 kommuniziert. Zusätzlich oder alternativ ist in einigen Ausführungsformen die V21-Einrichtung 110 so konfiguriert, dass sie über das V2I-System 118 mit den Fahrzeugen 102, dem entfernt angeordneten AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 kommuniziert. In einigen Ausführungsformen ist die V21-Einrichtung 110 so konfiguriert, dass sie über das Netzwerk 112 mit dem V21-System 118 kommuniziert.
  • Das Netzwerk 112 beinhaltet ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. In einem Beispiel beinhaltet das Netzwerk 112 ein Mobilfunknetz (z.B. ein LTE- (Long Term Evolution) Netz, ein 3G- (dritte Generation) Netz, ein 4G-(vierte Generation) Netz, ein 5G- (fünfte Generation) Netz, ein CDMA- (code division multiple access, Codemultiplex-Vielfachzugriff-) Netz usw.), ein öffentliches Mobilfunknetz (PLMN, public land mobile network), ein lokales Netzwerk (local area network, LAN), ein Weitverkehrsnetz (wide area network, WAN), ein Stadtnetz (metropolitan area network, MAN), ein Telefonnetz (z.B. das öffentliche Telefonnetz (PSTN, public switched telephone network), ein privates Netzwerk, ein Ad-hoc-Netz, ein Intranet, das Internet, ein glasfaserbasiertes Netzwerk, ein Cloud-Computing-Netzwerk usw., eine Kombination einiger oder aller dieser Netzwerke und/oder dergleichen.
  • Das entfernt angeordnete AV-System 114 beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, der V21-Einrichtung 110, dem Netzwerk 112, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 in Kommunikation steht. In einem Beispiel beinhaltet das entfernt angeordnete AV-System 114 einen Server, eine Gruppe von Servern und/oder andere ähnliche Einrichtungen. In einigen Ausführungsformen ist das entfernt angeordnete AV-System 114 zusammen mit dem Fuhrparkverwaltungssystem 116 angeordnet. In einigen Ausführungsformen ist das entfernt angeordnete AV-System 114 an der Installation einiger oder aller Komponenten eines Fahrzeugs beteiligt, einschließlich eines autonomen Systems, eines AV-Computers, von einem AV-Computer implementierter Software und/oder dergleichen. In einigen Ausführungsformen wartet (z.B. aktualisiert und/oder ersetzt) das entfernt angeordnete AV-System 114 solche Komponenten und/oder Software während der Lebensdauer des Fahrzeugs.
  • Das Fuhrparkverwaltungssystem 116 umfasst mindestens eine Einrichtung, die so konfiguriert ist, dass sie mit den Fahrzeugen 102, der V21-Einrichtung 110, dem entfernt angeordneten AV-System 114 und/oder dem V21-Infrastruktursystem 118 in Kommunikation steht. In einem Beispiel beinhaltet das Fuhrparkverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere ähnliche Einrichtungen. In einigen Ausführungsformen ist das Fuhrparkverwaltungssystem 116 einem Fahrgemeinschaftsunternehmen zugeordnet (z.B. einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (z.B. Fahrzeuge mit autonomen Systemen und/oder Fahrzeuge ohne autonome Systeme) und/oder dergleichen).
  • In einigen Ausführungsformen beinhaltet das V21-System 118 mindestens eine Einrichtung, die so konfiguriert ist, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, der V21-Einrichtung 110, dem entfernt angeordneten AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 in Kommunikation steht. In einigen Beispielen ist das V21-System 118 so konfiguriert, dass es mit der V21-Einrichtung 110 über eine andere Verbindung als das Netzwerk 112 in Kommunikation steht. In einigen Ausführungsformen beinhaltet das V21-System 118 einen Server, eine Gruppe von Servern und/oder andere ähnliche Einrichtungen. In einigen Ausführungsformen ist das V21-System 118 einer Kommune oder einer privaten Einrichtung zugeordnet (z.B. einer privaten Einrichtung, die die V21-Einrichtung1 10 und/oder dergleichen unterhält).
  • Die Anzahl und Anordnung der in 1 dargestellten Elemente ist lediglich beispielhaft. Es können zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 dargestellten vorhanden sein. Zusätzlich oder alternativ kann mindestens ein Element der Umgebung 100 eine oder mehrere Funktionen ausführen, die als von mindestens einem anderen Element in 1 ausgeführt beschrieben sind. Zusätzlich oder alternativ kann mindestens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen ausführen, die als von mindestens einem anderen Satz von Elementen der Umgebung 100 ausgeführt beschrieben sind.
  • Gemäß 2 beinhaltet das Fahrzeug 200 ein autonomes System 202, ein Antriebsstrangsteuersystem 204, ein Lenkungssteuersystem 206 und ein Bremssystem 208. In einigen Ausführungsformen ist das Fahrzeug 200 gleich oder ähnlich wie das Fahrzeug 102 (siehe 1). In einigen Ausführungsformen hat das Fahrzeug 102 autonome Fähigkeiten (z.B. implementiert es mindestens eine Funktion, ein Merkmal, eine Einrichtung und/oder dergleichen, die es ermöglichen, dass das Fahrzeug 200 teilweise oder vollständig ohne menschliches Eingreifen betrieben werden kann, darunter, ohne Einschränkung, vollständig autonome Fahrzeuge (z.B. Fahrzeuge, die auf menschliches Eingreifen verzichten), hochautonome Fahrzeuge (z.B. Fahrzeuge, die in bestimmten Situationen auf menschliches Eingreifen verzichten) und/oder dergleichen). Für eine detaillierte Beschreibung von vollständig autonomen Fahrzeugen und hochautonomen Fahrzeugen kann auf die Norm J3016 von SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten Fahrsystemen für Straßenfahrzeuge) verwiesen werden, die durch Bezugnahme in vollem Umfang einbezogen wird. In einigen Ausführungsformen ist das Fahrzeug 200 einem Verwalter eines autonomen Fuhrparks und/oder einem Fahrgemeinschaftsunternehmen zugeordnet.
  • Das autonome System 202 beinhaltet eine Sensoreinheit, die eine oder mehrere Einrichtungen wie Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c und Mikrofone 202d beinhaltet. In einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Einrichtungen und/oder andere Einrichtungen beinhalten (z.B. Ultraschallsensoren, Trägheitssensoren, GPS-Empfänger (siehe unten), Odometriesensoren, die Daten im Zusammenhang mit einer Anzeige einer zurückgelegten Strecke des Fahrzeugs 200 erzeugen, und/oder dergleichen). In einigen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren Einrichtungen, die im autonomen System 202 enthalten sind, um Daten im Zusammenhang mit der Umgebung 100 wie vorliegend beschrieben zu erzeugen. Die von der einen oder den mehreren Einrichtungen des autonomen Systems 202 erzeugten Daten können von einem oder mehreren vorliegend beschriebenen Systemen verwendet werden, um die Umgebung (z.B. die Umgebung 100), in der sich das Fahrzeug 200 befindet, zu beobachten. In einigen Ausführungsformen beinhaltet das autonome System 202 eine Kommunikationseinrichtung 202e, einen AV-Computer 202f und ein Drive-by-Wire-(DBW-) System 202h.
  • Die Kameras 202a beinhalten mindestens eine Einrichtung , die so konfiguriert ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationseinrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Kameras 202a beinhalten mindestens eine Kamera (z.B. eine Digitalkamera mit einem Lichtsensor wie beispielsweise einer ladungsgekoppelten Einrichtung (charge-coupled device, CCD), eine Wärmebildkamera, eine Infrarot- (IR-) Kamera, eine Ereigniskamera und/oder dergleichen), um Bilder mit physischen Objekten (z.B. Autos, Busse, Bordsteine, Menschen und/oder dergleichen) aufzunehmen. In einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. In einigen Beispielen erzeugt die Kamera 202a Kameradaten, die mit einem Bild verbundene Bilddaten enthalten. In diesem Beispiel können die Bilddaten mindestens einen dem Bild entsprechenden Parameter (z.B. Bildeigenschaften wie Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) angeben. In einem solchen Beispiel kann das Bild in einem bestimmten Format vorliegen (z.B. RAW, JPEG, PNG und/oder dergleichen). In einigen Ausführungsformen beinhaltet die Kamera 202a eine Vielzahl unabhängiger Kameras, die an einem Fahrzeug konfiguriert (z.B. positioniert) sind, um Bilder zum Zweck der Stereopsis (räumliches Sehen) aufzunehmen. In einigen Beispielen beinhaltet die Kamera 202a eine Vielzahl von Kameras, die Bilddaten erzeugen und die Bilddaten an den AV-Computer 202f und/oder ein Fuhrparkverwaltungssystem (z.B. ein Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnlich ist) übertragen. In einem solchen Beispiel bestimmt der AV-Computer 202f eine Tiefe eines oder mehrerer Objekte in einem Sichtfeld von mindestens zwei Kameras der Vielzahl von Kameras auf Grundlage der Bilddaten von den mindestens zwei Kameras. In einigen Ausführungsformen sind die Kameras 202a so konfiguriert, dass sie Bilder von Objekten innerhalb einer Entfernung von den Kameras 202a aufnehmen (z.B. bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen). Dementsprechend beinhalten die Kameras 202a Merkmale wie Sensoren und Objektive, die für die Wahrnehmung von Objekten optimiert sind, die sich in einer oder mehreren Entfernungen zu den Kameras 202a befinden.
  • In einer Ausführungsform beinhaltet die Kamera 202a mindestens eine Kamera, die so konfiguriert ist, dass sie ein oder mehrere Bilder im Zusammenhang mit einer oder mehreren Ampeln, Straßenschildern und/oder anderen physischen Objekten aufnimmt, die optische Navigationsinformationen liefern. In einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten im Zusammenhang mit einem oder mehreren Bildern. In einigen Beispielen erzeugt die Kamera 202a TLD-Daten im Zusammenhang mit einem oder mehreren Bildern, die ein Format (z.B. RAW, JPEG, PNG und/oder dergleichen) enthalten. In einigen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, von anderen vorliegend beschriebenen Systemen, die Kameras enthalten, dadurch, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Sichtfeld beinhalten kann (z.B. ein Weitwinkelobjektiv, ein Fischaugenobjektiv, ein Objektiv mit einem Betrachtungswinkel von etwa 120 Grad oder mehr und/oder dergleichen), um Bilder über möglichst viele physische Objekte zu erzeugen.
  • Die LiDAR- (laser detection and ranging, Lichtabstandsmessung) Sensoren 202b beinhalten mindestens eine Einrichtung , die so konfiguriert ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationseinrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die LiDAR-Sensoren 202b beinhalten ein System, das so konfiguriert ist, dass es Licht von einem Lichtsender (z.B. einem Lasersender) überträgt. Das von den LiDAR-Sensoren 202b emittierte Licht umfasst Licht (z.B. Infrarotlicht und/oder dergleichen), das außerhalb des sichtbaren Spektrums liegt. In einigen Ausführungsformen trifft von den LiDAR-Sensoren 202b emittiertes Licht während des Betriebs auf ein physisches Objekt (z.B. ein Fahrzeug) und wird zu den LiDAR-Sensoren 202b zurückreflektiert. In einigen Ausführungsformen durchdringt das von den LiDAR-Sensoren 202b emittierte Licht die physischen Objekte, auf die das Licht trifft, nicht. Die LiDAR-Sensoren 202b beinhalten zudem mindestens einen Lichtdetektor, der das vom Lichtsender ausgestrahlte Licht erfasst, nachdem das Licht auf ein physisches Objekt getroffen ist. In einigen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das den LiDAR-Sensoren 202b zugeordnet ist, ein Bild (z.B. eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), das die in einem Sichtfeld der LiDAR-Sensoren 202b enthaltenen Objekte darstellt. In einigen Beispielen erzeugt das mindestens eine Datenverarbeitungssystem, das dem LiDAR-Sensor 202b zugeordnet ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z.B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einem solchen Beispiel wird das Bild verwendet, um die Grenzen physischer Objekte im Sichtfeld der LiDAR-Sensoren 202b zu bestimmen.
  • Die Radar- (radio detection and ranging, Funkabstandsmessung) Sensoren 202c beinhalten mindestens eine Einrichtung , die so konfiguriert ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationseinrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Radarsensoren 202c beinhalten ein System, das so konfiguriert ist, dass es Funkwellen (entweder gepulst oder kontinuierlich) überträgt. Die von den Radarsensoren 202c gesendeten Funkwellen beinhaltenFunkwellen, die innerhalb eines vorbestimmten Spektrums liegen. In einigen Ausführungsformen treffen von den Radarsensoren 202c gesendete Funkwellen während des Betriebs auf ein physisches Objekt und werden zu den Radarsensoren 202c zurückreflektiert. In einigen Ausführungsformen werden die von den Radarsensoren 202c gesendeten Funkwellen von einigen Objekten nicht reflektiert. In einigen Ausführungsformen erzeugt mindestens ein den Radarsensoren 202c zugeordnetes Datenverarbeitungssystem Signale, die die in einem Sichtfeld der Radarsensoren 202c enthaltenen Objekte darstellen. Beispielsweise erzeugt das mindestens eine dem Radarsensor 202c zugeordnete Datenverarbeitungssystem ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z.B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einigen Beispielen wird das Bild verwendet, um die Grenzen physischer Objekte im Sichtfeld der Radarsensoren 202c zu bestimmen.
  • Die Mikrofone 202d beinhalten mindestens eine Einrichtung, die so konfiguriert ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationseinrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Mikrofone 202d beinhalten ein oder mehrere Mikrofone (z.B. Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale aufnehmen und Daten erzeugen, die mit den Audiosignalen verbunden sind (z.B. diese darstellen). In einigen Beispielen beinhalten die Mikrofone 202d Wandlereinrichtungen und/oder ähnliche Einrichtungen. In einigen Ausführungsformen können ein oder mehrere vorliegend beschriebene Systeme die von den Mikrofonen 202d erzeugten Daten empfangen und eine Position eines Objekts relativ zum Fahrzeug 200 (z.B. eine Entfernung und/oder dergleichen) auf Grundlage der mit den Daten verbundenen Audiosignale bestimmen.
  • Die Kommunikationseinrichtung 202e beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass die mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, dem AV-Computer 202f, der Sicherheitssteuereinheit 202g und/oder dem DBW-System 202h in Kommunikation steht. Beispielsweise kann die Kommunikationseinrichtung 202e eine Einrichtung beinhalten, die der Kommunikationsschnittstelle 314 aus 3 gleicht oder ähnlich ist. In einigen Ausführungsformen umfasst die Kommunikationseinrichtung 202e eine Fahrzeug-zu-Fahrzeug- (V2V-) Kommunikationseinrichtung (z.B. eine Einrichtung, die drahtlose Kommunikation von Daten zwischen Fahrzeugen ermöglicht).
  • Der AV-Computer 202f beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationseinrichtung 202e, der Sicherheitssteuereinheit 202g und/oder dem DBW-System 202h in Kommunikation steht. In einigen Beispielen umfasst der AV-Computer 202f eine Einrichtung wie beispielsweise eine Client-Einrichtung, eine Mobileinrichtung (z.B. ein Mobiltelefon, ein Tablet und/oder dergleichen), einen Server (z.B. eine Datenverarbeitungseinrichtung mit einer oder mehreren zentralen Verarbeitungseinheiten, grafischen Verarbeitungseinheiten und/oder dergleichen) und/oder dergleichen. In einigen Ausführungsformen gleicht oder ähnelt der AV-Computer 202f dem vorliegend beschriebenen AV-Computer 400. Zusätzlich oder alternativ ist in einigen Ausführungsformen der AV-Computer 202f so konfiguriert, dass er mit einem AV-System (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 aus 1 gleicht oder ähnelt), einem Fuhrparkverwaltungssystem (z.B. einem Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnelt), einer V21-Einrichtung (z.B. einer V21-Einrichtung, die der V21-Einrichtung 110 aus 1 gleicht oder ähnelt), und/oder einem V21-System (z.B. einem V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) in Kommunikation steht.
  • Die Sicherheitssteuereinheit 202g beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationseinrichtung 202e, dem AV-Computer 202f und/oder dem DBW-System 202h in Kommunikation steht. In einigen Beispielen beinhaltet die Sicherheitssteuereinheit 202g eine oder mehrere Steuereinheiten (elektrische Steuereinheiten, elektromechanische Steuereinheiten und/oder dergleichen), die so konfiguriert sind, dass sie Steuersignale erzeugen und/oder übertragen, um eine oder mehrere Einrichtungen des Fahrzeugs 200 (z.B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. In einigen Ausführungsformen ist die Sicherheitssteuereinheit 202g so konfiguriert, dass sie Steuersignale erzeugt, die Vorrang vor Steuersignalen haben (z.B. diese übergehen), die vom AV-Computer 202f erzeugt und/oder übertragen werden.
  • Das DBW-System 202h beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass sie mit der Kommunikationseinrichtung 202e und/oder dem AV-Computer 202f in Kommunikation steht. In einigen Beispielen beinhaltet das DBW-System 202h eine oder mehrere Steuereinheiten (z.B. elektrische Steuereinheiten, elektromechanische Steuereinheiten und/oder dergleichen), die so konfiguriert sind, dass sie Steuersignale erzeugen und/oder übertragen, um eine oder mehrere Einrichtungen des Fahrzeugs 200 (z.B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. Zusätzlich oder alternativ sind die eine oder die mehreren Steuereinheiten des DBW-Systems 202h so konfiguriert, dass sie Steuersignale erzeugen und/oder übertragen, um mindestens eine andere Einrichtung (z.B. einen Blinker, Scheinwerfer, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu betreiben.
  • Das Antriebsstrangsteuersystem 204 beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass sie mit dem DBW-System 202h in Kommunikation steht. In einigen Beispielen beinhaltet das Antriebsstrangsteuersystem 204 mindestens eine Steuereinheit, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen empfängt das Antriebsstrangsteuersystem 204 Steuersignale vom DBW-System 202h, und das Antriebsstrangsteuersystem 204 veranlasst das Fahrzeug 200, eine Vorwärtsbewegung zu starten, eine Vorwärtsbewegung zu stoppen, eine Rückwärtsbewegung zu starten, eine Rückwärtsbewegung zu stoppen, in eine Richtung zu beschleunigen, in eine Richtung abzubremsen, eine Linkskurve auszuführen, eine Rechtskurve auszuführen und/oder dergleichen. In einem Beispiel veranlasst das Antriebsstrangsteuersystem 204, dass die einem Motor des Fahrzeugs zugeführte Energie (z.B. Kraftstoff, Elektrizität und/oder dergleichen) steigt, gleich bleibt oder sinkt, wodurch bewirkt wird, dass sich mindestens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
  • Das Lenkungssteuersystem 206 beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass sie ein oder mehrere Räder des Fahrzeugs 200 dreht. In einigen Beispielen beinhaltet das Lenkungssteuersystem 206 mindestens eine Steuereinheit, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen veranlasst das Lenkungssteuersystem 206 die beiden vorderen Räder und/oder die beiden hinteren Räder des Fahrzeugs 200, sich nach links oder rechts zu drehen, um zu bewirken, dass das Fahrzeug 200 nach links oder rechts abbiegt.
  • Das Bremssystem 208 beinhaltet mindestens eine Einrichtung, die so konfiguriert ist, dass sie eine oder mehrere Bremsen betätigt, um das Fahrzeug 200 zu veranlassen, seine Geschwindigkeit zu verringern und/oder stehen zu bleiben. In einigen Beispielen beinhaltet das Bremssystem 208 mindestens eine Steuereinheit und/oder einen Aktuator, der so konfiguriert ist, dass er einen oder mehrere Bremssättel, die einem oder mehreren Rädern des Fahrzeugs 200 zugeordnet sind, veranlasst, sich an einem entsprechenden Rotor des Fahrzeugs 200 zu schließen. Zusätzlich oder alternativ beinhaltet das Bremssystem 208 in einigen Beispielen ein automatisches Notbrems- (automatic emergency braking, AEB) System, ein regeneratives Bremssystem und/oder dergleichen.
  • In einigen Ausführungsformen umfasst das Fahrzeug 200 mindestens einen (nicht explizit dargestellten) Plattformsensor, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder ableitet. In einigen Beispielen beinhaltet das Fahrzeug 200 Plattformsensoren wie einen GPS- (Global Positioning System) Empfänger, eine Trägheitsmesseinheit (inertial measurement unit, IMU), einen Raddrehzahlsensor, einen Radbremsdrucksensor, einen Raddrehmomentsensor, einen Motordrehmomentsensor, einen Lenkwinkelsensor und/oder dergleichen.
  • In einigen Ausführungsformen beinhaltet das Fahrzeug 200 mindestens einen Atmosphärensensor 202i, der atmosphärische Bedingungen in der Umgebung des Fahrzeugs 200 misst, darunter, ohne jedoch hierauf eingeschränkt zu sein: Luftdrucksensoren, Temperatursensoren, Feuchtigkeits-/Regensensoren, Umgebungslichtsensoren usw.
  • 3 veranschaulicht eine schematische Darstellung einer Einrichtung 300. Wie dargestellt, beinhaltet die Einrichtung 300 einen Computerprozessor 304, einen Speicher 306, eine Speicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302. In einigen Ausführungsformen entspricht die Einrichtung 300 mindestens einer Einrichtung der Fahrzeuge 102 (z.B. mindestens einer Einrichtung eines Systems der Fahrzeuge 102), mindestens einer Einrichtung von und/oder einer oder mehreren Einrichtungen des Netzwerks 112 (z.B. einer oder mehreren Einrichtungen eines Systems des Netzwerks 112). In einigen Ausführungsformen beinhalten eine oder mehrere Einrichtungen der Fahrzeuge 102 (z.B. eine oder mehrere Einrichtungen eines Systems der Fahrzeuge 102) und/oder eine oder mehrere Einrichtungen des Netzwerks 112 (z.B. eine oder mehrere Einrichtungen eines Systems des Netzwerks 112) mindestens eine Einrichtung 300 und/oder mindestens eine Komponente der Einrichtung 300. Wie in 3 gezeigt, beinhaltet die Einrichtung 300 den Bus 302, den Computerprozessor 304, den Speicher 306, die Speicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314.
  • Der Bus 302 beinhaltet eine Komponente, die eine Kommunikation zwischen den Komponenten der Einrichtung 300 ermöglicht. In einigen Ausführungsformen ist der Computerprozessor 304 in Hardware, Software oder einer Kombination aus Hardware und Software implementiert. In einigen Beispielen beinhaltet der Computerprozessor 304 einen Computerprozessor (z.B. eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine beschleunigte Verarbeitungseinheit (APU) und/oder dergleichen), ein Mikrofon, einen digitalen Signalprozessor (DSP) und/oder eine beliebige Verarbeitungskomponente (z.B. ein frei programmierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die programmiert werden kann, um mindestens eine Funktion auszuführen. Der Speicher 306 beinhaltet einen Direktzugriffsspeicher (RAM), einen Nur-Lese-Speicher (ROM) und/oder eine andere Art von dynamischer und/oder statischer Speichereinrichtung (z.B. Flashspeicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die Daten und/oder Anweisungen zur Verwendung durch den Computerprozessor 304 speichert.
  • Die Speicherkomponente 308 speichert Daten und/oder Software im Zusammenhang mit dem Betrieb und der Verwendung der Einrichtung 300. In einigen Beispielen beinhaltet die Speicherkomponente 308 eine Festplatte (z.B. eine Magnetplatte, eine optische Platte, eine magneto-optische Platte, eine Solid-State-Platte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM und/oder eine andere Art von computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk.
  • Die Eingabeschnittstelle 310 beinhaltet eine Komponente, die es der Einrichtung 300 ermöglicht, Informationen zu empfangen, z.B. über Benutzereingaben (z.B. eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen). Zusätzlich oder alternativ beinhaltet die Eingabeschnittstelle 310 in einigen Ausführungsformen einen Sensor, der Informationen erfasst (z.B. einen GPS- (Global Positioning System) Empfänger, einen Beschleunigungsmesser, ein Gyroskop, einen Aktuator und/oder dergleichen). Die Ausgabeschnittstelle 312 beinhaltet eine Komponente, die Ausgabeinformationen von der Einrichtung 300 bereitstellt (z.B. eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
  • In einigen Ausführungsformen beinhaltet die Kommunikationsschnittstelle 314 eine Sendeempfänger-ähnliche Komponente (z.B. einen Sendeempfänger, einen separaten Empfänger und Sender und/oder dergleichen), die es der Einrichtung 300 ermöglicht, mit anderen Einrichtungen über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen zu kommunizieren. In einigen Beispielen ermöglicht die Kommunikationsschnittstelle 314 der Einrichtung 300, Informationen von einer anderen Einrichtung zu empfangen und/oder einer anderen Einrichtung Informationen zu liefern. In einigen Beispielen beinhaltet die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenz- (radio frequency, RF-) Schnittstelle, eine USB- (Universal Serial Bus) Schnittstelle, eine Wi-Fi®-Schnittstelle, eine Zellularnetzwerkschnittstelle und/oder dergleichen.
  • In einigen Ausführungsformen führt die Einrichtung 300 einen oder mehrere der vorliegend beschriebenen Prozesse durch. Die Einrichtung 300 führt diese Prozesse auf Grundlage eines Computerprozessors 304 durch, der Softwareanweisungen ausführt, die auf einem computerlesbaren Medium wie dem Speicher 305 und/oder der Speicherkomponente 308 gespeichert sind. Ein computerlesbares Medium (z.B. ein nicht-transientes computerlesbares Medium) ist vorliegend als nicht-transiente Speichereinrichtung definiert. Ein nicht-transienter Speicher beinhaltet Speicherplatz, der sich in einer einzigen physischen Speichereinrichtung befindet, oder Speicherplatz, der über mehrere physische Speichereinrichtungen verteilt ist.
  • In einigen Ausführungsformen werden Softwareanweisungen von einem anderen computerlesbaren Medium oder von einer anderen Einrichtung über die Kommunikationsschnittstelle 314 in den Speicher 306 und/oder die Speicherkomponente 308 eingelesen. Bei der Ausführung veranlassen die im Speicher 306 und/oder in der Speicherkomponente 308 gespeicherten Softwareanweisungen den Computerprozessor 304, einen oder mehrere vorliegend beschriebene Prozesse durchzuführen. Zusätzlich oder alternativ wird festverdrahtete Schalttechnik anstelle von oder in Kombination mit Softwareanweisungen verwendet, um einen oder mehrere vorliegend beschriebene Prozesse durchzuführen. Somit sind vorliegend beschriebene Ausführungsformen nicht auf eine bestimmte Kombination von Hardware-Schalttechnik und Software beschränkt, sofern nicht ausdrücklich anders angegeben.
  • Der Speicher 306 und/oder die Speicherkomponente 308 umfassen einen Datenspeicher oder mindestens eine Datenstruktur (z.B. eine Datenbank und/oder dergleichen). Die Einrichtung 300 ist in der Lage, Informationen aus dem Datenspeicher oder der mindestens einen Datenstruktur im Speicher 306 oder der Speicherkomponente 308 zu empfangen, darin zu speichern, Informationen an diese zu übermitteln oder in diesen gespeicherte Informationen zu suchen. In einigen Beispielen beinhalten die Informationen Netzwerkdaten, Eingabedaten, Ausgabedaten oder eine beliebige Kombination aus diesen.
  • In einigen Ausführungsformen ist die Einrichtung 300 so konfiguriert, dass sie Softwareanweisungen ausführt, die entweder im Speicher 306 und/oder im Speicher einer anderen Einrichtung (z.B. einer anderen Einrichtung, das der Einrichtung 300 gleicht oder ähnelt) gespeichert sind. Vorliegend bezieht sich die Bezeichnung „Modul“ auf mindestens eine im Speicher 306 und/oder im Speicher einer anderen Einrichtung gespeicherte Anweisung, die bei Ausführung durch den Computerprozessor 304 und/oder durch einen Computerprozessor einer anderen Einrichtung (z.B. einer anderen Einrichtung, die der Einrichtung 300 gleicht oder ähnelt) die Einrichtung 300 (z.B. mindestens eine Komponente der Einrichtung 300) veranlasst, einen oder mehrere vorliegend beschriebene Prozesse durchzuführen. In einigen Ausführungsformen ist ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
  • Die Anzahl und Anordnung der in 3 dargestellten Komponenten ist lediglich beispielhaft. In einigen Ausführungsformen kann die Einrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 3 dargestellt enthalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z.B. eine oder mehrere Komponenten) der Einrichtung 300 eine oder mehrere Funktionen ausführen, die als von einer anderen Komponente oder einem anderen Satz von Komponenten der Einrichtung 300 durchgeführt beschrieben sind.
  • 4 veranschaulicht ein beispielhaftes Blockschaubild eines AV-Computers 400 (manchmal auch als „AV-Stapel“ (AV stack) bezeichnet). Wie dargestellt, beinhaltet der AV-Computer 400 ein Wahrnehmungssystem 402 (manchmal auch als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal auch als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal auch als Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal auch als Steuermodul bezeichnet) und eine Datenbank 410. In einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem autonomen Navigationssystem eines Fahrzeugs (z.B. dem AV-Computer 202f des Fahrzeugs 200) enthalten und/oder implementiert . Zusätzlich oder alternativ sind in einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen enthalten (z.B. einem oder mehreren Systemen, die dem AV-Computer 400 gleichen oder ähneln, und/oder dergleichen). In einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen enthalten, die sich in einem Fahrzeug und/oder in mindestens einem entfernt angeordneten System wie vorliegend beschrieben befinden. In einigen Ausführungsformen sind beliebige und/oder alle Systeme, die im AV-Computer 400 enthalten sind, in Software (z.B. in Softwareanweisungen, die im Speicher gespeichert sind), Computerhardware (z.B. durch Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], frei programmierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen aus Computersoftware und Computerhardware implementiert. Es versteht sich zudem, dass in einigen Ausführungsformen der AV-Computer 400 so konfiguriert ist, dass er mit einem entfernt angeordneten System kommuniziert (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 gleicht oder ähnelt, einem Fuhrparkverwaltungssystem 116, das dem Fuhrparkverwaltungssystem 116 gleicht oder ähnelt, einem V21-System, das dem V2I-System 118 gleicht oder ähnelt, und/oder dergleichen).
  • In einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten im Zusammenhang mit mindestens einem physischen Objekt (z.B. Daten, die vom Wahrnehmungssystem 402 zur Erkennung des mindestens einen physischen Objekts verwendet werden) in einer Umgebung und klassifiziert das mindestens eine physische Objekt. In einigen Beispielen empfängt das Wahrnehmungssystem 402 Bilddaten, die von mindestens einer Kamera (z.B. den Kameras 202a) aufgenommen wurden, wobei das Bild mit einem oder mehreren physischen Objekten in einem Sichtfeld der mindestens einen Kamera verbunden ist (z.B. diese darstellt). In einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 mindestens ein physisches Objekt auf Grundlage einer oder mehrerer Gruppierungen physischer Objekte (z.B. Fahrräder, Fahrzeuge, Verkehrsschilder, Fußgänger und/oder dergleichen). In einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten, die mit der Klassifizierung der physischen Objekte verbunden sind, an das Planungssystem 404 auf Grundlage des Klassifizierens der physischen Objekte durch das Wahrnehmungssystem 402.
  • In einigen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einem Zielort verbunden sind, und erzeugt Daten, die mit mindestens einer Route (z.B. den Routen 106) verbunden sind, entlang derer ein Fahrzeug (z.B. die Fahrzeuge 102) zu einem Zielort fahren kann. In einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten vom Wahrnehmungssystem 402 (z.B. Daten, die mit der vorstehend beschriebenen Klassifizierung physischer Objekte zusammenhängen), und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie auf Grundlage der vom Wahrnehmungssystem 402 erzeugten Daten. In einigen Ausführungsformen empfängt das Planungssystem 404 Daten im Zusammenhang mit einer aktualisierten Position eines Fahrzeugs (z.B. der Fahrzeuge 102) vom Lokalisierungssystem 406, und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie auf Grundlage der vom Lokalisierungssystem 406 erzeugten Daten.
  • In einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten, die mit einem Standort eines Fahrzeugs (z.B. der Fahrzeuge 102) in einem Gebiet verbunden sind (z.B. diesen darstellen). In einigen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten im Zusammenhang mit mindestens einer Punktwolke, die von mindestens einem LiDAR-Sensor (z.B. den LiDAR-Sensoren 202b) erzeugt wurden. In bestimmten Beispielen empfängt das Lokalisierungssystem 406 Daten im Zusammenhang mit mindestens einer Punktwolke von mehreren LiDAR-Sensoren, und das Lokalisierungssystem 406 erzeugt eine kombinierte Punktwolke auf Grundlage jeder der Punktwolken. In diesen Beispielen vergleicht das Lokalisierungssystem 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit einer zweidimensionalen (2D-) und/oder einer dreidimensionalen (3D-) Karte des Gebiets, der in der Datenbank 410 gespeichert ist. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs in dem Gebiet, indem das Lokalisierungssystem 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. In einigen Ausführungsformen beinhaltet die Karte eine kombinierte Punktwolke des Gebiets, die vor der Navigation des Fahrzeugs erstellt wurde. In einigen Ausführungsformen beinhalten Karte, ohne jedoch hierauf eingeschränkt zu sein, hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die physikalische Eigenschaften der Fahrbahn beschreiben (z.B. Verkehrsgeschwindigkeit, Verkehrsaufkommen, Anzahl der Fahrspuren für den Auto- und Radverkehr, Fahrspurbreite, Fahrspurrichtungen oder Fahrspurmarkierungstypen und -orte oder Kombinationen davon), sowie Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben. In einigen Ausführungsformen wird die Karte in Echtzeit auf Grundlage der vom Wahrnehmungssystem empfangenen Daten erzeugt.
  • In einem anderen Beispiel empfängt das Lokalisierungssystem 406 GNSS-(Global Navigation Satellite System, globales Navigationssatellitensystem) Daten, die von einem GPS- (Global Positioning System) Empfänger erzeugt werden. In einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten im Zusammenhang mit dem Standort des Fahrzeugs in dem Gebiet, und das Lokalisierungssystem 406 bestimmt einen Breitengrad und Längengrad des Fahrzeugs in dem Gebiet. In einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs in dem Gebiet auf Grundlage des Breiten- und Längengrads des Fahrzeugs. In einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten im Zusammenhang mit der Position des Fahrzeugs. In einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten im Zusammenhang mit der Position des Fahrzeugs auf Grundlage des Bestimmens der Position des Fahrzeugs durch das Lokalisierungssystem 406. In einem solchen Beispiel umfassen die mit der Position des Fahrzeugs verbundenen Daten Daten, die einer oder mehreren semantischen Eigenschaften zugeordnet sind, die der Position des Fahrzeugs entsprechen.
  • In einigen Ausführungsformen empfängt das Steuersystem 408 Daten im Zusammenhang mit mindestens einer Trajektorie vom Planungssystem 404, und das Steuersystem 408 steuert den Betrieb des Fahrzeugs. In einigen Beispielen empfängt das Steuersystem 408 Daten im Zusammenhang mit mindestens einer Trajektorie vom Planungssystem 404, und das Steuersystem 408 steuert den Betrieb des Fahrzeugs, indem es Steuersignale erzeugt und überträgt, um ein Antriebsstrangsteuersystem (z.B. das DBW-System 202h, das Antriebsstrangsteuersystem 204 und/oder dergleichen), ein Lenkungssteuersystem (z.B. das Lenkungssteuersystem 206) und/oder ein Bremssystem (z.B. das Bremssystem 208) in Betrieb zu setzen. In einem Beispiel, in dem eine Trajektorie eine Linkskurve beinhaltet, überträgt das Steuersystem 408 ein Steuersignal, um das Lenkungssteuersystem 206 zu veranlassen, einen Lenkwinkel des Fahrzeugs 200 einzustellen, wodurch bewirkt wird, dass das Fahrzeug 200 nach links abbiegt. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um andere Einrichtungen (z.B. Scheinwerfer, Blinker, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu veranlassen, ihren Zustand zu ändern.
  • In einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell (z.B. mindestens ein mehrschichtiges Perzeptron (multilayer perceptron, MLP), mindestens ein neuronales Faltungsnetz (convolutional neural network, CNN), mindestens ein rekurrentes neuronales Netz (RNN), mindestens einen Autoencoder, mindestens einen Transformator und/oder dergleichen). In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell allein oder in Kombination mit einem oder mehreren der vorstehend genannten Systeme. In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell als Teil einer Pipeline (z.B. einer Pipeline zum Identifizieren eines oder mehrerer Objekte in einer Umgebung und/oder dergleichen).
  • In der Datenbank 410 werden Daten gespeichert, die an das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 übertragen, von diesen empfangen und/oder aktualisiert werden. In einigen Beispielen beinhaltet die Datenbank 410 eine Speicherkomponente (z.B. eine Speicherkomponente, die der Speicherkomponente 308 aus 3 gleicht oder ähnelt), die Daten und/oder Software im Zusammenhang mit dem Betrieb speichert und mindestens ein System des AV-Computers 400 verwendet. In einigen Ausführungsformen speichert die Datenbank 410 Daten im Zusammenhang mit 2D- und/oder 3D-Karten von mindestens einem Gebiet. In einigen Beispielen speichert die Datenbank 410 Daten im Zusammenhang mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Bezirks, eines Bundesstaates, eines Staates (z.B. eines Landes) und/oder dergleichen. In einem solchen Beispiel kann ein Fahrzeug (z.B. ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt) entlang einer oder mehrerer befahrbarer Regionen (z.B. einspurige Straßen, mehrspurige Straßen, Autobahnen, Nebenstraßen, Geländepfade und/oder dergleichen) fahren und mindestens einen LiDAR-Sensor (z.B. einen LiDAR-Sensor, der den LiDAR-Sensoren 202b gleicht oder ähnelt) veranlassen, Daten im Zusammenhang mit einem Bild zu erzeugen, das die in einem Sichtfeld des mindestens einen LiDAR-Sensors enthaltenen Objekte darstellt.
  • In einigen Ausführungsformen kann die Datenbank 410 auf einer Vielzahl von Einrichtungen implementiert werden. In einigen Beispielen ist die Datenbank 410 in einem Fahrzeug (z.B. einem Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt), einem AV-System (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 gleicht oder ähnelt), einem Fuhrparkverwaltungssystem (z.B. einem Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnelt), einem V21-System (z.B. einem V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) und/oder dergleichen enthalten.
  • 5 ist eine Darstellung, die RVA-geführte Navigation veranschaulicht. In einer Ausführungsform füllen Benutzer bei der Anmeldung zur Nutzung eines Rob-Taxi-Dienstes (z.B. über einen Online-Dienst oder eine mobile Anwendung) ein Benutzerprofil aus, in dem der Benutzer Fragen beantwortet oder andere Informationen bereitstellt, um sich selbst als blind, sehbehindert oder hörgeschädigt zu identifizieren, und außerdem angibt, ob er ein Assistenztier, einen Blindenstock oder eine Höreinrichtung für die Navigation verwendet. Diesen Benutzern werden dann Optionen für die Richtungsführung zu einem ausgewiesenen PuDo-Standort zum Einsteigen in das Fahrzeug und vom ausgewiesenen PuDo-Standort zu ihrem endgültigen Zielort angeboten.
  • In einer Ausführungsform bietet eine RVA 501 (z.B. ein entfernt angeordneter menschlicher oder virtueller Teleoperator) eine Echtzeitführung, um den Benutzer bei der Navigation zu einem PuDo-Standort des Fahrzeugs auf Grundlage vom Fahrzeug 200 bereitgestellter Fahrzeuginformationen zu unterstützen. Die Fahrzeuginformationen können, ohne jedoch hierauf eingeschränkt zu sein, den aktuellen Standort und den Kurs des Fahrzeugs 200 beinhalten. Die Standortdaten können von einem Lokalisierungsmodul (z.B. dem Lokalisierungssystem 406) unter Verwendung eines GNSS-Empfängers (z.B. eines GPS-Empfängers) oder von drahtlosen Netzwerksignalen beispielsweise eines WIFI-Netzwerks, eines Zellularnetzes oder von Standortbaken (z.B. Bluetooth-Low-Energy (BLE-) Baken) bestimmt werden. Die Kursdaten können sich auf den geografischen Norden beziehen und werden von einem elektronischen Kompass an Bord des Fahrzeugs 200 (z.B. einem oder mehreren Magnetometern) geliefert. Darüber hinaus liefert das Fahrzeug 200 der RVA 501 einen Echtzeit- oder „Live“-Kamera-Feed von mindestens einer nach außen gerichteten Kamera, die am Fahrzeug 200 montiert ist, und/oder Punktwolkendaten von mindestens einem Tiefensensor (z.B. LiDAR-, RADAR-, SONAR-, TOF-Sensoren), der am Fahrzeug 200 (z.B. auf dem Dach des Fahrzeugs 200) montiert ist. In einer Ausführungsform stellt das Fahrzeug 200 der RVA 501 zudem einen Live-Audio-Feed bereit, der Umgebungsgeräusche in der Betriebsumgebung unter Verwendung eines oder mehrerer am Fahrzeug 200 befindlicher Mikrofone aufnimmt. Diese Fahrzeuginformationen werden dann von der RVA 501 zusammen mit dem aktuellen Standort und dem Kurs der Mobileinrichtungsdaten verwendet, um dem Benutzer über seine Mobileinrichtung 502 eine Echtzeitführung zu bieten, z.B. durch einen Telefonanruf, eine Textnachricht oder eine Push-Benachrichtigung. Beispielsweise kann die RVA 501 dem Benutzer über einen Lautsprecher oder Kopfhörer, der mit seiner Mobileinrichtung 502 gekoppelt ist, oder über andere Kommunikationswege Abbiegehinweise geben. Die Führung kann von einem menschlichen Teleoperator in der RVA 501 bereitgestellt werden oder von einem Computer (z.B. einem virtuellen oder digitalen Assistenten) in der RVA 501 erzeugt werden.
  • In einer Ausführungsform erhält der Benutzer einen Anruf, eine Push-Benachrichtigung oder eine haptische Warnung (z.B. eine Vibration) von der RVA 501 auf seiner Mobileinrichtung, wenn sich das Fahrzeug 200 dem aktuellen Standort des Benutzers nähert. Die RVA 501 gibt dem Benutzer verbale Anweisungen für das Navigieren zum PuDo-Standort des Fahrzeugs 200. Die Anweisungen basieren auf dem Standort des Benutzers und/oder Kamera-Feeds des Fahrzeugs 200. Insbesondere liefert die RVA 501 verbale Anweisungen auf Grundlage einer Anzahl von Daten, darunter, ohne jedoch hierauf eingeschränkt zu sein: GNSS-Daten (z.B. Breitengrad, Längengrad, Höhe, Kurs, Geschwindigkeit), die von der Mobileinrichtung des Benutzers erhalten werden, die Kameradaten des Benutzers, um einen Kontext in Bezug auf Objekte in der Umgebung des Benutzers zu erfassen (z.B. „Direkt vor Ihnen steht ein Baum. Berühren Sie diesen Baum und wenden Sie sich dann nach links“) und die Kamera(s) des Fahrzeugs, um den Kontext dahingehend zu verstehen, wo sich das Fahrzeug 200 in Bezug auf den Benutzer befindet. Wenn sich der Benutzer innerhalb einer radialen Schwellenentfernung zum Fahrzeug 200 befindet (z.B. innerhalb eines Radius von 100 Fuß), stellt die RVA 501 verbale Führung oder andere akustische Signale (z.B. Pieptonmuster) durch externe Lautsprecher des Fahrzeugs 200 bereit, um den Benutzer in die Richtung des Fahrzeugs 200 zu führen.
  • 6 veranschaulicht Navigation mithilfe von akustischem und haptischem Feedback. In einer Ausführungsform setzt der Benutzer 601 nach der Buchung des Fahrzeugs 200 (z.B. ähnlich wie beim AV-System 114) einen Satz Kopfhörer 602 auf, der mit der Mobileinrichtung 502 (z.B. kabelgebunden oder drahtlos mit seinem Smartphone/seiner Smartwatch) gekoppelt ist. Wenn sich das Fahrzeug 200 dem Benutzer 601 nähert, werden gesprochene Anweisungen über die Kopfhörer 602 übermittelt. Die Lautstärke der gesprochenen Anweisungen wird schrittweise erhöht, während sich der Benutzer dem Fahrzeug 200 nähert. In einer anderen Ausführungsform vibriert ein in die Mobileinrichtung 502 eingebetteter haptischer Motor mit zunehmender Häufigkeit oder mit einem anderen Muster oder einer anderen Intensität, je näher der Benutzer 601 dem Fahrzeug 200 kommt. In ähnlicher Weise nimmt die Lautstärke der gesprochenen Anweisungen und/oder die Vibrationshäufigkeit des haptischen Motors allmählich oder schrittweise ab, während sich der Benutzer 601 vom Fahrzeug 200 entfernt.
  • 7A-7C veranschaulichen Navigation mithilfe von Magnetfeldern, Gerüchen bzw. Geräuschen für Assistenztiere. Assistenztiere sind Nutztiere, die darauf trainiert wurden, Aufgaben zu erfüllen, die behinderten Menschen helfen. Zu Assistenztieren zählen Blindenführtiere (z.B. Blindenführhunde), die Blinde oder Sehbehinderte führen, Hörtiere, die Hörgeschädigten Signale geben, und andere Assistenztiere, die für Menschen mit anderen Behinderungen als Blindheit oder Taubheit arbeiten.
  • Unter Bezugnahme auf 7A kann am PuDo-Standort 704 des Fahrzeugs ein Sender installiert werden (z.B. an einer Beschilderung oder einem Leitungsmast), der ein Magnetfeld erzeugt, das vom Assistenztier 703 erkannt und dazu verwendet werden kann, das Assistenztier 703 und damit den Benutzer 701 zum PuDo-Standort 704 des Fahrzeugs zu führen. Hunde reagieren empfindlich auf kleine Schwankungen des Erdmagnetfeldes, und Untersuchungen haben gezeigt, dass Hunde diesen Sinn zur Navigation und Wegfindung nutzen können. In einer anderen Ausführungsform kann ein Magnetfeld durch das Fahrzeug 702 übertragen werden, wenn es an der PuDo-Position 704 geparkt ist. In einer anderen Ausführungsform kann der PuDo-Standort 704 des Fahrzeugs ein Parkplatz mit einem Parksensor sein, der Magnetfelder aussendet, die vom Assistenztier 703 wahrgenommen werden können und somit dazu verwendet werden können, das Assistenztier 703 und damit den Benutzer 701 zum PuDo-Standort 704 des Fahrzeugs zu führen.
  • Gemäß 7B sendet das Fahrzeug 702 (oder eine am PuDo-Standort des Fahrzeugs 704 installierte Einrichtung) einen eindeutigen Hochfrequenzton 705 aus, der nur vom Assistenztier 703 gehört werden kann (z.B. mehr als 20 kHz) und somit dazu verwendet werden kann, das Assistenztier 703 und damit den Benutzer 701 zum Fahrzeug 702 zu führen. Ultraschallsensoren sind in Autos als Parksensoren weit verbreitet, um den Fahrer beim Zurücksetzen in Parklücken und bei der AV-Navigation zu unterstützen. In einer Ausführungsform können diese Ultraschallsignale verwendet werden, um Assistenztiere und damit Nutzer zu Fahrzeug-PuDo-Standorten zu führen.
  • Gemäß 7C sendet das Fahrzeug 702 (oder der Fahrzeug-PuDo-Standort 704) einen eindeutigen Geruch 706 aus, der vom Assistenztier 703 erkannt und dazu verwendet werden kann, das Assistenztier 703 und damit den Benutzer 701 zum Fahrzeug 702 zu führen.
  • 8A-8E veranschaulichen ein integriertes System 800, das es einer Mobileinrichtung 801 ermöglicht, einen Benutzer bei der Suche nach dessen ausgewiesenem PuDo-Standort zu unterstützen. Gemäß 8A können Benutzer mithilfe der Mobileinrichtung 801 (z.B. Smartphone, Smartwatch) 360-Grad-Fotos/Videos 802 von ihrem PuDo-Standort aus Sicht mindestens einer Kamera oder eines Tiefensensors am Fahrzeug betrachten. So kann das Fahrzeug beispielsweise einen Live-Video-Feed von mindestens einer Kamera bereitstellen, der direkt (z.B. über WIFI, Bluetooth, 5G) oder indirekt (z.B. über die Kommunikationseinrichtung 202e) durch die Mobileinrichtung 801 empfangen werden kann. Darüber hinaus wird Benutzern eine Grafik oder ein Bild einer endgültigen Endmarkierung 803 am PuDo-Standort angezeigt, so dass der Benutzer die Endmarkierung 803 leicht erkennen kann, wenn er am PuDo-Standort ankommt. Bei der Endmarkierung 803 kann es sich um eine physische Beschilderung handeln, die ein Symbol, einen Strichcode, einen QR-Code oder einen anderen optischen Hinweis anzeigt, der den PuDo-Standort eindeutig identifiziert. Bei der Endmarkierung 803 kann es sich auch um ein AR-Objekt handeln, das in einen Live-Video-Feed eingeblendet wird, der von der Mobileinrichtung 801 angezeigt wird, wie in 8E gezeigt. Jedem PuDo-Standort kann in einer bestimmten geografischen Region ein eindeutiges Symbol, ein Strichcode oder ein QR-Code zugewiesen werden. Endmarkierungen 803 können an Schildern, Leitungsmasten oder anderen Infrastrukturen am PuDu-Standort angebracht sein. Wenn das Fahrzeug am PuDo-Standort geparkt ist, kann ein externer Anzeigebildschirm (z.B. die in 9 gezeigte Zugangseinrichtung 903, die am B-Rahmen befestigt ist) oder eine Laser-/LED-Projektion, die vom Fahrzeug auf dem Boden erzeugt wird, die Endmarkierung 803 anzeigen, um das Fahrzeug von anderen Fahrzeugen zu unterscheiden, die dort möglicherweise geparkt sind oder denselben PuDo-Standort benutzen (z.B. einen ausgewiesenen PuDo-Standort an einem Flughafen, Bahnhof, Unterhaltungsort oder einem anderen öffentlichen Ort).
  • Gemäß 8B kann der Benutzer eine Navigationsanwendung auf der Mobileinrichtung 801 aufrufen, die in Echtzeit Abbiegehinweise zum PuDo-Standort liefert. Benutzer können zum PuDo-Standort navigieren, indem sie den Abbiegehinweisen folgen. In einer Ausführungsform verwendet die Navigationsanwendung AR-Markierungen 804 (z.B. Richtungspfeile) in einem Live-Video-Feed, die dazu verwendet werden können, dabei zu helfen, den Benutzer zu seinem PuDo-Standort zu führen. Auch physische Markierungen (z.B. orangefarbene Parkkegel) können als zusätzliche Führung verwendet werden. Außerdem kann auf der Mobileinrichtung 801 ein in Zahlen angegebener AR-Entfernungsmesser 805 und/oder eine andere Grafik (z.B. ein Fortschrittsbalken) angezeigt werden, die die Entfernung zum PuDo-Standort angibt, wobei diese abnimmt, je näher der Benutzer dem PuDo-Standort kommt. In einer Ausführungsform kann die Entfernung unter Verwendung von GNSS-Daten, Standortdaten auf Grundlage drahtloser Netzwerke (z.B. WIFI, Mobilfunkmast) oder Bewegungssensordaten (z.B. Beschleunigungs- und Kreisel-/Kursdaten für Koppelnavigation) bestimmt werden, die von der Mobileinrichtung 801 bezogen bzw. durch diese berechnet werden.
  • Gemäß 8C erscheint, wenn sich der Benutzer innerhalb einer Schwellenentfernung zum PuDo-Standort befindet, eine richtungsanzeigende Grafik 806 (z.B. ein Kompass, ein Richtungspfeil) auf der Anzeige der Mobileinrichtung 801 und zeigt in die Richtung des PuDo-Standorts.
  • Gemäß 8D kann, wenn er am PuDo-Standort ankommt, der Benutzer oder eine Kamera an der Mobileinrichtung 801 nach der Endmarkierung 803 suchen, die den genauen PuDo-Standort markiert. Die Endmarkierung 803 kann ein physisches Zeichen/Symbol und/oder eine AR-Markierung sein. Die Endmarkierungen 803 können Bezugspunkte wie ein Gebäude, eine Ampel oder eine andere physische Struktur sein.
  • Gemäß 8E wird in einer Ausführungsform während des Wartens auf die Ankunft des Fahrzeugs am PuDo-Standort eine AR-Bake 807 (z.B. ähnlich einem Scheinwerfer) auf die Anzeige der Mobileinrichtung projiziert, um den aktuellen Standort des Fahrzeugs anzuzeigen (z.B. über den Standort des Fahrzeugs projiziert), wodurch der Benutzer der Mobileinrichtung 801 den Fortschritt des Fahrzeugs in Richtung des PuDo-Standorts verfolgen kann. Die AR-Bake 807 kann zudem die Navigation des Benutzers zum PuDo-Standort verbessern, wenn das Fahrzeug vor dem Benutzer am PuDo-Standort eintrifft.
  • Die vorstehend unter Bezugnahme auf 8A-8E beschriebene Ausführungsform bietet mehrere Vorteile, darunter, ohne jedoch hierauf eingeschränkt zu sein: 1) verbesserte Navigation durch Verwendung einer Mischung aus Anwendungen für Mobileinrichtungen und verbesserter Ortungstechnologie; 2) Bereitstellung einer Ersatzführung für GPS unter Verwendung von Fotos des PuDo-Standorts und Endmarkierungszeichengabe im Falle eines GPS-Ausfalls (z.B. Verlust von GPS-Signalen in dichten städtischen Umgebungen); und 3) Steuern von Benutzererwartungen durch kontinuierliches Kommunizieren von Kontext und des aktuellen Standorts des Fahrzeugs und des PuDo-Standorts. Die vorstehend beschriebenen Vorteile machen es Benutzern insgesamt leichter, ihre PuDo-Standorte von anderen PuDo-Standorten zu unterscheiden, insbesondere wenn mehrere PuDo-Standorte nahe beieinander liegen.
  • 9 veranschaulicht ein System 900 für den Zugang zu einem Fahrzeug unter Verwendung von Handgesten (z.B. ASL-Handgesten). Wenn ein voraussichtlicher Benutzer in ein herkömmliches Taxi einsteigt, entriegelt der Fahrer das Fahrzeug, überprüft die Identität des Benutzers und bestätigt den Zielort des Benutzers. Bestehende Zugangslösungen erfordern die Verwendung der Mobileinrichtung des Benutzers, um den Benutzer zu authentifizieren und das Fahrzeug für den Zugang zu entriegeln, oder die Verwendung einer RVA, um Zugang zu erhalten. Es gibt jedoch viele Situationen, in denen die Mobileinrichtung des Benutzers nicht verfügbar ist, z.B. weil sie abhanden gekommen ist oder der Akku leer ist. In diesen Fällen kann die Eingabe per Handgesten verwendet werden, um dem Benutzer eine nahtlose Verbindung zwischen dem Fahrzeug und seinem Benutzerprofil zu ermöglichen, z.B. durch NFC-Kommunikation und eine Abfolge von Benutzer-Handgesten zur Entriegelung des Fahrzeugs. Nach dem Entriegeln gibt eine externe Anzeige (z.B. eine LED-Anzeige an der B-Säule oder einer anderen Fahrzeugstruktur, eine LED-/Laserprojektion auf dem Boden außerhalb des Fahrzeugs) einen zusätzlichen optischen Hinweis darauf, dass das Fahrzeug entriegelt ist.
  • In einer Ausführungsform bestimmt das System 900 auf Grundlage von Sensordaten (z.B. Video, 3D-Tiefendaten) einen Standort eines Benutzers in Bezug auf das Fahrzeug 200 und öffnet mindestens eine Tür, die dem Standort des Benutzers am nächsten ist, um sicherzustellen, dass die Tür nicht in den Verkehr oder eine andere gefährliche Situation geöffnet wird. In einer Ausführungsform wird eine Benachrichtigung über das Öffnen der Tür durch die externe Anzeige (z.B. eine LED-Anzeige, die an einer B-Säule oder einer anderen Fahrzeugstruktur angebracht ist, eine LED-/Laserprojektion auf dem Boden außerhalb des Fahrzeugs usw.) an der Außenseite des Fahrzeugs 200 angezeigt, bevor die Tür geöffnet wird.
  • Gemäß 9 ist eine beispielhafte Ausführungsform für ein Fahrzeug 200 (z.B. ein AV) mit einer Zugangseinrichtung 902 dargestellt, die an der B-Säule oder einer anderen Struktur des Fahrzeugs 200 angebracht ist. Die Zugangseinrichtung 902 kann mindestens einen eingebetteten Prozessor, einen Speicher, eine berührungsempfindliche Anzeige 903 (z.B. eine berührungsempfindliche LCD-Anzeige) zum Empfangen von Berührungseingaben des Benutzers und zum Anzeigen von Inhalten sowie mindestens eine Kamera 904 beinhalten. Während sich der Benutzer dem Fahrzeug 200 nähert, wird eine drahtlose Kurzstrecken-Kommunikationsverbindung (z.B. eine NFC-Verbindung, eine Bluetooth-Verbindung, eine WIFI-Verbindung) zwischen der Zugangseinrichtung 902 und der Mobileinrichtung 502 hergestellt, um den Benutzer mit seinem auf seiner Mobileinrichtung 502 gespeicherten Profil zu verknüpfen. Der Benutzer führt vor der Kamera 904 eine Abfolge von Handgesten aus. Der Prozessor in der Zugangseinrichtung 902 analysiert die von der Kamera 904 und/oder anderen Sensoren, wie z.B. LiDAR, aufgenommene Abfolge von Handgesten.
  • In einer Ausführungsform sagt ein lokales oder entfernt angeordnetes Maschinenlern- (ML-) Programm 905 (z.B. ein tiefes neuronales Netz, das auf Videodaten oder Bilder von Handgesten und Handgestenabfolgen trainiert wurde) die von der Kamera 904 aufgenommene Abfolge von Handgesten voraus und bezeichnet sie. In einer Ausführungsform ist die Ausgabe des ML-Programms 905 ein Videodatenstrom 906 einer bezeichneten Abfolge von Handgesten und jeweiligen Konfidenzwerten (z.B. Wahrscheinlichkeiten der korrekten Bezeichnung), der von der Kommunikationseinrichtung 202e (z.B. einem drahtlosen Sender) im Fahrzeug 200 an das netzwerkbasierte Datenverarbeitungssystem 907 (z.B. das Fuhrparkverwaltungssystem 116, das entfernt angeordnete AV-System 114) über den AV-Computer 400 übertragen wird. Der AV-Computer 400 kann zusätzliche Daten hinzufügen, wie z.B. einen Zeitstempel, Standortdaten, Fahrzeugnummer, Kameradaten, biometrische Daten (z.B. Gesichtsbild, Fingerabdruck, Stimmabdruck), die von der Zugangseinrichtung 902 und/oder der Mobileinrichtung 502 aufgenommen wurden und an den netzbasierten Dienst 904 gesendet werden können, um die Authentifizierung des Benutzers weiter zu unterstützen.
  • In einer Ausführungsform analysieren das AV-Computersystem 400 und/oder das netzwerkbasierte Datenverarbeitungssystem 907 die Informationen, um den Benutzer, die Gesten und die Gestenreihenfolge zu authentifizieren, und sendet bei erfolgreicher Authentifizierung einen Entriegelungsbefehl an das Fahrzeug 200, um eine oder mehrere Türen und/oder den Kofferraum zu entriegeln, je nachdem, ob das Fahrzeug 200 Fahrgäste und/oder Fracht aufnimmt.
  • 10 veranschaulicht einen Prozessablauf 1000 für den Zugang zu einem Fahrzeug (z.B. dem Fahrzeug 200) unter Verwendung einer Abfolge von Handgesten 905. Handgesten 905 werden von einer Kamera 904 oder einem LiDAR oder einer Kombination aus Kamera 904 und LiDAR aufgenommen, die mit der Zugangseinrichtung 902 gekoppelt sind, die in diesem Beispiel an der B-Säule 1002 des Fahrzeugs 200 angebracht ist. Bei den Handgesten 905 kann es sich um eine Abfolge von ASL-Gesten oder anderen Handzeichen handeln, die in einer bestimmten, vom Benutzer bestimmten Reihenfolge ausgeführt werden. Die Handgesten 905 können beispielsweise eine Abfolge von vier ASL-Handgesten beinhalten, die Wörter, Buchstaben, Zahlen oder Objekte darstellen. Die Handgesten 905 können Gesten mit beiden Händen oder einer einzigen Hand umfassen. Eine Handgeste umfasst Gesten, die mit einem oder mehreren Fingern einer Hand ausgeführt werden, auch wenn die Handbewegung statisch ist. In einer Ausführungsform können Gesichtsausdrücke oder Kopfgesten verwendet werden, um Amputierten und Benutzern, die ihre Hände nicht frei haben (z.B. beim Tragen von Einkäufen oder eines Babys), entgegenzukommen.
  • In einer Ausführungsform analysiert ein Prozessor in der Zugangseinrichtung 902 Kamerabilder der Handgesten 905 unter Verwendung des vorstehend beschriebenen ML-Programms. Die Zugangseinrichtung 905 überträgt die Bilder der Handgesten 905 über einen Ethernet-Switch 1006 oder einen anderen Kommunikationskanal (z.B. CAN- (Controller Area Network) Bus) an den AV-Computer 400. Der AV-Computer 400 vergleicht die Gesten mit der zuvor im Profil des Benutzers gespeicherten Gestenabfolge. In einer Ausführungsform wird die gespeicherte Abfolge von Gesten vom Benutzer während einer Initialisierungsprozedur ausgewählt. Eine beispielhafte Initialisierungsprozedur kann beinhalten, dass dem Benutzer über die Anzeige 903 der Zugangseinrichtung 902 oder der Mobileinrichtung 502 Anweisungen gegeben werden, um eine Reihe von Handgesten aus einem Satz von Standard-Handgesten auszuwählen, wobei ein Bild oder eine Grafik jede Handgeste zeigt (z.B. ASL-Handgesten). Die Standard-Abfolge von Handgesten wird verwendet, um das vom ML-Programm verwendete ML-Modell (z.B. rekurrentes neuronales Netz) offline zu trainieren, so dass das ML-Programm, wenn der Benutzer die Handgesten vor der Kamera 904 ausführt, um in Echtzeit Zugang zum Fahrzeug zu erhalten, die Abfolge der Handgesten 905 unter Verwendung des ML-Modells (z.B. rekurrentes neuronales Netz) erkennen kann, das mit den Trainingsbildern trainiert wurde.
  • In einer Ausführungsform gibt das ML-Programm eine Bezeichnung für jede Handgeste in der Abfolge 905 und einen Konfidenzwert aus, der die Konfidenz in die Genauigkeit der Bezeichnung angibt. Der Konfidenzwert kann eine Wahrscheinlichkeit sein. Das ML-Programm kann zum Beispiel 4 Bezeichnungen für eine Abfolge von 4 ASL-Handgesten und ihre jeweiligen Wahrscheinlichkeiten ausgeben. Jede Wahrscheinlichkeit wird mit einer Schwellenwahrscheinlichkeit (z.B. 90 %) verglichen, und wenn alle Wahrscheinlichkeiten über der Schwellenwahrscheinlichkeit liegen und die Handgesten in der im Benutzerprofil angegebenen Reihenfolge ausgeführt werden, wird die Abfolge von Handgesten als übereinstimmend betrachtet.
  • Das ML-Modell kann mit einer Vielzahl von Bildern jeder Handgeste trainiert werden, die aus unterschiedlichen Winkeln, Perspektiven, Entfernungen, Lichtverhältnissen usw. aufgenommen wurden, um die Genauigkeit des ML-Modells zu verbessern. In einer Ausführungsform kann das ML-Modell so trainiert sein, dass es die Abfolge von Handgesten als ganze Abfolge und nicht jede Handgeste einzeln erkennt.
  • Wenn die Abfolge von Handgesten mit der im Benutzerprofil gespeicherten Abfolge von Handgesten innerhalb eines Schwellenwerts übereinstimmt (z.B. eine Wahrscheinlichkeit für eine vorhergesagte Bezeichnung, die größer ist als ein festgelegter Wahrscheinlichkeitsschwellenwert) und die Handgesten in der richtigen Reihenfolge wie vom Benutzerprofil angegeben ausgeführt werden, entriegelt der AV-Computer 1400 eine oder mehrere Türen des Fahrzeugs 200, damit der Benutzer einsteigen kann.
  • Wenn die Abfolge der vom Benutzer ausgeführten Handgesten 905 nach N Versuchen (z.B. N=3 Versuche) nicht mit der im Benutzerprofil gespeicherten Abfolge von Handgesten übereinstimmt oder in einer anderen Reihenfolge als im Benutzerprofil angegeben ausgeführt wird, hält der AV-Computer 400 die Türen verschlossen und verbindet den Benutzer automatisch über die Zugangseinrichtung 902 oder die Kommunikationsschnittstelle 314 (3) mit der RVA 501, so dass der Benutzer mit einem menschlichen Teleoperator oder einem virtuellen digitalen Assistenten sprechen kann, der den Benutzer mithilfe von Passwörtern oder anderen Authentifizierungsdaten authentifizieren kann und bei erfolgreicher Authentifizierung einen Befehl an den AV-Computer 400 zum Entriegeln einer oder mehrerer Türen des Fahrzeugs 200 ausgibt.
  • In einer Ausführungsform kann die RVA 501 oder die Zugangseinrichtung 902 und/oder der AV-Computer 400 zusätzlich zu oder anstelle von Handgesten die Kamera 904 oder eine andere Kamera und/oder einen TOF-Sensor verwenden, um das Gesicht des Benutzers aufzunehmen, und ein Gesichtserkennungsprogramm verwenden, um den Benutzer anhand der in den Daten erkannten Gesichtsmerkmale zu authentifizieren. In einer Ausführungsform kann der Benutzer durch Berühren eines Fingerabdrucksensors auf der Anzeige 903 oder einem anderen Bereich der Zugangseinrichtung 902 oder des Fahrzeugs 200 authentifiziert werden. In einer Ausführungsform stellt der AV-Computer 400 eine Verbindung zum netzbasierten Datenverarbeitungssystem 907 her, z.B. über eine Mobilfunkverbindung, um das Benutzerprofil einschließlich der gespeicherten Handgestendaten abzurufen und den Zugangsversuch zu protokollieren. In einer Ausführungsform kann das ML-Programm ganz oder teilweise vom netzbasierten Datenverarbeitungssystem 907 ausgeführt werden.
  • 11 ist ein Flussdiagramm eines Prozesses 1100 zum Navigieren zu einem Fahrzeug gemäß einer oder mehreren Ausführungsformen. Der Prozess 1100 kann z.B. von dem in 3 gezeigten Prozessor 304 durchgeführt werden.
  • Der Prozess 1100 kann die folgenden Schritte umfassen: Beziehen von Sensordaten von Sensoren einer Mobileinrichtung eines Benutzers, die einen Standort der Mobileinrichtung angeben (1101), durch mindestens einen Prozessor der Mobileinrichtung erfolgendes Beziehen von Positionsdaten, die eine ausgewiesene Fahrzeug-Abholposition angeben (1102), durch den mindestens einen Prozessor der Mobileinrichtung erfolgendes Bestimmen eines Weges von dem aktuellen Standort der Mobileinrichtung zu der ausgewiesenen Fahrzeug-PuDo-Position auf Grundlage der Sensordaten und der Positionsdaten (1103), durch den mindestens einen Prozessor der Mobileinrichtung auf Grundlage des Weges erfolgendes Bestimmen eines Satzes von Anweisungen zum Verfolgen des Weges (1104) und unter Verwendung einer Schnittstelle der Mobileinrichtung durch den mindestens einen Prozessor der Mobileinrichtung erfolgendes Bereitstellen von Informationen, die eine mit dem ausgewiesenen Fahrzeug-PuDo-Standort verbundene Angabe; und einen Satz von Anweisungen zum Verfolgen des Weges auf Grundlage des aktuellen Standorts der Mobileinrichtung (1105) umfassen. Jeder dieser Schritte wurde zuvor unter Bezugnahme auf 8A-8E näher beschrieben.
  • 12 ist ein Flussdiagramm eines Prozesses 1200 für Zugang zu einem Fahrzeug unter Verwendung von Handgesten gemäß einer oder mehreren Ausführungsformen. Der Prozess 1200 kann z.B. von dem in 3 gezeigten Prozessor 304 durchgeführt werden.
  • Der Prozess 1200 kann die folgenden Schritte umfassen: durch mindestens einen Prozessor eines Fahrzeugs erfolgendes Beziehen einer gespeicherten Abfolge von Handgesten eines Benutzers (1201), durch den mindestens einen Prozessor erfolgendes Beziehen von Sensordaten, die mit mindestens einer vom Benutzer ausgeführten Handgeste verbunden sind (1202), durch den mindestens einen Prozessor erfolgendes Identifizieren einer vom Benutzer ausgeführten Abfolge von Handgesten auf Grundlage des Beziehens der Sensordaten (1203), durch den mindestens einen Prozessor erfolgendes Vergleichen der vom Benutzer ausgeführten Abfolge von Handgesten und der gespeicherten Abfolge von Handgesten auf Grundlage des Identifizierens der vom Benutzer ausgeführten Abfolge von Handgesten und der gespeicherten Abfolge von Handgesten (1204), durch den mindestens einen Prozessor erfolgendes Bestimmen, dass die vom Benutzer ausgeführte Abfolge von Handgesten mit der gespeicherten Abfolge von Handgesten des Benutzers übereinstimmt, auf Grundlage des Vergleichens der vom Benutzer ausgeführten Abfolge von Handgesten und der gespeicherten Abfolge von Handgesten (1205) und durch den mindestens einen Prozessor erfolgendes Entriegeln mindestens einer Tür des Fahrzeugs auf Grundlage des Bestimmens, dass die vom Benutzer ausgeführte Abfolge von Handgesten mit der gespeicherten Abfolge von Handgesten des Benutzers übereinstimmt (1206). Jeder dieser Schritte wurde zuvor unter Bezugnahme auf 9 und 10 näher beschrieben.
  • In der vorstehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf zahlreiche konkrete Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Entsprechend sind die Beschreibung und die Zeichnungen als veranschaulichend und nicht einschränkend anzusehen. Der einzige und ausschließliche Indikator für den Umfang der Erfindung und das, was die Anmelder als Umfang der Erfindung beabsichtigen, ist der wörtliche und äquivalente Umfang des Satzes von Ansprüchen, die aus dieser Anmeldung hervorgehen, in der spezifischen Form, in der diese Ansprüche ausgegeben werden, einschließlich jeder späteren Korrektur. Alle hierin ausdrücklich festgelegten Definitionen von Bezeichnungen, die in solchen Ansprüchen enthalten sind, gelten für die Bedeutung der in den Ansprüchen verwendeten Bezeichnungen. Wenn in der vorstehenden Beschreibung oder in den folgenden Ansprüchen die Bezeichnung „ferner umfassend“ verwendet wird, kann das, was auf diesen Satz folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Unterschritt/eine Untereinheit eines zuvor erwähnten Schritts oder einer Entität sein.

Claims (25)

  1. Verfahren, das Folgendes umfasst: Beziehen von Sensordaten von Sensoren einer Mobileinrichtung eines Benutzers, die einen Standort der Mobileinrichtung angeben; durch mindestens einen Prozessor der Mobileinrichtung erfolgendes Beziehen von Positionsdaten, die einen ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort angeben; durch den mindestens einen Prozessor der Mobileinrichtung erfolgendes Bestimmen eines Weges von dem aktuellen Standort der Mobileinrichtung zu dem ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort auf Grundlage der Sensordaten und der Positionsdaten; durch den mindestens einen Prozessor der Mobileinrichtung auf Grundlage des Weges erfolgendes Bestimmen eines Satzes von Anweisungen zum Verfolgen des Weges; unter Verwendung einer Schnittstelle der Mobileinrichtung durch den mindestens einen Prozessor der Mobileinrichtung erfolgendes Bereitstellen von Informationen, die Folgendes umfassen: eine mit dem ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort verbundene Angabe; und einen Satz von Anweisungen zum Verfolgen des Weges auf Grundlage des aktuellen Standorts der Mobileinrichtung.
  2. Verfahren nach Anspruch 1, ferner umfassend: Bestimmen einer Entfernung von dem aktuellen Standort der Mobileinrichtung zu dem ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort auf Grundlage des Weges; und unter Verwendung der Schnittstelle der Mobileinrichtung erfolgendes Bereitstellen von Informationen, die eine Entfernung von dem aktuellen Standort der Mobileinrichtung zu dem ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort umfassen.
  3. Verfahren nach Anspruch 1, wobei die Angabe mit einem physischen Merkmal in einer Umgebung oder einer AR- (augmented reality) Markierung verbunden ist, das/die sich relativ zu mindestens einem Objekt in der Umgebung befindet.
  4. Verfahren nach Anspruch 3, wobei die AR-Markierung innerhalb einer geografischen Region eindeutig ist und dem ankommenden Fahrzeug zugeordnet ist, das für die Ankunft am ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort vorgesehen ist.
  5. Verfahren nach Anspruch 1, wobei der Satz von Anweisungen einen Satz von optischen Hinweisen umfasst, die in einen Live-Video-Feed einer Umgebung eingeblendet werden.
  6. Verfahren nach Anspruch 1, wobei der Satz von Anweisungen einen AR-(augmented reality) Kompass umfasst, der in die Richtung des ausgewiesenen Fahrzeug-Abhol-/Absetz-Standortes zeigt.
  7. Verfahren nach Anspruch 5, wobei der AR-Kompass angezeigt wird, wenn sich die Mobileinrichtung innerhalb einer Schwellenentfernung zum ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort befindet.
  8. Verfahren nach Anspruch 1, wobei der Weg vom aktuellen Standort der Mobileinrichtung zum ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort zumindest teilweise durch ein netzbasiertes Datenverarbeitungssystem bestimmt wird.
  9. Verfahren nach Anspruch 1, wobei der Satz von Anweisungen zumindest teilweise durch ein netzwerkbasiertes Datenverarbeitungssystem bestimmt wird.
  10. Verfahren nach Anspruch 2, wobei die Entfernung vom aktuellen Standort der Mobileinrichtung zum ausgewiesenen Fahrzeug-Abhol-/Absetz-Standort zumindest teilweise durch ein netzbasiertes Datenverarbeitungssystem bestimmt wird.
  11. Verfahren nach Anspruch 1, wobei der Satz von Anweisungen zumindest teilweise durch ein netzwerkbasiertes Datenverarbeitungssystem bestimmt wird.
  12. Verfahren nach Anspruch 1, wobei die Sensordaten Satellitendaten und/oder Daten aus drahtlosen Netzwerken und/oder Daten von Standortbaken umfassen.
  13. Verfahren nach Anspruch 1, ferner umfassend durch den mindestens einen Prozessor der Mobileinrichtung erfolgendes Aktualisieren der bereitgestellten Informationen auf Grundlage eines neuen Standorts der Mobileinrichtung.
  14. Verfahren, das Folgendes umfasst: durch mindestens einen Prozessor eines Fahrzeugs erfolgendes Beziehen einer gespeicherten Abfolge von Handgesten, die einem Benutzerprofil zugeordnet ist; durch den mindestens einen Prozessor erfolgendes Beziehen von Sensordaten, die mit einer Abfolge von Handgesten des Benutzers verbunden sind; durch den mindestens einen Prozessor erfolgendes Identifizieren der vom Benutzer ausgeführten Abfolge von Handgesten auf Grundlage der Sensordaten; durch den mindestens einen Prozessor erfolgendes Vergleichen der vom Benutzer ausgeführten Abfolge von Handgesten und der gespeicherten Abfolge von Handgesten; durch den mindestens einen Prozessor auf Grundlage des Vergleichens erfolgendes Bestimmen, dass die von dem Benutzer ausgeführte Abfolge von Handgesten mit der gespeicherten Abfolge von Handgesten übereinstimmt; und durch den mindestens einen Prozessor erfolgendes Entriegeln mindestens einer Tür des Fahrzeugs auf Grundlage des Bestimmens, dass die vom Benutzer ausgeführte Abfolge von Handgesten mit der gespeicherten Abfolge von Handgesten übereinstimmt.
  15. Verfahren nach Anspruch 14, ferner umfassend Bereitstellen einer Benachrichtigung über die Entriegelung durch eine Schnittstelle an der Außenseite des Fahrzeugs.
  16. Verfahren nach Anspruch 14, ferner umfassend: auf Grundlage der Sensordaten erfolgendes Bestimmen eines Benutzerstandortes relativ zu dem Fahrzeug; und Öffnen der mindestens einen Tür, die dem Benutzerstandort am nächsten ist.
  17. Verfahren nach einem der Ansprüche 16, ferner umfassend Bereitstellen einer Benachrichtigung über das Öffnen durch eine Schnittstelle an der Außenseite des Fahrzeugs vor dem Öffnen.
  18. Verfahren nach einem der Ansprüche 14 bis 17, ferner umfassend: auf Grundlage einer Anfrage des Benutzers erfolgendes Bestimmen, dass der Benutzer Fernunterstützung benötigt; Kontaktieren einer Fahrzeugfernunterstützung (remote vehicle assistance, RVA) auf Grundlage des Bestimmens, dass der Benutzer RVA benötigt; Empfangen von Daten von der RVA, die mit Anweisungen verbunden sind, um Zugang zum Fahrzeug zu erhalten; und Bereitstellen der Anweisungen durch die Schnittstelle an der Außenseite des Fahrzeugs.
  19. Verfahren nach einem der Ansprüche 14 bis 18, wobei die gespeicherte Abfolge von Handgesten zumindest teilweise auf Grundlage von Daten von einer Kurzstrecken-Kommunikationseinrichtung bezogen wird.
  20. Verfahren nach einem der Ansprüche 14 bis 19, wobei das Identifizieren der vom Benutzer ausgeführten Abfolge von Handgesten auf einem maschinellen Lernmodell basiert.
  21. Verfahren nach Anspruch 20, wobei das maschinelle Lernmodell ein neuronales Netz ist.
  22. Verfahren nach einem der Ansprüche 14 bis 21, wobei das Identifizieren der vom Benutzer ausgeführten Abfolge von Handgesten Identifizieren mindestens einer Geste in der vom Benutzer ausgeführten Abfolge von Gesten unter Verwendung eines entfernt angeordneten Systems umfasst.
  23. System, umfassend: mindestens einen Prozessor; und mindestens ein nicht-transientes computerlesbares Speichermedium, das Anweisungen umfasst, die bei Ausführung der Anweisungen durch den mindestens einen Prozessor bewirken, dass das mindestens eine Fahrzeug ganz oder teilweise das Verfahren durchführt, wie es in einem der Ansprüche 1 bis 22 beschrieben ist oder damit in Zusammenhang steht.
  24. Mindestens ein nicht-transientes computerlesbares Medium, das Anweisungen umfasst, die bei Ausführung der Anweisungen durch den mindestens einen Prozessor bewirken, dass das Fahrzeug ganz oder teilweise das Verfahren durchführt, wie es in einem der Ansprüche 1 bis 22 beschrieben ist oder damit in Zusammenhang steht.
  25. Vorrichtung, die Mittel umfasst, um ganz oder teilweise das Verfahren durchzuführen, wie es in einem der Ansprüche 1 bis 22 beschrieben ist oder damit in Zusammenhang steht.
DE102022103428.3A 2021-10-08 2022-02-14 Methoden zum auffinden von und zugang zu fahrzeugen Pending DE102022103428A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/497,773 US20230111327A1 (en) 2021-10-08 2021-10-08 Techniques for finding and accessing vehicles
US17/497,773 2021-10-08

Publications (1)

Publication Number Publication Date
DE102022103428A1 true DE102022103428A1 (de) 2023-04-13

Family

ID=80820782

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022103428.3A Pending DE102022103428A1 (de) 2021-10-08 2022-02-14 Methoden zum auffinden von und zugang zu fahrzeugen

Country Status (5)

Country Link
US (1) US20230111327A1 (de)
KR (1) KR20230051412A (de)
CN (1) CN115963785A (de)
DE (1) DE102022103428A1 (de)
GB (1) GB2611589A (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230142544A1 (en) * 2021-11-11 2023-05-11 Argo AI, LLC System and Method for Mutual Discovery in Autonomous Rideshare Between Passengers and Vehicles
US11897421B1 (en) * 2023-01-13 2024-02-13 Feniex Industries Preconfiguration of emergency vehicle device lockable functions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220186533A1 (en) * 2015-09-12 2022-06-16 Adac Plastics, Inc. Motor vehicle gesture access system including powered door speed control
US10837788B1 (en) * 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
US11151376B2 (en) * 2019-01-23 2021-10-19 Uber Technologies, Inc. Rider-driver localization for determining placement of AR content for passenger
US11756237B2 (en) * 2019-03-15 2023-09-12 Google Llc Vehicle, pickup and dropoff location identification for ridesharing and delivery via augmented reality
US11656089B2 (en) * 2019-09-30 2023-05-23 GM Cruise Holdings LLC. Map driven augmented reality
US20210201661A1 (en) * 2019-12-31 2021-07-01 Midea Group Co., Ltd. System and Method of Hand Gesture Detection
US11886559B2 (en) * 2020-08-31 2024-01-30 Harlock Creative Llc Biometric identification and control systems and methods for providing customizable security through authentication of biosignal representations of one or more user-specific and user-selected gesture-intentions
US20220266796A1 (en) * 2021-02-23 2022-08-25 Magna Mirrors Of America, Inc. Vehicle door handle with multi-function sensing system
CN113053984B (zh) * 2021-03-19 2024-05-14 京东方科技集团股份有限公司 显示装置、及对应的信号处理装置及手势识别方法
US11981181B2 (en) * 2021-04-19 2024-05-14 Apple Inc. User interfaces for an electronic key
US20220413596A1 (en) * 2021-06-28 2022-12-29 Sigmasense, Llc. Vehicle sensor system

Also Published As

Publication number Publication date
KR20230051412A (ko) 2023-04-18
GB202201882D0 (en) 2022-03-30
US20230111327A1 (en) 2023-04-13
GB2611589A (en) 2023-04-12
CN115963785A (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
US20200276973A1 (en) Operation of a vehicle in the event of an emergency
CN110603497B (zh) 自主车辆操作管理控制的自主车辆和方法
DE112020000110T5 (de) Nutzung von in fahrzeugen erfassten fahrgastaufmerksamkeitsdaten fürlokalisierungs- und standortbezogene dienste
DE102020111938A1 (de) Systeme und verfahren zum planen und aktualisieren einer fahrzeugtrajektorie
DE112019005425T5 (de) Redundanz in autonomen fahrzeugen
GB2614360A (en) Traffic light detection system for vehicle
DE102021100584A1 (de) Erfassung und klassifizierung von sirenensignalen und lokalisierung von sirenensignalquellen
KR20230085127A (ko) 데이터 기반 규칙 북
DE102021133349A1 (de) Einsatzfahrzeugdetektionssystem und -verfahren
DE102020134834A1 (de) Objektverfolgung zur unterstützung autonomer fahrzeugnavigation
DE102022103428A1 (de) Methoden zum auffinden von und zugang zu fahrzeugen
DE102020128154A1 (de) Trajektorieplanung für fahrzeuge unter verwendung von routeninformationen
DE102022102189A1 (de) Multimodales Segmentierungsnetz für ein verbessertes semantisches Labelingbei einer Kartenerzeugung
DE102020134835A1 (de) Langzeit-objektverfolgung zur unterstützung autonomer fahrzeugnavigation
DE102022131625A1 (de) Bordsteinbasierte merkmalsextraktion für lokalisierung und fahrspurerkennung mittels radar
DE102023111485A1 (de) Nachverfolgungssegmentbereinigung nachverfolgter objekte
JP7135690B2 (ja) 情報処理装置および方法、プログラム、並びに移動体制御システム
JP2021120837A (ja) 自律移動装置、自律移動制御方法、並びにプログラム
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
DE102022100054A1 (de) Fahrgastauthentifizierung und -zugang für autonome fahrzeuge
DE102021132096A1 (de) Fahrzeugortsbestimmung unter verwendung kombinierter eingaben redundanter ortsbestimmungs-pipelines
US11518402B2 (en) System and method for controlling a vehicle using contextual navigation assistance
DE102023108247A1 (de) Tracker-Positionsaktualisierungen zur Erzeugung von Fahrzeugtrajektoren
DE112020000556T5 (de) Verkehrsampelschätzung
DE102022103060A1 (de) Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten