DE102021206075A1 - Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge - Google Patents

Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge Download PDF

Info

Publication number
DE102021206075A1
DE102021206075A1 DE102021206075.7A DE102021206075A DE102021206075A1 DE 102021206075 A1 DE102021206075 A1 DE 102021206075A1 DE 102021206075 A DE102021206075 A DE 102021206075A DE 102021206075 A1 DE102021206075 A1 DE 102021206075A1
Authority
DE
Germany
Prior art keywords
image
occupant
vehicle
planned
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021206075.7A
Other languages
English (en)
Inventor
Oliver Jeromin
Aziz Umit Batur
Kiran Bharwani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rivian IP Holdings LLC
Original Assignee
Rivian IP Holdings LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rivian IP Holdings LLC filed Critical Rivian IP Holdings LLC
Publication of DE102021206075A1 publication Critical patent/DE102021206075A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3438—Rendez-vous, i.e. searching a destination where several users can meet, and the routes to this destination for these users; Ride sharing, i.e. searching a route such that at least two users can share a vehicle for at least part of the route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Verschiedene offenbarte Ausführungsformen beinhalten Verfahren zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs und fahrzeugbasierte Systeme zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs. In einer veranschaulichenden Ausführungsform beinhaltet ein Verfahren zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs: Bewegen eines Kraftfahrzeugs zu einem ungefähren Standort eines geplanten Insassen basierend auf einem Standortsignal von dem geplanten Insassen, das über ein drahtloses Netzwerk empfangen wird; nach dem Bewegen an den ungefähren Standort des geplanten Insassen Empfangen eines Bildes von einem elektronischen Gerät des geplanten Insassen durch das Fahrzeug, wobei das Bild ein Bild des geplanten Insassen oder ein Bild einer lokalen physischen Umgebung des geplanten Insassen ist; Verarbeiten des Bildes, um zusätzliche Standortinformationen des geplanten Insassen basierend auf einem Abgleich des Bildes mit einem oder mehreren Referenzbildern zu ermitteln, und Annehmen des geplanten Insassen in Reaktion auf die Bildverarbeitung durch das Fahrzeug.

Description

  • EINFÜHRUNG
  • Die vorliegende Offenbarung betrifft den Transport unter Verwendung autonomer Fahrzeuge und insbesondere Systeme und Verfahren zum Koppeln von autonomen Fahrzeugen mit ihren geplanten Fahrgästen.
  • Die Erklärungen in diesem Abschnitt stellen lediglich Hintergrundinformationen bereit, welche die vorliegende Offenbarung betreffen, und stellen möglicherweise keinen Stand der Technik dar.
  • Autonome Fahrzeuge sind für Transportanwendungen von großem Interesse und können Vorteile für die Mitfahrgelegenheitsindustrie („Ride-sharing“-Industrie) bieten. Üblicherweise muss ein geplanter Insasse, wenn der geplante Insasse eine Anforderung für ein Fahrzeug als Mitfahrgelegenheit stellt, den Fahrer kontaktieren oder mit dem Fahrer des Fahrzeugs in menschliche Interaktion treten, um sein bestimmtes Fahrzeug zu identifizieren, insbesondere wenn er sich in einem überlaufenen Bereich wie einer Stadt oder einem Flughafen befindet. Eine solche Interaktion kann jedoch problematisch sein, wenn der Insasse nach Möglichkeit versucht, ein autonomes Fahrzeug innerhalb eines Pools von autonomen Fahrzeugen oder eines überlaufenen Gebiets mit Hindernissen zu lokalisieren
  • Die Society for Automotive Engineers (SAE) hat fünf Stufen der Fahrzeugautonomie definiert, die von Stufe 0 (keine Automatisierung) bis Stufe 5 (vollständige Automatisierung) reichen, die von der National Highway Traffic Safety Administration der USA übernommen wurden. Bei einem nicht autonomen Fahrzeug (Stufe 0) führt der Fahrer alle Fahraufgaben aus. Bei einem Fahrzeug mit Autonomie 1-3 (Fahrerassistenz, Teilautomatisierung bzw. bedingte Automatisierung) muss der Fahrer das Fahrzeug zu bestimmten Zeitpunkten ggf. steuern, z. B. um schnell zu stoppen oder zu manövrieren, um ein Hindernis zu umfahren. Bei einem Fahrzeug mit Autonomie der Stufe 4 (hohe Automatisierung) ist die Steuerung des Fahrers optional und der Fahrer kann daher selten mit dem Fahrzeug interagieren. Bei der Autonomie der Stufe 5 (Vollautomatisierung) darf der Fahrer das Fahrzeug überhaupt nicht fahren (und ist insoweit als Insasse zu betrachten).
  • KURZDARSTELLUNG
  • Verschiedene offenbarte Ausführungsformen beinhalten Verfahren zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs und fahrzeugbasierte Systeme zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs.
  • In einer veranschaulichenden Ausführungsform beinhaltet ein Verfahren zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs: Bewegen eines Kraftfahrzeugs zu einem ungefähren Standort eines geplanten Insassen basierend auf einem Standortsignal von dem geplanten Insassen, das über ein drahtloses Netzwerk empfangen wird; nach dem Bewegen an den ungefähren Standort des geplanten Insassen Empfangen eines Bildes von einem elektronischen Gerät des geplanten Insassen durch das Fahrzeug, wobei das Bild ein Bild des geplanten Insassen oder ein Bild einer lokalen physischen Umgebung des geplanten Insassen ist; Verarbeiten des Bildes, um zusätzliche Standortinformationen des geplanten Insassen basierend auf einem Abgleich des Bildes mit einem oder mehreren Referenzbildern zu ermitteln, und Annehmen des geplanten Insassen in Reaktion auf die Bildverarbeitung durch das Fahrzeug.
  • In einer anderen veranschaulichenden Ausführungsform beinhaltet ein fahrzeugbasiertes System zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs: einen drahtlosen Sendeempfänger, der so konfiguriert ist, dass er ein Standortsignal über ein drahtloses Netzwerk empfängt; einen Bildsensor zum Erfassen von Bildmaterial in der Nähe des Kraftfahrzeugs; ein Navigationssystem zum Bereitstellen einer Führung zum Bewegen des Fahrzeugs zu einem ungefähren Standort des geplanten Insassen basierend auf dem Standortsignal; und ein Computerverarbeitungssystem, das so konfiguriert ist, dass es ein Bild von einem elektronischen Gerät des geplanten Insassen empfängt, nachdem das Fahrzeug an den ungefähren Ort des geplanten Insassen bewegt wurde, wobei das Bild ein Bild des geplanten Insassen oder ein Bild einer lokalen physischen Umgebung des geplanten Insassen ist, und Verarbeiten des Bildes, um zusätzliche Standortinformationen des geplanten Insassen basierend auf einem Abgleich des Bildes mit einem oder mehreren Referenzbildern zu ermitteln, wobei das Computerverarbeitungssystem so konfiguriert ist, dass es den geplanten Insassen in Reaktion auf die Bildverarbeitung annimmt.
  • Die vorangehende Zusammenfassung ist nur veranschaulichend und soll in keiner Weise einschränkend sein. Zusätzlich zu den vorstehend veranschaulichten Aspekten, Ausführungsformen und Merkmalen werden weitere Aspekte, Ausführungsformen und Merkmale durch Bezugnahme auf die Zeichnungen und die folgende ausführliche Beschreibung offensichtlich.
  • Figurenliste
  • Es sind veranschaulichende Ausführungsformen in Figuren der Zeichnungen, auf die Bezug genommen wird, veranschaulicht. Die hierin offenbarten Ausführungsformen und Figuren sind eher als veranschaulichend denn als einschränkend zu betrachten.
    • 1 ist ein Blockdiagramm in teilweise schematischer Form eines veranschaulichenden Frameworks für einen Ansatz zur Lokalisierung eines geplanten Insassen eines autonomen Fahrzeugs.
    • 2 ist ein Ablaufplan eines veranschaulichenden Verfahrens zum Auffinden eines geplanten Insassen eines autonomen Fahrzeugs.
  • Gleiche Bezugszeichen in den verschiedenen Zeichnungen geben gleiche Elemente an.
  • AUSFÜHRLICHE BESCHREIBUNG
  • In der folgenden ausführlichen Beschreibung wird auf die begleitenden Zeichnungen Bezug genommen, die einen Teil hiervon bilden. In den Zeichnungen bezeichnen ähnliche Symbole gewöhnlich ähnliche Komponenten, sofern der Kontext nichts anderes vorschreibt. Die in der ausführlichen Beschreibung, den Zeichnungen und den Ansprüchen veranschaulichten Ausführungsformen sind nicht als einschränkend zu verstehen. Andere Ausführungsformen können verwendet und andere Änderungen vorgenommen werden, ohne vom Sinn oder Umfang des hier präsentierten Gegenstands abzuweichen.
  • Anhand einer nicht einschränkenden Übersicht und wie in Beispielen hierin beschrieben stellen die vorliegenden Systeme und Verfahren Systeme und Verfahren zum Lokalisieren von geplanten Insassen autonomer Fahrzeuge bereit. Wenn beispielsweise ein Insasse eine Fahrt von einem autonomen Fahrzeug anfragt, z. B. unter Verwendung einer Anwendung auf dem Smartphone des Insassen, kann diese Anforderung über ein drahtloses Netzwerk an ein Backend-System weitergeleitet werden, das dann die Anforderung über das drahtlose Netzwerk an das Fahrzeug weiterleitet. Die an das Fahrzeug gesendete Anforderung kann ein Standortsignal, wie beispielsweise eine globale Positionsbestimmungs-System-Koordinate (GPS-Koordinate) beinhalten, die dem ungefähren Standort des geplanten Insassen entspricht. Dieses Standortsignal ermöglicht es dem Fahrzeug, relativ nahe an den tatsächlichen Ort des geplanten Insassen zu gelangen (z. B. innerhalb von 3 Metern bzw. 10 Fuß innerhalb von 6 Metern bzw. 20 Fuß, innerhalb von 15 Metern bzw. 50 Fuß usw.). Das Fahrzeug kann jedoch den Insassen womöglich nicht finden und/oder der Insasse kann das Fahrzeug womöglich nicht finden, beispielsweise weil es viele Fahrzeuge und/oder viele Menschen an diesem ungefähren Ort gibt. In einigen Konfigurationen kann der geplante Insasse ein zweidimensionales oder dreidimensionales Bild von Straßenansichtsstrukturen wie Gebäuden, Orientierungspunkten und dergleichen in unmittelbarer Nähe aufnehmen und dieses Bild über das drahtlose Netzwerk an das Fahrzeug senden. Das Fahrzeug kann das Bild verwenden, um den Insasse zu identifizieren und anzunehmen, z. B. indem es das Bild mit einem Referenzbild korreliert, das in einer Bilddatenbank gespeichert ist, deren Metadaten einem spezifischeren Standort zugeordnet sind, um den tatsächlichen Standort des geplanten Insassen genauer zu ermitteln und sich dann zu diesem Standort zu bewegen. Außerdem oder alternativ kann der geplante Insasse ein oder mehrere Signalisierungsbilder von seinem Smartphone anzeigen, wie beispielsweise eine vorbestimmte Farbe, ein vorbestimmtes Muster, ein vorbestimmtes Lichtblitzmuster oder eine vorbestimmte Sequenz von Farben, und es für die Abbildung durch das Fahrzeug derart hochhalten, dass das Fahrzeug das eine oder die mehreren vorbestimmten Signalisierungsbilder erkennen und den Insassen (z. B. aus einer Gruppe von Menschen) durch Erhalten und Verarbeiten des einen oder der mehreren erfassten Signalbilder annehmen kann.
  • 1 veranschaulicht ein veranschaulichendes Framework 100 für einen Ansatz zum Lokalisieren eines geplanten Insassen eines autonomen Fahrzeugs gemäß Beispielen der Offenbarung. Das Framework 100 beinhaltet ein Fahrzeug 110, das ein Bildverarbeitungs- und Steuersystem 120 beinhaltet und optional auch einen Bildsensor 111, ein elektronisches Gerät 130 und ein oder mehrere Backend-Systeme 140 beinhaltet. Das Bildverarbeitungs- und Steuersystem 120 kann so konfiguriert sein, dass es mit dem elektronischen Gerät 130 über das eine oder die mehreren Backend-Systeme 140 und das drahtlose Netzwerk drahtlos kommuniziert und das Fahrzeug 110 basierend darauf steuert. Das elektronische Gerät 130 kann ein Smartphone 130 beinhalten, von dem das Bildverarbeitungs- und Steuersystem 120 Bilder und/oder Signale empfangen kann, die für den Standort und/oder die physische Umgebung des geplanten Insassen indikativ sind, und kann geeignete Aktionen basierend auf solchen Signalen und Bildern, wie hierin ausführlicher beschrieben, durchführen. In einigen Konfigurationen ist das Fahrzeug ein autonomes Fahrzeug, wie beispielsweise ein autonomes Fahrzeug der Stufe 4 oder der Stufe 5. Es ist jedoch anzumerken, dass die vorliegenden Systeme und Verfahren in jeder Art von Fahrzeug entsprechend eingesetzt werden können, einschließlich Fahrzeugen der Stufe 0, Fahrzeugen der Stufe 1, Fahrzeugen der Stufe 2, Fahrzeugen der Stufe 3, Fahrzeugen der Stufe 4 und/oder Fahrzeugen der Stufe 5 sowie Fahrzeugen, die unterschiedliche Automatisierungskategorien verwenden, zur Gänze unautomatisiert sind oder eine geeignete Automatisierungsstufe aufweisen.
  • Ein autonomes Fahrzeug kann mit einem Array von Sensoren, einschließlich LIDAR (Light Detection and Ranging) und Kamerasystemen 113 zum Aufnehmen von Echtzeitvideobildmaterial von Hindernissen und anderen Fahrzeugen, GPS (Globales Positionsbestimmungssystem) 114, drahtlose Kommunikationssysteme zum Senden und Empfangen von Kommunikationen bezüglich Straßeninformation und Verkehr in Echtzeit, sowie einem Computer zum Anwenden von Fahrregeln und zum Treffen von Fahrentscheidungen basierend auf Daten und Informationen, die aus dem Vorstehenden gewonnen wurden, in geeigneter Weise, wie auf dem Fachgebiet bekannt, konfiguriert sein.
  • In dem in 1 veranschaulichten Beispiel beinhaltet das Bildverarbeitungs- und Steuersystem 120 ein Verarbeitungssystem 121, z. B. eine oder mehrere zentrale Verarbeitungseinheiten (CPUs) und einen oder mehrere Speicher, die von dem Verarbeitungssystem 121 verwendet werden, wie z. B. einen Direktzugriffsspeicher (RAM) 122, einen Random Online Memory (ROM) 123 und/oder einen nicht-flüchtigen Speicher 124, sowie Schnittstellen 125, über die das Fahrzeug mit dem Insassen, dem elektronischen Gerät 130 und/oder dem einen oder den mehreren Backend-Systemen 140 kommunizieren kann. Der nicht-flüchtige Speicher 124 kann ein oder mehrere Softwaremodule beinhalten, die konfiguriert sind, um das Verarbeitungssystem 121 zu veranlassen, eine oder mehrere Operationen auszuführen, wie hierin bereitgestellt. Beispielsweise kann der nicht-flüchtige Speicher 124 Programmanweisungen beinhalten, die konfiguriert sind, um das Verarbeitungssystem 121 zu veranlassen, ein oder mehrere lokale Straßenansichts- oder Landschaftsbilder zu verarbeiten, die von dem geplanten Insassen des Fahrzeugs 110 über Signale empfangen werden, die über einen drahtlosen Sendeempfänger 126 empfangen werden.
  • Das eine oder die mehreren von dem geplanten Insassen empfangenen lokalen Bilder können dann durch Bildverarbeitung am Verarbeitungssystem 121 oder an einem Verarbeitungssystem 141 des Backend-Systems 140 verarbeitet werden, um das Bild mit einem zu vergleichen, das bestimmten Standortmetadaten zugeordnet ist. Eine geeignete Bildverarbeitung, die für diesen Zweck auf dem Fachgebiet bekannt ist, wird hierin näher beschrieben.
  • Unter Verwendung des spezifischen Standorts, der von bekannten Bildmetadaten abgeleitet ist, kann das Verarbeitungssystem 121 eine oder mehrere Aktionen durchführen, wie beispielsweise das Führen des Fahrzeugs 110 zum spezifischen Standort des geplanten Insassen, optional das Signalisieren des Eintreffens des Fahrzeugs an den geplanten Insassen und das Senden eines Bildes des Fahrzeugs 110 an den geplanten Insassen, z. B. über Textnachrichten oder über die mobile App, die vom geplanten Insassen verwendet wird, um das Fahrzeug 110 anzufordern. Das Fahrzeug 110 kann dann den Insassen auf Basis eines geeigneten Authentifizierungsmittels des Insassen durch das Fahrzeug 110 annehmen. Das Fahrzeugverarbeitungssystem 121 kann zum Beispiel ein Bild der Person aufnehmen, von der angenommen wird, dass sie der geplante Insasse ist, und dann eine Bildverarbeitung dieses Bildes zum Vergleich mit einem bekannten Bild des geplanten Insassen durchführen (z. B. bereitgestellt durch die mobile App, die der geplante Insasse verwendet hat, um das Fahrzeug 110 anzufordern), um zu ermitteln, dass ein bestimmter Mensch der geplante Insasse ist. Eine geeignete Bildverarbeitung, die für diesen Zweck auf dem Fachgebiet bekannt ist, wird hierin näher beschrieben. Alternativ kann der geplante Insasse unter Verwendung seines elektronischen Geräts aufgefordert werden, einen vorbestimmten Code an einem Touchscreen oder einem Touchpad an einer Außenfläche des Fahrzeugs 110 einzugeben, der von dem Fahrzeug 110 anerkannt wird.
  • In der in 1 dargestellten Konfiguration beinhaltet das Bildverarbeitungs- und Steuersystem 120 den drahtlosen Sendeempfänger 126 und die GPS-Einheit 114. Der drahtlose Sendeempfänger 126 kann so konfiguriert sein, dass er über drahtlose Kommunikation mit dem elektronischen Gerät 130 des geplanten Insassen und/oder mit dem einen oder den mehreren Backend-Systemen 140 verbunden ist. Der drahtlose Sendeempfänger 126 kann zum Beispiel einen mobilen Sendeempfänger beinhalten, der konfiguriert ist, um Kommunikation zwischen dem Fahrzeug 110 und dem elektronischen Gerät 130 des geplanten Insassen und/oder dem einen oder den mehreren Backend-Systemen 140 über eine Mobilverbindung bereitzustellen. Der drahtlose Sendeempfänger 126 kann auch einen Bluetooth-Sendeempfänger beinhalten, der konfiguriert ist, um eine Kommunikation mit dem elektronischen Gerät 130 über eine Bluetooth-Verbindung zu ermöglichen, und/oder einen WLAN-Sendeempfänger, der konfiguriert ist, um eine Kommunikation mit dem elektronischen Gerät 130 und/oder mit dem einen oder den mehreren Backend-Systemen 140 über eine WLAN-Verbindung zu ermöglichen. Die GPS-Einheit 114 kann so konfiguriert sein, dass sie den GPS-Standort des Fahrzeugs 110 erhält, z. B. basierend auf Signalen von entsprechenden GPS-Satelliten.
  • Das eine oder die mehreren Backend-Systeme 140 können verwendet werden, um einen Pool von autonomen Fahrzeugen zu steuern, von denen das Fahrzeug 110 ein Mitglied ist (andere Fahrzeuge des Pools sind nicht speziell veranschaulicht). Das Fahrzeug 110 kann mit dem einen oder den mehreren Backend-Systemen 140, die auf einem oder mehreren Computerservern gehostet werden, über ein drahtloses Kommunikationsnetzwerk interagieren. Das Computerverarbeitungssystem 141 des einen oder der mehreren Backend-Systeme 140 kann Software-Operationen, Programmanweisungen oder Routinen ausführen, um Berechnungen und Analysen, wie hierin bereitgestellt, zu implementieren. Derartige Programmanweisungen, gesammelte Daten und verarbeitete Daten können einem oder mehreren nicht-flüchtigen computerlesbaren Speichern 142 und/oder einem oder mehreren Datenspeichern (wie z. B. einem Bild-Repository) in Datenbanken 143 gespeichert werden. Die Kommunikation kann gemäß einer Client-Serverarchitektur ausgeführt werden, wobei die elektronischen Geräte 130 des Insassen und autonomen Fahrzeuge 110 über einen oder mehrere Server über ein oder mehrere drahtlose und/oder drahtgebundene Kommunikationsnetze auf das Remote-Monitoring-Backend-System 140 zugreifen können.
  • Ein Insasse kann beispielsweise, wie oben erwähnt, ein autonomes Fahrzeug unter Verwendung einer geeigneten Anwendung auf seinem elektronischen Gerät 130, wie beispielsweise einem Smartphone, anfordern. Die Anforderung kann ein Standortsignal beinhalten, wie beispielsweise die aktuelle GPS-Koordinate des Insassen, die von einem GPS-Modul 131 des elektronischen Geräts 130 bereitgestellt wird, und kann über das drahtlose Netzwerk an das eine oder die mehreren Backend-Systeme 140 gesendet werden, die den Pool von autonomen Fahrzeugen steuern. Das Computerverarbeitungssystem 141 des einen oder der mehreren Backend-Systeme 140 ist so konfiguriert, dass es die Anforderung verarbeitet, z. B. in Reaktion auf geeignete Anweisungen, die im Speicher 142 gespeichert sind, und ein Signal über das drahtlose Netzwerk an das Fahrzeug 110 sendet, das das Standortsignal an das Fahrzeug zur Verwendung bei der Lokalisierung des geplanten Insassen bereitstellt.
  • Der drahtlose Sendeempfänger 126 des fahrzeugbasierten Bildverarbeitungs- und Steuersystems 120 ist so konfiguriert, dass er das Standortsignal (z. B. GPS-Koordinate) über das drahtlose Netzwerk empfängt. Ein Verarbeitungssystem, wie das Verarbeitungssystem 121, kann dann das Standortsignal verarbeiten und eine Führungssteuerung bereitstellen, um das Fahrzeug 110 basierend auf dem Standortsignal zu diesem Standort des geplanten Insassen zu bewegen. Das Verarbeitungssystem 121 kann zum Beispiel konfiguriert sein, um die aktuelle GPS-Koordinate des Fahrzeugs mit der GPS-Koordinate des geplanten Insassen zu vergleichen und die Bewegung des Fahrzeugs mit der GPS-Koordinate des geplanten Insassen entlang einer geeigneten Route unter Verwendung des LIDAR und der Kamerasysteme 113, der GPS-Einheit 114 und der auf dem Fachgebiet bekannten hochauflösenden Karten zu steuern. Die GPS-Koordinate des Insassen (oder anderes Standortsignal oder andere Standortdaten), die vom Fahrzeug 110 empfangen werden, können ggf. jedoch nicht exakt dem genauen Standort des geplanten Insassen entsprechen, wenn das Fahrzeug 110 relativ nahe an dem geplanten Insassen eintrifft. Beispielsweise kann sich der geplante Insasse während der Zeit, in der er das Fahrzeug angefordert hat und das Fahrzeug eintrifft, physisch bewegt haben. Außerdem oder alternativ kann die GPS-Koordinate (oder das andere Standortsignal), die durch das Fahrzeug 110 empfangen wird, aufgrund anderer Faktoren, wie beispielsweise der Nähe zu hohen Gebäuden und dergleichen, ungenau sein oder ihre Genauigkeit kann beschränkt sein. Außerdem oder alternativ, auch wenn die GPS-Koordinate des Insassen genau sein kann und selbst wenn das Fahrzeug den ungefähren Ort des Insassen erreichen kann, kann die GPS-Koordinate allein keine ausreichenden Informationen für das Fahrzeug bereitstellen, um den geplanten Insassen zu lokalisieren.
  • Wie hierin bereitgestellt, kann die Verwendung und Übertragung bestimmter Bilder das Fahrzeug 110 beim Lokalisieren dessen geplanter Insassen unterstützen. Insbesondere kann das Computerverarbeitungssystem 121 am Fahrzeug 110 und/oder das Computerverarbeitungssystem 141 am Backend-System 140 so konfiguriert sein, dass es ein lokales Straßenansichtsbild oder Landschaftsbild empfängt, das vom elektronischen Gerät 130 am genauen Ort des geplanten Insassen aufgenommen wird, nachdem das Fahrzeug an den ungefähren Ort des geplanten Insassen bewegt wurde, und eine Bildverarbeitung kann an diesem Bild ausgeführt werden, um den Standort des geplanten Insassen genauer zu identifizieren und das Fahrzeug 110 in Reaktion auf den Empfang des Bildes an den genauen Standort des geplanten Insassen zu bewegen. Beispielsweise fordert die Anwendung, mit der der Insasse das Fahrzeug angefordert hat, den Insassen bei manchen Konfigurationen dazu auf, ein Bild der physischen Umgebung des geplanten Insassen aufzunehmen. Der Bildsensor 132 des elektronischen Geräts 130 erhält das Bild und sendet das Bild über das drahtlose Netzwerk, optional über das eine oder die mehreren Backend-Systeme 140, an den Sendeempfänger 126 des Fahrzeugs 110. Die von dem Computerverarbeitungssystem 121 ausgeführte Bildverarbeitung kann die Ansicht (innerhalb des empfangenen Bildes) mit einem Referenzbild korrelieren, das in einer Bilddatenbank gespeichert ist, für die Standortmetadaten bekannt sind und die einen genauen Standort für die Landschafts- oder Straßenansicht bereitstellt.
  • Zum Beispiel können die Datenbanken 143 eine Datenbank beinhalten, die ein Repository von Referenzbildern mit zugehörigen Standortmetadaten (wie GPS-Koordinaten und/oder Straßenadressen), die diesen Bildern entsprechen, speichert. Das Fahrzeug kann Korrelationen zwischen den Referenzbildern und den Bildern, die vom Smartphone des geplanten Insassen erhalten werden, verwenden, um den tatsächlichen Standort des Insassen zu identifizieren und ihn anzunehmen. Das Computerverarbeitungssystem 121 und/oder 141, das mit Programmanweisungen programmiert ist, kann beispielsweise konfiguriert sein, um eine Abfrage über das drahtlose Netzwerk an die Bilddatenbank 143 des einen oder der mehreren Backend-Systeme 140 zu übermitteln, um ein Referenzbild zu identifizieren, das der Ansicht innerhalb des empfangenen Bildes entspricht. Alternativ kann das Bildverarbeitungs- und Steuersystem 120 ein solches Repository lokal speichern, z. B. innerhalb des ROM 123 oder des nicht-flüchtigen Speichers 124, und das Repository geeignet abfragen, ohne auf das eine oder die mehreren Backend-Systeme 140 zugreifen zu müssen. Der ungefähre Standort des Insassen, der aus GPS-Koordinaten und/oder drahtloser Kommunikationstriangulation bekannt ist, wird dem Verarbeitungssystem 121 und/oder 141 mitgeteilt. Ist die ungefähre Standortinformation bekannt, so muss nur eine relativ kleine Sammlung von Datenbankbildern, die mit Geolokalisierungsmetadaten markiert sind, einer Bildverarbeitung unterzogen werden, um den Ort des Insassen genauer zu identifizieren. Diesbezüglich können Bilddaten von Außenumgebung, deren Geolokalisierungsmetadaten Standorten mit einer vorbestimmten Varianz (Radius) des ungefähren Standorts des Insassen entsprechen (z. B. anhand von GPS-Koordinaten des Smartphones des Insassen, als der Insasse das Bild aufgenommen hat) in einer oder mehreren Datenbanken von Bilddaten der Außenumgebung zur Bildverarbeitungsanalyse identifiziert werden, um nach einer Übereinstimmung zwischen dem Bild, das der Insasse aufgenommen hat, und Bilddaten der ausgewählten Umgebungsbilder zu suchen, deren Geolokalisierungsmetadaten innerhalb der vorbestimmten Entfernung liegen. Bildverarbeitungstechniken sind auf dem Fachgebiet zum Abgleichen eines Bildes mit einem anderen Bild aus einer Datenbank von Bildern bekannt, und beliebige geeignete Techniken für ein solches Abgleichen können verwendet werden, um diesen Aspekt der Offenbarung auszuführen. Zum Beispiel kann die Bildverarbeitung in diesem Zusammenhang unter Verwendung von Scale Invariant Feature Transform (SIFT), Speeded-Up Robust Features (SURF) und Features from Accelerated Segment Test (FAST), die auf dem Fachgebiet bekannt sind, verwendet werden, wie sie in den folgenden Artikeln beschrieben werden, deren gesamter Inhalt hierin durch Bezugnahme aufgenommen ist: Lowe, „Object recognition from local scale-invariant features‟, Proceedings of the International Conference on Computer Vision, 1999, S. 1150-1157; Bay et al., „Speeded-Up Robust Features (SURF)", Comput. Vis. Image Understand., Bd. 110, Nr. 3, S. 346-359, Juni 2008; Rosten et al., „Machine Learning for High-Speed Corner Detection, European Conference on Computer Vision, ECCV 2006: Computer Vision, S. 430-443. Weitere Bildverarbeitungsverfahren, die anwendbar sein können, sind in „A survey on Image Matching Methods‟, Krishnan et al., International Journal of Latest Research in Engineering and Technology (IJLRET), Jan. 2016, S. 58-61, angeführt, deren gesamter Inhalt hierin durch Bezugnahme aufgenommen ist. Es versteht sich, dass die Bilddaten in der einen oder den mehreren Datenbank von Bilddaten der Außenumgebungen nicht notwendigerweise als pixelierte Bilder gespeichert werden müssen, und dass solche Bilddaten bereits vektorisiert oder auf andere geeignete Weise vorverarbeitet sein können, um eine effiziente und schnelle Bildverarbeitung des Abgleichens des vom Insassen aufgenommenen Bildes mit Bilddaten zu erleichtern, die als innerhalb der Standortvarianz (Radius) des Standorts des Insassen identifiziert wurden, je nach verwendetem Bildverarbeitungsansatz.
  • Als ein weiteres Beispiel können das Transformieren des Bildes unter Verwendung einer geeigneten Transformation, wie z. B. das Nullzentrieren der Pixeldaten oder die Bildnormierung, sodass das Bild, das durch das Smartphone des Insassen erhalten wird, durch zeitliche Beleuchtungsbedingungen, die sich von den Referenzbildern in dem einen oder den mehreren Backend-System unterscheiden, im Wesentlichen nicht beeinflusst werden, und das Durchführen einer Abfrage der Datenbank von Bildern basierend auf dem transformierten Bild unter Verwendung von Tiefenlern- und neuronalen Netzen herangezogen werden. Beispielsweise kann das Abfragebild des Insassen durch ein tiefes neuronales Netzwerk verarbeitet werden, das Teil des einen oder der mehreren Backend-Systeme ist, das trainiert wurde, um Orientierungspunkte zu erkennen, die in der einen oder den mehreren Datenbank(en) von Referenzbilddaten zu finden sind, deren Geolokalisierungsmetadaten Standorten innerhalb der vorbestimmten Varianz des Smartphone-Standorts des Insassen entsprechen. Beispiele für solche Orientierungspunkte können Gebäudefassaden, Vegetation, Verkehrszeichen, Verkehrssignale, Statuen usw. und Kombinationen davon sein. Ein oder mehrere Orientierungspunkte können auf dem Abfragebild des Insassen unter Verwendung des tiefen neuronalen Netzwerks erkannt und mit Bilddaten bekannter Geolokalisierung abgeglichen werden, um eine genauere Position für den Insassen zu identifizieren. Ausführliche Implementierungen von Beispielen von Systemen aus einem faltenden neuronalen Netzwerk zum Identifizieren übereinstimmender Bilddaten, die für einen solchen Zweck in den hierin offenbarten Verfahren verwendet werden können, sind in den folgenden Bezugsdokumenten beschrieben, deren gesamter Inhalt durch Bezugnahme hierin aufgenommen ist: Weyand et al., „PlaNeT: Photo Geolocation with Convolutional Neural Networks, in Leibe et al. (Hrsg.), Computer Vision - EECV 2016, Teil VIII, Lecture Notes in Computer Science 9912, S. 37-55 (Springer, 2016); Arandjelovic et al., „NetVLAD: CNN architecture for weakly supervised place recognition", 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, Nevada, S. 5297-5307 (2016); und Arandjelovic et al., „NetVLAD: CNN architecture for weakly supervised place recognition", arXiv: 151 1.07247v3 [cs.CV] 2. Mai 2016, 17 Seiten (abgerufen unter https://arxiv.org/abs/1511.07247). Es versteht sich, dass solche Ansätze das Trainieren einer Architektur eines faltenden neuronalen Netzwerks (CNN) unter Verwendung einer großen Referenzdatenbank von Außenumgebungsbildern (Ortsbildern) beinhalten können, wie sie mit Google Street View Time Machine und/oder anderen Quellen erhalten werden. Solche Referenzbilddaten können mehrere Ortsbilder für denselben Standort zuordnen, wobei die mehreren Bilder desselben Orts z. B. zu verschiedenen Tageszeiten, aus verschiedenen Perspektiven und Entfernungen und mit verschiedenen Mengen von kollateralen Stördaten (Kfz, Fußgänger usw.) aufgenommen werden. Solche Bilder können, wie auf dem Fachgebiet bekannt und wie in den oben genannten Artikeln beschrieben, vektorisiert werden, und das CNN kann mit bekannten Trainingsabfragebildern, wie in den oben genannten Artikeln beschrieben, trainiert werden, um es dem CNN zu ermöglichen, tatsächliche Abfragebilder mit Bilddaten der einen oder mehreren Referenzdatenbanken abzugleichen.
  • Wenn mehrere Orientierungspunkte in dem vom Insassen aufgenommenen Abfragebild erkannt werden, kann die relative Position dieser Orientierungspunkte zueinander auf dem Abfragebild durch das Verarbeitungssystem 121 und/oder 141 verarbeitet werden, um eine genaue Position des Smartphones des Insassen zu ermitteln. Beispielsweise sind die genauen Geolokalisierungen der erfassten/abgeglichenen Orientierungspunkte bekannt, und es können auch die Größen (z. B. Höhen und/oder Breiten usw.) der erfassten/abgeglichenen Orientierungspunkte bekannt sein. In einem solchen Fall können die relativen Größen und Ausrichtungen dieser Orientierungspunkte auf dem Abfragebild des Insassen durch das Verarbeitungssystem 121 und/oder 141 gemäß dreidimensionalen geometrischen Prinzipien einer weiteren Bildverarbeitung unterzogen werden, um den Ursprungspunkt des Abfragebilds des Insassen als für den Standort des Smartphones des Insassen indikativ zu identifizieren. Die Schätzung der Kameraposition des Smartphones des Benutzers kann anhand der Analyse einer zuvor erstellten Karte des relevanten Bereichs in der Nähe der Geolokalisierung des Smartphones durch das Verarbeitungssystem 121 und/oder 141 bestimmt werden, wobei die Karte auf zuvor erfassten Merkmalen aus Bildern basiert, die zuvor gescannt wurden und für die der Standort einzelner Orientierungspunktmerkmale in drei Dimensionen (3D) bekannt ist. Das Verarbeitungssystem 121 und/oder 141 kann dann eine Abgleichanalyse an dem vom Insassen erfassten Bild durchführen, um die beste Ausrichtung bekannter Merkmale aus dem Smartphone-Bild des Insassen zu den bekannten Merkmalen der zuvor erstellten 3D-Karte des lokalen Bereichs zu ermitteln, z. B. durch Ausführen iterativer inkrementaler Drehungen der 3D-Karte, um Projektionen zu erzeugen, die mit dem vom Insassen erfassten Bild verglichen werden können. Eine Bildprojektion von der 3D-Karte, die Unterschiede in den Standorten bekannter Orientierungspunktmerkmale relativ zu dem vom Insassen aufgenommenen Bild minimiert (z. B. durch Merkmalserkennungsanalyse-Bildvergleich bestimmt), wird mit einer Kameraposition innerhalb der bekannten 3D-Karte korreliert, um den Standort der Kamera des Insassen in der bekannten 3D-Umgebung für das vom Insassen aufgenommene Bild zu identifizieren. Diesbezüglich kann Skalierung der aus der bekannten 3D-Karte erzeugten Bildprojektionen dazu verwendet werden, die Entfernung der Kameraposition innerhalb der bekannten 3D-Karte zu schätzen. Die Smartphone-Funktionalität, die das vom Insassen erfasste Bild zu diesem Zweck aufnimmt, kann automatisch auf die Aufnahme des Insassenbildes ohne Vergrößerung eingestellt werden, um eine solche Bildanalyse zu erleichtern, um jegliche Vergrößerungsartefakte zu vermeiden, die die Analyse ansonsten erschweren könnten. Abstände zu bekannten Orientierungspunktmerkmalen bekannter Größe und/oder bekannten Abstands (z. B. bekannter Abstand zwischen zwei oder mehr bekannten Orientierungspunktmerkmalen) können auch durch das Verarbeitungssystem 121 und/oder 141 aufgrund von vorbekannten Kamerakalibrierungen für eine bestimmte Smartphone-Kamera geschätzt werden, wobei z. B. für Bilder, die ohne zusätzliche Vergrößerung aufgenommen wurden, eine bekannte Objektbreite oder -höhe (z. B. einen bekannten Abstand zwischen bekannten Orientierungspunktmerkmalen) mit einem spezifischen Pixelabstand auf dem Bildsensor der Smartphone-Kamera in einem jeweiligen Abstand von dem Objekt korreliert. Der erfasste Pixelabstand auf dem Bildsensor der Smartphone-Kamera zwischen Orientierungspunktmerkmalen bekannten Abstands kann daher zur Schätzung des Kameraabstands zu den bekannten Orientierungspunktmerkmalen anhand solcher bekannter Korrelationen für die jeweilige Kamera des jeweiligen Smartphones verwendet werden. Solche Informationen können ohne Weiteres aus Kalibriertabellen entnommen werden, die zuvor für verschiedene Kameras verschiedener Smartphones erstellt wurden.
  • In Reaktion auf die Abfrage korreliert somit das Verarbeitungssystem 121 und/oder 141 die Ansicht auf dem empfangenen Bild mit Referenzbilddaten, wobei die Referenzbilddaten bekannte Geolokalisierungsinformationen aufweisen. Insbesondere muss die Suche in der Bilddatenbank nicht umfangreich sein, da der ungefähre Standort des geplanten Insassen bereits wie oben erwähnt bekannt ist, z. B. anhand der GPS-Standortdaten des Smartphones des Insassen, der das Abfragebild aufgenommen hat. Es müssen also nur Referenzbilder in der Datenbank durchsucht werden, die ungefähre Standorte innerhalb einer vorbestimmten Varianz des ungefähren Standortes des geplanten Insassen haben. Dies ermöglicht eine höhere Geschwindigkeit der Bildverarbeitung und verringert die Anforderungen an Rechenressourcen und Bandbreite.
  • Nachdem das Computerverarbeitungssystem 121 den genaueren Standort des geplanten Insassen basierend auf der Bildverarbeitung identifiziert hat, kann es Schritte ausführen, um den geplanten Insassen basierend auf der Korrelation zwischen Bildern anzunehmen. So kann beispielsweise das Verarbeitungssystem 121 basierend auf der Korrelation das Fahrzeug 110 dazu veranlassen, sich an einen genaueren Ort in der Nähe des tatsächlichen Standortes des geplanten Insassen zu bewegen (z. B. innerhalb von 0,6 Metern bzw. 2 Fuß, 1,5 Metern bzw. 5 Fuß, 3 Metern bzw. 10 Fuß, 6 Metern bzw. 20 Fuß usw. des tatsächlichen Standortes des geplanten Insassen oder so nahe an einem Standort, wie es die Straßen womöglich erlauben) und die Fahrzeugtür zu öffnen, um dem Insassen das Einsteigen in das Fahrzeug zu ermöglichen.
  • Als weitere Alternative, die allein oder in Kombination mit einer oder mehreren anderen hierin bereitgestellten Optionen verwendet werden kann, kann das vom Fahrzeug 110 empfangene Bildmaterial (z. B. über drahtlose Kommunikation) eine erste Ansicht des geplanten Insassen selbst beinhalten. Beispielsweise fordert die Anwendung, mit der der Insasse das Fahrzeug angefordert hat, den Insassen in machen Konfigurationen auf, sich selbst aufzunehmen. Der Bildsensor 132 des elektronischen Geräts 130 erhält das Bild und sendet das Bild über das drahtlose Netzwerk, optional über das eine oder die mehreren Backend-Systeme 140, an den Sendeempfänger 126 des Fahrzeugs 110. Das Fahrzeug 110 kann den Bildsensor 111 beinhalten, der so konfiguriert ist, dass er eine zweite Ansicht des geplanten Insassen erhält. Das Verarbeitungssystem 121 kann beispielsweise den Bildsensor 111 steuern, um ein oder mehrere Bilder des ungefähren Standortes des geplanten Insassen zu erhalten, wobei mindestens eines dieser Bilder eine Ansicht des geplanten Insassen beinhaltet. Das Verarbeitungssystem 121 kann dann die erste Ansicht und die zweite Ansicht korrelieren, um den geplanten Insassen zu identifizieren und das Fahrzeug zum genauen Standort des geplanten Insassen zu führen. Dabei können Positionssensoren und Richtungssensoren, die dem Kamerasystem und dem Führungssystem des Fahrzeugs zugeordnet sind, den Standort des abgebildeten Insassen basierend auf der bekannten Ausrichtung und dem bekannten Standort des Fahrzeugs und basierend auf den bekannten Ausrichtungs- und LIDAR-Daten ermitteln, die dem aufgenommenen Bild zugeordnet sind, das dem von dem geplanten Insassen empfangenen Bild entspricht. Nachdem der genaue Standort des geplanten Insassen basierend auf der Korrelation von Bildern bestimmt wurde, ist das Verarbeitungssystem 121 konfiguriert, um den Insassen danach basierend auf der Korrelation anzunehmen. So kann beispielsweise das Verarbeitungssystem 121 basierend auf der Korrelation das Fahrzeug 110 dazu veranlassen, sich an einen Ort in der Nähe des genauen Standortes des geplanten Insassen zu bewegen (z. B. innerhalb von 0,6 Metern bzw. 2 Fuß, 1,5 Metern bzw. 5 Fuß, 3 Metern bzw. 10 Fuß, 6 Metern bzw. 20 Fuß usw. des tatsächlichen Standortes des geplanten Insassen oder so nahe an einem Standort, wie es die Straßen womöglich erlauben) und die Fahrzeugtür zu öffnen, um dem Insassen das Einsteigen in das Fahrzeug zu ermöglichen.
  • Als eine noch weitere Alternative, die allein oder in Kombination mit einer oder mehreren anderen hierin bereitgestellten Optionen verwendet werden kann, kann das elektronische Gerät des geplanten Insassen verwendet werden, um ein oder mehrere Bilder zu erzeugen, die das Fahrzeug 110 verwenden kann, um den Insassen zu lokalisieren. Zum Beispiel kann Bildmaterial durch einen Anzeigebildschirm 133 des elektronischen Geräts angezeigt werden und das Fahrzeug 110 kann den Bildsensor 111 beinhalten, der konfiguriert ist, um das Bild von dem elektronischen Gerät durch Erhalten eines Bildes dieses Bildes zu empfangen. Das Verarbeitungssystem 121 kann zum Beispiel ein Bildanforderungssignal über den Sendeempfänger 126 und das drahtlose Netzwerk (und optional auch das eine oder die mehreren Backend-Systeme 140) an das elektronische Gerät 130 übertragen, um vorbestimmtes Bildmaterial anzuzeigen (z. B. kann das Verarbeitungssystem 121 und/oder 141 das vorbestimmte Bildmaterial selbst dem elektronischen Gerät 130 bereitstellen), und das elektronische Gerät 130 kann das Bildmaterial dann in Reaktion auf das Bildanforderungssignal anzeigen. Das Bildmaterial kann zum Beispiel eine ausgewählte Farbe, ein ausgewähltes Muster, ein Blinklichtmuster oder eine ausgewählte Sequenz von Farben oder jedes andere Bild beinhalten, das verwendet werden kann, um das elektronische Gerät 130 eindeutig als zu dem geplanten Insassen gehörend zu identifizieren. In Verbindung mit der Bildanforderung kann der Bildsensor 111 das Bildmaterial erfassen, und das Verarbeitungssystem 121 kann das Bildmaterial verarbeiten, um zu bestätigen, dass es das gleiche wie das vorbestimmte Bildmaterial ist, wodurch der geplante Insasse genau lokalisiert wird.
  • In einigen Konfigurationen kann die Anwendung, die der Insasse verwendet, um das Fahrzeug anzufordern, den geplanten Insassen in Reaktion auf das Bildanforderungssignal dazu veranlassen, das elektronische Gerät 130 so hochzuhalten, dass das auf dem Anzeigebildschirm 133 des Geräts angezeigte Bildmaterial durch den Bildsensor 111 des Fahrzeugs 110 abgebildet werden kann. Die vom Verarbeitungssystem 121 durchgeführte Bildverarbeitung vergleicht das Bild, das der Bildsensor 111 aus dem auf dem Bildschirm 133 angezeigten Bild erhalten hat, mit den Informationen über das Bild, die in Verbindung mit der Bildanforderung erhalten wurden. In Reaktion auf eine Übereinstimmung zwischen dem Bild und den Informationen trifft das Verarbeitungssystem 121 die Entscheidung, den Insassen anzunehmen.
  • Das Fahrzeug kann den Insassen bei all solchen Ansätzen auf Basis sodann auf Basis eines beliebigen geeigneten Authentifizierungsmittels des Insassen durch das Fahrzeug 110 annehmen. Das Fahrzeugverarbeitungssystem 121 kann zum Beispiel ein Bild der Person aufnehmen, von der angenommen wird, dass sie der geplante Insasse ist, und dann eine Bildverarbeitung dieses Bildes zum Vergleich mit einem bekannten Bild des geplanten Insassen durchführen (z. B. bereitgestellt durch die mobile App, die der geplante Insasse verwendet hat, um das Fahrzeug 110 anzufordern), um zu ermitteln, dass ein bestimmter Mensch der geplante Insasse ist. Eine geeignete Bildverarbeitung, die für diesen Zweck auf dem Fachgebiet bekannt ist, wurde oben erwähnt, wie z. B. Scale Invariant Feature Transform (SIFT), Speeded Up Robust Features (SURF) und Features from Accelerated Segment Test (FAST). Alternativ kann der geplante Insasse mithilfe seines elektronischen Geräts 130 aufgefordert werden, einen vorbestimmten Code an einem Touchscreen oder einem Touchpad an einer Außenfläche des Fahrzeugs 110 einzugeben, den das Fahrzeug zur Authentifizierung anerkennt. Nach der Authentifizierung kann das Verarbeitungssystem 121 und/oder 141 das Fahrzeug 110 entriegeln und dem geplanten Insassen Zutritt gewähren.
  • 2 veranschaulicht einen Ablaufplan eines veranschaulichenden Verfahrens 200 zum Lokalisieren eines geplanten Insassen eines autonomen Fahrzeugs gemäß Beispielen der Offenbarung. Es wird angemerkt, dass, wenngleich Operationen des Verfahrens 200, wie in 2 veranschaulicht, in Bezug auf das in 1 veranschaulichte Framework 100 beschrieben sind, derartige Operationen geeigneterweise mit jeder geeigneten Kombination von Hardware und Software, z. B. jedem nicht autonomen oder autonomen Fahrzeug, verwendet werden können.
  • Das in 2 veranschaulichte Verfahren 200 beinhaltet bei einem Block 202 das Bewegen durch das Fahrzeug zu einem ungefähren Standort des geplanten Insassen basierend auf einem Standortsignal, das über ein drahtloses Netzwerk empfangen wird. In Reaktion auf eine Fahrzeuganforderung, die das Standortsignal beinhaltet und am elektronischen Gerät 130 erzeugt und über das drahtlose Netzwerk und das eine oder die mehreren optionalen Backend-Systeme 140 verarbeitet werden kann, wie in 1 veranschaulicht, beispielsweise kann sich das Fahrzeug 110 an einen ungefähren Standort des geplanten Insassen bewegen, wie zuvor hierin beschrieben.
  • Wie unter erneuter Bezugnahme auf 2 ersichtlich, kann das Verfahren 200 in einem Block 204 nach dem Bewegen an den ungefähren Standort des geplanten Insassen das Empfangen eines Bildes von einem elektronischen Gerät des geplanten Insassen durch das Fahrzeug beinhalten, wobei das Bild für die lokale physische Umgebung indikativ ist, z. B. eine lokale Straßenansicht oder Landschaft des geplanten Insassen. Wie unter Bezugnahme auf 1 ausführlicher beschrieben, kann das Fahrzeug 110 jede geeignete Kombination von Bildern von dem elektronischen Gerät 130 über beliebige geeignete Kommunikationsmodi empfangen. Das Bild kann beispielsweise vom Bildgebungssensor 132 des elektronischen Geräts 130 erhalten und vom Fahrzeug 110 über das drahtlose Netzwerk empfangen werden. Das Bild kann eine Ansicht der physischen Umgebung des geplanten Insassen oder eine Ansicht des geplanten Insassen beinhalten, die das Fahrzeug über das drahtlose Netzwerk empfängt, und/oder kann durch das elektronische Gerät 130 angezeigt und durch das Fahrzeug über den Bildsensor 111 empfangen werden. Jede geeignete Anzahl und Art solcher Bilder kann in geeigneter Weise in Kombination miteinander verwendet werden.
  • Das Verfahren 200 kann auch in einem Block 206 das Verarbeiten des Bildes beinhalten, um zusätzliche Standortinformationen des geplanten Insassen zu ermitteln, z. B. einen genaueren Standort des geplanten Insassen, basierend auf einem Bildabgleich des Bildes mit einer Bilddatenbank, die Bilder enthält, die mit Standortmetadaten verknüpft sind. Beispielhafte Bildverarbeitungsansätze zur Durchführung des Bildabgleichs wurden hierin bereits angeführt.
  • Wie unter Bezugnahme auf 2 ersichtlich, kann das Verfahren 200 in einem Block 208 das Annehmen des geplanten Insassen durch das Fahrzeug in Reaktion auf den Empfang des Bildes (206) beinhalten. In einigen Konfigurationen beispielsweise nimmt das Fahrzeug 110 den Insassen basierend auf einer Korrelation zwischen der Ansicht der physischen Umgebung des geplanten Insassen und einem Ort, der einem Referenzbild entspricht, das in einer Bilddatenbank gespeichert ist, und/oder basierend auf einer Korrelation zwischen der Ansicht des geplanten Insassen und der Ansicht des geplanten Insassen, die unter Verwendung des Bildsensors 111 des Fahrzeugs erhalten wurde, an. Außerdem oder alternativ kann das Bild eine ausgewählte Farbe, ein ausgewähltes Muster, ein ausgewähltes Blinklichtmuster oder eine ausgewählte Sequenz von Farben beinhalten, die von der Anzeigevorrichtung 133 des elektronischen Geräts 130 ausgestrahlt wird, und das Fahrzeug 110 nimmt den Insassen basierend auf einer Übereinstimmung zwischen dem ausgestrahlten Bild und Informationen an, die das Fahrzeug 110 bezüglich des Bildes hat, das vom elektronischen Gerät 130 angezeigt werden soll, wie hierin vorstehend beschrieben. Die Annahme des Fahrzeuginsassen kann ferner mit einem anderen Informationsaustausch durch verschiedene Mittel verbunden sein. Die Insassenannahme beispielsweise kann den Austausch eines Entriegelungscodes beinhalten, der vom Fahrzeug durch eine Textnachricht oder eine Pop-Up-Nachricht auf der Smartphone-App an den geplanten Insassen gesendet wird, die die hierin beschriebene Funktionalität bereitstellen, die der Benutzer durch einen geeigneten Fingerwisch- oder Druckvorgang annehmen kann, um die Tür des Fahrzeugs zu öffnen. Bei der Annahme des Insassen kann es sich um eine hörbare Meldung handeln, die dem geplanten Insassen durch die automatisierte Sprachtechnologie des Fahrzeugs angesagt wird, über die der Benutzer bestätigen kann, dass das Fahrzeug tatsächlich das richtige Fahrzeug ist, das für den geplanten Insassen bestimmt ist. Es können auch beliebige andere geeignete Mittel zum Austausch von Informationen zur Bestätigung und Annahme des Insassen verwendet werden.
  • Diese schriftliche Beschreibung beschreibt zwar veranschaulichende Ausführungsform, andere Variationen fallen jedoch in den Umfang der Offenbarung. Die Systeme und Verfahren beispielsweise können Datensignale, die über Netzwerke (z. B. lokales Netzwerk, Großraumnetzwerk, Internet, Kombinationen davon usw.) übertragen werden, faseroptisches Medium, Trägerwellen, drahtlose Netzwerke usw. zur Kommunikation mit einem oder mehreren Datenverarbeitungsgeräten beinhalten und nutzen. Die Datensignale können beliebige oder alle hierin offenbarten Daten führen, die an oder von einem Gerät bereitgestellt werden.
  • Die hierin beschriebenen Verfahren und Systeme können auf vielen verschiedenen Arten von Verarbeitungsgeräten durch Programmcode implementiert werden, der Programmanweisungen umfasst, die durch das Geräteverarbeitungssystem ausführbar sind. Die Softwareprogrammanweisungen können Quellcode, Objektcode, Maschinencode oder andere gespeicherte Daten beinhalten, die betriebsfähig sind, um ein Verarbeitungssystem dazu zu veranlassen, die hierin beschriebenen Verfahren und Vorgänge auszuführen. Es können beliebige geeignete Computersprachen wie C, C++, Java usw. verwendet werden, wie Fachleute auf dem Gebiet verstehen werden. Es können jedoch auch andere Implementierungen verwendet werden, wie beispielsweise Firmware oder auch entsprechend konzipierte Hardware, die zur Ausführung der hierin beschriebenen Verfahren und Systeme konfiguriert ist.
  • In verschiedenen Ausführungsformen kann ein nicht-flüchtiges computerlesbares Medium zur Ausführung des veranschaulichenden Ansatzes Programmanweisungen beinhalten, die ausgelegt sind, um ein Computerverarbeitungssystem dazu zu veranlassen, die oben genannten Schritte auszuführen. Die Daten der Systeme und Verfahren (z. B. Zuordnungen, Kartierungen, Dateneingabe, Datenausgabe, Zwischendatenergebnisse, Enddatenergebnisse usw.) können in einer oder mehreren unterschiedlichen Arten von computerimplementierten Datenspeichern, wie z. B. unterschiedlichen Arten von Speichergeräten und Programmierkonstrukten (z. B. RAM, ROM, Flash-Speicher, Flat-Dateien, Datenbanken, Programmierdatenstrukturen, Programmiervariablen, IF-THEN-Anweisungskonstrukten (oder Konstrukten ähnlicher Art)) gespeichert und implementiert werden. Es wird darauf hingewiesen, dass Datenstrukturen Formate zur Verwendung bei der Organisation und Speicherung von Daten in Datenbanken, Programmen, Speichern oder anderen nicht-flüchtigen computerlesbaren Medien zur Verwendung durch ein Computerprogramm beschreiben.
  • Die hierin beschriebenen Computerkomponenten, Softwaremodule, Funktionen, Datenspeicher und Datenstrukturen können direkt oder indirekt miteinander verbunden werden, um den für ihre Operationen erforderlichen Datenfluss zu ermöglichen. Es wird auch darauf hingewiesen, dass ein Modul oder Prozessor eine Einheit von Code umfasst, der eine Softwareoperation ausführt und beispielsweise als eine Unterroutine-Einheit von Code oder als eine Software-Funktionseinheit von Code oder als ein Objekt (wie in einem objektorientierten Paradigma), oder als ein Applet oder in einer Computerscriptsprache oder als eine andere Art von Computercode implementiert sein kann, ohne jedoch darauf beschränkt zu sein. Die Softwarekomponenten und/oder Funktionalität können sich auf einem einzigen Computer befinden oder je nach vorliegender Situation auf mehrere Computer verteilt sein.
  • Es versteht sich, dass, wie in der Beschreibung hierin und in den nachfolgenden Ansprüchen verwendet, die Bedeutung von „ein“, „eine“, „eines“ und „der/die/das“ eine Bezugnahme im Plural beinhaltet, sofern der Kontext nicht eindeutig etwas anderes vorschreibt. Wie in der Beschreibung hierin und in den folgenden Ansprüchen verwendet, beinhaltet die Bedeutung von „in“ auch „an“ und „auf“, sofern der Kontext nicht eindeutig etwas anderes vorschreibt. Schließlich beinhalten die Bedeutungen von „und“ und „oder“, wie sie in der Beschreibung hierin und in den folgenden Ansprüchen verwendet werden, sowohl den Konjunktiv als auch den Disjunktiv und können austauschbar verwendet werden, sofern der Kontext nicht ausdrücklich etwas anderes vorschreibt; der Ausdruck „ausschließlich oder“ kann verwendet werden, um Situationen anzuzeigen, in denen nur die disjunktive Bedeutung gelten kann. Darüber hinaus bezieht sich die Bedeutung von „etwa“ und/oder „ungefähr“ in der hierin enthaltenen Beschreibung und in den folgenden Ansprüchen auf ± 10 % der angegebenen Menge, sofern nicht anders angegeben.
  • Während die vorliegende Offenbarung in Form von veranschaulichenden Ausführungsformen beschrieben wurde, wird es für Fachleute auf dem Gebiet verständlich sein, dass verschiedene Modifikationen daran vorgenommen werden können, ohne sich vom Umfang des beanspruchten Gegenstands, wie in den Ansprüchen dargelegt, zu entfernen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • „Object recognition from local scale-invariant features‟, Proceedings of the International Conference on Computer Vision, 1999, S. 1150-1157; Bay et al., „Speeded-Up Robust Features (SURF)“, Comput. Vis. Image Understand., Bd. 110, Nr. 3, S. 346-359, Juni 2008 [0023]
    • Rosten et al., „Machine Learning for High-Speed Corner Detection, European Conference on Computer Vision, ECCV 2006: Computer Vision, S. 430-443 [0023]
    • „A survey on Image Matching Methods‟, Krishnan et al., International Journal of Latest Research in Engineering and Technology (IJLRET), Jan. 2016, S. 58-61 [0023]
    • Leibe et al. (Hrsg.), Computer Vision - EECV 2016, Teil VIII, Lecture Notes in Computer Science 9912, S. 37-55 (Springer, 2016) [0024]
    • Arandjelovic et al., „NetVLAD: CNN architecture for weakly supervised place recognition“, 2016 [0024]
    • Computer Vision and Pattern Recognition (CVPR), Las Vegas, Nevada, S. 5297-5307 (2016) [0024]
    • Arandjelovic et al., „NetVLAD: CNN architecture for weakly supervised place recognition“, arXiv: 151 1.07247v3 [cs.CV] 2. Mai 2016, 17 Seiten (abgerufen unter https://arxiv.org/abs/1511.07247 [0024]

Claims (20)

  1. Verfahren zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs, das Verfahren umfassend: Bewegen eines Kraftfahrzeugs zu einem ungefähren Standort eines geplanten Insassen basierend auf einem Standortsignal von dem geplanten Insassen, das über ein drahtloses Netzwerk empfangen wird; Empfangen eines Bildes von einem elektronischen Gerät des geplanten Insassen durch das Fahrzeug nach dem Bewegen an den ungefähren Standort des geplanten Insassen, wobei das Bild ein Bild des geplanten Insassen oder ein Bild einer lokalen physischen Umgebung des geplanten Insassen ist; Verarbeiten des Bildes, um zusätzliche Standortinformationen des geplanten Insassen basierend auf dem Abgleichen des Bildes mit einem oder mehreren Referenzbildern zu ermitteln, und Annehmen des geplanten Insassen in Reaktion auf die Bildverarbeitung durch das Fahrzeug.
  2. Verfahren nach Anspruch 1, wobei das Bild durch einen Bildsensor des elektronischen Geräts erhalten wird und durch das Fahrzeug über das drahtlose Netzwerk empfangen wird.
  3. Verfahren nach Anspruch 2, wobei das Bild eine Ansicht der lokalen Straßenansicht oder der lokalen Landschaft am Standort des geplanten Insassen beinhaltet.
  4. Verfahren nach Anspruch 3, wobei das Fahrzeug den Insassen basierend auf einer Korrelation zwischen dem Bild von dem geplanten Insassen und einem Referenzbild annimmt, das in einer Bilddatenbank gespeicherten Ortsmetadaten zugeordnet ist.
  5. Verfahren nach Anspruch 1, wobei das Bild eine erste Ansicht des geplanten Insassen beinhaltet.
  6. Verfahren nach Anspruch 5, ferner umfassend das Erhalten einer zweiten Ansicht des geplanten Insassen durch das Fahrzeug unter Verwendung eines Bildsensors des Fahrzeugs, wobei das Fahrzeug den Insassen basierend auf einer Korrelation zwischen der ersten Ansicht und der zweiten Ansicht annimmt.
  7. Verfahren nach Anspruch 1, wobei: das Bild von einem Anzeigebildschirm des elektronischen Geräts angezeigt wird; und das Fahrzeug das Bild unter Verwendung eines Bildsensors des Fahrzeugs empfängt, um ein Bild dieses Bildes zu erhalten.
  8. Verfahren nach Anspruch 7, wobei: das Fahrzeug ein Bildanforderungssignal über das drahtlose Netzwerk an das elektronische Gerät sendet; und das elektronische Gerät das Bild in Reaktion auf das Bildanforderungssignal erzeugt.
  9. Verfahren nach Anspruch 7, wobei das Bild eine ausgewählte Farbe, ein ausgewähltes Muster, ein ausgewähltes Blinklichtmuster oder eine ausgewählte Sequenz von Farben beinhaltet.
  10. Verfahren nach Anspruch 1, wobei das Standortsignal eine globale Positionsbestimmungssystem-Koordinate (GPS-Koordinate) des geplanten Insassen beinhaltet.
  11. Fahrzeugbasiertes System zum Lokalisieren eines geplanten Insassen eines Kraftfahrzeugs, das System umfassend: einen drahtlosen Sendeempfänger, der konfiguriert ist, um ein Standortsignal über ein drahtloses Netzwerk zu empfangen; einen Bildsensor zum Erfassen von Bildmaterial in der Nähe des Kraftfahrzeugs; ein Navigationssystem zum Bereitstellen einer Führung zum Bewegen des Fahrzeugs an einen ungefähren Standort des geplanten Insassen basierend auf dem Standortsignal; und ein Computerverarbeitungssystem, das so konfiguriert ist, dass es ein Bild von einem elektronischen Gerät des geplanten Insassen empfängt, nachdem das Fahrzeug an den ungefähren Ort des geplanten Insassen bewegt wurde, wobei das Bild ein Bild des geplanten Insassen oder ein Bild einer lokalen physischen Umgebung des geplanten Insassen ist, und Verarbeiten des Bildes, um zusätzliche Standortinformationen des geplanten Insassen basierend auf einem Abgleich des Bildes mit einem oder mehreren Referenzbildern zu ermitteln, wobei das Computerverarbeitungssystem so konfiguriert ist, dass es den geplanten Insassen in Reaktion auf die Bildverarbeitung annimmt.
  12. System nach Anspruch 11, wobei das Bild durch einen Bildsensor des elektronischen Geräts erhalten wird und durch den Sendeempfänger über das drahtlose Netzwerk empfangen wird.
  13. System nach Anspruch 12, wobei das Bild eine Ansicht der lokalen Straßenansicht oder lokalen Landschaft des geplanten Insassen beinhaltet.
  14. System nach Anspruch 13, wobei: das Computerverarbeitungssystem konfiguriert ist, um die Ansicht und einen Standort, die bzw. der einem in einer Bilddatenbank gespeicherten Referenzbild entspricht, zu korrelieren; und das Computerverarbeitungssystem konfiguriert ist, um den Insassen basierend auf der Korrelation anzunehmen.
  15. System nach Anspruch 11, wobei das Bild eine erste Ansicht des geplanten Insassen beinhaltet.
  16. System nach Anspruch 12, wobei: der Bildsensor konfiguriert ist, um eine zweite Ansicht des geplanten Insassen zu erhalten; das Verarbeitungssystem konfiguriert ist, um die erste Ansicht und die zweite Ansicht zu korrelieren; und das Verarbeitungssystem konfiguriert ist, um den Insassen basierend auf der Korrelation anzunehmen.
  17. System nach Anspruch 11, wobei: das Bild von einem Anzeigebildschirm des elektronischen Geräts angezeigt wird; und der Bildsensor konfiguriert ist, um ein Bild des auf dem Bildschirm des elektronischen Geräts angezeigten Bildes zu erfassen.
  18. System nach Anspruch 17, wobei: das Verarbeitungssystem so konfiguriert ist, dass es eine Übertragung eines Bildanforderungssignals an das elektronische Gerät über den Sendeempfänger und das drahtlose Netzwerk veranlasst; und das elektronische Gerät das Bild in Reaktion auf das Bildanforderungssignal erzeugt.
  19. System nach Anspruch 17, wobei das Bild eine ausgewählte Farbe, ein ausgewähltes Muster, ein ausgewähltes Blinklichtmuster oder eine ausgewählte Sequenz von Farben beinhaltet.
  20. System nach Anspruch 11, wobei das Standortsignal eine globale Positionsbestimmungssystem-Koordinate (GPS-Koordinate) des geplanten Insassen beinhaltet.
DE102021206075.7A 2020-06-30 2021-06-15 Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge Pending DE102021206075A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/917,440 2020-06-30
US16/917,440 US11377125B2 (en) 2020-06-30 2020-06-30 Vehicle rideshare localization and passenger identification for autonomous vehicles

Publications (1)

Publication Number Publication Date
DE102021206075A1 true DE102021206075A1 (de) 2021-12-30

Family

ID=78827196

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021206075.7A Pending DE102021206075A1 (de) 2020-06-30 2021-06-15 Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge

Country Status (3)

Country Link
US (1) US11377125B2 (de)
CN (1) CN113950020A (de)
DE (1) DE102021206075A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11624630B2 (en) * 2019-02-12 2023-04-11 International Business Machines Corporation Using augmented reality to present vehicle navigation requirements
KR20220168460A (ko) * 2021-06-16 2022-12-23 현대자동차주식회사 자율 주행 차량 위치 제공 장치 및 그 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201328340A (zh) * 2011-12-27 2013-07-01 Hon Hai Prec Ind Co Ltd 乘客攔車提示系統及方法
US9157748B2 (en) * 2012-07-31 2015-10-13 Flatiron Apps LLC System and method for hailing taxicabs
US20160378303A1 (en) * 2015-06-23 2016-12-29 Todd Crilley Mobile device system for hailing a taxi cab
CN105206045B (zh) * 2015-09-28 2017-10-27 深圳峰创智诚科技有限公司 租车安全保障方法及系统和移动终端
US10088846B2 (en) * 2016-03-03 2018-10-02 GM Global Technology Operations LLC System and method for intended passenger detection
US10043396B2 (en) * 2016-09-13 2018-08-07 Ford Global Technologies, Llc Passenger pickup system and method using autonomous shuttle vehicle
CN106646566A (zh) * 2017-01-03 2017-05-10 京东方科技集团股份有限公司 乘客定位方法、装置及系统
US10837788B1 (en) * 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
US11175156B2 (en) * 2018-12-12 2021-11-16 Ford Global Technologies, Llc Method and apparatus for improved location decisions based on surroundings
DE102018222665B4 (de) * 2018-12-20 2022-06-02 Volkswagen Aktiengesellschaft Autonom fahrendes Taxi sowie Verfahren zum Betrieb eines autonom fahrenden Taxis
US11412350B2 (en) * 2019-09-19 2022-08-09 Apple Inc. Mobile device navigation system
US20210150419A1 (en) * 2019-11-15 2021-05-20 Lyft, Inc. Systems and methods for determining rideable vehicle locations

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
„A survey on Image Matching Methods‟, Krishnan et al., International Journal of Latest Research in Engineering and Technology (IJLRET), Jan. 2016, S. 58-61
„Object recognition from local scale-invariant features‟, Proceedings of the International Conference on Computer Vision, 1999, S. 1150-1157; Bay et al., „Speeded-Up Robust Features (SURF)", Comput. Vis. Image Understand., Bd. 110, Nr. 3, S. 346-359, Juni 2008
Arandjelovic et al., „NetVLAD: CNN architecture for weakly supervised place recognition", 2016
Arandjelovic et al., „NetVLAD: CNN architecture for weakly supervised place recognition", arXiv: 151 1.07247v3 [cs.CV] 2. Mai 2016, 17 Seiten (abgerufen unter https://arxiv.org/abs/1511.07247
Computer Vision and Pattern Recognition (CVPR), Las Vegas, Nevada, S. 5297-5307 (2016)
Leibe et al. (Hrsg.), Computer Vision - EECV 2016, Teil VIII, Lecture Notes in Computer Science 9912, S. 37-55 (Springer, 2016)
Rosten et al., „Machine Learning for High-Speed Corner Detection, European Conference on Computer Vision, ECCV 2006: Computer Vision, S. 430-443

Also Published As

Publication number Publication date
CN113950020A (zh) 2022-01-18
US20210403055A1 (en) 2021-12-30
US11377125B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP3105547B1 (de) Verfahren zur ermittlung der absoluten position einer mobilen einheit und mobile einheit
EP3491417B1 (de) Verfahren und system zum erfassen von landmarken in einem verkehrsumfeld einer mobilen einheit
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
EP2769373B1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
DE102019112002A1 (de) Systeme und verfahren zur automatischen detektion von anhängereigenschaften
DE112019001832T5 (de) Strassenmarkierungsdetektionsverfahren
DE112019002080T5 (de) Systeme und verfahren zur stellungsbestimmung
DE102015201951A1 (de) System und Verfahren zum Kartieren, Lokalisieren und Korrigieren einer Raumlage
DE102014223363A1 (de) Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
DE112018003986T5 (de) Steuervorrichtung, steuerverfahren, programm und mobileinheit
DE102020200843A1 (de) Lokalisierung mit neuronalen Netz basierend auf Bildregistrierung von Sensordaten und Kartendaten
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
DE102021206075A1 (de) Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102021116356A1 (de) Einstellung von zielen in fahrzeugnavigationssystemen basierend auf bildmetadaten von tragbaren elektronischen vorrichtungen und von aufgenommenen bildern unter verwendung von nullklick-navigation
DE112021006402T5 (de) Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten
DE112021006101T5 (de) Systeme und Verfahren zur Objektdetektion mit LiDAR-Dekorrelation
DE102019114578A1 (de) Wahrnehmungsunsicherheitsmodellierung aus tatsächlichen wahrnehmungssystemen für autonomes fahren
DE102020100230A1 (de) Rekonstruktion von landmarkenpositionen in autonomen maschinenanwendungen
WO2021009165A1 (de) Verfahren und kommunikationssystem zur unterstützung einer wenigstens teilweise automatischen fahrzeugsteuerung
DE102022202548B3 (de) Verfahren zum Trainieren eines Computerprogrammprodukts
DE102023102645A1 (de) Lokalisierung von fahrzeugen
DE102021209575B3 (de) Verfahren und Assistenzeinrichtung zum Unterstützen von Fahrzeugfunktionen in einem Parkraum und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed