EP3785192A1 - Verfahren und fahrzeugsystem zur passagiererkennung durch autonome fahrzeuge - Google Patents

Verfahren und fahrzeugsystem zur passagiererkennung durch autonome fahrzeuge

Info

Publication number
EP3785192A1
EP3785192A1 EP19703081.0A EP19703081A EP3785192A1 EP 3785192 A1 EP3785192 A1 EP 3785192A1 EP 19703081 A EP19703081 A EP 19703081A EP 3785192 A1 EP3785192 A1 EP 3785192A1
Authority
EP
European Patent Office
Prior art keywords
person
transported
vehicle
autonomous vehicle
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19703081.0A
Other languages
English (en)
French (fr)
Inventor
Gregor Blott
Robert Borchers
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3785192A1 publication Critical patent/EP3785192A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0024—Planning or execution of driving tasks with mediation between passenger and vehicle requirements, e.g. decision between dropping off a passenger or urgent vehicle service
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2240/00—Transportation facility access, e.g. fares, tolls or parking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for passenger detection by a
  • Vehicles are taken while the driver is in the interior.
  • the autonomous vehicle can travel a defined distance even without a driver or occupant, for example to pick up occupants at a defined starting point, such as a holding area, and bring them to a defined destination, such as another holding area.
  • a defined starting point such as a holding area
  • a defined destination such as another holding area.
  • the parking situation in big cities is problematic in many places, so that sometimes long distances between a parking lot and the actual destination on foot have to be mastered.
  • the object underlying the invention can be seen to propose a method and a vehicle system for the precise identification and picking up of a passenger by autonomous vehicles.
  • a method for passenger detection by an autonomous vehicle is provided.
  • at least one photo of the person to be transported is transmitted to a central server.
  • the autonomous vehicle is controlled or approximated to the previously determined approximate position of the person to be transported.
  • the identity of the ascertained person to be transported is checked in a further step.
  • the autonomous vehicle is positioned in an entry area of the person to be transported.
  • the passenger or driver (hereinafter, the driver also as a passenger considered) get on or off, stop on open spaces and wait for the completed passenger transfer.
  • the driver In the case of boarding, it is customary to wait for previously agreed stop positions. In this case, either the passenger first arrives at the agreed place and waits for the vehicle or the vehicle arrives in front of the passenger at the agreed place and waits for the arrival of the passengers.
  • the autonomous driving opens up new dynamic possibility to determine the passenger transfer location, where the driver is also transferred as a passenger or
  • the method according to the invention is a photo of the male passenger, for example, using a smartphone and an app
  • the system then knows who needs to be recovered or picked up and what it looks like.
  • the initial recording by smartphone can also be achieved by any other camera systems.
  • the passenger initiates a pickup, he can tell the system his rough position.
  • the GPS signal of his smartphone can be used to approximate the approximate position of the smartphone
  • the autonomous vehicle can roughly approach the passenger at the specified time.
  • the on-board sensors such as cameras, but also
  • Off-board cameras which are also networked with the cloud, can be used to find the person around the roughly predetermined position.
  • a dynamic stop positions for a quick and uncomplicated passenger exchange or a passenger reception by an autonomous vehicle can be determined and implemented.
  • the autonomous vehicle can visit and transfer passengers everywhere without parking.
  • the autonomous vehicle only has to hold for this. Since the autonomous vehicle the passenger or passengers after gross
  • Search area default alone, passengers no longer have to wait at predetermined parking spaces for the vehicles. For example, a passenger may walk along a road previously announced to the system and the autonomous vehicle would find the passenger alone and stop beside him to facilitate passenger transfer.
  • a function may be implemented in an autonomous vehicle or system by which the driver and / or passengers are detected, retrieved, and located from an image of the scene to communicate the exact position for passenger communication to the autonomous vehicle , The precise
  • Localization of the person to be transported can be done on the basis of color and / or texture features and / or based on a gait of the person.
  • a video of the person can be evaluated by an in-vehicle or external control unit, and the identity of the person can thus be determined on the basis of movement patterns.
  • the person to be transported can thereby be identified within an environment or a large number of persons and thus also be located.
  • machine learning, computer vision, deep learning, and the like can be used to recognize people by gait.
  • the in-vehicle sensor system has at least one camera, a LIDAR sensor and / or at least one radar sensor.
  • the in-vehicle sensor technology can also provide a 360 ° all-round view.
  • the environment can be scanned or searched with regard to the color and texture characteristics of the passenger sought.
  • This can be used to tell the system which person needs to be found again and what it looks like.
  • the initial recording by smartphone can also be achieved by other camera systems with high integrity.
  • the approximate position can be sent to the autonomous vehicle through text messages, such as SMS, e-mail or through
  • Voice messages of the passenger to be transported are communicated.
  • the passenger can thus communicate an address, a road, an environment, distinctive points or landmarks and the like to the autonomous vehicle as an approximate position.
  • a detailed search for example by the vehicle sensor system, can be initiated and thus an exact position of the passenger by the autonomous vehicle can be determined.
  • the GPS signal of a portable device of the passenger can be used to obtain the rough localization.
  • a plannable pick-up of the passenger can be realized by reading an electronic calendar, in which the passenger is automatically expected from the autonomous vehicle at a desired location depending on defined deadlines.
  • the approximate determination of the position of the person to be transported is carried out by an internal control unit or an external server unit.
  • This allows the vehicle itself to do the necessary calculations through controllers or outsource compute-intensive tasks to the external server unit.
  • This can be for example a face recognition by complex algorithms or an evaluation of extensive vehicle-external determined image data.
  • files are accessed by the autonomous vehicle of at least one vehicle-external sensor system. Through networked infrastructure sensors and vehicle sensors from other vehicles, other autonomous vehicles could continue to do so
  • passenger-receiving vehicle are informed and early on the plan trajectory adjusted so that a smooth flow of traffic is made possible. Furthermore, based on such a networking and fusion of the sensors, a data exchange can be realized, which enables a faster and / or more precise identification and location of the passenger.
  • Person identification and personalization for the autonomous vehicle provides access to stored in a cloud files.
  • the autonomous vehicle can access collected data of other road users or traffic units and perform, for example, the identification or location of the passenger.
  • the person recognition on the basis of color and texture features and a
  • Person identification and personal location for the autonomous vehicle provides access to sensors and search functions and / or data exchange with stored data of other vehicles.
  • sensors for the detection recognition and localization of the person primarily onboard cameras of the vehicle can be used.
  • external video surveillance cameras eg on light poles or on house walls
  • various networked collaborative vehicles can jointly send their sensor data to a cloud to recognize people for whom you each have no driving assignments and thus contribute to an optimized stability of the system.
  • the person to be transported when not finding by the autonomous
  • a notification may preferably be communicated to the passenger. Subsequently, a renewed approximate position can be transmitted to the vehicle by the passenger, as a result of which the method can again be performed at least partially by the vehicle.
  • a vehicle system for carrying out the method according to the invention is provided.
  • Vehicle system has at least one autonomous vehicle with a
  • the vehicle system may also have an optional usable
  • Fig. 1 is a schematic flow diagram for illustrating a
  • Fig. 2 is a schematic plan view of an inventive
  • FIG. 1 shows a schematic flowchart for illustrating a method 1 according to the invention according to an embodiment.
  • the structural features relate to a vehicle system 10 according to the invention, which is shown in FIG.
  • a step 2 at least one photo of a person to be transported is transmitted to a central server 12 of a vehicle system 10.
  • a central server 12 of a vehicle system 10. This can be for example a so-called selfie of a passenger 14, which is transmitted to a cloud 12 or a vehicle-external server unit 12.
  • Detection data of the person 14 can be generated in the external server unit 12.
  • an approximate position of the person to be transported 14 It is determined in a further step 3, an approximate position of the person to be transported 14.
  • the approximate position may be, for example, a road or an environment of the person 14 at which it is to be picked up by an autonomous vehicle 16.
  • Approximate position can be determined, for example, by using a GPS signal of a portable device of the passenger 14.
  • a GPS signal of a portable device of the passenger 14 In a civilian use of GPS sensors, however, an inaccuracy of at least several meters remain, which may be more pronounced by local circumstances.
  • the autonomous vehicle 16 is controlled or approximated to the previously determined approximate position of the person 14 to be transported.
  • the sensor 18 is with a
  • In-vehicle control unit 20 is coupled and can be evaluated by the control unit 20.
  • the control unit 20 further includes a communication device, not shown, through which a wireless Communication link with the external server unit 12 can be made.
  • the server unit 12 communicates with a sensor of the
  • the identity of the ascertained person 14 to be transported is checked in a further step 6.
  • the autonomous vehicle 16 is positioned in an entry area of the person 14 to be transported.
  • the procedure is divided into two areas: a short-range and a long-range.
  • the near range is the area in which the face of the passenger 14 is so close to the camera or a vehicle sensor system 18 that a face re-recognition method can be used. Within this range, the probability of not being confused with person 14 is very high.
  • the far-end area is the area in which the face of the passenger 14 is so far away from the camera 18 that no face recognition methods can be used. In the far range, color and texture features from the images are used to recognize the person.
  • the system 10 must consider several potential passengers in the far-end area, depending on the density of people in the scene, until recognition in
  • the autonomous vehicle may adjust its desired trajectory to travel alongside the passenger 14 hold that the door provided for him comes to stand next to him 14 and the passenger 14 can effortlessly get into the vehicle 16.
  • Passenger's smartphone 14 requesting that he look towards the street, whereby his face can be recognized.
  • the vehicle 16 continues to drive so as not to block traffic unnecessarily long.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

Offenbart ist ein Verfahren zur Passagiererkennung durch ein autonomes Fahrzeug wobei, ein Fotos der zu transportierenden Person an einen zentralen Server übermittelt wird, eine näherungsweisen Position der zu transportierenden Person bestimmt wird, das autonome Fahrzeug an die zuvor bestimmte Position angenähert wird, eine exakte Position der zu transportierenden Person anhand von Färb- und Texturmerkmalen und/oder anhand von einer Gangart durch fahrzeuginterne Sensorik ermittelt wird, die Identität der ermittelten zu transportierenden Person durch eine Gesichtserkennung überprüft wird und das autonome Fahrzeug in einem Einstiegsbereich der zu transportierenden Person positioniert wird.

Description

Beschreibung
Titel
Verfahren und Fahrzeuqsvstem zur Passaqiererkennunq durch autonome
Fahrzeuge
Die Erfindung betrifft ein Verfahren zur Passagiererkennung durch ein
autonomes Fahrzeug sowie ein Fahrzeugsystem zum Durchführen des
Verfahrens.
Stand der Technik
Aufgrund ihrer vielen positiven Eigenschafften gewinnen autonome Fahrzeuge zunehmend an Bedeutung. Autonome Fahrzeuge sind bereits mit einer Vielzahl an Sensoren ausgestattet und greifen zur Ermittlung einer geeigneten und sicheren Trajektorie auf Sensordaten, Fahrzeugkameras und GPS-Daten zurück. Bisherige Konzepte sehen vor, dass die Fahrfunktionen von autonomen
Fahrzeugen übernommen werden, während sich der Fahrer im Innenraum befindet. Alternativ kann das autonome Fahrzeug auch ohne Fahrer oder Insassen eine definierte Strecke abfahren, beispielsweise um Insassen an einem definierten Startpunkt, wie einer Haltefläche, abzuholen und an ein definiertes Ziel, wie eine weitere Haltefläche, zu bringen. Die Parksituation in Großstädten ist vielerorts problematisch, sodass zum Teil lange Strecken zwischen einem Parkplatz und dem eigentlichen Zielort zu Fuß bewältigt werden müssen.
Insbesondere für körperlich eingeschränkte Personen, aber auch für junge Familien mit Kindern oder im Falle eines zu transportierenden, schweren
Gepäckstücks können lange Wege eine starke Belastung sein.
Eine individuelle Abholung eines Fahrers oder Passagiers durch ein autonomes Fahrzeug an einem variabel wählbaren oder sich dynamisch verändernden Ort ist derzeit nicht bekannt. Insbesondere das Auffinden und eindeutige
Identifizieren des Fahrers oder eines bestimmten Insassen in einer Menschenmenge oder einer Gruppe von Menschen am Straßenrand stellen hierbei eine besondere technische Herausforderung dar.
Offenbarung der Erfindung
Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren und ein Fahrzeugsystem zum präzisen Identifizieren und Abholen eines Passagiers durch autonome Fahrzeuge vorzuschlagen.
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
Nach einem Aspekt der Erfindung wird ein Verfahren zur Passagiererkennung durch ein autonomes Fahrzeug bereitgestellt. In einem Schritt wird mindestens ein Foto der zu transportierenden Person an einen zentralen Server übermittelt.
Es wird in einem weiteren Schritt eine näherungsweise Position der zu transportierenden Person bestimmt.
Es wird das autonome Fahrzeug an die zuvor bestimmte näherungsweise Position der zu transportierenden Person gesteuert bzw. an die Position angenähert.
Anschließend oder währenddessen wird die exakte Position der zu
transportierenden Person anhand von Färb- und Texturmerkmalen und/oder anhand von einer Gangart durch fahrzeuginterne Sensorik ermittelt.
Durch eine Gesichtserkennung wird in einem weiteren Schritt die Identität der ermittelten zu transportierenden Person überprüft.
Schließlich wird das autonome Fahrzeug in einem Einstiegsbereich der zu transportierenden Person positioniert.
In heutigen Zeiten müssen Fahrer ihre nicht autonomen Fahrzeuge, für den Fall, das Passagiere oder Fahrer (nachfolgend wird der Fahrer auch als Passagier betrachtet) aus- oder einsteigen, auf dafür freigegebenen Freiflächen anhalten und auf den abgeschlossenen Passagiertransfer warten. Für den Fall des Einsteigens ist es üblich auf zuvor vereinbarten Haltepositionen zu warten. Dabei trifft entweder der Passagier zuerst am vereinbarten Ort ein und wartet auf das Fahrzeug oder das Fahrzeug trifft vor dem Passagier am vereinbarten Ort ein und wartet auf das Eintreffen des Passagiert. Mit dem Autonomen Fahren eröffnet sich neue dynamische Möglichkeit den Passagiertransferort zu bestimmen, wobei der Fahrer ebenfalls als Passagier transferiert bzw.
transportiert werden kann und das Fahrzeug autonom und ohne Fahrer, den Fahrer aufsuchen kann.
Bei dem erfindungsgemäßen Verfahren wird ein Foto des aufzunehmenden Passagiers beispielsweise mit Hilfe eines Smartphones und einer App
aufgenommen und an einen zentralen Server übermittelt. Dem System ist daraufhin bekannt, wer überhaupt wiedergefunden bzw. abgeholt werden muss und wie er aussieht. Die Erstaufnahme per Smartphone kann auch durch beliebige andere Kamerasysteme erzielt werden.
Leitet der Passagier einen Abholvorgang ein, kann er dem System seine grobe Position mitteilen. Alternativ kann das GPS Signal seines Smartphones verwendet werden, um die grobe bzw. näherungsweise Position von dem
Passagier oder dem gewünschten Ort zu erhalten. Das autonome Fahrzeug kann sich zum festgelegten Zeitpunkt grob dem Passagier annähern.
Die bordeigenen Sensoren, wie beispielsweise Kameras, aber auch
fahrzeugexterne Kameras, welche auch mit der Cloud vernetzt sind, können eingesetzt werden, um die Person um die grob vorgegebene Position herum zu finden.
Hierdurch kann eine dynamisch Haltepositionen für einen schnellen und unkomplizierten Passagieraustausch bzw. eine Passagieraufnahme durch ein autonomes Fahrzeug bestimmt und umgesetzt werden. Das autonome Fahrzeug kann überall seine Passagiere aufsuchen und transferieren ohne zu parken. Das autonome Fahrzeug muss hierfür lediglich halten. Da das autonome Fahrzeug den oder die Passagiere nach grober
Suchbereichsvorgabe alleine findet, müssen die Passagiere nicht mehr an vorher festgelegten Parkplätzen auf die Fahrzeuge warten. Ein Passagier kann beispielsweise eine Straße entlang laufen, die zuvor dem System bekannt gegeben wurde und das autonome Fahrzeug würde den Passagier alleine finden und neben ihm anhalten, um den Passagiertransfer zu ermöglichen.
Mittels einer Personenwiedererkennung kann eine Funktion in ein autonomes Fahrzeug bzw. ein Fahrsystem implementiert werden, durch welche der Fahrer und/oder die Passagiere ausgehend von einem Bild der Szene detektiert, wiedergefunden und lokalisiert werden, um dem autonomen Fahrzeug die genaue Position für den Passagieraustausch mitzuteilen. Die präzise
Lokalisierung der zu transportierenden Person kann dabei anhand von Farb- und/oder Texturmerkmalen und/oder anhand von einer Gangart der Person erfolgen. Beispielsweise kann neben einem sogenannten Selfie ein Video der Person von einer fahrzeuginternen oder -externen Steuereinheit ausgewertet werden und somit basierend auf Bewegungsmustern die Identität der Person ermittelt werden. Insbesondere kann hierdurch die zu transportierende Person innerhalb einer Umgebung oder einer Vielzahl an Personen identifiziert und somit auch lokalisiert werden. Für die Wiedererkennung von Personen anhand des Ganges kann beispielsweise maschinelles Lernen, Computer Vision, Deep Learning und dergleichen eingesetzt werden.
Zusätzlich ist durch das Verfahren möglich, dass körperlich eingeschränkte Personen vom autonomen Fahrzeug genau an der Position aufgenommen werden, ab der sie ihre Position nicht mehr aus eigener Kraft verändern können.
Nach einem Ausführungsbeispiel des Verfahrens weist die fahrzeuginterne Sensorik mindestens eine Kamera, einen LIDAR-Sensor und/oder mindestens einen Radarsensor auf. Die fahrzeuginterne Sensorik kann dabei auch eine 360° Rundumsicht ermöglichen. Durch die Sensorik kann das Umfeld im Hinblick auf Färb- und Texturmerkmale des gesuchten Passagiers abgetastet bzw. abgesucht werden.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird das Portrait- Foto der zu transportierenden Person mit einem tragbaren Gerät mit bildaufnehmenden Funktionen oder einer App durch die zu transportierenden Person aufgenommen und an das autonome Fahrzeug direkt oder indirekt übermittelt. Hierdurch kann dem System übermittelt werden, welche Person wiedergefunden werden muss und wie sie aussieht. Die Erstaufnahme per Smartphone kann auch durch andere Kamerasysteme mit hoher Integrität erzielt werden.
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird eine
annäherungsweise Bestimmung der Position der zu transportierenden Person durch einen Zugriff auf die GPS-Daten des tragbaren Gerät mit
bildaufnehmenden Funktionen oder durch Übermittlung eines Aufenthaltsortes durchgeführt. Die näherungsweise Position kann dem autonomen Fahrzeug durch Textnachrichten, wie beispielsweise SMS, E-Mail oder durch
Sprachnachrichten des zu transportierenden Passagiers mitgeteilt werden. Der Passagier kann somit eine Adresse, eine Straße, eine Umgebung bzw. ein Umfeld, markante Punkte oder Sehenswürdigkeiten und dergleichen dem autonomen Fahrzeug als näherungsweise Position mitteilen. Bei einem Erreichen dieser mitgeteilten Position kann eine Detailsuche, beispielsweise durch die Fahrzeugsensorik, initiiert werden und somit eine exakte Position des Passagiers durch das autonome Fahrzeug ermittelt werden. Alternativ oder zusätzlich kann das GPS Signal eines tragbaren Geräts des Passagiers verwendet werden, um die grobe Lokalisierung zu erhalten.
Des Weiteren kann eine planbare Abholung des Passagiers durch ein Auslesen eines elektronischen Kalenders realisiert werden, bei welcher der Passagier abhängig von definierten Terminen automatisiert vom autonomen Fahrzeug an einem gewünschten Ort erwartet wird.
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird die ungefähre Bestimmung der Position der zu transportierenden Person von einer internen Steuereinheit oder einer externen Servereinheit durchgeführt. Hierdurch kann das Fahrzeug die erforderlichen Berechnungen selbst durch Steuergeräte erledigen oder rechenintensive Aufgaben auf die externe Servereinheit auslagern. Dies kann beispielsweise eine Gesichtserkennung durch komplexe Algorithmen oder eine Auswertung von umfangreichen fahrzeugextern ermittelten Bilddaten sein. Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird zum Ermitteln der Position der zu transportierenden Person und zur Überprüfung der Identität der ermittelten zu transportierenden Person durch das autonome Fahrzeug auf Dateien mindestens einer fahrzeugexternen Sensorik zugegriffen. Durch vernetzte Infrastruktursensorik und Fahrzeugsensorik von anderen Fahrzeugen kann könnten weiterhin andere autonome Fahrzeuge über das
passagieraufnehmende Fahrzeug informiert werden und frühzeitig die Plan- Trajektorie so anpassen, dass ein reibungsloser Verkehrsfluss ermöglicht wird. Des Weiteren kann basierend auf einer derartigen Vernetzung und Fusion der Sensoren ein Datenaustausch realisiert werden, welcher eine schnellere und/oder präzisere Identifizierung und Ortung des Passagiers ermöglichen.
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird zur
Personenerkennung und zur Personenlokalisierung für das autonome Fahrzeug ein Zugriff auf in einer Cloud hinterlegte Dateien bereitgestellt. Hierdurch kann das autonome Fahrzeug auf gesammelte Daten anderer Verkehrsteilnehmer oder Verkehrseinheiten zugreifen und beispielsweise die Identifizierung bzw. Ortung des Passagiers durchführen.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens werden die Personenerkennung anhand von Färb- und Texturmerkmalen und eine
Gesichtserkennung durch externe Servereinheit oder durch eine fahrzeuginterne Steuereinheit durchgeführt. Hierdurch können rechenintensive Schritte des Verfahrens auf stationäre Rechnereinheiten der externen Servereinheit ausgelagert werden, wodurch die fahrzeuginternen Steuereinheiten weniger leistungsstark ausgelegt sein können. Hierdurch kann eine preiswerter ausgestaltete Fahrzeugausstattung eingesetzt werden.
Nach einem weiteren Ausführungsbeispiel des Verfahrens wird zur
Personenerkennung und zur Personenlokalisierung für das autonome Fahrzeug ein Zugriff auf Sensoren und Suchfunktionen und/oder Datenaustausch mit gespeicherten Daten anderer Fahrzeuge bereitgestellt.
Als Sensoren für die Detektion, Wiedererkennung und Lokalisierung der Person können primär bordeigene Kameras des Fahrzeuges eingesetzt werden. Alternativ oder zusätzlich können externe Videoüberwachungskameras (z.B. auf Lichtmasten oder an Häuserwänden) im Rahmen des Verfahrens eingesetzt werden. Ebenfalls in einer weiteren Ausbaustufe können verschiedene vernetzte kollaborierende Fahrzeuge gemeinsam ihre Sensordaten an eine Cloud senden, um Personen wiederzuerkennen, für die Sie jeweils keine Fahraufträge haben und somit zu einer optimierten Stabilität des Systems beitragen.
Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird die zu transportierenden Person bei einem Nichtauffinden durch das autonome
Fahrzeug benachrichtigt. Wird die Identifizierung und Ortung des Passagiers durch das autonome Fahrzeug abgebrochen oder weist einen Fehler auf, so kann vorzugsweise eine Benachrichtigung dem Passagier mitgeteilt werden. Anschließend kann eine erneute näherungsweise Position dem Fahrzeug durch den Passagier übermittelt werden, wodurch das Verfahren erneut vom Fahrzeug zumindest teilweise durchgeführt werden kann.
Nach einem weiteren Aspekt der Erfindung wird ein Fahrzeugsystem zum Durchführen des erfindungsgemäßen Verfahrens bereitgestellt. Das
Fahrzeugsystem weist mindestens ein autonomes Fahrzeug mit einer
Fahrzeugsensorik und einer fahrzeuginternen Steuereinheit auf. Des Weiteren weist das Fahrzeugsystem eine fahrzeugexterne Servereinheit auf. Über Kommunikationseinheiten kann das mindestens eine autonome Fahrzeug mit der Servereinheit eine datenleitende Kommunikationsverbindung hersteilen. Das Fahrzeugsystem kann darüber hinaus eine optional verwendbare
Infrastruktursensorik aufweisen, welche von der Servereinheit auswertbar ist.
Im Folgenden werden anhand von stark vereinfachten schematischen
Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
Fig. 1 ein schematisches Ablaufdiagramm zum Veranschaulichen eines
erfindungsgemäßen Verfahrens gemäß einer Ausführungsform und
Fig. 2 eine schematische Draufsicht auf ein erfindungsgemäßes
Fahrzeugsystem gemäß einer Ausführungsform. In den Figuren weisen dieselben konstruktiven Elemente jeweils dieselben Bezugsziffern auf.
Die Figur 1 zeigt ein schematisches Ablaufdiagramm zum Veranschaulichen eines erfindungsgemäßen Verfahrens 1 gemäß einer Ausführungsform. Die strukturellen Merkmale beziehen sich auf ein erfindungsgemäßes Fahrzeug- systems 10, welches in der Figur 2 dargestellt ist.
In einem Schritt 2 wird mindestens ein Foto einer zu transportierenden Person an einen zentralen Server 12 eines Fahrzeugsystems 10 übermittelt. Dies kann beispielsweise ein sogenanntes Selfie eines Passagiers 14 sein, welches an eine Cloud 12 bzw. eine fahrzeugexterne Servereinheit 12 übermittelt wird. In der externen Servereinheit 12 können Erkennungsdaten der Person 14 generiert werden. Dies können strukturelle oder Textur-Merkmale sein.
Es wird in einem weiteren Schritt 3 eine näherungsweise Position der zu transportierenden Person 14 bestimmt. Die näherungsweise Position kann beispielsweise eine Straße oder eine Umgebung der Person 14 sein, an welcher sie von einem autonomen Fahrzeug 16 abgeholt werden soll. Die
näherungsweise Position kann beispielsweise durch Nutzen eines GPS-Signals eines tragbaren Geräts des Passagiers 14 ermittelt werden. Bei einem zivilen Einsatz von GPS-Sensoren bleibt jedoch eine Ungenauigkeit von mindestens einigen Metern bestehen, welche durch örtliche Gegebenheiten stärker ausgeprägt sein kann.
Es wird in einem weiteren Schritt 4 das autonome Fahrzeug 16 an die zuvor bestimmte näherungsweise Position der zu transportierenden Person 14 gesteuert bzw. an die Position angenähert.
Anschließend 5 oder währenddessen wird die exakte Position der zu
transportierenden Person 14 anhand von Färb- und Texturmerkmalen durch fahrzeuginterne Sensorik 18 ermittelt. Die Sensorik 18 ist mit einer
fahrzeuginternen Steuereinheit 20 gekoppelt und kann von der Steuereinheit 20 ausgewertet werden. Die Steuereinheit 20 weist darüber hinaus eine nicht dargestellte Kommunikationsvorrichtung auf, durch welche eine drahtlose Kommunikationsverbindung mit der externen Servereinheit 12 hergestellt werden kann.
Die Servereinheit 12 kommuniziert dabei auch mit einer Sensorik der
Infrastruktur 22 und kann diese auslesen und auswerten. Die
Kommunikationsverbindungen werden durch Pfeile verdeutlicht.
Durch eine Gesichtserkennung wird in einem weiteren Schritt 6 die Identität der ermittelten zu transportierenden Person 14 überprüft.
Schließlich 7 wird das autonome Fahrzeug 16 in einem Einstiegsbereich der zu transportierenden Person 14 positioniert.
Im Folgenden wird das erfindungsgemäße Verfahren 1 gemäß einer
Ausführungsform im Detail beschrieben.
Für die Detektion, Wiedererkennung und Lokalisierung des Passagiers 14 können Methoden aus der Computer Vision, maschinellem Lernen und künstlichen Intelligenz Domäne eingesetzt werden. Das Verfahren wird in zwei Bereiche unterteilt: Einen Nahbereich und einen Fernbereich.
Der Nahbereich ist der Bereich in dem das Gesicht des Passagiers 14 so nah an der Kamera bzw. einer Fahrzeugsensorik 18 ist, dass ein Gesichtswiederer- kennungsverfahren eingesetzt werden kann. Innerhalb dieses Bereiches ist die Wahrscheinlichkeit die Person 14 nicht zu verwechseln sehr groß.
Der Fernbereich ist der Bereich in dem das Gesicht des Passagiers 14 so weit weg von der Kamera 18 ist, dass keine Gesichtswiedererkennungsverfahren eingesetzt werden können. Im Fernbereich werden Färb- und Texturmerkmale aus den Bildern verwendet, um die Person wiederzuerkennen. Das System 10 muss im Fernbereich je nach Dichte von Personen in der Szene mehrere mögliche Passagiere in Erwägung ziehen, bis eine Wiedererkennung in
Nahbereich möglich ist.
Nach der erfolgreichen Lokalisierung des Passagiers 14 kann das autonome Fahrzeug seine Soll-Trajektorie so anpassen um neben dem Passagier 14 zu halten, dass die für ihn vorgesehene Tür direkt neben ihm 14 zu stehen kommt und der Passagier 14 mühelos in das Fahrzeug 16 einsteigen kann.
Für den Fall, dass das Fahrzeug 16 zu keinem Zeitpunkt den Passagier 14 im Nahbereich erfassen kann, besteht die Möglichkeit über einen Rückkanal zum
Smartphone des Passagiers 14, jenen anzufordern, dass er Richtung Straße guckt, wodurch sein Gesicht wiedererkannt werden kann.
Ist der Passagier 14 aufgenommen fährt das Fahrzeug 16 weiter, um den Verkehr nicht unnötig lange zu blockieren.

Claims

Ansprüche
1. Verfahren (1 ) zur Passagiererkennung durch ein autonomes Fahrzeug (16) aufweisend die Schritte:
Übermitteln (2) eines Fotos der zu transportierenden Person (14) an einen zentralen Server (12),
Bestimmung (3) einer näherungsweisen Position der zu
transportierenden Person (14),
Annähern (4) des autonomen Fahrzeugs (16) an die zuvor bestimmte Position,
Ermitteln (5) einer exakten Position der zu transportierenden
Person (14) anhand von Färb- und Texturmerkmalen und/oder anhand einer Gangart durch fahrzeuginterne Sensorik (18),
Überprüfung (6) der Identität der ermittelten zu transportierenden Person (14) durch eine Gesichtserkennung und
Positionierung (7) des autonomen Fahrzeugs (16) in einem
Einstiegsbereich der zu transportierenden Person (14).
2. Verfahren nach Anspruch 1 , wobei die fahrzeuginterne Sensorik (18)
mindestens eine Kamera, einen LIDAR-Sensor und/oder mindestens einen Radarsensor aufweist.
3. Verfahren nach Anspruch 1 oder 2, wobei das Foto der zu transportierenden Person (14) mit einem tragbaren Gerät mit bildaufnehmenden Funktionen oder einer App durch die zu transportierenden Person (14) aufgenommen und übermittelt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei eine annäherungsweise Bestimmung der Position der zu transportierenden Person (14) durch einen Zugriff auf die GPS-Daten des tragbaren Gerät mit bildaufnehmenden Funktionen oder durch Übermittlung eines Aufenthaltsortes durchgeführt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die ungefähre
Bestimmung der Position der zu transportierenden Person (14) von einer internen Steuereinheit (20) oder einer externen Servereinheit (12)
durchgeführt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei zum Ermitteln der
Position der zu transportierenden Person (14) und zur Überprüfung der Identität der ermittelten zu transportierenden Person (14) durch das autonome Fahrzeug (16) auf Dateien mindestens einer fahrzeugexternen Sensorik (22) zugegriffen wird.
7. Verfahren nach Anspruch 7, wobei zur Personenerkennung und zur
Personenlokalisierung für das autonome Fahrzeug (16) ein Zugriff auf in einer Cloud (12) hinterlegte Dateien bereitgestellt wird.
8. Verfahren nach Anspruch 7 oder 8, wobei die Personenerkennung anhand von Färb- und Texturmerkmalen und eine Gesichtserkennung durch externe Servereinheit (12) oder durch eine fahrzeuginterne Steuereinheit (20) durchgeführt wird.
9. Verfahren nach einem der Ansprüche 7 bis 9, wobei zur Personenerkennung und zur Personenlokalisierung für das autonome Fahrzeug (16) ein Zugriff auf Sensoren und Suchfunktionen und/oder Datenaustausch mit
gespeicherten Daten anderer Fahrzeuge bereitgestellt wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, wobei die zu transportierenden Person (16) bei einem Nichtauffinden durch das autonome Fahrzeug (16) benachrichtigt wird.
1 1. Fahrzeugsystem (10) zum Durchführen des Verfahrens (1 ) nach einem der vorhergehenden Ansprüche.
EP19703081.0A 2018-04-25 2019-02-04 Verfahren und fahrzeugsystem zur passagiererkennung durch autonome fahrzeuge Withdrawn EP3785192A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018206344.3A DE102018206344A1 (de) 2018-04-25 2018-04-25 Verfahren und Fahrzeugsystem zur Passagiererkennung durch autonome Fahrzeuge
PCT/EP2019/052603 WO2019206478A1 (de) 2018-04-25 2019-02-04 Verfahren und fahrzeugsystem zur passagiererkennung durch autonome fahrzeuge

Publications (1)

Publication Number Publication Date
EP3785192A1 true EP3785192A1 (de) 2021-03-03

Family

ID=65278377

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19703081.0A Withdrawn EP3785192A1 (de) 2018-04-25 2019-02-04 Verfahren und fahrzeugsystem zur passagiererkennung durch autonome fahrzeuge

Country Status (7)

Country Link
US (1) US20210171046A1 (de)
EP (1) EP3785192A1 (de)
JP (1) JP7145971B2 (de)
KR (1) KR20210003851A (de)
CN (1) CN112041862A (de)
DE (1) DE102018206344A1 (de)
WO (1) WO2019206478A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019212998B4 (de) 2019-08-29 2022-08-04 Volkswagen Aktiengesellschaft Fortbewegungsmittel, Vorrichtung und Verfahren zum Positionieren eines automatisiert fahrfähigen Fortbewegungsmittels
DE102020204147A1 (de) 2020-03-31 2021-09-30 Faurecia Innenraum Systeme Gmbh Fahrgastinformationssystem und Verfahren zum Anzeigen von personalisierten Sitzplatzinformationen
WO2022093921A1 (en) 2020-10-29 2022-05-05 Waymo Llc Holistic wayfinding
US11644322B2 (en) * 2021-02-09 2023-05-09 Gm Cruise Holdings Llc Updating a pick-up or drop-off location for a passenger of an autonomous vehicle
US12026542B2 (en) 2021-07-15 2024-07-02 International Business Machines Corporation Optimizing deployment of machine learning workloads
US20230098373A1 (en) * 2021-09-27 2023-03-30 Toyota Motor North America, Inc. Occupant mobility validation
KR20240092431A (ko) 2022-12-14 2024-06-24 현대자동차주식회사 차량 제어 장치 및 방법
US12545284B2 (en) 2023-05-19 2026-02-10 Torc Robotics, Inc. Updating path based on information from CB radio
DE102023204891A1 (de) * 2023-05-25 2024-11-28 Zf Friedrichshafen Ag Befördern von Personen mit besonderen Merkmalen
EP4575971A4 (de) * 2023-07-31 2025-11-05 Lg Electronics Inc Fahrhilfedienstbereitstellungsverfahren, fahrhilfedienstbereitstellungssystem und damit zusammenarbeitende ar-dienstbereitstellungsvorrichtung

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599287B (zh) * 2013-11-01 2018-01-16 株式会社理光 对象跟踪方法和装置、对象识别方法和装置
US10387825B1 (en) * 2015-06-19 2019-08-20 Amazon Technologies, Inc. Delivery assistance using unmanned vehicles
US10088846B2 (en) * 2016-03-03 2018-10-02 GM Global Technology Operations LLC System and method for intended passenger detection
US20180075565A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger validation systems and methods
US20180074494A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger tracking systems and methods
US20180196417A1 (en) * 2017-01-09 2018-07-12 nuTonomy Inc. Location Signaling with Respect to an Autonomous Vehicle and a Rider
US20180210892A1 (en) * 2017-01-25 2018-07-26 Uber Technologies, Inc. Object or image search within a geographic region by a network system
US20190228246A1 (en) * 2018-01-25 2019-07-25 Futurewei Technologies, Inc. Pickup Service Based on Recognition Between Vehicle and Passenger
JP6881344B2 (ja) * 2018-02-09 2021-06-02 株式会社デンソー 出迎えシステム
US11474519B2 (en) * 2018-02-26 2022-10-18 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness

Also Published As

Publication number Publication date
CN112041862A (zh) 2020-12-04
JP7145971B2 (ja) 2022-10-03
JP2021519989A (ja) 2021-08-12
DE102018206344A1 (de) 2019-10-31
WO2019206478A1 (de) 2019-10-31
US20210171046A1 (en) 2021-06-10
KR20210003851A (ko) 2021-01-12

Similar Documents

Publication Publication Date Title
EP3785192A1 (de) Verfahren und fahrzeugsystem zur passagiererkennung durch autonome fahrzeuge
DE102014002150B3 (de) Verfahren zur Ermittlung der absoluten Position einer mobilen Einheit und mobile Einheit
DE102017116421B4 (de) Verfahren und Steuervorrichtung für ein autonomes und/oder teilautonomes Transportfahrzeug
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
DE102018121595A1 (de) Unbeaufsichtigtes anlernen von agenten für autonome fahranwendungen
DE102017103123A1 (de) Fahrzeugfahrbahnplatzierung
DE102018105693A1 (de) Strassenbau-Erfassungssysteme und -Verfahren
DE102018121791A1 (de) Systeme und Verfahren zur Bestimmung des Vorhandenseins von Verkehrssteuerungspersonal und Verkehrsleitschildern
EP3292423B1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
DE102021127118A1 (de) Identifizieren von Objekten mit LiDAR
DE102022100152A1 (de) Sichtbasierte roboternavigation durch koppeln von tiefem bestärkendem lernen und einem wegplanungsalgorithmus
WO2017089135A1 (de) Verfahren und system zum erstellen einer spurgenauen belegungskarte für fahrspuren
DE102016223422A1 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE102017107789B4 (de) Fahrzeugsicherheitssystem
DE112018007967T5 (de) Fahrzeugsteuervorrichtung, automatisiertes fahrzeugfahrtentwicklungssystem, fahrzeugsteuerverfahren und programm
DE102022125062A1 (de) System und verfahren zum detektieren von strassen- und fahrspurverbindungen an kreuzungen
WO2023030858A1 (de) Verfahren und assistenzeinrichtung zum unterstützen von fahrzeugfunktionen in einem parkraum und kraftfahrzeug
DE102018213562A1 (de) Verfahren zum Betreiben einer Ausgabeeinrichtung eines Kraftfahrzeugs, Steuereinrichtung, Kraftfahrzeug
DE102021206075A1 (de) Fahrzeuglokalisierung als Mitfahrgelegenheit und Insassenidentifikation für autonome Fahrzeuge
DE102022130772A1 (de) Augmented-reality-benutzereinbindung für ferneinparkassistenz mit kameraloser detektion
DE102023114901A1 (de) Steuerparameterbasierter suchraum für fahrzeugbewegungsplanung
DE102020214123A1 (de) Verfahren zur Erfassung eines Umfelds eines ersten Sensorsystems
DE102016220581A1 (de) Verfahren und vorrichtung zur bestimmung eines umfeldmodells
DE102022112395A1 (de) Von kreuzungsknoten unterstützte hochauflösende kartierung
DE102018210712A1 (de) System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20201125

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220906

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20230104