EP3652722A1 - Interaktive objekterkennung beim autonomen fahren - Google Patents

Interaktive objekterkennung beim autonomen fahren

Info

Publication number
EP3652722A1
EP3652722A1 EP18759891.7A EP18759891A EP3652722A1 EP 3652722 A1 EP3652722 A1 EP 3652722A1 EP 18759891 A EP18759891 A EP 18759891A EP 3652722 A1 EP3652722 A1 EP 3652722A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
unit
response
classification
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP18759891.7A
Other languages
English (en)
French (fr)
Inventor
Navid Nourani-Vatani
Andrew Palmer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3652722A1 publication Critical patent/EP3652722A1/de
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the invention relates to a method for interactive object recognition for a vehicle. Furthermore, the invention relates to an object recognition device. Moreover, the invention relates to a vehicle.
  • ADAS Advanced Driver Assistance
  • Systems perform classifications on the type of a detected object. For example, it is determined whether a detected object is a stationary or a moving object. On this basis, the behavior of the object can be predicted in the future, thus possibly giving a warning and / or avoiding possible collisions with these objects.
  • classification methods can be divided into passive and active classification methods ⁇ to.
  • passive classification objects are classified based on a single or multiple observations, and the choice of viewing perspectives of the objects is not affected by the classification algorithm.
  • active classification future viewing perspectives are selected based on a classification ⁇ profit to improve the classification of the best possible way. That is, the sensor is moved so that the information gain is optimized for the purpose of classification.
  • object types and classifi ⁇ z istsauf block are not sufficiently suitable for active and passive CLASSIFICA ⁇ insurance types.
  • An example of this is a pedestrian who crosses the path of an automated vehicle. The vehicle must determine what type of object is approaching the driveway and whether the object is likely to move in front of the vehicle. To clarify these questions, one can benefit from other observations.
  • the active classification it is possible to adapt or improve the type classification. That is, in this case, it can be more easily determined that the detected object is a pedestrian.
  • neither active nor passive classifications can be used to determine if the pedestrian has recognized the vehicle. The pedestrian moves example ei ⁇ nem walkway toward driveway, so perhaps there is little time to react when the pedestrian does not stop in time at the edge of the walkway.
  • DE 10 2014 111 023 A1 describes a method for controlling an automated vehicle, wherein a planned interaction with a road user is selected in an ambiguous traffic situation, the interaction is signaled to the road user, a reaction of the road user to the interaction is detected and a maneuver is initiated in response to the reaction of the road user.
  • US 2015/0 336 502 A1 describes a method for an autonomous vehicle, with which it is possible to communicate with external observers. In the process, a planned maneuver is displayed in advance.
  • the control unit is configured to cause an air ejection device of the vehicle, a To generate a puff of air to alert the road user to the vehicle.
  • EP 1 842 732 A2 describes a movable bumper of a vehicle which, with the aid of an actuator, can change from a retracted position in parking mode to a retracted position while driving.
  • This object is achieved by a method for interactive object recognition according to claim 1, an object recognition device according to claim 9 and a vehicle according to claim 10.
  • a surrounding area of a vehicle is detected senso ⁇ riell using a sensor unit of the vehicle.
  • a vehicle may be, for example, a motor vehicle or a rail vehicle.
  • the sensor unit may, for example, an image pickup unit, preferably a Ka ⁇ ra.
  • the sensor ⁇ signals include information about the environment of the vehicle. For example, the information may have image data on ⁇ .
  • the vehicle acts mechanically on the detected object from the distance and detects a response of the object.
  • an adaptation of the class identification of the object based on the detected response, whereby mechanical properties of the object relating to the question of whether the object can be pushed aside or not are determined.
  • the described method steps carried out automatically, so that the classification of the object and to adapt in real time and without Perso ⁇ nalaufwand can be performed.
  • the classification can be refined on the basis of the response of the object or extended by additional classifying parameters or parameters. In this way can be adapted specifically to a detected object to an individual situation, the response of the vehicle, such as an automobile or a shift ⁇ nenindi, so that can be avoided unnecessary disturbances and interruptions and evasive maneuvers.
  • a refined classi ⁇ fication is advantageously accomplished interactively, which includes information about the future Ver ⁇ hold the object, in particular regarding a possible collision with the vehicle is.
  • properties of objects can be taken into account, which are not recognizable solely by observation or corresponding image recordings.
  • the object recognition device comprises a sensor unit for imaging a surrounding area of a vehicle.
  • the reerkennungsvor ⁇ device according to the invention also has a Vorklassroissaku for au ⁇ tomatis faced classifying an object on the basis of sensor signals of the sensor unit.
  • Part of the object recognition device according to the invention is also an actuator unit for the targeted mechanical action of the vehicle on the object from the distance to the object.
  • the reer ⁇ recognition device according to the invention also comprises a detection unit for de- tektieren a response of the object by the vehicle.
  • a Nachklassroissaku which is also part of the ER inventive object detection device is used to adjust the classification of the object based on the detected response, mechanical properties of the Ob ⁇ jekts, concerning the question of whether the object beiseite- be pushed or not, are determined.
  • the object recognition device according to the invention shares the advantages of the method according to the invention for the interactive object recognition by a vehicle.
  • the vehicle of the invention has the inventive Whether ⁇ jekterkennungsvortechnisch.
  • the vehicle according to the invention shares the advantages of the object recognition device according to the invention.
  • Some components of the object recognition device according to the invention may possibly be designed after supplementing additional hardware components, such as the actuator unit, the Sen ⁇ sor bain and the detection unit, for the most part in the form of software components. This applies in particular to parts of the pre-classification unit and the post-classification unit. In principle, however, these components can also be partly realized, in particular in the case of particularly fast calculations, in the form of software-supported hardware, for example FPGAs or the like.
  • the required interfaces for example, if it is only about a transfer of data from other software components, be designed as software interfaces. However, they can also be designed as hardware-based interfaces that are controlled by suitable software.
  • a largely software implementation has the advantage that existing computing systems may have been in a vehicle easily nachge by a software update will be ⁇ upgraded to work in the inventive manner.
  • vehicle additional hard ⁇ ware elements such as sensors, actuators or the like may need to be supplemented, so that the vehicle can operate in the erfindungsge- Permitted way.
  • the object is also achieved by a corresponding computer program product with a computer program which can be loaded directly into a memory device of such a computer system, with a program. program sections to perform all steps of the inventive method when the computer program is executed in the computer system.
  • Such a computer program product in addition to the computer ⁇ program optionally additional components, such as documentation and / or additional components, including hardware components, such as hardware keys (dongles, etc.) for using the software.
  • a computer-readable medium for example a memory stick, a hard disk or other transportable or permanently installed data carrier
  • the computer unit may be for example a purpose or more cooperating micropro ⁇ processors or the like.
  • the targeted physical action has one of the following modes of action:
  • the light beams may include, for example, light signals.
  • the mechanical action can be done by direct contact of the vehicle with the object.
  • mechanical egg ⁇ properties of the object for example on the issue of whether the object can push aside or not, ermit ⁇ telt.
  • the emission of light beams comprises one of the following operations:
  • existing illumination devices of the vehicle can be used for signaling anyway, so that additional expenditure for the assembly of additional signal units can be avoided.
  • the emission of acoustic signals comprises one of the following operations:
  • a change in the movement of the object or the object changes its movement behavior or its direction of movement, changing the viewing direction of an object associated with the object
  • the behavior of people on the road in response to the stimulus emitted by the vehicle can be used directly to estimate the future behavior of the detected object.
  • the object in the event that the object is a vehicle, in the event that the object remains, the object classified as parking,
  • the object in the event that the object starts and / or a driver assigned to the object looks towards the vehicle and / or into a rear-view mirror, the object is classified as being moving.
  • the immediately following behavior of vehicles can be determined and included in the classification of the vehicle.
  • the method for interactive object recognition by a vehicle is moved up to the vehicle to the object to determine whether the Whether ⁇ ject can be pushed to the side or can be safely run over to fol- a predetermined route further to the .
  • the journey of a vehicle can be continued in case of success when an obstacle initially stands directly on the track of the vehicle.
  • step 1.1 first image data BD is taken from the surroundings of the vehicle with the aid of an on-board camera of the vehicle.
  • step l.II objects 0 are detected in the image data BD and image sections BAO with the detected objects 0 are determined.
  • step l.III an automatic ⁇ catalyzed classification of the detected objects 0, with first classification data is generated KD1 which 0 assign each of the detected objects in a class classification. For example, a detected object 0 is assigned to the class "pedestrian".
  • the mixture is then stimulates the detected object, for example by a light ⁇ signal ST is emitted toward the object 0 in step 1.
  • a light ⁇ signal ST is emitted toward the object 0 in step 1.
  • the reaction A is at the Step IV by means of sensors, such as a Ka ⁇ mera, detected by the vehicle and there are response data AD, in this case image data, based on the reaction A determined.
  • the response data AD includes the information that the pedestrian is looking toward the vehicle.
  • an object detection device 10 according to an embodiment of the invention is shown schematically.
  • the object recognition device 10 may be part of a vehicle 20, for example, as shown in FIG.
  • the object detection apparatus 10 shown in FIG 2 includes a sensor unit 11 which is adapted to detect a Conversely ⁇ exercise area of the vehicle 20 pictorially.
  • the sensor data acquired by the sensor unit 11, image data BD in this exemplary embodiment, are transmitted to an image evaluation unit 12.
  • the image evaluation unit 12 detek- advantage in the image data BD objects 0 which are located in the region of the vehicle environment Conversely ⁇ 20th Image sections BAO with detected objects 0 are transmitted to a Vorklassroissaku 13 that divides based on these selective oriented image sections BAO the detected objects in Klas ⁇ sen and first classification data KD1 which the image data BAO to the detected objects 0 and which comprise these classes assigned , generated.
  • the classification data KD1 are transmitted to a control unit 14, which activates an actuator unit 15, which then emits a stimulus ST in the direction of the object 0 (see FIG. 3). As mentioned earlier, it may be to act as a light signal.
  • the object 0, beispielswei ⁇ se a pedestrian, the responses to the stimulus ST with a response A.
  • the pedestrian directs his gaze 0 in the direction of the vehicle 20 and to indicate that he has noticed the vehicle 20th
  • the response A of the object 0 is detected by a detection unit 16 and transmitted to a post-classification unit 17.
  • the Nachklassifi ⁇ z iststechnik 17 adjusts the classification of the detected object to the detected 0 response data AD.
  • the classification changes from "pedestrian" to "attentive pedestrian”.
  • the adapted classification data KD2 are then transmitted to a control device 21 (see FIG. 3) of the vehicle 20, which can automatically issue control commands on the basis of this more precise classification.
  • FIG 3 a scenario 30 with a vehicle 20 according to egg ⁇ nem embodiment of the invention is shown schematically.
  • the vehicle 20 includes an obj ekterkennungsvorrich- device 10 according to an embodiment of the invention, as has already been illustrated in FIG 2.
  • the vehicle 20 travels on a path W at the periphery of which an object 0, in this case a pedestrian, is located.
  • the vehicle 20 detects the pedestrian 0 and sends by means of an actuator 15, in this case a signal unit, a light signal ST in the direction of the pedestrian 0.
  • the pedestrian 0 looks attentively in the direction of the vehicle 20, thereby signaling that he noticed the vehicle 20.
  • This response A is detected with the aid of a detection unit 16 of the vehicle 20 and then in the
  • the adapted classification data KD2 generated in this case are subsequently sent to a control device 21 of the vehicle 20, which carries out a control process on the basis of the adapted classification.
  • the Be ⁇ fails given that the vehicle 20 continues at undiminished speed, since the pedestrian 0, the vehicle 20th recognized in time.
  • the control ⁇ device 21 initiates a braking maneuver to avoid endangering the pedestrian 0.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein Verfahren zur interaktiven Objekterkennung durch ein Fahrzeug (20) beschrieben. Bei dem Verfahren wird ein Umgebungsbereich eines Fahrzeugs (20) mit Hilfe einer Sensoreinheit (11) des Fahrzeugs (20) sensoriell erfasst. Auf Basis der Sensorsignale (BD) der Sensoreinheit (11) wird das Objekt (0) ermittelt und klassifiziert. Darauf wirkt das Fahrzeug (20) gezielt physikalisch auf das Objekt (0) aus der Distanz zu dem Objekt (0) ein und detektiert eine Antwort des Objekts (0) durch das Fahrzeug (20). Weiterhin erfolgt ein Anpassen der Klassifizierung des Objekts (O) auf Basis der detektierten Antwort, wobei mechanische Eigenschaften des Objekts, betreffend die Frage, ob sich das Objekt beiseiteschieben lässt oder nicht, ermittelt werden. Es wird überdies eine Objekterkennungsvorrichtung (10) beschrieben. Außerdem wird ein Fahrzeug (20) beschrieben.

Description

Beschreibung
Interaktive Objekterkennung beim autonomen Fahren
Die Erfindung betrifft ein Verfahren zur interaktiven Objekterkennung für ein Fahrzeug. Weiterhin betrifft die Erfindung eine Objekterkennungsvorrichtung. Überdies betrifft die Erfindung ein Fahrzeug.
Eine wichtige Herausforderung beim automatisierten oder gar autonomen Fahren besteht darin, unbeweglichen und beweglichen Hindernissen in der Umgebung bzw. im Bereich der Fahrstrecke auszuweichen. Autonome Fahrzeuge und einige fortgeschrittene Fahrerassistenzsysteme (ADAS = Advanced Driver Assistance
Systems) führen Klassifizierungen bezüglich der Art eines de- tektierten Objekts durch. Beispielsweise wird ermittelt, ob es sich bei einem detektierten Objekt um ein ruhendes oder ein sich bewegendes Objekt handelt. Auf dieser Basis kann das Verhalten des Objekts in der Zukunft vorhergesagt werden und so gegebenenfalls eine Warnung gegeben werden und/oder mögliche Kollisionen mit diesen Objekten vermieden werden.
Herkömmlich angewandte Klassifizierungsverfahren können in passive und aktive Klassifizierungsmethoden eingeteilt wer¬ den. Bei der passiven Klassifizierung werden Objekte auf Basis einer einzelnen oder von mehreren Beobachtungen klassifiziert, wobei die Wahl der Betrachtungsperspektiven der Objekte nicht durch den Klassifizierungsalgorithmus beeinflusst wird. Bei der aktiven Klassifizierung werden künftige Betrachtungsperspektiven basierend auf einem Klassifizierungs¬ ergebnis gewählt, um die Klassifizierung bestmöglichst zu verbessern. D.h., die Sensorik wird derart bewegt, so dass der Informationsgewinn zum Zweck der Klassifikation optimiert wird. Allerdings gibt es trotzdem Objektarten und Klassifi¬ zierungsaufgaben, für die aktive und passive Klassifizie¬ rungsarten nicht ausreichend geeignet sind. Als Beispiel sei ein Fußgänger genannt, der den Fahrweg eines automatisiert gesteuerten Fahrzeugs kreuzt. Das Fahrzeug muss ermitteln, welche Art von Objekt sich dem Fahrweg nähert und ob sich das Objekt wahrscheinlich vor das Fahrzeug bewegt. Um diese Fragen zu klären, kann von anderen Beobachtungen profitiert werden. Bei der aktiven Klassifizierung ist es möglich, die Typklassifizierung anzupassen bzw. zu verbessern. D.h. in diesem Fall kann leichter ermittelt werden, dass es sich bei dem detektierten Objekt um einen Fußgänger handelt. Jedoch können weder aktive noch passive Klassifizierungen dazu genutzt werden, um zu ermitteln, ob der Fußgänger das Fahrzeug erkannt hat. Bewegt sich der Fußgänger beispielsweise auf ei¬ nem Gehweg in Richtung Fahrstraße, so bleibt eventuell wenig Zeit, um zu reagieren, wenn der Fußgänger nicht rechtzeitig am Rand des Gehwegs anhält.
In DE 10 2014 111 023 AI wird ein Verfahren zum Steuern eines automatisierten Fahrzeugs beschrieben, wobei in einer mehrdeutigen Verkehrssituation eine geplante Interaktion mit ei- nem Verkehrsteilnehmer gewählt wird, die Interaktion dem Verkehrsteilnehmer signalisiert wird, eine Reaktion des Verkehrsteilnehmers auf die Interaktion erfasst wird und ein Fahrmanöver in Abhängigkeit von der Reaktion des Verkehrsteilnehmers eingeleitet wird.
In US 2015/0 336 502 AI wird ein Verfahren für ein autonomes Fahrzeug beschrieben, mit dem mit externen Beobachtern kommuniziert werden kann. Dabei wird diesem ein geplantes Manöver vorher angezeigt.
In DE 10 2014 226 187 AI wird eine Steuereinheit für ein Fahrzeug beschrieben, welche dazu eingerichtet ist,
Umfelddaten von einem oder mehreren Umfeldsensoren des Fahrzeugs zu empfangen, und anhand der Umfelddaten mindestens ei- nen Verkehrsteilnehmer in einem Umfeld des Fahrzeugs zu de- tektieren. Die Steuereinheit ist dazu eingerichtet, eine Luftausstoß-Vorrichtung des Fahrzeugs zu veranlassen, einen Luftstoß zu generieren, um den Verkehrsteilnehmer auf das Fahrzeug aufmerksam zu machen.
In DE 10 2013 216 490 AI wird von einem automatisiert gesteu- erten Fahrzeug seine Umgebung sensoriell überwacht. Es werden Objekte in der Umgebung erkannt. Auf Basis der Objekterkennung wird ermittelt, ob eine Kontaktaufnahme mit dem erkann¬ ten Objekt möglich ist. Im Erfolgsfall wird dann ein Signal mit einer Information, wie sich das Objekt verhalten soll, ausgegeben.
In EP 1 842 732 A2 wird eine bewegliche Stoßstange eines Fahrzeugs beschrieben, welche mit Hilfe eines Aktuators von einer ausgezogenen Position im Parkmodus in eine zurückgezo- gene Position während der Fahrt wechseln kann.
Es besteht also die Aufgabe, eine Objekterkennung zu reali¬ sieren, mit der das Verhalten von Objekten genauer eingeschätzt werden kann.
Diese Aufgabe wird durch ein Verfahren zur interaktiven Objekterkennung gemäß Patentanspruch 1, eine Objekterkennungsvorrichtung gemäß Patentanspruch 9 und ein Fahrzeug gemäß Patentanspruch 10 gelöst.
Bei dem erfindungsgemäßen Verfahren zur interaktiven Objekterkennung durch ein Fahrzeug wird ein Umgebungsbereich eines Fahrzeugs mit Hilfe einer Sensoreinheit des Fahrzeugs senso¬ riell erfasst. Ein Fahrzeug kann zum Beispiel ein Kraftfahr- zeug oder ein Schienenfahrzeug sein. Die Sensoreinheit kann zum Beispiel eine Bildaufnahmeeinheit, vorzugsweise eine Ka¬ mera, aufweisen. Auf Basis der Sensorsignale der Sensorein¬ heit wird das Objekt ermittelt und klassifiziert. Die Sensor¬ signale umfassen Informationen über die Umgebung des Fahr- zeugs. Beispielsweise können die Informationen Bilddaten auf¬ weisen. Darauf wirkt das Fahrzeug gezielt mechanisch aus der Distanz auf das detektierte Objekt ein und detektiert eine Antwort des Objekts. Weiterhin erfolgt ein Anpassen der Klas- sifizierung des Objekts auf Basis der detektierten Antwort, wobei mechanische Eigenschaften des Objekts, betreffend die Frage, ob sich das Objekt beiseiteschieben lässt oder nicht, ermittelt werden. Vorzugsweise erfolgen die beschriebenen Verfahrensschritte automatisiert, so dass die Klassifizierung des Objekts und deren Anpassung in Echtzeit und ohne Perso¬ nalaufwand durchgeführt werden kann. Vorteilhaft kann die Klassifizierung auf Basis der Antwort des Objekts verfeinert werden bzw. um zusätzliche klassifizierende Größen bzw. Para- meter erweitert werden. Auf diese Weise kann die Reaktion des Fahrzeugs, beispielsweise ein Kraftfahrzeug oder ein Schie¬ nenfahrzeug, auf ein detektiertes Objekt an eine individuelle Situation genauer angepasst werden, so dass unnötige Störungen und Unterbrechungen sowie Ausweichmanöver unterbleiben können. Vorteilhaft wird interaktiv eine verfeinerte Klassi¬ fizierung erreicht, welche Auskunft über das zukünftige Ver¬ halten des Objekts, insbesondere in Bezug auf eine mögliche Kollision mit dem Fahrzeug, gibt. Vorteilhaft können dabei Eigenschaften von Objekten mitberücksichtigt werden, welche allein durch Beobachtung bzw. entsprechende Bildaufnahmen nicht erkennbar sind.
Die erfindungsgemäße Objekterkennungsvorrichtung umfasst eine Sensoreinheit zum bildlichen Erfassen eines Umgebungsbereichs eines Fahrzeugs. Die erfindungsgemäße Objekterkennungsvor¬ richtung weist zudem eine Vorklassifizierungseinheit zum au¬ tomatisierten Klassifizieren eines Objekts auf Basis von Sensorsignalen der Sensoreinheit auf. Teil der erfindungsgemäßen Objekterkennungsvorrichtung ist auch eine Aktoreinheit zum gezielten mechanischen Einwirken des Fahrzeugs auf das Objekt aus der Distanz zu dem Objekt. Die erfindungsgemäße Objekter¬ kennungsvorrichtung weist auch eine Detektionseinheit zum De- tektieren einer Antwort des Objekts durch das Fahrzeug auf. Eine Nachklassifizierungseinheit, die ebenfalls Teil der er- findungsgemäßen Objekterkennungsvorrichtung ist, dient dazu, die Klassifizierung des Objekts auf Basis der detektierten Antwort anzupassen, wobei mechanische Eigenschaften des Ob¬ jekts, betreffend die Frage, ob sich das Objekt beiseite- schieben lässt oder nicht, ermittelt werden. Die erfindungs¬ gemäße Objekterkennungsvorrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zur interaktiven Objekterkennung durch ein Fahrzeug.
Das erfindungsgemäße Fahrzeug weist die erfindungsgemäße Ob¬ jekterkennungsvorrichtung auf. Das erfindungsgemäße Fahrzeug teilt die Vorteile der erfindungsgemäßen Objekterkennungsvorrichtung .
Einige Komponenten der erfindungsgemäßen Objekterkennungsvorrichtung können eventuell nach Ergänzung zusätzlicher Hardwarekomponenten, wie zum Beispiel die Aktoreinheit, die Sen¬ soreinheit und die Detektionseinheit , zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Vorklassifizierungseinheit und der Nachklassifizierungseinheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareun- terstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig auf- gebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.
Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher in einem Fahrzeug vorhandene Rechner- Systeme auf einfache Weise durch ein Software-Update nachge¬ rüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Eventuell müssen indem Fahrzeug zusätzliche Hard¬ wareelemente, wie zum Beispiel Sensoren, Aktoren oder ähnliches ergänzt werden, damit das Fahrzeug auf die erfindungsge- mäße Weise funktionieren kann. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersystems ladbar ist, mit Pro- grammabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in dem Rechnersystem ausgeführt wird. Ein solches Computerprogrammprodukt kann neben dem Computer¬ programm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein computerlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest einge- bauter Datenträger dienen, auf welchem die von einer Rechnereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikropro¬ zessoren oder dergleichen aufweisen.
Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den ab- hängigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unterschiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zur interaktiven Objekterkennung durch ein Fahrzeug weist das gezielte physikalische Einwirken eine der folgenden Wirkungsarten auf:
- Aussenden von Lichtstrahlen,
Aussenden von akustischen Signalen
mechanisches Einwirken auf das Objekt durch direkten Kontakt des Fahrzeugs mit dem Objekt. Die Lichtstrahlen können zum Beispiel Lichtsignale umfassen. Durch die genannten Signale kann eine Reaktion der zu klassifizierenden Objekte aus der Ferne hervorgerufen werden, ohne dass diese in direkten Kontakt mit dem Fahrzeug kommen, was die Sicherheit für die Objekte sowie das Fahrzeug erhöht. Das mechanische Einwirken kann durch direkten Kontakt des Fahrzeugs mit dem Objekt erfolgen. Dabei können mechanische Ei¬ genschaften des Objekts, zum Beispiel betreffend die Frage, ob sich das Objekt beiseiteschieben lässt oder nicht, ermit¬ telt werden.
In einer Variante des erfindungsgemäßen Verfahrens zur interaktiven Objekterkennung durch ein Fahrzeug umfasst das Aus- senden von Lichtstrahlen einen der folgenden Vorgänge:
Verwenden von Warnlichtern des Fahrzeugs,
Verwenden von Frontlichtern des Fahrzeugs.
Vorteilhaft können zur Signalgebung ohnehin vorhandene Be- leuchtungseinrichtungen des Fahrzeugs genutzt werden, so dass ein zusätzlicher Aufwand für die Montage zusätzlicher Signaleinheiten vermieden werden kann.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zur interaktiven Objekterkennung durch ein Fahrzeug umfasst das Aussenden von akustischen Signalen einen der folgenden Vorgänge :
akustisches Warnsignal aussenden,
akustische Rückwärtsfahrsignal aussenden.
Vorteilhaft kann auch bei der Aussendung von akustischen Signalen auf bereits vorhandene Signalgebereinheiten zurückge¬ griffen werden, wodurch der Umrüstungsaufwand für die Realisierung des erfindungsgemäßen Verfahrens reduziert werden kann.
In einer Variante des erfindungsgemäßen Verfahrens zur interaktiven Objekterkennung durch ein Fahrzeug wird für den Fall, 0
o
dass die Antwort des Objekts eine der folgenden Aktionen um- fasst :
eine Änderung der Bewegung des Objekts bzw. das Objekt ändert sein Bewegungsverhalten bzw. sein Bewegungsrichtung, - Ändern der Blickrichtung einer dem Objekt zugeordneten
Person,
eine dem Objekt zugeordnete Person als unaufmerksam klassifi¬ ziert, und wird für den Fall, dass die dem Objekt zugeordnete Person aufblickt und/oder um sich blickt, die dem Objekt zu- geordnete Person als aufmerksam klassifiziert. Vorteilhaft kann das Verhalten von Personen im Straßenverkehr in Reaktion auf den von dem Fahrzeug ausgesandten Stimulus direkt dazu genutzt werden, das zukünftige Verhalten des detektierten Objekts einzuschätzen.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zur interaktiven Objekterkennung durch ein Fahrzeug wird für den Fall, dass es sich bei dem Objekt um ein Fahrzeug handelt, für den Fall, dass das Objekt stehen bleibt, das Objekt als parkend klassifiziert,
und für den Fall, dass das Objekt startet und/oder ein dem Objekt zugeordneter Fahrer in Richtung des Fahrzeugs und/oder in einen Rückspiegel blickt, das Objekt als sich bewegend klassifiziert.
Vorteilhaft kann das unmittelbar folgende Verhalten von Fahrzeugen ermittelt werden und in die Klassifizierung des Fahrzeugs miteinbezogen werden. In einer Variante des erfindungsgemäßen Verfahrens zur interaktiven Objekterkennung durch ein Fahrzeug wird mit dem Fahrzeug auf das Objekt aufgefahren, um zu ermitteln, ob das Ob¬ jekt zur Seite geschoben werden kann oder sicher überfahren werden kann, um einer vorbestimmten Fahrtroute weiter zu fol- gen. Stehen Gegenstände im Fahrweg des Fahrzeugs, so kann es sinnvoll sein, zu testen, ob das Objekt mit Hilfe des Fahr¬ zeugs aus dem Fahrweg entfernbar ist. Vorteilhaft kann die Fahrt eines Fahrzeugs im Erfolgsfall auch dann fortgesetzt werden, wenn zunächst ein Hindernis direkt auf dem Fahrweg des Fahrzeugs steht.
Die Erfindung wird im Folgenden unter Hinweis auf die beige¬ fügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen: ein Flussdiagramm, welches ein Verfahren zur interak tiven Objekterkennung durch ein Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht, eine schematische Darstellung einer Obj ekterkennungs Vorrichtung gemäß einem Ausführungsbeispiel der Er¬ findung,
eine schematische Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.
In FIG 1 ist ein Flussdiagramm 100 gezeigt, mit dem ein Verfahren zur interaktiven Objekterkennung durch ein Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht wird. Bei dem Schritt 1.1 werden zunächst Bilddaten BD von der Umgebung des Fahrzeugs mit Hilfe einer bordseitigen Kamera des Fahrzeugs aufgenommen. Anschließend werden bei dem Schritt l.II in den Bilddaten BD Objekte 0 detektiert und Bildausschnitte BAO mit den detektierten Objekten 0 ermit- telt. Weiterhin erfolgt bei dem Schritt l.III eine automati¬ sierte Klassifizierung der detektierten Objekte 0, wobei erste Klassifizierungsdaten KD1 erzeugt werden, welche jedem der detektierten Objekte 0 eine Klasseneinteilung zuordnen. Beispielsweise wird ein detektiertes Objekt 0 der Klasse „Fuß- gänger" zugeordnet.
Anschließend wird bei dem Schritt 1. IV auf das detektierte Objekt stimulierend eingewirkt, indem zum Beispiel ein Licht¬ signal ST in Richtung des Objekts 0 ausgesendet wird. Das Ob¬ jekt 0, in diesem Fall ein Fußgänger, antwortet mit einer Reaktion A auf das Lichtsignal ST, beispielsweise, indem es in Richtung des Fahrzeugs blickt oder an einem Bordstein an dem Fahrweg des Fahrzeugs anhält. Die Reaktion A wird bei dem Schritt l.V mit Hilfe von Sensoren, beispielsweise einer Ka¬ mera, von dem Fahrzeug erfasst und es werden Antwortdaten AD, in diesem Fall Bilddaten, auf Basis der Reaktion A ermittelt. Beispielsweise umfassen die Antwortdaten AD die Information, dass der Fußgänger in Richtung des Fahrzeugs blickt. Nachfol¬ gend erfolgt bei dem Schritt l.VI auf Basis der Antwortdaten AD eine Nachklassifizierung des detektierten Objekts 0 unter Erzeugung von zweiten Klassifizierungsdaten KD2. Beispielsweise wird das Objekt in die Klasse „aufmerksamer Fußgänger" eingeteilt, so dass auf Basis dieser zweiten Klassifizie¬ rungsdaten KD2 eine Steuerungsentscheidung durch das Fahrzeug gefällt werden kann, nämlich, dass der Fußgänger nicht gefährdet ist und eine Kollision des Fußgängers mit dem Fahr¬ zeug ausgeschlossen werden kann.
In FIG 2 ist eine Objekterkennungsvorrichtung 10 gemäß einem Ausführungsbeispiel der Erfindung schematisch dargestellt. Die Objekterkennungsvorrichtung 10 kann zum Beispiel Teil eines Fahrzeugs 20 sein, wie es in FIG 3 dargestellt ist. Die in FIG 2 gezeigte Objekterkennungsvorrichtung 10 umfasst eine Sensoreinheit 11, welche dazu eingerichtet ist, einen Umge¬ bungsbereich des Fahrzeugs 20 bildlich zu erfassen. Die von der Sensoreinheit 11 erfassten Sensordaten, in diesem Ausführungsbeispiel Bilddaten BD, werden an eine Bildauswertungs- einheit 12 übermittelt. Die Bildauswertungseinheit 12 detek- tiert in den Bilddaten BD Objekte 0, welche sich in dem Umge¬ bungsbereich des Fahrzeugs 20 befinden. Bildausschnitte BAO mit detektierten Objekten 0 werden an eine Vorklassifizierungseinheit 13 übermittelt, welche auf Basis dieser selek- tierten Bildausschnitte BAO die detektierten Objekte in Klas¬ sen einteilt und erste Klassifizierungsdaten KD1, welche die Bilddaten BAO zu den detektierten Objekten 0 und die diesen zugeordneten Klassen umfassen, erzeugt. Die Klassifizierungsdaten KD1 werden an eine Steuerungseinheit 14 übermittelt, welche eine Aktoreinheit 15 ansteuert, die daraufhin einen Stimulus ST in Richtung des Objekts 0 (siehe FIG 3) aussendet. Wie bereits erwähnt, kann es sich dabei um ein Lichtsignal handeln. Das Objekt 0, beispielswei¬ se ein Fußgänger, antwortet auf den Stimulus ST mit einer Antwort A. Beispielsweise lenkt der Fußgänger 0 seinen Blick in Richtung des Fahrzeugs 20 und signalisiert damit, dass er das Fahrzeug 20 wahrgenommen hat. Die Antwort A des Objekts 0 wird von einer Detektionseinheit 16 detektiert und an eine Nachklassifizierungseinheit 17 übermittelt. Die Nachklassifi¬ zierungseinheit 17 passt die Klassifizierung des detektierten Objekts 0 an die erfassten Antwortdaten AD an. Beispielsweise wird die Klassifizierung von „Fußgänger" in „aufmerksamer Fußgänger" geändert. Die angepassten Klassifizierungsdaten KD2 werden anschließend an eine Steuereinrichtung 21 (siehe FIG 3) des Fahrzeugs 20 übermittelt, die auf Basis dieser präzisierten Klassifizierung automatisiert Steuerungsbefehle ausgeben kann.
In FIG 3 ist ein Szenario 30 mit einem Fahrzeug 20 gemäß ei¬ nem Ausführungsbeispiel der Erfindung schematisch dargestellt. Das Fahrzeug 20 umfasst eine Obj ekterkennungsvorrich- tung 10 gemäß einem Ausführungsbeispiel der Erfindung, wie sie bereits in FIG 2 veranschaulicht wurde. Das Fahrzeug 20 fährt auf einem Weg W, an dessen Peripherie sich ein Objekt 0, in diesem Fall ein Fußgänger befindet. Mit einer Kamera 11 detektiert das Fahrzeug 20 den Fußgänger 0 und sendet mit Hilfe einer Aktoreinheit 15, in diesem Fall einer Signaleinheit, ein Lichtsignal ST in Richtung des Fußgängers 0. Der Fußgänger 0 schaut daraufhin aufmerksam in Richtung des Fahrzeugs 20 und signalisiert dadurch, dass er das Fahrzeug 20 bemerkt hat. Diese Antwort A wird mit Hilfe einer Detektions- einheit 16 des Fahrzeugs 20 erfasst und anschließend in der
Objekterkennungsvorrichtung auf die im Zusammenhang mit FIG 1 und FIG 2 beschriebene Art und Weise ausgewertet. Die dabei erzeugten angepassten Klassifizierungsdaten KD2 werden anschließend an eine Steuerungseinrichtung 21 des Fahrzeugs 20 gesendet, welche auf Basis der angepassten Klassifizierung einen Steuerungsvorgang ausführt. Beispielsweise wird der Be¬ fehl gegeben, dass das Fahrzeug 20 mit unverminderter Geschwindigkeit weiterfährt, da der Fußgänger 0 das Fahrzeug 20 rechtzeitig erkannt hat. Für den Fall, dass der Fußgänger 0 als unaufmerksam klassifiziert wurde, leitet die Steuerungs¬ einrichtung 21 ein Bremsmanöver ein, um eine Gefährdung des Fußgängers 0 zu vermeiden.
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen lediglich um bevorzugte Ausführungsbeispiele der Erfindung han¬ delt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständig¬ keit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein" bzw. „eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.

Claims

Patentansprüche
1. Verfahren zur interaktiven Objekterkennung durch ein Fahrzeug (20), aufweisend die Schritte:
- sensorielles Erfassen eines Umgebungsbereichs eines Fahr¬ zeugs (20) mit Hilfe einer Sensoreinheit (11) des Fahr¬ zeugs (20) ,
Ermitteln eines Objekts (0) auf Basis von Sensorsignalen (BD) der Sensoreinheit (11), wobei das Objekt (0) klassi- fiziert wird,
gezieltes mechanisches Einwirken des Fahrzeugs (20) auf das Objekt (0) aus der Distanz zu dem Objekt,
Detektieren einer Antwort (A) des Objekts (0) durch das Fahrzeug (20) ,
- Anpassen der Klassifizierung des Objekts (0) auf Basis der detektierten Antwort (A) , wobei mechanische Eigenschaften des Objekts, betreffend die Frage, ob sich das Objekt bei¬ seiteschieben lässt oder nicht, ermittelt werden.
2. Verfahren nach Anspruch 1, wobei das gezielte physikali¬ sche Einwirken eine der folgenden Wirkungsarten aufweist:
Aussenden von Lichtstrahlen,
Aussenden von akustischen Signalen,
mechanisches Einwirken auf das Objekt (0) .
3. Verfahren nach Anspruch 2, wobei das Aussenden von Lichtstrahlen einen der folgenden Vorgänge umfasst:
Verwenden von Warnlichtern,
Verwenden von Frontlichtern.
4. Verfahren nach Anspruch 2, wobei das Aussenden von akustischen Signalen einen der folgenden Vorgänge umfasst:
akustisches Warnsignal aussenden,
akustische Rückwärtsfahrsignal aussenden.
5. Verfahren nach Anspruch 2, wobei das mechanische Einwirken auf das Objekt (0) einen der folgenden Vorgänge umfasst:
Steuern eines bordeigenen mechanischen Manipulators, Einwirken mit dem gesamten Fahrzeug (20) auf das Objekt (0) .
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei für den Fall, dass die Antwort des Objekts (0) eine der folgenden Ak¬ tionen umfasst:
Änderung der Bewegung des Objekts (0),
Ändern der Blickrichtung einer dem Objekt (0) zugeordneten Person,
eine dem Objekt (0) zugeordnete Person als unaufmerksam klas¬ sifiziert wird, und für den Fall, dass die dem Objekt (0) zu¬ geordnete Person aufblickt und/oder um sich blickt, die dem Objekt (0) zugeordnete Person als aufmerksam klassifiziert wird .
7. Verfahren nach einem der Ansprüche 1 bis 6, wobei für den Fall, dass es sich bei dem Objekt (0) um ein Fahrzeug han¬ delt,
für den Fall, dass das Objekt (0) stehen bleibt, das 0b- jekt (0) als parkend klassifiziert wird,
und für den Fall, dass das Objekt (0) startet und/oder ein dem Objekt (0) zugeordneter Fahrer in Richtung des Fahrzeugs (20) und/oder in einen Rückspiegel blickt, das Ob¬ jekt (0) als sich bewegend klassifiziert wird.
8. Verfahren nach einem der Ansprüche 5 bis 7, wobei mit dem Fahrzeug (20) auf das Objekt (0) aufgefahren wird, um zu er¬ mitteln, ob das Objekt (0) zur Seite geschoben werden kann oder sicher überfahren werden kann, um einer vorbestimmten Fahrtroute weiter zu folgen.
9. Objekterkennungsvorrichtung (10), umfassend:
eine Sensoreinheit (11) zum bildlichen Erfassen eines Um¬ gebungsbereichs eines Fahrzeugs (20),
- eine Vorklassifizierungseinheit (13) zum automatisierten Klassifizieren eines Objekts (0) auf Basis von Sensorsig¬ nalen (BD) der Sensoreinheit (11), eine Aktoreinheit (15) zum gezielten mechanischen Einwirken des Fahrzeugs (20) aus der Distanz zu dem Objekt auf das Obj ekt (0) ,
eine Detektionseinheit (16) zum Detektieren einer Antwort des Objekts (0) durch das Fahrzeug (20),
eine Nachklassifizierungseinheit (17) zum Anpassen der Klassifizierung des Objekts (0) auf Basis der detektierten Antwort, wobei mechanische Eigenschaften des Objekts, be¬ treffend die Frage, ob sich das Objekt beiseiteschieben lässt oder nicht, ermittelt werden.
10. Fahrzeug (20), aufweisend eine Objekterkennungsvorrich¬ tung (20) nach einem der vorstehenden Ansprüche.
11. Computerprogrammprodukt mit einem Computerprogramm, wel¬ ches direkt in eine Speichereinheit einer Rechnereinheit ei¬ nes Fahrzeugs (20) ladbar ist, mit Programmabschnitten, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 8 auszuführen, wenn das Computerprogramm in der Rechnerein- heit ausgeführt wird.
12. Computerlesbares Medium, auf welchem von einer Rechnereinheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 8 auszuführen, wenn die Programmabschnitte von der Rechnereinheit ausgeführt werden.
EP18759891.7A 2017-09-07 2018-08-16 Interaktive objekterkennung beim autonomen fahren Ceased EP3652722A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017215815 2017-09-07
PCT/EP2018/072210 WO2019048206A1 (de) 2017-09-07 2018-08-16 Interaktive objekterkennung beim autonomen fahren

Publications (1)

Publication Number Publication Date
EP3652722A1 true EP3652722A1 (de) 2020-05-20

Family

ID=63405183

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18759891.7A Ceased EP3652722A1 (de) 2017-09-07 2018-08-16 Interaktive objekterkennung beim autonomen fahren

Country Status (2)

Country Link
EP (1) EP3652722A1 (de)
WO (1) WO2019048206A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014111023A1 (de) * 2014-08-04 2016-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Steuern eines automatisierten Fahrzeuges

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1842732B1 (de) 2006-04-07 2012-05-16 Nissan Motor Manufacturing (UK) Ltd. Stoßfängerschutz für ein Fahrzeug
US9064152B2 (en) * 2011-12-01 2015-06-23 Elwha Llc Vehicular threat detection based on image analysis
DE102013216490B4 (de) 2013-08-20 2021-01-28 Continental Automotive Gmbh System zur Bereitstellung eines Signals für ein Objekt in der Umgebung des Systems
US9475422B2 (en) 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
DE102014226187B4 (de) 2014-12-17 2025-01-30 Bayerische Motoren Werke Aktiengesellschaft Kommunikation mittels eines Luftstoßes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014111023A1 (de) * 2014-08-04 2016-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Steuern eines automatisierten Fahrzeuges

Also Published As

Publication number Publication date
WO2019048206A1 (de) 2019-03-14

Similar Documents

Publication Publication Date Title
EP1407436B1 (de) Fahrerassistenzsystem
EP3155603B1 (de) Verfahren zur ermittlung von positionsdaten zur nutzung beim betrieb eines fahrzeugsystems eines kraftfahrzeugs und positionsdatenermittlungs- und -verteilungssystem
DE102020124633A1 (de) Kontextsensitive anpassung einer geländeblickzeit
EP3552921B1 (de) Autonome geschwindigkeitsplanung eines auf einen vorbestimmten pfad beschränkten beweglichen akteurs
DE102008049824A1 (de) Verfahren zur Kollisionsvermeidung
DE112017007082T5 (de) Betriebsschaltunterstützungsvorrichtung und betriebsschaltunterstützungsverfahren
DE102021123270B3 (de) Verfahren und Steuerschaltung zum Überprüfen, ob ein aktuell aktiver Fahrmodus innerhalb seiner ODD betrieben wird, sowie System und Backend-Server
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102017211387A1 (de) System und Verfahren zum automatisierten Manövrieren eines Ego-Fahrzeugs
WO2020002479A1 (de) Fahrerassistenzsystem, fahrzeug, verfahren zum betreiben des fahrerassistenzsystems, computerprogramm und computerlesbares speichermedium
DE102016210760A1 (de) Verfahren zur Interaktion zwischen einem Fahrzeug und Verkehrsteilnehmer
DE102016002232A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
DE102021101805A1 (de) Fahrerüberwachungssystem für kraftfahrzeug
WO2021058205A1 (de) Verfahren zum betreiben eines fahrzeuges
WO2018033518A1 (de) Verfahren zum betreiben eines zumindest teilautonom betriebenen kraftfahrzeugs und kraftfahrzeug
WO2019120709A1 (de) Verfahren und steuereinheit zur steuerung einer funktion eines zumindest teilweise automatisiert fahrenden fahrzeugs
DE102021116775A1 (de) Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug
DE112021006545T5 (de) Systeme und verfahren zur latenztoleranten unterstützung von autonomen fahrzeugen
DE102018214506A1 (de) Verfahren zur Weiterentwicklung eines Fahrerassistenzsystems und Fahrerassistenzsystem für ein Fahrzeug
EP3652722A1 (de) Interaktive objekterkennung beim autonomen fahren
WO2024056698A1 (de) SYSTEM ZUR ERKENNUNG DER VORAUSLIEGENDEN FUßGÄNGERINTENSION EINES FUßGÄNGERS IN EINEM UMFELD, FAHRZEUG UND VERKEHRSÜBERWACHUNGSSYSTEM
DE102004047122A1 (de) Verfahren zum Überwachen eines Fahrzeugs
DE102018122929A1 (de) Straßenabtastverfahren
WO2023066559A1 (de) Verfahren und system zur vermeidung von wildunfällen
DE102021204399A1 (de) Verfahren und Vorrichtung zur Erkennung von Gefährdungen im Straßenverkehr

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200211

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RIN1 Information on inventor provided before grant (corrected)

Inventor name: PALMER, ANDREW

Inventor name: NOURANI-VATANI, NAVID

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210430

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20221205