EP4352709A1 - Verfahren zur erkennung von für ein fahrzeug sicherheitsrelevanten objekten - Google Patents

Verfahren zur erkennung von für ein fahrzeug sicherheitsrelevanten objekten

Info

Publication number
EP4352709A1
EP4352709A1 EP22724022.3A EP22724022A EP4352709A1 EP 4352709 A1 EP4352709 A1 EP 4352709A1 EP 22724022 A EP22724022 A EP 22724022A EP 4352709 A1 EP4352709 A1 EP 4352709A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
relevant
classified
safety
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22724022.3A
Other languages
English (en)
French (fr)
Inventor
Stefan Studer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Publication of EP4352709A1 publication Critical patent/EP4352709A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • the invention relates to a method for detecting objects in the surroundings of the vehicle that are relevant to safety for a vehicle, with the surroundings and objects located in the surroundings being detected using detected signals from an environment sensor system of the vehicle.
  • DE 102019 004075 A1 discloses a method for determining a relevance of an object in an area surrounding a motor vehicle for the motor vehicle using a driver assistance system of the motor vehicle and such a driver assistance system.
  • the method provides that the object detected with a detection device of the driver assistance system in the area surrounding the motor vehicle is compared with an object stored in a memory device of the driver assistance system using an electronic computing device of the driver assistance system and the object is identified by the electronic computing device as a function of the comparison. This is done by means of a
  • Line of sight detection device of the driver assistance system detects a line of sight of a driver of the motor vehicle and depending on the detected line of sight, the relevance for the marked object is determined.
  • the invention is based on the object of specifying a method for detecting objects that are safety-relevant for a vehicle.
  • a method for detecting safety-relevant objects for a vehicle, in particular traffic routes, landmarks and places of interest, in the surroundings of the vehicle provides that the surroundings and objects located in them are detected using detected signals from an environment sensor system of the vehicle.
  • a respective object which was recognized by means of an object recognition device of the vehicle and initially classified as not relevant for the vehicle, is classified as potentially relevant if it is recognized by means of a vehicle-side gaze detection device that a gaze of at least one vehicle occupant of the vehicle, in particular all vehicle occupants of the Vehicle stays longer than a predetermined minimum viewing time on the respective object.
  • a respective moving object classified as potentially relevant is being tracked by the at least one vehicle occupant, in particular by all vehicle occupants, for at least a specified period of time, with a trajectory of the respective detected, moved and classified as potentially relevant for the vehicle is identified as safety-relevant for the vehicle after the specified period of time has elapsed if it is necessary for the vehicle to react to the respective object, for example by means of a steering movement and/or braking or Acceleration by the driver or by a driver assistance system.
  • safety can be increased by paying attention to objects on safety-relevant trajectories, in particular with regard to a function of a driver assistance system.
  • the relevance of the respective object relates to a driving task of the vehicle.
  • objects can be identified as safety-relevant for the vehicle in a simple manner on the basis of identified safety-relevant trajectories.
  • objects are recognized as safety-relevant when they are located on trajectories that were identified as safety-relevant at an earlier point in time.
  • the respective trajectory of a moving object identified as safety-relevant is stored as safety-relevant traffic routing in a digital map of the vehicle and/or in a computer unit that is data-linked to the vehicle.
  • safety-relevant traffic routing is also aggregated over a comparatively large number of journeys in the digital map, in that whenever an object is classified as safety-relevant, the trajectory is also included Location information noted in the digital map, for example, is drawn. The relevance of the traffic routing is therefore confirmed several times before it is stored as such in the digital map, before the traffic routing is stored in the digital map as relevant to safety.
  • the digital map stored in the vehicle and/or in the computer unit is made available to other vehicles. Trajectories are made available to the driver assistance system, so that objects on these trajectories can be viewed as relevant for a driving task of the vehicle and the other vehicles in the future.
  • an object detected at a later point in time is classified as relevant depending on its presence on one of the stored safety-relevant traffic routings. If the object detected later is on a trajectory that was previously determined to be safety-relevant, then this object represents a safety-relevant moving object for the vehicle.
  • one possible embodiment of the method provides that, in order to identify landmarks and/or locations of interest, a respective stationary object is classified as potentially relevant by means of a model, with the respective stationary object classified as potentially relevant being displayed to at least one vehicle occupant who classifies each stationary object classified as potentially relevant as a landmark and/or as a place of interest. Provision is therefore made for a distinction to be made between landmarks and places of interest, with the landmarks being used for navigation and a driving experience being able to be enhanced by means of places of interest.
  • the stationary object classified as potentially relevant is stored in the digital map as a landmark and/or as a place of interest.
  • the respective landmark and/or the respective place of interest is displayed in the vehicle and can be used for navigation, for example during a rally drive, and to enhance the driving experience, for example by driving to the place of interest.
  • 1 shows a diagram of a roadway section with two lanes running in opposite directions and a vehicle traveling in a right-hand lane.
  • the only figure shows a roadway section F with two opposing lanes F1, F2.
  • a vehicle 1 is driving in a right-hand lane F1, ahead of which a first vehicle 2 is driving and which a second vehicle 3 is driving towards in a left-hand lane F2.
  • a driveway F3 leads into the right-hand lane F1, with a third vehicle 4 as the first object 01 intending to drive into the right-hand lane F1.
  • the vehicle 1 has an environment sensor system 1.1, which includes a number of detection units, not shown in detail, which are arranged in and/or on the vehicle 1.
  • the detection units are designed as lidar-based, radar-based, ultrasound-based sensors and/or as a multifunction camera.
  • Surrounding sensor system 1.1 has a field of view S1, with another field of view S2 of vehicle occupants of vehicle 1 almost corresponding to field of view S1 of surrounding sensor system 1.1 or a subset thereof. In particular, there are two vehicle occupants in vehicle 1.
  • the surroundings of the vehicle 1 and the objects 01 to 04 located therein are detected on the basis of detected signals from the surroundings sensor system 1.1, with a large number of objects 01 to 04 being recognized by means of an object recognition device 1.2 of the vehicle 1.
  • the problem can arise that without context information on the individual recognized objects 01 to 04, a relevance of these for the vehicle 1 is not or cannot be adequately assessed.
  • the relevance relates both to a driving task and to objects 03, 04 for navigation and/or as locations of interest.
  • all recognized objects 01 to 04 are selected that are classified by a driver assistance system of vehicle 1 (not shown in detail) as not relevant to a driving task. These objects 01 to 04 are initially classified as potentially relevant.
  • the driver assistance system includes a satellite-based position determination unit, navigation data, the environment sensors 1.1, the object recognition device 1.2 and an interior camera 1.3 with a gaze detection device 1.4.
  • the driver assistance system usually selects objects 01 to 04 and discards others, for example in order to reduce computing time. In one possible embodiment, it can be a driver assistance system for automated, for example highly automated, ferry operation of the vehicle 1 .
  • these objects 01 to 04 are classified as potentially relevant if a vehicle-mounted gaze detection device 1.4 detects that at a point in time h of a predetermined period of time the vehicle occupants of vehicle 1 are looking at the respective object 01 to 04 for longer than a predetermined minimum gaze duration.
  • a vehicle-mounted gaze detection device 1.4 detects that at a point in time h of a predetermined period of time the vehicle occupants of vehicle 1 are looking at the respective object 01 to 04 for longer than a predetermined minimum gaze duration.
  • the prerequisite for this is that the field of view S1 of the environmental sensor system 1.1 essentially corresponds to the further field of view S2 of the vehicle occupants.
  • the tractor 5 can drive as the second object 02 coming from the dirt road F4 onto the roadway section F and can become safety-relevant for the vehicle 1 at a further point in time t2 at the end of the specified period of time.
  • the third vehicle 4 as a moving first object 01 on the ramp F3 can also be relevant for the vehicle 1 at the further point in time t2.
  • a trajectory T of the respective detected, moving object 01, 02 classified as potentially relevant for the vehicle 1 is identified as safety-relevant for the vehicle 1 after the specified period of time has elapsed if based on the trajectory T of the third vehicle 4 and/or the tractor 5 it is necessary for the vehicle 1 to react to the respective object 01, 02, for example by means of a steering movement and/or braking or acceleration by the driver or by a driver assistance system.
  • the trajectories T of the moving objects 01, 02 identified as safety-relevant are stored as safety-relevant traffic management in a digital map after multiple confirmation of the relevance for the driving task, for example by other vehicles of a vehicle fleet not shown in detail, to which the vehicle 1 belongs.
  • This digital map is stored in the vehicle 1 and/or in a computer unit which is coupled to the vehicle 1 in terms of data technology and is not shown in detail.
  • the digital map with the stored safety-relevant traffic routes can be made available to other vehicles via vehicle 1 and/or via the computer unit.
  • the provision takes place in particular when the respective additional vehicle is on the corresponding road section F.
  • the safety-relevant traffic routing is made available to the driver assistance system.
  • the method provides that, by means of a stored model, in particular a machine learning model, the respective object 03, 04 detected by the object detection device 1.2 is recognized as a stationary object 03, 04 in the form of a Palm tree 6 and a lookout tower 7 is classified.
  • the respective object 03, 04 is then displayed to the vehicle occupants of the vehicle 1, in particular on a display unit, for example in the area of an instrument panel.
  • the vehicle occupant or occupants now have the option of classifying the respective object 03, 04 as a landmark and/or as a place of interest. For example, a question about this is displayed on the display unit.
  • a landmark is particularly important for navigating the vehicle 1, e.g. B. for a rally drive, in which navigation is made by means of landmarks, relevant.
  • the landmarks and locations of interest are stored in the digital map and are therefore available to the vehicle 1 and possibly other vehicles, at least from the same vehicle fleet.

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von für ein Fahrzeug (1) sicherheitsrelevanten Objekten (01 bis 04) in einer Umgebung des Fahrzeuges (1), wobei die Umgebung und sich in dieser befindende Objekte (01 bis 04) anhand erfasster Signale einer Umgebungssensorik (1.1) des Fahrzeuges (1) detektiert werden. Erfindungsgemäß ist vorgesehen, dass - ein jeweiliges Objekt (01 bis 04), welches mittels einer Objekterkennungsvorrichtung (1.2) des Fahrzeuges (1) erkannt und zunächst für das Fahrzeug (1) als nicht relevant klassifiziert wurde, als potentiell relevant klassifiziert wird, wenn mittels einer fahrzeugseitigen Blickerfassungsvorrichtung (1.4) erkannt wird, dass ein Blick von mindestens einem Fahrzeuginsassen des Fahrzeuges (1) länger als eine vorgegebene Mindestblickdauer auf dem jeweiligen Objekt (01 bis 04) verweilt, - anhand einer erfassten Blickrichtung des mindestens einen Fahrzeuginsassen ermittelt wird, dass ein jeweiliges bewegtes als potentiell relevant klassifiziertes Objekt (01, 02) für mindestens eine vorgegebene Zeitdauer von dem mindestens einen Fahrzeuginsassen verfolgt wird, und - eine Trajektorie (T) des jeweiligen erfassten, bewegten und als potentiell relevant klassifizierten Objektes (01, 02) für das Fahrzeug (1) nach Ablauf der vorgegebenen Zeitdauer als für das Fahrzeug (1) sicherheitsrelevant identifiziert wird, wenn erforderlich ist, dass mittels des Fahrzeuges (1) auf das jeweilige Objekt (01, 02) reagiert wird.

Description

Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten
Die Erfindung betrifft ein Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten in einer Umgebung des Fahrzeuges, wobei die Umgebung und sich in dieser befindende Objekte anhand erfasster Signale einer Umgebungssensorik des Fahrzeuges detektiert werden.
Aus der DE 102019 004075 A1 sind ein Verfahren zum Bestimmen einer Relevanz eines Objektes in einer Umgebung eines Kraftfahrzeuges für das Kraftfahrzeug mittels eines Fahrerassistenzsystems des Kraftfahrzeuges sowie ein solches Fahrerassistenzsystem bekannt. Das Verfahren sieht vor, dass das mit einer Erfassungseinrichtung des Fahrerassistenzsystems erfasste Objekt in der Umgebung des Kraftfahrzeuges mit einem in einer Speichereinrichtung des Fahrerassistenzsystems abgespeicherten Objekt mittels einer elektronischen Recheneinrichtung des Fahrerassistenzsystems verglichen wird und in Abhängigkeit des Vergleichens das Objekt mittels der elektronischen Recheneinrichtung gekennzeichnet wird. Dabei wird mittels einer
Blickrichtungserfassungseinrichtung des Fahrerassistenzsystems eine Blickrichtung eines Fahrers des Kraftfahrzeuges erfasst und in Abhängigkeit der erfassten Blickrichtung wird die Relevanz für das gekennzeichnete Objekt bestimmt.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten anzugeben.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, welches die in Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Ein Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten, insbesondere von Verkehrsführungen, Landmarken und Orten von Interesse, in einer Umgebung des Fahrzeuges sieht vor, dass die Umgebung und sich in dieser befindende Objekte anhand erfasster Signale einer Umgebungssensorik des Fahrzeuges detektiert werden. Erfindungsgemäß wird ein jeweiliges Objekt, welches mittels einer Objekterkennungsvorrichtung des Fahrzeuges erkannt und zunächst für das Fahrzeug als nicht relevant klassifiziert wurde, als potentiell relevant klassifiziert, wenn mittels einer fahrzeugseitigen Blickerfassungsvorrichtung erkannt wird, dass ein Blick mindestens eines Fahrzeuginsassen des Fahrzeuges, insbesondere aller Fahrzeuginsassen des Fahrzeugs länger als eine vorgegebene Mindestblickdauer auf dem jeweiligen Objekt verweilt. Zudem wird anhand einer erfassten Blickrichtung des mindestens einen Fahrzeuginsassen, insbesondere aller Fahrzeuginsassen, ermittelt, dass ein jeweiliges bewegtes als potentiell relevant klassifiziertes Objekt für mindestens eine vorgegebene Zeitdauer von dem mindestens einen Fahrzeuginsassen, insbesondere von allen Fahrzeuginsassen, verfolgt wird, wobei eine Trajektorie des jeweiligen erfassten, bewegten und als potentiell relevant klassifizierten Objektes für das Fahrzeug nach Ablauf der vorgegebenen Zeitdauer als für das Fahrzeug sicherheitsrelevant identifiziert wird, wenn erforderlich ist, dass mittels des Fahrzeuges auf das jeweilige Objekt reagiert wird, beispielsweise mittels einer Lenkbewegung und/oder einer Bremsung oder Beschleunigung durch den Fahrer oder durch ein Fahrerassistenzsystem.
Durch Anwendung des Verfahrens kann eine Sicherheit durch eine Beachtung von Objekten auf sicherheitsrelevanten Trajektorien, insbesondere in Bezug auf eine Funktion eines Fahrerassistenzsystems, erhöht werden. Dabei bezieht sich die Relevanz des jeweiligen Objektes auf eine Fahraufgabe des Fahrzeuges.
Mit diesem Verfahren lassen sich Objekte auf einfache Weise anhand von auf identifizierten sicherheitsrelevanten Trajektorien als für das Fahrzeug sicherheitsrelevant identifizieren. Insbesondere werden Objekte dann als sicherheitsrelevant erkannt, wenn sie sich auf Trajektorien befinden, die zu einem früheren Zeitpunkt als sicherheitsrelevant identifiziert worden sind.
In einer Ausführungsform des Verfahrens wird die jeweilige als sicherheitsrelevant identifizierte Trajektorie eines bewegten Objektes als sicherheitsrelevante Verkehrsführung in einer digitalen Karte des Fahrzeuges und/oder in einer mit dem Fahrzeug datentechnisch gekoppelten Rechnereinheit hinterlegt. Hierzu wird eine solche Information zudem über vergleichsweise viele Fahrten in der digitalen Karte aggregiert, indem immer, wenn ein Objekt als sicherheitsrelevant eingestuft wird, die Trajektorie mit Ortsangaben in der digitalen Karte vermerkt, beispielsweise eingezeichnet wird. Eine Relevanz der Verkehrsführung wird also, bevor diese als solche in der digitalen Karte hinterlegt wird, mehrfach bestätigt, bevor die Verkehrsführung als sicherheitsrelevant in der digitalen Karte gespeichert wird.
Die im Fahrzeug und/oder in der Rechnereinheit hinterlegte digitale Karte wird in einer Weiterbildung des Verfahrens weiteren Fahrzeugen zur Verfügung gestellt. Dabei werden dem Fahrerassistenzsystem Trajektorien zur Verfügung gestellt, so dass Objekte auf diesen Trajektorien zukünftig als relevant für eine Fahraufgabe des Fahrzeuges und der weiteren Fahrzeuge betrachtet werden können.
Hierzu wird in einerweiteren Ausführungsform ein zu einem späteren Zeitpunkt erfasstes Objekt in Abhängigkeit seiner Anwesenheit auf einer der hinterlegten sicherheitsrelevanten Verkehrsführungen als relevant klassifiziert. Befindet sich das später erfasste Objekt auf einer zuvor als sicherheitsrelevant ermittelten Trajektorie, so stellt dieses Objekt für das Fahrzeug ein sicherheitsrelevantes bewegtes Objekt dar.
Weiterhin sieht eine mögliche Ausführung des Verfahrens vor, dass zur Erkennung von Landmarken und/oder Orten von Interesse mittels eines Modelles ein jeweiliges als potentiell relevantes stationäres Objekt klassifiziert wird, wobei das jeweilige als potentiell relevant klassifizierte stationäre Objekt zumindest einem Fahrzeuginsassen angezeigt wird, der das jeweilige als potentiell relevant klassifizierte stationäre Objekt als Landmarke und/oder als Ort von Interesse einstuft. Es ist also vorgesehen, dass zwischen Landmarke und Ort von Interesse unterschieden wird, wobei die Landmarke zur Navigation dient und mittels Orten von Interessen ein Fahrerlebnis gesteigert werden kann.
Darüber hinaus wird in einer Weiterbildung des Verfahrens das als potentiell relevant klassifizierte stationäre Objekt als Landmarke und/oder als Ort von Interesse in der digitalen Karte hinterlegt. Dadurch werden bzw. wird die jeweilige Landmarke und/oder der jeweilige Ort von Interesse in dem Fahrzeug angezeigt und kann zur Navigation, beispielsweise bei einer Rallyefahrt, und zur Steigerung des Fahrerlebnisses, beispielsweise durch Anfahrt des Ortes von Interesse, dienen.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt: Fig. 1 schematisch einen Fahrbahnabschnitt mit zwei gegenläufigen Fahrspuren und einem auf einer rechten Fahrspur fahrenden Fahrzeug.
Die einzige Figur zeigt einen Fahrbahnabschnitt F mit zwei gegenläufigen Fahrspuren F1, F2. Auf einer rechten Fahrspur F1 fährt ein Fahrzeug 1, dem ein erstes Fahrzeug 2 vorausfährt und denen ein zweites Fahrzeug 3 auf einer linken Fahrspur F2 entgegenfährt.
Auf einem dem Fahrzeug 1 unmittelbar vorausliegenden Streckenabschnitt des Fahrbahnabschnittes F mündet eine Auffahrt F3 in die rechte Fahrspur F1, wobei ein drittes Fahrzeug 4 als erstes Objekt 01 beabsichtigt, auf die rechte Fahrspur F1 aufzufahren. Von der linken Fahrspur F2 führt ein Feldweg F4 ab, auf dem ein Traktor 5 als zweites Objekt 02 in Richtung der linken Fahrspur F2 fährt.
Neben der rechten Fahrspur F1 befinden sich zwei weitere Objekte 03, 04, wobei es sich bei einem dritten Objekt 03 um eine Palme 6 und bei einem vierten Objekt 04 um einen Aussichtsturm 7 handelt.
Das Fahrzeug 1 weist eine Umgebungssensorik 1.1 auf, die eine Anzahl nicht näher dargestellter Erfassungseinheiten umfasst, die im und/oder am Fahrzeug 1 angeordnet sind. Beispielsweise sind die Erfassungseinheiten als lidarbasierte, radarbasierte, ultraschallbasierte Sensoren und/oder als Multifunktionskamera ausgebildet.
Die Umgebungssensorik 1.1 weist ein Sichtfeld S1 auf, wobei ein weiteres Sichtfeld S2 von Fahrzeuginsassen des Fahrzeuges 1 nahezu dem Sichtfeld S1 der Umgebungssensorik 1.1 oder einer Teilmenge davon entspricht. Insbesondere befinden sich zwei Fahrzeuginsassen in dem Fahrzeug 1.
Anhand erfasster Signale der Umgebungssensorik 1.1 werden eine Umgebung des Fahrzeuges 1 und sich in dieser befindender Objekte 01 bis 04 detektiert, wobei mittels einer Objekterkennungsvorrichtung 1.2 des Fahrzeuges 1 eine Vielzahl von Objekten 01 bis 04 erkannt wird.
Dabei kann das Problem bestehen, dass ohne Kontextinformation zu den einzelnen erkannten Objekten 01 bis 04 eine Relevanz dieser für das Fahrzeug 1 nicht oder unzureichend bewertet werden kann. Die Relevanz bezieht sich dabei sowohl auf eine Fahraufgabe als auch auf Objekte 03, 04 zur Navigation und/oder als Orte von Interesse.
Um die Relevanz des jeweiligen Objektes 01 bis 04 für das Fahrzeug 1 zu ermitteln, ist ein im Folgenden beschriebenes Verfahren vorgesehen.
Gemäß dem Verfahren werden alle erkannten Objekte 01 bis 04 ausgewählt, die von einem nicht näher gezeigten Fahrerassistenzsystem des Fahrzeuges 1 als nicht relevant für eine Fahraufgabe klassifiziert werden. Diese Objekte 01 bis 04 werden zunächst als potentiell relevant klassifiziert.
Das Fahrerassistenzsystem umfasst eine satellitengestützte Positionsbestimmungseinheit, Navigationsdaten, die Umgebungssensorik 1.1, die Objekterkennungsvorrichtung 1.2 und eine Innenraumkamera 1.3 mit einer Blickerfassungsvorrichtung 1.4. Üblicherweise wählt das Fahrerassistenzsystem Objekte 01 bis 04 aus und verwirft andere, beispielsweise um eine Rechenzeit zu verringern. In einer möglichen Ausführung kann es sich um ein Fahrerassistenzsystem zum automatisierten, beispielsweise zum hochautomatisierten, Fährbetrieb des Fahrzeuges 1 handeln.
Insbesondere werden diese Objekte 01 bis 04 als potentiell relevant klassifiziert, wenn mittels einer fahrzeugseitigen Blickerfassungsvorrichtung 1.4 erkannt wird, dass zu einem Zeitpunkt h einer vorgegebenen Zeitdauer ein Blick der Fahrzeuginsassen des Fahrzeuges 1 länger als eine vorgegebene Mindestblickdauer auf dem jeweiligen Objekt 01 bis 04 verweilt. Voraussetzung hierfür ist, dass das Sichtfeld S1 der Umgebungssensorik 1.1 im Wesentlichen dem weiteren Sichtfeld S2 der Fahrzeuginsassen entspricht.
In Bezug auf eine Erkennung sicherheitsrelevanter Verkehrsführungen für das Fahrzeug 1 ist vorgesehen, dass bei erkannten bewegten Objekten 01, 02 beobachtet wird, ob das jeweilige Objekt 01, 02 aufgrund seiner Bewegung und einer Bewegung des Fahrzeuges 1, also in einem weiteren Verlauf, hinsichtlich der Fahraufgabe des Fahrzeuges 1 relevant wird. Beispielsweise kann der Traktor 5 als zweites Objekt 02 von dem Feldweg F4 kommend auf den Fahrbahnabschnitt F fahren und zu einem weiteren Zeitpunkt t2 zum Ablauf der vorgegebenen Zeitdauer für das Fahrzeug 1 sicherheitsrelevant werden. Auch das dritte Fahrzeug 4 als bewegtes erstes Objekt 01 auf der Auffahrt F3 kann zu dem weiteren Zeitpunkt t2 für das Fahrzeug 1 relevant sein. Insbesondere wird eine Trajektorie T des jeweiligen erfassten, bewegten und als potentiell relevant klassifizierten Objektes 01, 02 für das Fahrzeug 1 nach Ablauf der vorgegebenen Zeitdauer als für das Fahrzeug 1 sicherheitsrelevant identifiziert, wenn aufgrund der Trajektorie T des dritten Fahrzeuges 4 und/oder des Traktors 5 erforderlich ist, dass das Fahrzeug 1 auf das jeweilige Objekt 01, 02 reagieren muss, beispielsweise mittels einer Lenkbewegung und/oder einer Bremsung oder Beschleunigung durch den Fahrer oder durch ein Fahrerassistenzsystem.
Die als sicherheitsrelevant identifizierten Trajektorien T der bewegten Objekte 01, 02 werden nach mehrfacher Bestätigung der Relevanz für die Fahraufgabe, beispielsweise von nicht näher gezeigten weiteren Fahrzeugen einer Fahrzeugflotte, der das Fahrzeug 1 angehört, als sicherheitsrelevante Verkehrsführung in einer digitalen Karte hinterlegt.
Diese digitale Karte ist in dem Fahrzeug 1 und/oder in einer mit dem Fahrzeug 1 datentechnisch gekoppelten, nicht näher dargestellten Rechnereinheit hinterlegt. Beispielsweise kann die digitale Karte mit den hinterlegten sicherheitsrelevanten Verkehrsführungen weiteren Fahrzeugen über das Fahrzeug 1 und/oder über die Rechnereinheit zur Verfügung gestellt werden. Beispielsweise erfolgt die Zurverfügungstellung insbesondere dann, wenn sich das jeweilige weitere Fahrzeug auf dem entsprechenden Fahrbahnabschnitt F befindet. Insbesondere wird die sicherheitsrelevante Verkehrsführung dem Fahrerassistenzsystem zur Verfügung gestellt.
In Bezug auf die Erkennung von Landmarken und/oder Orten von Interesse sieht das Verfahren vor, dass mittels eines hinterlegten Modelles, insbesondere einem Machine Learning Models, das jeweilige mittels der Objekterkennungsvorrichtung 1.2 erkannte Objekt 03, 04 als stationäres Objekt 03, 04 in Form einer Palme 6 und eines Aussichtsturmes 7 klassifiziert wird.
Das jeweilige Objekt 03, 04 wird dann den Fahrzeuginsassen des Fahrzeuges 1, insbesondere auf einer Anzeigeeinheit, beispielsweise im Bereich einer Instrumententafel, angezeigt. Der Fahrzeuginsasse oder die Fahrzeuginsassen haben nun die Möglichkeit, das jeweilige Objekt 03, 04 als Landmarke und/oder als Ort von Interesse einzustufen. Beispielsweise wird hierzu eine Frage auf der Anzeigeeinheit eingeblendet. Dabei ist eine solche Landmarke insbesondere für eine Navigation des Fahrzeuges 1, z. B. für eine Rallyefahrt, bei welcher mittels Landmarken navigiert wird, relevant. Auch hier ist vorgesehen, dass die Landmarken und Orte von Interessen in der digitalen Karte hinterlegt werden und somit dem Fahrzeug 1 und gegebenenfalls weiteren Fahrzeugen, zumindest derselben Fahrzeugflotte, zur Verfügung stehen.

Claims

Patentansprüche
1. Verfahren zur Erkennung von für ein Fahrzeug (1) sicherheitsrelevanten Objekten (01 bis 04) in einer Umgebung des Fahrzeuges (1), wobei die Umgebung und sich in dieser befindende Objekte (01 bis 04) anhand erfasster Signale einer Umgebungssensorik (1.1) des Fahrzeuges (1) detektiert werden, dadurch gekennzeichnet, dass
- ein jeweiliges Objekt (01 bis 04), welches mittels einer Objekterkennungsvorrichtung (1.2) des Fahrzeuges (1) erkannt und zunächst für das Fahrzeug (1) als nicht relevant klassifiziert wurde, als potentiell relevant klassifiziert wird, wenn mittels einer fahrzeugseitigen
Blickerfassungsvorrichtung (1.4) erkannt wird, dass ein Blick von mindestens einem Fahrzeuginsassen des Fahrzeuges (1) länger als eine vorgegebene Mindestblickdauer auf dem jeweiligen Objekt (01 bis 04) verweilt,
- anhand einer erfassten Blickrichtung des mindestens einen Fahrzeuginsassen ermittelt wird, dass ein jeweiliges bewegtes als potentiell relevant klassifiziertes Objekt (01, 02) für mindestens eine vorgegebene Zeitdauer von dem mindestens einen Fahrzeuginsassen verfolgt wird, und
- eine Trajektorie (T) des jeweiligen erfassten, bewegten und als potentiell relevant klassifizierten Objektes (01, 02) für das Fahrzeug (1) nach Ablauf der vorgegebenen Zeitdauer als für das Fahrzeug (1) sicherheitsrelevant identifiziert wird, wenn erforderlich ist, dass mittels des Fahrzeuges (1) auf das jeweilige Objekt (01, 02) reagiert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die jeweilige als sicherheitsrelevant identifizierte Trajektorie (T) eines bewegten Objektes (01, 02) als sicherheitsrelevante Verkehrsführung in einer digitalen Karte des Fahrzeuges (1) und/oder in einer mit dem Fahrzeug (1) datentechnisch gekoppelten Rechnereinheit hinterlegt wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die im Fahrzeug (1) und/oder in der Rechnereinheit hinterlegte digitale Karte weiteren Fahrzeugen zur Verfügung gestellt wird.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass ein zu einem späteren Zeitpunkt erfasstes weiteres Objekt in Abhängigkeit seiner Anwesenheit auf einer der hinterlegten sicherheitsrelevanten Verkehrsführungen als relevant klassifiziert wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erkennung von Landmarken und/oder Orten von Interesse mittels eines Modelles ein jeweiliges als potentiell relevantes stationäres Objekt (03, 04) klassifiziert wird, wobei das jeweilige als potentiell relevant klassifizierte stationäre Objekt (03, 04) zumindest einem Fahrzeuginsassen angezeigt wird, der das jeweilige als potentiell relevant klassifizierte stationäre Objekt (03, 04) als Landmarke und/oder als Ort von Interesse einstuft.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das als potentiell relevant klassifizierte stationäre Objekt (03, 04) als Landmarke und/oder als Ort von Interesse in der digitalen Karte hinterlegt wird.
EP22724022.3A 2021-06-07 2022-04-20 Verfahren zur erkennung von für ein fahrzeug sicherheitsrelevanten objekten Pending EP4352709A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021002918.6A DE102021002918B4 (de) 2021-06-07 2021-06-07 Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten
PCT/EP2022/060418 WO2022258250A1 (de) 2021-06-07 2022-04-20 Verfahren zur erkennung von für ein fahrzeug sicherheitsrelevanten objekten

Publications (1)

Publication Number Publication Date
EP4352709A1 true EP4352709A1 (de) 2024-04-17

Family

ID=81748412

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22724022.3A Pending EP4352709A1 (de) 2021-06-07 2022-04-20 Verfahren zur erkennung von für ein fahrzeug sicherheitsrelevanten objekten

Country Status (5)

Country Link
EP (1) EP4352709A1 (de)
KR (1) KR20240004883A (de)
CN (1) CN117413302A (de)
DE (1) DE102021002918B4 (de)
WO (1) WO2022258250A1 (de)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE529304C2 (sv) * 2005-09-06 2007-06-26 Gm Global Tech Operations Inc Metod och system för förbättrande av trafiksäkerhet
DE102016201939A1 (de) 2016-02-09 2017-08-10 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen
DE102017207960A1 (de) 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
US20180339730A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating a wide-area perception scene graph
DE102017221202B3 (de) 2017-11-27 2018-12-27 Audi Ag Fahrzeugsteuersystem für autonom fahrendes Kraftfahrzeug
DE102018219125A1 (de) 2018-11-09 2020-05-14 Volkswagen Aktiengesellschaft Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeuges und automatisiert fahrendes Kraftfahrzeug
WO2020157135A1 (en) * 2019-01-31 2020-08-06 Robert Bosch Gmbh Environmental awareness system for a vehicle
DE102019004075A1 (de) 2019-06-08 2020-01-02 Daimler Ag Verfahren zum Bestimmen einer Relevanz eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems sowie Fahrerassistenzsystem

Also Published As

Publication number Publication date
KR20240004883A (ko) 2024-01-11
CN117413302A (zh) 2024-01-16
DE102021002918A1 (de) 2022-12-08
DE102021002918B4 (de) 2023-04-06
WO2022258250A1 (de) 2022-12-15

Similar Documents

Publication Publication Date Title
DE102015207123B4 (de) Fahrassistenzvorrichtung und -verfahren
DE102019211681B4 (de) Verfahren eines Fahrzeugs zum automatisierten Parken
DE102018114808A1 (de) Verfahren zur automatischen Querführung eines Folgefahrzeugs in einem Fahrzeug-Platoon
EP2583263A1 (de) Verfahren zur fusion eines verkehrszeichenerkennungssystems und eines spurerkennungssystems eines kraftfahrzeugs
DE102010043742A1 (de) Verfahren zur Auswahl einer Parklücke bei mehreren zum Einparken geeigneten Parklücken
DE102009029117A1 (de) Verfahren zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung
DE102016213782A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
DE102009046726A1 (de) Auswahl einer Parklücke aus mehreren erkannten Parklücken
WO2018141447A1 (de) Verfahren zur lokalisierung eines höher automatisierten, z.b. hochautomatisierten fahrzeugs (haf) in einer digitalen lokalisierungskarte
DE19521917C2 (de) Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
DE102019217428A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem und Fahrzeug
DE102014220199B3 (de) Verfahren für ein Kraftfahrzeug mit einer Kamera, Vorrichtung und System
DE102018115317A1 (de) Verfahren und Fahrunterstützungssystem zum Betreiben eines Fahrzeugs oder zum Unterstützen eines Fahrers des Fahrzeugs unter Verwendung von Fahrspurinformation
DE102020107941A1 (de) Verfahren zum Bereitstellen von unterschiedlichen Fahrerassistenzfunktionen für ein Fahrzeug zum automatisierten Abfahren von zuvor aufgezeichneten Wegstrecken, Recheneinrichtung sowie Fahrerassistenzvorrichtung
DE102018213378B4 (de) Fahrassistenzsystem für ein Fahrzeug, Fahrzeug mit demselben und Fahrassistenzverfahren für ein Fahrzeug
DE102005059415B4 (de) Spurwechselassistenzsystem für ein Fahrzeug
DE102019107224A1 (de) Fahrunterstützungsverfahren
DE102021002918B4 (de) Verfahren zur Erkennung von für ein Fahrzeug sicherheitsrelevanten Objekten
DE102016222215A1 (de) Kraftfahrzeug mit einem Fahrerassistenzsystem, das eine Kamera aufweist
DE102021103680A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem und fahrzeug mit einem parkassistenzsystem
DE102019132967A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrspur-Hypothese
DE102020101375A1 (de) Verfahren zur Querverkehrswarnung für ein Fahrzeug mit Erkennung von Fahrspuren, Recheneinrichtung sowie Fahrerassistenzsystem
EP3996976A1 (de) Verfahren und assistenzsystem zur nutzung einer digitalen karte in einem fahrzeug
DE102018129556A1 (de) Verfahren zum wenigstens teilautonomen Fahren eines Fahrzeugs im Rahmen eines Parkvorgangs
DE102018009416A1 (de) Verfahren zur kooperativen Steuerung einer Bewegung eines Fahrzeuges

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231130

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR