EP4649465A1 - Verfahren und system zum zuverlässigen detektieren von objekten in einer umgebung eines kraftfahrzeuges - Google Patents

Verfahren und system zum zuverlässigen detektieren von objekten in einer umgebung eines kraftfahrzeuges

Info

Publication number
EP4649465A1
EP4649465A1 EP23820794.8A EP23820794A EP4649465A1 EP 4649465 A1 EP4649465 A1 EP 4649465A1 EP 23820794 A EP23820794 A EP 23820794A EP 4649465 A1 EP4649465 A1 EP 4649465A1
Authority
EP
European Patent Office
Prior art keywords
objects
motor vehicle
environmental sensors
detected
different environmental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23820794.8A
Other languages
English (en)
French (fr)
Inventor
Jerg Pfeil
Thomas Michalke
Jochen Wieland
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4649465A1 publication Critical patent/EP4649465A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion

Definitions

  • the invention relates to a method for reliably detecting objects in an environment of a motor vehicle and in particular to a method for detecting objects in an environment of a motor vehicle, with which a high detection rate can be ensured and at the same time the number of incorrectly detected objects can be reduced.
  • the individual sensor systems each comprise an environmental sensor and a processing unit which is designed to analyze data provided by the environmental sensor, for example to detect objects in the data.
  • the environmental sensors can be, for example, video cameras, radars, LIDArs or ultrasonic sensors.
  • Each of these environmental sensors is very limited in its respective area of application and may not be able to provide all the required information about the vehicle's surroundings, for example depending on the installation location or current weather conditions.
  • the reliability of the recognition of the vehicle's surroundings and thus also of the detection of objects in the vehicle's surroundings can be increased.
  • a method for checking the plausibility of sensor signals and a method and a device for outputting a trigger signal wherein a first sensor element detects at least one first physical quantity and outputs it as a first sensor signal, and wherein a second sensor element detects a second physical quantity correlated to the first physical quantity and outputs it as a second sensor signal.
  • At least the first sensor element has at least one first reliability range with an upper limit and/or a lower limit, which is related to the second physical quantity detected by the second sensor element, wherein a current value of the first physical quantity detected by the first sensor element is recognized as plausible if a current value of the second physical quantity detected by the second sensor element lies within the corresponding first reliability range of the first sensor element.
  • the invention is therefore based on the object of specifying an improved method for reliably detecting objects in the environment of a motor vehicle.
  • the object is achieved by a method for reliably detecting objects in an environment of a motor vehicle according to the features of patent claim 1.
  • the object is also achieved by a system for reliably detecting objects in the environment of a motor vehicle according to the features of patent claim 8.
  • this object is achieved by a method for reliably detecting objects in an environment of a motor vehicle, wherein the motor vehicle has a plurality of different environmental sensors, and wherein the method comprises capturing sensor data by at least one of the plurality of different environmental sensors, for each of the at least one of the plurality of different environmental sensors, detecting objects in the corresponding captured sensor data, determining at least one abnormality in the object detection based on the detected objects, and, for each of the at least one abnormality, checking the corresponding abnormality in order to reliably detect objects in the environment of the motor vehicle.
  • a sensor which is also referred to as a detector, measured variable or measuring sensor or (measurement) probe, is a technical component that can detect certain physical or chemical properties and/or the material properties of its environment qualitatively or quantitatively as a measured variable.
  • An environmental sensor is also understood to be a sensor for detecting conditions existing in an environment, for example the environment of a motor vehicle.
  • Types of environmental sensors or on different Process-based environmental sensors are understood, for example video cameras, radars, LIDARe or ultrasonic sensors.
  • the fact that objects are detected in the sensor data also means that objects or things represented in the object data, regardless of their type, are detected by an object detection or an object detection algorithm, whereby the objects can be, for example, pedestrians, other motor vehicles, traffic control systems or other objects in the vicinity of a motor vehicle.
  • Anomalies are also understood to mean object detection results that may indicate an object, but should or should be checked again, in particular in order to avoid corresponding safety-critical situations when controlling a driver assistance system or a driving function. Such an anomaly can occur, for example, if an object is detected in sensor data recorded by an environmental sensor, but the same object was not also detected in sensor data recorded by other, different environmental sensors.
  • an anomaly is checked also means that the object underlying the corresponding anomaly is verified, i.e. it is checked whether the anomaly actually represents an object or not.
  • the detection performance or performance of corresponding object detectors can be increased, which in turn leads to improved performance of the perception of the environment. This can ensure a high detection rate and at the same time reduce the number of incorrectly detected objects.
  • blind areas of individual Object detectors i.e. situations in which objects are difficult to detect by individual object detectors.
  • the method may further comprise a step of preprocessing the corresponding acquired sensor data for each of the at least one of the plurality of different environmental sensors, wherein the step of respectively detecting objects in the corresponding acquired sensor data for each of the at least one of the plurality of different environmental sensors comprises detecting objects in the corresponding preprocessed sensor data.
  • the fact that the sensor data is preprocessed means that the sensor data is specifically prepared for object detection, whereby, for example, deficiencies in the corresponding sensor can be compensated.
  • the step of determining at least one abnormality in the object detection based on the detected objects may comprise determining at least one abnormality based on the detected objects and further information describing the situation.
  • Information describing the situation is understood to mean data representing the corresponding situation, whereby the information may, for example, include context information or information about the values of one or more vehicle parameters present in the corresponding situation. This can further increase the reliability of detecting objects in the vehicle's surroundings by taking into account information about the current situation, such as current weather conditions, current lighting conditions and/or current vehicle speed.
  • the step of determining at least one abnormality in object detection based on the detected objects may also comprise applying a machine learning algorithm which is trained to determine abnormalities in object detection based on information about detected objects.
  • Machine learning algorithms are based on the use of statistical methods to train a data processing system so that it can perform a specific task without it originally being explicitly programmed to do so.
  • the goal of machine learning is to construct algorithms that can learn from data and make predictions. These algorithms create mathematical models that can be used, for example, to classify data.
  • the step of, for each of the at least one anomaly, checking the corresponding anomaly may further comprise applying an event camera and/or refining an object detection underlying the corresponding anomaly and checking the corresponding anomaly based on the refined object detection and/or detecting objects in sensor data acquired by another of the plurality of different environmental sensors to check the corresponding anomaly.
  • An event camera is also understood to be an imaging sensor that reacts to local brightness changes. Instead of an image sequence with a To provide a constant frequency, event cameras only send information from the pixels where the brightness has changed significantly. This allows objects in the vehicle's surroundings, especially moving objects, to be detected even better.
  • Refining an object detection underlying the corresponding abnormality and then checking the corresponding abnormality based on the refined object detection is further understood to mean that all available computer resources are focused or directed on resolving the abnormality, i.e. the circumstances of the corresponding data processing system itself are taken into account, alternative, possibly more precise algorithms for object detection are selected and then an attempt is made to resolve the abnormality based on the more precise algorithm, or that the object detection is adapted in such a way that inconspicuous areas or pixels that are unimportant for the corresponding abnormality are omitted or not taken into account in order to save computing time and to be able to concentrate on resolving the corresponding abnormality.
  • the fact that objects are detected in sensor data acquired by another of the several different environmental sensors in order to check the corresponding anomaly further means that objects detected in sensor data of an environmental sensor are verified by checking whether the corresponding objects are also detected in sensor data of at least one other environmental sensor.
  • the plurality of different environmental sensors comprise a video sensor and/or a LIDAR sensor and/or a radar sensor and/or an ultrasonic sensor.
  • Video sensors are image-based sensors that can record moving scenes and/or evaluate the recorded sensor data fully automatically.
  • LIDAR sensors emit laser beams and detect the light scattered back from an object, whereby conclusions can be drawn about the corresponding object from the scattered light.
  • Radar sensors emit electromagnetic waves and detect the waves reflected from an object, whereby conclusions can be drawn about the corresponding object from the reflected waves.
  • Ultrasonic sensors emit short, high-frequency sound pulses and detect the pulses reflected from an object.
  • the reflected pulses can be used to draw conclusions about the corresponding object.
  • the several different environmental sensors can therefore be sensors that are already integrated in conventional motor vehicles or are usually already present, so that the process can be implemented without the need for complex and costly modifications.
  • the multiple different environmental sensors have a video sensor and/or a LIDAR sensor and/or a radar sensor and/or an ultrasonic sensor is only one possible embodiment. Rather, the different environmental sensors can also have other sensors that can detect objects in a vehicle environment, for example acoustic sensors.
  • a further embodiment of the invention also provides a method for controlling at least one function of a motor vehicle based on objects detected in an environment of the motor vehicle, wherein the method comprises detecting objects in the environment of the motor vehicle by a method described above for reliably detecting objects in an environment of a motor vehicle and controlling at least one function of the motor vehicle based on the detected objects
  • a function of a motor vehicle is understood to mean a controllable function of the motor vehicle, for example a driver assistance system or a controllable driving function.
  • a method for controlling at least one function of a motor vehicle is specified, which is based on an improved method for reliably detecting objects in the environment of a motor vehicle.
  • this is based on a method for reliably detecting objects in the environment of a motor vehicle, with which the reliability or accuracy when detecting objects in the environment of a motor vehicle can be increased, which in turn can avoid corresponding safety-critical situations when controlling the function of the motor vehicle, for example a driver assistance system or a driving function based on the detected objects.
  • the detection power or performance of corresponding object detectors can be increased, which in turn leads to improved performance of the perception of the environment. This can ensure a high detection rate and at the same time reduce the number of incorrectly detected objects.
  • blind areas of individual object detectors i.e. situations in which objects can only be detected with difficulty by individual object detectors, can be reliably detected.
  • a further embodiment of the invention also provides a system for reliably detecting objects in the environment of a motor vehicle, wherein the motor vehicle has a plurality of different environmental sensors, and wherein the system is designed to capture sensor data by at least one of the plurality of different environmental sensors, wherein the system has a detection unit for each of the at least one of the plurality of different environmental sensors, which is designed to detect objects in the corresponding to detect acquired sensor data, and wherein the system further comprises a determination unit which is designed to determine at least one abnormality in the object detection based on the detected objects, and a checking unit which is designed to check the corresponding abnormality for each of the at least one abnormality in order to reliably detect objects in the surroundings of the motor vehicle.
  • This provides an improved system for reliably detecting objects in the environment of a motor vehicle.
  • the reliability or accuracy when detecting objects in the environment of a motor vehicle can be increased, which in turn can avoid corresponding safety-critical situations when controlling a driver assistance system or a driving function based on the detected objects.
  • the detection performance or performance of corresponding object detectors can be increased, which in turn leads to improved performance of the perception of the environment. This can ensure a high detection rate and at the same time reduce the number of incorrectly detected objects.
  • blind areas of individual object detectors i.e. situations in which objects can only be detected with difficulty by individual object detectors, can be reliably detected.
  • the system can further comprise a preprocessing unit for each of the at least one of the several different environmental sensors, which is designed to preprocess the corresponding recorded sensor data, wherein the detection unit is designed to detect objects in the corresponding preprocessed sensor data for each of the at least one of the several different environmental sensors.
  • the determination unit can be designed to determine the at least one abnormality based on the detected objects and other information describing the situation. This can further increase the reliability of detecting objects in the vicinity of the vehicle by taking into account information about the current situation, for example current weather conditions, current lighting conditions and/or current vehicle speed.
  • the determination unit can be designed to determine the at least one abnormality by applying a machine learning algorithm which is trained to determine abnormalities in object detection based on information about detected objects.
  • Information about detected objects is understood to mean data representing the corresponding detected objects.
  • the checking unit can also be designed to use an event camera for each of the at least one abnormality to check the corresponding abnormality and/or to refine an object detection underlying the corresponding abnormality and to check the corresponding abnormality based on the refined object detection and/or to check the corresponding abnormality by detecting objects in sensor data recorded by another of the several different environmental sensors. This can further increase the reliability in resolving abnormalities and thus also in detecting objects in the environment of the vehicle.
  • the plurality of different environmental sensors comprise a video sensor and/or a LIDAR sensor and/or a radar sensor and/or an ultrasonic sensor.
  • the plurality of different environmental sensors can thus be These are sensors that are already integrated or usually already present in ordinary motor vehicles, so that the system can be implemented without the need for complex and costly modifications.
  • the multiple different environmental sensors have a video sensor and/or a LIDAR sensor and/or a radar sensor and/or an ultrasonic sensor is only one possible embodiment. Rather, the different environmental sensors can also have other sensors that can detect objects in a vehicle environment, for example acoustic sensors.
  • a further embodiment of the invention also provides a system for controlling at least one function of a motor vehicle based on objects detected in an environment of the motor vehicle, wherein the system has a receiving unit for receiving information about objects detected in the environment of the motor vehicle, wherein the objects were detected by a system described above for reliably detecting objects in an environment of a motor vehicle, and a control unit which is designed to control the at least one function based on the information provided.
  • Information about objects detected in the surroundings of the motor vehicle is understood to mean data representing the corresponding detected objects.
  • a system for controlling at least one function of a motor vehicle is specified, which is based on an improved system for reliably detecting objects in the environment of a motor vehicle.
  • this is based on a system for reliably detecting objects in the environment of a motor vehicle, with which the reliability or accuracy in detecting objects in the environment of a motor vehicle can be increased, which in turn can prevent corresponding safety-critical situations when controlling the function of the motor vehicle, for example a driver assistance system or a driving function based on the detected objects can be avoided.
  • the detection performance or performance of corresponding object detectors can be increased, which in turn leads to improved performance of the environment perception. This ensures a high detection rate and at the same time reduces the number of incorrectly detected objects.
  • blind areas of individual object detectors i.e. situations in which objects can only be detected with difficulty by individual object detectors, can be reliably detected.
  • the present invention provides a method for detecting objects in the environment of a motor vehicle, with which a high detection rate can be ensured and at the same time the number of incorrectly detected objects can be reduced.
  • Fig. 1 is a flow chart of a method for reliably detecting
  • Fig. 2 is a schematic block diagram of a system for reliably detecting objects in an environment of a motor vehicle, according to embodiments of the invention.
  • Fig. 1 shows a flow chart of a method for reliably detecting objects in an environment of a motor vehicle 1, according to embodiments of the invention.
  • Fig. 1 shows a flow chart of a method for reliably detecting objects in an environment of a motor vehicle 1, according to embodiments of the invention, wherein the motor vehicle has several different environmental sensors.
  • the individual sensor systems each comprise an environmental sensor and a processing unit which is designed to analyze data provided by the environmental sensor, for example to detect objects in the data.
  • the environmental sensors can be, for example, video cameras, radars, LIDArs or ultrasonic sensors. Each of these environmental sensors is very limited in its respective area of application and may not be able to provide all the information required about the vehicle's surroundings, for example depending on the installation location or current weather conditions.
  • the reliability of recognizing the vehicle's surroundings and thus also of detecting objects in the vehicle's surroundings can be increased, which in turn can avoid corresponding safety-critical situations when controlling a driver assistance system or a driving function based on the detected objects.
  • Fig. 1 shows a method 1 which comprises a step 2 of acquiring sensor data by at least one of the plurality of different environmental sensors, a step 3 of detecting objects in the corresponding acquired sensor data for each of the at least one of the plurality of different environmental sensors, a step 4 of determining at least one abnormality in the object detection based on the detected objects, and a step 5 of checking the corresponding abnormality for each of the at least one abnormality in order to reliably detect objects in the environment of the motor vehicle.
  • Method 1 has the advantage that the reliability and accuracy of detecting objects in the environment of a motor vehicle are increased, which in turn enables corresponding Safety-critical situations can be avoided when controlling a driver assistance system or a driving function based on the detected objects.
  • the detection performance or performance of corresponding object detectors can be increased, which in turn leads to improved performance of the perception of the surroundings. This ensures a high detection rate and at the same time reduces the number of incorrectly detected objects.
  • blind areas of individual object detectors i.e. situations in which objects are difficult to detect by individual object detectors, can be reliably detected.
  • the method 1 further comprises a step 6 of preprocessing the corresponding acquired sensor data for each of the at least one of the plurality of different environmental sensors, wherein the step 3 of detecting objects in the corresponding acquired sensor data for each of the at least one of the plurality of different environmental sensors comprises detecting objects in the corresponding preprocessed sensor data.
  • the preprocessing of the corresponding sensor data can, for example, comprise one or more processing steps of applying a semantic segmentation, applying a shape estimator, applying a low-pass filtering or averaging, or time-windowing the acquired sensor data.
  • step 4 of determining at least one conspicuity in the object detection based on the detected objects further comprises determining at least one abnormality based on the detected objects and further information describing the situation.
  • the additional information describing the situation or corresponding metadata may, for example, be one or more characteristics of the speed of a detected object, current lighting conditions, current weather conditions, situational context information, for example whether a detected object is at a zebra crossing, position data of the motor vehicle, or data from a navigation system of the motor vehicle or about a planned route.
  • the step of determining at least one abnormality in the object detection based on the detected objects also comprises applying a machine learning algorithm which is trained to determine abnormalities in the object detection based on information about detected objects.
  • the corresponding machine learning algorithm can, for example, be a neural network that was trained based on corresponding labeled training data.
  • the step of determining at least one abnormality in the object detection can comprise applying an occupancy grid, in particular a two-dimensional occupancy grid.
  • a two-dimensional occupancy grid consists of several cells and, viewed from a bird's eye view, represents a two-dimensional Cartesian grid of the vehicle environment, wherein each cell of the occupancy grid can be assigned corresponding coordinates, and wherein the individual detected objects, i.e. the objects detected in at least one of the sensor data detected by the at least one of the several different environmental sensors, are assigned to the corresponding coordinates or cells, i.e. occupy them. Based on the occupied cells of the occupancy grid, anomalies in object detection or regions of interest can then be determined.
  • an anomaly can exist if an object is only detected in sensor data from some of these environmental sensors, but not in the sensor data from all of these environmental sensors. If, on the other hand, objects are only detected in sensor data recorded by one environmental sensor, the corresponding detected objects can represent anomalies that should be verified by detecting objects in sensor data recorded by other environmental sensors.
  • step 5 of, for each of the at least one anomaly, checking the corresponding anomaly may comprise using an event camera to check the corresponding anomaly, refining an object detection underlying the corresponding anomaly and checking the corresponding anomaly based on the refined object detection and/or detecting objects in sensor data acquired by another of the plurality of different environmental sensors.
  • threshold values of an object detection system or a corresponding algorithm underlying the corresponding abnormality can also be adjusted in order to realize improved object detection.
  • Fig. 1 thus shows a method 1 in which a parallel path to classical multimodal perception approaches is provided, which acts redundantly and can tune or modulate a classical path, for example if an abnormality is determined in the objects detected by a sensor modality, or in which a higher robustness is achieved by comparing the objects detected by a sensor modality with objects detected by other sensor modalities.
  • the plurality of different environmental sensors are again a video sensor, a LIDAR sensor, a radar sensor and an ultrasonic sensor.
  • the corresponding reliably detected objects can then be used, for example, to control a function of the motor vehicle, in particular an autonomously driving motor vehicle.
  • the data from the individual environmental sensors can also be fused in advance.
  • Controlling a function of the motor vehicle can, for example, involve issuing a corresponding warning to a driver of the motor vehicle, intervening in the longitudinal and/or lateral guidance (e.g. initiating emergency braking), or issuing a corresponding warning to other road users, for example by automatically activating a signal transmitter of the motor vehicle, such as a horn or a vehicle headlight.
  • a signal transmitter of the motor vehicle such as a horn or a vehicle headlight.
  • Fig. 2 shows a schematic block diagram of a system for reliably detecting objects in an environment of a motor vehicle 10, according to embodiments of the invention.
  • Fig. 2 shows a schematic block diagram of a system for reliably detecting objects in an environment of a motor vehicle 10, according to embodiments of the invention, wherein the motor vehicle has several different environmental sensors 11, 12, 13, 14.
  • the system 10 is designed to capture sensor data by at least one of the several different environmental sensors 11, 12, 13, 14, wherein the system 10 has a detection unit 15 for each of the at least one of the several different environmental sensors, which is designed to detect objects in the corresponding captured sensor data, and wherein the system 10 further has a determination unit 16, which is designed to determine at least one abnormality in the object detection based on the detected objects, and a checking unit 17, which is designed to check the corresponding abnormality for each of the at least one abnormality in order to reliably detect objects in the environment of the motor vehicle.
  • the detection unit, the determination unit and the verification unit can each be implemented, for example, based on a corresponding code stored in a memory and executable by a processor.
  • the system further comprises a preprocessing unit 18 for each of the at least one of the several different environmental sensors 11, 12, 13, 14, which is designed to preprocess the corresponding acquired sensor data, wherein for each of the at least one of the several different environmental sensors, the detection unit 15 is designed to detect objects in the corresponding preprocessed sensor data.
  • the preprocessing unit can, for example, be implemented based on a corresponding code stored in a memory and executable by a processor.
  • the determination unit 16 is in turn designed to determine the at least one conspicuous feature based on the detected objects and further information describing the situation.
  • the determination unit 16 is in turn also designed to determine the at least one abnormality by applying a machine learning algorithm which is trained to determine abnormalities in object detection based on information about detected objects.
  • the checking unit 17 is in turn designed to use an event camera for each of the at least one anomaly to check the corresponding anomaly, to refine an object detection underlying the corresponding anomaly and to check the corresponding anomaly based on the refined object detection, and/or to check the corresponding anomaly by detecting objects in sensor data acquired by another of the several different environmental sensors.
  • the several different environmental sensors 11, 12, 13, 14 are again a video sensor 11, a LIDAR sensor 12, a radar sensor 13 and an ultrasonic sensor 14.
  • system 10 according to Fig. 2 is designed to carry out a method described above for reliably detecting objects in the environment of a motor vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges, wobei das Kraftfahrzeug mehrere unterschiedliche Umgebungssensoren aufweist, und wobei das Verfahren (1) folgende Schritte aufweist: Erfassen von Sensordaten durch wenigstens einen der mehreren unterschiedlichen Umgebungssensoren (2); für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, jeweils Detektieren von Objekten in den entsprechenden erfassten Sensordaten (3); Bestimmen von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten (4); und für jede der wenigstens einen Auffälligkeit, jeweils Überprüfen der entsprechenden Auffälligkeit, um zuverlässig Objekte in der Umgebung des Kraftfahrzeuges zu detektieren (5).

Description

Beschreibung
Titel
Verfahren und System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges
Die Erfindung betrifft ein Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges und insbesondere ein Verfahren zum Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges, mit welchem eine hohe Erkennungsrate gewährleistet und gleichzeitig die Anzahl falsch erkannter Objekte reduziert werden kann.
Eine umfassende Erkennung des Umfeldes eines Kraftfahrzeuges und insbesondere von Objekten, beispielsweise anderen Verkehrsteilnehmern in dem Umfeld des Kraftfahrzeuges bildet die Grundlage für viele Fahrerassistenzsysteme und automatisierte Fahrfunktionen des Kraftfahrzeuges. Dabei weisen Kraftfahrzeuge für gewöhnlich Sensorsysteme auf, welche die Aufgabe haben, Objekte in ihrem jeweiligen Erfassungsbereich zu erkennen. Die einzelnen Sensorsysteme umfassen dabei jeweils einen Umgebungssensor und eine Verarbeitungseinheit, welche ausgebildet ist, von dem Umgebungssensor gelieferte Daten zu analysieren, beispielsweise Objekte in den Daten zu detektieren. Bei den Umgebungssensoren kann es sich dabei beispielsweise um Videokameras, Radare, LIDARe oder Ultraschallsensoren handeln.
Dabei ist jeder einzelne dieser Umgebungssensoren in seinem jeweiligen Einsatzgebiet sehr begrenzt und kann, beispielsweise abhängig vom Einbauort oder aktuellen Witterungsbedingungen, eventuell nicht alle benötigten Informationen über die Fahrzeugumgebung liefern. Durch die Kombination beziehungsweise Fusion der Informationen verschiedener Umgebungssensoren kann dabei die Zuverlässigkeit bei der Erkennung des Fahrzeugumfeldes und somit auch bei der Detektion von Objekten in der Umgebung des Kraftfahrzeuges erhöht werden, wodurch wiederum entsprechende sicherheitskritische Situationen beim Steuern eines Fahrerassistenzsystems beziehungsweise einer Fahrfunktion basierend auf den detektierten Objekten vermieden werden können.
In bekannten Ansätzen werden dabei Objekte in den von unterschiedlichen Umgebungssensoren erfassten Sensordaten jeweils separat detektiert und die einzelnen Detektionsergebnisse anschließend mit Hilfe eines Fusions-Ansatzes fusioniert. Insbesondere in komplexen, unübersichtlichen Szenarien ist es jedoch schwierig, eine hohe Erkennungsrate von Objekten in der Umgebung des Kraftfahrzeuges zu gewährleisten und gleichzeitig die Anzahl falsch erkannter Objekte niedrig zu halten. Folglich besteht Bedarf an verbesserten Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges.
Aus der Druckschrift WO 2013/056966 A1 sind ein Verfahren zur Plausibilitätsprüfung von Sensorsignalen sowie ein Verfahren und eine Vorrichtung zur Ausgabe eines Auslösesignals bekannt, wobei ein erstes Sensorelement mindestens eine erste physikalische Größe erfasst und als erstes Sensorsignal ausgibt, und wobei ein zweites Sensorelement eine zur ersten physikalischen Größe korrelierte zweite physikalische Größe erfasst und als zweites Sensorsignal ausgibt. Zudem weist zumindest das erste Sensorelement mindestens einen ersten Zuverlässigkeitsbereich mit einer Obergrenze und/oder einer Untergrenze auf, welcher auf die vom zweiten Sensorelement erfasste zweite physiklasche Größe bezogen wird, wobei ein vom ersten Sensorelement erfasster aktueller Wert der ersten physikalischen Größe als plausibel erkannt wird, wenn ein vom zweiten Sensorelement erfasster aktueller Wert der zweiten physikalischen Größe innerhalb des korrespondierenden ersten Zuverlässigkeitsbereichs des ersten Sensorelements liegt.
Der Erfindung liegt somit die Aufgabe zugrunde, ein verbessertes Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges anzugeben. Die Aufgabe wird gelöst durch ein Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges gemäß den Merkmalen des Patentanspruchs 1 .
Die Aufgabe wird zudem auch gelöst durch ein System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges gemäß den Merkmalen des Patentanspruchs 8.
Offenbarung der Erfindung
Gemäß einer Ausführungsform der Erfindung wird diese Aufgabe gelöst durch ein Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges, wobei das Kraftfahrzeug mehrere unterschiedliche Umgebungssensoren aufweist, und wobei das Verfahren ein Erfassen von Sensordaten durch wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren jeweils ein Detektieren von Objekten in den entsprechenden erfassten Sensordaten, ein Bestimmen von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten, und, für jede der wenigstens einen Auffälligkeit, jeweils ein Überprüfen der entsprechenden Auffälligkeit, um zuverlässig Objekte in der Umgebung des Kraftfahrzeuges zu detektieren, aufweist
Unter einem Sensor, welcher auch als Detektor, Messgrößen- oder Mess- Aufnehmer oder (Mess-)Fühler bezeichnet wird, wird dabei ein technisches Bauteil, das bestimmte physikalische oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann, verstanden.
Unter einem Umgebungssensor wird weiter ein Sensor zum Erfassen von in einer Umgebung, beispielsweise einer Umgebung eines Kraftfahrzeuges vorliegenden Bedingungen verstanden.
Unter unterschiedlichen Umgebungssensoren werden ferner unterschiedliche
Arten von Umgebungssensoren beziehungsweise auf unterschiedlichen Verfahren basierende Umgebungssensoren verstanden, beispielsweise Videokameras, Radare, LIDARe oder Ultraschallsensoren.
Dass Objekte in den Sensordaten detektiert werden bedeutet zudem, dass in den Objektdaten repräsentierte Objekte beziehungsweise Sachen unabhängig von Ihrer Art durch eine Objektdetektion beziehungsweise einen Algorithmus zur Objektdetektion erfasst werden, wobei es sich bei den Objekten beispielsweise um Fußgänger, weitere Kraftfahrzeuge, Verkehrsleitsysteme oder weitere Gegenstände in einer Umgebung eines Kraftfahrzeuges handeln kann.
Unter Auffälligkeit werden ferner Objektdetektionsergebnisse verstanden, welche auf ein Objekt hinweisen können, jedoch noch einmal überprüft werden sollen beziehungsweise sollten, insbesondere um entsprechende sicherheitskritische Situationen beim entsprechenden Steuern eines Fahrerassistenzsystems beziehungsweise einer Fahrfunktion zu vermeiden. Eine derartige Auffälligkeit kann beispielsweise Vorliegen, falls ein Objekt in durch einen Umgebungssensor erfassten Sensordaten detektiert wird, dasselbe Objekt jedoch beispielsweise nicht auch in von anderen, unterschiedlichen Umgebungssensoren erfassten Sensordaten detektiert wurde.
Dass eine Auffälligkeit überprüft wird, bedeutet dabei ferner, dass das der entsprechenden Auffälligkeit zugrundeliegende Objekt verifiziert wird, das heißt überprüft wird, ob die Auffälligkeit tatsächlich ein Objekt repräsentiert oder nicht.
Hierdurch kann die Zuverlässigkeit beziehungsweise Genauigkeit beim Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges erhöht werden, wodurch wiederum entsprechende sicherheitskritische Situationen beim Steuern eines Fahrerassistenzsystems beziehungsweise einer Fahrfunktion basierend auf den detektierten Objekten vermieden werden können. Insbesondere kann dabei die Erkennungsleistung beziehungsweise Performanz von entsprechenden Objektdetektoren erhöht werden, was wiederum zu einer verbesserten Performanz der Umfeldwahrnehmung führt. Hierdurch kann hohe Erkennungsrate gewährleistet und gleichzeitig die Anzahl falsch erkannter Objekte reduziert werden. Ferner können zuverlässig blinde Bereiche einzelner Objektdetektoren, das heißt Situationen, in denen Objekte nur schwer von einzelnen Objektdetektoren detektiert werden können, erkannt werden.
Insgesamt wird somit ein verbessertes Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges angegeben.
Dabei kann das Verfahren weiter einen Schritt eines, für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, Vorverarbeitens der entsprechenden erfassten Sensordaten aufweisen, wobei der Schritt des, für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, jeweiligen Detektierens von Objekten in den entsprechenden erfassten Sensordaten ein Detektieren von Objekten in den entsprechenden vorverarbeiteten Sensordaten aufweist.
Dass die Sensordaten vorverarbeitet werden, bedeutet hierbei, dass die Sensordaten gezielt auf die Objektdetektion vorbereitet werden, wobei beispielsweise Unzulänglichkeiten des entsprechenden Sensors ausgeglichen werden können.
Hierdurch kann die Zuverlässigkeit beim Detektieren von Objekten in der Umgebung des Fahrzeuges noch weiter erhöht werden, in dem die entsprechenden Daten optimal an die Objektdetektion angepasst beziehungsweise auf diese vorbereitet werden.
Zudem kann der Schritt des Bestimmens von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten ein Bestimmen von wenigstens einer Auffälligkeit basierend auf den detektierten Objekten und weiteren, die Situation beschreibenden Informationen aufweisen.
Unter die Situation beschreibenden Informationen werden dabei die entsprechende Situation repräsentierende Daten verstanden, wobei die Informationen beispielsweise Kontextinformationen oder Informationen über in der entsprechenden Situation vorliegende Werte eines oder mehrerer Fahrzeugparameter aufweisen können. Hierdurch kann die Zuverlässigkeit beim Detektieren von Objekten in der Umgebung des Fahrzeuges noch weiter erhöht werden, indem Informationen über die aktuelle Situation, beispielsweise aktuelle Witterungsbedingungen, aktuelle Lichtverhältnisse und/oder eine aktuelle Fahrzeuggeschwindigkeit berücksichtigt werden.
Weiter kann der Schritt des Bestimmens von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten auch ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, basierend auf Informationen über detektierte Objekte Auffälligkeiten bei der Objektdetektion zu bestimmen, aufweisen.
Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.
Hierdurch kann die Erkennung von Auffälligkeiten noch weiter optimiert und die Zuverlässigkeit beziehungsweise Genauigkeit bei der Erkennung von Auffälligkeiten noch weiter verbessert werden.
Der Schritt des, für jede der wenigstens einen Auffälligkeit, Überprüfens der entsprechenden Auffälligkeit kann ferner ein Anwenden einer Event-Kamera und/oder ein Verfeinern einer der entsprechenden Auffälligkeit zugrundeliegenden Objektdetektion und ein Überprüfen der entsprechenden Auffälligkeit basierend auf der verfeinerten Objektdetektion und/oder ein Detektieren von Objekten in durch einen anderen der mehreren unterschiedlichen Umgebungssensoren erfassten Sensordaten zum Überprüfen der entsprechenden Auffälligkeit aufweisen.
Unter einer Event-Kamera wird weiter ein bildgebender Sensor verstanden, der auf lokale Helligkeitsänderungen reagiert. Anstatt einer Bildsequenz mit einer konstanten Frequenz zu liefern, senden Event-Kameras nur Informationen von den Pixeln, bei denen sich die Helligkeit signifikant verändert hat. Hierdurch können Objekte in der Fahrzeugumgebung, insbesondere bewegte Objekte, noch besser erfasst werden.
Unter Verfeinern einer der entsprechenden Auffälligkeit zugrundeliegenden Objektdetektion und anschließendem Überprüfen der entsprechenden Auffälligkeit basierend auf der verfeinerten Objektdetektion wird weiter verstanden, dass die gesamten vorhandenen Computerressourcen auf die Auflösung der Auffälligkeit fokussiert beziehungsweise gerichtet werden, das heißt auf Gegebenheiten der entsprechenden Datenverarbeitungsanlage selber Rücksicht genommen wird, alternative, gegebenenfalls genauere Algorithmen zur Objektdetektion ausgewählt werden und anschließend versucht wird, die Auffälligkeit basierend auf dem genaueren Algorithmus aufzulösen, oder dass die Objektdetektion derart angepasst wird, dass unauffällige, für die entsprechende Auffälligkeit unwichtige Bereiche oder Pixel weggelassen beziehungsweise nicht berücksichtigt werden, um Rechenzeit zu sparen und sich auf die Auflösung der entsprechenden Auffälligkeit konzentrieren zu können.
Dass Objekte in durch einen anderen der mehreren unterschiedlichen Umgebungssensoren erfassten Sensordaten detektiert werden zum Überprüfen der entsprechenden Auffälligkeit bedeutet ferner, dass in Sensordaten eines Umgebungssensors detektierte Objekte verifiziert werden, indem überprüft wird, ob die entsprechenden Objekte auch in Sensordaten wenigstens eines anderen Umgebungssensors detektiert werden.
Hierdurch kann die Zuverlässigkeit bei der Auflösung von Auffälligkeiten und somit auch beim Detektieren von Objekten in der Umgebung des Fahrzeuges noch weiter erhöht werden.
In einer Ausführungsform weisen die mehreren unterschiedlichen Umgebungssensoren einen Video-Sensor und/oder einen LIDAR-Sensor und/oder einen Radar-Sensor und/oder einen Ultraschall-Sensor auf. Unter Videosensoren werden bildbasierte Sensoren verstanden, welche bewegte Szenen aufzeichnen und/oder die erfassten Sensordaten vollautomatisch auswerten können.
LIDAR-Sensoren senden Laserstrahlen aus und detektieren das an einem Objekt zurückgestreute Licht, wobei aus dem zurückgestreuten Licht Rückschlüsse auf das entsprechende Objekt gezogen werden können.
Radar-Sensoren senden elektromagnetische Wellen aus und detektieren die an einem Objekt reflektierten Wellen, wobei aus den reflektierten Wellen Rückschlüsse auf das entsprechende Objekt gezogen werden können.
Ultraschall-Sensoren wiederum senden kurze, hochfrequente Schallimpulse aus und detektieren die an einem Objekt reflektierten Impulse, wobei aus den reflektierten Impulsen Rückschlüsse auf das entsprechende Objekt gezogen werden können.
Bei den mehreren unterschiedlichen Umgebungssensoren kann es sich somit um in gewöhnliche Kraftfahrzeuge bereits integrierte beziehungsweise für gewöhnlich bereits vorhandene Sensoren handeln, so dass das Verfahren realisiert werden kann, ohne dass aufwendige und kostspielige Umbauten vonnöten wären.
Dabei, dass die mehreren unterschiedlichen Umgebungssensoren einen Video- Sensor und/oder einen LIDAR-Sensor und/oder einen Radar-Sensor und/oder einen Ultraschall-Sensor aufweisen, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr können die unterschiedlichen Umgebungssensoren auch weitere Sensoren, welche Objekte in einer Fahrzeugumgebung erfassen können, beispielsweise akustische Sensoren aufweisen.
Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein Verfahren zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend auf in einer Umgebung des Kraftfahrzeuges detektierten Objekten angegeben, wobei das Verfahren ein Detektieren von Objekten in der Umgebung des Kraftfahrzeuges durch ein obenstehend beschriebenes Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges und ein Steuern der wenigstens einen Funktion des Kraftfahrzeuges basierend auf den detektierten Objekten aufweist
Unter einer Funktion eines Kraftfahrzeuges wird hierbei eine steuerbare Funktion des Kraftfahrzeuges, beispielsweise ein Fahrerassistenzsystem oder eine steuerbare Fahrfunktion verstanden.
Somit wird ein Verfahren zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges angegeben, welches auf einem verbesserten Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges basiert Insbesondere basiert dieses auf einem Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges, mit welchem die Zuverlässigkeit beziehungsweise Genauigkeit beim Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges erhöht werden kann, wodurch wiederum entsprechende sicherheitskritische Situationen beim Steuern der Funktion des Kraftfahrzeuges, beispielsweise eines Fahrerassistenzsystems beziehungsweise einer Fahrfunktion basierend auf den detektierten Objekten vermieden werden können. Insbesondere kann dabei die Erkennungsleistung beziehungsweise Performanz von entsprechenden Objektdetektoren erhöht werden, was wiederum zu einer verbesserten Performanz der Umfeldwahrnehmung führt. Hierdurch kann hohe Erkennungsrate gewährleistet und gleichzeitig die Anzahl falsch erkannter Objekte reduziert werden. Ferner können zuverlässig blinde Bereiche einzelner Objektdetektoren, das heißt Situationen, in den Objekte nur schwer von einzelnen Objektdetektoren detektiert werden können, erkannt werden.
Mit einer weiteren Ausführungsform der Erfindung wird weiter auch ein System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges angegeben, wobei das Kraftfahrzeug mehrere unterschiedliche Umgebungssensoren aufweist, und wobei das System ausgebildet ist, Sensordaten durch wenigstens einen der mehreren unterschiedlichen Umgebungssensoren zu erfassen, wobei das System für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren jeweils eine Detektionseinheit, welche ausgebildet ist, Objekte in den entsprechenden erfassten Sensordaten zu detektieren, aufweist, und wobei das System weiter eine Bestimmungseinheit, welche ausgebildet ist, wenigstens eine Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten zu bestimmen, und eine Überprüfungseinheit, welche ausgebildet ist, für jede der wenigstens einen Auffälligkeit jeweils die entsprechende Auffälligkeit zu überprüfen, um zuverlässig Objekte in der Umgebung des Kraftfahrzeuges zu detektieren, aufweist.
Somit wird ein verbessertes System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges angegeben. Insbesondere kann die Zuverlässigkeit beziehungsweise Genauigkeit beim Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges erhöht werden, wodurch wiederum entsprechende sicherheitskritische Situationen beim Steuern eines Fahrerassistenzsystems beziehungsweise einer Fahrfunktion basierend auf den detektierten Objekten vermieden werden können. Insbesondere kann dabei die Erkennungsleistung beziehungsweise Performanz von entsprechenden Objektdetektoren erhöht werden, was wiederum zu einer verbesserten Performanz der Umfeldwahrnehmung führt. Hierdurch kann hohe Erkennungsrate gewährleistet und gleichzeitig die Anzahl falsch erkannter Objekte reduziert werden. Ferner können zuverlässig blinde Bereiche einzelner Objektdetektoren, das heißt Situationen, in den Objekte nur schwer von einzelnen Objektdetektoren detektiert werden können, erkannt werden.
Dabei kann das System weiter für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren jeweils eine Vorverarbeitungseinheit, welche ausgebildet ist, die entsprechenden erfassten Sensordaten vorzuverarbeiten, aufweisen, wobei für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren die Detektionseinheit jeweils ausgebildet ist, Objekte in den entsprechenden vorverarbeiteten Sensordaten zu detektieren. Hierdurch kann die Zuverlässigkeit beim Detektieren von Objekten in der Umgebung des Fahrzeuges noch weiter erhöht werden, in dem die entsprechenden Daten optimal an die Objektdetektion angepasst beziehungsweise auf diese vorbereitet werden. Zudem kann die Bestimmungseinheit ausgebildet sein, die wenigstens eine Auffälligkeit basierend auf den detektierten Objekten und weiteren, die Situation beschreibenden Informationen zu bestimmen. Hierdurch kann die Zuverlässigkeit beim Detektieren von Objekten in der Umgebung des Fahrzeuges noch weiter erhöht werden, in dem Informationen über die aktuelle Situation, beispielsweise aktuelle Witterungsbedingungen, aktuelle Lichtverhältnisse und/oder eine aktuelle Fahrzeuggeschwindigkeit berücksichtigt werden.
Weiter kann die Bestimmungseinheit ausgebildet sein, die wenigstens eine Auffälligkeit durch Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, basierend auf Informationen über detektierte Objekte Auffälligkeiten bei der Objektdetektion zu bestimmen, zu bestimmen.
Unter Informationen über detektierte Objekte werden hierbei die entsprechenden detektierten Objekte repräsentierende Daten verstanden.
Hierdurch kann die Erkennung von Auffälligkeiten noch weiter optimiert und die Zuverlässigkeit beziehungsweise Genauigkeit bei der Erkennung von Auffälligkeiten noch weiter verbessert werden.
Die Überprüfungseinheit kann ferner ausgebildet sein, für jede der wenigstens einen Auffälligkeit eine Event-Kamera zum Überprüfen der entsprechenden Auffälligkeit anzuwenden und/oder eine der entsprechenden Auffälligkeit zugrundeliegenden Objektdetektion zu verfeinern und die entsprechende Auffälligkeit basierend auf der verfeinerten Objektdetektion zu überprüfen und/oder die entsprechende Auffälligkeit durch Detektieren von Objekten in durch einen anderen der mehreren unterschiedlichen Umgebungssensoren erfassten Sensordaten zu überprüfen. Hierdurch kann die Zuverlässigkeit bei der Auflösung von Auffälligkeiten und somit auch beim Detektieren von Objekten in der Umgebung des Fahrzeuges noch weiter erhöht werden.
In einer Ausführungsform weisen die mehreren unterschiedlichen Umgebungssensoren einen Video-Sensor und/oder einen LIDAR-Sensor und/oder einen Radar-Sensor und/oder einen Ultraschall-Sensor auf. Bei den mehreren unterschiedlichen Umgebungssensoren kann es sich somit um in gewöhnliche Kraftfahrzeuge bereits integrierte beziehungsweise für gewöhnlich bereits vorhandene Sensoren handeln, so dass das System realisiert werden kann, ohne dass aufwendige und kostspielige Umbauten vonnöten wären.
Dabei, dass die mehreren unterschiedlichen Umgebungssensoren einen Video- Sensor und/oder einen LIDAR-Sensor und/oder einen Radar-Sensor und/oder einen Ultraschall-Sensor aufweisen, handelt es sich jedoch nur um eine mögliche Ausführungsform. Vielmehr können die unterschiedlichen Umgebungssensoren auch weitere Sensoren, welche Objekte in einer Fahrzeugumgebung erfassen können, beispielsweise akustische Sensoren aufweisen.
Mit einer weiteren Ausführungsform der Erfindung wird zudem auch ein System zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend auf in einer Umgebung des Kraftfahrzeuges detektierten Objekten angegeben, wobei das System eine Empfangseinheit zum Empfangen von Informationen über in der Umgebung des Kraftfahrzeuges detektierte Objekte, wobei die Objekte durch ein obenstehend beschriebenes System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges detektiert wurden, und ein Steuereinheit, welche ausgebildet ist, die wenigstens eine Funktion basierend auf den bereitgestellten Informationen zu steuern, aufweist.
Unter Informationen über in der Umgebung des Kraftfahrzeuges detektierte Objekte werden dabei wiederum die entsprechenden detektierten Objekte repräsentierende Daten verstanden.
Somit wird ein System zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges angegeben, welches auf einem verbesserten System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges basiert. Insbesondere basiert dieses auf einem System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges, mit welchem die Zuverlässigkeit beziehungsweise Genauigkeit beim Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges erhöht werden kann, wodurch wiederum entsprechende sicherheitskritische Situationen beim Steuern der Funktion des Kraftfahrzeuges, beispielsweise eines Fahrerassistenzsystems beziehungsweise einer Fahrfunktion basierend auf den detektierten Objekten vermieden werden können. Insbesondere kann dabei die Erkennungsleistung beziehungsweise Performanz von entsprechenden Objektdetektoren erhöht werden, was wiederum zu einer verbesserten Performanz der Umfeldwahrnehmung führt. Hierdurch kann hohe Erkennungsrate gewährleistet und gleichzeitig die Anzahl falsch erkannter Objekte reduziert werden. Ferner können zuverlässig blinde Bereiche einzelner Objektdetektoren, das heißt Situationen, in den Objekte nur schwer von einzelnen Objektdetektoren detektiert werden können, erkannt werden.
Zusammenfassend ist festzustellen, dass mit der vorliegenden Erfindung ein Verfahren zum Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges angegeben wird, mit welchem eine hohe Erkennungsrate gewährleistet und gleichzeitig die Anzahl falsch erkannter Objekte reduziert werden kann.
Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung.
Kurze Beschreibung der Zeichnungen
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.
Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
Es zeigen: Fig. 1 ein Flussdiagramm eines Verfahrens zum zuverlässigen Detektieren von
Objekten in einer Umgebung eines Kraftfahrzeuges, gemäß Ausführungsformen der Erfindung; und
Fig. 2 ein schematisches Blockschaltbild eines Systems zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges, gemäß Ausführungsformen der Erfindung.
In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.
Fig. 1 zeigt ein Flussdiagramm eines Verfahrens zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges 1 , gemäß Ausführungsformen der Erfindung.
Insbesondere zeigt Fig. 1 ein Flussidagramm eines Verfahrens zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges 1 , gemäß Ausführungsformen der Erfindung, wobei das Kraftfahrzeug mehrere unterschiedliche Umgebungssensoren aufweist.
Eine umfassende Erkennung des Umfeldes eines Kraftfahrzeuges und insbesondere von Objekten, beispielsweise anderen Verkehrsteilnehmern in dem Umfeld des Kraftfahrzeuges bildet die Grundlage für viele Fahrerassistenzsysteme und automatisierte Fahrfunktionen des Kraftfahrzeuges. Dabei weisen Kraftfahrzeuge für gewöhnlich Sensorsysteme auf, welche die Aufgabe haben, Objekte in ihrem jeweiligen Erfassungsbereich zu erkennen. Die einzelnen Sensorsysteme umfassen dabei jeweils einen Umgebungssensor und eine Verarbeitungseinheit, welche ausgebildet ist, von dem Umgebungssensor gelieferte Daten zu analysieren, beispielsweise Objekte in den Daten zu detektieren. Bei den Umgebungssensoren kann es sich dabei beispielsweise um Videokameras, Radare, LIDARe oder Ultraschallsensoren handeln. Dabei ist jeder einzelne dieser Umgebungssensoren in seinem jeweiligen Einsatzgebiet sehr begrenzt und kann, beispielsweise abhängig vom Einbauort oder aktuellen Witterungsbedingungen, eventuell nicht alle benötigten Informationen über die Fahrzeugumgebung liefern. Durch die Kombination beziehungsweise Fusion der Informationen verschiedener Umgebungssensoren kann dabei die Zuverlässigkeit bei der Erkennung des Fahrzeugumfeldes und somit auch bei der Detektion von Objekten in der Umgebung des Kraftfahrzeuges erhöht werden, wodurch wiederum entsprechende sicherheitskritische Situationen beim Steuern eines Fahrerassistenzsystems beziehungsweise einer Fahrfunktion basierend auf den detektierten Objekten vermieden werden können.
In bekannten Ansätzen werden dabei Objekte in den von unterschiedlichen Umgebungssensoren erfassten Sensordaten jeweils separat detektiert und die einzelnen Detektionsergebnisse anschließend mit Hilfe eines Fusions-Ansatzes fusioniert. Insbesondere in komplexen, unübersichtlichen Szenarien ist es jedoch schwierig, eine hohe Erkennungsrate von Objekten in der Umgebung des Kraftfahrzeuges zu gewährleisten und gleichzeitig die Anzahl falsch erkannter Objekte niedrig zu halten. Folglich besteht Bedarf an verbesserten Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges.
Fig. 1 zeigt dabei ein Verfahren 1 , welches einen Schritt 2 eines Erfassens von Sensordaten durch wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, einen Schritt 3 eines, für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, jeweiligen Detektierens von Objekten in den entsprechenden erfassten Sensordaten, einen Schritt 4 eines Bestimmens von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten, und einen Schritt 5 eines, für jede der wenigstens einen Auffälligkeit, jeweiligen Überprüfens der entsprechenden Auffälligkeit, um zuverlässig Objekte in der Umgebung des Kraftfahrzeuges zu detektieren, aufweist.
Das Verfahren 1 hat dabei den Vorteil, dass die Zuverlässigkeit beziehungsweise Genauigkeit beim Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges erhöht werden, wodurch wiederum entsprechende sicherheitskritische Situationen beim Steuern eines Fahrerassistenzsystems beziehungsweise einer Fahrfunktion basierend auf den detektierten Objekten vermieden werden können. Insbesondere kann dabei die Erkennungsleistung beziehungsweise Performanz von entsprechenden Objektdetektoren erhöht werden, was wiederum zu einer verbesserten Performanz der Umfeldwahrnehmung führt Hierdurch kann hohe Erkennungsrate gewährleistet und gleichzeitig die Anzahl falsch erkannter Objekte reduziert werden. Ferner können zuverlässig blinde Bereiche einzelner Objektdetektoren, das heißt Situationen, in den Objekte nur schwer von einzelnen Objektdetektoren detektiert werden können, erkannt werden.
Insgesamt wird somit ein verbessertes Verfahren 1 zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges angegeben.
Durch das Verfahren 1 kann somit insbesondere eine verbesserte Umfeldwahrnehmung realisiert werden und können einzelne Sensorbeziehungsweise Detektions-Unzulänglichkeiten erkannt und anschließend entsprechend ausgeglichen werden.
Wie Fig. 1 zeigt, weist das Verfahren 1 weiter einen Schritt 6 eines, für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, jeweiligen Vorverarbeitens der entsprechenden erfassten Sensordaten auf, wobei der Schritt 3 des, für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, jeweiligen Detektierens von Objekten in den entsprechenden erfassten Sensordaten ein Detektieren von Objekten in den entsprechenden vorverarbeiteten Sensordaten aufweist.
Das Vorverarbeiten der entsprechenden Sensordaten kann dabei beispielsweise einen oder mehrere Verarbeitungsschritte von einem Anwenden einer semantischen Segmentierung, einem Anwenden eines Formschätzers, einem Anwenden einer Tiefpassfilterung beziehungsweise Mittelwertbildung, oder einer Zeitfenstern ng der erfassten Sensordaten aufweisen.
Gemäß den Ausführungsformen der Fig. 1 weist der Schritt 4 des Bestimmens von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten weiter ein Bestimmen von wenigstens einer Auffälligkeit basierend auf den detektierten Objekten und weiteren, die Situation beschreibenden Informationen auf.
Bei den weiteren, die Situation beschreibenden Informationen beziehungsweise entsprechenden Metadaten kann es sich dabei beispielsweise um eines oder mehrere Merkmale von einer Geschwindigkeit eines detektierten Objektes, aktuellen Lichtverhältnissen, aktuellen Witterungsbedingungen, situativen Kontext- Informationen, beispielsweise ob ein detektiertes Objekt an einem Zebrastreifen steht, Positionsdaten des Kraftfahrzeuges, oder Daten eines Navigationssystems des Kraftfahrzeuges beziehungsweise über eine geplante Routenführung handeln.
Gemäß den Ausführungsformen der Fig. 1 weist der Schritt des Bestimmens von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten zudem auch ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, basierend auf Informationen über detektierte Objekte Auffälligkeiten bei der Objektdetektion zu bestimmen, auf.
Bei dem entsprechenden Algorithmus des maschinellen Lernens kann es sich dabei beispielsweise um ein neuronales Netz, welches basierend auf entsprechenden gelabelten Trainingsdaten trainiert wurde, handeln.
Insbesondere kann der Schritt des Bestimmens von wenigstens einer Auffälligkeit bei der Objektdetektion dabei ein Anwenden eines Belegungsgitters, insbesondere eines zwei-dimensionalen Belegungsgitters aufweisen. Ein zweidimensionales Belegungsgitter besteht dabei aus mehreren Zellen und stellt, betrachtet aus der Vogelperspektive, ein zweidimensionales kartesisches Gitter der Fahrzeugumgebung dar, wobei jeder Zelle des Belegungsgitters entsprechende Koordinaten zugeordnet sein können, und wobei die einzelnen detektierten Objekte, das heißt die in wenigstens einen von den durch den wenigstens einen der mehreren unterschiedlichen Umgebungssensoren erfassten Sensordaten erfassten Objekte den entsprechenden Koordinaten beziehungsweise Zellen zugeordnet werden, das heißt diese belegen. Basierend auf den belegten Zellen des Belegungsgitters können anschließend Auffälligkeiten bei der Objektdetektion beziehungsweise Regionen von Interesse bestimmt werden. Beispielsweise falls jeweils Objekte in von unterschiedlichen Umgebungssensoren erfassten Sensordaten detektiert werden, kann eine Auffälligkeit vorliegen, falls ein Objekt nur in Sensordaten von einem Teil dieser Umgebungssensoren detektiert werden, nicht jedoch jeweils in den Sensordaten von allen dieser Umgebungssensoren. Falls hingegen nur Objekte in von einem Umgebungssensor erfassten Sensordaten detektiert werden, können die entsprechenden detektierten Objekte Auffälligkeiten darstellen, welche durch Detektieren von Objekten in von anderen Umgebungssensoren erfassten Sensordaten verifiziert werden sollen.
Beim Überprüfen der Auffälligkeiten kann sich anschließend jeweils auf die entsprechende Region von Interesse fokussiert werden.
Gemäß den Ausführungsformen der Fig. 1 kann der Schritt 5 des, für jede der wenigstens einen Auffälligkeit, Überprüfens der entsprechenden Auffälligkeit ein Anwenden einer Event-Kamera zum Überprüfen der entsprechenden Auffälligkeit, ein Verfeinern einer der entsprechenden Auffälligkeit zugrundeliegenden Objektdetektion und ein Überprüfen der entsprechenden Auffälligkeit basierend auf der verfeinerten Objektdetektion und/oder ein Detektieren von Objekten in durch einen anderen der mehreren unterschiedlichen Umgebungssensoren erfassten Sensordaten aufweisen.
Ferner können aber auch Schwellwerte einer der entsprechenden Auffälligkeit zugrundeliegenden Objektdetektion beziehungsweise eines entsprechenden Algorithmus angepasst werden, um eine verbesserte Objektdetektion zu realisieren.
Zudem ist es auch möglich auch die Ressourcen der Umgebungssensoren optimal beziehungsweise verbessert einzusetzen, beispielsweise durch Nutzung von Beam-Forming-Verfahren zur Ausrichtung der Sensorwahrnehmung auf bestimmte Regionen von Interesse, oder eine Erhöhung der Sensorabtastfrequenz wenigstens eines der mehreren Umgebungssensoren für einzelne bestimmte Regionen von Interesse. Insgesamt zeigt Fig. 1 somit ein Verfahren 1 , bei welchem ein Parallelpfad zu klassischen multimodalen Perzeptionsansätzen bereitgestellt wird, welcher redundant wirkt und einen klassischen Pfad tunt beziehungsweise modulieren kann, beispielsweise falls eine Auffälligkeit in den von einer Sensormodalität detektierten Objekten bestimmt wird, oder bei welchem eine höhere Robustheit durch Abgleich der von einer Sensormodalität detektierten Objekten mit von anderen Sensormodalitäten detektierten Objekten erreicht wird.
Gemäß den Ausführungsformen der Fig. 1 handelt es sich bei den mehreren unterschiedlichen Umgebungssensoren ferner wiederum um einen Video- Sensor, einen LIDAR-Sensor, einen Radar-Sensor und einen Ultraschall-Sensor.
Die entsprechenden zuverlässig detektierten Objekte können anschließend beispielsweise zum Steuern einer Funktion des Kraftfahrzeuges, insbesondere eines autonom fahrenden Kraftfahrzeuges verwendet werden. Dabei können die Daten der einzelnen Umgebungssensoren ferner vorab fusioniert werden.
Das Steuern einer Funktion des Kraftfahrzeuges kann dabei beispielsweise ein Ausgeben einer entsprechenden Warnung an einen Fahrer des Kraftfahrzeuges, ein Eingriff in die Längs- und/oder Querführung (z.B. Einleiten einer Notbremsung), oder auch ein Ausgeben einer entsprechenden Warnung an andere Verkehrsteilnehmer, beispielsweise durch automatisches Aktivieren eines Signalgebers des Kraftfahrzeuges, wie einer Hupe oder eines Fahrzeugscheinwerfers, aufweisen.
Fig. 2 zeigt ein schematisches Blockschaltbild eines Systems zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges 10, gemäß Ausführungsformen der Erfindung.
Insbesondere zeigt Fig. 2 ein schematisches Blockschaltbild eines Systems zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges 10, gemäß Ausführungsformen der Erfindung, wobei das Kraftfahrzeug mehrere unterschiedliche Umgebungssensoren 11 ,12,13,14 aufweist. Gemäß den Ausführungsformen der Fig. 2 ist das System 10 dabei ausgebildet, Sensordaten durch wenigstens einen der mehreren unterschiedlichen Umgebungssensoren 11 ,12,13,14 zu erfassen, wobei das System 10 für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren jeweils eine Detektionseinheit 15, welche ausgebildet ist, Objekte in den entsprechenden erfassten Sensordaten zu detektieren, aufweist, und wobei das System 10 weiter eine Bestimmungseinheit 16, welche ausgebildet ist, wenigstens eine Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten zu bestimmen, und eine Überprüfungseinheit 17, welche ausgebildet ist, für jede der wenigstens einen Auffälligkeit jeweils die entsprechende Auffälligkeit zu überprüfen, um zuverlässig Objekte in der Umgebung des Kraftfahrzeuges zu detektieren, aufweist.
Die Detektionseinheit, die Bestimmungseinheit und die Überprüfungseinheit können dabei jeweils beispielsweise basierend auf einem entsprechenden in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
Wie Fig. 2 zeigt, weist das System weiter für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren 11 ,12,13,14 jeweils eine Vorverarbeitungseinheit 18, welche ausgebildet ist, die entsprechenden erfassten Sensordaten vorzuverarbeiten, auf, wobei für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren die Detektionseinheit 15 jeweils ausgebildet ist, Objekte in den entsprechenden vorverarbeiteten Sensordaten zu detektieren.
Die Vorverarbeitungseinheit kann dabei beispielsweise wiederum basierend auf einem entsprechenden in einem Speicher hinterlegten und durch einen Prozessor ausführbaren Code realisiert werden.
Gemäß den Ausführungsformen der Fig. 2 ist die Bestimmungseinheit 16 wiederum ausgebildet, die wenigstens eine Auffälligkeit basierend auf den detektierten Objekten und weiteren, die Situation beschreibenden Informationen zu bestimmen. Zudem ist die Bestimmungseinheit 16 wiederum auch ausgebildet, die wenigstens eine Auffälligkeit durch Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, basierend auf Informationen über detektierte Objekte Auffälligkeiten bei der Objektdetektion zu bestimmen, zu bestimmen.
Gemäß den Ausführungsformen der Fig. 2 ist die Überprüfungseinheit 17 wiederum ausgebildet, für jede der wenigstens einen Auffälligkeit eine Event- Kamera zum Überprüfen der entsprechenden Auffälligkeit anzuwenden, eine der entsprechenden Auffälligkeit zugrundeliegenden Objektdetektion zu verfeinern und die entsprechende Auffälligkeit basierend auf der verfeinerten Objektdetektion zu überprüfen, und/oder die entsprechende Auffälligkeit durch Detektieren von Objekten in durch einen anderen der mehreren unterschiedlichen Umgebungssensoren erfassten Sensordaten zu überprüfen.
Bei den mehreren unterschiedlichen Umgebungssensoren 11 ,12,13,14 handelt es sich ferner wiederum um einen Video-Sensor 11 , einen LIDAR-Sensor 12, einen Radar-Sensor 13 und einen Ultraschall-Sensor 14.
Zudem ist das System 10 gemäß Fig. 2 ausgebildet, ein obenstehend beschriebenes Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges auszuführen.

Claims

Ansprüche
1 . Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges, wobei das Kraftfahrzeug mehrere unterschiedliche Umgebungssensoren aufweist, und wobei das Verfahren (1) folgende Schritte aufweist:
Erfassen von Sensordaten durch wenigstens einen der mehreren unterschiedlichen Umgebungssensoren (2);
Für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, jeweils Detektieren von Objekten in den entsprechenden erfassten Sensordaten (3);
Bestimmen von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten (4); und Für jede der wenigstens einen Auffälligkeit, jeweils Überprüfen der entsprechenden Auffälligkeit, um zuverlässig Objekte in der Umgebung des Kraftfahrzeuges zu detektieren (5).
2. Verfahren nach Anspruch 1 , wobei das Verfahren (1) weiter, für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, einen Schritt eines Vorverarbeitens der entsprechenden erfassten Sensordaten (6) aufweist, und wobei der Schritt des, für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren, jeweiligen Detektierens von Objekten in den entsprechenden erfassten Sensordaten (3) ein Detektieren von Objekten in den entsprechenden vorverarbeiteten Sensordaten aufweist.
3. Verfahren nach Anspruch 1 oder 2, wobei der Schritt des Bestimmens von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten (4) ein Bestimmen von wenigstens einer Auffälligkeit basierend auf den detektierten Objekten und weiteren, die Situation beschreibenden Informationen aufweist.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei der Schritt des Bestimmens von wenigstens einer Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten (4) ein Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, basierend auf Informationen über detektierte Objekte Auffälligkeiten bei der Objektdetektion zu bestimmen, aufweist.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei der Schritt des, für jede der wenigstens einen Auffälligkeit, Überprüfens der entsprechenden Auffälligkeit (5) ein Anwenden einer Event-Kamera zum Überprüfen der entsprechenden Auffälligkeit und/oder ein Verfeinern einer der entsprechenden Auffälligkeit zugrundeliegenden Objektdetektion und ein Überprüfen der entsprechenden Auffälligkeit basierend auf der verfeinerten Objektdetektion und/oder ein Detektieren von Objekten in durch einen anderen der mehreren unterschiedlichen Umgebungssensoren erfassten Sensordaten zum Überprüfen der entsprechenden Auffälligkeit aufweist.
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei die mehreren unterschiedlichen Umgebungssensoren einen Video-Sensor und/oder einen LIDAR-Sensor und/oder einen Radar-Sensor und/oder einen Ultraschall-Sensor aufweisen.
7. Verfahren zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend auf in einer Umgebung des Kraftfahrzeuges detektierten Objekten, wobei das Verfahren folgende Schritte aufweist:
Detektieren von Objekten in der Umgebung des Kraftfahrzeuges durch ein Verfahren zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges nach einem der Ansprüche 1 bis 6; und
Steuern der wenigstens einen Funktion des Kraftfahrzeuges basierend auf den detektierten Objekten.
8. System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges, wobei das Kraftfahrzeug mehrere unterschiedliche Umgebungssensoren aufweist, und wobei das System (10) ausgebildet ist, Sensordaten durch wenigstens einen der mehreren unterschiedlichen Umgebungssensoren (11 ,12,13,14) zu erfassen, wobei das System (10) für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren (11 ,12,13,14) jeweils eine Detektionseinheit (15), welche ausgebildet ist, Objekte in den entsprechenden erfassten Sensordaten zu detektieren, aufweist, und wobei das System (10) weiter eine Bestimmungseinheit (16), welche ausgebildet ist, wenigstens eine Auffälligkeit bei der Objektdetektion basierend auf den detektierten Objekten zu bestimmen, und eine Überprüfungseinheit (17), welche ausgebildet ist, für jede der wenigstens einen Auffälligkeit jeweils die entsprechende Auffälligkeit zu überprüfen, um zuverlässig Objekte in der Umgebung des Kraftfahrzeuges zu detektieren, aufweist
9. System nach Anspruch 8, wobei das System (10) weiter für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren (11 ,12,13,14) jeweils eine Vorverarbeitungseinheit (18), welche ausgebildet ist, die entsprechenden erfassten Sensordaten vorzuverarbeiten, aufweist, und wobei für jeden des wenigstens einen der mehreren unterschiedlichen Umgebungssensoren (11 ,12,13,14) die Detektionseinheit (15) jeweils ausgebildet ist, Objekte in den entsprechenden vorverarbeiteten Sensordaten zu detektieren.
10. System nach Anspruch 8 oder 9, wobei die Bestimmungseinheit (16) ausgebildet ist, die wenigstens eine Auffälligkeit basierend auf den detektierten Objekten und weiteren, die Situation beschreibenden Informationen zu bestimmen.
11 . System nach einem der Ansprüche 8 bis 10, wobei die Bestimmungseinheit (16) ausgebildet ist, die wenigstens eine Auffälligkeit durch Anwenden eines Algorithmus des maschinellen Lernens, welcher trainiert ist, basierend auf Informationen über detektierte Objekte Auffälligkeiten bei der Objektdetektion zu bestimmen, zu bestimmen.
12. System nach einem der Ansprüche 8 bis 11 , wobei die Überprüfungseinheit (17) ausgebildet ist, für jede der wenigstens einen Auffälligkeit eine Event-Kamera zum Überprüfen der entsprechenden Auffälligkeit anzuwenden und/oder eine der entsprechenden Auffälligkeit zugrundeliegenden Objektdetektion zu verfeinern und die entsprechende Auffälligkeit basierend auf der verfeinerten Objektdetektion zu überprüfen und/oder die entsprechende Auffälligkeit durch Detektieren von Objekten in durch einen anderen der mehreren unterschiedlichen Umgebungssensoren erfassten Sensordaten zu überprüfen.
13. System nach einem der Ansprüche 8 bis 12, wobei die mehreren unterschiedlichen Umgebungssensoren (11 ,12,13,14) einen Video- Sensor (11) und/oder einen LIDAR-Sensor (12) und/oder einen Radar- Sensor (13) und/oder einen Ultraschall-Sensor (14) aufweisen.
14. System zum Steuern wenigstens einer Funktion eines Kraftfahrzeuges basierend auf in einer Umgebung des Kraftfahrzeuges detektierten Objekten, wobei das System eine Empfangseinheit zum Empfangen von Informationen über in der Umgebung des Kraftfahrzeuges detektierte Objekte, wobei die Objekte durch ein System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges nach einem der Ansprüche 8 bis 13 detektiert wurden, und ein Steuereinheit, welche ausgebildet ist, die wenigstens eine Funktion basierend auf den bereitgestellten Informationen zu steuern, aufweist.
EP23820794.8A 2023-01-11 2023-12-04 Verfahren und system zum zuverlässigen detektieren von objekten in einer umgebung eines kraftfahrzeuges Pending EP4649465A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023200143.8A DE102023200143A1 (de) 2023-01-11 2023-01-11 Verfahren und System zum zuverlässigen Detektieren von Objekten in einer Umgebung eines Kraftfahrzeuges
PCT/EP2023/084049 WO2024149518A1 (de) 2023-01-11 2023-12-04 Verfahren und system zum zuverlässigen detektieren von objekten in einer umgebung eines kraftfahrzeuges

Publications (1)

Publication Number Publication Date
EP4649465A1 true EP4649465A1 (de) 2025-11-19

Family

ID=89158547

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23820794.8A Pending EP4649465A1 (de) 2023-01-11 2023-12-04 Verfahren und system zum zuverlässigen detektieren von objekten in einer umgebung eines kraftfahrzeuges

Country Status (6)

Country Link
EP (1) EP4649465A1 (de)
JP (1) JP2026501424A (de)
KR (1) KR20250133943A (de)
CN (1) CN120530434A (de)
DE (1) DE102023200143A1 (de)
WO (1) WO2024149518A1 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084784A1 (de) 2011-10-19 2013-04-25 Robert Bosch Gmbh Verfahren zur Plausibilisierung von Sensorsignalen sowie Verfahren und Vorrichtung zur Ausgabe eines Auslösesignals

Also Published As

Publication number Publication date
DE102023200143A1 (de) 2024-07-11
JP2026501424A (ja) 2026-01-14
CN120530434A (zh) 2025-08-22
KR20250133943A (ko) 2025-09-09
WO2024149518A1 (de) 2024-07-18

Similar Documents

Publication Publication Date Title
DE102017203838B4 (de) Verfahren und System zur Umfelderfassung
EP2951804B1 (de) Erstellen eines umfeldmodells für ein fahrzeug
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
EP3622709B1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
WO2012152268A2 (de) Redudante objektdetektion für fahrerassistenzsysteme
WO2018104191A1 (de) Automatisierte freiraumerkennung mittels differenzanalyse für fahrzeuge
DE102021111325A1 (de) Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102013202915A1 (de) Verfahren und Vorrichtung zum Vermessen einer Parklücke für ein Einparkassistenzsystem eines Kraftfahrzeugs
DE102011105074A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102020200876B4 (de) Verfahren zum Verarbeiten von Sensordaten einer Sensorik eines Fahrzeugs
DE102017212513A1 (de) Verfahren und System zum Detektieren eines freien Bereiches innerhalb eines Parkplatzes
DE102020211970A1 (de) Verfahren zum Steuern eines Fahrzeugs
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102018220114A1 (de) Vorrichtung und Verfahren zum Erkennen einer Sensorblockade eines Umgebungssensors
DE102024100521A1 (de) Bildgestützte generierung von beschreibenden und wahrnehmungs-nachrichten von automobilszenen
WO2023237424A1 (de) Verfahren und assistenzsystem zum vorhersagen eines fahrschlauches und kraftfahrzeug
WO2023131603A1 (de) Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik
WO2022042903A1 (de) Verfahren zur erkennung dreidimensionaler objekte, computerprogramm, maschinenlesbares speichermedium, steuergerät, fahrzeug und videoüberwachungssystem
EP4649465A1 (de) Verfahren und system zum zuverlässigen detektieren von objekten in einer umgebung eines kraftfahrzeuges
DE102023119911B4 (de) Verfahren und System zur automatisierten Validierung von Funktionen eines Fahrerassistenzsystems
DE102020003096A1 (de) Verfahren zur Fernerkennung von Objekten in einem Umgebungsfrontbereich eines Fahrzeugs, Steuereinrichtung, Erkennungsvorrichtung sowie Fahrzeug
DE102021204063A1 (de) Abgleich von Kartendaten und Sensordaten
EP3871006A1 (de) Regenerkennung mit einem umgebungssensor zur punktweisen erfassung einer umgebung eines fahrzeugs, insbesondere mit einem lidar-basierten umgebungssensor

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250811

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)