EP4128041A1 - Device, system and method for identifying objects in the surroundings of an automated driving system - Google Patents

Device, system and method for identifying objects in the surroundings of an automated driving system

Info

Publication number
EP4128041A1
EP4128041A1 EP21712064.1A EP21712064A EP4128041A1 EP 4128041 A1 EP4128041 A1 EP 4128041A1 EP 21712064 A EP21712064 A EP 21712064A EP 4128041 A1 EP4128041 A1 EP 4128041A1
Authority
EP
European Patent Office
Prior art keywords
objects
evaluation unit
detection sensors
false
hypotheses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21712064.1A
Other languages
German (de)
French (fr)
Inventor
Martin RUCHTI
Robert MÄRTIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP4128041A1 publication Critical patent/EP4128041A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the invention relates to a device, a system and a method for recognizing objects in an environment of an automated driving system
  • DE 10 2016 012 345 A1 discloses a method for recognizing objects in the vicinity of a vehicle, object hypotheses being obtained using camera data and false positives being discarded using a lidar sensor.
  • the object of the invention is to provide a sensor system for robust detection of the environment that is optimized against false positives and false negatives.
  • the invention solves this problem by separating the functionalities between object recognition, a hypothesis created therefrom and a subsequent hypothesis check. Specifically, an object recognition stage, which recognizes relevant object properties, such as size, class, speed, position, is paired with a subsequent hypothesis checking stage, which does not estimate or evaluate any object properties, but only checks whether an object actually exists. According to one aspect of the invention, however, estimated object properties are also used to check for existence.
  • the invention provides a device for recognizing objects in an environment of an automated driving system.
  • the device comprises a first evaluation unit.
  • the first evaluation unit comprises first input interfaces to first environment detection sensors of the automated driving system in order to receive first signals from the first environment detection sensors.
  • the first evaluation unit comprises at least one first arithmetic unit, the first Executes machine commands to recognize the objects and to form object hypotheses, with the recognition and / or formation of the object hypotheses taking place separately for each of the first environment detection sensors or for each combination of the first environment detection sensors to minimize a false negative rate.
  • the first evaluation unit comprises a first output interface in order to provide a first list comprising the objects, the object hypotheses and false positive objects.
  • the device also includes a second evaluation unit.
  • the second evaluation unit comprises second input interfaces to second environment detection sensors of the automated driving system in order to receive second signals from the second environment detection sensors. Furthermore, the second evaluation unit comprises at least one second arithmetic unit that executes second machine commands in order to verify the object hypotheses and / or falsify false-positive objects as a function of the second signals and the first list.
  • the second evaluation unit also includes a second output interface in order to provide a second list comprising results from the second arithmetic unit.
  • the subject matter of the invention is inherently modular and expandable, since both in the object recognition stage, that is the first evaluation unit, and in the mortgage verification stage, that is the second evaluation unit, additional methods for recognition or for hypothesis testing can be incorporated without having to discard the existing components. According to one aspect of the invention, these different methods are combined in the first, but especially in the second evaluation unit in ensembles such as cascades or committees.
  • the second stage of the device that is the second evaluation unit, finally outputs an object list or the like that is optimized against false positives, namely by the second evaluation unit, and false negatives, namely by the first evaluation unit.
  • the second stage is designed not to falsely refute any real existing objects.
  • the first environment detection sensors are optimized for high sensitivity in order to be robust against false negatives.
  • the second surroundings detection sensors are optimized for testing hypotheses.
  • the task of the second surroundings detection sensors is to falsify the objects provided by the first evaluation unit if they are false positives.
  • the first and second thorough chargedssenso ren include cameras, radar, lidar, ultrasound, microphones, time-of-flight sensors and laser light barriers.
  • the sensor technologies of the first environment detection sensors can also be used for the second environment detection sensors and vice versa.
  • Another aspect of the invention comprises a sensor system which actively changes its own input in order to be able to check hypotheses, for example actively moving (saccading) cameras or actively aligned lidars.
  • the device is, for example, a sensor signal processing module with input interfaces to receive signals from the surroundings detection sensors, evaluation units that evaluate the signals, and output interfaces that provide the evaluated signals, for example in the form of regulation and / or control signals, actuators of the vehicle, for example for automated / autonomous longitudinal and / or lateral guidance.
  • Longitudinal guidance is controlled, for example, via drive torque control, for example via electronic engine power control, and / or braking torque control.
  • Lateral guidance regulates the lateral dynamics of the vehicle, for example lane and / or directional stability, steering maneuvers and / or yaw speed.
  • the invention is not restricted to automated or autonomous vehicles.
  • the scope of the invention extends to automated driving systems.
  • Automated driving systems encompass all automated and autonomous systems in which an unsafe perception has to be provided and in which misperceptions or false perceptions have to be avoided.
  • automated driving systems include service robots, drones and legged robots.
  • Automated vehicles for example with internal combustion engines, electric shem drive, hybrid electric vehicles or fuel cell vehicles, preferably road vehicles with one of these drive technologies, include technical equipment to control the vehicle to cope with driver tasks.
  • the invention for driving functions of the Levels SAE J3016 Level 2 to Level 5 used.
  • the device is an ADAS / AD main ECU, that is to say an electronic control unit for the advanced driver assistance systems / autonomous driving domain.
  • Objects in an environment of the automated driving system include other driving systems, vehicles, bicycles, pedestrians and other road users.
  • the environment includes the space around the automated driving system, which can act on a trajectory or predicted trajectory.
  • the evaluation units include programmable electronic circuits comprising logic units.
  • the arithmetic units execute machine commands from a computer program.
  • the arithmetic units include arithmetic-logic units, central processors, graphics processors, multi-core processors, ICs, ASICs, FPGAs and other logic and / or programmable microelectronic systems.
  • the evaluation units comprise internal and / or external memories which store the machine commands, and a bus system for data exchange with the computing units and peripheral devices.
  • the memory is a double data rate synchronous dynamic RAM, DDR SDRAM for short, memory.
  • the memory is preferably a low power DDR SDRAM memory.
  • the first machine commands include, for example, commands for executing a machine learning algorithm.
  • the first arithmetic unit is optimized, for example, to execute machine learning algorithms.
  • the first arithmetic unit comprises a graphics processor with a microarchitecture for parallel processing and / o the hardware accelerator for machine learning.
  • Machine learning is a technology that teaches computers and other data processing devices to perform tasks by learning from data, rather than being programmed for the tasks.
  • the machine learning algorithm is, for example, a convolution network that is trained in semantic image recognition. This means that false negatives can be further minimized.
  • the convolution network is advantageously a recurrent convolution network, that is to say a convolution network with recurrent layers, for example LSTM units, which are long short-term memory units.
  • the second machine instructions comprise instructions for executing a deterministic algorithm.
  • This algorithm is robust and can preferably be interpreted by a human.
  • this algorithm implements methods from multi-camera geometry to refute an object hypothesis.
  • these geometry-based approaches are supported by geometrical findings from lidar or with the help of structured light.
  • Object hypotheses include assumptions that there is a certain probability that an object is in a recognized area of the surroundings detection sensors.
  • False positives and false negatives describe existential uncertainties, that is, the uncertainty as to whether an object recognized by the environment detection sensors and taken over into the environment representation actually exists. In the case of false positives, an object is recognized although it actually does not exist. For example, a shadow falling on a roadway is recognized as a tire. In the case of false negatives, an object is not recognized even though it actually exists.
  • the second list is optimized against false positives, namely by the evaluation of the second evaluation unit, and against false negatives, namely by the evaluation of the first evaluation unit.
  • the second stage must not refute any objects either, which would also result in a false-negative event.
  • the invention provides a system for recognizing objects in an environment of an automated driving system.
  • the system comprises first and second surroundings detection sensors and a device according to the invention.
  • the first environment detection sensors are with a first Evaluation unit of the device and the second environment detection sensors with a second evaluation unit of the device each connected to transmit signals.
  • the device is designed to determine regulation and / or control signals as a function of the results of a second arithmetic unit of the device and to provide the regulation and / or control signals to actuators of the automated driving system for longitudinal and / or lateral guidance.
  • the first evaluation unit, the first environment detection sensors and the first arithmetic unit form a first subsystem.
  • the second evaluation unit, the second field detection sensors and the second arithmetic unit form a second subsystem.
  • the hypothesis and / or the object is discarded directly in the second subsystem.
  • this stage is instructed to reject this hypothesis.
  • first and second subsystems are linked in parallel or in series.
  • first environment detection sensors can be integrated into the analysis logic of the second subsystem.
  • the second subsystem can be fed back to a multi-hypothesis stage for object formation and / or object tracking of the first subsystem, in particular the second evaluation unit is fed back to the first evaluation unit.
  • the invention provides a method for recognizing objects in an environment of an automated driving system.
  • the method comprises the steps
  • a device according to the invention or a system according to the invention is used to carry out the method.
  • the method is computer implemented.
  • Computer-implemented means that the steps of the method are carried out by a data processing device, for example a computer, a computing system or parts thereof.
  • the first arithmetic unit tracks the objects by executing the first machine commands
  • the first evaluation unit provides the follow-ups in the first list
  • the second evaluation unit evaluates the follow-ups.
  • the machine commands include commands for executing a tracking algorithm.
  • follow-ups allow an integrated object-specific existence estimation.
  • the first arithmetic unit forms multi-hypotheses for recognizing and / or tracking the objects by executing the first machine commands
  • the first evaluation unit provides the multi-hypotheses in the first list
  • the second evaluation unit evaluates the multi-hypotheses.
  • alternative hypotheses are also evaluated and not aggressively decimated. This further minimizes false negatives.
  • the objects are recognized in cycles and the second evaluation unit verifies and / or falsifies the object hypotheses and / or false-positive objects several times per cycle of the first evaluation unit.
  • the detection of the objects takes place, for example, in 40 Hz cycles of the first environment detection sensors.
  • the second environment detection sensors have a higher repetition speed or timing. For example, several tens to hundreds of checks per object hypothesis take place per cycle of object recognition, for example with a radiation sensor of the second surroundings detection sensors, for example a lidar. This is achieved, for example, by a controlled control of the beams of the radiation sensor.
  • the second evaluation unit is designed to verify the object hypotheses and / or false-positive objects by means of three-dimensional structure estimation and / or geometric consistency based on fields of view of various of the second and / or first surroundings detection sensors to falsify.
  • the high level of robustness against false positives is also achieved at the level of the second evaluation unit.
  • Three-dimensional structure estimation is achieved, for example, by means of time-of-flight sensors. This allows free room volumes to be determined.
  • the device comprises a third evaluation unit.
  • the third evaluation unit executes third machine commands in order to determine a hazard for each of the objects, the object hypotheses and / or the false-positive objects of the first list.
  • the objects, the object hypotheses and / or the false-positive objects are prioritized by executing the third machine commands and a prioritized first list with the prioritized objects, object hypotheses and / or false-positive-ob- projects of the second evaluation unit provided.
  • the second evaluation unit verifies and / or falsifies the object hypotheses and / or false-positive objects based on the prioritization.
  • the third evaluation unit thus determines a ranking for the sequence in which the first list of the first evaluation unit is checked by the second evaluation unit.
  • the first and / or second environment detection sensors operate in a plurality of wavelength ranges. This compensates for weaknesses in perception.
  • lidar sensors of the second environment sensing sensors work in two different lidar wavelength spectra. This allows you to look through fog, for example.
  • virtual false-positive objects are intentionally created in the first object level.
  • the efficiency of the falsification can be continuously checked through the rate of refuted virtual objects.
  • Fig. 1 an example of an environment
  • FIG. 2 shows a first image of the environment from FIG. 1 from the first evaluation unit according to the invention
  • FIG. 3 shows a second image of the first image from FIG. 2 of the second evaluation unit according to the invention
  • FIG. 6 shows a further exemplary embodiment of a device according to the invention.
  • FIG. 7 shows a schematic representation of the method according to the invention.
  • the environment U includes several objects 1, 2, 3, for example a vehicle 1, a bicycle 2 and two pedestrians.
  • FIG. 2 shows a first image of the surroundings U from a first evaluation unit 002.
  • This first image is provided, for example, as a first list via the first output interface of the first evaluation unit 002.
  • the first image includes objects 1, 2, 3 from the surrounding area and is therefore robust against false negatives.
  • the first image includes object hypotheses, for example another vehicle, another bicycle and another pedestrian.
  • 3 shows a second image of the first image.
  • This second image is provided, for example, as a second list via the second output interface of the second evaluation unit 004.
  • the second image includes objects 1, 2, 3 from the surrounding area. The false positives of the first image were falsified.
  • the device shown in FIG. 4 comprises the first evaluation unit 002.
  • the first evaluation unit 002 is connected to transmit signals to first surroundings detection sensors 001a, 001b, 001c.
  • the first surroundings detection sensor 001a is, for example, a camera.
  • the first surroundings detection sensor 001b is, for example, a lidar.
  • the first surroundings detection sensor 001c is, for example, a radar.
  • the first evaluation unit 002 comprises a first arithmetic unit 002a.
  • the first arithmetic unit 002a generates a first list with objects 1, 2, 3, object hypotheses and false-positive objects recognized by the first surroundings detection sensors 001a, 001b, 001c.
  • the first list is made available to the second evaluation unit 004.
  • the second evaluation unit 004 is connected to transmit signals to second surroundings detection sensors 003a, 003b, 003c.
  • the second surroundings detection sensor 003a is, for example, a camera.
  • the second surroundings detection sensor 003b is, for example, a lidar.
  • the second surroundings detection sensor 003c is, for example, a radar.
  • the second evaluation unit 004 comprises a second arithmetic unit 004a.
  • the second arithmetic unit 004a generates a second list based on the first list and the evaluated signals of the second surroundings detection sensors 003a, 003b, 003c.
  • the second list is robust against false positives and false negatives.
  • FIG. 5 essentially shows the exemplary embodiment of FIG. 4.
  • the second evaluation unit 004 is fed back to the first evaluation unit 002.
  • the feedback is a feedback path for multi-object hypotheses formation and / or tracking of the first evaluation unit 002.
  • Fig. 6 shows the embodiment of Fig.5 with an additional third evaluation unit 005.
  • the third evaluation unit 005 determines a ranking for the order of the objects 1, 2, 3 as a function of a hazard potential of the objects 1, 2, 3 Checking the first list of the first evaluation unit 002 by the second evaluation unit 004. For example, pedestrians are prioritized over cyclists and cyclists are prioritized over vehicles.
  • a method step V1 properties of the objects 1, 2, 3 are recognized, for example speed and whether the object is a vehicle, a pedestrian or a cyclist.
  • object hypotheses are formed to minimize the false-negative rate.
  • a method step V3 the recognized objects 1, 2, 3 and the object hypotheses are checked.
  • the device according to the invention is used, for example, to carry out the method.
  • the object recognition and hypothesis formation are carried out by the first evaluation unit 002.
  • the checking is carried out by the second evaluation unit 004.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

The invention relates to a device for identifying objects (1, 2, 3) in the surroundings (U) of an automated driving system, comprising a first evaluation unit (002) for identifying objects and forming object hypotheses, and a second evaluation unit (004) for verifying and/or falsifying the object hypotheses and/or false positive objects. The invention also relates to a system and a method for identifying objects in the surroundings of an automated driving system.

Description

Vorrichtung, System und Verfahren zur Erkennung von Objekten in einem Umfeld ei nes automatisierten Fahrsvstems Device, system and method for recognizing objects in an environment of an automated driving system
Die Erfindung bezieht sich auf eine Vorrichtung, ein System und Verfahren zur Er kennung von Objekten in einem Umfeld eines automatisierten Fahrsystems The invention relates to a device, a system and a method for recognizing objects in an environment of an automated driving system
Bei Fahrerassistenzsystemen und autonomen Fahrfunktionen und Fahrsystemen wird eine hohe Robustheit gegen Fehler gefordert. Speziell Falsch-Negative und Falsch-Positive führen zu kritischen Fehlern in der Umfeld-Erkennung und folglich auch zu kritischen Fehlern bei der Fahrfunktion. A high level of robustness against errors is required for driver assistance systems and autonomous driving functions and driving systems. False negatives and false positives in particular lead to critical errors in the detection of the surroundings and consequently also to critical errors in the driving function.
Die DE 10 2016 012 345 A1 ein Verfahren zum Erkennen von Objekten im Umfeld eines Fahrzeuges, wobei mittels Kameradaten Objekthypothesen erhalten werden und mittels eines Lidarsensors Falsch-Positive verworfen werden. DE 10 2016 012 345 A1 discloses a method for recognizing objects in the vicinity of a vehicle, object hypotheses being obtained using camera data and false positives being discarded using a lidar sensor.
Aufgabe der Erfindung ist es, ein Sensor-System zur robusten Erkennung des Umfel des bereitzustellen, das optimiert ist gegen Falsch-Positive und Falsch-Negative. The object of the invention is to provide a sensor system for robust detection of the environment that is optimized against false positives and false negatives.
Die Erfindung löst diese Aufgabe durch eine Trennung der Funktionalitäten zwischen einer Objekterkennung, einer daraus erstellten Hypothese und einer darauffolgenden Hypothesen-Überprüfung. Konkret wird eine Objekterkennungsstufe, welche rele vante Objekteigenschaften, beispielsweise Größe, Klasse, Geschwindigkeit, Position, erkennt, gepaart mit einer nachgelagerten Hypothesen-Überprüfungs-Stufe, welche keine Objekteigenschaften schätzt oder bewertet, sondern nur überprüft, ob ein Ob jekt tatsächlich existiert. Nach einem Aspekt der Erfindung werden aber auch ge schätzte Objekteigenschaften zur Existenzprüfung herangezogen. The invention solves this problem by separating the functionalities between object recognition, a hypothesis created therefrom and a subsequent hypothesis check. Specifically, an object recognition stage, which recognizes relevant object properties, such as size, class, speed, position, is paired with a subsequent hypothesis checking stage, which does not estimate or evaluate any object properties, but only checks whether an object actually exists. According to one aspect of the invention, however, estimated object properties are also used to check for existence.
Gemäß einem Aspekt stellt die Erfindung eine Vorrichtung zur Erkennung von Objek ten in einem Umfeld eines automatisierten Fahrsystems bereit. Die Vorrichtung um fasst eine erste Auswerteeinheit. Die erste Auswerteeinheit umfasst erste Eingangs schnittstellen zu ersten Umfelderfassungssensoren des automatisierten Fahrsys tems, um erste Signale der ersten Umfelderfassungssensoren zu erhalten. Ferner umfasst die erste Auswerteeinheit wenigstens ein erstes Rechenwerk, das erste Maschinenbefehle ausführt zur Erkennung der Objekte und zum Bilden von Objekt- Hypothesen, wobei für jeden der ersten Umfelderfassungssensoren oder für jede Kombination der ersten Umfelderfassungssensoren die Erkennung und/oder die Bil dung der Objekt-Hypothesen separat erfolgt zur Minimierung einer Falsch-Negativ- Rate. Außerdem umfasst die erste Auswerteeinheit eine erste Ausgangsschnittstelle, um eine erste Liste umfassend die Objekte, die Objekt-Hypothesen und Falsch-Posi- tiv-Objekte bereitzustellen. Die Vorrichtung umfasst des Weiteren eine zweite Aus- werteeinheit. Die zweite Auswerteeinheit umfasst zweite Eingangsschnittstellen zu zweiten Umfelderfassungssensoren des automatisierten Fahrsystems, um zweite Signale der zweiten Umfelderfassungssensoren zu erhalten. Ferner umfasst die zweite Auswerteeinheit wenigstens ein zweites Rechenwerk, das zweite Maschinen befehle ausführt, um in Abhängigkeit der zweiten Signale und der ersten Liste die Objekt-Hypothesen zu verifizieren und/oder Falsch-Positiv-Objekte zu falsifizieren.According to one aspect, the invention provides a device for recognizing objects in an environment of an automated driving system. The device comprises a first evaluation unit. The first evaluation unit comprises first input interfaces to first environment detection sensors of the automated driving system in order to receive first signals from the first environment detection sensors. Furthermore, the first evaluation unit comprises at least one first arithmetic unit, the first Executes machine commands to recognize the objects and to form object hypotheses, with the recognition and / or formation of the object hypotheses taking place separately for each of the first environment detection sensors or for each combination of the first environment detection sensors to minimize a false negative rate. In addition, the first evaluation unit comprises a first output interface in order to provide a first list comprising the objects, the object hypotheses and false positive objects. The device also includes a second evaluation unit. The second evaluation unit comprises second input interfaces to second environment detection sensors of the automated driving system in order to receive second signals from the second environment detection sensors. Furthermore, the second evaluation unit comprises at least one second arithmetic unit that executes second machine commands in order to verify the object hypotheses and / or falsify false-positive objects as a function of the second signals and the first list.
Die zweite Auswerteeinheit umfasst außerdem eine zweite Ausgangsschnittstelle, um eine zweite Liste umfassend Ergebnisse des zweiten Rechenwerks bereitzustellen. The second evaluation unit also includes a second output interface in order to provide a second list comprising results from the second arithmetic unit.
Durch die Trennung der Funktionalitäten der Objekterkennung und Existenzüberprü fung, das heißt durch Bereitstellen der ersten Auswerteeinheit zur Objekterkennung und der zweiten Auswerteeinheit zur Existenzüberprüfung, können hochspezifische Systeme oder Teilsysteme, eben die erste Auswerteeinheit und die zweite Auswer teeinheit, genutzt werden, die auf ihre Aufgabe optimiert sind. Es muss kein „Ein-Sys- tem-für-Alles“ genutzt werden, in dem die Optimierung gegen widersprüchliche Ziele notwendig wäre. Dadurch wird die Ausführung besser, modularer und günstiger aus geführt. By separating the functionalities of object recognition and existence check, i.e. by providing the first evaluation unit for object recognition and the second evaluation unit for existence check, highly specific systems or subsystems, i.e. the first evaluation unit and the second evaluation unit, can be used that are tailored to their task are optimized. There is no need to use a “one-system-for-everything” in which optimization against contradicting goals would be necessary. This makes the execution better, more modular and cheaper.
Der Gegenstand der Erfindung ist inhärent modular und erweiterbar, da sowohl in der Objekterkennungsstufe, das ist die erste Auswerteeinheit, als auch in der Hypothe- sen-Überprüfungsstufe, das ist die zweite Auswerteeinheit, zusätzliche Methoden zur Erkennung bzw. zur Hypothesenprüfung inkorporiert werden können ohne die bereits bestehenden Komponenten verwerfen zu müssen. Nach einem Aspekt der Erfindung werden diese verschiedenen Methoden in der ersten, besonders aber in der zweiten Auswerteeinheit in Ensembles, wie zum Beispiel Kaskaden oder Komitees, kombi niert. Die zweite Stufe der Vorrichtung, das ist die zweite Auswerteeinheit, gibt final eine Objektliste oder Vergleichbares heraus, die optimiert ist gegen Falsch-Positive, näm lich durch die zweite Auswerteeinheit, und Falsch-Negative, nämlich durch die erste Auswerteeinheit. Dabei ist die zweite Stufe ausgeführt, keine real existierenden Ob jekte fälschlicherweise zu widerlegen. The subject matter of the invention is inherently modular and expandable, since both in the object recognition stage, that is the first evaluation unit, and in the mortgage verification stage, that is the second evaluation unit, additional methods for recognition or for hypothesis testing can be incorporated without having to discard the existing components. According to one aspect of the invention, these different methods are combined in the first, but especially in the second evaluation unit in ensembles such as cascades or committees. The second stage of the device, that is the second evaluation unit, finally outputs an object list or the like that is optimized against false positives, namely by the second evaluation unit, and false negatives, namely by the first evaluation unit. The second stage is designed not to falsely refute any real existing objects.
Die ersten Umfelderfassungssensoren sind auf hohe Sensitivität optimiert, um robust gegen Falsch-Negative zu sein. Die zweiten Umfelderfassungssensoren sind opti miert zur Hypothesenprüfung. Die Aufgabe der zweiten Umfelderfassungssensoren ist es, die von der ersten Auswerteeinheit bereitgestellten Objekte zu falsifizieren, sollten diese Falsch-Positive sein. Die ersten und zweiten Umfelderfassungssenso ren umfassen Kamera, Radar, Lidar, Ultraschall, Mikrophone, time-of-flight-Sensoren und Laser-Lichtschranken. Prinzipiell können die Sensortechnologien der ersten Um felderfassungssensoren auch für die zweiten Umfelderfassungssensoren verwendet werden und umgekehrt. Ein weiterer Aspekt der Erfindung umfasst eine Sensorik, welche aktiv ihren eigenen Input verändert, um Hypothesen überprüfen zu können, beispielsweise aktiv bewegte (sakkadierende) Kameras oder aktiv ausgerichtete Li- dare. The first environment detection sensors are optimized for high sensitivity in order to be robust against false negatives. The second surroundings detection sensors are optimized for testing hypotheses. The task of the second surroundings detection sensors is to falsify the objects provided by the first evaluation unit if they are false positives. The first and second Umfeldfassungssenso ren include cameras, radar, lidar, ultrasound, microphones, time-of-flight sensors and laser light barriers. In principle, the sensor technologies of the first environment detection sensors can also be used for the second environment detection sensors and vice versa. Another aspect of the invention comprises a sensor system which actively changes its own input in order to be able to check hypotheses, for example actively moving (saccading) cameras or actively aligned lidars.
Die Vorrichtung ist beispielsweise ein Sensorsignalverarbeitungsmodul mit Eingangs schnittstellen, um Signale der Umfelderfassungssensoren zu erhalten, Auswerteein heiten, die die Signale auswerten, und Ausgangsschnittstellen, die die ausgewerte ten Signale, beispielsweise in Form von Regelungs- und/oder Steuerungssignalen, Aktoren des Fahrzeuges bereitstellen, beispielsweise zur automatisierten/autonomen Längs- und/oder Querführung. Längsführung wird beispielsweise geregelt über An- triebsmomentenregelung, zum Beispiel über elektronische Motorleistungssteuerung, und/oder Bremsmomentenregelung. Querführung regelt die Querdynamik des Fahr zeuges, zum Beispiel Spur- und/oder Richtungstreue, Lenkmanöver und/oder Gier geschwindigkeit. The device is, for example, a sensor signal processing module with input interfaces to receive signals from the surroundings detection sensors, evaluation units that evaluate the signals, and output interfaces that provide the evaluated signals, for example in the form of regulation and / or control signals, actuators of the vehicle, for example for automated / autonomous longitudinal and / or lateral guidance. Longitudinal guidance is controlled, for example, via drive torque control, for example via electronic engine power control, and / or braking torque control. Lateral guidance regulates the lateral dynamics of the vehicle, for example lane and / or directional stability, steering maneuvers and / or yaw speed.
Die Erfindung ist nicht eingeschränkt auf automatisierte oder autonome Fahrzeuge. Der Geltungsbereich der Erfindung erstreckt sich auf automatisierte Fahrsysteme. Automatisierte Fahrsysteme umfassen alle automatisierten und autonomen Systeme, bei denen ein unsicherheitsbehaftete Wahrnehmungsleistung erbracht werden muss und bei denen Fehl- oder Falschwahrnehmung vermieden werden muss. Neben den hier beschriebenen Fahrzeugen umfassen automatisierte Fahrsysteme Servicerobo ter, Drohnen und Roboter mit Beinen. The invention is not restricted to automated or autonomous vehicles. The scope of the invention extends to automated driving systems. Automated driving systems encompass all automated and autonomous systems in which an unsafe perception has to be provided and in which misperceptions or false perceptions have to be avoided. In addition to the vehicles described here, automated driving systems include service robots, drones and legged robots.
Automatisiert betreibbare Fahrzeuge, beispielsweise mit Verbrennungsmotor, elektri schem Antrieb, Hybridelektrofahrzeuge oder Brennstoffzellenfahrzeuge, vorzugs weise Straßenfahrzeuge mit einer dieser Antriebstechnologien, umfassen eine tech nische Ausrüstung, um das Fahrzeug zur Bewältigung von Fahreraufgaben zu steu ern. Nach einem Aspekt wird die Erfindung für Fahrfunktionen der Stufen SAE J3016 Level 2 bis Level 5 eingesetzt. Beispielsweise ist die Vorrichtung eine ADAS/AD Do main ECU, das heißt eine electronic control unit für die Domain advanced driver as- sistance systems/autononomous driving. Automated vehicles, for example with internal combustion engines, electric shem drive, hybrid electric vehicles or fuel cell vehicles, preferably road vehicles with one of these drive technologies, include technical equipment to control the vehicle to cope with driver tasks. According to one aspect, the invention for driving functions of the Levels SAE J3016 Level 2 to Level 5 used. For example, the device is an ADAS / AD main ECU, that is to say an electronic control unit for the advanced driver assistance systems / autonomous driving domain.
Objekte in einem Umfeld des automatisierten Fahrsystems umfassen weitere Fahr systeme, Fahrzeuge, Fahrräder, Fußgänger und weitere Verkehrsteilnehmer. Das Umfeld umfasst den Raum um das automatisierte Fahrsystem, der auf eine Trajekto- rie oder prädizierte Trajektorie einwirken kann. Objects in an environment of the automated driving system include other driving systems, vehicles, bicycles, pedestrians and other road users. The environment includes the space around the automated driving system, which can act on a trajectory or predicted trajectory.
Die Auswerteeinheiten umfassen programmierbare elektronische Schaltungen um fassend Logikeinheiten. The evaluation units include programmable electronic circuits comprising logic units.
Die Rechenwerke führen Maschinenbefehle eines Computerprogramms aus. Die Re chenwerke umfassen arithmetisch-logische Einheiten, Zentralprozessoren, Graphik prozessoren, Mehrkernprozessoren, ICs, ASICs, FPGAs und weitere logische und/o der programmierbare mikroelektronische Systeme. Die Auswerteeinheiten umfassen nach einem Aspekt der Erfindung interne und/oder externe Speicher, die die Maschi nenbefehle speichern, und ein Bussystem für einen Datenaustausch mit den Re chenwerken und Peripheriegeräten. Beispielsweise ist der Speicher ein double data rate synchronous dynamic RAM, abgekürzt DDR SDRAM, Speicher. Bevorzugt ist der Speicher ein low power DDR SDRAM Speicher. Die ersten Maschinenbefehle umfassen beispielsweise Befehle zum Ausführen eines Maschinenlernalgorithmus. Das erste Rechenwerk ist beispielsweise optimiert, Ma schinenlernalgorithmen auszuführen. Beispielsweise umfasst das erste Rechenwerk einen Graphikprozessor mit einer Mikroarchitektur für paralleles Prozessieren und/o der Hardware-Beschleuniger für maschinelles Lernen. Maschinelles Lernen ist eine Technologie, die Computern und anderen Datenverarbeitungsvorrichtungen die Aus führung von Aufgaben durch Lernen aus Daten lehrt, anstatt für die Aufgaben pro grammiert zu werden. Der Maschinenlernalgorithmus ist beispielsweise ein Faltungs netzwerk, das auf semantische Bilderkennung trainiert ist. Damit können Falsch-Ne gative weiter minimiert werden. Hinsichtlich Nachverfolgung von Objekten, auch Tra cking genannt, ist das Faltungsnetzwerk vorteilhafterweise ein rekurrentes Faltungs netzwerk, das heißt ein Faltungsnetzwerk mit rekurrenten Schichten, beispielsweise LSTM-Einheiten, das sind Long Short-Term Memory Einheiten. The arithmetic units execute machine commands from a computer program. The arithmetic units include arithmetic-logic units, central processors, graphics processors, multi-core processors, ICs, ASICs, FPGAs and other logic and / or programmable microelectronic systems. According to one aspect of the invention, the evaluation units comprise internal and / or external memories which store the machine commands, and a bus system for data exchange with the computing units and peripheral devices. For example, the memory is a double data rate synchronous dynamic RAM, DDR SDRAM for short, memory. The memory is preferably a low power DDR SDRAM memory. The first machine commands include, for example, commands for executing a machine learning algorithm. The first arithmetic unit is optimized, for example, to execute machine learning algorithms. For example, the first arithmetic unit comprises a graphics processor with a microarchitecture for parallel processing and / o the hardware accelerator for machine learning. Machine learning is a technology that teaches computers and other data processing devices to perform tasks by learning from data, rather than being programmed for the tasks. The machine learning algorithm is, for example, a convolution network that is trained in semantic image recognition. This means that false negatives can be further minimized. With regard to the tracking of objects, also called tracking, the convolution network is advantageously a recurrent convolution network, that is to say a convolution network with recurrent layers, for example LSTM units, which are long short-term memory units.
Die zweiten Maschinenbefehle umfassen nach einem Aspekt der Erfindung Befehle zum Ausführen eines deterministischen Algorithmus. Dieser Algorithmus ist robust und vorzugsweise von einem Menschen interpretierbar. Beispielsweise implementiert dieser Algorithmus Methoden aus der Multi-Kamera-Geometrie, um eine Objekthypo these zu widerlegen. Beispielsweise werden diese geometriebasierten Ansätze durch geometrische Erkenntnisse aus Lidar oder mithilfe von strukturiertem Licht unter stützt. According to one aspect of the invention, the second machine instructions comprise instructions for executing a deterministic algorithm. This algorithm is robust and can preferably be interpreted by a human. For example, this algorithm implements methods from multi-camera geometry to refute an object hypothesis. For example, these geometry-based approaches are supported by geometrical findings from lidar or with the help of structured light.
Objekt-Hypothesen umfassen Vermutungen, dass in einem erkannten Bereich der Umfelderfassungssensoren mit einer bestimmten Wahrscheinlichkeit ein Objekt ist. Object hypotheses include assumptions that there is a certain probability that an object is in a recognized area of the surroundings detection sensors.
Dass für jeden der ersten Umfelderfassungssensoren die Erkennung und/oder die Bildung der Objekt-Hypothesen separat erfolgt, bedeutet, dass keine Fusion der ers ten Signale durchgeführt wird. Dies ist ein Unterschied zu aus dem Stand der Tech nik bekannten Objekterkennungsverfahren, bei denen aus Gründen der Redundanz und Plausibilität Sensorsignale fusioniert werden. Im Gegensatz dazu wird durch den Gegenstand der Erfindung ein Voting ausgeführt. Das Votieren oder eine verwandte Ensemblemethode findet über Objekthypothesen statt, welche auf Einzelsensoren sowie auf Sensorfusion basieren. Bei n Sensoren können n Einzelsensoren herangezogen werden. Für jede k-Fusion mit k<=n über den n Sensoren können the oretisch n über k Hypothesen gebildet werden. Das folgende Beispiel ist nur für Ein zelsensoren formuliert, kann aber natürlich durch beliebige Fusionspaare, zum Bei spiel k=2, Kamera-Lidar, erweitert werden. Beispielsweise umfassen die ersten Um felderfassungssensoren eine Kamera, ein Lidar und einen Radar. In einer Szene er kennt der Radar ein Objekt. Die Kamera und der Lidar erkennen kein Objekt. Eine Fusion der Kamera-, Lidar- und Radar-Daten würde kein Objekt ausgegeben. Damit könnte aber ein Falsch-Negativ entstehen, falls das Objekt tatsächlich existiert. Erfin dungsgemäß wird aber ein Objekt ausgegeben, sobald dieses auch nur von einem Umfelderfassungssensor erkannt wurde. Damit wird die Falsch-Negativ -Rate mini miert. Nach einem Aspekt der Erfindung gibt die erste Auswerteeinheit in der ersten Liste auch dann ein Objekt aus, wenn relativ wenige Pixel eines Kamera-, Lidar- oder Radarsensors ein Signal liefern. Damit wird eine sichere Schwelle erreicht und die Falsch-Negativ-Rate weiter minimiert. Falls das Objekt tatsächlich nicht existiert, wird damit zwar die Anzahl an Falsch-Positiven-Objekten erhöht. Diese werden aber von der zweiten Auswerteeinheit widerlegt. The fact that the detection and / or the formation of the object hypotheses takes place separately for each of the first surroundings detection sensors means that the first signals are not merged. This differs from object recognition methods known from the prior art, in which sensor signals are merged for reasons of redundancy and plausibility. In contrast, voting is carried out by the subject matter of the invention. Voting or a related ensemble method takes place via object hypotheses, which are based on individual sensors and sensor fusion. With n sensors, n individual sensors can be used can be used. For every k-fusion with k <= n over the n sensors, theoretically n over k hypotheses can be formed. The following example is only formulated for individual sensors, but can of course be expanded to include any desired fusion pairs, for example k = 2, camera lidar. For example, the first field detection sensors include a camera, a lidar and a radar. In one scene the radar knows an object. The camera and lidar do not recognize any object. A fusion of the camera, lidar and radar data would not output an object. However, this could result in a false negative if the object actually exists. In accordance with the invention, however, an object is output as soon as it has only been recognized by a surrounding area detection sensor. This minimizes the false negative rate. According to one aspect of the invention, the first evaluation unit also outputs an object in the first list when relatively few pixels of a camera, lidar or radar sensor supply a signal. This achieves a safe threshold and further minimizes the false-negative rate. If the object does not actually exist, the number of false-positive objects is increased. However, these are refuted by the second evaluation unit.
Falsch-Positive und Falsch-Negative beschreiben Existenzunsicherheiten, das heißt die Unsicherheit darüber, ob ein von den Umfelderfassungssensoren erkanntes und in die Umfeldrepräsentation übernommenes Objekt überhaupt real existiert. Bei Falsch-Positiven wird ein Objekt erkannt, obwohl es tatsächlich nicht existiert. Bei spielsweise wird ein auf eine Fahrbahn fallender Schatten als ein Reifen erkannt. Bei Falsch-Negativen wird ein Objekt nicht erkannt, obwohl es tatsächlich existiert. False positives and false negatives describe existential uncertainties, that is, the uncertainty as to whether an object recognized by the environment detection sensors and taken over into the environment representation actually exists. In the case of false positives, an object is recognized although it actually does not exist. For example, a shadow falling on a roadway is recognized as a tire. In the case of false negatives, an object is not recognized even though it actually exists.
Die zweite Liste ist optimiert gegen Falsch-Positive, nämlich durch die Auswertung der zweiten Auswerteeinheit, und gegen Falsch-Negative, nämlich durch die Auswer tung der ersten Auswerteeinheit. Die zweite Stufe darf auch keine Objekte falsch wi derlegen, dadurch würde auch ein Falsch-Negativ Ereignis entstehen. The second list is optimized against false positives, namely by the evaluation of the second evaluation unit, and against false negatives, namely by the evaluation of the first evaluation unit. The second stage must not refute any objects either, which would also result in a false-negative event.
Gemäß einem weiteren Aspekt stellt die Erfindung ein System zur Erkennung von Objekten in einem Umfeld eines automatisierten Fahrsystems bereit. Das System umfasst erste und zweite Umfelderfassungssensoren und eine erfindungsgemäße Vorrichtung. Die ersten Umfelderfassungssensoren sind mit einer ersten Auswerteeinheit der Vorrichtung und die zweiten Umfelderfassungssensoren mit ei ner zweiten Auswerteeinheit der Vorrichtung jeweils Signal übertragend verbunden. Die Vorrichtung ist ausgeführt, in Abhängigkeit von Ergebnissen eines zweiten Re chenwerks der Vorrichtung Regel- und/oder Steuerungssignale zu bestimmen und die Regel- und/oder Steuerungssignale Aktuatoren des automatisierten Fahrsystems für eine Längs- und/oder Querführung bereitzustellen. According to a further aspect, the invention provides a system for recognizing objects in an environment of an automated driving system. The system comprises first and second surroundings detection sensors and a device according to the invention. The first environment detection sensors are with a first Evaluation unit of the device and the second environment detection sensors with a second evaluation unit of the device each connected to transmit signals. The device is designed to determine regulation and / or control signals as a function of the results of a second arithmetic unit of the device and to provide the regulation and / or control signals to actuators of the automated driving system for longitudinal and / or lateral guidance.
Die erste Auswerteeinheit, die ersten Umfelderfassungssensoren und das erste Re chenwerk bilden ein erstes Teilsystem. Die zweite Auswerteeinheit, die zweiten Um felderfassungssensoren und das zweite Rechenwerk bilden ein zweites Teilsystem. Je nach Systemdesign wird bei der Falsifikation einer Objektexistenzhypothese die Hypothese und/oder das Objekt direkt in dem zweiten Teilsystem verworfen. Für den Fall, dass das erste Teilsystem eine Multihypothesen-Objektnachverfolgungsstufe enthält, wird diese Stufe instruiert, diese Hypothese zu verwerfen. The first evaluation unit, the first environment detection sensors and the first arithmetic unit form a first subsystem. The second evaluation unit, the second field detection sensors and the second arithmetic unit form a second subsystem. Depending on the system design, when an object existence hypothesis is falsified, the hypothesis and / or the object is discarded directly in the second subsystem. In the event that the first subsystem contains a multi-hypothesis object tracking stage, this stage is instructed to reject this hypothesis.
Nach einem Aspekt der Erfindung werden verschiedene Topologien des ersten und zweiten Teilsystems parallel oder seriell verknüpft. Ferner können die ersten Umfel derfassungssensoren in die Analyselogik des zweiten Teilsystems eingebunden wer den. Außerdem kann das zweite Teilsystem rückgekoppelt werden zu einer Multihy pothesenstufe zur Objektbildung und/oder Objektnachverfolgung des ersten Teilsys tems, insbesondere wird die zweite Auswerteeinheit rückgekoppelt zu der ersten Auswerteeinheit. According to one aspect of the invention, different topologies of the first and second subsystems are linked in parallel or in series. Furthermore, the first environment detection sensors can be integrated into the analysis logic of the second subsystem. In addition, the second subsystem can be fed back to a multi-hypothesis stage for object formation and / or object tracking of the first subsystem, in particular the second evaluation unit is fed back to the first evaluation unit.
Gemäß einem weiteren Aspekt stellt die Erfindung ein Verfahren zur Erkennung von Objekten in einem Umfeld eines automatisierten Fahrsystems bereit. Das Verfahren umfasst die Schritte According to a further aspect, the invention provides a method for recognizing objects in an environment of an automated driving system. The method comprises the steps
• Erkennen von Eigenschaften der Objekte, • Recognition of properties of the objects,
• Bilden von Objekt-Hypothesen und • Formation of object hypotheses and
• Überprüfen der erkannten Objekte und der Objekt-Hypothesen. • Checking the recognized objects and the object hypotheses.
Zur Durchführung des Verfahrens wird eine erfindungsgemäße Vorrichtung oder ein erfindungsgemäßes System verwendet. Das Verfahren ist nach einem Aspekt der Erfindung computerimplementiert. Compu terimplementiert bedeutet, dass die Schritte des Verfahrens von einer Datenverarbei tungsvorrichtung, beispielsweise einem Computer, einem Rechensystem oder Teilen davon, ausgeführt werden. A device according to the invention or a system according to the invention is used to carry out the method. According to one aspect of the invention, the method is computer implemented. Computer-implemented means that the steps of the method are carried out by a data processing device, for example a computer, a computing system or parts thereof.
Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele. Further refinements of the invention emerge from the subclaims, the drawings and the description of preferred exemplary embodiments.
In einer Ausgestaltung der Erfindung verfolgt das erste Rechenwerk durch Ausfüh rung der ersten Maschinenbefehle die Objekte nach, die erste Auswerteeinheit stellt die Nachverfolgungen in der ersten Liste bereitstellt und die zweite Auswerteeinheit wertet die Nachverfolgungen aus. Beispielsweise umfassen die Maschinenbefehle Befehle zur Ausführung eines Trackingalgorithmus. Nachverfolgungen erlauben eine integrierte objektspezifische Existenzschätzung. In one embodiment of the invention, the first arithmetic unit tracks the objects by executing the first machine commands, the first evaluation unit provides the follow-ups in the first list and the second evaluation unit evaluates the follow-ups. For example, the machine commands include commands for executing a tracking algorithm. Follow-ups allow an integrated object-specific existence estimation.
In einer weiteren Ausgestaltung der Erfindung bildet das erste Rechenwerk durch Ausführung der ersten Maschinenbefehle Multihypothesen zur Erkennung und/oder Nachverfolgung der Objekte, die erste Auswerteeinheit stellt die Multihypothesen in der ersten Liste bereit und die zweite Auswerteeinheit wertet die Multihypothesen aus. Erfindungsgemäß werden also alternative Hypothesen mit ausgewertet und nicht aggressiv dezimiert. Damit werden Falsch-Negative weiter minimiert. In a further embodiment of the invention, the first arithmetic unit forms multi-hypotheses for recognizing and / or tracking the objects by executing the first machine commands, the first evaluation unit provides the multi-hypotheses in the first list and the second evaluation unit evaluates the multi-hypotheses. According to the invention, alternative hypotheses are also evaluated and not aggressively decimated. This further minimizes false negatives.
In einer weiteren Ausgestaltung der Erfindung erfolgt die Erkennung der Objekte in Zyklen und die zweite Auswerteeinheit verifiziert und/oder falsifiziert pro Zyklus der ersten Auswerteeinheit mehrmals die Objekt-Hypothesen und/oder Falsch-Positiv- Objekte. Damit wird eine hohe Robustheit gegen Falsch-Positive auf Sensorebene erreicht. Die Erkennung der Objekte erfolgt beispielsweise in 40Hz Zyklen der ersten Umfelderfassungssensoren. Die zweiten Umfelderfassungssensoren besitzen eine höhere Wiederholungsgeschwindigkeit oder Taktung. Zum Beispiel finden pro Zyklus der Objekterkennung mehrere zehn bis hundert Überprüfungen pro Objekt-Hypo these statt, beispielsweise mit einem Strahlensensor der zweiten Umfelderfassungs sensoren, beispielsweise einem Lidar. Dies wird beispielsweise erreicht durch eine kontrollierte Steuerung der Strahlen des Strahlensensors. In einer weiteren Ausgestaltung der Erfindung ist die zweite Auswerteeinheit ausge führt, mittels dreidimensionaler Strukturschätzung und/oder geometrischer Konsis tenz basierend auf Sichtfeldern verschiedener der zweiten und/oder ersten Umfelder fassungssensoren die Objekt-Hypothesen zu verifizieren und/oder Falsch-Positiv-Ob- jekte zu falsifizieren. Damit wird die hohe Robustheit gegen Falsch-Positive alternativ oder zusätzlich zur Sensorebene auch auf der Ebene der zweiten Auswerteeinheit erreicht. Dreidimensionale Strukturschätzung wird beispielsweise mittels time-of- flight-Sensoren erreicht. Damit können freie Raumvolumina bestimmt werden. In a further embodiment of the invention, the objects are recognized in cycles and the second evaluation unit verifies and / or falsifies the object hypotheses and / or false-positive objects several times per cycle of the first evaluation unit. This achieves a high level of robustness against false positives at the sensor level. The detection of the objects takes place, for example, in 40 Hz cycles of the first environment detection sensors. The second environment detection sensors have a higher repetition speed or timing. For example, several tens to hundreds of checks per object hypothesis take place per cycle of object recognition, for example with a radiation sensor of the second surroundings detection sensors, for example a lidar. This is achieved, for example, by a controlled control of the beams of the radiation sensor. In a further embodiment of the invention, the second evaluation unit is designed to verify the object hypotheses and / or false-positive objects by means of three-dimensional structure estimation and / or geometric consistency based on fields of view of various of the second and / or first surroundings detection sensors to falsify. As an alternative or in addition to the sensor level, the high level of robustness against false positives is also achieved at the level of the second evaluation unit. Three-dimensional structure estimation is achieved, for example, by means of time-of-flight sensors. This allows free room volumes to be determined.
In einer weiteren Ausgestaltung der Erfindung umfasst die Vorrichtung eine dritte Auswerteeinheit. Die dritte Auswerteeinheit führt dritte Maschinenbefehle aus, um für die Objekte, die Objekt-Hypothesen und/oder die Falsch-Positiv-Objekte der ersten Liste jeweils eine Gefährlichkeit zu bestimmen. In Abhängigkeit der Gefährlichkeit werden durch Ausführung der dritten Maschinenbefehle die Objekte, die Objekt-Hy pothesen und/oder die Falsch-Positiv-Objekte priorisiert und eine priorisierte erste Liste mit den priorisierten Objekten, Objekt-Hypothesen und/oder Falsch-Positiv-Ob- jekten der zweiten Auswerteeinheit bereitgestellt. Die zweite Auswerteeinheit verifi ziert und/oder falsifiziert basierend auf der Priorisierung die Objekt-Hypothesen und/oder Falsch-Positiv-Objekte. Damit ermittelt die dritte Auswerteeinheit eine Rangordnung für die Reihenfolge der Überprüfung der ersten Liste der ersten Aus werteeinheit durch die zweite Auswerteeinheit. In a further embodiment of the invention, the device comprises a third evaluation unit. The third evaluation unit executes third machine commands in order to determine a hazard for each of the objects, the object hypotheses and / or the false-positive objects of the first list. Depending on the level of danger, the objects, the object hypotheses and / or the false-positive objects are prioritized by executing the third machine commands and a prioritized first list with the prioritized objects, object hypotheses and / or false-positive-ob- projects of the second evaluation unit provided. The second evaluation unit verifies and / or falsifies the object hypotheses and / or false-positive objects based on the prioritization. The third evaluation unit thus determines a ranking for the sequence in which the first list of the first evaluation unit is checked by the second evaluation unit.
In einer weiteren Ausgestaltung der Erfindung arbeiten die ersten und/oder zweiten Umfelderfassungssensoren in mehreren Wellenlängenbereichen. Damit werden Wahrnehmungsschwächen ausgeglichen. Beispielsweise arbeiten Lidarsensoren der zweiten Umfelderfassunssensoren in zwei verschiedenen Lidar-Wellenlängenspek- tren. Dadurch kann zum Beispiel durch Nebel geschaut werden. In a further embodiment of the invention, the first and / or second environment detection sensors operate in a plurality of wavelength ranges. This compensates for weaknesses in perception. For example, lidar sensors of the second environment sensing sensors work in two different lidar wavelength spectra. This allows you to look through fog, for example.
In einer weiteren Ausführung werden in der ersten Objektstufe absichtlich virtuelle falsch-positive Objekte. Durch die Rate der widerlegten virtuellen Objekte kann die Effizienz des Falsifizierens laufend überprüft werden. Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen: In a further embodiment, virtual false-positive objects are intentionally created in the first object level. The efficiency of the falsification can be continuously checked through the rate of refuted virtual objects. The invention is illustrated in the following exemplary embodiments. Show it:
Fig.1 ein Beispiel eines Umfeldes, Fig. 1 an example of an environment,
Fig. 2 ein erstes Abbild des Umfeldes aus Fig. 1 von der erfindungsgemäßen ersten Auswerteeinheit, FIG. 2 shows a first image of the environment from FIG. 1 from the first evaluation unit according to the invention,
Fig. 3 ein zweites Abbild des ersten Abbildes aus Fig. 2 von der erfindungsgemäßen zweiten Auswerteeinheit, 3 shows a second image of the first image from FIG. 2 of the second evaluation unit according to the invention,
Fig. 4 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung, 4 shows an embodiment of a device according to the invention,
Fig. 5 ein weiteres Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung, 5 shows a further embodiment of a device according to the invention,
Fig. 6 ein weiteres Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und 6 shows a further exemplary embodiment of a device according to the invention and
Fig. 7 eine schematische Darstellung des erfindungsgemäßen Verfahrens. 7 shows a schematic representation of the method according to the invention.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils rele vanten Bezugsteile hervorgehoben. In the figures, the same reference symbols denote the same or functionally similar reference parts. For the sake of clarity, only the relevant reference parts are highlighted in the individual figures.
Fig. 1 zeigt ein Umfeld U eines Fahrzeuges, wie es real existiert. Das Umfeld U um fasst mehrere Objekte 1 , 2, 3, beispielsweise ein Fahrzeug 1 , ein Fahrrad 2 und zwei Fußgänger. 1 shows an environment U of a vehicle as it actually exists. The environment U includes several objects 1, 2, 3, for example a vehicle 1, a bicycle 2 and two pedestrians.
Fig. 2 zeigt ein erstes Abbild des Umfeldes U von einer ersten Auswerteeinheit 002. Dieses erste Abbild wird beispielsweise als erste Liste über die erste Ausgangs schnittstelle der ersten Auswerteeinheit 002 bereitgestellt. Das erste Abbild umfasst die Objekte 1 , 2, 3 aus dem Umfeld, ist also robust gegen Falsch-Negative. Zusätz lich umfasst das erste Abbild Objekthypothesen, beispielsweise ein weiteres Fahr zeug, ein weiteres Fahrrad und einen weiteren Fußgänger. Fig. 3 zeigt ein zweites Abbild des ersten Abbildes. Dieses zweite Abbild wird bei spielsweise als zweite Liste über die zweite Ausgangsschnittstelle der zweiten Aus werteeinheit 004 bereitgestellt. Das zweite Abbild umfasst die Objekte 1 , 2, 3 aus dem Umfeld. Die Falsch-Positiven des ersten Abbildes wurden falsifiziert. 2 shows a first image of the surroundings U from a first evaluation unit 002. This first image is provided, for example, as a first list via the first output interface of the first evaluation unit 002. The first image includes objects 1, 2, 3 from the surrounding area and is therefore robust against false negatives. In addition, the first image includes object hypotheses, for example another vehicle, another bicycle and another pedestrian. 3 shows a second image of the first image. This second image is provided, for example, as a second list via the second output interface of the second evaluation unit 004. The second image includes objects 1, 2, 3 from the surrounding area. The false positives of the first image were falsified.
Die in Fig. 4 gezeigte Vorrichtung umfasst die erste Auswerteeinheit 002. Die erste Auswerteeinheit 002 ist Signal übertragend verbunden mit ersten Umfelderfassungs sensoren 001a, 001 b, 001c. Der erste Umfelderfassungssensor 001a ist beispiels weise eine Kamera. Der erste Umfelderfassungssensor 001 b ist beispielsweise ein Lidar. Der erste Umfelderfassungssensor 001c ist beispielsweise ein Radar. Die erste Auswerteeinheit 002 umfasst ein erstes Rechenwerk 002a. Das erste Rechen werk 002a erzeugt eine erste Liste mit von den ersten Umfelderfassungssenoren 001a, 001b, 001c erkannten Objekten 1 , 2, 3, Objekt-Hypothesen und Falsch-Positi- ven-Objekten. The device shown in FIG. 4 comprises the first evaluation unit 002. The first evaluation unit 002 is connected to transmit signals to first surroundings detection sensors 001a, 001b, 001c. The first surroundings detection sensor 001a is, for example, a camera. The first surroundings detection sensor 001b is, for example, a lidar. The first surroundings detection sensor 001c is, for example, a radar. The first evaluation unit 002 comprises a first arithmetic unit 002a. The first arithmetic unit 002a generates a first list with objects 1, 2, 3, object hypotheses and false-positive objects recognized by the first surroundings detection sensors 001a, 001b, 001c.
Die erste Liste wird der zweiten Auswerteeinheit 004 bereitgestellt. Die zweite Aus werteeinheit 004 ist Signal übertragend verbunden mit zweiten Umfelderfassungs sensoren 003a, 003b, 003c. Der zweite Umfelderfassungssensor 003a ist beispiels weise eine Kamera. Der zweite Umfelderfassungssensor 003b ist beispielsweise ein Lidar. Der zweite Umfelderfassungssensor 003c ist beispielsweise ein Radar. Die zweite Auswerteeinheit 004 umfasst ein zweites Rechenwerk 004a. Das zweite Re chenwerk 004a erzeugt eine zweite Liste ausgehend von der ersten Liste und den ausgewerteten Signalen der zweiten Umfelderfassungssenoren 003a, 003b, 003c. Die zweite Liste ist robust gegen Falsch-Positive und Falsch-Negative. The first list is made available to the second evaluation unit 004. The second evaluation unit 004 is connected to transmit signals to second surroundings detection sensors 003a, 003b, 003c. The second surroundings detection sensor 003a is, for example, a camera. The second surroundings detection sensor 003b is, for example, a lidar. The second surroundings detection sensor 003c is, for example, a radar. The second evaluation unit 004 comprises a second arithmetic unit 004a. The second arithmetic unit 004a generates a second list based on the first list and the evaluated signals of the second surroundings detection sensors 003a, 003b, 003c. The second list is robust against false positives and false negatives.
Fig. 5 zeigt im Wesentlichen das Ausführungsbeispiel der Fig. 4. Im Unterschied zu Fig. 4 ist die zweite Auswerteeinheit 004 mit der ersten Auswerteeinheit 002 rückge koppelt. Die Rückkopplung ist ein Feedback Pfad für Multiobjekt-Hypothesen Bildung und/oder Nachverfolgung der ersten Auswerteeinheit 002. FIG. 5 essentially shows the exemplary embodiment of FIG. 4. In contrast to FIG. 4, the second evaluation unit 004 is fed back to the first evaluation unit 002. The feedback is a feedback path for multi-object hypotheses formation and / or tracking of the first evaluation unit 002.
Fig. 6 zeigt das Ausführungsbeispiel der Fig.5 mit einer zusätzlichen dritten Auswer teeinheit 005. Die dritte Auswerteeinheit 005 ermittelt in Abhängigkeit eines Gefähr dungspotentials der Objekte 1 , 2, 3 eine Rangordnung für die Reihenfolge der Überprüfung der ersten Liste der ersten Auswerteeinheit 002 durch die zweite Aus werteeinheit 004. Beispielsweise sind Fußgänger priorisiert zu Fahrradfahrer und Fahrradfahrer priorisiert zu Fahrzeugen. Fig. 6 shows the embodiment of Fig.5 with an additional third evaluation unit 005. The third evaluation unit 005 determines a ranking for the order of the objects 1, 2, 3 as a function of a hazard potential of the objects 1, 2, 3 Checking the first list of the first evaluation unit 002 by the second evaluation unit 004. For example, pedestrians are prioritized over cyclists and cyclists are prioritized over vehicles.
Fig. 7 zeigt das erfindungsgemäße Verfahren. In einem Verfahrensschritt V1 werden Eigenschaften der Objekte 1, 2, 3 erkannt, beispielsweise Geschwindigkeit und ob das Objekt ein Fahrzeug, Fußgänger oder Fahrradfahrer ist. In einem Verfahrens schritt V2 werden Objekt-Hypothesen gebildet zur Minimierung der Falsch-Negativ- Rate. In einem Verfahrensschritt V3 werden die erkannten Objekte 1, 2, 3 und die Objekt-Hypothesen überprüft. Zur Durchführung des Verfahrens wird beispielsweise die erfindungsgemäße Vorrichtung verwendet. Die Objekterkennung und Hypothe senbildung erfolgt durch die erste Auswerteeinheit 002. Die Überprüfung erfolgt durch die zweite Auswerteeinheit 004. 7 shows the method according to the invention. In a method step V1, properties of the objects 1, 2, 3 are recognized, for example speed and whether the object is a vehicle, a pedestrian or a cyclist. In a process step V2, object hypotheses are formed to minimize the false-negative rate. In a method step V3, the recognized objects 1, 2, 3 and the object hypotheses are checked. The device according to the invention is used, for example, to carry out the method. The object recognition and hypothesis formation are carried out by the first evaluation unit 002. The checking is carried out by the second evaluation unit 004.
Bezuqszeichen Reference symbol
1 Objekt 1 object
2 Objekt 2 object
3 Objekt U Umfeld 3 Object U environment
001a erster Umfelderfassungssensor 001b erster Umfelderfassungssensor 001c erster Umfelderfassungssensor 002 erste Auswerteeinheit 002a erstes Rechenwerk 003a zweiter Umfelderfassungssensor 003b zweiter Umfelderfassungssensor 003c zweiter Umfelderfassungssensor 004 zweite Auswerteeinheit 004a zweites Rechenwerk 005 dritte Auswerteeinheit F Rückkopplung V1 -V3 Verfahrensschritte 001a first environment detection sensor 001b first environment detection sensor 001c first environment detection sensor 002 first evaluation unit 002a first arithmetic unit 003a second environment detection sensor 003b second environment detection sensor 003c second environment detection sensor 004 second evaluation unit 004a second arithmetic unit 005 third evaluation unit F feedback V1 -V3 method steps

Claims

Patentansprüche Claims
1. Vorrichtung zur Erkennung von Objekten (1, 2, 3) in einem Umfeld (U) eines auto matisierten Fahrsystems umfassend 1. A device for detecting objects (1, 2, 3) in an environment (U) of an automated driving system comprising
• eine erste Auswerteeinheit (002), umfassend o erste Eingangsschnittstellen zu ersten Umfelderfassungssensoren (001a, 001b, 001c) des automatisierten Fahrsystems, um erste Signale der ersten Umfelderfassungssensoren (001a, 001b, 001c) zu erhalten, o wenigstens ein erstes Rechenwerk (002a), das erste Maschinenbefehle ausführt zur Erkennung der Objekte (1 , 2, 3) und zum Bilden von Ob jekt-Hypothesen, wobei für jeden der ersten Umfelderfassungssensoren (001a, 001b, 001c) oder für jede Kombination der ersten Umfelderfas sungssensoren (001a, 001b, 001c) die Erkennung und/oder die Bildung der Objekt-Hypothesen separat erfolgt zur Minimierung einer Falsch- Negativ-Rate, und o eine erste Ausgangsschnittstelle, um eine erste Liste umfassend die Objekte, die Objekt-Hypothesen und Falsch-Positiv-Objekte bereitzu stellen, und • a first evaluation unit (002), comprising o first input interfaces to first surroundings detection sensors (001a, 001b, 001c) of the automated driving system in order to receive first signals from the first surroundings detection sensors (001a, 001b, 001c), o at least one first arithmetic unit (002a) , which executes the first machine commands to recognize the objects (1, 2, 3) and to form object hypotheses, whereby for each of the first environment detection sensors (001a, 001b, 001c) or for each combination of the first environment detection sensors (001a, 001b , 001c) the detection and / or the formation of the object hypotheses takes place separately to minimize a false-negative rate, and o a first output interface to provide a first list comprising the objects, the object hypotheses and false-positive objects put, and
• eine zweite Auswerteeinheit (004), umfassend o zweite Eingangsschnittstellen zu zweiten Umfelderfassungssensoren (003a, 003b, 003c) des automatisierten Fahrsystems, um zweite Sig nale der zweiten Umfelderfassungssensoren (003a, 003b, 003c) zu er halten, o wenigstens ein zweites Rechenwerk (004a), das zweite Maschinenbe fehle ausführt, um in Abhängigkeit der zweiten Signale und der ersten Liste die Objekt-Hypothesen zu verifizieren und/oder Falsch-Positiv-Ob jekte zu falsifizieren, und o eine zweite Ausgangsschnittstelle, um eine zweite Liste umfassend Er gebnisse des zweiten Rechenwerks (004a) bereitzustellen. • a second evaluation unit (004), comprising o second input interfaces to second environment detection sensors (003a, 003b, 003c) of the automated driving system in order to receive second signals from the second environment detection sensors (003a, 003b, 003c), o at least one second arithmetic unit ( 004a), which executes the second machine commands in order to verify the object hypotheses and / or to falsify false-positive objects as a function of the second signals and the first list, and o a second output interface to produce a second list comprising results of the second arithmetic unit (004a).
2. Vorrichtung nach Anspruch 1 , wobei das erste Rechenwerk (002a) durch Ausfüh rung der ersten Maschinenbefehle die Objekte (1 , 2, 3) nachverfolgt, die erste Auswerteeinheit (002) die Nachverfolgungen in der ersten Liste bereitstellt und die zweite Auswerteeinheit (004) die Nachverfolgungen auswertet. 2. Apparatus according to claim 1, wherein the first arithmetic unit (002a) tracks the objects (1, 2, 3) by executing the first machine commands, the first Evaluation unit (002) provides the follow-ups in the first list and the second evaluation unit (004) evaluates the follow-ups.
3. Vorrichtung nach Anspruch 1 oder 2, wobei das erste Rechenwerk (002a) durch Ausführung der ersten Maschinenbefehle Multihypothesen zur Erkennung und/oder Nachverfolgung der Objekte (1 , 2, 3) bildet, die erste Auswerteeinheit (002) die Mul tihypothesen in der ersten Liste bereitstellt und die zweite Auswerteeinheit (004) die Multihypothesen auswertet. 3. Apparatus according to claim 1 or 2, wherein the first arithmetic unit (002a) forms multi-hypotheses for recognizing and / or tracking the objects (1, 2, 3) by executing the first machine commands, the first evaluation unit (002) the multi-hypotheses in the provides the first list and the second evaluation unit (004) evaluates the multi-hypotheses.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, wobei die Erkennung der Objekte (1 , 2, 3) in Zyklen erfolgt und die zweite Auswerteeinheit (004) pro Zyklus der ersten Auswerteeinheit (002) mehrmals die Objekt-Hypothesen verifiziert und/oder Falsch- Positiv-Objekte falsifiziert. 4. Device according to one of claims 1 to 3, wherein the detection of the objects (1, 2, 3) takes place in cycles and the second evaluation unit (004) verifies and / or the object hypotheses several times per cycle of the first evaluation unit (002) False-positive objects falsified.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, wobei die zweite Auswerteeinheit (004) ausgeführt ist, mittels dreidimensionaler Strukturschätzung und/oder geometri scher Konsistenz basierend auf Sichtfeldern verschiedener der zweiten (003a, 003b, 003c) und/oder ersten Umfelderfassungssensoren (001a, 001b, 001c) die Objekt-Hy pothesen zu verifizieren und/oder Falsch-Positiv-Objekte zu falsifizieren. 5. Device according to one of claims 1 to 4, wherein the second evaluation unit (004) is designed by means of three-dimensional structure estimation and / or geometrical consistency based on fields of view of different of the second (003a, 003b, 003c) and / or first environment detection sensors (001a , 001b, 001c) to verify the object hypotheses and / or to falsify false-positive objects.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, umfassend eine dritte Auswer teeinheit (005), die dritte Maschinenbefehle ausführt, um für die Objekte (1 , 2, 3), die Objekt-Hypothesen und/oder die Falsch-Positiv-Objekte der ersten Liste jeweils eine Gefährlichkeit zu bestimmen, in Abhängigkeit der Gefährlichkeit die Objekte (1 , 2, 3), die Objekt-Hypothesen und/oder die Falsch-Positiv-Objekte zu priorisieren und eine priorisierte erste Liste mit den priorisierten Objekten (1 , 2, 3), Objekt-Hypothesen und/oder Falsch-Positiv-Objekten der zweiten Auswerteeinheit (004) bereitzustellen, wobei die zweite Auswerteeinheit (004) basierend auf der Priorisierung die Objekt- Hypothesen verifiziert und/oder Falsch-Positiv-Objekte falsifiziert. 6. Device according to one of claims 1 to 5, comprising a third evaluating unit (005) which executes third machine commands in order for the objects (1, 2, 3), the object hypotheses and / or the false-positive objects to determine a hazard in each case from the first list, to prioritize the objects (1, 2, 3), the object hypotheses and / or the false-positive objects as a function of the hazard, and to create a prioritized first list with the prioritized objects (1, 2, 3), object hypotheses and / or false-positive objects to the second evaluation unit (004), the second evaluation unit (004) verifying the object hypotheses and / or falsifying false-positive objects based on the prioritization.
7. Vorrichtung nach einem der Ansprüche 1 bis 6, wobei die ersten (001a, 001 b, 001c) und/oder zweiten Umfelderfassungssensoren (003a, 003b, 003c) in mehreren Wellenlängenbereichen arbeiten. 7. Device according to one of claims 1 to 6, wherein the first (001a, 001b, 001c) and / or second surroundings detection sensors (003a, 003b, 003c) operate in several wavelength ranges.
8. System zur Erkennung von Objekten (1 , 2, 3) in einem Umfeld eines automatisier ten Fahrsystems umfassend erste (001a, 001 b, 001c) und zweite Umfelderfassungs sensoren (003a, 003b, 003c) und eine Vorrichtung nach einem der Ansprüche 1 bis 7, wobei die ersten Umfelderfassungssensoren (001a, 001b, 001c) mit einer ersten Auswerteeinheit (002) der Vorrichtung und die zweiten Umfelderfassungssensoren (003a, 003b, 003c) mit einer zweiten Auswerteeinheit (004) der Vorrichtung jeweils Signal übertragend verbunden sind und die Vorrichtung ausgeführt ist, in Abhängig keit von Ergebnissen eines zweiten Rechenwerks (004a) der Vorrichtung Regel und/oder Steuerungssignale zu bestimmen und die Regel- und/oder Steuerungssig nale Aktuatoren des automatisierten Fahrsystems für eine Längs- und/oder Querfüh rung bereitzu stellen. 8. System for the detection of objects (1, 2, 3) in an environment of an automated driving system comprising first (001a, 001b, 001c) and second environment detection sensors (003a, 003b, 003c) and a device according to one of claims 1 to 7, wherein the first environment detection sensors (001a, 001b, 001c) with a first evaluation unit (002) of the device and the second environment detection sensors (003a, 003b, 003c) with a second evaluation unit (004) of the device are each connected to transmit signals and the Device is designed to determine rule and / or control signals as a function of the results of a second arithmetic unit (004a) of the device and to provide the control and / or control signals actuators of the automated driving system for longitudinal and / or lateral guidance.
9. Verfahren zur Erkennung von Objekten (1 , 2, 3) in einem Umfeld eines automati sierten Fahrsystems umfassend die Schritte 9. A method for recognizing objects (1, 2, 3) in an environment of an automated driving system comprising the steps
• Erkennen von Eigenschaften der Objekte (V1 ), • Recognition of properties of the objects (V1),
• Bilden von Objekt-Hypothesen (V2) und • Formation of object hypotheses (V2) and
• Überprüfen der erkannten Objekte und der Objekt-Hypothesen (V3), wobei zur Durchführung des Verfahrens eine Vorrichtung nach einem der Ansprüche 1 bis 7 oder ein System nach Anspruch 8 verwendet wird. • Checking the recognized objects and the object hypotheses (V3), a device according to one of Claims 1 to 7 or a system according to Claim 8 being used to carry out the method.
EP21712064.1A 2020-03-24 2021-03-10 Device, system and method for identifying objects in the surroundings of an automated driving system Pending EP4128041A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203745.0A DE102020203745A1 (en) 2020-03-24 2020-03-24 Device, system and method for recognizing objects in an environment of an automated driving system
PCT/EP2021/055999 WO2021190922A1 (en) 2020-03-24 2021-03-10 Device, system and method for identifying objects in the surroundings of an automated driving system

Publications (1)

Publication Number Publication Date
EP4128041A1 true EP4128041A1 (en) 2023-02-08

Family

ID=74874812

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21712064.1A Pending EP4128041A1 (en) 2020-03-24 2021-03-10 Device, system and method for identifying objects in the surroundings of an automated driving system

Country Status (5)

Country Link
EP (1) EP4128041A1 (en)
CN (1) CN115176287A (en)
DE (1) DE102020203745A1 (en)
IL (1) IL296266A (en)
WO (1) WO2021190922A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022000257A1 (en) 2022-01-25 2022-05-19 Daimler Ag Method for detecting the surroundings of a vehicle
EP4261105A1 (en) 2022-04-13 2023-10-18 Bayerische Motoren Werke Aktiengesellschaft Planning of trajectories for an automated vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013201545A1 (en) * 2013-01-30 2014-07-31 Bayerische Motoren Werke Aktiengesellschaft Create an environment model for a vehicle
DE102016012345A1 (en) 2016-10-14 2017-05-04 Daimler Ag Method for recognizing objects
DE102018220024B3 (en) * 2018-11-22 2020-03-12 Audi Ag Method for fusing sensor data from several sensors and fusion device for fusing sensor data from several sensors

Also Published As

Publication number Publication date
DE102020203745A1 (en) 2021-09-30
IL296266A (en) 2022-11-01
CN115176287A (en) 2022-10-11
WO2021190922A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
EP2951804B1 (en) Creating a model for the surroundings of a vehicle
DE102020214283A1 (en) DEVICE FOR DETECTION OF OBSTACLES, VEHICLE SYSTEM WITH THIS AND METHOD FOR IT
EP4128041A1 (en) Device, system and method for identifying objects in the surroundings of an automated driving system
DE102018220024B3 (en) Method for fusing sensor data from several sensors and fusion device for fusing sensor data from several sensors
DE102021128041A1 (en) IMPROVEMENT OF A VEHICLE NEURAL NETWORK
DE102007013664A1 (en) Tool e.g. blade, measuring and/or adjusting device, has rolling nut designed as roller ring transmission comprising set of roller-supported roller rings with variable upward gradient
EP3867601A1 (en) Method and system for determining a model of the environment of a vehicle
CN114972654A (en) Three-dimensional target detection method based on roadside point cloud completion
DE102020209680B3 (en) Signal processing path, device for environment recognition and method for validating a driving system that can be operated automatically
DE102017108248A1 (en) STREET FEATURE RECOGNITION WITH A VEHICLE CAMERA SYSTEM
DE102022123680A1 (en) OBJECT POSE ESTIMATION
DE102021121712A1 (en) GROUP OBJECT TRACKING
DE102017128082A1 (en) Meta-architecture design for a CNN network
DE102019202266A1 (en) Method and computer program product for adapting a resolution of a multi-sensor system of a road vehicle and control device for a multi-sensor system and computer program product
DE102022000849A1 (en) Method for generating an environment representation for a vehicle
DE102020210468A1 (en) Computer-implemented method, computer system and computer program for executing an emergency trajectory for an automated driving system and automated driving system
DE102020202305A1 (en) Method for recognizing the surroundings of a vehicle and method for training a fusion algorithm for a vehicle system
DE102020200875A1 (en) Method for providing sensor data by a sensor system of a vehicle
DE102022123499B3 (en) Computer-implemented method, processor circuit and computer program for processing measurement points received from an environment sensor, in particular radar measurement points, for object detection and a correspondingly equipped motor vehicle
DE102022121109A1 (en) Visual perception with a vehicle based on a camera image and an ultrasound map
DE102021204639B4 (en) Detection of intersections of lane marking lines
DE102020202871B4 (en) Computer-implemented method for calculating convolution networks, computer system, computer program and vehicle that can be operated automatically
DE102022110232A1 (en) METHOD AND DEVICE FOR DETERMINING A PATH THAT CAN BE TRAVELED BY A MOTOR VEHICLE OR A SEMANTIC SEGMENTATION MAP WITH A BIRD&#39;S PERSPECTIVE VIEW OF THE MOTOR VEHICLE
EP4293634A1 (en) Method, processor circuit and computer-readable storage medium for carrying out traffic object detection in a motor vehicle
DE102022121111A1 (en) Automatic visual perception with a vehicle using a camera and an ultrasonic sensor system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220920

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)