EP4128041A1 - Vorrichtung, system und verfahren zur erkennung von objekten in einem umfeld eines automatisierten fahrsystems - Google Patents

Vorrichtung, system und verfahren zur erkennung von objekten in einem umfeld eines automatisierten fahrsystems

Info

Publication number
EP4128041A1
EP4128041A1 EP21712064.1A EP21712064A EP4128041A1 EP 4128041 A1 EP4128041 A1 EP 4128041A1 EP 21712064 A EP21712064 A EP 21712064A EP 4128041 A1 EP4128041 A1 EP 4128041A1
Authority
EP
European Patent Office
Prior art keywords
objects
evaluation unit
detection sensors
false
hypotheses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21712064.1A
Other languages
English (en)
French (fr)
Inventor
Martin RUCHTI
Robert MÄRTIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP4128041A1 publication Critical patent/EP4128041A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a device, a system and a method for recognizing objects in an environment of an automated driving system
  • DE 10 2016 012 345 A1 discloses a method for recognizing objects in the vicinity of a vehicle, object hypotheses being obtained using camera data and false positives being discarded using a lidar sensor.
  • the object of the invention is to provide a sensor system for robust detection of the environment that is optimized against false positives and false negatives.
  • the invention solves this problem by separating the functionalities between object recognition, a hypothesis created therefrom and a subsequent hypothesis check. Specifically, an object recognition stage, which recognizes relevant object properties, such as size, class, speed, position, is paired with a subsequent hypothesis checking stage, which does not estimate or evaluate any object properties, but only checks whether an object actually exists. According to one aspect of the invention, however, estimated object properties are also used to check for existence.
  • the invention provides a device for recognizing objects in an environment of an automated driving system.
  • the device comprises a first evaluation unit.
  • the first evaluation unit comprises first input interfaces to first environment detection sensors of the automated driving system in order to receive first signals from the first environment detection sensors.
  • the first evaluation unit comprises at least one first arithmetic unit, the first Executes machine commands to recognize the objects and to form object hypotheses, with the recognition and / or formation of the object hypotheses taking place separately for each of the first environment detection sensors or for each combination of the first environment detection sensors to minimize a false negative rate.
  • the first evaluation unit comprises a first output interface in order to provide a first list comprising the objects, the object hypotheses and false positive objects.
  • the device also includes a second evaluation unit.
  • the second evaluation unit comprises second input interfaces to second environment detection sensors of the automated driving system in order to receive second signals from the second environment detection sensors. Furthermore, the second evaluation unit comprises at least one second arithmetic unit that executes second machine commands in order to verify the object hypotheses and / or falsify false-positive objects as a function of the second signals and the first list.
  • the second evaluation unit also includes a second output interface in order to provide a second list comprising results from the second arithmetic unit.
  • the subject matter of the invention is inherently modular and expandable, since both in the object recognition stage, that is the first evaluation unit, and in the mortgage verification stage, that is the second evaluation unit, additional methods for recognition or for hypothesis testing can be incorporated without having to discard the existing components. According to one aspect of the invention, these different methods are combined in the first, but especially in the second evaluation unit in ensembles such as cascades or committees.
  • the second stage of the device that is the second evaluation unit, finally outputs an object list or the like that is optimized against false positives, namely by the second evaluation unit, and false negatives, namely by the first evaluation unit.
  • the second stage is designed not to falsely refute any real existing objects.
  • the first environment detection sensors are optimized for high sensitivity in order to be robust against false negatives.
  • the second surroundings detection sensors are optimized for testing hypotheses.
  • the task of the second surroundings detection sensors is to falsify the objects provided by the first evaluation unit if they are false positives.
  • the first and second thorough chargedssenso ren include cameras, radar, lidar, ultrasound, microphones, time-of-flight sensors and laser light barriers.
  • the sensor technologies of the first environment detection sensors can also be used for the second environment detection sensors and vice versa.
  • Another aspect of the invention comprises a sensor system which actively changes its own input in order to be able to check hypotheses, for example actively moving (saccading) cameras or actively aligned lidars.
  • the device is, for example, a sensor signal processing module with input interfaces to receive signals from the surroundings detection sensors, evaluation units that evaluate the signals, and output interfaces that provide the evaluated signals, for example in the form of regulation and / or control signals, actuators of the vehicle, for example for automated / autonomous longitudinal and / or lateral guidance.
  • Longitudinal guidance is controlled, for example, via drive torque control, for example via electronic engine power control, and / or braking torque control.
  • Lateral guidance regulates the lateral dynamics of the vehicle, for example lane and / or directional stability, steering maneuvers and / or yaw speed.
  • the invention is not restricted to automated or autonomous vehicles.
  • the scope of the invention extends to automated driving systems.
  • Automated driving systems encompass all automated and autonomous systems in which an unsafe perception has to be provided and in which misperceptions or false perceptions have to be avoided.
  • automated driving systems include service robots, drones and legged robots.
  • Automated vehicles for example with internal combustion engines, electric shem drive, hybrid electric vehicles or fuel cell vehicles, preferably road vehicles with one of these drive technologies, include technical equipment to control the vehicle to cope with driver tasks.
  • the invention for driving functions of the Levels SAE J3016 Level 2 to Level 5 used.
  • the device is an ADAS / AD main ECU, that is to say an electronic control unit for the advanced driver assistance systems / autonomous driving domain.
  • Objects in an environment of the automated driving system include other driving systems, vehicles, bicycles, pedestrians and other road users.
  • the environment includes the space around the automated driving system, which can act on a trajectory or predicted trajectory.
  • the evaluation units include programmable electronic circuits comprising logic units.
  • the arithmetic units execute machine commands from a computer program.
  • the arithmetic units include arithmetic-logic units, central processors, graphics processors, multi-core processors, ICs, ASICs, FPGAs and other logic and / or programmable microelectronic systems.
  • the evaluation units comprise internal and / or external memories which store the machine commands, and a bus system for data exchange with the computing units and peripheral devices.
  • the memory is a double data rate synchronous dynamic RAM, DDR SDRAM for short, memory.
  • the memory is preferably a low power DDR SDRAM memory.
  • the first machine commands include, for example, commands for executing a machine learning algorithm.
  • the first arithmetic unit is optimized, for example, to execute machine learning algorithms.
  • the first arithmetic unit comprises a graphics processor with a microarchitecture for parallel processing and / o the hardware accelerator for machine learning.
  • Machine learning is a technology that teaches computers and other data processing devices to perform tasks by learning from data, rather than being programmed for the tasks.
  • the machine learning algorithm is, for example, a convolution network that is trained in semantic image recognition. This means that false negatives can be further minimized.
  • the convolution network is advantageously a recurrent convolution network, that is to say a convolution network with recurrent layers, for example LSTM units, which are long short-term memory units.
  • the second machine instructions comprise instructions for executing a deterministic algorithm.
  • This algorithm is robust and can preferably be interpreted by a human.
  • this algorithm implements methods from multi-camera geometry to refute an object hypothesis.
  • these geometry-based approaches are supported by geometrical findings from lidar or with the help of structured light.
  • Object hypotheses include assumptions that there is a certain probability that an object is in a recognized area of the surroundings detection sensors.
  • False positives and false negatives describe existential uncertainties, that is, the uncertainty as to whether an object recognized by the environment detection sensors and taken over into the environment representation actually exists. In the case of false positives, an object is recognized although it actually does not exist. For example, a shadow falling on a roadway is recognized as a tire. In the case of false negatives, an object is not recognized even though it actually exists.
  • the second list is optimized against false positives, namely by the evaluation of the second evaluation unit, and against false negatives, namely by the evaluation of the first evaluation unit.
  • the second stage must not refute any objects either, which would also result in a false-negative event.
  • the invention provides a system for recognizing objects in an environment of an automated driving system.
  • the system comprises first and second surroundings detection sensors and a device according to the invention.
  • the first environment detection sensors are with a first Evaluation unit of the device and the second environment detection sensors with a second evaluation unit of the device each connected to transmit signals.
  • the device is designed to determine regulation and / or control signals as a function of the results of a second arithmetic unit of the device and to provide the regulation and / or control signals to actuators of the automated driving system for longitudinal and / or lateral guidance.
  • the first evaluation unit, the first environment detection sensors and the first arithmetic unit form a first subsystem.
  • the second evaluation unit, the second field detection sensors and the second arithmetic unit form a second subsystem.
  • the hypothesis and / or the object is discarded directly in the second subsystem.
  • this stage is instructed to reject this hypothesis.
  • first and second subsystems are linked in parallel or in series.
  • first environment detection sensors can be integrated into the analysis logic of the second subsystem.
  • the second subsystem can be fed back to a multi-hypothesis stage for object formation and / or object tracking of the first subsystem, in particular the second evaluation unit is fed back to the first evaluation unit.
  • the invention provides a method for recognizing objects in an environment of an automated driving system.
  • the method comprises the steps
  • a device according to the invention or a system according to the invention is used to carry out the method.
  • the method is computer implemented.
  • Computer-implemented means that the steps of the method are carried out by a data processing device, for example a computer, a computing system or parts thereof.
  • the first arithmetic unit tracks the objects by executing the first machine commands
  • the first evaluation unit provides the follow-ups in the first list
  • the second evaluation unit evaluates the follow-ups.
  • the machine commands include commands for executing a tracking algorithm.
  • follow-ups allow an integrated object-specific existence estimation.
  • the first arithmetic unit forms multi-hypotheses for recognizing and / or tracking the objects by executing the first machine commands
  • the first evaluation unit provides the multi-hypotheses in the first list
  • the second evaluation unit evaluates the multi-hypotheses.
  • alternative hypotheses are also evaluated and not aggressively decimated. This further minimizes false negatives.
  • the objects are recognized in cycles and the second evaluation unit verifies and / or falsifies the object hypotheses and / or false-positive objects several times per cycle of the first evaluation unit.
  • the detection of the objects takes place, for example, in 40 Hz cycles of the first environment detection sensors.
  • the second environment detection sensors have a higher repetition speed or timing. For example, several tens to hundreds of checks per object hypothesis take place per cycle of object recognition, for example with a radiation sensor of the second surroundings detection sensors, for example a lidar. This is achieved, for example, by a controlled control of the beams of the radiation sensor.
  • the second evaluation unit is designed to verify the object hypotheses and / or false-positive objects by means of three-dimensional structure estimation and / or geometric consistency based on fields of view of various of the second and / or first surroundings detection sensors to falsify.
  • the high level of robustness against false positives is also achieved at the level of the second evaluation unit.
  • Three-dimensional structure estimation is achieved, for example, by means of time-of-flight sensors. This allows free room volumes to be determined.
  • the device comprises a third evaluation unit.
  • the third evaluation unit executes third machine commands in order to determine a hazard for each of the objects, the object hypotheses and / or the false-positive objects of the first list.
  • the objects, the object hypotheses and / or the false-positive objects are prioritized by executing the third machine commands and a prioritized first list with the prioritized objects, object hypotheses and / or false-positive-ob- projects of the second evaluation unit provided.
  • the second evaluation unit verifies and / or falsifies the object hypotheses and / or false-positive objects based on the prioritization.
  • the third evaluation unit thus determines a ranking for the sequence in which the first list of the first evaluation unit is checked by the second evaluation unit.
  • the first and / or second environment detection sensors operate in a plurality of wavelength ranges. This compensates for weaknesses in perception.
  • lidar sensors of the second environment sensing sensors work in two different lidar wavelength spectra. This allows you to look through fog, for example.
  • virtual false-positive objects are intentionally created in the first object level.
  • the efficiency of the falsification can be continuously checked through the rate of refuted virtual objects.
  • Fig. 1 an example of an environment
  • FIG. 2 shows a first image of the environment from FIG. 1 from the first evaluation unit according to the invention
  • FIG. 3 shows a second image of the first image from FIG. 2 of the second evaluation unit according to the invention
  • FIG. 6 shows a further exemplary embodiment of a device according to the invention.
  • FIG. 7 shows a schematic representation of the method according to the invention.
  • the environment U includes several objects 1, 2, 3, for example a vehicle 1, a bicycle 2 and two pedestrians.
  • FIG. 2 shows a first image of the surroundings U from a first evaluation unit 002.
  • This first image is provided, for example, as a first list via the first output interface of the first evaluation unit 002.
  • the first image includes objects 1, 2, 3 from the surrounding area and is therefore robust against false negatives.
  • the first image includes object hypotheses, for example another vehicle, another bicycle and another pedestrian.
  • 3 shows a second image of the first image.
  • This second image is provided, for example, as a second list via the second output interface of the second evaluation unit 004.
  • the second image includes objects 1, 2, 3 from the surrounding area. The false positives of the first image were falsified.
  • the device shown in FIG. 4 comprises the first evaluation unit 002.
  • the first evaluation unit 002 is connected to transmit signals to first surroundings detection sensors 001a, 001b, 001c.
  • the first surroundings detection sensor 001a is, for example, a camera.
  • the first surroundings detection sensor 001b is, for example, a lidar.
  • the first surroundings detection sensor 001c is, for example, a radar.
  • the first evaluation unit 002 comprises a first arithmetic unit 002a.
  • the first arithmetic unit 002a generates a first list with objects 1, 2, 3, object hypotheses and false-positive objects recognized by the first surroundings detection sensors 001a, 001b, 001c.
  • the first list is made available to the second evaluation unit 004.
  • the second evaluation unit 004 is connected to transmit signals to second surroundings detection sensors 003a, 003b, 003c.
  • the second surroundings detection sensor 003a is, for example, a camera.
  • the second surroundings detection sensor 003b is, for example, a lidar.
  • the second surroundings detection sensor 003c is, for example, a radar.
  • the second evaluation unit 004 comprises a second arithmetic unit 004a.
  • the second arithmetic unit 004a generates a second list based on the first list and the evaluated signals of the second surroundings detection sensors 003a, 003b, 003c.
  • the second list is robust against false positives and false negatives.
  • FIG. 5 essentially shows the exemplary embodiment of FIG. 4.
  • the second evaluation unit 004 is fed back to the first evaluation unit 002.
  • the feedback is a feedback path for multi-object hypotheses formation and / or tracking of the first evaluation unit 002.
  • Fig. 6 shows the embodiment of Fig.5 with an additional third evaluation unit 005.
  • the third evaluation unit 005 determines a ranking for the order of the objects 1, 2, 3 as a function of a hazard potential of the objects 1, 2, 3 Checking the first list of the first evaluation unit 002 by the second evaluation unit 004. For example, pedestrians are prioritized over cyclists and cyclists are prioritized over vehicles.
  • a method step V1 properties of the objects 1, 2, 3 are recognized, for example speed and whether the object is a vehicle, a pedestrian or a cyclist.
  • object hypotheses are formed to minimize the false-negative rate.
  • a method step V3 the recognized objects 1, 2, 3 and the object hypotheses are checked.
  • the device according to the invention is used, for example, to carry out the method.
  • the object recognition and hypothesis formation are carried out by the first evaluation unit 002.
  • the checking is carried out by the second evaluation unit 004.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Vorrichtung zur Erkennung von Objekten (1, 2, 3) in einem Umfeld (U) eines automatisierten Fahrsystems umfassend eine erste Auswerteeinheit (002) zur Objekterkennung und zur Bildung von Objekt-Hypothesen und eine zweite Auswerteeinheit (004) zur Verifikation und/oder Falsifikation der Objekt-Hypothesen und/oder Falsch-Positiv-Objekten. Die Erfindung betrifft ferner ein System und ein Verfahren zur Erkennung von Objekten in einem Umfeld eines automatisierten Fahrsystems.

Description

Vorrichtung, System und Verfahren zur Erkennung von Objekten in einem Umfeld ei nes automatisierten Fahrsvstems
Die Erfindung bezieht sich auf eine Vorrichtung, ein System und Verfahren zur Er kennung von Objekten in einem Umfeld eines automatisierten Fahrsystems
Bei Fahrerassistenzsystemen und autonomen Fahrfunktionen und Fahrsystemen wird eine hohe Robustheit gegen Fehler gefordert. Speziell Falsch-Negative und Falsch-Positive führen zu kritischen Fehlern in der Umfeld-Erkennung und folglich auch zu kritischen Fehlern bei der Fahrfunktion.
Die DE 10 2016 012 345 A1 ein Verfahren zum Erkennen von Objekten im Umfeld eines Fahrzeuges, wobei mittels Kameradaten Objekthypothesen erhalten werden und mittels eines Lidarsensors Falsch-Positive verworfen werden.
Aufgabe der Erfindung ist es, ein Sensor-System zur robusten Erkennung des Umfel des bereitzustellen, das optimiert ist gegen Falsch-Positive und Falsch-Negative.
Die Erfindung löst diese Aufgabe durch eine Trennung der Funktionalitäten zwischen einer Objekterkennung, einer daraus erstellten Hypothese und einer darauffolgenden Hypothesen-Überprüfung. Konkret wird eine Objekterkennungsstufe, welche rele vante Objekteigenschaften, beispielsweise Größe, Klasse, Geschwindigkeit, Position, erkennt, gepaart mit einer nachgelagerten Hypothesen-Überprüfungs-Stufe, welche keine Objekteigenschaften schätzt oder bewertet, sondern nur überprüft, ob ein Ob jekt tatsächlich existiert. Nach einem Aspekt der Erfindung werden aber auch ge schätzte Objekteigenschaften zur Existenzprüfung herangezogen.
Gemäß einem Aspekt stellt die Erfindung eine Vorrichtung zur Erkennung von Objek ten in einem Umfeld eines automatisierten Fahrsystems bereit. Die Vorrichtung um fasst eine erste Auswerteeinheit. Die erste Auswerteeinheit umfasst erste Eingangs schnittstellen zu ersten Umfelderfassungssensoren des automatisierten Fahrsys tems, um erste Signale der ersten Umfelderfassungssensoren zu erhalten. Ferner umfasst die erste Auswerteeinheit wenigstens ein erstes Rechenwerk, das erste Maschinenbefehle ausführt zur Erkennung der Objekte und zum Bilden von Objekt- Hypothesen, wobei für jeden der ersten Umfelderfassungssensoren oder für jede Kombination der ersten Umfelderfassungssensoren die Erkennung und/oder die Bil dung der Objekt-Hypothesen separat erfolgt zur Minimierung einer Falsch-Negativ- Rate. Außerdem umfasst die erste Auswerteeinheit eine erste Ausgangsschnittstelle, um eine erste Liste umfassend die Objekte, die Objekt-Hypothesen und Falsch-Posi- tiv-Objekte bereitzustellen. Die Vorrichtung umfasst des Weiteren eine zweite Aus- werteeinheit. Die zweite Auswerteeinheit umfasst zweite Eingangsschnittstellen zu zweiten Umfelderfassungssensoren des automatisierten Fahrsystems, um zweite Signale der zweiten Umfelderfassungssensoren zu erhalten. Ferner umfasst die zweite Auswerteeinheit wenigstens ein zweites Rechenwerk, das zweite Maschinen befehle ausführt, um in Abhängigkeit der zweiten Signale und der ersten Liste die Objekt-Hypothesen zu verifizieren und/oder Falsch-Positiv-Objekte zu falsifizieren.
Die zweite Auswerteeinheit umfasst außerdem eine zweite Ausgangsschnittstelle, um eine zweite Liste umfassend Ergebnisse des zweiten Rechenwerks bereitzustellen.
Durch die Trennung der Funktionalitäten der Objekterkennung und Existenzüberprü fung, das heißt durch Bereitstellen der ersten Auswerteeinheit zur Objekterkennung und der zweiten Auswerteeinheit zur Existenzüberprüfung, können hochspezifische Systeme oder Teilsysteme, eben die erste Auswerteeinheit und die zweite Auswer teeinheit, genutzt werden, die auf ihre Aufgabe optimiert sind. Es muss kein „Ein-Sys- tem-für-Alles“ genutzt werden, in dem die Optimierung gegen widersprüchliche Ziele notwendig wäre. Dadurch wird die Ausführung besser, modularer und günstiger aus geführt.
Der Gegenstand der Erfindung ist inhärent modular und erweiterbar, da sowohl in der Objekterkennungsstufe, das ist die erste Auswerteeinheit, als auch in der Hypothe- sen-Überprüfungsstufe, das ist die zweite Auswerteeinheit, zusätzliche Methoden zur Erkennung bzw. zur Hypothesenprüfung inkorporiert werden können ohne die bereits bestehenden Komponenten verwerfen zu müssen. Nach einem Aspekt der Erfindung werden diese verschiedenen Methoden in der ersten, besonders aber in der zweiten Auswerteeinheit in Ensembles, wie zum Beispiel Kaskaden oder Komitees, kombi niert. Die zweite Stufe der Vorrichtung, das ist die zweite Auswerteeinheit, gibt final eine Objektliste oder Vergleichbares heraus, die optimiert ist gegen Falsch-Positive, näm lich durch die zweite Auswerteeinheit, und Falsch-Negative, nämlich durch die erste Auswerteeinheit. Dabei ist die zweite Stufe ausgeführt, keine real existierenden Ob jekte fälschlicherweise zu widerlegen.
Die ersten Umfelderfassungssensoren sind auf hohe Sensitivität optimiert, um robust gegen Falsch-Negative zu sein. Die zweiten Umfelderfassungssensoren sind opti miert zur Hypothesenprüfung. Die Aufgabe der zweiten Umfelderfassungssensoren ist es, die von der ersten Auswerteeinheit bereitgestellten Objekte zu falsifizieren, sollten diese Falsch-Positive sein. Die ersten und zweiten Umfelderfassungssenso ren umfassen Kamera, Radar, Lidar, Ultraschall, Mikrophone, time-of-flight-Sensoren und Laser-Lichtschranken. Prinzipiell können die Sensortechnologien der ersten Um felderfassungssensoren auch für die zweiten Umfelderfassungssensoren verwendet werden und umgekehrt. Ein weiterer Aspekt der Erfindung umfasst eine Sensorik, welche aktiv ihren eigenen Input verändert, um Hypothesen überprüfen zu können, beispielsweise aktiv bewegte (sakkadierende) Kameras oder aktiv ausgerichtete Li- dare.
Die Vorrichtung ist beispielsweise ein Sensorsignalverarbeitungsmodul mit Eingangs schnittstellen, um Signale der Umfelderfassungssensoren zu erhalten, Auswerteein heiten, die die Signale auswerten, und Ausgangsschnittstellen, die die ausgewerte ten Signale, beispielsweise in Form von Regelungs- und/oder Steuerungssignalen, Aktoren des Fahrzeuges bereitstellen, beispielsweise zur automatisierten/autonomen Längs- und/oder Querführung. Längsführung wird beispielsweise geregelt über An- triebsmomentenregelung, zum Beispiel über elektronische Motorleistungssteuerung, und/oder Bremsmomentenregelung. Querführung regelt die Querdynamik des Fahr zeuges, zum Beispiel Spur- und/oder Richtungstreue, Lenkmanöver und/oder Gier geschwindigkeit.
Die Erfindung ist nicht eingeschränkt auf automatisierte oder autonome Fahrzeuge. Der Geltungsbereich der Erfindung erstreckt sich auf automatisierte Fahrsysteme. Automatisierte Fahrsysteme umfassen alle automatisierten und autonomen Systeme, bei denen ein unsicherheitsbehaftete Wahrnehmungsleistung erbracht werden muss und bei denen Fehl- oder Falschwahrnehmung vermieden werden muss. Neben den hier beschriebenen Fahrzeugen umfassen automatisierte Fahrsysteme Servicerobo ter, Drohnen und Roboter mit Beinen.
Automatisiert betreibbare Fahrzeuge, beispielsweise mit Verbrennungsmotor, elektri schem Antrieb, Hybridelektrofahrzeuge oder Brennstoffzellenfahrzeuge, vorzugs weise Straßenfahrzeuge mit einer dieser Antriebstechnologien, umfassen eine tech nische Ausrüstung, um das Fahrzeug zur Bewältigung von Fahreraufgaben zu steu ern. Nach einem Aspekt wird die Erfindung für Fahrfunktionen der Stufen SAE J3016 Level 2 bis Level 5 eingesetzt. Beispielsweise ist die Vorrichtung eine ADAS/AD Do main ECU, das heißt eine electronic control unit für die Domain advanced driver as- sistance systems/autononomous driving.
Objekte in einem Umfeld des automatisierten Fahrsystems umfassen weitere Fahr systeme, Fahrzeuge, Fahrräder, Fußgänger und weitere Verkehrsteilnehmer. Das Umfeld umfasst den Raum um das automatisierte Fahrsystem, der auf eine Trajekto- rie oder prädizierte Trajektorie einwirken kann.
Die Auswerteeinheiten umfassen programmierbare elektronische Schaltungen um fassend Logikeinheiten.
Die Rechenwerke führen Maschinenbefehle eines Computerprogramms aus. Die Re chenwerke umfassen arithmetisch-logische Einheiten, Zentralprozessoren, Graphik prozessoren, Mehrkernprozessoren, ICs, ASICs, FPGAs und weitere logische und/o der programmierbare mikroelektronische Systeme. Die Auswerteeinheiten umfassen nach einem Aspekt der Erfindung interne und/oder externe Speicher, die die Maschi nenbefehle speichern, und ein Bussystem für einen Datenaustausch mit den Re chenwerken und Peripheriegeräten. Beispielsweise ist der Speicher ein double data rate synchronous dynamic RAM, abgekürzt DDR SDRAM, Speicher. Bevorzugt ist der Speicher ein low power DDR SDRAM Speicher. Die ersten Maschinenbefehle umfassen beispielsweise Befehle zum Ausführen eines Maschinenlernalgorithmus. Das erste Rechenwerk ist beispielsweise optimiert, Ma schinenlernalgorithmen auszuführen. Beispielsweise umfasst das erste Rechenwerk einen Graphikprozessor mit einer Mikroarchitektur für paralleles Prozessieren und/o der Hardware-Beschleuniger für maschinelles Lernen. Maschinelles Lernen ist eine Technologie, die Computern und anderen Datenverarbeitungsvorrichtungen die Aus führung von Aufgaben durch Lernen aus Daten lehrt, anstatt für die Aufgaben pro grammiert zu werden. Der Maschinenlernalgorithmus ist beispielsweise ein Faltungs netzwerk, das auf semantische Bilderkennung trainiert ist. Damit können Falsch-Ne gative weiter minimiert werden. Hinsichtlich Nachverfolgung von Objekten, auch Tra cking genannt, ist das Faltungsnetzwerk vorteilhafterweise ein rekurrentes Faltungs netzwerk, das heißt ein Faltungsnetzwerk mit rekurrenten Schichten, beispielsweise LSTM-Einheiten, das sind Long Short-Term Memory Einheiten.
Die zweiten Maschinenbefehle umfassen nach einem Aspekt der Erfindung Befehle zum Ausführen eines deterministischen Algorithmus. Dieser Algorithmus ist robust und vorzugsweise von einem Menschen interpretierbar. Beispielsweise implementiert dieser Algorithmus Methoden aus der Multi-Kamera-Geometrie, um eine Objekthypo these zu widerlegen. Beispielsweise werden diese geometriebasierten Ansätze durch geometrische Erkenntnisse aus Lidar oder mithilfe von strukturiertem Licht unter stützt.
Objekt-Hypothesen umfassen Vermutungen, dass in einem erkannten Bereich der Umfelderfassungssensoren mit einer bestimmten Wahrscheinlichkeit ein Objekt ist.
Dass für jeden der ersten Umfelderfassungssensoren die Erkennung und/oder die Bildung der Objekt-Hypothesen separat erfolgt, bedeutet, dass keine Fusion der ers ten Signale durchgeführt wird. Dies ist ein Unterschied zu aus dem Stand der Tech nik bekannten Objekterkennungsverfahren, bei denen aus Gründen der Redundanz und Plausibilität Sensorsignale fusioniert werden. Im Gegensatz dazu wird durch den Gegenstand der Erfindung ein Voting ausgeführt. Das Votieren oder eine verwandte Ensemblemethode findet über Objekthypothesen statt, welche auf Einzelsensoren sowie auf Sensorfusion basieren. Bei n Sensoren können n Einzelsensoren herangezogen werden. Für jede k-Fusion mit k<=n über den n Sensoren können the oretisch n über k Hypothesen gebildet werden. Das folgende Beispiel ist nur für Ein zelsensoren formuliert, kann aber natürlich durch beliebige Fusionspaare, zum Bei spiel k=2, Kamera-Lidar, erweitert werden. Beispielsweise umfassen die ersten Um felderfassungssensoren eine Kamera, ein Lidar und einen Radar. In einer Szene er kennt der Radar ein Objekt. Die Kamera und der Lidar erkennen kein Objekt. Eine Fusion der Kamera-, Lidar- und Radar-Daten würde kein Objekt ausgegeben. Damit könnte aber ein Falsch-Negativ entstehen, falls das Objekt tatsächlich existiert. Erfin dungsgemäß wird aber ein Objekt ausgegeben, sobald dieses auch nur von einem Umfelderfassungssensor erkannt wurde. Damit wird die Falsch-Negativ -Rate mini miert. Nach einem Aspekt der Erfindung gibt die erste Auswerteeinheit in der ersten Liste auch dann ein Objekt aus, wenn relativ wenige Pixel eines Kamera-, Lidar- oder Radarsensors ein Signal liefern. Damit wird eine sichere Schwelle erreicht und die Falsch-Negativ-Rate weiter minimiert. Falls das Objekt tatsächlich nicht existiert, wird damit zwar die Anzahl an Falsch-Positiven-Objekten erhöht. Diese werden aber von der zweiten Auswerteeinheit widerlegt.
Falsch-Positive und Falsch-Negative beschreiben Existenzunsicherheiten, das heißt die Unsicherheit darüber, ob ein von den Umfelderfassungssensoren erkanntes und in die Umfeldrepräsentation übernommenes Objekt überhaupt real existiert. Bei Falsch-Positiven wird ein Objekt erkannt, obwohl es tatsächlich nicht existiert. Bei spielsweise wird ein auf eine Fahrbahn fallender Schatten als ein Reifen erkannt. Bei Falsch-Negativen wird ein Objekt nicht erkannt, obwohl es tatsächlich existiert.
Die zweite Liste ist optimiert gegen Falsch-Positive, nämlich durch die Auswertung der zweiten Auswerteeinheit, und gegen Falsch-Negative, nämlich durch die Auswer tung der ersten Auswerteeinheit. Die zweite Stufe darf auch keine Objekte falsch wi derlegen, dadurch würde auch ein Falsch-Negativ Ereignis entstehen.
Gemäß einem weiteren Aspekt stellt die Erfindung ein System zur Erkennung von Objekten in einem Umfeld eines automatisierten Fahrsystems bereit. Das System umfasst erste und zweite Umfelderfassungssensoren und eine erfindungsgemäße Vorrichtung. Die ersten Umfelderfassungssensoren sind mit einer ersten Auswerteeinheit der Vorrichtung und die zweiten Umfelderfassungssensoren mit ei ner zweiten Auswerteeinheit der Vorrichtung jeweils Signal übertragend verbunden. Die Vorrichtung ist ausgeführt, in Abhängigkeit von Ergebnissen eines zweiten Re chenwerks der Vorrichtung Regel- und/oder Steuerungssignale zu bestimmen und die Regel- und/oder Steuerungssignale Aktuatoren des automatisierten Fahrsystems für eine Längs- und/oder Querführung bereitzustellen.
Die erste Auswerteeinheit, die ersten Umfelderfassungssensoren und das erste Re chenwerk bilden ein erstes Teilsystem. Die zweite Auswerteeinheit, die zweiten Um felderfassungssensoren und das zweite Rechenwerk bilden ein zweites Teilsystem. Je nach Systemdesign wird bei der Falsifikation einer Objektexistenzhypothese die Hypothese und/oder das Objekt direkt in dem zweiten Teilsystem verworfen. Für den Fall, dass das erste Teilsystem eine Multihypothesen-Objektnachverfolgungsstufe enthält, wird diese Stufe instruiert, diese Hypothese zu verwerfen.
Nach einem Aspekt der Erfindung werden verschiedene Topologien des ersten und zweiten Teilsystems parallel oder seriell verknüpft. Ferner können die ersten Umfel derfassungssensoren in die Analyselogik des zweiten Teilsystems eingebunden wer den. Außerdem kann das zweite Teilsystem rückgekoppelt werden zu einer Multihy pothesenstufe zur Objektbildung und/oder Objektnachverfolgung des ersten Teilsys tems, insbesondere wird die zweite Auswerteeinheit rückgekoppelt zu der ersten Auswerteeinheit.
Gemäß einem weiteren Aspekt stellt die Erfindung ein Verfahren zur Erkennung von Objekten in einem Umfeld eines automatisierten Fahrsystems bereit. Das Verfahren umfasst die Schritte
• Erkennen von Eigenschaften der Objekte,
• Bilden von Objekt-Hypothesen und
• Überprüfen der erkannten Objekte und der Objekt-Hypothesen.
Zur Durchführung des Verfahrens wird eine erfindungsgemäße Vorrichtung oder ein erfindungsgemäßes System verwendet. Das Verfahren ist nach einem Aspekt der Erfindung computerimplementiert. Compu terimplementiert bedeutet, dass die Schritte des Verfahrens von einer Datenverarbei tungsvorrichtung, beispielsweise einem Computer, einem Rechensystem oder Teilen davon, ausgeführt werden.
Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
In einer Ausgestaltung der Erfindung verfolgt das erste Rechenwerk durch Ausfüh rung der ersten Maschinenbefehle die Objekte nach, die erste Auswerteeinheit stellt die Nachverfolgungen in der ersten Liste bereitstellt und die zweite Auswerteeinheit wertet die Nachverfolgungen aus. Beispielsweise umfassen die Maschinenbefehle Befehle zur Ausführung eines Trackingalgorithmus. Nachverfolgungen erlauben eine integrierte objektspezifische Existenzschätzung.
In einer weiteren Ausgestaltung der Erfindung bildet das erste Rechenwerk durch Ausführung der ersten Maschinenbefehle Multihypothesen zur Erkennung und/oder Nachverfolgung der Objekte, die erste Auswerteeinheit stellt die Multihypothesen in der ersten Liste bereit und die zweite Auswerteeinheit wertet die Multihypothesen aus. Erfindungsgemäß werden also alternative Hypothesen mit ausgewertet und nicht aggressiv dezimiert. Damit werden Falsch-Negative weiter minimiert.
In einer weiteren Ausgestaltung der Erfindung erfolgt die Erkennung der Objekte in Zyklen und die zweite Auswerteeinheit verifiziert und/oder falsifiziert pro Zyklus der ersten Auswerteeinheit mehrmals die Objekt-Hypothesen und/oder Falsch-Positiv- Objekte. Damit wird eine hohe Robustheit gegen Falsch-Positive auf Sensorebene erreicht. Die Erkennung der Objekte erfolgt beispielsweise in 40Hz Zyklen der ersten Umfelderfassungssensoren. Die zweiten Umfelderfassungssensoren besitzen eine höhere Wiederholungsgeschwindigkeit oder Taktung. Zum Beispiel finden pro Zyklus der Objekterkennung mehrere zehn bis hundert Überprüfungen pro Objekt-Hypo these statt, beispielsweise mit einem Strahlensensor der zweiten Umfelderfassungs sensoren, beispielsweise einem Lidar. Dies wird beispielsweise erreicht durch eine kontrollierte Steuerung der Strahlen des Strahlensensors. In einer weiteren Ausgestaltung der Erfindung ist die zweite Auswerteeinheit ausge führt, mittels dreidimensionaler Strukturschätzung und/oder geometrischer Konsis tenz basierend auf Sichtfeldern verschiedener der zweiten und/oder ersten Umfelder fassungssensoren die Objekt-Hypothesen zu verifizieren und/oder Falsch-Positiv-Ob- jekte zu falsifizieren. Damit wird die hohe Robustheit gegen Falsch-Positive alternativ oder zusätzlich zur Sensorebene auch auf der Ebene der zweiten Auswerteeinheit erreicht. Dreidimensionale Strukturschätzung wird beispielsweise mittels time-of- flight-Sensoren erreicht. Damit können freie Raumvolumina bestimmt werden.
In einer weiteren Ausgestaltung der Erfindung umfasst die Vorrichtung eine dritte Auswerteeinheit. Die dritte Auswerteeinheit führt dritte Maschinenbefehle aus, um für die Objekte, die Objekt-Hypothesen und/oder die Falsch-Positiv-Objekte der ersten Liste jeweils eine Gefährlichkeit zu bestimmen. In Abhängigkeit der Gefährlichkeit werden durch Ausführung der dritten Maschinenbefehle die Objekte, die Objekt-Hy pothesen und/oder die Falsch-Positiv-Objekte priorisiert und eine priorisierte erste Liste mit den priorisierten Objekten, Objekt-Hypothesen und/oder Falsch-Positiv-Ob- jekten der zweiten Auswerteeinheit bereitgestellt. Die zweite Auswerteeinheit verifi ziert und/oder falsifiziert basierend auf der Priorisierung die Objekt-Hypothesen und/oder Falsch-Positiv-Objekte. Damit ermittelt die dritte Auswerteeinheit eine Rangordnung für die Reihenfolge der Überprüfung der ersten Liste der ersten Aus werteeinheit durch die zweite Auswerteeinheit.
In einer weiteren Ausgestaltung der Erfindung arbeiten die ersten und/oder zweiten Umfelderfassungssensoren in mehreren Wellenlängenbereichen. Damit werden Wahrnehmungsschwächen ausgeglichen. Beispielsweise arbeiten Lidarsensoren der zweiten Umfelderfassunssensoren in zwei verschiedenen Lidar-Wellenlängenspek- tren. Dadurch kann zum Beispiel durch Nebel geschaut werden.
In einer weiteren Ausführung werden in der ersten Objektstufe absichtlich virtuelle falsch-positive Objekte. Durch die Rate der widerlegten virtuellen Objekte kann die Effizienz des Falsifizierens laufend überprüft werden. Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
Fig.1 ein Beispiel eines Umfeldes,
Fig. 2 ein erstes Abbild des Umfeldes aus Fig. 1 von der erfindungsgemäßen ersten Auswerteeinheit,
Fig. 3 ein zweites Abbild des ersten Abbildes aus Fig. 2 von der erfindungsgemäßen zweiten Auswerteeinheit,
Fig. 4 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung,
Fig. 5 ein weiteres Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung,
Fig. 6 ein weiteres Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und
Fig. 7 eine schematische Darstellung des erfindungsgemäßen Verfahrens.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils rele vanten Bezugsteile hervorgehoben.
Fig. 1 zeigt ein Umfeld U eines Fahrzeuges, wie es real existiert. Das Umfeld U um fasst mehrere Objekte 1 , 2, 3, beispielsweise ein Fahrzeug 1 , ein Fahrrad 2 und zwei Fußgänger.
Fig. 2 zeigt ein erstes Abbild des Umfeldes U von einer ersten Auswerteeinheit 002. Dieses erste Abbild wird beispielsweise als erste Liste über die erste Ausgangs schnittstelle der ersten Auswerteeinheit 002 bereitgestellt. Das erste Abbild umfasst die Objekte 1 , 2, 3 aus dem Umfeld, ist also robust gegen Falsch-Negative. Zusätz lich umfasst das erste Abbild Objekthypothesen, beispielsweise ein weiteres Fahr zeug, ein weiteres Fahrrad und einen weiteren Fußgänger. Fig. 3 zeigt ein zweites Abbild des ersten Abbildes. Dieses zweite Abbild wird bei spielsweise als zweite Liste über die zweite Ausgangsschnittstelle der zweiten Aus werteeinheit 004 bereitgestellt. Das zweite Abbild umfasst die Objekte 1 , 2, 3 aus dem Umfeld. Die Falsch-Positiven des ersten Abbildes wurden falsifiziert.
Die in Fig. 4 gezeigte Vorrichtung umfasst die erste Auswerteeinheit 002. Die erste Auswerteeinheit 002 ist Signal übertragend verbunden mit ersten Umfelderfassungs sensoren 001a, 001 b, 001c. Der erste Umfelderfassungssensor 001a ist beispiels weise eine Kamera. Der erste Umfelderfassungssensor 001 b ist beispielsweise ein Lidar. Der erste Umfelderfassungssensor 001c ist beispielsweise ein Radar. Die erste Auswerteeinheit 002 umfasst ein erstes Rechenwerk 002a. Das erste Rechen werk 002a erzeugt eine erste Liste mit von den ersten Umfelderfassungssenoren 001a, 001b, 001c erkannten Objekten 1 , 2, 3, Objekt-Hypothesen und Falsch-Positi- ven-Objekten.
Die erste Liste wird der zweiten Auswerteeinheit 004 bereitgestellt. Die zweite Aus werteeinheit 004 ist Signal übertragend verbunden mit zweiten Umfelderfassungs sensoren 003a, 003b, 003c. Der zweite Umfelderfassungssensor 003a ist beispiels weise eine Kamera. Der zweite Umfelderfassungssensor 003b ist beispielsweise ein Lidar. Der zweite Umfelderfassungssensor 003c ist beispielsweise ein Radar. Die zweite Auswerteeinheit 004 umfasst ein zweites Rechenwerk 004a. Das zweite Re chenwerk 004a erzeugt eine zweite Liste ausgehend von der ersten Liste und den ausgewerteten Signalen der zweiten Umfelderfassungssenoren 003a, 003b, 003c. Die zweite Liste ist robust gegen Falsch-Positive und Falsch-Negative.
Fig. 5 zeigt im Wesentlichen das Ausführungsbeispiel der Fig. 4. Im Unterschied zu Fig. 4 ist die zweite Auswerteeinheit 004 mit der ersten Auswerteeinheit 002 rückge koppelt. Die Rückkopplung ist ein Feedback Pfad für Multiobjekt-Hypothesen Bildung und/oder Nachverfolgung der ersten Auswerteeinheit 002.
Fig. 6 zeigt das Ausführungsbeispiel der Fig.5 mit einer zusätzlichen dritten Auswer teeinheit 005. Die dritte Auswerteeinheit 005 ermittelt in Abhängigkeit eines Gefähr dungspotentials der Objekte 1 , 2, 3 eine Rangordnung für die Reihenfolge der Überprüfung der ersten Liste der ersten Auswerteeinheit 002 durch die zweite Aus werteeinheit 004. Beispielsweise sind Fußgänger priorisiert zu Fahrradfahrer und Fahrradfahrer priorisiert zu Fahrzeugen.
Fig. 7 zeigt das erfindungsgemäße Verfahren. In einem Verfahrensschritt V1 werden Eigenschaften der Objekte 1, 2, 3 erkannt, beispielsweise Geschwindigkeit und ob das Objekt ein Fahrzeug, Fußgänger oder Fahrradfahrer ist. In einem Verfahrens schritt V2 werden Objekt-Hypothesen gebildet zur Minimierung der Falsch-Negativ- Rate. In einem Verfahrensschritt V3 werden die erkannten Objekte 1, 2, 3 und die Objekt-Hypothesen überprüft. Zur Durchführung des Verfahrens wird beispielsweise die erfindungsgemäße Vorrichtung verwendet. Die Objekterkennung und Hypothe senbildung erfolgt durch die erste Auswerteeinheit 002. Die Überprüfung erfolgt durch die zweite Auswerteeinheit 004.
Bezuqszeichen
1 Objekt
2 Objekt
3 Objekt U Umfeld
001a erster Umfelderfassungssensor 001b erster Umfelderfassungssensor 001c erster Umfelderfassungssensor 002 erste Auswerteeinheit 002a erstes Rechenwerk 003a zweiter Umfelderfassungssensor 003b zweiter Umfelderfassungssensor 003c zweiter Umfelderfassungssensor 004 zweite Auswerteeinheit 004a zweites Rechenwerk 005 dritte Auswerteeinheit F Rückkopplung V1 -V3 Verfahrensschritte

Claims

Patentansprüche
1. Vorrichtung zur Erkennung von Objekten (1, 2, 3) in einem Umfeld (U) eines auto matisierten Fahrsystems umfassend
• eine erste Auswerteeinheit (002), umfassend o erste Eingangsschnittstellen zu ersten Umfelderfassungssensoren (001a, 001b, 001c) des automatisierten Fahrsystems, um erste Signale der ersten Umfelderfassungssensoren (001a, 001b, 001c) zu erhalten, o wenigstens ein erstes Rechenwerk (002a), das erste Maschinenbefehle ausführt zur Erkennung der Objekte (1 , 2, 3) und zum Bilden von Ob jekt-Hypothesen, wobei für jeden der ersten Umfelderfassungssensoren (001a, 001b, 001c) oder für jede Kombination der ersten Umfelderfas sungssensoren (001a, 001b, 001c) die Erkennung und/oder die Bildung der Objekt-Hypothesen separat erfolgt zur Minimierung einer Falsch- Negativ-Rate, und o eine erste Ausgangsschnittstelle, um eine erste Liste umfassend die Objekte, die Objekt-Hypothesen und Falsch-Positiv-Objekte bereitzu stellen, und
• eine zweite Auswerteeinheit (004), umfassend o zweite Eingangsschnittstellen zu zweiten Umfelderfassungssensoren (003a, 003b, 003c) des automatisierten Fahrsystems, um zweite Sig nale der zweiten Umfelderfassungssensoren (003a, 003b, 003c) zu er halten, o wenigstens ein zweites Rechenwerk (004a), das zweite Maschinenbe fehle ausführt, um in Abhängigkeit der zweiten Signale und der ersten Liste die Objekt-Hypothesen zu verifizieren und/oder Falsch-Positiv-Ob jekte zu falsifizieren, und o eine zweite Ausgangsschnittstelle, um eine zweite Liste umfassend Er gebnisse des zweiten Rechenwerks (004a) bereitzustellen.
2. Vorrichtung nach Anspruch 1 , wobei das erste Rechenwerk (002a) durch Ausfüh rung der ersten Maschinenbefehle die Objekte (1 , 2, 3) nachverfolgt, die erste Auswerteeinheit (002) die Nachverfolgungen in der ersten Liste bereitstellt und die zweite Auswerteeinheit (004) die Nachverfolgungen auswertet.
3. Vorrichtung nach Anspruch 1 oder 2, wobei das erste Rechenwerk (002a) durch Ausführung der ersten Maschinenbefehle Multihypothesen zur Erkennung und/oder Nachverfolgung der Objekte (1 , 2, 3) bildet, die erste Auswerteeinheit (002) die Mul tihypothesen in der ersten Liste bereitstellt und die zweite Auswerteeinheit (004) die Multihypothesen auswertet.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, wobei die Erkennung der Objekte (1 , 2, 3) in Zyklen erfolgt und die zweite Auswerteeinheit (004) pro Zyklus der ersten Auswerteeinheit (002) mehrmals die Objekt-Hypothesen verifiziert und/oder Falsch- Positiv-Objekte falsifiziert.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, wobei die zweite Auswerteeinheit (004) ausgeführt ist, mittels dreidimensionaler Strukturschätzung und/oder geometri scher Konsistenz basierend auf Sichtfeldern verschiedener der zweiten (003a, 003b, 003c) und/oder ersten Umfelderfassungssensoren (001a, 001b, 001c) die Objekt-Hy pothesen zu verifizieren und/oder Falsch-Positiv-Objekte zu falsifizieren.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, umfassend eine dritte Auswer teeinheit (005), die dritte Maschinenbefehle ausführt, um für die Objekte (1 , 2, 3), die Objekt-Hypothesen und/oder die Falsch-Positiv-Objekte der ersten Liste jeweils eine Gefährlichkeit zu bestimmen, in Abhängigkeit der Gefährlichkeit die Objekte (1 , 2, 3), die Objekt-Hypothesen und/oder die Falsch-Positiv-Objekte zu priorisieren und eine priorisierte erste Liste mit den priorisierten Objekten (1 , 2, 3), Objekt-Hypothesen und/oder Falsch-Positiv-Objekten der zweiten Auswerteeinheit (004) bereitzustellen, wobei die zweite Auswerteeinheit (004) basierend auf der Priorisierung die Objekt- Hypothesen verifiziert und/oder Falsch-Positiv-Objekte falsifiziert.
7. Vorrichtung nach einem der Ansprüche 1 bis 6, wobei die ersten (001a, 001 b, 001c) und/oder zweiten Umfelderfassungssensoren (003a, 003b, 003c) in mehreren Wellenlängenbereichen arbeiten.
8. System zur Erkennung von Objekten (1 , 2, 3) in einem Umfeld eines automatisier ten Fahrsystems umfassend erste (001a, 001 b, 001c) und zweite Umfelderfassungs sensoren (003a, 003b, 003c) und eine Vorrichtung nach einem der Ansprüche 1 bis 7, wobei die ersten Umfelderfassungssensoren (001a, 001b, 001c) mit einer ersten Auswerteeinheit (002) der Vorrichtung und die zweiten Umfelderfassungssensoren (003a, 003b, 003c) mit einer zweiten Auswerteeinheit (004) der Vorrichtung jeweils Signal übertragend verbunden sind und die Vorrichtung ausgeführt ist, in Abhängig keit von Ergebnissen eines zweiten Rechenwerks (004a) der Vorrichtung Regel und/oder Steuerungssignale zu bestimmen und die Regel- und/oder Steuerungssig nale Aktuatoren des automatisierten Fahrsystems für eine Längs- und/oder Querfüh rung bereitzu stellen.
9. Verfahren zur Erkennung von Objekten (1 , 2, 3) in einem Umfeld eines automati sierten Fahrsystems umfassend die Schritte
• Erkennen von Eigenschaften der Objekte (V1 ),
• Bilden von Objekt-Hypothesen (V2) und
• Überprüfen der erkannten Objekte und der Objekt-Hypothesen (V3), wobei zur Durchführung des Verfahrens eine Vorrichtung nach einem der Ansprüche 1 bis 7 oder ein System nach Anspruch 8 verwendet wird.
EP21712064.1A 2020-03-24 2021-03-10 Vorrichtung, system und verfahren zur erkennung von objekten in einem umfeld eines automatisierten fahrsystems Withdrawn EP4128041A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203745.0A DE102020203745A1 (de) 2020-03-24 2020-03-24 Vorrichtung, System und Verfahren zur Erkennung von Objekten in einem Umfeld eines automatisierten Fahrsystems
PCT/EP2021/055999 WO2021190922A1 (de) 2020-03-24 2021-03-10 Vorrichtung, system und verfahren zur erkennung von objekten in einem umfeld eines automatisierten fahrsystems

Publications (1)

Publication Number Publication Date
EP4128041A1 true EP4128041A1 (de) 2023-02-08

Family

ID=74874812

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21712064.1A Withdrawn EP4128041A1 (de) 2020-03-24 2021-03-10 Vorrichtung, system und verfahren zur erkennung von objekten in einem umfeld eines automatisierten fahrsystems

Country Status (6)

Country Link
US (1) US20240208545A1 (de)
EP (1) EP4128041A1 (de)
CN (1) CN115176287A (de)
DE (1) DE102020203745A1 (de)
IL (1) IL296266A (de)
WO (1) WO2021190922A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022000257A1 (de) 2022-01-25 2022-05-19 Daimler Ag Verfahren zur Umgebungserfassung für ein Fahrzeug
EP4261105A1 (de) 2022-04-13 2023-10-18 Bayerische Motoren Werke Aktiengesellschaft Planen von trajektorien für ein automatisiertes fahrzeug

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013201545A1 (de) * 2013-01-30 2014-07-31 Bayerische Motoren Werke Aktiengesellschaft Erstellen eines Umfeldmodells für ein Fahrzeug
DE102016012345A1 (de) 2016-10-14 2017-05-04 Daimler Ag Verfahren zum Erkennen von Objekten
US10386792B2 (en) * 2016-10-19 2019-08-20 Ants Technology (Hk) Limited Sensory systems for autonomous devices
DE102017218438A1 (de) * 2017-10-16 2019-04-18 Robert Bosch Gmbh Verfahren und System zum Betreiben eines Fahrzeugs
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
DE102018220024B3 (de) * 2018-11-22 2020-03-12 Audi Ag Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren

Also Published As

Publication number Publication date
WO2021190922A1 (de) 2021-09-30
DE102020203745A1 (de) 2021-09-30
CN115176287A (zh) 2022-10-11
US20240208545A1 (en) 2024-06-27
IL296266A (en) 2022-11-01

Similar Documents

Publication Publication Date Title
EP2951804B1 (de) Erstellen eines umfeldmodells für ein fahrzeug
DE102020214283A1 (de) Vorrichtung zur erkennung von hindernissen, fahrzeugsystem mit dieser und verfahren dafür
DE102020110392A1 (de) Vorrichtung zum ermitteln eines spurwechselpfads eines autonomen fahrzeugs und verfahren dafür
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
WO2020078727A1 (de) Verfahren und system zum bestimmen eines umfeldmodells für ein fahrzeug
WO2024041833A1 (de) Visuelle wahrnehmung mit einem fahrzeug basierend auf einem kamerabild und einer ultraschallkarte
EP3945338A2 (de) Signalverarbeitungspfad, vorrichtung zur umfelderkennung und verfahren zur validierung eines automatisiert betreibbaren fahrsystems
DE102017108248A1 (de) Strassenmerkmalserkennung mit einem fahrzeugkamerasystem
EP4128041A1 (de) Vorrichtung, system und verfahren zur erkennung von objekten in einem umfeld eines automatisierten fahrsystems
DE102017128082A1 (de) Meta-Architektur-Design für ein CNN-Netzwerk
DE102024100521A1 (de) Bildgestützte generierung von beschreibenden und wahrnehmungs-nachrichten von automobilszenen
DE102022123499B3 (de) Computerimplementiertes Verfahren, Prozessorschaltung und Computerprogramm zum Prozessieren von aus einem Umgebungssensor empfangenen Messpunkten, insbesondere Radar-Messpunkten, für eine Objektdetektion sowie entsprechend ausgestattetes Kraftfahrzeug
DE102023125732A1 (de) Trainieren eines künstlichen neuronalen Netzwerks zum Durchführen einer Computer-Vision-Aufgabe
WO2022233721A1 (de) Detektion von schnittpunkten von fahrbahnmarkierungslinien
DE102021110056A1 (de) Automatische visuelle Wahrnehmung mit globaler Aufmerksamkeit
EP4293634B1 (de) Verfahren, prozessorschaltung und computerlesbares speichermedium zum durchführen einer verkehrsobjektdetektion in einem kraftfahrzeug
DE102025109143A1 (de) Redundante validierung von fahrzeugtrajektorien
DE102023209015A1 (de) Verfahren zum Fahrzeugbetrieb, Verarbeitungsvorrichtung und Fahrzeugsteuervorrichtung
DE102022110232A1 (de) Verfahren und vorrichtung zur ermittlung eines von einem kraftfahrzeug befahrbaren pfades oder einer semantischen segmentierungskarte mit blick aus einer vogelperspektive auf das kraftfahrzeug
DE102024132286A1 (de) Einrichtung zur steuerung eines fahrzeugs und verfahren dazu
DE102022121111A1 (de) Automatische visuelle Wahrnehmung mit einem Fahrzeug unter Verwendung einer Kamera und eines Ultraschallsensorsystems
DE102023131255A1 (de) Verfahren zur Umfeldwahrnehmung und/oder zur Umfeldmodellierung
DE102022107158A1 (de) Verfahren zum Testen automatisiert agierender Systeme
DE102023212875A1 (de) Verfahren zur Detektion von Objekten aus zeitlich aufgelösten Sensordaten
DE102024200723A1 (de) Identifikation von Zielobjekten im Bereich des automatisierten Fahrens

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220920

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06F0018250000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20241129

RIC1 Information provided on ipc code assigned before grant

Ipc: G08G 1/16 20060101ALI20241122BHEP

Ipc: G06V 20/58 20220101ALI20241122BHEP

Ipc: G06F 18/25 20230101AFI20241122BHEP

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250401