DE102021201557A1

DE102021201557A1 - Procedure for detecting an object

Info

Publication number: DE102021201557A1
Application number: DE102021201557.3A
Authority: DE
Inventors: Florian Faion; Claudius Glaeser; Florian Drews; Lars Rosenbaum; Koba Natroshvili
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-02-18
Filing date: 2021-02-18
Publication date: 2022-08-18

Abstract

Es wird ein Verfahren zur Erfassung eines Objektes, mit den folgenden Schritten, vorgesch lagen:Bestimmen einer Vielzahl von Objekt-Hypothesen für das Objekt, basierend auf jeweiligen Sensordaten von unterschiedlichen Kombinationen einer Vielzahl von Sensorsystemen, die das Objekt erfassen;Tracking der Vielzahl von Objekt-Hypothesen des Objektes in einem Zeitintervall;Bestimmen einer Güte der jeweiligen Objekt-Hypothese des Objektes der Vielzahl von Objekt-Hypothesen innerhalb des Zeitintervalls beim Tracking;Zuordnen der bestimmten jeweiligen Güte zu der jeweiligen Objekt-Hypothese der Vielzahl von Objekthypothesen; undFusionieren der Vielzahl von Objekt-Hypothesen durch Auswahl der Objekt-Hypothese mit der höchsten Güte, zur Erfassung des Objektes.A method for detecting an object is proposed, comprising the following steps:determining a plurality of object hypotheses for the object based on respective sensor data from different combinations of a plurality of sensor systems that detect the object;tracking the plurality of objects - hypotheses of the object in a time interval;determining a quality of the respective object hypothesis of the object of the plurality of object hypotheses within the time interval during tracking;associating the determined respective quality with the respective object hypothesis of the plurality of object hypotheses; andmerging the plurality of object hypotheses by selecting the object hypothesis with the highest merit to detect the object.

Description

Stand der TechnikState of the art

Eine umfassende Erkennung des Fahrzeugumfelds bildet die Grundlage für Fahrerassistenzsysteme und zumindest teilautomatisierte Fahrfunktionen. Heutzutage wird eine Vielzahl an Sensoren zur Erfassung des Fahrzeugumfelds eingesetzt. Dazu zählen z.B. Kameras, Radare, LiDARe oder Ultraschallsysteme. Die verschiedenen Sensoren können aufgrund ihres Wirkprinzips unterschiedliche Eigenschaften des Fahrzeugumfelds messen. So können z.B. Radarsensoren die Entfernung und Relativgeschwindigkeit von Objekten messen. Kameras hingegen liefern Objektdarstellungen, die für eine Klassifikation von Objekten vorteilhaft ist. Um ein geeignetes Modell des Fahrzeugumfelds zu erstellen, müssen die von den Sensoren in Form von Sensordaten zur Verfügung gestellten Informationen fusioniert werden.A comprehensive detection of the vehicle environment forms the basis for driver assistance systems and at least partially automated driving functions. Nowadays, a large number of sensors are used to record the vehicle environment. These include, for example, cameras, radars, LiDARe or ultrasound systems. Due to their operating principle, the various sensors can measure different properties of the vehicle environment. For example, radar sensors can measure the distance and relative speed of objects. Cameras, on the other hand, provide object representations that are advantageous for classifying objects. In order to create a suitable model of the vehicle environment, the information provided by the sensors in the form of sensor data must be merged.

Offenbarung der ErfindungDisclosure of Invention

Maschinelle Lernverfahren, insb. Deep Learning, gewinnen zunehmend an Bedeutung im Bereich des automatisierten Fahrens. Insbesondere im Bereich der Umfeldwahrnehmung mit im Fahrzeug verbauten Sensoren kommen neuronale Netze verstärkt zum Einsatz. Einige dieser Verfahren kombinieren verschiedene Sensormodalitäten, um Objekte im Fahrzeugumfeld zu detektieren oder die Verkehrsszene semantisch zu segmentieren. Dazu werden vom neuronalen Netzwerk Merkmale aus den Sensordaten der verschiedenen Modalitäten extrahiert und anschließend kombiniert, um z.B. Verkehrsteilnehmer eines Umfeldes eines Egofahrzeugs zu detektieren. Durch die Kombination der Informationen unterschiedlicher Sensormodalitäten können Systeme, welche auf einer merkmalsbasierten Fusion basieren, eine höhere Genauigkeit erreichen als Systeme, welche eine objektbasierte Fusion durchführen.Machine learning methods, especially deep learning, are becoming increasingly important in the field of automated driving. Neural networks are increasingly used in the field of environmental perception with sensors installed in the vehicle. Some of these methods combine different sensor modalities to detect objects in the vehicle environment or to segment the traffic scene semantically. For this purpose, the neural network extracts features from the sensor data of the various modalities and then combines them, e.g. to detect road users in the vicinity of a host vehicle. By combining information from different sensor modalities, systems based on feature-based fusion can achieve higher accuracy than systems that perform object-based fusion.

Allerdings führt bei der merkmalsbasierten Fusion der Wegfall redundanter Verarbeitungswege zu Einschränkungen bei der Robustheit und Validierbarkeit der Modelle. So ist z.B. bekannt, dass die Degradation eines Sensors die Objektdetektion eines neuronalen Netzwerks maßgeblich einschränkt - auch wenn dieses einen weiteren nicht degradierten Sensor zur merkmalsbasierten Fusion nutzt.However, with feature-based fusion, the omission of redundant processing paths leads to limitations in the robustness and validability of the models. For example, it is known that the degradation of a sensor significantly limits the object detection of a neural network - even if this uses another non-degraded sensor for feature-based fusion.

Um dieses Problem zu umgehen, wird eine Fusionsarchitektur vorgeschlagen, welche die Vorzüge der merkmalsbasierten Fusion nutzt, um beispielsweise eine höhere Genauigkeit zu erreichen, gleichzeitig aber auch mehrere redundante Pfade vorsieht, um beispielsweise eine Robustheit gegenüber einer Sensordegradation zu erreichen.
Eine solche Fusionsarchitektur kann mehrere Verarbeitungspfade aufweisen, in denen die Informationen der unterschiedlichen Sensoren in unterschiedlicher Art fusioniert werden. Dabei besteht auch die Möglichkeit, dass die verschiedenen Verarbeitungspfade auf unterschiedlichen Kombinationen von Sensorsystemen unterschiedlicher Modalität beruhen.
Eine beispielhafte Realisierung für drei Sensorsysteme wird bei den Ausführungsbeispielen beschrieben. Die unterschiedlichen Verarbeitungspfade können eine redundante Wahrnehmung des Fahrzeugumfelds generieren, d.h. ein Objekt kann von mehreren Sensorsystemen detektiert werden. Aufgrund des Überlapp in den verwendeten Merkmalsrepräsentationen können die Detektionen der verschiedenen Verarbeitungspfade jedoch korreliert sein. Die Fusionsarchitektur kann daher als letzte Einheit eine objektbasierte Fusion vorsehen, welche die Umfeldwahrnehmung der unterschiedlichen Verarbeitungspfade objektbasiert fusioniert.In order to circumvent this problem, a fusion architecture is proposed that uses the advantages of feature-based fusion, for example to achieve higher accuracy, but at the same time also provides several redundant paths, for example to achieve robustness against sensor degradation.
Such a fusion architecture can have multiple processing paths in which the information from the different sensors is fused in different ways. There is also the possibility that the different processing paths are based on different combinations of sensor systems of different modalities.
An exemplary implementation for three sensor systems is described in the exemplary embodiments. The different processing paths can generate a redundant perception of the vehicle's surroundings, ie an object can be detected by several sensor systems. However, due to the overlap in the feature representations used, the detections of the different processing paths can be correlated. The fusion architecture can therefore provide an object-based fusion as the last unit, which fuses the perception of the environment of the different processing paths in an object-based manner.

Gemäß Aspekten der Erfindung wird ein Verfahren zur Erfassung eines Objektes, ein Verfahren zur Ansteuerung, eine Erfassungs-Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche, vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.According to aspects of the invention, a method for detecting an object, a method for controlling it, a detection device, a computer program and a machine-readable storage medium, according to the features of the independent claims, are proposed. Advantageous configurations are the subject of the dependent claims and the following description.

In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.Throughout this description of the invention, the sequence of method steps is presented in such a way that the method is easy to follow. However, those skilled in the art will recognize that many of the method steps can also be carried out in a different order and lead to the same or a corresponding result. In this sense, the order of the method steps can be changed accordingly. Some features are numbered to improve readability or to clarify attribution, but this does not imply the presence of specific features.

Gemäß einem Aspekt wird ein Verfahren zur Erfassung eines Objektes, mit den folgenden Schritten vorgeschlagen:

In einem Schritt wird eine Vielzahl von Objekt-Hypothesen für das Objekt, basierend auf jeweiligen Sensordaten von unterschiedlichen Kombinationen einer Vielzahl von Sensorsystemen, die das Objekt erfassen, bestimmt. In einem weiteren Schritt wird die Vielzahl von Objekt-Hypothesen des Objektes in einem Zeitintervall getrackt. In einem weiteren Schritt wird eine Güte der jeweiligen Objekt-Hypothese des Objektes der Vielzahl von Objekt-Hypothesen innerhalb des Zeitintervalls beim Tracking bestimmt. In einem weiteren Schritt wird die bestimmte jeweilige Güte zu der jeweiligen Objekt-Hypothese der Vielzahl von Objekthypothesen zugeordnet. In einem weiteren Schritt wird die Vielzahl von Objekt-Hypothesen durch Auswahl der Objekt-Hypothese mit der höchsten Güte, zur Erfassung des Objektes fusioniert.

According to one aspect, a method for detecting an object is proposed with the following steps:

In one step, a multiplicity of object hypotheses for the object are determined based on respective sensor data from different combinations of a multiplicity of sensor systems which detect the object. In a further step, the multiplicity of object hypotheses of the object are tracked in a time interval. In a further step, a quality of the respective object hypothesis of the object of the multiplicity of object hypotheses is determined within the time interval during tracking. In a further step, the certain respective quality assigned to the respective object hypothesis of the plurality of object hypotheses. In a further step, the multiplicity of object hypotheses are merged by selecting the object hypothesis with the highest quality for detecting the object.

Dabei kann die Erfassung eines Objektes eine Detektion des Objektes betreffen und/oder ein Tracking des Objektes betreffen.In this case, the detection of an object can relate to a detection of the object and/or a tracking of the object.

Die Vielzahl von Sensorsystemen können Videosensor-Systeme und/oder Radarsensor-Systeme und/oder Lidar-Sensorsysteme und/oder Ultraschall-Sensorsysteme aufweisen. Darüber hinaus kann die Vielzahl von Sensorsystemen Sensorsysteme einer Modalität bzw. eines Typs, wie beispielsweise eine Anzahl von Videosensor-Systemen eines Typs, wie z.B. mehrere Kameras, oder mehrerer unterschiedlicher Modalitäten bzw. Typen, wie z.B. mehrere Kameras und Lidar-Sensorsysteme, aufweisen.The multiplicity of sensor systems can have video sensor systems and/or radar sensor systems and/or lidar sensor systems and/or ultrasonic sensor systems. Additionally, the plurality of sensor systems may include sensor systems of one modality or type, such as a number of video sensor systems of one type, such as multiple cameras, or multiple different modalities or types, such as multiple cameras and lidar sensor systems.

Die Güte einer Objekt-Hypothese kann bestimmen, wie gut die Einzelframe-Detektionen im Einklang mit einer zeitlichen Verfolgung stehen, d.h. ob die verfolgte Bewegung des Objekts konsistent mit einer entsprechenden möglichen dynamischen Bewegung des Objekts ist. Mit einer Mehrzahl von unterschiedlichen Objekt-Hypothesen, die jeweils in redundanten Pfaden der Fusions-Architektur verfolgt werden, können die einzelnen redundanten Pfade mit der Güte bewertet werden.The goodness of an object hypothesis can determine how well the single-frame detections are consistent with temporal tracking, i.e., whether the tracked motion of the object is consistent with a corresponding possible dynamic motion of the object. The quality of the individual redundant paths can be evaluated with a plurality of different object hypotheses, which are each pursued in redundant paths of the fusion architecture.

Vorteilhafterweise kann mit dem Verfahren zur Erfassung des Objektes mit der Bestimmung der Güte einzelner Objekt-Hypothesen, implizit die Güte einzelner Sensorsysteme oder Kombination von Sensorsystemen geschätzt werden. Dies kann zur Sensorsystem-Degradationserkennung genutzt werden. Dies ist insbesondere für Sensorsysteme vorteilhaft, welche keine eigene Degradationserkennung implementiert haben. Darüber hinaus erlaubt das Verfahren Degradationen von Sensorkombinationen, beispielsweise aufgrund einer Dekalibrierung zwischen den Sensorsystemen, zu erkennen, welche von einer Degradationserkennung der einzelnen Sensorsysteme nicht abgedeckt wären.Advantageously, the quality of individual sensor systems or combinations of sensor systems can be implicitly estimated using the method for detecting the object by determining the quality of individual object hypotheses. This can be used for sensor system degradation detection. This is particularly advantageous for sensor systems that have not implemented their own degradation detection. In addition, the method makes it possible to detect degradations in sensor combinations, for example due to decalibration between the sensor systems, which would not be covered by a degradation detection of the individual sensor systems.

Weiterhin vorteilhafterweise kann die Bestimmung der Güte der Objekt-Hypothesen genutzt werden, um Verkehrsszenarien zu identifizieren, welche nicht optimal durch das entsprechende Perzeptionssystem, entweder durch einzelne Sensorsysteme oder Kombination von Sensorsystemen, behandelt werden. Diese identifizierten Szenarien können verwendet werden, um das jeweilige Perzeptionssystem gezielt weiterzuentwickeln, wodurch beispielsweise Labelingkosten reduziert werden, wenn nur relevante Szenarien annotiert werden müssen.Furthermore, the determination of the quality of the object hypotheses can advantageously be used to identify traffic scenarios that are not optimally treated by the corresponding perception system, either by individual sensor systems or a combination of sensor systems. These identified scenarios can be used to further develop the respective perception system in a targeted manner, which, for example, reduces labeling costs if only relevant scenarios have to be annotated.

Mit anderen Worten wird bei dem Verfahren mit einer Vielzahl von Sensorsystemen, die jeweils gleiche oder unterschiedliche Modalitäten aufweisen können, und/oder basierend auf der Vielzahl von Sensorsystemen gebildeten Meta-Sensoren, das Objekt zu einer Abfolge von Zeitschritten in dem Zeitintervall detektiert und Objekt-Hypothesen für das Objekt gebildet. Eine daraus resultierende Vielzahl von Objekt-Hypothesen wird über das Zeitintervall in den Zeitschritten getrackt bzw. zeitlich verfolgt. Anders ausgedrückt wird das Objekt auf einer Vielzahl von Tracking-Pfaden, die jeweils unterschiedliche Objekt-Hypothesen betreffen, simultan bzw. parallel zeitlich verfolgt. Für jede der Vielzahl von Objekt-Hypothesen wird in den Zeitschritten, insbesondere kontinuierlich, die Güte bestimmt, um durch eine Auswahl der Objekt-Hypothese mit der höchsten Güte die Vielzahl von Objekt-Hypothesen zu fusionieren. Die Objekt-Hypothese mit der höchsten Güte kann als Ergebnis der Fusion dienen und kann an nachgelagerte Verarbeitungsschichten ausgegeben werden.In other words, in the method with a large number of sensor systems, which can each have the same or different modalities, and/or meta-sensors formed based on the large number of sensor systems, the object is detected at a sequence of time steps in the time interval and object Hypotheses formed for the object. A large number of object hypotheses resulting from this is tracked over the time interval in the time steps. In other words, the object is time-tracked simultaneously or in parallel on a multiplicity of tracking paths, each of which relates to different object hypotheses. For each of the plurality of object hypotheses, the quality is determined in the time steps, in particular continuously, in order to merge the plurality of object hypotheses by selecting the object hypothesis with the highest quality. The object hypothesis with the highest quality can serve as the result of the fusion and can be output to downstream processing layers.

Mit anderen Worten können bei dem Verfahren zur Erfassung des Objektes die Objekt-Hypothesen, basierend auf Sensordaten multimodaler Sensorsysteme, bestimmt werden, wobei Sensordaten von realen Sensorsystemen unterschiedlicher und/oder gleicher Modalität, entsprechend Meta-Sensoren, merkmalsbasiert kombiniert werden.In other words, in the method for detecting the object, the object hypotheses can be determined based on sensor data from multimodal sensor systems, with sensor data from real sensor systems of different and/or the same modality being combined based on features, corresponding to meta-sensors.

Das Tracking der Vielzahl von Objekt-Hypothesen kann als ein Verfolgen einer Anzahl unterschiedlicher zumindest teilweise redundanter Detektionen des Objektes angesehen werden.Tracking the plurality of object hypotheses can be viewed as tracking a number of different, at least partially redundant, detections of the object.

Vorteilhafterweise kann das Verfahren dazu beitragen, dass ein Einfluss einer Degradation einzelner Sensorsysteme auf ein Fusionsergebnis bezüglich der Erfassung des Objektes zumindest vermindert werden kann. Denn eine Degradation einzelner Sensorsysteme und/oder Sensormodalitäten kann einen negativen Einfluss auf eine Detektionsleistung mehrerer, insbesondere redundanter aber korrelierter, Objektdetektionen haben. Dadurch kann durch das Verfahren zur Erfassung des Objektes eine Robustheit eines Perzeptionssystems gebildet aus der Vielzahl von Sensorsystemen verbessert werden, wenn beispielsweise bei ungünstigen Witterungsbedingungen wie Regen, Nebel o.ä. einzelne Sensorsysteme degradiert sind. Durch ein Gating, d.h. einer Zuweisung, bzw. Assoziation, von einzelnen ObjektDetektionen, bzw. Messwerten unterschiedlicher Sensorsysteme, zu Objekt-Hypothesen, welche typischerweise auf Basis bestimmter Distanzmaße durchgeführt werden, kann sichergestellt werden, dass der Einfluss einer Degradation eines Sensorsystems nur einen Teil der Objekt-Hypothesen degradiert, andere jedoch eine unveränderte Güte aufweisen. Das Ergebnis der Fusion weist somit trotz möglicher Einschränkungen in einzelnen Detektionspfaden eine unvermindert hohe Detektionsleistung auf.Advantageously, the method can contribute to at least reducing the influence of a degradation of individual sensor systems on a fusion result with regard to the detection of the object. This is because a degradation of individual sensor systems and/or sensor modalities can have a negative impact on the detection performance of a number of object detections, in particular redundant but correlated ones. As a result, the robustness of a perception system formed from the multiplicity of sensor systems can be improved by the method for detecting the object if, for example, individual sensor systems are degraded under unfavorable weather conditions such as rain, fog or the like. By gating, ie an assignment or association, of individual object detections or measured values of different sensor systems to object hypotheses, which are typically carried out on the basis of certain distance measures, it can be ensured that the influence of a degradation of a Sensor system degrades only part of the object hypotheses, but others have an unchanged quality. The result of the fusion thus shows an undiminished high detection performance despite possible limitations in individual detection paths.

Vorteilhafterweise wird mit dem Verfahren zur Erfassung eines Objektes ein Multi-Hypothesen-Tracking auf Objektebene durchgeführt, dass sowohl Umwelteinflüsse adressiert, welche die Gesamtleistung eines Sensors einschränken, z.B. schlechtes Wetter, als auch solche Einflüsse, die sich lediglich auf die Detektion einzelner Objekte auswirken, z.B. ungünstige Objektkonstellationen mit Verdeckungen. Das Verfahren kann somit eine Robustheit der Objektdetektion unter einer Vielzahl von Umfeld-Einflüssen verbessern. Das Verfahren zur Erfassung des Objektes kann somit auch zur Freigabeargumentation bzw. Validation zum Betrieb eines Perzeptionssystems im Straßenverkehr beitragen, da das Verfahren zur Erfassung des Objektes Unzulänglichkeiten eines Perzeptionssystems in interpretierbarer Weise adressiert. Advantageously, the method for detecting an object is used to carry out multi-hypothesis tracking at the object level, which addresses both environmental influences that limit the overall performance of a sensor, e.g. bad weather, and those influences that only affect the detection of individual objects. e.g. unfavorable object constellations with occlusions. The method can thus improve the robustness of the object detection under a large number of environmental influences. The method for detecting the object can thus also contribute to the reasoning for approval or validation for the operation of a perception system in road traffic, since the method for detecting the object addresses inadequacies of a perception system in an interpretable manner.

Vorteilhafterweise kann mit dem Verfahren zur Erfassung des Objektes eine Degradationserkennung einzelner Sensorsysteme oder verschiedener Kombination von Sensorsystemen realisiert werden. Dies ist durch eine längerfristige Beobachtung der jeweiligen Güte der Vielzahl der Objekthypothesen, welche durch die einzelnen Sensorsysteme oder verschiedenen Kombinationen von Sensorsystemen gestützt werden, möglich, da sich eine Degradation der Sensorsysteme oder verschiedener Kombinationen von Sensorsystemen in einer geringen Güte der entsprechenden Objekthypothesen zeigt. Somit können andere Verfahren zur Degradationserkennung, wie beispielsweise eine sensorinterne Degradationserkennung ergänzt werden, wodurch die Robustheit eines Gesamtsystems verbessert werden kann.Degradation detection of individual sensor systems or different combinations of sensor systems can advantageously be implemented with the method for detecting the object. This is possible through long-term observation of the respective quality of the large number of object hypotheses, which are supported by the individual sensor systems or various combinations of sensor systems, since a degradation of the sensor systems or various combinations of sensor systems is reflected in a low quality of the corresponding object hypotheses. In this way, other methods for detecting degradation, such as a sensor-internal degradation detection, can be supplemented, as a result of which the robustness of an overall system can be improved.

Das Verfahren zur Erfassung eines Objektes kann insbesondere auf Fusions-Architekturen angewendet werden, die eine Anzahl von redundanten Objektdetektoren, basierend auf Merkmalskombinationen einer Anzahl von Sensorsystemen, aufweisen.The method for detecting an object can be applied in particular to fusion architectures that have a number of redundant object detectors based on combinations of features of a number of sensor systems.

Das vorgeschlagene Verfahren kann die redundanten Detektionspfade einer Sensorfusionsarchitektur als jeweilige eigenständige, aber korrelierte, Meta-Sensoren auffassen. Die detektieren Objekte, beispielsweise in Form von 3D Begrenzungs-Boxen, welche als Messergebnis mittels der Meta-Sensoren dargestellt werden, können als Input zu einem Multi-Hypothesen-Tracking dienen.The proposed method can understand the redundant detection paths of a sensor fusion architecture as respective independent but correlated meta-sensors. The detected objects, for example in the form of 3D bounding boxes, which are displayed as measurement results using the meta-sensors, can serve as input for multi-hypothesis tracking.

Eine Assoziation von Sensordaten der Sensorsysteme zu Objektrack-Hypothesen erfolgt mittels eines sogenannten Gatings, welches typischerweise auf Basis bestimmter Distanzmaße durchgeführt wird. Beispielsweise kann eine Objektdetektion mit einer Objekt-Hypothese assoziiert werden, wenn der Abstand der detektierten Begrenzungs-Box zur getrackten Begrenzungs-Box unter einem Schwellwert liegt. Andere Distanzmaße basierend auf den Zustandsvektoren der detektierten Objekte, die z.B. Ausmaß, Orientierung, Geschwindigkeit, o.ä. der Objekte repräsentieren.
Für das Verfahren zur Erfassung eines Objektes kann das Gating auf Grundlage der redundanten Detektionspfade bzw. der darin jeweils verwendeten Vielzahl von Sensorsystemen, inklusive unterschiedlicher Sensormodalitäten, realisiert werden. Das hat zum Ziel, dass einzelne getrackte Objekt-Hypothesen nur von bestimmten Sensorsystemen oder Kombination von Sensorsystemen gestützt werden - d.h. nur deren Detektionen zur Objekt-Hypothese beitragen. Umgekehrt bedeutet dies auch, dass es Objekt-Hypothesen gibt, welche nicht durch bestimmte Verarbeitungspfade, bzw. Meta-Sensoren, aktualisiert werden.
Das hat zum Vorteil, dass eine Degradation eines Sensors nicht alle Objekt-Hypothesen negativ beeinflussen kann und somit eine höhere Robustheit auf Gesamtsystemebene erreicht werden kann.Sensor data from the sensor systems are associated with object rack hypotheses by means of so-called gating, which is typically carried out on the basis of specific distance measurements. For example, an object detection can be associated with an object hypothesis if the distance between the detected bounding box and the tracked bounding box is below a threshold value. Other distance measures based on the state vectors of the detected objects, which represent, for example, the extent, orientation, speed, or similar of the objects.
For the method for detecting an object, gating can be implemented on the basis of the redundant detection paths or the large number of sensor systems used therein, including different sensor modalities. The aim of this is that individual tracked object hypotheses are only supported by certain sensor systems or combinations of sensor systems - ie only their detections contribute to the object hypothesis. Conversely, this also means that there are object hypotheses that are not updated by certain processing paths or meta-sensors.
This has the advantage that a degradation of a sensor cannot negatively influence all object hypotheses and thus greater robustness can be achieved at the overall system level.

Gemäß einem Aspekt wird vorgeschlagen, dass die unterschiedlichen Kombinationen der Vielzahl von Sensorsystemen von zumindest einem Sensorsystem gebildet sind; und jede Kombination jedes Sensorsystem maximal einmal aufweist; und zu jeder Kombination, basierend auf den Sensordaten der Sensorsysteme der jeweiligen Kombination, eine Objekt-Hypothese der Vielzahl der Objekt-Hypothesen gebildet wird.According to one aspect, it is proposed that the different combinations of the multiplicity of sensor systems are formed by at least one sensor system; and each combination has each sensor system at most once; and for each combination, based on the sensor data of the sensor systems of the respective combination, an object hypothesis of the plurality of object hypotheses is formed.

Gemäß einem Aspekt wird vorgeschlagen, dass eine jeweilige Modalität der jeweiligen Sensorsysteme jeder Kombination verschieden ist.According to one aspect it is proposed that a respective modality of the respective sensor systems of each combination is different.

Gemäß einem Aspekt wird vorgeschlagen, dass aus den unterschiedlichen Kombinationen von Sensorsystemen unterschiedliche erste Gruppen von Sensorsystemen gebildet werden, wobei jede erste Gruppe nur die Kombinationen von Sensorsystemen aufweist, die ein bestimmtes Sensorsystem aufweist; und, basierend auf den jeweiligen Sensordaten der jeweiligen Kombinationen von Sensorsystemen der ersten Gruppe, eine Objekt-Hypothese der Vielzahl der Objekt-Hypothesen gebildet wird.According to one aspect, it is proposed that different first groups of sensor systems are formed from the different combinations of sensor systems, with each first group having only the combinations of sensor systems that have a specific sensor system; and based on the respective sensor data of the respective combinations of sensor systems of the first group, an object hypothesis of the plurality of object hypotheses is formed.

Gemäß einem Aspekt wird vorgeschlagen, dass aus den unterschiedlichen Kombinationen von Sensorsystemen unterschiedliche zweite Gruppen von Sensorsystemen gebildet werden, wobei jede zweite Gruppe nur die Kombinationen von Sensorsystemen aufweist, die ein bestimmtes Sensorsystem nicht aufweist; und, basierend auf den jeweiligen Sensordaten der jeweiligen Kombinationen von Sensorsystemen der zweiten Gruppe, eine Objekt-Hypothese der Vielzahl der Objekt-Hypothesen gebildet wird.According to one aspect, it is proposed that different second groups of sensor systems are formed from the different combinations of sensor systems, with each second group only containing the combinations of sensors has systems that a specific sensor system does not have; and based on the respective sensor data of the respective combinations of sensor systems of the second group, an object hypothesis of the plurality of object hypotheses is formed.

Gemäß einem Aspekt wird vorgeschlagen, dass die Vielzahl von Sensorsystemen ein Kamerasystem und/oder ein Radar-System und/oder ein Lidar-System und/oder ein Ultraschall System aufweist.According to one aspect, it is proposed that the multiplicity of sensor systems have a camera system and/or a radar system and/or a lidar system and/or an ultrasound system.

Gemäß einem Aspekt wird vorgeschlagen, dass die jeweilige Güte der Objekt-Hypothese des Objektes basierend auf einer Konsistenz des Trackings des Objektes der jeweiligen Objekt-Hypothese mit einem physikalischen Modell des Objektes der jeweiligen Objekt-Hypothese bestimmt wird.According to one aspect it is proposed that the respective quality of the object hypothesis of the object is determined based on a consistency of the tracking of the object of the respective object hypothesis with a physical model of the object of the respective object hypothesis.

Gemäß einem Aspekt wird vorgeschlagen, dass die jeweilige Güte der Objekt-Hypothese des Objektes basierend auf einer Konsistenz der jeweiligen der Objekt-Hypothese zu Grunde liegenden Erfassung des Objektes des entsprechenden Sensorsystems mit einem physikalischen Modell des Objektes der jeweiligen Objekt-Hypothese durch Verfolgung, bzw. Tracking, des Objektes in einem Zeitintervall bestimmt wird.According to one aspect, it is proposed that the respective quality of the object hypothesis of the object based on a consistency of the respective detection of the object of the corresponding sensor system on which the object hypothesis is based with a physical model of the object of the respective object hypothesis by tracking or .Tracking, the object is determined in a time interval.

Gemäß einem Aspekt wird vorgeschlagen, dass die unterschiedlichen Sensorsysteme basierend auf Merkmalen des Objekts, die mittels Sensordaten der jeweiligen Sensorsysteme bestimmt werden, kombiniert werden.
Mit anderen Worten basieren die unterschiedlichen Kombinationen von Sensorsystemen auf, aus Sensordaten, die mit den unterschiedlichen Sensorsystemen bestimmten wurden, extrahierten Merkmalen des Objektes.According to one aspect, it is proposed that the different sensor systems be combined based on features of the object that are determined using sensor data from the respective sensor systems.
In other words, the different combinations of sensor systems are based on features of the object extracted from sensor data that were determined using the different sensor systems.

Gemäß einem Aspekt wird vorgeschlagen, dass das Objekt für das Tracking des Objektes mittels einer Begrenzungsbox repräsentiert wird.
Dabei kann eine solche Begrenzungsbox eine zweidimensionale Begrenzungsbox, d. h. eine Aufsicht auf eine Szene aus einer Vogelperspektive, oder eine dreidimensionale Begrenzungsbox sein.According to one aspect it is proposed that the object for tracking the object is represented by means of a bounding box.
Such a bounding box can be a two-dimensional bounding box, ie a top view of a scene from a bird's-eye view, or a three-dimensional bounding box.

Gemäß einem Aspekt wird vorgeschlagen, dass, basierend auf der bestimmten Güte der Objekt-Hypothesen, Verkehrsszenarien bewertet werden, um mit der Vielzahl der Sensorsysteme schwer erfassbare Verkehrsszenarien zu identifizieren.
Mit diesem Aspekt des Verfahrens können Verkehrsszenarien identifiziert werden, die nicht optimal durch das Perzeptionssystem, entweder durch einzelne Sensorsysteme oder Kombination von Sensorsystemen, behandelt werden. Dabei kann ein Objekt gut erfasst werden, wenn mindestens eine Objekt-Hypothese eine hohe Güte aufweist. Weisen alle Objekt-Hypothesen eine geringe Güte auf, deutet das darauf hin, dass das Objekt unzuverlässig erfasst wurde, was beispielsweise aufgrund bestimmter Eigenschaften eines Verkehrsszenarios, wie beispielsweise einer Verdeckung und/oder durch Witterungsbedingungen und/oder durch seltene Objekte, wie beispielsweise eine Pferdekutsche, bedingt sein kann.
Die Werte der Güte der Hypothesen können somit dazu genutzt werden, solche für das Gesamtsystem oder für einzelne Sensoren, schwierigen Szenarien zu identifizieren. Auf deren Basis kann dann eine zielgerichtete Entwicklung zur Verbesserung der Performance der betreffenden Sensorsysteme vorgenommen werden.According to one aspect, it is proposed that, based on the determined quality of the object hypotheses, traffic scenarios are evaluated in order to identify traffic scenarios that are difficult to detect with the multiplicity of sensor systems.
With this aspect of the method, traffic scenarios can be identified that are not optimally handled by the perception system, either by individual sensor systems or a combination of sensor systems. An object can be detected well if at least one object hypothesis has a high quality. If all object hypotheses are of low quality, this indicates that the object was detected unreliably, which is due, for example, to certain characteristics of a traffic scenario, such as obscuration and/or weather conditions and/or rare objects, such as a horse-drawn carriage , can be conditional.
The values of the quality of the hypotheses can thus be used to identify scenarios that are difficult for the overall system or for individual sensors. On this basis, a targeted development to improve the performance of the relevant sensor systems can then be undertaken.

Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf einem erfassten Objekt, das entsprechend einem der oben beschriebenen Verfahren erfasst wurde, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf dem erfassten Objekt, ein Warnsignal zur Warnung, bzw. Intervention, eines Fahrzeuginsassen bereitgestellt wird.A method is proposed in which, based on a detected object that was detected according to one of the methods described above, a control signal for controlling an at least partially automated vehicle is provided; and/or based on the detected object, a warning signal for warning or intervention of a vehicle occupant is provided.

Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf zumindest einem erfassten Objekt, das entsprechend einem der oben beschriebenen Verfahren generiert wurde, bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass das erfasste Objekt für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals und/oder Notsignals.The term "based on" is to be understood broadly in relation to the feature that a control signal is provided based on at least one detected object generated according to one of the methods described above. It is to be understood that the detected object is used for any determination or calculation of a control signal, although this does not rule out other input variables also being used for this determination of the control signal. This applies accordingly to the provision of a warning signal and/or emergency signal.

Es wird eine Erfassungs-Vorrichtung vorgeschlagen, die eingerichtet ist, eines der oben beschriebenen Verfahren durchzuführen. Mit einer solchen Erfassungs-Vorrichtung kann das entsprechende Verfahren leicht in unterschiedliche Systeme integriert werden.A detection device is proposed which is set up to carry out one of the methods described above. With such a detection device, the corresponding method can easily be integrated into different systems.

Gemäß einem Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.According to one aspect, a computer program is provided which comprises instructions which, when the computer program is executed by a computer, cause the latter to execute one of the methods described above. Such a computer program enables the method described to be used in different systems.

Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.A machine-readable storage medium is specified on which the above-described computer program is stored. The computer program described above can be transported by means of such a machine-readable storage medium.

Das beschriebene Verfahren kann in verschiedenen Systemen angewendet werden, die auf Grundlage mehrerer Sensorsysteme Perzeptionsaufgaben lösen. Dies gilt insbesondere für Fahrerassistenzsysteme und/oder ein zumindest teilautomatisiertes Fahren und/oder für Robotikanwendungen.The method described can be used in various systems that solve perception tasks on the basis of a number of sensor systems. This applies in particular to driver assistance systems and/or at least partially automated driving and/or to robotic applications.

Ausführungsbeispieleexemplary embodiments

Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 4 dargestellt und im Folgenden näher erläutert. Es zeigen:

1 eine beispielhafte Fusionsarchitektur für drei Sensorsysteme;
2 eine Fusion mehrerer redundanter Objektdetektionen, wobei den Sensorsignalen jeder Kombination von Sensorsystemen eine Objekt-Hypothese zugeordnet ist;
3 eine Fusion mehrerer redundanter Objektdetektionen, wobei einzelne Objekt-Hypothesen durch Sensorkombinationen gestützt werden, welche Merkmale eines realen Sensors nutzen; und
4 eine Fusion mehrerer redundanter Objektdetektionen, wobei einzelne Objekt-Hypothesen durch Sensorkombinationen gestützt werden, welche Merkmale eines realen Sensors nicht nutzen.

Embodiments of the invention are described with reference to FIG 1 until 4 shown and explained in more detail below. Show it:

1 an exemplary fusion architecture for three sensor systems;
2 a fusion of several redundant object detections, wherein an object hypothesis is assigned to the sensor signals of each combination of sensor systems;
3 a fusion of multiple redundant object detections, where individual object hypotheses are supported by sensor combinations that use features of a real sensor; and
4 a fusion of several redundant object detections, whereby individual object hypotheses are supported by sensor combinations that do not use features of a real sensor.

Die 1 skizziert schematisch eine Architektur eines Systems zur merkmalsbasierten und objektbasierten Fusion von Sensordaten einer Vielzahl von Sensorsystemen 110a bis 110c zur Erfassung eines Objekts, wobei die Merkmale des Objekts mit drei Sensorsystemen 110a bis 110c, nämlich einem Videosystem 110a, einem Radarsystem 110b und einem Lidar-System 110c bestimmt werden. Diese Architektur weist für die merkmalsbasierte Fusion der Sensordaten der Sensorsysteme 110a bis 110c eine Anzahl von Verarbeitungspfaden 160 auf, die durch unterschiedliche merkmalsbasierte Kombinationen 150 der Sensordaten der Sensorsysteme 110a bis 110c eine Anzahl von Objekt-Hypothesen bestimmen, um die Robustheit der Fusion zu erhöhen.the 1 schematically outlines an architecture of a system for feature-based and object-based fusion of sensor data from a large number of sensor systems 110a to 110c for detecting an object, with the features of the object having three sensor systems 110a to 110c, namely a video system 110a, a radar system 110b and a lidar system 110c can be determined. This architecture has a number of processing paths 160 for the feature-based fusion of the sensor data of the sensor systems 110a to 110c, which determine a number of object hypotheses through different feature-based combinations 150 of the sensor data of the sensor systems 110a to 110c in order to increase the robustness of the fusion.

Dabei sind die resultierenden Objekt-Hypothesen redundant in Bezug auf einen Erfassungsbereich des Objekts mit unterschiedlichen Sensorsystemen und korrelieren durch die Erfassung korrespondierender Merkmale, die jeweils auf den Sensordaten der unterschiedlichen Sensorsysteme basieren. Die jeweiligen Objekte der Objekt-Hypothesen können beispielsweise mittels dreidimensionaler Begrenzungsboxen repräsentiert werden.The resulting object hypotheses are redundant in relation to a detection area of the object with different sensor systems and correlate through the detection of corresponding features that are each based on the sensor data of the different sensor systems. The respective objects of the object hypotheses can be represented, for example, by means of three-dimensional bounding boxes.

Diese Fusionsarchitektur sieht vor, dass für jedes der Sensorsysteme 110a bis 110c zunächst Merkmale, mittels beispielsweise jeweils eines tiefen neuronalen Netzes 120a bis 120c, extrahiert werden. Das jeweilige neuronale Netzwerk kann beispielsweise Convolutional Neural Networks, PointNets oder PointPillars aufweisen. Anschließend können für jedes Sensorsystem 110a bis 110c, beispielsweise mittels einer weiteren Schicht des neuronalen Netzwerks, Objektproposal 130a bis 130 c generiert werden, d.h. Vorschläge für ein potentiell erfasstes Objekt, wobei das Objekt beispielsweise mittels einer dreidimensionalen Begrenzungsbox repräsentiert wird. Anschließend werden für jedes generierte Objektproposal 130a bis 130 c die zugehörigen extrahierten Merkmale selektiert 140a bis 140c. Diese können dann mit korrespondierenden Merkmalen der anderen Sensorsysteme, beispielsweise durch Aneinanderfügen entsprechender Merkmalsvektoren, kombiniert 150 werden.This fusion architecture provides that features are first extracted for each of the sensor systems 110a to 110c, for example by means of a deep neural network 120a to 120c in each case. The respective neural network can have, for example, convolutional neural networks, PointNets or PointPillars. Object proposals 130a to 130c can then be generated for each sensor system 110a to 110c, for example by means of a further layer of the neural network, i.e. proposals for a potentially detected object, the object being represented by a three-dimensional bounding box, for example. The associated extracted features are then selected 140a to 140c for each generated object proposal 130a to 130c. These can then be combined 150 with corresponding features of the other sensor systems, for example by joining corresponding feature vectors.

Mit diesen kombinierten Merkmalsvektoren können die Objektproposal verfeinert werden 170. Die Verfeinerung der Objektproposal kann dabei sowohl eine Klassifikation betreffen, um zu bestimmen, ob das Objektproposal ein bestimmtes Objekt betrifft, als auch eine Regression betreffen, die bestimmt, welche Parameter, wie z.B. Position, Ausmaße, Orientierung, das Objekt aufweist.With these combined feature vectors, the object proposal can be refined 170. The refinement of the object proposal can involve both a classification, to determine whether the object proposal relates to a specific object, and a regression, which determines which parameters, such as position, Dimensions, orientation, the object has.

Das bedeutet, dass ein Objekt in einem Umfeld eines Fahrzeugs, das die Sensorsystem aufweist, basierend auf einer Anzahl von Verarbeitungspfaden 160, detektiert werden kann, wobei sich die Genauigkeit der Anzahl der Detektionen des Objekts aufgrund der jeweils verwendeten Merkmale unterscheiden kann. Dennoch existieren Korrelationen zwischen den verschiedenen Detektoren, da die Merkmale das zu detektierende Objekt betreffen.This means that an object in an area surrounding a vehicle that has the sensor system can be detected based on a number of processing paths 160, with the accuracy of the number of detections of the object being able to differ due to the features used in each case. Nevertheless, there are correlations between the different detectors, since the features relate to the object to be detected.

Bei dieser in der 1 schematisch skizzierten Fusionsarchitektur indiziert die Bezeichnung von beispielsweise L+VR und R+VL eine unterschiedliche Gewichtung der detektierten Merkmale des Objektes unterschiedlicher Sensorsysteme. Dabei kann eine Vielzahl von Sensorsystemen unterschiedlich kombiniert werden, indem die einzelnen Merkmale unterschiedlicher Sensorsysteme unterschiedlich stark gewichtet werden. Der Index: L+VR bezeichnet beispielsweise, dass das (L)idar-System einen starken Einfluss hat, und das (V)ideo-System und das (R)adar-System einen untergeordneten Einfluss haben. Entsprechend indiziert der Index: R+VL, dass ein (R)adar-System einen großen Einfluss hat. Eine solche Gewichtung kann entsprechend spezifischen Bedürfnissen für die Erfassung eines Objektes bestimmt werden.At this in the 1 In the fusion architecture sketched schematically, the designation of, for example, L+VR and R+VL indicates a different weighting of the detected features of the object of different sensor systems. A large number of sensor systems can be combined in different ways in that the individual features of different sensor systems are weighted differently. For example, the index: L+VR indicates that the (L)idar system has a strong influence, and the (V)ideo system and (R)adar system have a minor influence. Accordingly, the index: R+VL indicates that a (R)adar system has a large impact. Such a weight can be determined according to specific needs for the detection of an object.

Die unterschiedlichen Verarbeitungspfade 160 können das Fahrzeugumfeld redundant wahrnehmen, da ein Objekt in mehreren Verarbeitungspfaden detektiert werden kann. Aufgrund der Korrespondenz der Merkmale, die aus Sensordaten unterschiedlicher Sensorsysteme abgeleitet werden, können die Objekt-Hypothesen der verschiedenen Verarbeitungspfade 160 korreliert sein.The different processing paths 160 can perceive the vehicle environment redundantly since an object can be detected in several processing paths. The object hypotheses of the different processing paths 160 can be correlated due to the correspondence of the features that are derived from sensor data of different sensor systems.

Die 1 weist einen Funktionsblock 180 zur objektorientierten Fusion von Sensordaten einer Vielzahl von Sensorsystemen auf, der die Umfeldwahrnehmungen, in Form von detektierten Objekten der unterschiedlichen Verarbeitungspfade, fusioniert. Diese objektorientierte Fusion kann sowohl auf Basis einzelner Frames der Sensorsysteme als auch mittels einer zeitlichen Serie von Frames der Sensorsysteme, bzw. einem Tracking des Objektes, durchgeführt werden.the 1 has a function block 180 for the object-oriented fusion of sensor data from a multiplicity of sensor systems, which fuses the perceptions of the surroundings in the form of detected objects of the different processing paths. This object-oriented fusion can be carried out both on the basis of individual frames from the sensor systems and by means of a temporal series of frames from the sensor systems, or tracking the object.

Die 2 skizziert schematisch die objektbasierte Fusion 220 einer Vielzahl von Objekt-Hypothesen 230 aus einer Vielzahl von Verarbeitungspfaden 260, wobei jeder Verarbeitungspfad mit der jeweils zugeordneten Kombination 210 von Merkmalen des Objektes, bzw. entsprechend einem Meta-Sensor 210 exklusiv eine Objekt-Hypothese repräsentiert. D.h. bei der exklusiven Repräsentation wird eine 1:1 Assoziation von Sensordaten eines Meta-Sensors zu Objekt-Hypothesen gebildet. Genauer gesagt bedeutet dies, dass eine Objekt-Hypothese nur von einer bestimmten Kombination von Sensorsystemen gestützt wird und Detektionen anderer Kombination von Sensorsystemen zu anderen Hypothesen beitragen. Dieses Multi-Hypothesen-Tracking kann die Sensorkombination selektieren 240, deren Objekt-Hypothese die höchste Güte aufweist, und als fusioniertes Objekt 250 ausgeben.
In der 2 werden zur vereinfachten Darstellung nur Objekt-Hypothesen für ein Objekt dargestellt. Falls mehrere Objekte im Fahrzeugumfeld detektiert werden, können weitere Objekt-Hypothesen entsprechend dem beschriebenen Verfahren genutzt werden.the 2 schematically outlines the object-based fusion 220 of a plurality of object hypotheses 230 from a plurality of processing paths 260, each processing path with the associated combination 210 of characteristics of the object, or corresponding to a meta-sensor 210 exclusively representing an object hypothesis. That is, with the exclusive representation, a 1:1 association of sensor data from a meta-sensor to object hypotheses is formed. More precisely, this means that an object hypothesis is only supported by a certain combination of sensor systems and detections of other combinations of sensor systems contribute to other hypotheses. This multi-hypothesis tracking can select 240 the sensor combination whose object hypothesis has the highest quality and output it as a fused object 250 .
In the 2 only object hypotheses for an object are shown for the sake of simplicity. If several objects are detected in the vehicle environment, further object hypotheses can be used in accordance with the method described.

Die 3 skizziert schematisch einen zweiten Aspekt des Verfahrens, wobei einzelne Objekt-Hypothesen 330 durch Kombinationen von Sensorsystemen 210, bzw. Meta-Sensoren 210, gestützt werden, welche auf Merkmalen von Sensordaten abgeleitet werden, die von realen Sensorsystemen generiert werden.the 3 schematically outlines a second aspect of the method, wherein individual object hypotheses 330 are supported by combinations of sensor systems 210, or meta-sensors 210, which are derived from features of sensor data generated by real sensor systems.

Dabei werden bei dem zweiten Aspekt des Verfahrens einzelne Objekt-Hypothesen 330 durch alle Meta-Sensoren 210 gestützt, welche Merkmale eines bestimmten realen Sensorsystems aufweisen, wie mit den verbindenden Linien von den Metasensoren 210 auf die jeweiligen Objekt-Hypothesen 330 dargestellt ist.In the second aspect of the method, individual object hypotheses 330 are supported by all meta-sensors 210 which have features of a specific real sensor system, as illustrated by the lines connecting the meta-sensors 210 to the respective object hypotheses 330 .

Das bedeutet beispielsweise, dass alle Kombinationen 210 von Sensorsystemen, die Sensordaten eines Kamerasensors aufweisen, zu einer ersten Objekt-Hypothese 330 beitragen, alle Kombinationen von Sensorsystemen, die Sensordaten eines Radarsensors aufweisen, zu einer zweiten Objekt-Hypothese 330 beitragen, usw. In 3 sind die Meta-Sensoren 210, die ein „V“ - Sensorsystem aufweisen, mit der ersten Objekt-Hypothese verbunden. Meta-Sensoren, die ein „R“- Sensorsystem aufweisen, sind mit der zweiten Objekt-Hypothese verbunden und Meta-Sensoren, die ein „L“-Sensorsystem aufweisen sind mit der dritten Hypothese verbunden. Dieses Multi-Hypothesen-Tracking kann die Sensorkombination selektieren 340, deren Objekt-Hypothese 330 die höchste Güte aufweist und als fusioniertes Objekt 350 ausgeben.This means, for example, that all combinations 210 of sensor systems that have sensor data from a camera sensor contribute to a first object hypothesis 330, all combinations of sensor systems that have sensor data from a radar sensor contribute to a second object hypothesis 330, etc. In 3 the meta-sensors 210 having a "V" sensor system are associated with the first object hypothesis. Meta-sensors exhibiting an “R” sensor system are associated with the second object hypothesis and meta-sensors exhibiting an “L” sensor system are associated with the third hypothesis. This multi-hypothesis tracking can select 340 the sensor combination whose object hypothesis 330 has the highest quality and output it as a fused object 350 .

Vorteilhafterweise wirkt sich eine Degradation eines einzelnen Sensorsystems bei einer Fusion entsprechend dem zweiten Aspekt des Verfahrens beschränkt auf alle Kombinationen 210 dieses einzelnen Sensorsystems mit den anderen Sensorsystemen aus. Die Güte der jeweiligen so bestimmten Objekt-Hypothesen 330 spiegelt somit die Vertrauenswürdigkeit des einzelnen realen Sensorsystems wider und kann zum Monitoring der einzelnen Sensorsysteme genutzt werden. Zur vereinfachten Darstellung wurden nur Objekt-Hypothesen 330 für ein Objekt dargestellt. Falls mehrere Objekte im Fahrzeugumfeld detektiert werden, können weitere Objekt-Hypothesen entsprechend dem beschriebenen Verfahren ergänzt werden.Advantageously, a degradation of an individual sensor system during a merger according to the second aspect of the method has a limited effect on all combinations 210 of this individual sensor system with the other sensor systems. The quality of the respective object hypotheses 330 determined in this way thus reflects the trustworthiness of the individual real sensor system and can be used to monitor the individual sensor systems. For the sake of simplicity, only object hypotheses 330 for an object have been shown. If several objects are detected in the vehicle environment, further object hypotheses can be added according to the method described.

Die 4 skizziert schematisch einen dritten Aspekt des Verfahrens, wobei einzelne Objekt-Hypothesen 430 durch Sensorkombinationen 210, bzw. Meta-Sensoren 210, gestützt werden, welche Merkmale eines bestimmten realen Sensorsystems nicht aufweisen.the 4 schematically outlines a third aspect of the method, with individual object hypotheses 430 being supported by sensor combinations 210, or meta-sensors 210, which do not have features of a specific real sensor system.

Das bedeutet beispielsweise, dass alle Kombinationen 210 von Sensorsystemen ohne einen Kamerasensor zu einer der Objekt-Hypothesen 430 beitragen, alle Kombinationen 210 von Sensorsystemen ohne einen Radarsensor zu einer weiteren Objekt-Hypothese 430, usw. Falls es zu einer Degradation eines realen Sensors kommt, existiert somit mindestens eine Objekt-Hypothese 430, welche nicht durch die Degradation dieses Sensorsystems beeinflusst wurde. Dies ist vorteilhaft für die Robustheit des Gesamtsystems. Dieses Multi-Hypothesen-Tracking kann die Sensorkombination selektieren 440, deren Objekt-Hypothese 430 die höchste Güte aufweist und als fusioniertes Objekt 450 ausgeben.
Zur vereinfachten Darstellung wurden nur Objekt-Hypothesen für ein Objekt dargestellt. Falls mehrere Objekte im Fahrzeugumfeld detektiert werden, können weitere Objekt-Hypothesen entsprechend dem Verfahren genutzt werden.This means, for example, that all combinations 210 of sensor systems without a camera sensor contribute to one of the object hypotheses 430, all combinations 210 of sensor systems without a radar sensor to a further object hypothesis 430, etc. If there is a degradation of a real sensor, there is thus at least one object hypothesis 430 which was not influenced by the degradation of this sensor system. This is advantageous for the robustness of the overall system. This multi-hypothesis tracking can select 440 the sensor combination whose object hypothesis 430 has the highest quality and output it as a fused object 450 .
For the sake of simplicity, only object hypotheses for one object have been shown. If several objects are detected in the vehicle environment, further object hypotheses can be used according to the method.

Abhängig von einer zugrundeliegenden Erfassungsaufgabe eines Objektes können die drei Aspekte des Verfahrens beliebig, jeweils mit einer entsprechenden Auswahl von Kombinationen 210 von Sensorsystemen, miteinander kombiniert werden.Depending on an underlying detection task of an object, the three aspects of the method can be combined with one another as desired, each with a corresponding selection of combinations 210 of sensor systems.

Claims

Method for detecting an object, comprising: determining a plurality of object hypotheses (230, 330, 430) for the object based on respective sensor data from different combinations (210) of a plurality of sensor systems sensing the object; tracking the plurality of object hypotheses (230, 330, 430) of the object over a time interval; determining a quality of the respective object hypothesis (230, 330, 430) of the object of the plurality of object hypotheses (230, 330, 430) within the time interval during tracking; associating the determined respective goodness with the respective object hypothesis of the plurality of object hypotheses (230, 330, 430); and fusing the plurality of object hypotheses (230, 330, 430) by selecting the object hypothesis with the highest merit to detect the object.

procedure according to claim 1 , wherein the different combinations of the plurality of sensor systems are formed by at least one sensor system; and each combination (210) has each sensor system at most once; and for each combination (210), based on the sensor data of the sensor systems of the respective combination (210), an object hypothesis (230, 330, 430) of the plurality of object hypotheses (230, 330, 430) is formed.

procedure according to claim 2 , wherein a respective modality of the respective sensor systems of each combination (210) is different.

procedure according to claim 2 or 3 , different first groups of sensor systems being formed from the different combinations (210) of sensor systems, each first group (330) having only the combinations (210) of sensor systems which have a specific sensor system; and based on the respective sensor data of the respective combinations (210) of sensor systems of the first group, an object hypothesis (330) of the plurality of object hypotheses (330) is formed.

procedure according to claim 2 or 3 , wherein different second groups (430) of sensor systems are formed from the different combinations (210) of sensor systems, each second group (430) only having the combinations (210) of sensor systems that a specific sensor system does not have; and based on the respective sensor data of the respective combinations (210) of sensor systems of the second group (430), an object hypothesis of the plurality of object hypotheses (430) is formed.

Method according to one of the preceding claims, wherein the plurality of sensor systems has a camera system and/or a radar system and/or a lidar system and/or an ultrasound system.

Method according to one of the preceding claims, wherein the respective quality of the object hypothesis (230, 330, 430) of the object is based on a consistency of the respective detections on which the object hypothesis (230, 330, 430) is based with a physical model of the Object of the respective object hypothesis (230, 330, 430) is determined during object tracking.

Method according to one of claims 2 until 7 , wherein the different sensor systems are combined based on features of the object, which are determined by means of sensor data from the respective sensor systems.

A method according to any one of the preceding claims, wherein the object for tracking the object is represented by a bounding box.

Method in which, based on a according to one of Claims 1 until 9 detected object, a control signal for controlling an at least partially automated vehicle and/or based on the at least one detected object, a warning signal for warning a vehicle occupant is emitted.

Method according to one of Claims 1 until 10 , traffic scenarios being evaluated based on the determined quality of the object hypotheses (230, 330, 430) in order to identify traffic scenarios that are difficult to detect with the plurality of sensor systems.

Detection device that is set up, a method according to any one of Claims 1 until 11 to perform.

Computer program, comprising instructions which, when the computer program is executed by a computer, cause the latter to carry out the method according to one of Claims 1 until 11 to execute.

Machine-readable storage medium on which the computer program Claim 13 is saved.