DE102022206131A1

DE102022206131A1 - Classifier and method for recognizing objects from sensor data based on a given class hierarchy

Info

Publication number: DE102022206131A1
Application number: DE102022206131.4A
Authority: DE
Inventors: Florian Drews; Florian Faion; Lars Rosenbaum; Koba Natroshvili; Michael Ulrich; Claudius Glaeser
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-06-20
Filing date: 2022-06-20
Publication date: 2023-12-21

Abstract

Klassifikator (1) für die Erkennung von Objekten (41, 42) aus Sensordaten (3) auf der Basis einer vorgegebenen Klassenhierarchie (2), wobei diese Klassenhierarchie (2) mindestens eine erste Ebene (100) mit abstrakten Klassen (101) sowie mindestens eine zweite Ebene (200) mit Klassen (201, 202), die Unterklassen von abstrakten Klassen (101) sind, aufweist, umfassend:• einen Merkmalsextraktor erster Stufe (11), der dazu ausgebildet ist, die Sensordaten (3) als Eingabe (10) entgegenzunehmen und auf einen ersten Satz von Merkmalen (110) abzubilden, die für die Identifizierung eines oder mehrerer Objekte (41, 42) dienlich sind;• mindestens einen Detektionskopf erster Stufe (12), der dazu ausgebildet ist, den ersten Satz von Merkmalen (110) auf einen oder mehrere Klassifikations-Scores (120) in Bezug auf eine oder mehrere Klassen (101) der ersten Ebene (100) der Klassenhierarchie (2) abzubilden;• mindestens einen Merkmalsextraktor zweiter Stufe (21), der dazu ausgebildet ist, den ersten Satz von Merkmalen (110) sowie die vom Detektionskopf erster Stufe (12) ermittelten Klassifikations-Scores (120) als Eingabe (20) entgegenzunehmen und auf einen zweiten Satz von Merkmalen (210, 230) abzubilden, die für die Unterscheidung zwischen Klassen der zweiten Ebene (201, 202) der Klassenhierarchie (2) dienlich sind; und• mindestens einen Detektionskopf zweiter Stufe (22), der dazu ausgebildet ist, den zweiten Satz von Merkmalen (210, 230) auf Klassifikations-Scores (220, 240) in Bezug auf eine oder mehrere Klassen (201, 202) der zweiten Ebene (200) der Klassenhierarchie (2) abzubilden.Classifier (1) for the recognition of objects (41, 42) from sensor data (3) based on a predetermined class hierarchy (2), this class hierarchy (2) having at least a first level (100) with abstract classes (101) and at least a second level (200) with classes (201, 202) which are subclasses of abstract classes (101), comprising: • a first level feature extractor (11) which is designed to use the sensor data (3) as input ( 10) and mapped onto a first set of features (110) which are useful for identifying one or more objects (41, 42); • at least one first-stage detection head (12), which is designed to detect the first set of Features (110) to map one or more classification scores (120) in relation to one or more classes (101) of the first level (100) of the class hierarchy (2); • at least one second level feature extractor (21), which is designed for this purpose is to accept the first set of features (110) and the classification scores (120) determined by the first stage detection head (12) as input (20) and map them onto a second set of features (210, 230) which are used for the distinction between classes of the second level (201, 202) of the class hierarchy (2) are useful; and • at least one second level detection head (22) configured to calculate the second set of features (210, 230) into classification scores (220, 240) related to one or more second level classes (201, 202). (200) of the class hierarchy (2).

Description

Die vorliegende Erfindung betrifft einen Klassifikator für die Erkennung von Objekten aus Sensordaten auf der Basis einer vorgegebenen Klassenhierarchie. Die vorliegende Erfindung betrifft ebenfalls ein Verfahren zum Betreiben eines vorgenannten Klassifikators. Die Erfindung betrifft auch ein vorgenanntes Verfahren implementierendes Computerprogramm, einen maschinenlesbaren Datenträger mit einem solchen Computerprogramm sowie einen oder mehrere Computer aufweisend das vorgenannte Computerprogramm.The present invention relates to a classifier for recognizing objects from sensor data based on a predetermined class hierarchy. The present invention also relates to a method for operating an aforementioned classifier. The invention also relates to a computer program implementing the aforementioned method, a machine-readable data carrier with such a computer program and one or more computers having the aforementioned computer program.

Stand der TechnikState of the art

Eine umfassende Erkennung und Repräsentation des Fahrzeugumfelds bildet die Grundlage für Fahrerassistenzsysteme und automatisierte Fahrfunktionen. Der zuverlässigen Detektion und Klassifikation von Objekten, wie z.B. anderen Verkehrsteilnehmern, bzw. der Umgebungssemantik kommt dabei eine besondere Bedeutung zu. Heutzutage wird eine Vielzahl an Sensoren zur Erfassung des Fahrzeugumfelds eingesetzt, die mittels Deep-Learning Techniken ausgewertet werden.Comprehensive recognition and representation of the vehicle's surroundings forms the basis for driver assistance systems and automated driving functions. The reliable detection and classification of objects, such as other road users, or the semantics of the environment are particularly important. Nowadays, a large number of sensors are used to record the vehicle's surroundings, which are evaluated using deep learning techniques.

Im Zusammenhang der Detektion von dynamischen Objekten werden Region Proposal Networks (RPNs), einer Instanz von Convolutional Neural Networks (CNNs) verwendet. Ein RPN bestimmt für festgelegte Positionen (Anker) rund um das betreffende Fahrzeug, ob sich in deren Nähe ein Objekt befindet. Dazu wird für jeden Anker ein Objectness-Score berechnet, der dessen Zuversicht für das Vorhandensein eines Objekts an dieser Position repräsentiert.In the context of the detection of dynamic objects, Region Proposal Networks (RPNs), an instance of Convolutional Neural Networks (CNNs), are used. An RPN determines whether there is an object in the vicinity of specified positions (anchors) around the vehicle in question. To do this, an objectness score is calculated for each anchor, which represents its confidence in the presence of an object at that position.

Wird derart ein Objekt in der Nähe eines Ankers detektiert wird, so schätzt das RPN zusätzlich dessen räumliche Ausdehnung in Form einer begrenzenden Box (Boundingbox). Ist darüber hinaus eine Unterscheidung der Objektklasse erwünscht (z.B. PKW, LKW, Fußgänger), kann für jeden Anker auch ein Klassen-Score berechnet werden, der die Zuversicht für das Vorhandensein eines Objekts der entsprechenden Klasse an dieser Position repräsentiert.If an object is detected near an anchor, the RPN also estimates its spatial extent in the form of a bounding box. If a distinction between the object class is also desired (e.g. car, truck, pedestrian), a class score can also be calculated for each anchor, which represents the confidence in the presence of an object of the corresponding class at this position.

Basierend auf der Grundidee des RPNs wurden zuletzt eine große Zahl Objektdetektoren vorgeschlagen. Konzeptionell können diese grob in einstufige und zweistufige Ansätze unterteilt werden. Beide Ansätze extrahieren zunächst mit einem Merkmalsextraktor Merkmale aus den Sensordaten. Ein einstufiger Objektdetektor ermittelt aus den extrahierten Merkmalen mit einem oder mehreren Detektionsköpfen direkt Boundingboxen und Klassifikations-Scores in Bezug auf eine oder mehrere Klassen. Ein zweistufiger Objektdetektor ermittelt aus den extrahierten Merkmalen zunächst klassenunabhängige Objektvorschläge mit einer ersten groben Abschätzung der Objektgröße. Anschließend werden für diese Objektvorschläge jeweils Boundingboxen und Klassifikations-Scores berechnet.Based on the basic idea of RPN, a large number of object detectors have recently been proposed. Conceptually, these can be broadly divided into one-stage and two-stage approaches. Both approaches first extract features from the sensor data using a feature extractor. A single-stage object detector uses one or more detection heads to directly determine bounding boxes and classification scores with respect to one or more classes from the extracted features. A two-stage object detector first determines class-independent object suggestions from the extracted features with an initial rough estimate of the object size. Bounding boxes and classification scores are then calculated for these object suggestions.

Offenbarung der ErfindungDisclosure of the invention

Im Rahmen der Erfindung wird zunächst ein Klassifikator für die Erkennung von Objekten aus Sensordaten auf der Basis einer vorgegebenen Klassenhierarchie vorgeschlagen. Die vorgenannte Klassenhierarchie weist dabei mindestens eine erste Ebene mit abstrakten Klassen sowie mindestens eine zweite Ebene mit Klassen, die Unterklassen von abstrakten Klassen sind, auf. Der Klassifikator umfasst dabei zumindest die im folgenden beschriebenen Komponenten.As part of the invention, a classifier for the recognition of objects from sensor data based on a predetermined class hierarchy is first proposed. The aforementioned class hierarchy has at least a first level with abstract classes and at least a second level with classes that are subclasses of abstract classes. The classifier includes at least the components described below.

Mindestens ein Merkmalsextraktor erster Stufe ist als ein Teil des Klassifikators gegeben, wobei dieser Merkmalsextraktor erster Stufe dazu ausgebildet ist, die Sensordaten als Eingabe entgegenzunehmen und auf einen ersten Satz von Merkmalen abzubilden. Die vorgenannten Merkmale sind dabei insbesondere im Rahmen der Identifizierung eines oder mehrerer Objekte in den Sensordaten von Nutzen. Weiterhin umfasst der Klassifikator mindestens einen Detektionskopf erster Stufe. Letzterer ist dazu ausgebildet, den ersten Satz von Merkmalen auf einen oder mehrere Klassifikations-Scores abzubilden, und zwar in Bezug auf eine oder mehrere Klassen der ersten Ebene der Klassenhierarchie. Des Weiteren umfasst der Klassifikator mindestens einen Merkmalsextraktor zweiter Stufe. Letzterer ist dazu ausgebildet, den ersten Satz von Merkmalen sowie die vom Detektionskopf erster Stufe ermittelten Klassifikations-Score als Eingabe entgegenzunehmen und daraufhin auf einen zweiten Satz von Merkmalen abzubilden. Dabei ist der zweite Satz von Merkmalen im Hinblick auf die Unterscheidung zwischen Klassen der zweiten Ebene der Klassenhierarchie von Nutzen. Schließlich umfasst der Klassifikator mindestens einen Detektionskopf zweiter Stufe, welcher dazu ausgebildet ist, den zweiten Satz von Merkmalen auf Klassifikations-Scores abzubilden, die sich auf eine oder mehrere Klassen der zweiten Ebene der Klassenhierarchie beziehen.At least one first-level feature extractor is provided as part of the classifier, this first-level feature extractor being designed to accept the sensor data as input and map it onto a first set of features. The aforementioned features are particularly useful in the context of identifying one or more objects in the sensor data. Furthermore, the classifier includes at least one first-stage detection head. The latter is designed to map the first set of features to one or more classification scores with respect to one or more classes of the first level of the class hierarchy. Furthermore, the classifier includes at least one second-level feature extractor. The latter is designed to accept the first set of features and the classification score determined by the first stage detection head as input and then map them onto a second set of features. The second set of characteristics is useful in terms of distinguishing between classes at the second level of the class hierarchy. Finally, the classifier includes at least one second-stage detection head, which is designed to map the second set of features to classification scores that relate to one or more classes of the second level of the class hierarchy.

In der oben erläuterten Taxonomie der Objektdetektoren gehört der hier vorgeschlagene Klassifikator zu den einstufigen Objektdetektoren, denn beide Detektionsköpfe bilden jeweils extrahierte Merkmale unmittelbar auf Klassifikations-Scores ab, ohne zunächst einen klassenunabhängigen Objektvorschlag zu generieren. Im Unterschied zu den bisherigen einstufigen Objektdetektoren lässt sich jedoch eine Klassenhierarchie nutzen, die eine große Bandbreite an Abstraktionsniveaus von „sehr abstrakt“ zu „sehr konkret“ abdecken. Insbesondere kann die Klassenhierarchie auch so abstrakte Klassen enthalten, dass immer dann, wenn überhaupt ein Objekt vorhanden ist, eine dieser abstrakten Klassen mit hoher Wahrscheinlichkeit auf das Objekt passt. Dies wiederum bedeutet, dass das Objekt mit hoher Wahrscheinlichkeit überhaupt erkannt wird.In the taxonomy of object detectors explained above, the classifier proposed here is one of the single-stage object detectors, because both detection heads map extracted features directly onto classification scores without first generating a class-independent object proposal. In contrast to previous single-stage object detectors, however, a class hierarchy can be used that covers a wide range of abstraction levels from “very abstract” to “very concrete”. In particular The class hierarchy can also contain such abstract classes that whenever an object exists at all, one of these abstract classes has a high probability of matching the object. This in turn means that there is a high probability that the object will be detected at all.

Wenn hingegen nur eine rudimentäre Klassenhierarchie oder sogar nur eine einzige Ebene mit sehr speziellen Klassen verwendet wird, kann es vorkommen, dass keine der verfügbaren Klassen auf das Objekt passt. Ein Objektdetektor vergibt dann in Bezug auf all diese Klassen jeweils sehr niedrige Klassifikations-Scores bis hin zu Null. Dies sind genau die gleichen Klassifikations-Scores, die der Objektdetektor vergeben würde, wenn gar kein Objekt vorhanden wäre. Dementsprechend schätzt der Objektdetektor für Objekte, die in keine verfügbare Klasse passen, auch keine Boundingbox und betrachtet sie im Folgenden als nicht existent (False Negative). Im Rahmen der Umfeldüberwachung von Fahrzeugen kann sich hieraus ein großes Sicherheitsrisiko ergeben, weil ein Bereich fälschlicherweise als „frei von Objekten“ behandelt wird. In diesem Zusammenhang können beispielsweise die Klassen „Car“ und „Van“ angeführt werden, die in vielen Datensätzen getrennt annotiert sind. In der Realität ist die Ähnlichkeit aber so hoch, dass die Unterscheidung nicht immer möglich, und selbst in den Annotationen nicht immer konsistent ist. Ein einstufiger Detektor könnte dann beispielsweise einen Van als „kein Objekt“ klassifizieren und würde daraufhin das tatsächliche Vorhandensein des Van ignorieren. Der hier vorgeschlagene Klassifikator kann bessere Klassenhierarchien verarbeiten, mit denen dieses Risiko vermindert werden kann.However, if only a rudimentary class hierarchy or even a single level of very specific classes is used, it may happen that none of the available classes fit the object. An object detector then assigns very low classification scores, up to zero, for all of these classes. These are exactly the same classification scores that the object detector would assign if there were no object present. Accordingly, the object detector does not estimate a bounding box for objects that do not fit into any available class and subsequently considers them to be non-existent (false negative). When monitoring the surroundings of vehicles, this can result in a major safety risk because an area is incorrectly treated as “free of objects”. In this context, for example, the classes “Car” and “Van” can be mentioned, which are annotated separately in many data sets. In reality, however, the similarity is so high that the distinction is not always possible and is not always consistent even in the annotations. A single-stage detector could then, for example, classify a van as “not an object” and would then ignore the actual presence of the van. The classifier proposed here can handle better class hierarchies that can reduce this risk.

Dabei stehen beiden Detektionsköpfen des Klassifikators alle vom Merkmalsextraktor extrahierten Merkmale zur Verfügung. Der Detektionskopf zweiter Stufe erhält also nicht weniger Information als der Detektionskopf erster Stufe, sondern sogar mehr, denn er bekomm ja auch die vom Detektionskopf erster Stufe ermittelten Klassifikations-Scores. Dabei kann der Detektionskopf erster Stufe noch kein Objekt endgültig in dem Sinne „aussortieren“, dass der Detektionskopf zweiter Stufe es auf keinen Fall mehr erkennt. Sollte also beispielsweise ein Detektionskopf erster Stufe ein Van mit einem Boot auf dem Dachgepäckträger fälschlicherweise nicht mehr in die abstrakte Klasse „Fahrzeug“ einordnen, hat der Detektionskopf zweiter Stufe immer noch die Chance, auf Grund der speziellen Merkmale von Vans das Fahrzeug in die Klasse „Van“ einzusortieren.All features extracted by the feature extractor are available to both detection heads of the classifier. The second-stage detection head does not receive less information than the first-stage detection head, but rather more, because it also receives the classification scores determined by the first-stage detection head. The first-stage detection head cannot yet definitively “sort out” an object in the sense that the second-stage detection head no longer recognizes it under any circumstances. For example, if a first-level detection head incorrectly no longer classifies a van with a boat on the roof rack in the abstract class "Vehicle", the second-level detection head still has the chance to classify the vehicle in the "Vehicle" class due to the special characteristics of vans. “Van” to sort.

Der vorstehend und im folgenden beschriebene Klassifikator ist damit dazu ausgebildet, den gesamten Ausgang einer Stufe, umfassend einen innerhalb der jeweiligen Stufe berechneten Satz von Merkmale sowie die korrespondierenden Klassifikations-Scores, an die folgende Stufe weiterzugeben. Es findet demnach ausdrücklich weder eine Auswahl von Objekten, noch ein objektspezifisches Clustern von Merkmalen statt. Das hat insbesondere den signifikanten Vorteil, dass potentielle „False Negatives“ einer Vorgängerstufe auch noch in folgenden Stufen korrigiert werden können.The classifier described above and below is therefore designed to pass on the entire output of a stage, comprising a set of features calculated within the respective stage as well as the corresponding classification scores, to the following stage. There is therefore expressly neither a selection of objects nor an object-specific clustering of features. This has the particular significant advantage that potential “false negatives” from a previous stage can also be corrected in subsequent stages.

Weiterhin ist es bei dem hier vorgeschlagenen Klassifikator möglich, sowohl die erste als auch die zweite - und alle potentiell nachfolgenden - Stufen als Convolutional Neural Network zu implementieren. Gegenüber zweistufigen Ansätzen mit klassenunabhängigem Objektvorschlag in der ersten Stufe und Klassifikation in der zweiten Stufe, welche in der zweiten Stufe notwendigerweise auf Fully Connected Networks basieren, ist der hier vorgestellte Ansatz deutlich effizienter hinsichtlich benötigter Rechenzeiten und damit insbesondere günstiger unter dem Gesichtspunkt von Zeit- und Kostenaufwand.Furthermore, with the classifier proposed here, it is possible to implement both the first and second - and all potentially subsequent - stages as a convolutional neural network. Compared to two-stage approaches with class-independent object proposal in the first stage and classification in the second stage, which are necessarily based on fully connected networks in the second stage, the approach presented here is significantly more efficient in terms of required computing times and therefore particularly cheaper from the point of view of time and Cost expenditure.

Gemäß einer beispielhaften Ausführungsform umfasst der Klassifikator weiterhin mindestens einen Merkmalsextraktor dritter Stufe. Letzterer ist wiederum dazu ausgebildet, den zweiten Satz von Merkmalen sowie die vom Detektionskopf zweiter Stufe ermittelten Klassifikations-Scores als Eingabe entgegenzunehmen und daraufhin auf einen dritten Satz von Merkmalen abzubilden. Letztgenannte dritte Merkmale sind dabei für die Unterscheidung zwischen Klassen einer dritten Ebene der Klassenhierarchie dienlich. Weiterhin umfasst der Klassifikator in der hier beschriebenen Ausführungsform mindestens einen Detektionskopf dritter Stufe. Der Detektionskopf dritter Stufe ist dabei dazu ausgebildet, den dritten Satz von Merkmalen auf Klassifikations-Scores in Bezug auf eine oder mehrere Klassen der dritten Ebene der Klassenhierarchie abzubilden.According to an exemplary embodiment, the classifier further comprises at least one third-stage feature extractor. The latter is in turn designed to accept the second set of features and the classification scores determined by the second-stage detection head as input and then map them onto a third set of features. The latter third features are useful for distinguishing between classes on a third level of the class hierarchy. Furthermore, the classifier in the embodiment described here comprises at least one third-stage detection head. The third-stage detection head is designed to map the third set of features to classification scores in relation to one or more classes of the third level of the class hierarchy.

Mittels des vorgeschlagene Klassifikators lässt sich damit beispielsweise eine Klassenhierarchie implementieren, welche in einer ersten Stufe alle Verkehrsteilnehmer - unabhängig von ihrem Typ - detektiert und lediglich als solche, d.h. als „Verkehrsteilnehmer“, klassifiziert. Erst in der zweiten Stufe kann daraufhin eine feinere Klassifikation bzw. Einteilung der als „Verkehrsteilnehmer“ in der ersten Stufe klassifizierten Objekte in z.B. „Fahrzeug“ und „Fußgänger“ vorgenommen werden. Eine weitere Verfeinerung der Einteilung kann in einer folgenden, dritten Stufe vorgenommen werden; z.B. in dem an diesem Punkt eine Einteilung von zuvor als „Fahrzeug“ klassifizierten Objekten in „PKW“ und „LKW“ durchgeführt wird. Andere Klassen sind hier, jedoch auch in allen anderen Stufen denkbar: z.B. kann in einer dritten Stufe zunächst eine Einteilung in „vierrädriges Fahrzeug“ und „2- oder 3-rädrige Fahrzeuge“ erfolgen. In einer folgenden, z.B. vierten Stufe könnte daraufhin die Klasse „vierrädriges Fahrzeug“ weiter verfeinert werden in beispielsweise „PKW“ und „LKW“.Using the proposed classifier, a class hierarchy can be implemented, for example, which in a first stage detects all road users - regardless of their type - and only classifies them as such, ie as “road users”. Only in the second stage can a finer classification or division of the objects classified as “road users” in the first stage into, for example, “vehicle” and “pedestrians” be carried out. A further refinement of the classification can be carried out in a subsequent, third stage; e.g. by dividing objects previously classified as “vehicles” into “cars” and “trucks” at this point. Other classes are conceivable here, but also in all other levels: for example, in a third level, a division into “four-wheeled vehicle” and “2- or 3-wheeled vehicle” can be made Vehicles”. In a subsequent, for example fourth stage, the class “four-wheeled vehicle” could then be further refined into, for example, “car” and “truck”.

Das Training eines oben und im folgenden beschriebenen Klassifikators kann in jeder Stufe durch eine eigene Kostenfunktion kontrolliert werden. Dadurch kann in vorteilhafter Weise die Stabilität des Trainings erhöht werden.The training of a classifier described above and below can be controlled at each stage by its own cost function. This can advantageously increase the stability of the training.

Weiterhin vorteilhaft ist, dass sich durch die Unterteilung in Stufen die Komplexität des Klassifikators nur langsam erhöht. Die ersten Stufen sowie deren Klassifikations-Scores weisen dabei eine geringere Komplexität und damit eine höhere Generalisierungsfähigkeit und Robustheit gegenüber Änderungen in den Eingangsdaten auf. Damit kann es beispielsweise möglich sein, ein Objekt weiterhin als „Verkehrsteilnehmer“ zu erkennen, auch wenn eine Unterscheidung, ob es sich um einen PKW oder LKW handelt aufgrund der Eingangsdaten nicht möglich ist.It is also advantageous that the complexity of the classifier only increases slowly due to the division into stages. The first stages and their classification scores have a lower complexity and therefore a higher generalization ability and robustness to changes in the input data. This makes it possible, for example, to continue to recognize an object as a “road user”, even if it is not possible to distinguish whether it is a car or a truck based on the input data.

Eine weitere Idee im Rahmen des hier vorgeschlagenen Klassifikators besteht darin, dass zur Einleitung sicherheitsrelevanter oder sicherheitskritischer Aktionen innerhalb eines Systems, welches unter anderem einen hier beschriebenen Klassifikator zur Erkennung von Objekten aus Sensordaten - welche das Umfeld des Systems erfassen - aufweist, nicht die genaue Kenntnis der Art eines Objekts wie „PKW“ oder „Fahrrad“ von Bedeutung ist, sondern das bloße Vorhandensein eines Objekts im Umfeld („Verkehrsteilnehmer“). Ob ein Objekt („Verkehrsteilnehmer“) im Umfeld vorhanden ist, wird innerhalb der ersten Stufe des Klassifikators ermittelt. Diese schnell vorliegende Information kann zur Beurteilung der Notwendigkeit für die Einleitung sicherheitsrelevanter Aktionen herangezogen werden, und nicht die Information einer späteren Stufe, welche angibt, dass es sich um einen Fußgänger, Fahrradfahrer oder PKW handelt. D.h., für die Sicherheit entscheidende Daten werden durch den hier beschriebenen Klassifikator schnell bereitgestellt, und nicht erst nach einer verfeinerten Klassifikation. Das (Zwischen-) Ergebnis der ersten Stufe hat damit einen Wert für nachgelagerte Fahrfunktionen, da es die Positionen mit potentiell relevanten Verkehrsteilnehmern repräsentiert. Weiterhin können die Ergebnisse aus Merkmalen und Klassifikations-Scores der ersten Stufe besonders robust und verlässlich sein, denn bei der alleinigen Klassifikation eines Objekts als „Verkehrsteilnehmer“ innerhalb der ersten Stufe des Klassifikators ist das Problem von Ambiguitäten im Training (wie etwa „PKW“ oder „Van“) und daraus resultierenden „False negatives“ nicht gegeben.Another idea within the framework of the classifier proposed here is that in order to initiate safety-relevant or safety-critical actions within a system which, among other things, has a classifier described here for recognizing objects from sensor data - which record the system's environment - there is no precise knowledge the type of object such as “car” or “bicycle” is important, but rather the mere presence of an object in the environment (“road user”). Whether an object (“road user”) is present in the environment is determined within the first stage of the classifier. This quickly available information can be used to assess the need to initiate safety-related actions, rather than the information at a later stage that indicates that it is a pedestrian, cyclist or car. This means that data that is crucial for security is provided quickly by the classifier described here, and not only after a refined classification. The (intermediate) result of the first stage therefore has value for downstream driving functions, as it represents the positions with potentially relevant road users. Furthermore, the results from features and classification scores of the first level can be particularly robust and reliable, because when solely classifying an object as a “road user” within the first level of the classifier, the problem of ambiguities in training (such as “car” or “Van”) and the resulting “false negatives” are not given.

Gemäß einer beispielhaften Ausführungsform ist ein hier beschriebener Klassifikator dazu ausgebildet, den ersten Satz von Merkmalen und die vom Detektionskopf erster Stufe ermittelten Klassifikations-Scores, bzw. den zweiten Satz von Merkmalen und die vom Detektionskopf zweiter Stufe ermittelten Klassifikations-Scores, als konkatenierte zweidimensionale Karte an den Merkmalsextraktor zweiter Stufe, bzw. dritter Stufe, zu übermitteln.According to an exemplary embodiment, a classifier described here is designed to display the first set of features and the classification scores determined by the first-stage detection head, or the second set of features and the classification scores determined by the second-stage detection head, as a concatenated two-dimensional map to the second level or third level feature extractor.

Jeder folgenden Stufe stehen also alle innerhalb der korrespondierenden Vorgängerstufe ermittelten Merkmale und Klassifikations-Scores zur Verfügung. Damit können Fehler einer Vorgängerstufe durch den Merkmalsextraktor und/oder den Detektionskopf der folgenden oder allgemein einer folgenden Stufe korrigiert werden und es kommt nicht zu einem Informationsverlust hinsichtlich der Merkmale, auf deren Grundlage die Detektionsköpfe jeweils entsprechende Klassifikations-Scores ermitteln.All characteristics and classification scores determined within the corresponding previous level are available to each subsequent level. This means that errors from a previous stage can be corrected by the feature extractor and/or the detection head of the following or generally a subsequent stage and there is no loss of information regarding the features on the basis of which the detection heads determine corresponding classification scores.

Weiterhin ist es möglich, dass in einem Fall, in dem durch den Klassifikator in einer gegebenen Stufe kein der Stufe entsprechendes Merkmal zu einem Objekt bestimmt werden kann, das Merkmal der vorhergehenden Stufe als Merkmal auch in der gegebenen Stufe wiederverwendet wird. So kann unter anderem das Problem nicht identifizierter Objekte („False Negatives“) behoben werden.Furthermore, it is possible that in a case in which no feature corresponding to the level can be determined for an object by the classifier in a given level, the feature of the previous level is also reused as a feature in the given level. Among other things, this can solve the problem of unidentified objects (“false negatives”).

Gemäß einer beispielhaften Ausführungsform ist ein hier beschriebener Klassifikator dazu ausgebildet, Objekte aus Bildern und/oder Punktwolken als Sensordaten zu erkennen. In diesem Zusammenhang kann es sich insbesondere um Kamera-, Radar-, LiDAR-, Ultraschallsensordaten oder Kombinationen hiervon handeln. Diese Sensordaten werden insbesondere für die Umfeldüberwachung von Fahrzeugen eingesetzt.According to an exemplary embodiment, a classifier described here is designed to recognize objects from images and/or point clouds as sensor data. In this context, it can in particular be camera, radar, LiDAR, ultrasonic sensor data or combinations thereof. This sensor data is used in particular for monitoring the surroundings of vehicles.

Gemäß einer beispielhaften Ausführungsform des hier beschriebenen Klassifikators bezieht sich mindestens eine Klasse der ersten Ebene der Klassenhierarchie auf Verkehrsteilnehmer als Objekte. Weiterhin beziehen sich gemäß dieser Ausführungsform Klassen der zweiten Ebene der Klassenhierarchie auf Typen von Verkehrsteilnehmern, wie beispielsweise Fahrzeuge und Fußgänger. Wie zuvor erläutert, ist dadurch die Wahrscheinlichkeit erhöht, dass jeder Verkehrsteilnehmer gleich welcher Art zumindest als „Verkehrsteilnehmer“ erkannt und das von ihm belegte Raumgebiet nicht etwa als „frei befahrbar“ eingestuft wird.According to an exemplary embodiment of the classifier described here, at least one class of the first level of the class hierarchy relates to road users as objects. Furthermore, according to this embodiment, classes of the second level of the class hierarchy relate to types of road users such as vehicles and pedestrians. As explained above, this increases the likelihood that every road user, regardless of type, will at least be recognized as a “road user” and that the area they occupy will not be classified as “freely navigable”.

Gemäß einer beispielhaften Ausführungsform beziehen sich weiterhin Klassen der dritten Ebene der Klassenhierarchie auf Typen von Fahrzeugen, wie etwa PKW und LKW. Diese Unterscheidung ist beispielsweise in Bezug auf die Größe des Fahrzeugs, aber auch in Bezug auf das Fahrverhalten relevant. So haben LKW etwa eine wesentlich größere Massenträgheit und müssen vor der Fahrt um eine enge Kurve in der Gegenrichtung ausholen.According to an exemplary embodiment, classes of the third level of the class hierarchy also refer to types of vehicles such as cars and trucks. This distinction is relevant, for example, with regard to the size of the vehicle, but also with regard to driving behavior. Trucks, for example, have an essential greater inertia and have to swing in the opposite direction before driving around a tight curve.

Gemäß einer beispielhaften Ausführungsform ist der Klassifikator weiterhin zusätzlich als Objektdetektor ausgebildet. Zu diesem Zweck ist mindestens ein Detektionskopf des Klassifikators dazu ausgeführt, zusätzlich eine Schätzung für die Position, Größe, Orientierung, Geschwindigkeit, Farbe und/oder weitere Objektparameter mindestens eines Objekts, auf dessen Vorhandensein die Sensordaten hindeuten, zu ermitteln.According to an exemplary embodiment, the classifier is also additionally designed as an object detector. For this purpose, at least one detection head of the classifier is designed to additionally determine an estimate for the position, size, orientation, speed, color and/or other object parameters of at least one object, the presence of which is indicated by the sensor data.

In diesem Zusammenhang werden insbesondere keine vordefinierten Boundingboxen für Objekte verwendet und damit auch nicht - beispielsweise in der ersten Stufe - Schätzungen hinsichtlich der Abweichung der Objekte von der Größe einer vordefinierten Boundingbox angegeben. Stattdessen können bei dem hier vorgestellten Klassifikator beispielsweise priore Bounding-Boxen im Training durch geeignete Zielfunktionen (Losses) für jede Stufe individuell mitgelernt werden. Im Rahmen des Trainings können dann z.B. in der ersten Stufe elementare Eigenschaften aller relevanten Verkehrsteilnehmer gelernt werden. Dazu zählt beispielsweise zum einen deren Vorhandensein, und zum anderen deren ungefähre Position. In der zweiten Stufe kann diese Schätzung korrigiert und gegebenenfalls noch weitere Parameter wie beispielsweise Länge und Breite geschätzt werden. Neben den Regeressionsparametern für eine Bounding-Box können Korrektur-Deltas auch für den Klassen-Score verwendet werden.In this context, in particular, no predefined bounding boxes are used for objects and therefore no estimates are given - for example in the first stage - regarding the deviation of the objects from the size of a predefined bounding box. Instead, with the classifier presented here, for example, prior bounding boxes can be learned individually for each stage during training using suitable target functions (losses). As part of the training, for example, in the first stage, elementary characteristics of all relevant road users can be learned. This includes, for example, their presence and their approximate position. In the second stage, this estimate can be corrected and, if necessary, additional parameters such as length and width can be estimated. In addition to the regression parameters for a bounding box, correction deltas can also be used for the class score.

Gemäß einer beispielhaften Ausführungsform ist der Detektionskopf der zweiten und/oder dritten Stufe weiterhin dazu ausgebildet, eine vom Detektionskopf der ersten bzw. zweiten Stufe ermittelte Schätzung für die Objektparameter mindestens eines Objekts zu präzisieren.According to an exemplary embodiment, the detection head of the second and/or third stage is further designed to specify an estimate for the object parameters of at least one object determined by the detection head of the first or second stage.

Damit kann die Verfeinerung der Klassifikation mit einer Verfeinerung der Schätzung von Objektparametern in höheren Stufen des als Objektdetektor ausgebildeten Klassifikators einhergehen. In niedrigen Stufen ermittelte Objektparameter können durch eine grobe Schätzung gegeben sein. Eine Verfeinerung/Verbesserung der Schätzung kann erst in nachfolgenden Stufen durchgeführt werden. Für ein Auslösen sicherheitsrelevanter Aktionen können z.B. nur die schnell verfügbaren und grob geschätzten Zwischenergebnisse der ersten Stufe des Klassifikators herangezogen werden. In diesem Zusammenhang kann beispielsweise auch festgelegt werden, das bestimmte Objekte nur bis zu einer vorgegebenen Stufe betrachtet werden sollen, da sie z.B. aufgrund eines großen Abstands nicht relevant sind.This means that the refinement of the classification can be accompanied by a refinement of the estimation of object parameters in higher levels of the classifier designed as an object detector. Object parameters determined at low levels can be given by a rough estimate. A refinement/improvement of the estimate can only be carried out in subsequent stages. For example, only the quickly available and roughly estimated intermediate results of the first stage of the classifier can be used to trigger safety-relevant actions. In this context, it can also be specified, for example, that certain objects should only be viewed up to a specified level, since they are not relevant, for example due to a large distance.

Es ist beispielsweise auch möglich, die durch die Klassenhierarchie implementierte Aufteilung in Stufen unterschiedlicher Granularität zur Skalierung zu verwenden, indem beispielsweise in großer Entfernung nur die ersten Stufen des Detektors berechnet werden um generell Verkehrsteilnehmer zu detektieren und nur nähergelegene - und damit eventuelle sicherheitsrelevante bzw. allgemein für das den Klassifikator umfassende System relevante Verkehrsteilnehmer durch weitere Stufen der Klassenhierarchie klassifiziert werden.For example, it is also possible to use the division into levels of different granularity implemented by the class hierarchy for scaling, for example by only calculating the first levels of the detector at a large distance in order to generally detect road users and only those that are closer - and thus possibly safety-relevant or general Road users relevant to the system comprising the classifier are classified through further levels of the class hierarchy.

Weiterhin können innerhalb des hier vorgeschlagenen Klassifikators bzw. Objektdetektors verschiedene klassen-induzierte Anforderungen an die Merkmalsextraktoren unterschiedlicher Stufen innerhalb eines einzigen Netzwerks umgesetzt werden. So ist es beispielsweise möglich, eine Auflösung bzw. Genauigkeit bei der Schätzung von Objektparametern für Fahrzeuge und Fußgänger unterschiedlich festzulegen. Ähnlich kann eine Auflösung bzw. Genauigkeit bei der Schätzung von Objektparametern auch in Abhängigkeit der ermittelten Distanz des jeweiligen Objekts von den Sensoren festgelegt werden, wobei dies beispielsweise wiederum in Abhängigkeit der bereits ermittelten Klassifikation (z.B. „Fußgänger“, „Fahrradfahrer“, „LKW“ etc.) geschehen kann. Furthermore, within the classifier or object detector proposed here, different class-induced requirements for the feature extractors of different levels can be implemented within a single network. For example, it is possible to set a different resolution or accuracy when estimating object parameters for vehicles and pedestrians. Similarly, a resolution or accuracy when estimating object parameters can also be determined depending on the determined distance of the respective object from the sensors, for example depending on the classification that has already been determined (e.g. "pedestrian", "bicyclist", "truck") etc.) can happen.

Gemäß einer beispielhaften Ausführungsform ist der hier beschriebene Klassifikator vollständig als faltendes neuronales Netzwerk ausgebildet, welches eine Vielzahl von Faltungsschichten aufweist. Jede der Faltungsschichten generiert dabei aus ihrer jeweiligen Eingabe durch gleitendes Anwenden eines oder mehrerer Filterkerne Merkmalskarten.According to an exemplary embodiment, the classifier described here is designed entirely as a convolutional neural network which has a plurality of convolution layers. Each of the convolution layers generates feature maps from its respective input by smoothly applying one or more filter kernels.

Die hat beispielsweisem den Vorteil, dass im Gegensatz zu herkömmlichen zweistufigen Objektdetektoren ein aufwändiges Rol (Region of interest)-Pooling entfällt. Der Verzicht auf Rols führt vorteilhafter Weise dazu, dass jede Stufe Zugriff auf die vollständige Information aus ihrer jeweiligen vorherigen Stufe hat. Dadurch können, wie bereits weiter oben angemerkt, in einer Stufe übersehene Objekte von einer späteren Stufe erkannt werden.For example, this has the advantage that, in contrast to conventional two-stage object detectors, there is no need for complex role (region of interest) pooling. The elimination of Rols advantageously means that each stage has access to the complete information from its respective previous stage. As already noted above, this means that objects overlooked in one stage can be recognized by a later stage.

Weiterhin bezieht sich die hier vorgestellte Erfindung auch auf ein Verfahren zum Betreiben eines oben und im Folgenden beschriebenen Klassifikators und/oder Objektdetektors. Das Verfahren umfasst dabei zumindest die im Folgenden dargelegten Schritte. In einem ersten Verfahrensschritt werden dem Klassifikator Sensordaten zugeführt, die durch eine Beobachtung des Umfelds eines Fahrzeugs oder Roboters mit mindestens einem Sensor aufgenommen wurden. In einem weiteren Verfahrensschritt wird aus den ermittelten Klassifikations-Score und/oder den ermittelten Objektparametern, welche jeweils durch Detektionsköpfe mehrerer Stufen ermittelt worden sein können, ein Ansteuersignal gebildet. Daraufhin wird das Fahrzeug oder der Roboter in einem weiteren Verfahrensschritt mit dem Ansteuersignal angesteuert.Furthermore, the invention presented here also relates to a method for operating a classifier and/or object detector described above and below. The procedure includes at least the steps set out below. In a first method step, the classifier is supplied with sensor data that was recorded by observing the environment of a vehicle or robot with at least one sensor. In a further method step, the determined classification score and/or the determined object parameters, which can each have been determined by detection heads of several stages, a control signal is formed. The vehicle or robot is then controlled with the control signal in a further process step.

Gemäß einer beispielhaften Ausführungsform ist die Bildung des vorgenannten Ansteuersignals darauf gerichtet, in Abhängigkeit des Vorhandenseins und der geschätzten Position von Verkehrsteilnehmern ein die Sicherheit wahrendes und/oder erhöhendes Fahrmanöver einzuleiten. Ein derartiges Fahrmanöver kann beispielsweise in einer (Voll-)Bremsung, einer Beschleunigung, einer Kurvenfahrt oder aber auch dem Spurhalten bei unverminderter Geschwindigkeit bestehen.According to an exemplary embodiment, the formation of the aforementioned control signal is aimed at initiating a safety-preserving and/or increasing driving maneuver depending on the presence and the estimated position of road users. Such a driving maneuver can, for example, consist of (full) braking, acceleration, cornering or even keeping in lane at an undiminished speed.

Beispielsweise kann es im Rahmen des hier vorgeschlagenen Verfahrens auch vorgesehen sein, dass abhängig von den ermittelten Merkmalen und Objektparametern und/oder der Distanz des Objekts zu den Sensoren Merkmale und Objektparameter einer vorhergehenden Stufe in höherer Auflösung an eine folgende Stufe weitergegeben werden.For example, within the scope of the method proposed here, it can also be provided that, depending on the determined features and object parameters and/or the distance of the object to the sensors, features and object parameters of a previous stage are passed on to a subsequent stage in higher resolution.

Gemäß einer beispielhaften Ausführungsform werden innerhalb eines hier vorgeschlagenen Verfahrens höhere Stufen des Klassifikators und/oder Objektdetektors nur auf diejenigen Objekte in den Sensordaten angewandt, welche sich innerhalb eines vorgegebenen Abstands von den aufnehmenden Sensoren befinden. Weiter entfernte Objekte werden dagegen nur in den ersten Stufen - beispielsweise lediglich in der ersten, oder in der ersten und der zweiten Stufe - des Klassifikators bzw. Objektdetektors berücksichtigt.According to an exemplary embodiment, within a method proposed here, higher levels of the classifier and/or object detector are only applied to those objects in the sensor data that are within a predetermined distance from the recording sensors. Objects that are further away, on the other hand, are only taken into account in the first stages - for example only in the first, or in the first and second stages - of the classifier or object detector.

Ein signifikanter Vorteil ist dabei eine Rechenzeit-Ersparnis. Beispielsweise kann die benötigte Rechenzeit für die Ausführung des Klassifikators flexibel den Anforderungen der Anwendung angepasst werden. Dazu können die Berechnungen an einer beliebigen Stufe der Klassenhierarchie beendet werden, sofern eine feingranulare Unterteilung der Klassen nicht benötigt wird. Ein Anwendungsbeispiel ist in diesem Zusammenhang die Notbremsfunktion. Hierbei ist es wichtig Fahrzeuge mit geringer Latenz erfassen zu können, um gegebenenfalls schnell eine Notbremsung einzuleiten. Um welche Art Fahrzeug es sich hier genau handelt (PKW, LKW, Van, etc.), spielt keine oder nur eine untergeordnete Rolle.A significant advantage is a saving in computing time. For example, the computing time required to execute the classifier can be flexibly adapted to the requirements of the application. For this purpose, the calculations can be ended at any level of the class hierarchy, provided that a fine-grained division of the classes is not required. An application example in this context is the emergency braking function. It is important to be able to detect vehicles with low latency in order to quickly initiate emergency braking if necessary. What type of vehicle it is exactly (car, truck, van, etc.) plays no or only a minor role.

Ein weiterer Vorteil des hier vorgeschlagenen Klassifikators besteht darin, dass die modellierte Klassenhierarchie auf Daten ohne Annotationen plausibilisiert werden kann. Damit können unter anderem auch in vorteilhafter Weise Lücken in der Klassenhierarchie und damit bisher unbekannte Objekt identifiziert werden. Z.B. wird ein Objekt wird als Fahrzeug klassifiziert. Wenn es keiner darunterliegenden Klasse eindeutig zugeordnet werden kann (PKW, LKW) liegt es nahe, dass es sich um ein Objekt handelt, das nicht in der Klassenhierarchie erfasst ist. In diesem Beispiel würde dies auf einen Van oder ein dreirädriges Fahrzeug zutreffen.Another advantage of the classifier proposed here is that the modeled class hierarchy can be checked for plausibility on data without annotations. This makes it possible, among other things, to advantageously identify gaps in the class hierarchy and thus previously unknown objects. For example, an object is classified as a vehicle. If it cannot be clearly assigned to a class below (car, truck), it is obvious that it is an object that is not included in the class hierarchy. In this example, this would apply to a van or three-wheeled vehicle.

Weiterhin bezieht sich die Erfindung auf ein Computerprogramm mit maschinenlesbaren Anweisungen, welche, wenn sie auf einem oder mehreren Computern und/oder Compute-Instanzen ausgeführt werden, den oder die Computer bzw. Compute-Instanzen zu einem vorbeschriebenen Klassifikator und/oder Objektdetektor aufwerten und/oder dazu veranlassen, ein zuvor und im folgenden beschriebenes erfindungsgemäßes Verfahren auszuführen. Ebenfalls umfasst die Erfindung einen maschinenlesbaren Datenträger, auf welchem das vorstehende Computerprogramm gespeichert ist, sowie einen mit vorgenanntem Computerprogramm oder vorgenanntem maschinenlesbaren Datenträger ausgerüsteten Computer.Furthermore, the invention relates to a computer program with machine-readable instructions which, when executed on one or more computers and/or compute instances, upgrade the computer(s) or compute instances to a pre-described classifier and/or object detector and/or or cause to carry out a method according to the invention described above and below. The invention also includes a machine-readable data carrier on which the above computer program is stored, as well as a computer equipped with the aforementioned computer program or the aforementioned machine-readable data carrier.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are shown in more detail below together with the description of the preferred exemplary embodiments of the invention using figures.

AusführungsbeispieleExamples of embodiments

Es zeigt:

1A eine beispielshafte Ausführungsform eines Klassifikators zur Objekterkennung auf der Basis einer vorgegebenen Klassenhierarchie;
1B eine beispielhafte Ausführungsform einer Klassenhierarchie;
2 eine beispielhafte Ausführungsform für ein Verfahren zum Betreiben eines hier vorgeschlagenen Klassifikators.

It shows:

1A an exemplary embodiment of a classifier for object recognition based on a predetermined class hierarchy;
1B an exemplary embodiment of a class hierarchy;
2 an exemplary embodiment of a method for operating a classifier proposed here.

1A zeigt ein Ausführungsbeispiel eines Klassifikators 1 für die Erkennung von Objekten 41, 42 aus Sensordaten 3. Die Sensordaten 3 können mittels mindestens eines Sensors 401 aufgenommen worden sein, wobei ein solcher Sensor beispielsweise in einem Fahrzeug 40 mitgeführt wird. Der mindestens eine Sensor 401 kann jedoch beispielsweise auch an einem Roboter installiert sein. Insbesondere kann es sich bei dem mindestens einen Sensor 401 um einen Kamera-, Radar-, LiDAR-, oder Ultraschallsensor handeln. Beim Vorliegen mehrerer Sensoren kann es sich um eine Kombination von Sensoren desselben Typs oder auch unterschiedlicher, vorgenannter Sensor-Typen handeln. Die Sensordaten 3 können als Bilder und/oder Punktwolken vorliegen oder es können Bilder und/oder Punktwolken aus den Sensordaten erzeugt werden. 1A shows an exemplary embodiment of a classifier 1 for the recognition of objects 41, 42 from sensor data 3. The sensor data 3 can have been recorded using at least one sensor 401, such a sensor being carried in a vehicle 40, for example. However, the at least one sensor 401 can also be installed on a robot, for example. In particular, the at least one sensor 401 can be a camera, radar, LiDAR or ultrasonic sensor. If there are several sensors, it can be a combination of sensors of the same type or of different sensor types mentioned above. The sensor data 3 can be present as images and/or point clouds or they can be images and/or point clouds are generated from the sensor data.

Die Erkennung der Objekte 41, 42 durch den Klassifikator 1 wird auf Basis einer vorgegebenen Klassenhierarchie 2 durchgeführt, wobei letztere mindestens eine erste Ebene 100 mit abstrakten Klassen 101 sowie mindestens eine zweite Ebene 200 mit Klassen 201, 202, welche Unterklassen von abstrakten Klassen 101 sind, aufweist. Der Klassifikator umfasst dabei zumindest die im Folgenden beschriebenen Komponenten. Ein Merkmalsextraktor erster Stufe 11 ist als Teil des Klassifikators 1 dazu ausgebildet, die Sensordaten 3 als Eingabe 10 entgegenzunehmen und daraufhin auf einen Satz von Merkmalen 110 abzubilden. Vorgenannte Merkmale sind dabei insbesondere für die Identifizierung eines oder mehrerer Objekte 41, 42 dienlich. Weiterhin umfasst der Klassifikator 1 mindestens einen Detektionskopf erster Stufe 12, der dazu ausgebildet ist, den zuvor ermittelten Satz von Merkmalen 110 auf einen oder mehrere Klassifikations-Scores 120 in Bezug auf eine oder mehrere Klasen 101 der ersten Ebene der Klassenhierarchie 2 abzubilden. Mindestens ein Merkmalsextraktor zweiter Stufe 21 ist als Teil des Klassifikators 1 weiterhin dazu ausgebildet, den ersten Satz von Merkmalen 110 sowie die vom Detektionskopf erster Stufe 12 ermittelten Klassifikations-Scores 120 als Eingabe 20 entgegenzunehmen und auf einen zweiten Satz von Merkmalen 210, 230 abzubilden. Letztere Merkmale im zweiten Satz von Merkmalen 210, 230 sind dabei für die Unterscheidung zwischen Klassen der zweiten Ebene 201, 202 der Klassenhierarchie 2 dienlich. Weiterhin umfasst der Klassifikator 1 mindestens einen Detektionskopf zweiter Stufe 22, durch welchen der zweite Satz von Merkmalen 210, 230 auf Klassifikations-Scores 220, 240 in Bezug auf eine oder mehrere Klassen 201, 202 der zweiten Ebene 200 der Klassenhierarchie 2 abgebildet wird. 1A zeigt den Fall, dass die Ergebnisse der ersten Stufe, d.h. der erste Satz von Merkmalen 110 und die Klassifikations-Scores 120 durch den Klassifikator 1 als konkatenierte, 2-dimensionale Karte 13 zusammengefasst werden. Dies kann beispielsweise durch einen Aggregator - als weiterer Teil des Klassifikators - ausgeführt werden. Die konkatenierte, 2-dimensionale Karte wird daraufhin als Eingabe 20 an den Merkmalsextraktor zweiter Stufe 21 übermittelt. The recognition of the objects 41, 42 by the classifier 1 is carried out on the basis of a predetermined class hierarchy 2, the latter having at least a first level 100 with abstract classes 101 and at least a second level 200 with classes 201, 202, which are subclasses of abstract classes 101 , having. The classifier includes at least the components described below. A first-stage feature extractor 11 is designed as part of the classifier 1 to accept the sensor data 3 as input 10 and then map it onto a set of features 110. The aforementioned features are particularly useful for identifying one or more objects 41, 42. Furthermore, the classifier 1 includes at least one first-stage detection head 12, which is designed to map the previously determined set of features 110 onto one or more classification scores 120 in relation to one or more classes 101 of the first level of the class hierarchy 2. At least one second-stage feature extractor 21, as part of the classifier 1, is further designed to receive the first set of features 110 and the classification scores 120 determined by the first-stage detection head 12 as input 20 and to map them onto a second set of features 210, 230. The latter features in the second set of features 210, 230 are useful for distinguishing between classes of the second level 201, 202 of class hierarchy 2. Furthermore, the classifier 1 comprises at least one second level detection head 22, through which the second set of features 210, 230 is mapped onto classification scores 220, 240 in relation to one or more classes 201, 202 of the second level 200 of the class hierarchy 2. 1A shows the case that the results of the first stage, ie the first set of features 110 and the classification scores 120 are summarized by the classifier 1 as a concatenated, 2-dimensional map 13. This can be carried out, for example, by an aggregator - as another part of the classifier. The concatenated, 2-dimensional map is then transmitted as input 20 to the second-stage feature extractor 21.

Zur besseren Übersichtlichkeit und Veranschaulichung der hierarchischen Struktur zeigt 1A separate Zweige für die Ermittlung von Merkmalen zweiter Stufe 210 und Merkmalen zweiter Stufe 230. Gleiches gilt offenbar für die korrespondierenden, durch den Detektionskopf zweiter Stufe 22 abgeleiteten Klassifikations-Scores 220 und 240. Jedoch ist zu beachten, dass vorgesehen sein kann, dass ein einziger Merkmalsextraktor 21 eine Eingabe 20 empfangen und daraufhin als Ausgabe Merkmale 210 und 230 zweiter Stufe liefern kann. Diese Merkmale 210 und 230 werden daraufhin an beispielsweise ein und denselben Detektionskopf 22 übermittelt, welcher auf Basis der vorgenannten Merkmale Klassifikations-Scores 220 und 240 ermittelt. Es kann jedoch auch vorgesehen sein, dass mehrere, separate Merkmalsextraktoren und Detektionsköpfe im Rahmen entsprechender Stufen des Klassifikators 1 zum Einsatz kommen.For better clarity and illustration of the hierarchical structure shows 1A separate branches for the determination of second-level features 210 and second-level features 230. The same apparently applies to the corresponding classification scores 220 and 240 derived by the second-level detection head 22. However, it should be noted that it can be provided that a single one Feature extractor 21 can receive an input 20 and then deliver second-level features 210 and 230 as output. These features 210 and 230 are then transmitted to, for example, one and the same detection head 22, which determines classification scores 220 and 240 based on the aforementioned features. However, it can also be provided that several, separate feature extractors and detection heads are used as part of corresponding stages of the classifier 1.

Die durch die erste Stufe des Klassifikators 1 ermittelten Merkmale 110 und Klassifikations-Scores 120 können bereits zur weiteren Verarbeitung/Nutzung durch ein weiteres System, beispielsweise zur einer Bewertung der entsprechenden Daten im Rahmen der Notwendigkeit eines Einleitens sicherheitsrelevanter Aktionen beim autonomen oder assistenzbasierten Fahren, genutzt werden. Dies ist durch entsprechende Pfeile in 1A angedeutet. Sowohl die Klassifikations-Scores direkt als auch die durch u.U. beispielsweise einen Aggregator zusammengefassten Ergebnisse 15 können weiteren System zur Verfügung gestellt werden.The features 110 and classification scores 120 determined by the first stage of the classifier 1 can already be used for further processing/use by another system, for example to evaluate the corresponding data in the context of the need to initiate safety-relevant actions in autonomous or assistance-based driving become. This is indicated by the corresponding arrows 1A indicated. Both the classification scores directly and the results 15 summarized by an aggregator, for example, can be made available to other systems.

In Analogie zur vorbeschriebenen zweiten Stufe des Klassifikators 1 zeigt 1A einen Merkmalsextraktor dritter Stufe 31. Dieser ist dazu ausgebildet, den zweiten Satz von Merkmalen 210, 230, sowie die vom Detektionskopf zweiter Stufe 22 ermittelten Klassifikations-Scores 220, 240 als Eingabe 30 entgegenzunehmen. Dabei kann diese Eingabe wiederum in Form einer konkatenierten, 2-dimensionalen Karte 23 vorliegen, welche durch einen Aggregator aus den Ergebnissen der zweiten Stufe des Klassifikators 1 ermittelt wurde. Letztgenannte Ergebnisse der zweiten Stufe - Merkmale 210 und 230 sowie Klassifikations-Scores 220 und 240 können wiederum vor der Weitergabe an die dritte Stufe direkt und/oder nach Zusammenfassung in Karte 23 zur weiteren Verarbeitung/Nutzung durch ein weiteres System zur Verfügung gestellt werden, angedeutet durch die entsprechenden Pfeile der 1A. Der oben benannte Merkmalsextraktor dritte Stufe 31 ist wiederum dazu ausgebildet, die Eingabe 30 auf einen dritten Satz von Merkmalen 310, 320 abzubilden, welche für die Unterscheidung zwischen Klassen 301, 302 der dritten Ebene 300 der Klassenhierarchie 2 dienlich sind. Der Detektionskopf dritter Stufe 32 bildet daraufhin den dritten Satz von Merkmalen 310, 330 auf Klassifikations-Scores 320, 340 in Bezug auf Klassen 301, 302 der dritten Ebene 300 der Klassenhierarchie 2 ab. Wie auch im Falle von Merkmalsextraktor 21 und Detektionskopf 22 kann in der dritten Stufe des Klassifikators lediglich ein Merkmalsextraktor 31 sowie ein Detektionskopf 32 vorliegen. Die Aufspaltung in zwei separate Zweige in der Darstellung der 1A geschieht der Übersichtlichkeit halber, sowie der besseren Veranschaulichung der hierarchischen Struktur. Allerdings ist es durchaus ebenfalls möglich, dass in einer der höheren Stufe (ab Stufe 2) des Klassifikators mehrere Merkmalsextraktoren bzw. Detektionsköpfe zum Einsatz kommen können.In analogy to the above-described second stage of the classifier 1 shows 1A a third-stage feature extractor 31. This is designed to accept the second set of features 210, 230, as well as the classification scores 220, 240 determined by the second-stage detection head 22 as input 30. This input can again be in the form of a concatenated, 2-dimensional map 23, which was determined by an aggregator from the results of the second stage of the classifier 1. The latter results of the second stage - features 210 and 230 as well as classification scores 220 and 240 can in turn be made available for further processing/use by another system before being passed on to the third stage directly and/or after being summarized in card 23, indicated by the corresponding arrows 1A . The third level feature extractor 31 mentioned above is in turn designed to map the input 30 onto a third set of features 310, 320, which are useful for distinguishing between classes 301, 302 of the third level 300 of the class hierarchy 2. The third level detection head 32 then maps the third set of features 310, 330 onto classification scores 320, 340 with respect to classes 301, 302 of the third level 300 of the class hierarchy 2. As in the case of feature extractor 21 and detection head 22, only one feature extractor 31 and one detection head 32 can be present in the third stage of the classifier. The split into two separate branches in the representation of the 1A This is done for the sake of clarity and to better illustrate the hierarchical structure. However, it is It is also entirely possible that several feature extractors or detection heads can be used in a higher level (from level 2) of the classifier.

Mindestens einer der in 1A dargestellten Detektionsköpfe kann dazu ausgeführt sein, zusätzlich eine Schätzung für die Position, Größe, Orientierung, Geschwindigkeit, Farbe und/oder weitere Objektparameter mindestens eines Objekts 41, 42 zu ermitteln. Weiterhin können insbesondere der Detektionskopf der zweiten 22 und/oder dritten Stufe 32 dazu ausgebildet sein, eine vom Detektionskopf der ersten 12 bzw. zweiten Stufe 22 ermittelte Schätzung für vorgenannte Objektparameter mindestens eines Objekts 41, 42 zu präzisieren. Wird beispielsweise in der ersten Stufe eine Boundingbox mit Länge 4 m und Breite 2 m für ein Objekt 41 geschätzt, so kann diese Schätzung in der zweiten Stufe auf eine Länge von 4,1 m und eine Breite von 2,2 m präzisiert werden. Auch kann beispielsweise eine Positionsschätzung einer vorhergehenden Stufe in der darauffolgenden verbessert werden, etwa durch eine Verschiebung einer zuvor geschätzten Position des Schwerpunkts eines Objekts 41 in den Sensordaten um 1m nach rechts und 0.5m nach unten.At least one of the in 1A Detection heads shown can be designed to additionally determine an estimate for the position, size, orientation, speed, color and / or other object parameters of at least one object 41, 42. Furthermore, in particular, the detection head of the second 22 and/or third stage 32 can be designed to specify an estimate for the aforementioned object parameters of at least one object 41, 42 determined by the detection head of the first 12 or second stage 22. For example, if a bounding box with a length of 4 m and a width of 2 m is estimated for an object 41 in the first stage, this estimate can be refined to a length of 4.1 m and a width of 2.2 m in the second stage. Also, for example, a position estimate of a previous stage can be improved in the subsequent one, for example by shifting a previously estimated position of the center of gravity of an object 41 in the sensor data by 1m to the right and 0.5m downwards.

Der Klassifikator 1 kann insbesondere vollständig als ein faltendes neuronales Netzwerk mit einer Vielzahl von Faltungsschichten ausgebildet sein, die aus ihrer jeweiligen Eingabe durch gleitendes Anwenden eines oder mehrerer Filterkerne Merkmalskarten erzeugen.The classifier 1 can in particular be designed entirely as a convolutional neural network with a plurality of convolution layers that generate feature maps from their respective input by slidingly applying one or more filter kernels.

1B zeigt beispielhaft eine Klassenhierarchie 2, auf Basis derer durch einen Klassifikator 1 Zuordnungen/Einordnungen vorgenommen werden können. Auf der ersten Ebene 100 der Klassenhierarchie 2 ist eine Klasse 101 gegeben, welche sich auf das bloße Vorhandensein eines Objekts 41, 42 bezieht. Demnach kann diese Klasse 101 im hier gegebenen Beispiel als Klasse aller „Verkehrsteilnehmer“ gegeben sein. Die Klassen 201, 202 der zweiten Ebene 200 der Klassenhierarchie beziehen sich daraufhin auf Typen von Verkehrsteilnehmern, wie etwa den Typ „Fahrzeug“ oder „Fußgänger“. Klassen 301, 302 der dritten Ebene 300 der Klassenhierarchie 2 können sich dementsprechend auf Typen von Fahrzeugen beziehen, und damit etwa durch den Typ „PWK“ oder „LKW“ gegeben sein. 1B shows an example of a class hierarchy 2, on the basis of which assignments/classifications can be made by a classifier 1. On the first level 100 of the class hierarchy 2 there is a class 101, which refers to the mere presence of an object 41, 42. Accordingly, in the example given here, class 101 can be given as a class of all “road users”. The classes 201, 202 of the second level 200 of the class hierarchy then refer to types of road users, such as the “vehicle” or “pedestrian” type. Classes 301, 302 of the third level 300 of class hierarchy 2 can accordingly relate to types of vehicles and can therefore be given by the type “PWK” or “Truck”.

Nach 2 umfasst ein Verfahren eines zuvor und im folgenden beschriebenen Klassifikators 1 und/oder Objektdetektors 1 zumindest die folgenden Schritte. In einem Verfahrensschritt 500 werden dem Klassifikator bzw. Objektdetektor 1 Sensordaten 3 zugeführt, welche durch Beobachtung des Umfelds eines Fahrzeugs 40 oder Roboters mit mindestens einem Sensor 401 aufgenommen wurden. In Schritt 600 wird daraufhin ein Ansteuersignal gebildet, welches unter anderem auf von Detektionsköpfen mehrerer Stufen 12, 22, 32 ermittelten Klassifikations-Scores 120, 220, 240, 320, 340 und/oder Objektparametern basiert. Das Fahrzeug 40 oder der Roboter wird daraufhin in Verfahrensschritt 700 mit dem Ansteuersignal angesteuert. Insbesondere kann das Ansteuersignal darauf gerichtet sein, in Abhängigkeit des Vorhandenseins und der geschätzten Position von Verkehrsteilnehmern ein die Sicherheit wahrendes und/oder erhöhendes Fahrmanöver einzuleiten. Es kann innerhalb des Verfahrens 1000 auch vorgesehen sein, dass in Abhängigkeit der ermittelten Merkmale und Objektparameter und/oder der Distanz des Objekts 41, 42 zu Sensoren 401 des Fahrzeugs 40 oder Roboters Merkmale und Objektparameter einer vorhergehenden Stufe in höherer Auflösung an eine folgende Stufe weitergegeben werden. Weiterhin kann innerhalb des Verfahrens 1000 vorgesehen sein, dass höhere Stufen des Klassifikators 1 und/oder des Objektdetektors 1 nur auf diejenigen Objekte 41, 42 in den Sensordaten 3 angewandt werden, welche sich innerhalb eines vorgegebenen Abstands von den aufnehmenden Sensoren 401 befinden. Weiter entfernte Objekte können beispielsweise nur in den ersten Stufen des Klassifikators bzw. Objektdetektors 1 Berücksichtigung finden.After 2 A method of a classifier 1 and/or object detector 1 described above and below includes at least the following steps. In a method step 500, the classifier or object detector 1 is supplied with sensor data 3, which were recorded by observing the environment of a vehicle 40 or robot with at least one sensor 401. In step 600, a control signal is then formed, which is based, among other things, on classification scores 120, 220, 240, 320, 340 and/or object parameters determined by detection heads of several stages 12, 22, 32. The vehicle 40 or the robot is then controlled with the control signal in method step 700. In particular, the control signal can be aimed at initiating a driving maneuver that maintains and/or increases safety, depending on the presence and estimated position of road users. It can also be provided within the method 1000 that, depending on the determined features and object parameters and/or the distance of the object 41, 42 to sensors 401 of the vehicle 40 or robot, features and object parameters of a previous stage are passed on to a subsequent stage in higher resolution become. Furthermore, it can be provided within the method 1000 that higher levels of the classifier 1 and/or the object detector 1 are applied only to those objects 41, 42 in the sensor data 3 which are within a predetermined distance from the recording sensors 401. For example, more distant objects can only be taken into account in the first stages of the classifier or object detector 1.

Claims

Classifier (1) for the recognition of objects (41, 42) from sensor data (3) based on a predetermined class hierarchy (2), this class hierarchy (2) having at least a first level (100) with abstract classes (101) and at least a second level (200) with classes (201, 202), which are subclasses of abstract classes (101), comprising: • a first level feature extractor (11) which is designed to use the sensor data (3) as input ( 10) to receive and map onto a first set of features (110) which are useful for identifying one or more objects (41, 42); • at least one first level detection head (12), which is designed to evaluate the first set of features (110) to one or more classification scores (120) in relation to one or more classes (101) of the first level (100). to map class hierarchy (2); • at least one second-stage feature extractor (21), which is designed to accept the first set of features (110) and the classification scores (120) determined by the first-stage detection head (12) as input (20) and to a second set to depict features (210, 230) that are useful for distinguishing between classes of the second level (201, 202) of the class hierarchy (2); and • at least one second level detection head (22), which is designed to convert the second set of features (210, 230) into classification scores (220, 240) in relation to one or more classes (201, 202) of the second level ( 200) of the class hierarchy (2).

Classifier (1) according to Claim 1 , further comprising: • at least one third-stage feature extractor (31), which is designed to provide the second set of features (210, 230) and the classification scores (220, 240) determined by the second-stage detection head (22) as input ( 30) and mapped onto a third set of features (310, 330) which are useful for distinguishing between classes (301, 302) of a third level (300) of the class hierarchy (2); and • at least one third-level detection head (32) configured to map the third set of features (310, 330) to classification scores (320, 340) related to one or more third-level classes (301, 302). (300) of the class hierarchy (2).

Classifier (1) according to one of the Claims 1 until 2 , designed to contain the first set of features (110) and the classification scores (120) determined by the first stage detection head (12), or the second set of features (210, 230) and those determined by the second stage detection head (22). The determined classification scores (220, 240) are transmitted as a concatenated two-dimensional map (13, 23) to the second-stage (21) or third-stage (31) feature extractor.

Classifier (1) according to one of the Claims 1 until 3 , designed to recognize objects (41, 42) from images and / or point clouds, in particular from camera, radar, LiDAR, ultrasonic sensor data or combinations thereof, as sensor data (3).

Classifier (1) according to one of the Claims 1 until 4 , wherein • at least one class (101) of the first level (100) of the class hierarchy (2) relates to road users as objects (41, 42); and • Classes (201, 202) of the second level (200) of the class hierarchy (2) relate to types of road users, such as vehicles and pedestrians.

Classifier (1) according to Claim 5 , where classes of the third level (300) of the class hierarchy (2) refer to types of vehicles such as cars and trucks.

Classifier (1) according to one of the Claims 1 until 6 , additionally designed as an object detector, in that at least one detection head (12, 22, 32) is designed to additionally provide an estimate for the position, size, orientation, speed, color and / or other object parameters of at least one object (41, 42). whose presence the sensor data (3) indicates.

Classifier (1) according to Claim 6 , wherein the detection head of the second (22) and / or third stage (32) is designed to provide an estimate for the object parameters of at least one object (41, 42) determined by the detection head of the first (12) or second stage (22). specify.

Classifier (1) according to one of the Claims 1 until 6 , fully formed as a convolutional neural network with a multitude of convolution layers that generate feature maps from their respective input by smoothly applying one or more filter kernels.

Method (1000) for operating a classifier (1) and/or object detector (1) according to one of Claims 1 until 9 , wherein • (500) the classifier or object detector (1) is supplied with sensor data (3) which were recorded by observing the environment of a vehicle (40) or robot with at least one sensor (401); • (600) a control signal is formed from classification scores (120, 220, 240, 320, 340) and/or object parameters determined by detection heads of several stages (12, 22, 32) and • (700) the vehicle or the robot is controlled by the control signal.

Procedure (1000) according to Claim 10 , whereby the formation of the control signal is aimed at initiating a safety-preserving and/or increasing driving maneuver depending on the presence and the estimated position of road users.

Method (1000) according to one of the Claims 10 until 11 , wherein, depending on the determined features and object parameters and / or the distance of the object (41, 42) to the sensors (401), features and object parameters of a previous stage are passed on to a following stage in higher resolution.

Method (1000) according to one of the Claims 10 until 12 , wherein higher levels of the classifier (1) and / or object detector (1) are only applied to those objects (41, 42) in the sensor data (3) which are within a predetermined distance from the recording sensors (401) and further distant objects (41, 42) only are taken into account in the first stages of the classifier or object detector (1).

Computer program containing machine-readable instructions which, when executed on one or more computers and/or compute instances, transform the computer(s) or compute instances into a classifier (1) and/or object detector (1) according to one of the Claims 1 until 9 upgrade, and/or cause a procedure (1000) according to one of the Claims 1 until 13 to carry out.

Machine-readable data carrier with the computer program Claim 15 .

One or more computers equipped with the computer program Claim 14 and/or the machine-readable data carrier Claim 15 .