DE102020209979A1

DE102020209979A1 - Verfahren und Vorrichtung zum Erkennen eines Objekts aus Eingabedaten

Info

Publication number: DE102020209979A1
Application number: DE102020209979.0A
Authority: DE
Inventors: Thomas Wenzel; Matthias Kirschner
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-08-06
Filing date: 2020-08-06
Publication date: 2022-02-10
Also published as: CN114092899A; US20220044035A1; US11836988B2

Abstract

Verfahren zum Erkennen eines Objekts aus Eingabedaten (D), mit den Schritten:a) Durchführen von Rohdetektionen, wobei für jede Rohdetektion wenigstens ein Attribut (1a... 1n) in Form einer Detektionsgüte ermittelt wird;b) Ermitteln von wenigstens einem weiteren Attribut (1a... 1n) für jede Rohdetektion;c) Ermitteln eines zeitlich oder örtlich aufgelösten Distanzmaßes für wenigstens ein Attribut (1a... 1n) der Rohdetektionen, wobei Rohdetektionen eines definierten Distanzmaßes zu einer Gruppe von Rohdetektionen zusammengefasst werden; undd) Ermitteln des zu erkennenden Objekts aus einer Gruppe mit wenigstens einer Rohdetektion mit dem geringsten Distanzmaß des wenigstens einen Attributs (1a...1n) im Vergleich zu einer anderen Rohdetektion oder Ermitteln des zu erkennenden Objekts aus einer Gruppe mit wenigstens einer Rohdetektion, die durch Zusammenfassen von wenigstens zwei Rohdetektionen mit dem geringsten Distanzmaß des wenigstens einen Attributs (1a... 1n) zu der einen Rohdetektion zusammengefasst wurden.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen eines Objekts aus Eingabedaten. Die Erfindung betrifft ferner eine Vorrichtung zum Erkennen eines Objekts aus Eingabedaten. Die Erfindung betrifft ferner ein Computerprogramm und ein maschinenlesbares Speichermedium.
Stand der Technik
Objektdetektion ist ein an sich bekannter Anwendungsfall von maschinell gelernten Systemen, z.B. von trainierten neuronalen Netzen. Algorithmen für Objektdetektion liefern für ein Eingabedatum (z.B. ein Bild) eine Menge von Detektionen, wobei eine Detektion in der Regel durch ein das Objekt umschließendes Begrenzungselement (engl. bounding box) und eine skalare Detektionsgüte repräsentiert wird. Im Regelfall liefern diese Algorithmen nicht nur eine einzige Detektion für ein Objekt, sondern mehrere leicht verschobene und/oder skalierte Begrenzungselemente im Umkreis des Objektes. Im Folgenden werden diese Detektionen eines Objekts auch als Rohdetektionen des Objekts bezeichnet. Eine Rohdetektion umfasst somit ein detektiertes Objekt und ein dieses Objekt wenigstens teilweise identifizierendes Attribut. Im Stand der Technik ist ein solches Attribut ein Begrenzungselement beziehungsweise eine Bounding Box, die das detektierte Objekt wenigstens teilweise umgibt. Um aus den Rohdetektionen die Beste auszuwählen und nur eine Detektion pro Objekt zur erhalten, wird eine sogenannte Nicht-Maximalwert-Unterdrückung (engl. non-maximum suppression, NMS) nachgeschaltet. Als de-facto Standard hat sich dabei die so genannte Greedy-NMS durchgesetzt, wie sie zum Beispiel aus Burel, Gilles, and Dominique Carel: „Detection and localization of faces on digital images“, Pattern Recognition Letters 15.10 (1994): 963-967 bekannt ist.
Hierbei werden die Rohdetektionen verworfen, wenn sie zu einem bestimmten Prozentsatz mit einer anderen Detektion mit höherer Güte überlappen.
Ein freier Parameter der Nicht-Maximalwert-Unterdrückung ist der Überlappungsschwellwert, bei dessen Überschreitung eine Detektion mit höherer Güte eine Detektion mit niedrigerer Güte unterdrücken kann. Bei einem zu geringen Schwellwert treten vermehrt „Doppeldetektionen“ auf, das heißt, man erhält auch nach der Nicht-Maximalwert-Unterdrückung mehrere Detektionen für ein einzelnes Objekt. Umgekehrt kann ein zu hoher Schwellwert dazu führen, dass tatsächlich korrekte Detektionen unterdrückt werden, wenn mehrere Objekte in benachbarten Bildbereichen auftreten, beispielswiese bei einer Gruppe von Personen. Aufgrund seiner Wichtigkeit gibt es eine große Vielfalt von NMS-Verfahren, von denen sich allerdings bis dato aufgrund des unverhältnismäßig hohen Berechnungsaufwands keines durchsetzen konnte.
Eine Aufgabe der Erfindung ist es, ein Verfahren zum verbesserten Erkennen von Objekten aus Eingabedaten bereitzustellen.
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einem Verfahren zum Erkennen eines Objekts aus Eingabedaten, mit den Schritten:

a) Durchführen von Rohdetektionen, wobei für jede Rohdetektion wenigstens ein Attribut in Form einer Detektionsgüte ermittelt wird;
b) Ermitteln von wenigstens einem weiteren Attribut für jede Rohdetektion;
c) Ermitteln eines zeitlich oder örtlich aufgelösten Distanzmaßes für wenigstens ein Attribut der Rohdetektionen, und anschließende Gruppierung der Rohdetektionen unter Verwendung der Distanzmaßergebnisse; und
d) Ermitteln des zu erkennenden Objekts aus einer Gruppe mit wenigstens einer Rohdetektion mit dem geringsten Distanzmaß des wenigstens einen Attributs im Vergleich zu einer anderen Rohdetektion oder Ermitteln des zu erkennenden Objekts aus einer Gruppe mit wenigstens einer Rohdetektion, die durch Zusammenfassen von wenigstens zwei Rohdetektionen mit dem geringsten Distanzmaß des wenigstens einen Attributs zu der einen Rohdetektion zusammengefasst wurden.

Vorteilhaft wird auf diese Weise eine Modifikation der Nicht-Maximalwert-Unterdrückung bereitgestellt, mit der bei einer Objektdetektion eine verbesserte Auflösung von mehrdeutigen Objektkonstellationen möglich ist. Es werden zu diesem Zweck in der Nicht-Maximalwert-Unterdrückung weitere Informationen in Form eines Attributs eines prädizierten Objekts verarbeitet. Im Ergebnis werden dadurch zur Objektdetektion verbessert attributierte Rohdetektionen verwendet. Beispielsweise kann das vorgeschlagene Verfahren im Rahmen von Inferenz in einem Fahrzeug mit einem trainierten neuronalen Netz verwendet werden.
Gemäß einem zweiten Aspekt wird ein Verfahren zum Steuern eines autonom fahrenden Fahrzeugs unter Berücksichtigung von Umfeldsensordaten bereitgestellt, wobei das Verfahren die Schritte umfasst:

Aufnehmen von Umfeldsensordaten über wenigstens einen Umfeldsensor des Fahrzeugs;
Erkennen eines Objekts auf Basis der aufgenommenen Umfeldsensordaten in Form von Eingabedaten gemäß dem erfindungsgemäßen Verfahren; und Bestimmen unter Berücksichtigung des erkannten Objekts eines Umgebungszustands des Fahrzeugs durch ein Steuerungsmodul des Fahrzeugs, wobei im Umgebungszustand wenigstens eine Verkehrssituation des Fahrzeugs inklusive des erkannten Objekts beschrieben ist;
Generieren einer Manövrierentscheidung durch das Steuerungsmodul der Fahrzeugsteuerung, wobei die Manövrierentscheidung auf dem bestimmten Umgebungszustand basiert;
Bewirken durch Steuerungssysteme der Fahrzeugsteuerung eines Steuerungsmanövers basierend auf der Manövrierentscheidung.

Hierdurch kann ein verbessertes Verfahren zum Steuern eines autonom fahrenden Fahrzeugs bereitgestellt werden, das eine verbesserte Objekterkennung umfasst.
Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einer Objektdetektionsvorrichtung die eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Gemäß einem vierten Aspekt wird die Aufgabe gelöst mit einem Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren zum Detektieren eines Objekts aus Eingabedaten auszuführen.
Bevorzugte Weiterbildungen des Verfahrens sind Gegenstand von abhängigen Ansprüchen.
Eine vorteilhafte Weiterbildung des vorgeschlagenen Verfahrens sieht vor, dass das zeitlich und/oder örtlich aufgelöste Distanzmaß für wenigstens eines folgender Attribute ermittelt wird: Bewegungsrichtung eines Objekts, Ausrichtung eines Objekts, Entfernung eines Objekts von einer Sensoreinrichtung, Interaktion eines Objekts mit wenigstens einem anderen Objekt, euklidische Distanz von Teilen eines Objekts. Auf diese Weise wird das Distanzmaß vorteilhaft für unterschiedliche Attribute ermittelt.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wobei in Schritt d) für ein Unterdrücken einer Rohdetektion ein erster Schwellwert eines ersten Distanzmaßes und ein zweiter Schwellwert eines weiteren Distanzmaßes verwendet werden. Auf diese Weise werden definierte Randbedingungen für das Unterdrücken von Rohdetektionen definiert.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wenigstens ein für Eingabedaten einer Sensoreinrichtung ermitteltes weiteres Attribut für Eingabedaten einer anderen Sensoreinrichtung verwendet wird. Vorteilhaft lassen sich auf diese Weise Attribute für unterschiedliche Eingabedaten verwenden.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass ein Attribut zum Ermitteln eines Objekts aus den Rohdetektionen als ein Begrenzungselement ausgebildet ist. Auf diese Art und Weise wird eine Art von Lokalisierung eines Objekts in einem Bezugssystem bereitgestellt. Ein Begrenzungselement ist im Sinne der Anmeldung eine Bounding Box, mittels der ein zu erkennendes Objekt in einer Bildaufnahme eingegrenzt ist.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass ein Attribut zum Ermitteln eines Objekts aus den Rohdetektionen als Hauptpunkte des Objekts ausgebildet sind. Auf diese Art und Weise wird eine alternative Art von Lokalisierung eines Objekts in einem Bezugssystem bereitgestellt. Hauptpunkte des Objekts können durch einzelne Bestandteile gegeben sein. Für das Beispiels einer detektierten Person können Hauptpunkte durch einzelne Körperteile der Person gegeben sein.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Ermittlung der Attribute durch eine Objektdetektionsvorrichtung und/oder durch einen Algorithmus durchgeführt wird. Vorteilhaft werden dadurch unterschiedliche Möglichkeiten zur Ermittlung der zusätzlichen Attribute bereitgestellt.
Weitere vorteilhafte Weiterbildung des Verfahrens sehen vor, dass die Eingabedaten von einer Sensoreinrichtung oder von mehreren Sensoreinrichtungen oder von einem Speichermedium bereitgestellt werden. Vorteilhaft können dadurch die Eingabedaten von unterschiedlichen Sensoreinrichtungen bereitgestellt werden, wobei im Falle von mehreren Sensoreinrichtungen diese untereinander kalibriert sind.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Eingabedaten wenigstens eines aus Folgendem umfassen: Kameradaten, Radardaten, Lidardaten, Ultraschalldaten. Vorteilhaft können dadurch zur Bereitstellung der Eingabedaten unterschiedliche Sensoreinrichtungen verwendet werden.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass wobei in Abhängigkeit vom erkannten Objekt ein Steuersignal für ein physikalisches System, insbesondere ein Fahrzeug erzeugt wird. Vorteilhaft kann auf diese Weise ein von der Objekterkennung abhängiges Steuersignal für ein Fahrzeug erzeugt werden.
Nach einer Ausführungsform ist das Steuerungsmanöver ein Ausweichmanöver und/oder ein Überholmanöver, wobei das Ausweichmanöver und/oder das Überholmanöver geeignet ist, das Fahrzeug am erkannten Objekt vorbeizusteuern.
Hierdurch wird eine weitere Verbesserung der Fahrzeugsteuerung erreicht.
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren im Detail beschrieben. Gleiche oder funktionsgleiche Elemente haben dabei gleiche Bezugszeichen.
Offenbarte Verfahrensmerkmale ergeben sich analog aus entsprechenden offenbarten Vorrichtungsmerkmalen und umgekehrt. Dies bedeutet insbesondere, dass sich Merkmale, technische Vorteile und Ausführungen betreffend das vorgeschlagene Verfahren in analoger Weise aus entsprechenden Ausführungen, Merkmalen und Vorteilen betreffend die Objektdetektinsvorrichtung ergeben und umgekehrt.
In den Figuren zeigt:

1 eine prinzipielle Darstellung eines herkömmlichen NMS-Verfahrens mit einem Objekt;
2 eine prinzipielle Darstellung eines herkömmlichen NMS-Verfahrens mit zwei Objekten;
3 einen prinzipiellen Ablauf des vorgeschlagenen Verfahrens;
4 einen prinzipiellen alternativen Ablauf des vorgeschlagenen Verfahrens;
5, 6 prinzipielle Darstellungen eines vorgeschlagenen NMS-Verfahrens;
7 eine prinzipielle Darstellung einer vorgeschlagenen Objektdetektionsvorrichtung; und
8 eine prinzipielle Darstellung einer Ausführungsform des vorgeschlagenen Verfahrens.

Beschreibung von Ausführungsformen
Ein Kerngedanke der vorliegenden Erfindung ist insbesondere eine Erweiterung bestehender NMS-Verfahren.
Vorgeschlagen wird, ein Überlappungskriterium und/oder ein Entscheidungskriterium zur Unterdrückungsfunktion der Nicht-Maximalwert-Unterdrückung durch zusätzliche semantische Informationen bzw. Attribute zu erweitern, um die oben beschriebenen, nachteiligen Mehrdeutigkeiten weitestgehend zu vermeiden. Diese Informationen werden einer Unterdrückungseinrichtung mit einer NMS-Funktionalität bereitgestellt, wobei jede Rohdetektion mit einem oder mehreren zusätzlichen Attributen aufweisend eine Distanzfunktion versehen wird. Über die zusätzlichen Attribute, die jedem Objekt beziehungsweise jeder Rohdetektion zugeordnet werden, kann ein zusätzliches Unterscheidungskriterium bereitgestellt werden, anhand dem eine Unterscheidung verschiedener detektierter Objekte beziehungsweise verschiedener Rohdetektionen erreicht werden kann.
Im Sinne der Anmeldung sind Rohdetektionen aus einem detektierten Objekt und wenigstens einem Attribut gegeben, über das das detektierte Objekt identifizierbar ist. Dieses Attribut kann ein Begrenzungselement in Form einer Bounding Box sein, die das detektierte Objekt wenigstens teilweise umfasst. Alternativ kann das Attribut ein Hauptpunkt des Objekts sein, dass durch die Detektionsvorrichtung detektiert und erkannt wird. Im Fall einer Person als detektiertes Objekt kann ein Hauptpunkt durch ein Körperteil der Person gegeben sein. Ist das Objekt der Rohdetektion durch Hauptpunkte identifiziert kann das jeweilige Attribut eine Mehrzahl von Hauptpunkten umfassen.
Zusätzliche Attribute können in diesem Zusammenhang eine Bewegungsrichtung eines detektierten Objekts, eine Ausrichtung eines detektierten Objekts, eine Entfernung eines detektierten Objekts von einer Sensoreinrichtung, eine Interaktion eines detektierten Objekts mit wenigstens einem anderen detektierten Objekt oder beispielsweise eine euklidische Distanz von Teilen eines Objekts.
Über Anwenden eines Distanzmaßes zwischen zusätzlichen Attributen mehrerer detektierter Objekte können die Objekte, für die das Distanzmaß größer als ein vorbestimmter Grenzwert ist, als unterschiedlich und Objekte, für die das Distanzmaß kleiner als ein vorbestimmter Grenzwert ist, identisch identifiziert werden. Hierdurch kann eine präzisere Objektdetektion erreicht werden, indem über das Distanzmaß ermittelt werden kann, ob beispielsweise in einer Bounding Box einer Rohdetektion, lediglich ein Objekt oder mehrere wenigstens teilweise überdeckte Objekte enthalten sind.
Diese Information bezüglich der Anzahl der von einer Bounding Box umfassten Objekte kann in einem folgenden NMS-Verfahren als zusätzliches Entscheidungskriterium für das NMS-Verfahren zur Auswahl der geeignetsten Bounding Box verwendet werden.
Vorteilhaft ist dadurch ein Rechenaufwand gegenüber konventionellen NMS-Verfahren nur geringfügig erhöht. Weitere Beispiele von zusätzlichen Attributen sind eine Tiefe (d.h. die Entfernung eines Objekts von einer Sensoreinrichtung) oder die Ausrichtung eines Objekts. Die zusätzlichen Attribute können vom Detektionsalgorithmus selbst oder durch eine Verknüpfung mit einer anderen Informationsquelle (z.B. Stereoalgorithmus zur Tiefenschätzung) generiert werden.
Eine herkömmliche Unterdrückungseinrichtung erhält als Eingabe eine Reihe von Rohdetektionen, die durch ein Attribut in Form eines Begrenzungselements und eine skalare Detektionsgüte definiert sind. Ein Begrenzungselement ist im Sinne der Anmeldung eine Bounding Box, die ein erkanntes oder zu erkennendes Objekt umgibt. Für jede Rohdetektion wird die geometrische Überlappung mit allen anderen Rohdetektionen im Eingabedatum berechnet. Ein übliches Überlappungskriterium ist dabei die so genannte „Intersection-over-Union“ (loU), die einen Quotient zwischen dem Schnittflächeninhalt von zwei Begrenzungselementen mit einem Vereinigungsflächeninhalt der beiden Begrenzungselemente repräsentiert. Im Falle, dass dieser Wert höher als ein vorgegebener Schwellwert ist, wird die Rohdetektion mit der geringeren Detektionsgüte unterdrückt.
Bekannt sind verschiedene Varianten von derartigen Unterdrückungseinrichtungen, z.B. Greedy Non-Maximum-Suppression, Optimal Non-Maximum-Suppression oder Soft-Non-Maximum-Suppression. Diese unterscheiden sich in der Reihenfolge der Vergleiche zweier Begrenzungselemente, Bounding Box, einer Reihenfolge, in der Begrenzungselemente unterdrückt werden sowie eines exakten Überlappungskriteriums. Alle genannten Varianten haben als Gemeinsamkeit, dass sie auf einem rein geometriebasierten Ähnlichkeitskriterium, wie zum Beispiel der genannten Intersection-over-Union basieren.
Insbesondere bestehen sie zumeist aus den nacheinander durchgeführten Schritten: Gruppierung von Begrenzungselementen auf Basis eines geometriebasierten Distanzkriteriums und nachfolgende gruppeninterne Unterdrückung bzw. Umsortierung von Begrenzungselementen.
1 zeigt im Prinzip einen einer konventionellen Objektdetektion nachgelagerten Verarbeitungsschritt in Form einer Nicht-Maximalwert-Unterdrückung NMS. Im linken Abschnitt sind Rohdetektionen eines Objekts in Form einer Person P1 mit drei Attributen 1a, 1b, 1c in Form von Begrenzungselementen (Bounding Box) mit unterschiedlichen Konfidenzwerten (Vertrauensstufen) dargestellt. Pro Rohdetektion ist vorgesehen, dass nur ein einzelnes Begrenzungselement das zu detektierende Objekt in Form einer Person P1 einschließt bzw. begrenzt. Dabei kann ein erstes Attribut 1a in Form des ersten Begrenzungselements einen Konfidenzwert von 0.9, ein zweites Attribut 1b in Form eines zweiten Begrenzungselements einen Konfidenzwert von 0.8 und ein drittes Attribut 1c in Form eines dritten Begrenzungselements einen Konfidenzwert von 0.7 aufweisen.
Nunmehr wird mittels der Rohdetektion mit dem Attribut 1a die Person P1 erkannt, wohingegen die Rohdetektionen mit den Attributen 1b, 1c, unterdrückt werden, da sie die geringeren Konfidenzwerte aufweisen. Im Ergebnis werden somit die Rohdetektionen mit den Attributen 1b, 1c unterdrückt und lediglich das Ergebnis der Rohdetektion mit dem Attribut 1a ausgebeben, was im rechten Abschnitt von 1 angedeutet ist.
Eine Schwäche der herkömmlichen Nicht-Maximalwert-Unterdrückung ist, dass ihre Entscheidung ausschließlich auf den Koordinaten der Begrenzungselemente sowie auf den Konfidenzwerten der Rohdetektionen (Detektionsgüten) basiert. Theoretisch können allerdings zwei verschiedene Inhalte der Eingabedaten, zum Beispiel ein Bild mit einer Person und ein Bild mit zwei hinter- oder nebeneinanderstehenden Personen, zu identischen Rohdetektionen und damit zu identischen Eingabedaten für die Nicht-Maximalwert-Unterdrückung führen. Diese Mehrdeutigkeit kann durch die konventionelle Nicht-Maximalwert-Unterdrückung NMS unter Umständen nicht mehr korrekt aufgelöst werden. Da die Nicht-Maximalwert-Unterdrückung als ein letzter Schritt einer Objektdetektion durchgeführt wird und somit massiven Einfluss auf die Ausgabe eines Objekterkennungssystems hat, können Fehler in realen Anwendungen nachteilig zu Fehlfunktionen führen, z.B. eines autonomen Fahrzeugs, das mit einem derartigen System ausgestattet ist.
Eine derartige Problematik ist in 2 angedeutet. In diesem Fall werden mittels Rohdetektionen mit Attributen 1a, 1b zwei Person P1, P2 prädiziert bzw. ermittelt. Dabei wird beispielsweise in einer Rohdetektion die Person P1 im rechten Abschnitt des Attributs 1a detektiert und in einer anderen Rohdetektion die Person P2 im linken Abschnitt des Attributs 1b. Diese Muster der Rohdetektionen sind auf geometrischer Ebene mehrdeutig und können daher durch die herkömmliche Nicht-Maximalwert-Unterdrückung NMS nicht aufgelöst bzw. falsch interpretiert werden. Dies ist im rechten Abschnitt von 2 angedeutet, wo erkennbar ist, dass lediglich die Rohdetektion mit der erkannten Person P1 mit dem Attribut 1a ausgegeben wird.
Vorgeschlagen wird zur Verbesserung der geschilderten Problematik ein Verfahren, welches für jede Rohdetektion wenigstens ein weiteres Attribut 1a... 1n ermittelt, für das aus wenigstens einer anderen Rohdetektion ein örtlich und/oder zeitlich aufgelöstes Distanzmaß ermittelt wird. Die derart attributierten Rohdetektionen werden einer nachfolgend durchgeführten Nicht-Maximalwert-Unterdrückung übergeben.
Im Prinzip ist das vorgeschlagene Verfahren in 3 angedeutet, wo eine Objektdetektionsvorrichtung 100 erkennbar ist, beispielsweise mit einem trainierten neuronalen Netz (region proposal network, convolutional neural network), an die Eingabedaten D in Form von Umfeldsensordaten (z.B. Kameradaten, Lidardaten, Radardaten, Ultraschalldaten, usw.) zugeführt werden. Die Eingabedaten D sind dabei in einer bildähnlichen Form in einem 2D- oder einem 3D-Grid dargestellt. Das neuronale Netz ist auf eine Objekterkennung auf Basis von Bilddaten trainiert. Ein Training des neuronalen Netzes zur Bilderkennung kann nach einem aus dem Stand der Technik bekannten Trainingsprozess vorgenommen werden. Das verwendete neuronale kann als ein Convolutional Neural Network ausgebildet sein und eine beliebige Mehrzahl von Faltungskernen umfassen.
Mittels der Objektdetektionsvorrichtung 100 werden Rohdetektionen mit zugeordneten Attributen 1a... 1n (z.B. Begrenzungselemente, Konfidenzwerten, Objektklassifikationen, usw.) durchgeführt. Vorgeschlagen wird bei den Rohdetektionen eine Ermittlung wenigstens eines weiteren Attributs 1a... 1n, für das aus wenigstens zwei Rohdetektionen ein örtlich und/oder zeitlich aufgelöstes Distanzmaß ermittelt wird. Diese erfindungsgemäß verbesserten Rohdetektionen werden einer Nicht-Maximalwert-Unterdrückung NMS zugeführt, die mittels einer Unterdrückungseinrichtung 110 durchgeführt wird. Im Ergebnis werden dadurch am Ausgang der Unterdrückungseinrichtung 110 gefilterte Objektdetektionen OD mit wenigstens einem erkannten Objekt bereitgestellt.
Das vorgeschlagene Verfahren erweitert somit die herkömmliche Nicht-Maximalwert-Unterdrückung NMS durch ein verallgemeinertes Gruppierungsverfahren, stellt also ein allgemeineres Distanzmaß zwischen Rohdetektionen bereit, welches aus allen Attributen 1a... 1n inklusive des wenigstens einen zusätzlichen Attributs 1a... 1n aus wenigstens zwei Rohdetektionen berechnet wird. Dabei repräsentiert das Ähnlichkeitsmaß ein inverses Distanzmaß. Das genannte wenigstens eine weitere Attribut 1a... 1n kann als ein skalarer Wert, beispielsweise in Form eines Abstands des Objekts zur Objektdetektionsvorrichtung 100, oder als ein Vektor, in Form einer Ausrichtung des detektierten Objekts relativ zur Objektdetektionsvorrichtung 100, repräsentiert sein, wobei die Einträge des Vektors oder der skalare Wert sowohl kontinuierlicher als auch kategorischer Natur sein können. Ein kategorisches Attribut kann z.B. definieren, dass ein Objekt verdeckt oder nicht verdeckt ist. Das kategorische Attribut „Objekt verdeckt“ kann dabei z.B. als Zahlenwert 0 und das kategorische Attribut „Objekt nicht verdeckt“ kann dabei als Zahlenwert 1 dargestellt sein.
Das zeitlich und/oder örtlich aufgelöste Distanzmaß des Attributs kann für eine Bewegungsrichtung eines Objekts, eine Ausrichtung eines Objekts, eine Entfernung eines Objekts von einer Sensoreinrichtung, eine Interaktion eines Objekts mit wenigstens einem anderen Objekt, euklidische Distanzen von Teilen eines Objekts, z.B. Distanzen zwischen Körperteilen eines Menschen, usw. ermittelt werden.
Die Attribute 1a... 1n können dabei von der Objektdetektionsvorrichtung 100 selbst geschätzt werden, oder durch eine Verknüpfung der Rohdetektionen mit einem weiteren Algorithmus berechnet werden. Die Gruppierung erfolgt analog zur klassischen Nicht-Maximalwert-Unterdrückung, aber mit einem generelleren Distanzmaß.
Zur Umsetzung des vorgeschlagenen Verfahrens ist neben der Erweiterung der Nicht-Maximalwert-Unterdrückung um das verallgemeinerte Distanzmaß eine Verarbeitungskette notwendig, die der Nicht-Maximalwert-Unterdrückung allgemeine attributierte Rohdetektionen bereitstellt. In der herkömmlichen Nicht-Maximalwert-Unterdrückung wird davon ausgegangen, dass die Rohdetektionen lediglich durch Attribute 1a... 1n in Form eines Begrenzungselements und einem Vektor oder Skalar repräsentiert werden, welche die Objektklassenkonfidenz kodieren.
Die vorgeschlagene Erweiterung hingegen schlägt entweder weitere Attribute 1a... 1n oder alternative Attribute 1a... 1n vor. So kann etwa das Attribut 1a... 1n in Form eines Begrenzungselements durch so genannte Hauptpunkte ersetzt werden, wobei jeder Hauptpunkt die Position einer einzelnen Komponente eines Objektes kodiert (z.B. Kopf, rechter/linker Arm einer Person, usw.)
Mit dem vorgeschlagenen Verfahren werden somit verbesserte attributierte Rohdetektionen ermittelt und anschließend einer Nicht-Maximalwert-Unterdrückung übergeben. Im Folgenden werden beispielhaft zwei Varianten beschrieben, wie solche Rohdetektionen durchgeführt werden können:

1. Variante: Prädiktion der Attribute durch die Objektdetektionsvorrichtung 100:
- In dieser Variante, die in 3 angedeutet ist, wird das zusätzlich wenigstens eine weitere Attribut 1a... 1n durch die Objektdetektionsvorrichtung 100 prädiziert. Hierzu wird der Detektionsalgorithmus der Objektdetektionsvorrichtung 100 um eine Operation ergänzt, die das wenigstens eine zusätzliche Attribut 1a... 1n berechnet.

3 zeigt einen beispielhaften Ablauf des vorgeschlagenen Verfahrens auf einer Verarbeitungseinrichtung 20a...20n (nicht dargestellt). Die Objektdetektionsvorrichtung 100 verarbeitet die Eingabedaten D und liefert als Ergebnis eine Menge von Rohdetektionen mit einer Menge von Attributen 1a... 1n. Die nachgelagerte, mittels einer Unterdrückungseinrichtung 110 durchgeführte Nicht-Maximalwert-Unterdrückung filtert die attributierten Rohdetektionen, indem sie diejenigen Rohdetektionen verwirft, für die es eine andere Rohdetektion mit höherer Konfidenz in ihrer Nachbarschaft gibt.
Die Objektdetektionsvorrichtung 100 kann ein auf Objekterkennung trainiertes neuronales Netz umfassen, mittels dem die Erkennung eines Objekts ermöglicht ist. Darüber hinaus ist das neuronale Netz darauf trainiert, die weiteren Attribute der Rohdetektion zu erkennen. Hierzu kann das neuronale Netz in einem entsprechenden Trainingsprozess, indem Trainingsdaten, insbesondere Trainingsbildaufnahmen, mit entsprechenden Attributen versehen sind, trainiert werden, sodass das trainierte neuronale Netz in der Lage ist, die Attribute zu erkennen.
Zur Durchführung des Trainingsprozesses können Objekte der Trainingsdaten beziehungsweise der zum Training verwendeten Bildaufnahmen mit zusätzlichen Attributen annotiert werden, sodass das neuronale Netz auf das Erkennen der zusätzlichen Attribute trainiert werden kann. In Bildaufnahmen der Trainingsdatensätze können die dort dargestellten Objekte somit mit verschiedenen Attributen wie beispielsweise mit Ausrichtungen oder Bewegungsrichtungen gekennzeichnet sein. Eine vollständige Objektannotation beschreibt hiermit ein einzelnes in der Szene der Bildaufnahme auftretendes Objekt durch eine Menge von Attributen, wie zum Beispiel die Bounding Box, eine Objektklasse, oder die Entfernung des Objektes zur Kamera. In den Annotationen können alle Attribute, die in der NMS notwendig sind, entsprechend hinterlegt werden. Diese Annotationen der Attribute wie auch der zusätzlichen Attribute kann händisch während eines supervised Trainingsprozesses vorgenommen werden. Alternativ kann eine derartige Annotation automatisch mittels eines entsprechenden Algorithmus erreicht werden.
Das neuronale Netz der Objektdetektionsvorrichtung 100 kann somit darauf trainiert werden die zusätzlichen Attribute 1a,..., 1n der detektierten Objekte zu erkennen. Hierzu kann das neuronale Netz mit zusätzlichen Neuronen, insbesondere Ausgabeneuronen, versehen sein, mittels denen ein Erkennungsprozess der zusätzlichen Attribute ermöglicht ist.
Gemäß einer Ausführungsform lassen sich Entfernung von Objekten zur Objektdetektionsvorrichtung mit einem einem Stereo-Matching Algorithmus bestimmen, wobei eine Stereo-Matching Algorithmus hierbei ein aus dem Stand der Technik bekannter Algorithmus zur Tiefenbestimmung von Objekten in Bildaufnahmen ist.
2. Variante: Bestimmung der Attribute 1a... 1n durch einen weiteren Algorithmus
In dieser Variante, die in 4 angedeutet ist, werden die Attribute 1a... 1n über eine Fusion der Objektdetektionen mit einem weiteren Algorithmus 101 bestimmt. Beispielhaft sei eine klassische Objektdetektionsvorrichtung 100 gegeben, die auf Eingabedaten D Attribute in Form von Begrenzungselementen für Objekte sowie die zugeordnete Objektklasse liefert. Ein Fusionsalgorithmus 102 reichert die Rohdetektionen um weitere Attribute 1a... 1n an, wobei diese weiteren Attribute 1a... 1n aus zusätzlichen Informationen I ermittelt werden, die über einen oder mehrere weitere Algorithmen aus den Eingabedaten D und/oder den weiteren Informationen I berechnet werden. Die nachgelagerte Unterdrückungseinrichtung 110 filtert die derart attributierten Rohdetektionen, indem sie diejenigen Rohdetektionen verwirft, für die es eine andere Rohdetektion mit einem höheren Konfidenzwert in ihrer Nachbarschaft gibt.
Der weitere Algorithmus 101 (z.B. Stereo-Algorithmus oder Structure from Motion) kann beispielhaft dazu verwendet werden, um in einem Bildbereich (z.B. pro Pixel der Eingabedaten D) ein Attribut zu berechnen (z.B. Entfernung zur Kamera, so genannte Tiefe) zu berechnen. Diese Tiefenwerte werden dann mit den Objektdetektionen fusioniert, indem beispielsweise innerhalb jedes Begrenzungselements jedes Objektes der Mittelwert oder Median der entsprechenden Tiefenwerte gebildet wird. Die so pro Begrenzungselement berechnete Tiefe kann als Attributierung für das jeweilige Objekt genutzt werden. Denkbar ist selbstverständlich auch, dass mittels des Algorithmus andere, hier nicht näher erläuterte Werte berechnet werden können.
Im Folgenden sind einige mögliche Ausprägungen des vorgeschlagenen Verfahrens beispielhaft veranschaulicht:

- Die Rohdetektionen liegen mit Attributen 1a... 1b in Form von Begrenzungselementen vor und sind mit einem weiteren Attribut 1a... 1n in Form einer skalaren Tiefenschätzung (Entfernung zur Kamera) versehen. Zwei Attribute 1a... 1n in Form der Begrenzungselemente werden als ähnlich angesehen, wenn ihre Intersection-over-Union einen ersten Schwellwert t1 überschreitet und eine absolute Differenz der geschätzten zusätzlichen Attribute 1a... 1n in Form der Tiefen einen Schwellwert t2 unterschreitet.

Die Objektdetektionsvorrichtung 100 schätzt neben dem Attribut 1a... 1n in Form des Begrenzungselements für jede Rohdetektion außerdem ein weiteres Attribut 1a... 1n in Form einer Bewegungsrichtung des Objekts, die als ein Vektor dargestellt wird. Zwei Attribute 1a... 1n in Form der Begrenzungselemente werden in diesem Fall als ähnlich angesehen, wenn ihre Intersection-over-Union einen ersten Schwellwert t1 überschreitet und ein Winkel zwischen den beiden Vektoren geringer ist als ein zweiter Schwellwert t2.
Die Objektdetektionsvorrichtung 100 muss die Position eines Objekts in Form einer Person nicht unbedingt in Form einer Begrenzungselements prädizieren, sondern kann dies auch mittels Begrenzungspunkten durchführen, welche die Positionen einzelner Körperteile beschreiben. Ein mögliches Distanzmaß von Rohdetektionen für diesen Fall ist die Summe der euklidischen Distanzen der Positionen der geschätzten Köperteile.
Die 5 und 6 zeigen beispielhafte vorteilhafte Anwendung des vorgeschlagenen Verfahrens:

Im Szenario von 5 werden zwei Objekte in Form von Personen P1, P2 prädiziert, im Fall von 6 nur ein Objekt in Form der Person P1. In beiden Fällen liefert die Objektdetektionsvorrichtung 100 zwei Rohdetektionen mit Attributen 1a, 1b in Form von Begrenzungselementen. Basiert die Nicht-Maximalwert-Unterdrückung ausschließlich auf der Intersection-over-Union (loU), wie es konventionell der Fall ist, ist bei gleichem loU-Schwellwert keine korrekte Auflösung der Szenarien von 5 und 6 möglich.

Die Berücksichtigung zusätzlich prädizierter Attribute 1a... 1n unter der Verwendung einer Distanzfunktion, wie z.B. die geschätzte Entfernung des Objekts zur Kamera, ermöglicht es, beide Szenarien korrekt aufzulösen. Dabei werden im Falle von 5 beide Personen P1, P2 mit den zugeordneten Attributen 1a, 1b in Form der jeweils zugeordneten Begrenzungselemente erkannt, im Fall von 6 hingegen nur die Person P1 mit dem zugeordneten Attribut 1a in Form des Begrenzungselements.
In mathematischer Form lässt sich dies folgendermaßen beschreiben:
Aus zwei Rohdetektionen mit zugeordneten Attributen 1a, 1b wird eine Distanz d(1a, 1b) der Objekte zueinander berechnet. Zu beachten ist, dass hierbei die bereits vorhandene skalare Detektionsgüte ebenfalls als Attribut 1a... 1n aufgefasst wird. Analog zur Überlappung bei der klassischen Nicht-Maximalwert-Unterdrückung wird ein Schwellwert t festgelegt, bei dessen Unterschreiten zwei Rohdetektionen als „ähnlich“ gelten und damit gruppiert werden. Ein Distanzmaß zum Gruppieren von Rohdetektionen soll somit möglichst gering sein, sodass gilt: $d (1 a, 1 b) < t$
Innerhalb der Gruppen der Rohdetektionen kann wie bisher vorgegangen werden, um Begrenzungselemente zu unterdrücken, oder auch um die gegebenen Attribute 1a... 1n in die Rohdetektion einzubeziehen. So könnte z.B. auch anstatt der Detektionsgüte die übergebenen Attribute zur Unterdrückung genutzt werden, um z.B. insbesondere immer die Sensor-nächstliegenden Detektionen zu erhalten.
Vorgeschlagen wird, dass mehrere Distanzmaße auf verschiedenen Attributen zu einem Maß logisch oder arithmetisch verknüpft werden können.
Im Folgenden sind einige mögliche Ausprägungen des vorgeschlagenen Verfahrens beispielhaft aufgeführt:

- Die Rohdetektionsdaten werden mit skalaren Tiefenbestimmungsdaten (d.h. Entfernung des Objekts zum Sensor, z.B. zur Kamera) versehen. Die dazu erforderliche Tiefenbestimmung kann durch eine Bestimmung des Objektdetektors erfolgen oder durch eine Verknüpfung der Rohdetektionsdaten mit einer Tiefenkarte, welche mittels eines Stereo-Matching Algorithmus berechnet wird. Zwei Begrenzungselemente werden als ähnlich angesehen, wenn ihre Intersection-over-Union einen Schwellwert t1 überschreitet und eine absolute Differenz der geschätzten Tiefen einen Schwellwert t2 unterschreitet.
- Die Objektdetektionsvorrichtung 100 bestimmt neben dem Begrenzungselement für jede Rohdetektion außerdem eine Bewegungsrichtung eines Objekts in Form eines Vektors. Zwei Begrenzungselemente werden als ähnlich angesehen, wenn ihre Intersection-over-Union einen ersten Schwellwert t1 überschreitet und ein Winkel zwischen den genannten Vektoren geringer ist als ein zweiter Schwellwert t2.
- Die Objektdetektionsvorrichtung 100 ermittelt die Position des Objektes nicht in Form eines Begrenzungselements, sondern regressiert stattdessen die Position von bestimmten Köperteilen, etwa die Position des Kopfes, des linken/rechten Arms/Beins, usw. Ein mögliches Distanzmaß für diesen Fall ist die Summe der euklidischen Distanzen der Positionen der geschätzten Köperteile.

5 zeigt einen prinzipiellen Ablauf einer Ausführungsform des vorgeschlagenen Verfahrens. Man erkennt ein für das zu erkennende Objekt ermitteltes Begrenzungselement, dem ein Attribut in Form eines Konfidenzwerts 0.9 und ein zusätzliches Attribut in Form einer Entfernung 5m zugeordnet sind. Ferner erkennt man ein Begrenzungselement 1b, dem ein Attribut in Form eines Vertrauenswerts 0.8 und ein zusätzliches Attribut in Form einer Entfernung 10m zugeordnet sind. Durch Ermittlung eines Abstandmaßes der zusätzlichen Attribute der Begrenzungselemente 1a und 1b in Form einer Differenz der Entfernungen kann eine Unterscheidung der beiden durch die Begrenzungselemente definierten Rohdetektionen erreicht werden. Die beiden Rohdetektionen werden somit als verschieden erkannt, wenn eine bestimmte Differenz der Entfernung, sprich das Abstandmaß der zusätzlichen Attribute, größer als ein vorbestimmter Grenzwert ist. Wird ein vorbestimmter Grenzwert in dem gezeigten Beispiel beispielsweise auf 2m festgelegt, so wird eine Verschiedenheit der beiden Rohdetektionen ermittelt, da eine Differenz zwischen den Entfernungen der ermittelten Begrenzungselemente 1a, 1b größer Größer als der beispielsweise gewählte Schwellwert 2m bzgl. der gewählten Distanzfunktion „abs. Differenz der Tiefen“ ist, wodurch die Objekte nicht gruppiert werden und als unterschiedlich erkannt werden. Würde der Grenzwert beziehungsweise Schwellwert hingegen beispielsweise auf 6m festgelegt, würden die beiden in 5 gezeigten Rohdetektionen als identisch erkannt und in einer entsprechenden Gruppierung gruppiert. Die Information bezüglich der Verschiedenheit beziehungsweise Gleichheit der detektierten Rohdetektionen kann in einer nachfolgenden Nicht-Maximalwert-Unterdrückung berücksichtigt werden, um somit die exakteste Rohdetektion zur Objektbestimmung auswählen zu können.
Ohne das weitere Attribut 1a... 1n würde von der Objektdetektionsvorrichtung 100 nach Anwendung der Nicht-Maximalwert-Unterdrückung ausschließlich das Begrenzungselement 1a mit der Person P1 ausgegeben werden, das Begrenzungselement 1b würde somit konventionell unterdrückt werden. Mit Hilfe des zusätzlich ermittelten Attributs 1a... 1n in Form von Tiefe und einem zugeordneten Schwellwert von beispielsweise 2m betreffend die Begrenzungselemente der Attribute 1a, 1b werden die beiden Begrenzungselemente der Attribute 1a, 1b nicht gruppiert, sondern es werden beide Begrenzungselemente der Attribute 1a, 1b ausgegeben.
Im Ergebnis wird dadurch, wie im rechten Abschnitt von 5 dargestellt, eine Objektdetektion einer Person P1 mit dem Attribut 1a in Form eines Begrenzungselements und eine Objektdetektion einer Person P2 mit dem Attribut 1b in Form eines Begrenzungselements durchgeführt.
6 zeigt ein alternatives Szenario unter Anwendung des vorgeschlagenen Verfahrens. Man erkennt wiederum eine Rohdetektion mit einem Attribut 1a in Form eines Begrenzungselements, einem Attribut in Form eines Konfidenzwerts 0.9 und einem zusätzlichen Attribut in Form eines Abstands 5m zugeordnet ist. Ferner erkennt man eine weitere Rohdetektion mit einem Attribut 1b in Form eines Begrenzungselements, einem Attribut in Form eines Vertrauenswerts 0.8 und einem zusätzlichen Attribut in Form einer Entfernung 6m.
Gemäß dem in 5 gezeigten Beispiel mit einem vorbestimmten Schwellwert von 2m werden die in 6 gezeigten Rohdetektionen als identisch erkannt, da das Abstandsmaß der beiden zusätzlichen Attribute in Form einer Differenz der beiden Entfernungen der beiden Rohdetektionen zur Objektdetektionsvorrichtung kleiner als der vorbestimmte Schwellwert von 2m ist.
Im Ergebnis wird dadurch, wie im rechten Abschnitt von 5 dargestellt, eine Objektdetektion der ersten Person P1 mittels des ersten Begrenzungselements 1a durchgeführt, weil eine Differenz zwischen den prädizierten Attributen „Entfernung“ ein definiertes Maß unterschreitet, wodurch das zweite Begrenzungselement 1b unterdrückt wird. Da somit zur Person P1 beide Begrenzungselemente 1a, 1b zugeordnet sind, ist das Attribut in Form des Tiefenattributs sehr ähnlich und unterhalb der definierten Schwelle.
Im Ergebnis werden dadurch die beiden Begrenzungselemente 1a, 1b gruppiert und nur das Begrenzungselement 1a ausgegeben, was dem Verhalten konventioneller Verfahren entspricht.
In den beiden Szenarien von 5 und 6 liefert die Objektdetektionsvorrichtung 100 somit zwei Rohdetektionen mit identischen Begrenzungselementen 1a, 1b und identischen IoU-Werten der Attribute 1a, 1b in Form von Begrenzungselementen. Basiert allerdings die Nicht-Maximalwert-Unterdrückung nur auf der Intersection-over-Union (loU), ist bei gleichem loU-Schwellwert keine korrekte Auflösung der Szenarien von 5 und 6 möglich. Die Berücksichtigung zusätzlich prädizierter Attribute (in diesem Fall die bestimmte Entfernung des Objekts zur Kamera), ermöglicht es vorteilhaft, beide Szenarien korrekt aufzulösen.
Zwei Rohdetektionen werden somit als ähnlich angesehen, wenn sowohl ihr Überlappungsmaß einen ersten Schwellwert t1 überschreitet und eine absolute Differenz der geschätzten Tiefen einen zweiten Schwellwert t2 unterschreitet, womit im Ergebnis eine der Rohdetektionen mittels der Nicht-Maximalwert-Unterdrückung unterdrückt wird.
Eine Ausführungsform einer vorgeschlagenen Objektdetektionsvorrichtung 100 ist schematisch in 7 dargestellt. Man erkennt mehrere Sensoreinrichtungen 10a...10n (z.B. Lidar, Radar- Ultraschallsensor, Kamera, usw.), die beispielsweise in einem Fahrzeug verbaut sind und zur Bereitstellung von Eingabedaten D verwendet werden. Die genannten Attribute 1a... 1n können von jeweils einer einzelnen Sensoreinrichtung 10a... 10n oder auch von mehreren Sensoreinrichtungen 10a... 10n ermittelt werden, wobei im letzteren Fall die Sensoreinrichtungen 10a... 10n zueinander kalibriert sein sollten.
Nachgeschaltet zu jeder der Sensoreinrichtungen 10a... 10n erkennt man eine jeweils zugeordnete Verarbeitungseinrichtung 20a...20n, die ein trainiertes neuronales Netz (z.B. region proposal network, convolutional neural network) umfasst, das die von den Sensoreinrichtungen 10a... 10n bereitgestellten Eingabedaten D mittels des vorgeschlagenen Verfahrens verarbeitet und einer Fusionseinrichtung 30 zuführt. Mittels der Fusionseinrichtung 30 wird die Objekterkennung aus den Einzelergebnissen der Verarbeitungseinrichtungen 20a...20n durchgeführt
An einen Ausgang der Fusionseinrichtung 30 ist eine Aktuatoreinrichtung 40 des Fahrzeugs angeschaltet, die in Abhängigkeit vom Ergebnis der durchgeführten Objekterkennung angesteuert wird, beispielsweise um einen Überholvorgang, Bremsvorgang, Lenkmanöver des Fahrzeugs, usw. zu initiieren.
Nicht in Figuren dargestellt ist ein Trainingsszenario einer vorgeschlagenen Verarbeitungseinrichtung 20a...20n. Dabei werden annotierte Trainingsdaten, die aus Eingabedaten D und zugeordneten Annotationen bestehen, verwendet, wobei die Annotationen definierte Zuordnungen von Objekten innerhalb der Eingabedaten D umfassen, z.B. Koordinaten von Personen in den Eingabedaten. Die Durchführung der Annotationen zu den Eingabedaten D kann in an sich bekannter Weise durch eine menschliche Tätigkeit oder auch automatisiert erfolgen. Der Trainingsprozess kann gemäß aus dem Stand der Technik bekannten supervised Trainingsprozessen durchgeführt werden. Vorzugsweise kann für die Objekterkennung ein Convolutional Neural Network mit einer beliebigen Anzahl von Faltungskernen verwendet werden. Alternativ kann eine beliebige Mehrzahl von Convolutional Neural Network verwendet werden.
Das neuronale Netz beziehungsweise die Mehrzahl von neuronalen Netzen wird im Trainingsprozess darauf trainiert neben der Erkennung des Objekts die annotierten Attribute und zusätzlichen Attribute zu erkennen. Hierzu können im Trainingsprozess an in Bildaufnahmen der Trainingsdaten abgebildete Objekte entsprechende Attribute gekennzeichnet beziehungsweise annotiert werden, sodass das neuronale Netz auf eine Erkennung der gekennzeichneten Attribute trainiert werden kann.
Die Verarbeitungseinrichtung 20a...20n der Objektdetektionsvorrichtung 100 umfasst somit ein neuronales Netz nach einer beendeten Trainingsphase. Denkbar ist auch, dass das neuronale Netz auch online weiter trainiert wird. Das trainierte neuronale Netz kommt in den Verarbeitungseinrichtungen 20a...20n zum Einsatz, wobei ein Lernen des neuronalen Netzes zur Laufzeit der Objektdetektionsvorrichtung 100 nicht mehr vorgesehen ist.
Obwohl die Erfindung vorgehend ausschließlich anhand von zweidimensionalen Bilddaten offenbart ist, versteht sich von selbst, dass die Erfindung auch mit beliebig-dimensionalen Eingabedaten D wie beispielsweise Lidardaten, Radardaten, usw. durchgeführt werden kann, wobei auch Eingabedaten D unterschiedlicher Dimensionalität denkbar sind. In diesem Fall sind die Attribute 1a... 1n in Form der Begrenzungselemente 1a... 1n dreidimensional ausgebildet.
8 zeigt ein prinzipielles Ablaufdiagramm einer Ausführungsform des vorgeschlagenen Verfahrens.
In einem Schritt 200 erfolgt ein Durchführen von Rohdetektionen, wobei für jede Rohdetektion wenigstens ein Attribut 1a... 1n in Form einer Detektionsgüte ermittelt wird.
In einem Schritt 210 erfolgt ein Ermitteln von wenigstens einem weiteren Attribut 1a... 1n für jede Rohdetektion.
In einem Schritt 220 erfolgt ein Ermitteln eines zeitlich oder örtlich aufgelösten Distanzmaßes für wenigstens ein Attribut 1a... 1n der Rohdetektionen, wobei Rohdetektionen eines definierten Distanzmaßes zu einer Gruppe von Rohdetektionen zusammengefasst werden.
In einem Schritt 230 erfolgt ein Ermitteln des zu erkennenden Objekts aus einer Gruppe mit wenigstens einer Rohdetektion mit dem geringsten Distanzmaß des wenigstens einen Attributs 1a... 1n im Vergleich zu einer anderen Rohdetektion oder Ermitteln des zu erkennenden Objekts aus einer Gruppe mit wenigstens einer Rohdetektion, die durch Zusammenfassen von wenigstens zwei Rohdetektionen mit dem geringsten Distanzmaß des wenigstens einen Attributs 1a... 1n zu der einen Rohdetektion zusammengefasst wurden.
Das vorgeschlagene Verfahren ist vorzugsweise als ein Computerprogramm ausgebildet, das Programmcodemittel zum Ausführen des Verfahrens auf der Verarbeitungseinrichtung 20a...20n aufweist.
Denkbar ist auch eine Implementierung des vorgeschlagenen Verfahrens wenigstens teilweise, idealerweise mittels einer elektronischen Hardwareschaltung.
Vorteilhaft lässt sich die Erfindung auf alle Produkte anwenden, in denen eine Objektdetektion durchgeführt wird, wie zum Beispiel:

- Intelligente Kameras für wenigstens (teil-)automatisierte Fahrzeuge. Die Detektion ermöglicht hierbei das Erkennen von Hindernissen oder eine generellere Interpretation einer Szenerie und/oder einen daraus resultierenden aktiven Eingriff in ein Fahrgeschehen z.B. mittels Aktuatoren
- Roboter, die auf Basis von Kameradaten Hindernissen ausweichen (z.B. autonomer Rasenmäher)
- Überwachungskameras, mit denen z.B. eine Anzahl von Personen in einem bestimmten örtlichen Bereich geschätzt werden kann
- Intelligente Sensoren im Allgemeinen, die z.B. eine Objektdetektion basierend auf Radar- oder Lidardaten durchführen, die in einer weiteren Ausprägung z.B. von einer Kamera ermittelte Attribute nutzt

Obwohl die Erfindung vorgehend anhand von konkreten Ausführungsbeispielen beschrieben worden ist, kann der Fachmann vorgehend auch nicht oder nur teilweise offenbarte Ausführungsformen realisieren, ohne vom Kern der Erfindung abzuweichen.

Claims

Verfahren zum Erkennen eines Objekts aus Eingabedaten (D), mit den Schritten: a) Durchführen von Rohdetektionen, wobei für jede Rohdetektion wenigstens ein Attribut (1a... 1n) in Form einer Detektionsgüte ermittelt wird; b) Ermitteln von wenigstens einem weiteren Attribut (1a... 1n) für jede Rohdetektion; c) Ermitteln eines zeitlich oder örtlich aufgelösten Distanzmaßes für wenigstens ein Attribut (1a... 1n) der Rohdetektionen, wobei Rohdetektionen eines definierten Distanzmaßes zu einer Gruppe von Rohdetektionen zusammengefasst werden; und d) Ermitteln des zu erkennenden Objekts aus einer Gruppe mit wenigstens einer Rohdetektion mit dem geringsten Distanzmaß des wenigstens einen Attributs (1a... 1n) im Vergleich zu einer anderen Rohdetektion oder Ermitteln des zu erkennenden Objekts aus einer Gruppe mit wenigstens einer Rohdetektion, die durch Zusammenfassen von wenigstens zwei Rohdetektionen mit dem geringsten Distanzmaß des wenigstens einen Attributs (1a... 1n) zu der einen Rohdetektion zusammengefasst wurden.
Verfahren nach Anspruch 1, wobei das zeitlich und/oder örtlich aufgelöste Distanzmaß für wenigstens eines folgender Attribute ermittelt wird: Bewegungsrichtung eines Objekts, Ausrichtung eines Objekts, Entfernung eines Objekts von einer Sensoreinrichtung (10a... 10n), Interaktion eines Objekts mit wenigstens einem anderen Objekt, euklidische Distanz von Teilen eines Objekts.
Verfahren nach Anspruch 1 oder 2, wobei in Schritt d) für ein Unterdrücken einer Rohdetektion ein erster Schwellwert (t1) eines ersten Distanzmaßes und ein zweiter Schwellwert (t2) eines weiteren Distanzmaßes verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein für Eingabedaten (D) einer Sensoreinrichtung (10a... 10n) ermitteltes wenigstens weiteres Attribut (1a... 1n) für Eingabedaten (D) einer anderen Sensoreinrichtung (10a... 10n) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Attribut (1a... 1n) zum Ermitteln eines Objekts aus den Rohdetektionen als ein Begrenzungselement ausgebildet ist.
Verfahren nach einem der Ansprüche 1 bis 4, wobei ein Attribut (1a... 1n) zum Ermitteln eines Objekts aus den Rohdetektionen (1a... 1n) als Hauptpunkte des Objekts ausgebildet sind.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Ermittlung der Attribute (1a... 1n) durch eine Objektdetektionsvorrichtung (100) und/oder durch einen Algorithmus (101) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eingabedaten (D) von einer Sensoreinrichtung oder von mehreren Sensoreinrichtungen (10a... 10n) oder von einem Speichermedium bereitgestellt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Eingabedaten (D) wenigstens eines aus Folgendem umfassen: Kameradaten, Radardaten, Lidardaten, Ultraschalldaten.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in Abhängigkeit vom erkannten Objekt ein Steuersignal für ein physikalisches System, insbesondere ein Fahrzeug erzeugt wird.
Verfahren zum Steuern eines autonom fahrenden Fahrzeugs unter Berücksichtigung von Umfeldsensordaten, mit den Schritten: Aufnehmen von Umfeldsensordaten über wenigstens einen Umfeldsensor des Fahrzeugs; Erkennen eines Objekts auf Basis der aufgenommenen Umfeldsensordaten in Form von Eingabedaten gemäß dem Verfahren nach einem der voranstehenden Ansprüche 1 bis 10; und Bestimmen unter Berücksichtigung des erkannten Objekts eines Umgebungszustands des Fahrzeugs durch ein Steuerungsmodul des Fahrzeugs, wobei im Umgebungszustand wenigstens eine Verkehrssituation des Fahrzeugs inklusive des erkannten Objekts beschrieben ist; Generieren einer Manövrierentscheidung durch das Steuerungsmodul der Fahrzeugsteuerung, wobei die Manövrierentscheidung auf dem bestimmten Umgebungszustand basiert; Bewirken durch Steuerungssysteme der Fahrzeugsteuerung eines Steuerungsmanövers basierend auf der Manövrierentscheidung.
Verfahren nach Anspruch 11, wobei das Steuerungsmanöver ein Ausweichmanöver und/oder ein Überholmanöver ist, und wobei das Ausweichmanöver und/oder das Überholmanöver geeignet ist, das Fahrzeug am erkannten Objekt vorbeizusteuern.
Objektdetektionsvorrichtung (100) die eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Objektdetektionsvorrichtung (100) nach Anspruch 13, wobei das Verfahren nach einem der Ansprüche 1 bis 10 wenigstens teilweise mittels einer Verarbeitungseinrichtung (20a...20n) umfassend ein neuronales Netz durchgeführt wird.
Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 12 auszuführen oder das auf einem computerlesbaren Speichermedium gespeichert ist.