DE102021118694A1

DE102021118694A1 - Verfolgen eines Einsatzfahrzeugs

Info

Publication number: DE102021118694A1
Application number: DE102021118694.3A
Authority: DE
Inventors: Arindam Das; Senthil Kumar Yogamani
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2023-01-26

Abstract

Gemäß einem Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, ANN, um ein Einsatzfahrzeug (7) zu verfolgen, wird ein Trainingsbild (6T3), das einem Trainings-Frame (T3) entspricht und ein Einsatzfahrzeug (7) sowie eine Blinklichteinheit (8) des Einsatzfahrzeugs (7) abbildet, empfangen. Eine Licht-Merkmalskarte, die einen Satz von Vorschlägen (13T3) für eine Licht-Begrenzungsbox darstellt, wird durch Anwenden eines Objektdetektionsmoduls (11T3) des ANN auf das Trainingsbild (6T3) erzeugt. Eine Vorhersage (10) für die Licht-Begrenzungsbox wird von einem Verfolgungsmodul (14T3) des ANN abhängig von der Licht-Merkmalskarte und einer früheren Vorhersage (10T2) für die Licht-Begrenzungsbox bestimmt. Netzwerkparameter des ANN werden abhängig von der Vorhersage (10) für die Licht-Begrenzungsbox gemäß dem Trainings-Frame (T3) angepasst.

Description

Die vorliegende Erfindung ist gerichtet auf ein computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, um ein Einsatzfahrzeug basierend auf Kamerabildern zu verfolgen. Die Erfindung ist des Weiteren auf ein entsprechendes computerimplementiertes Verfahren zum Verfolgen eines Einsatzfahrzeugs, ein Verfahren zum zumindest teilweise automatischen Führen eines Ego-Fahrzeugs, auf ein elektronisches Fahrzeugführungssystem, auf ein Computerprogramm sowie ein computerlesbares Speichermedium gerichtet.
Im Kontext von Fahrerassistenzsystemen oder anderen teilautomatischen oder vollautomatischen Fahraufgaben kann die zuverlässige automatische Detektion und Verfolgung von Einsatzfahrzeugen mit aktivierten Blinklichtern aus Sicherheitsgründen und auch zur Freigabe eines Wegs für das Einsatzfahrzeug wichtig sein. Da Blinklichter eines Einsatzfahrzeugs ihre Erscheinung im Laufe der Zeit verändern, kann es sein, dass Objektdetektion oder Objektverfolgungsalgorithmen basierend auf einem künstlichen neuronalen Netzwerk, das einen einzelnen Kamera-Frame analysiert, nicht ausreichend ist, um Einsatzfahrzeuge zuverlässig zu detektieren und zu verfolgen.
Dokument US 2021/0034914 A1 beschreibt ein Verfahren zum Detektieren eines Einsatzfahrzeugs, wobei eine Vielzahl von Bildern, die aus einer Perspektive eines autonomen Fahrzeugs aufgenommen sind, empfangen wird. Eines oder mehrere Gates werden in den Bildern erzeugt, wobei jedes Gate einem Bereich von Interesse in einer jeweiligen Entfernung von dem Fahrzeug entspricht. Dann werden Lichter innerhalb der Gates detektiert und Kandidaten für ein Einsatzfahrzeug werden basierend auf den detektierten Lichtern identifiziert.
Eine Aufgabe der vorliegenden Erfindung ist es, Verfahren und Systeme basierend auf einem künstlichen neuronalen Netzwerk bereitzustellen, die dazu imstande sind, ein Einsatzfahrzeug basierend auf Kamerabildern in zuverlässiger Weise zu identifizieren und zu verfolgen.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Weitere Ausführungen und bevorzugte Verkörperungen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf dem Gedanken ein künstliches neuronales Netzwerk, ANN, zu trainieren, wobei ein Satz von Vorschlägen für eine Licht-Begrenzungsbox, die eine Blinklichteinheit eines Einsatzfahrzeugs einschließt, basierend auf einem Trainingskamerabild für einen gegenwärtigen Trainings-Frame identifiziert wird. Eine vorbestimmte frühere Vorhersage für die Licht-Begrenzungsbox gemäß einem vorhergehenden Trainings-Frame und der Satz von Vorschlägen für die Licht-Begrenzungsbox werden verwendet, um eine Vorhersage für den gegenwärtigen Trainings-Frame zu erzeugen.
Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, ANN, um ein Einsatzfahrzeug basierend auf Kamerabildern zu verfolgen, bereitgestellt. Ein Trainingsbild, das einem Trainings-Frame entspricht und das Einsatzfahrzeug sowie eine Blinklichteinheit des Einsatzfahrzeugs abbildet, wird empfangen. Eine Licht-Merkmalskarte wird durch Anwenden eines Objektdetektionsmoduls des ANN auf das Trainingsbild erzeugt, wobei die Licht-Merkmalskarte einen Satz von Vorschlägen für eine Licht-Begrenzungsbox, welche die Blinklichteinheit einschließt, gemäß dem Trainings-Frame darstellt. Eine vorbestimmte frühere Vorhersage für die Licht-Begrenzungsbox gemäß einem vorhergehenden Trainings-Frame wird empfangen, wobei der vorhergehende Trainings-Frame dem Trainings-Frame vorhergeht, insbesondere dem Trainings-Frame direkt vorhergeht. Eine Vorhersage für die Licht-Begrenzungsbox gemäß dem Trainings-Frame wird von einem Verfolgungsmodul des ANN abhängig von der Licht-Merkmalskarte und der früheren Vorhersage für die Lichtbegrenzungsbox bestimmt. Netzwerkparameter des ANN, insbesondere des Objektdetektionsmoduls und/oder des Verfolgungsmoduls, werden abhängig von der Vorhersage für die Licht-Begrenzungsbox gemäß dem Trainings-Frame angepasst, um das ANN zu trainieren.
Das Einsatzfahrzeug kann zum Beispiel ein Einsatzfahrzeug zur Strafverfolgung, wie etwa ein Polizeifahrzeug, ein Einsatzfahrzeug zur Brandbekämpfung, wie etwa ein Feuerwehrfahrzeug, oder ein Einsatzfahrzeug für medizinische Rettungsdienste, wie etwa ein Ambulanzfahrzeug, et cetera sein. Hier und im Folgenden wird jedoch lediglich angenommen, dass das Einsatzfahrzeug die Blinklichteinheit aufweist und die Blinklichteinheit wird aktiviert. Weitere Annahmen bezüglich des Einsatzfahrzeugs, wie etwa der genaue Fahrzeugtyp, das visuelle Erscheinungsbild des Fahrzeugs, Zweck des Fahrzeugs oder Farbe der Blinklichter, sind für die Erfindung nicht notwendig. Bei einer tatsächlichen Anwendung der Erfindung kann das Objektdetektionsmodul jedoch beispielsweise darauf eingeschränkt sein, einen bestimmten Typ von Einsatzfahrzeugen oder eine bestimmte Farbe der Blinklichter et cetera zu detektieren.
Das Trainingsbild kann vorab als Teil eines Satzes von Trainingsdaten oder Trainingsbildern zum Trainieren des ANN durch eine Kamera erzeugt werden. Alternativ kann das Trainingsbild ein künstliches, simuliertes oder synthetisches Bild sein, welches derart erzeugt wurde, dass es ein von einer Kamera erzeugtes Bild nachahmt.
Es kann angenommen werden, dass das Trainingsbild, das dem Trainings-Frame entspricht, Teil einer Reihe von aufeinanderfolgenden Trainingsbildern ist, die einer Reihe von aufeinanderfolgenden Trainings-Frames entsprechen. Dabei folgt der Trainings-Frame dem vorhergehenden Trainings-Frame, beispielsweise direkt. Folglich kann die frühere Vorhersage für die Licht-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame basierend auf einem vorhergehenden Trainingsbild entsprechend dem vorhergehenden Trainings-Frame erzeugt werden. Die frühere Vorhersage kann jedoch auch eine anfängliche Vorhersage sein, die in anderer Weise erzeugt wurde, insbesondere wenn der Satz von aufeinanderfolgenden Trainingsbildern kein vorhergehendes Trainingsbild aufweist. In diesem Fall entspricht der Trainings-Frame einem hypothetischen Frame, der dem Trainings-Frame vorhergeht.
Ein Vorschlag für die Licht-Begrenzungsbox kann als eine vollständige und eindeutige Beschreibung der Licht-Begrenzungsbox betrachtet werden, die durch einen oder mehrere entsprechende Parameter gegeben ist. Die Parameter können jedoch zum Beispiel eine Mittelpunktposition der Licht-Begrenzungsbox und/oder eine oder mehrere Eckpunktpositionen der Licht-Begrenzungsbox, eine Breite und/oder eine Höhe der Licht-Begrenzungsbox et cetera beinhalten. Der Vorschlag kann auch eine jeweilige Wahrscheinlichkeit enthalten, dass die jeweilige Beschreibung für die Licht-Begrenzungsbox korrekt ist oder mit anderen Worten dass der Vorschlag die korrekte Licht-Begrenzungsbox darstellt. Das Gleiche gilt analog für die Vorhersage für die Licht-Begrenzungsbox, die auch einen oder mehrere jeweilige Parameter zum vollständigen und eindeutigen Beschreiben der Licht-Begrenzungsbox, wie die Mittelpunktpositionen, die Breite und/oder die Höhe der Licht-Begrenzungsbox, enthalten kann. Mit anderen Worten kann der Satz von Vorschlägen für die Licht-Begrenzungsbox Vorschläge enthalten, die Begrenzungsboxen beschreiben, die die Blinklichteinheit nicht notwendigerweise vollständig einschließen. Das bedeutet, dass die korrekte Licht-Begrenzungsbox die Blinklichteinheit einschließt und die Vorschläge potenzielle Kandidaten für die korrekte Licht-Begrenzungsbox sind. Die Vorhersage für die Licht-Begrenzungsbox kann als der beste Kandidat für die korrekte Licht-Begrenzungsbox aus dem Satz von Vorschlägen betrachtet werden.
Unter der Vorhersage für die Licht-Begrenzungsbox wie auch unter den Vorschlägen für die Licht-Begrenzungsbox können jeweilige rechteckige Bereiche in dem entsprechenden Bild oder geometrische Beschreibungen für Quader, falls dreidimensionale Boxen betrachtet werden, verstanden werden.
Die Netzwerkparameter des ANN können zum Beispiel entsprechende Gewichtungsfaktoren und/oder Bias-Faktoren für entsprechende Knoten oder Neuronen des ANN enthalten. Das Anpassen der Netzwerkparameter kann zum Beispiel Berechnen eines oder mehrerer jeweiliger Verlustfunktionen abhängig von der Vorhersage für die Licht-Begrenzungsbox und eine entsprechende vordefinierte Ground Truth für die Licht-Begrenzungsbox umfassen. Anpassungsalgorithmen, wie etwa Fehlerrückführung, können verwendet werden, um dies zu erreichen.
Insbesondere kann die Grundstruktur des Objektdetektionsmoduls der Architektur eines faltenden neuronalen Netzwerks, CNN, folgen. Mit anderen Worten kann das Objektdetektionsmodul eine oder mehrere Faltungsschichten zur Merkmalsextraktion enthalten. Das Objektdetektionsmodul kann auch eine oder mehrere Pooling-Schichten zur Dimensionsreduzierung und/oder weitere Schichten enthalten. Dasselbe gilt analog für das Verfolgungsmodul.
Insbesondere speichert das Objektdetektionsmodul keine zeitlichen Informationen von mehr als einem Frame. Das ANN kann jedoch eines oder mehrere weitere Objektdetektionsmodule, beispielsweise zur Erzeugung der früheren Vorhersage für die Licht-Begrenzungsbox, aufweisen. In diesem Sinne kann das ANN als Ganzes zeitliche Informationen über mehrere Frames speichern, zumindest während der Trainingsphase.
Da die Vorhersage für die Licht-Begrenzungsbox gemäß dem Trainings-Frame abhängig von der Licht-Merkmalskarte, insbesondere dem Satz von Vorschlägen für die Licht-Begrenzungsbox, und von der früheren Vorhersage für die Licht-Begrenzungsbox bestimmt wird, wird eine zeitliche Inter-Frame-Verbindung des Trainings-Frames mit dem vorhergehenden Trainings-Frame erreicht. Daher kann die Regressionsoperation, die von dem ANN, insbesondere dem Verfolgungsmodul, ausgeführt wird, zum Erzeugen der Vorhersage für die Licht-Begrenzungsbox gemäß dem Trainings-Frame genauere und robustere Ergebnisse erzielen, was schließlich auch zu einem zuverlässigeren Verfolgen des Einsatzfahrzeugs und folglich einem verbesserten Sicherheitsniveau im Straßenverkehr führt.
Da mit anderen Worten die zu erwartenden Positionen und Größen für die Licht-Begrenzungsbox gemäß dem Trainings-Frame und dem vorhergehenden Trainings-Frame korreliert sind, da sie derselben Blinklichteinheit bei unterschiedlichen Frames oder Zeiten entsprechen, kann die Regression Vorhersagen für die Licht-Begrenzungsbox begünstigen, die dieser Korrelation entsprechen und/oder Vorschläge für die Licht-Begrenzungsbox bestrafen, die der Korrelation nicht entsprechen. Mit anderen Worten ist es höchst unwahrscheinlich, dass während zweier aufeinanderfolgender Frames der Abstand zwischen den korrekten Licht-Begrenzungsboxen sich dramatisch ändert. Diese Begrenzungsbedingungen oder zusätzlichen Informationen können für die Regression von dem Trackingmodul berücksichtigt werden.
Gemäß mehreren Ausführungen des erfindungsgemäßen computerimplementierten Verfahrens wird eine Fahrzeugmerkmalskarte durch die Anwendung des Objektdetektionsmoduls auf das Trainingsbild erzeugt, wobei die Fahrzeugmerkmalskarte einen Satz von Vorschlägen für eine Fahrzeug-Begrenzungsbox, die das Einsatzfahrzeug einschließt, gemäß dem Trainings-Frame darstellt. Eine vorbestimmte frühere Vorhersage für die Fahrzeug-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame wird empfangen. Eine Vorhersage für die Fahrzeug-Begrenzungsbox gemäß einem Trainings-Frame wird von dem Verfolgungsmodul abhängig von der Fahrzeugmerkmalskarte und der früheren Vorhersage für die Fahrzeug-Begrenzungsbox bestimmt. Die Netzwerkparameter des ANN werden abhängig von der Vorhersage für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame angepasst, um das ANN zu trainieren.
Mit anderen Worten werden die Netzwerkparameter des ANN abhängig von der Vorhersage für die Licht-Begrenzungsbox gemäß dem Trainings-Frame und abhängig von der Vorhersage für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame angepasst. Die Anpassung der Netzwerkparameter kann in einem Schritt oder gleichzeitig abhängig von beiden Vorhersagen ausgeführt werden.
Durch Anwenden des Objektdetektionsmoduls auf das Trainingsbild, werden die Fahrzeugmerkmalskarte sowie die Licht-Merkmalskarte erzeugt. Insbesondere muss das Objektdetektionsmodul nicht notwendigerweise zweimal auf dasselbe Trainingsbild zum Erzeugen der Licht-Merkmalskarte und der Fahrzeug-Merkmalskarte angewendet werden.
Die Erläuterungen hinsichtlich der Licht-Merkmalskarte, der Licht-Begrenzungsbox, der Vorschläge für die Licht-Begrenzungsbox, die Vorhersage für die Licht-Begrenzungsbox sowie die frühere Vorhersage für die Licht-Begrenzungsbox lassen sich analog auf die Fahrzeug-Merkmalskarte, die Fahrzeug-Begrenzungsbox, die Vorschläge für die Fahrzeug-Begrenzungsbox, die Vorhersage für die Fahrzeug-Begrenzungsbox und die frühere Vorhersage für die Fahrzeug-Begrenzungsbox übertragen.
Die Vorhersage für die Fahrzeug-Begrenzungsbox kann zum Beispiel das Einsatzfahrzeug vollständig einschließen und schließt folglich im Allgemeinen auch die Blinklichteinheit ein. Andererseits kann die Vorhersage für die Licht-Begrenzungsbox die Blinklichteinheit einschließen, schließt aber im Allgemeinen außer der Blinklichteinheit keine Komponenten des Einsatzfahrzeugs ein.
Derartige Ausführungen implementieren eine zeitliche Inter-Frame-Verbindung für die Licht-Begrenzungsbox sowie eine zeitliche Inter-Frame-Verbindung für die Fahrzeug-Begrenzungsbox. Daher kann die Robustheit und Zuverlässigkeit des trainierten ANN weiter erhöht werden.
Gemäß einigen Ausführungen wird zum Bestimmen der Vorhersage für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame von dem Verfolgungsmodul abhängig von jeweiligen Verschiebungen zwischen der früheren Vorhersage für die Fahrzeug-Begrenzungsbox und den jeweiligen Vorschlägen für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame zumindest eine Regressionsoperation ausgeführt.
Insbesondere kann für jeden Vorschlag für die Fahrzeug-Begrenzungsbox eine Verschiebung zwischen der früheren Vorhersage für die Fahrzeug-Begrenzungsbox und dem jeweiligen Vorschlag für die Fahrzeug-Begrenzungsbox bestimmt werden, zum Beispiel als ein Abstand zwischen jeweiligen charakteristischen Punkten der Fahrzeug-Begrenzungsbox. Zum Beispiel kann ein Abstand zwischen einem Mittelpunkt der Fahrzeug-Begrenzungsbox gemäß der früheren Vorhersage für die Fahrzeug-Begrenzungsbox und dem jeweiligen Vorschlag für die Fahrzeug-Begrenzungsbox als die Verschiebung bestimmt werden. Bei anderen Ausführungen können jeweilige Verschiebungen zwischen Eckpunkten der Fahrzeug-Begrenzungsbox berücksichtigt werden.
Mit anderen Worten wird ein einzelner Punkt der Fahrzeug-Begrenzungsbox über zwei oder mehr Frames oder Trainings-Frames regressiert, um die Inter-Frame-Verbindung zu realisieren. Indem nur ein einzelner Punkt der Vorhersage für die Fahrzeug-Begrenzungsbox und die jeweiligen Vorschläge für die Fahrzeug-Begrenzungsbox verglichen werden, wird die Anzahl freier Parameter während der Regression im Vergleich zu einer Regression, die alle Koordinaten der jeweiligen Begrenzungsboxen berücksichtigt, reduziert. Daher können die Rechenanforderungen reduziert werden.
Gemäß mehreren Ausführungen wird der Vorschlag für die Fahrzeug-Begrenzungsbox mit der geringsten Verschiebung oder dem geringsten Abstand zur früheren Vorhersage für die Fahrzeug-Begrenzungsbox aus dem Satz von Vorschlägen als die Vorhersage für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame gewählt. Mit anderen Worten wird der Vorschlag, der der früheren Vorhersage am nächsten liegt, als die neue Vorhersage übernommen.
Gemäß einigen Ausführungen wird, zum Bestimmen der Vorhersage für die Licht-Begrenzungsbox gemäß dem Trainings-Frame, die zumindest eine Regressionsoperation von dem Verfolgungsmodul abhängig von jeweiligen Verschiebungen zwischen der früheren Vorhersage für die Licht-Begrenzungsbox und den Vorschlägen für die Licht-Begrenzungsbox gemäß dem Trainings-Frame ausgeführt.
Auf diese Weise kann die Inter-Frame-Verbindung für die Licht-Begrenzungsbox implementiert werden. Die Erläuterungen hinsichtlich der Verschiebungen zwischen der Vorhersage für die Fahrzeug-Begrenzungsbox und den jeweiligen Vorschlägen kann analog ausgeführt werden.
Gemäß einigen Ausführungen wird zum Bestimmen der Vorhersage für die Licht-Begrenzungsbox gemäß dem Trainings-Frame und/oder zum Bestimmen der Vorhersage für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame abhängig von jeweiligen Verschiebungen zwischen den Vorschlägen für die Licht-Begrenzungsbox gemäß dem Trainings-Frame und den Vorschlägen für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame die zumindest eine Regressionsoperation ausgeführt.
Mit anderen Worten kann für ein gegebenes Paar von Vorschlägen, einer für die Licht-Begrenzungsbox und einer für die Fahrzeug-Begrenzungsbox, eine entsprechende Verschiebung wie oben beschrieben berechnet werden, zum Beispiel indem der Abstand zwischen den jeweiligen Mittelpunkten der Vorschläge berechnet wird. Die Regression kann dann insbesondere solche Vorschläge für die Licht-Begrenzungsbox und die Fahrzeug-Begrenzungsbox bevorzugen, die sicherstellen, dass die Licht-Begrenzungsbox vollständig von der Fahrzeug-Begrenzungsbox eingeschlossen wird. Eine entsprechende Strafe kann als Gradient während des Trainings als entsprechender Teil der einen oder mehreren Verlustfunktionen rückpropagiert werden.
Auf diese Weise wird die zeitliche Inter-Frame-Verbindung mit einer Intra-Frame-Verbindung der Fahrzeug-Begrenzungsbox und der Licht-Begrenzungsbox gemäß dem Trainings-Frame kombiniert. Auf diese Weise können die Zuverlässigkeit und die Robustheit des trainierten ANN weiter verbessert werden.
Gemäß einigen Ausführungen wird die zumindest eine Regressionsoperation derart ausgeführt, dass die Vorhersage für die Fahrzeug-Begrenzungsbox die Vorhersage für die Licht-Begrenzungsbox einschließt.
Insbesondere kann die Regression dazu ausgestaltet sein, andere Kombinationen von Fahrzeug-Begrenzungsbox und Licht-Begrenzungsbox zu bestrafen.
Gemäß einigen Ausführungen wird ein vorhergehendes Trainingsbild, das dem vorhergehenden Trainings-Frame entspricht und das Einsatzfahrzeug sowie die Blinklichteinheit beschreibt, empfangen. Eine weitere Licht-Merkmalskarte wird durch Anwenden eines weiteren Objektdetektionsmoduls des ANN auf das weitere Trainingsbild erzeugt, wobei die weitere Lichtmerkmalskarte einen Satz von Vorschlägen für die Licht-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame darstellt. Eine vorbestimmte weitere frühere Vorhersage für die Licht-Begrenzungsbox gemäß einem weiteren vorhergehenden Trainings-Frame wird empfangen, wobei der weitere vorhergehende Trainings-Frame dem vorhergehenden Trainings-Frame vorhergeht, insbesondere direkt vorhergeht. Die frühere Vorhersage für die Licht-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame wird von einem weiteren Verfolgungsmodul des ANN abhängig von der weiteren Licht-Merkmalskarte und der weiteren früheren Vorhersage für die Licht-Begrenzungsbox bestimmt. Die Netzwerkparameter des ANN und/oder weitere Netzwerkparameter des ANN, zum Beispiel des weiteren Objektdetektionsmoduls und/oder des weiteren Trackingmoduls, werden abhängig von der früheren Vorhersage für die Licht-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame angepasst, um das ANN zu trainieren.
Mit anderen Worten wird in derartigen Ausführungen eine frühere Iteration der Schritte ausgeführt, die zuvor hinsichtlich des computerimplementierten Verfahrens beschrieben wurden. In gleicher Weise können eine oder mehrere weitere Iterationen ausgeführt werden. Jeweilige oben, zum Beispiel hinsichtlich der Vorschläge der Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame, beschriebene Ausführungen des computerimplementierten Verfahrens können analog auch für den vorhergehenden Trainings-Frame berücksichtigt werden. Insbesondere kann die frühere Vorhersage für die Fahrzeug-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame von dem weiteren Verfolgungsmodul abhängig von einer entsprechenden weiteren Fahrzeug-Merkmalskarte und einer entsprechenden weiteren früheren Vorhersage für die Fahrzeug-Begrenzungsbox bestimmt werden. Die Erläuterungen hinsichtlich der weiteren Licht-Merkmalskarte und der weiteren früheren Vorhersage für die Licht-Begrenzungsbox lassen sich analog übertragen.
Gemäß mehreren Ausführungen schließt das Erzeugen der Licht-Merkmalskarte und/oder der weiteren Licht-Merkmalskarte und/oder der Fahrzeug-Merkmalskarte und/oder der weiteren Fahrzeug-Merkmalskarte Ausführen eines jeweiligen Algorithmus zum Bereichsvorschlag ein.
Techniken zum Bereichsvorschlag haben sich als besonders geeignet zum Vorhersagen der Vorschläge für die gemäß der Erfindung beteiligten Begrenzungsboxen erwiesen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Verfolgen eines Einsatzfahrzeugs, insbesondere basierend auf Kamerabildern, bereitgestellt. Dabei wird ein erfindungsgemäßes computerimplementiertes Verfahren zum Trainieren eines ANN ausgeführt und nach Abschluss des Trainings wird ein Kamerabild, das einem Kamera-Frame entspricht und das Einsatzfahrzeug sowie eine Blinklichteinheit des Einsatzfahrzeugs abbildet, empfangen. Eine Licht-Merkmalskarte wird durch Anwenden des trainierten Objektdetektionsmoduls des ANN auf das Kamerabild erzeugt, wobei die Licht-Merkmalskarte einen Satz von Vorschlägen für die Licht-Begrenzungsbox der Blinklichteinheit gemäß dem Kamera-Frame darstellt. Die Vorhersage für die Licht-Begrenzungsbox gemäß dem Kamera-Frame wird von dem trainierten Verfolgungsmodul des ANN abhängig von der Licht-Merkmalskarte bestimmt.
Das Kamerabild kann insbesondere von einer Kamera eines Ego-Fahrzeugs in der Umgebung des Einsatzfahrzeugs erzeugt werden und kann ein Bild einer Reihe aufeinanderfolgender Kamerabilder sein.
Die beschriebenen Schritte des Erzeugens des Kamerabilds, der Licht-Merkmalskarte und des Bestimmens der Vorhersage für die Licht-Begrenzungsbox kann für jeden Frame wiederholt werden, um das Einsatzfahrzeug und insbesondere die Blinklichteinheit zu verfolgen.
Weiteren Ausführungen des computerimplementierten Verfahrens zum Verfolgen eines Einsatzfahrzeugs ergeben sich unmittelbar aus den verschiedenen oben für das computerimplementierte Verfahren zum Trainieren des ANN beschriebenen Ausführungen. Insbesondere kann eine Vorhersage für die Fahrzeug-Begrenzungsbox gemäß dem Kamera-Frame von dem Verfolgungsmodul abhängig von einer Fahrzeug-Merkmalskarte, die durch Anwenden des Objektdetektionsmoduls des ANN auf das Kamerabild erzeugt wird, bestimmt werden.
Wenn nicht anders angegeben, können alle Schritte eines computerimplementierten Verfahrens zum Verfolgen eines Einsatzfahrzeugs mit Ausnahme der Schritte des beteiligten computerimplementierten Verfahrens zum Trainieren des ANN von zumindest einer Recheneinheit, insbesondere des Ego-Fahrzeugs, ausgeführt werden. Die Verfahrensschritte des computerimplementierten Verfahrens zum Trainieren des ANN können von zumindest einer Trainingsrecheneinheit ausgeführt werden. Mit anderen Worten können die Schritte eines computerimplementierten Verfahrens zum Verfolgen des Einsatzfahrzeugs, die über das computerimplementierte Verfahren zum Trainieren des ANN hinausgehen, als eine Interferenzphase für das ANN betrachtet werden, während die vorhergehenden Schritte des computerimplementierten Verfahrens zum Trainieren des ANN einer Trainingsphase des ANN entsprechen. Dabei kann das computerimplementierte Verfahren zum Trainieren des ANN offline ausgeführt werden, während die verbleibenden Schritte des computerimplementierten Verfahrens zum Verfolgen des Einsatzfahrzeugs während des Einsatzes des Fahrzeugs online ausgeführt werden.
Gemäß einigen Ausführungen des erfindungsgemäßen computerimplementierten Verfahrens zum Verfolgen des Einsatzfahrzeugs wird ein Farbspektrum eines Bereichs des Kamerabilds bestimmt, der von der Vorhersage für die Licht-Begrenzungsbox eingeschlossen ist. Die Vorhersage für die Licht-Begrenzungsbox wird abhängig von dem Farbspektrum verifiziert oder falsifiziert.
Die Verifikation oder Falsifikation der Licht-Begrenzungsbox kann als ein Nachbearbeitungsschritt angesehen werden, der zum Beispiel von der zumindest einen Recheneinheit unter Verwendung eines jeweiligen Softwaremoduls ausgeführt werden kann, das nicht notwendigerweise Teil des ANN ist. Mit anderen Worten kann das Softwaremodul ein nicht-trainierbares Softwaremodul sein. Durch Berücksichtigen des Farbspektrums kann die Verlässlichkeit des Verfahrens weiter verbessert werden, da zum Beispiel falsch Positive, wie etwa blinkende Fahrtrichtungsanzeiger oder ähnliches, ausgeschlossen werden können.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum zumindest teilweise automatischen Führen eines Ego-Fahrzeugs bereitgestellt. Dabei wird ein Kamerabild, das einem Kamera-Frame entspricht und das Einsatzfahrzeug sowie die Blinklichteinheit des Einsatzfahrzeugs abbildet, von einem Kamerasystem des Ego-Fahrzeugs erzeugt. Ein erfindungsgemäßes computerimplementiertes Verfahren zum Verfolgen eines Einsatzfahrzeugs wird ausgeführt. Zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Fahrzeugs wird von einer Steuereinheit des Ego-Fahrzeugs, insbesondere der zumindest einen Recheneinheit des Ego-Fahrzeugs, abhängig von der Vorhersage für die Licht-Begrenzungsbox und/oder abhängig von der Vorhersage für die Fahrzeug-Begrenzungsbox erzeugt.
Das Fahrzeug kann dann abhängig von den Steuersignalen zumindest teilweise automatisch geführt werden. Zu diesem Zweck kann das zumindest eine Steuersignal entsprechenden Aktuatoren des Ego-Fahrzeugs bereitgestellt werden, um entsprechende automatische Manöver, beispielsweise Quer- und/oder Längssteuerung des Ego-Fahrzeugs, auszuführen. Das zumindest eine Steuersignal kann auch eines oder mehrere Warnsignale oder andere Informationen an einen Nutzer oder einen Fahrer des Ego-Fahrzeugs auslösen, um den Fahrer entsprechend zu unterstützen.
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Ego-Fahrzeug bereitgestellt. Das elektronische Fahrzeugführungssystem ist dazu eingerichtet, ein erfindungsgemäßes Verfahren zum zumindest teilweise automatischen Führen eines Ego-Fahrzeugs auszuführen oder führt ein solches Verfahren aus.
Gemäß einigen Ausführungen weist das elektronische Fahrzeugführungssystem ein Kamerasystem auf, welches dazu eingerichtet ist, ein Kamerabild zu erzeugen, das einem Kamera-Frame entspricht und ein Einsatzfahrzeug sowie eine Blinklichteinheit des Einsatzfahrzeugs abbildet, insbesondere wenn das Kamerasystem an dem Ego-Fahrzeug montiert ist. Das elektronische Fahrzeugführungssystem weist zumindest eine Recheneinheit auf. Das elektronische Fahrzeugführungssystem, zum Beispiel die zumindest eine Recheneinheit, weist ein Speichergerät auf, das ein ANN speichert, welches gemäß einem erfindungsgemäßen computerimplementierten Verfahren zum Trainieren eines ANN trainiert ist. Die zumindest eine Recheneinheit ist dazu eingerichtet, eine Licht-Merkmalskarte durch Anwenden des Objektdetektionsmoduls des ANN auf das Kamerabild zu erzeugen, wobei die Licht-Merkmalskarte einen Satz von Vorschlägen für eine Licht-Begrenzungsbox der Blinklichteinheit gemäß dem Kamera-Frame darstellt. Die zumindest eine Recheneinheit ist dazu eingerichtet, eine Vorhersage für die Licht-Begrenzungsbox gemäß dem Kamera-Frame durch ein Verfolgungsmodul des ANN abhängig von der Licht-Merkmalskarte zu bestimmen. Das elektronische Fahrzeugführungssystem, insbesondere die zumindest eine Recheneinheit, weist eine Steuereinheit auf, die dazu eingerichtet ist, zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Ego-Fahrzeugs abhängig von der Vorhersage für die Licht-Begrenzungsbox und/oder abhängig von der Vorhersage für die Fahrzeug-Begrenzungsbox zu erzeugen.
Weitere Ausführungen des elektronischen Fahrzeugführungssystems ergeben sich unmittelbar aus den verschiedenen Ausführungen des erfindungsgemäßen computerimplementierten Verfahrens zum Trainieren eines ANN, den verschiedenen Ausführungen des erfindungsgemäßen computerimplementierten Verfahrens zum Verfolgen eines Einsatzfahrzeugs und den verschiedenen Ausführungen des erfindungsgemäßen Verfahrens zum Führen des Ego-Fahrzeugs und umgekehrt.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug, insbesondere ein Kraftfahrzeug, bereitgestellt, welches ein erfindungsgemäßes elektronisches Fahrzeugführungssystem aufweist.
Gemäß einem weiteren Aspekt der Erfindung wird ein erstes Computerprogrammprodukt, welches erste Befehle beinhaltet, bereitgestellt. Wenn die ersten Befehle von einem Computersystem, insbesondere von zumindest einer Recheneinheit und/oder von zumindest einer Trainingsrecheneinheit, ausgeführt werden, veranlassen die ersten Befehle das Computersystem dazu, ein erfindungsgemäßes computerimplementiertes Verfahren auszuführen.
Erfindungsgemäß wird ein zweites Computerprogramm, welches zweite Befehle beinhaltet, bereitgestellt. Wenn die zweiten Befehle von einem erfindungsgemäßen elektronischen Fahrzeugführungssystem, insbesondere von der zumindest einen Recheneinheit des Fahrzeugführungssystems, ausgeführt werden, veranlassen die zweiten Befehle das elektronische Fahrzeugführungssystem dazu, ein erfindungsgemäßes Verfahren zum zumindest teilweise automatischen Führen eines Ego-Fahrzeugs auszuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein erfindungsgemäßes computerlesbares Speichermedium, das ein erstes Computerprogramm und/oder ein zweites Computerprogramm speichert, bereitgestellt.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Fahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Fahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 nach SAE J3016 zu führen.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen elektronischen Fahrzeugführungssystems, insbesondere die Steuereinheit oder die zumindest eine Recheneinheit des elektronischen Fahrzeugführungssystems, dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Unter einem Modul des ANN kann ein Softwaremodul verstanden werden. Unter einem Softwaremodul kann ein Teil eines Softwarecodes verstanden werden, der funktional mit einer Einheit verbunden oder kombiniert ist. Ein Softwaremodul kann mehrere Bearbeitungsschritte und/oder Datenstrukturen beinhalten oder implementieren. Ein Verfahrensschritt des Bereitstellens eines Softwaremoduls kann derart verstanden werden, dass das Bereitstellen eines jeweiligen Softwarecodes in computerlesbarer Weise auf einem computerlesbaren Speichermedium darin eingeschlossen ist.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die oben in der Beschreibung erwähnten Merkmale und Merkmalskombinationen sowie die unten in der Figurenbeschreibung erwähnten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen umfasst sein. Insbesondere sind Ausführungsformen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, auch von der Erfindung umfasst. Darüber hinaus sind Ausführungsformen und Merkmalskombinationen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen von der Erfindung umfasst.
In den Figuren zeigen:

1 schematisch ein Ego-Fahrzeug mit einer beispielhaften Ausführung eines erfindungsgemäßen elektronischen Fahrzeugführungssystems;
2 schematisch ein Beispiel für ein Einsatzfahrzeug und jeweilige Vorhersagen für eine Fahrzeug-Begrenzungsbox und eine Licht-Begrenzungsbox;
3 schematisch ein weiteres Beispiel für ein Einsatzfahrzeug und jeweilige Vorhersagen für eine Fahrzeug-Begrenzungsbox und eine Licht-Begrenzungsbox;
4 schematisch ein weiteres Beispiel für ein Einsatzfahrzeug und jeweilige Vorhersagen für eine Fahrzeug-Begrenzungsbox und eine Licht-Begrenzungsbox; und
5 schematisch unterschiedliche Aspekte einer beispielhaften Ausführung eines computerimplementierten Verfahrens zum Trainieren eines ANN gemäß der Erfindung.

1 zeigt ein Ego-Fahrzeug 1 mit einer beispielhaften Ausführung eines erfindungsgemäßen elektronischen Fahrzeugführungssystems 2.
Das elektronische Fahrzeugführungssystem 2 weist eine Recheneinheit 3a mit einem Speichergerät 4 auf, das ein trainiertes ANN speichert. Das elektronische Fahrzeugführungssystem 2 weist des Weiteren eine Kamera 5 auf, die mit einer Recheneinheit 3a verbunden ist und dazu eingerichtet ist, ein Kamerabild 6 zu erzeugen, das einem Kamera-Frame entspricht, und das Kamerabild 6 an eine Recheneinheit 3a zu liefern.
Die Recheneinheit 3a ist dazu eingerichtet, das trainierte ANN auf das Kamerabild 6 anzuwenden, um eine Vorhersage 10 für eine Licht-Begrenzungsbox, die eine Blinklichteinheit 8 eines Einsatzfahrzeugs 7 in der Umgebung des Ego-Fahrzeugs 1 einschließt, und/oder eine Vorhersage 9 für eine Fahrzeug-Begrenzungsbox, die das Einsatzfahrzeug 7 einschließt, zu bestimmen, wie schematisch in 2, 3 und 4 gezeigt.
In 2 ist eine auf dem Fahrzeugdach montierte Blinklichteinheit 8 des Einsatzfahrzeugs 7 gezeigt. 3 und 4 zeigen dasselbe Einsatzfahrzeug 7 und zwei mögliche Anordnungen der Blinklichteinheit 8 an dem Einsatzfahrzeug 7.
Das in dem Speichergerät 4 gespeicherte ANN ist unter Verwendung eines erfindungsgemäßen computerimplementierten Verfahrens zum Trainieren eines ANN trainiert worden. Weitere Einzelheiten hinsichtlich des Trainings werden mit Bezug auf 5 unten geliefert.
Darüber hinaus ist das elektronische Fahrzeugführungssystem 2 dazu eingerichtet, eine beispielhafte Ausführung eines Verfahrens zum zumindest teilweise automatischen Führen des Ego-Fahrzeugs 1 auszuführen, welches das Ausführen einer beispielhaften Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Verfolgen des Einsatzfahrzeugs 7, insbesondere unter Verwendung der Recheneinheit 3a, um das ANN auf das Kamerabild 6 anzuwenden, einschließt.
Zu diesem Zweck wird das von der Kamera 5 erzeugte Kamerabild 6 an die Recheneinheit 3a bereitgestellt und die Recheneinheit 3a wendet ein Objektdetektionsmodul des ANN auf das Kamerabild 6 an. Dabei stellt die Licht-Merkmalskarte einen Satz von Vorschlägen für die Licht-Begrenzungsbox der Blinklichteinheit 8 gemäß dem Kamera-Frame dar. Darüber hinaus ergibt das Anwenden des Objektdetektionsmoduls auf das Kamerabild 6 auch eine Fahrzeug-Merkmalskarte. Die Fahrzeug-Merkmalskarte stellt einen Satz von Vorschlägen für die Fahrzeug-Begrenzungsbox gemäß dem Kamera-Frame dar. Die Recheneinheit 3a wendet ein Verfolgungsmodul des ANN an, um die Vorhersage 10 für die Licht-Begrenzungsbox und/oder die Vorhersage 9 für die Fahrzeug-Begrenzungsbox gemäß dem Kamera-Frame abhängig von der Licht-Merkmalskarte beziehungsweise der Fahrzeug-Merkmalskarte zu bestimmen.
Die Steuereinheit 3b kann dann zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Ego-Fahrzeugs 1 abhängig von der Vorhersage 10 für die Licht-Begrenzungsbox und/oder abhängig von der Vorhersage 9 für die Fahrzeug-Begrenzungsbox erzeugen. Folglich kann das Ego-Fahrzeug 1 zum Beispiel angehalten und/oder in eine sichere Position gebracht werden, um das Einsatzfahrzeug 7 passieren zu lassen und/oder eine oder mehrere Warnungen für einen Fahrer des Ego-Fahrzeugs 1 können von der Steuereinheit 3b erzeugt werden.
5 zeigt mehrere Aspekte eines erfindungsgemäßen computerimplementierten Verfahrens zum Trainieren des ANN, um das Einsatzfahrzeug 7 zu verfolgen.
Gewöhnlich sind Maschinenlernmodelle, wie etwa CNN-Modelle, einzelbildbasiert. Aufgrund der dynamischen Natur von Blinklichtern kann jedoch eine verbesserte Zuverlässigkeit und Robustheit durch Einbeziehen von zeitlichen Zusammenhängen erreicht werden. Erfindungsgemäß können Objektdetektionsmodule, die an sich bekannt sein können, wirksam derart erweitert werden, dass sie zeitliche Verbindungen einbeziehen, um Blinklichter zu verfolgen und zu verstehen. Die Erfindung kann als effizienter Zusatz in Erweiterung von Objektdetektionsalgorithmen angesehen werden und kann dazu verwendet werden, das ANN Ende-zu-Ende für Blinklichtdetektions- und Verfolgungsaufgaben zu trainieren.
5 zeigt beispielhaft drei aufeinanderfolgende Trainings-Frames T1, T2, T3, die aufeinanderfolgenden Zeitstempeln entsprechen. Für jeden Trainings-Frame T1, T2, T3 kann ein jeweiliges Objektdetektionsmodul 11_T1, 11_T2, 11_T3 bereitgestellt werden. Dabei können Siamesische Netzwerke benutzt werden, bei denen die Objektdetektionsmodule 11_T1, 11_T2, 11_T3 zumindest einen Teil ihrer Gewichtungsfaktoren und/oder Bias-Faktoren gemeinsam nutzen, was eine Wiederverwendung der jeweiligen Parameter erlaubt, wobei sie für jeden Frame neu berechnet werden. Standardmäßige Objektdetektoren, wie zum Beispiel YOLO, YOLOv2, fast RCNN, faster RCNN oder masked RCNN können verwendet werden. Die Objektdetektionsmodule 11_T1, 11_T2, 11_T3 können derart trainiert werden, dass sie nur zwei Klassen detektieren, nämlich zum Beispiel ein Fahrzeug und eine Blinklichteinheit, zum Beispiel ein Blinklichtpaar. Die Detektion kann unter Verwendung beispielsweise einer Technik zum Bereichsvorschlag ausgeführt werden.
Insbesondere erzeugt für jeden der Trainings-Frames T1, T2, T3 das jeweilige Objektdetektionsmodul 11_T1, 11_T2, 11_T3 einen Satz von Vorschlägen 12_T1, 12_T2, 12_T3 für die Fahrzeug-Begrenzungsbox sowie einen Satz von Vorschlägen 13_T1, 13_T2, 13_T3 für die dem jeweiligen Frame entsprechende Licht-Begrenzungsbox. Die Vorschläge können zum Beispiel in Form von jeweiligen Merkmalskarten erzeugt werden.
Für jeden der Trainings-Frames T1, T2, T3 kann ein jeweiliges Verfolgungsmodul 14_T1, 14_T2, 14_T3 vorgesehen sein. Die Verfolgungsmodule 14_T1, 14_T2, 14_T3 übernehmen die jeweiligen Vorschläge 12_T1, 12_T2, 12_T3, 13_T1, 13_T2, 13_T3 des jeweiligen Frames T1, T2, T3 als eine Eingabe und liefern eine entsprechende Vorhersage 9_T1, 9_T2, 9_T3 für die Fahrzeug-Begrenzungsbox und die jeweilige Vorhersage 10_T1, 10_T2, 10_T3 für die Licht-Begrenzungsbox für den jeweiligen Frame.
Dabei kann in einigen Ausführungen das Verfolgungsmodul 14_T1, 14_T2, 14_T3 Intra-Frame-Verbindungen zwischen der Fahrzeug-Begrenzungsbox und der Licht-Begrenzungsbox berücksichtigen. Auch wenn die Vorschläge 13_T1, 13_T2, 13_T3 auf der Ebene der Objektdetektormodule 11_T1, 11_T2, 11_T3 unabhängig von Vorschlägen 12_T1, 12_T2, 12_T3 für die Fahrzeug-Begrenzungsboxen sind, da sie unterschiedlichen Klassen der Objektdetektion entsprechen, kann die Intra-Frame-Verbindung sicherstellen, dass entsprechende Vorhersagen 9_T1 bis 10_T3 gut miteinander gekoppelt sind. Zusammen mit bekannten Metriken, wie etwa Intersection over Union, loU, für den Vergleich von Ground Truth und vorhergesagten Begrenzungsboxen, stellen Regressionsoperationen der Verfolgungsmodule 14_T1, 14_T2, 14_T3 sicher, dass die Vorhersage 9_T1, 9_T2, 9_T3 für die Licht-Begrenzungsbox stets innerhalb der Vorhersage 10_T1, 10_T2, 10_T3 für die Fahrzeug-Begrenzungsbox liegt. Diese Überprüfung kann als Teil einer Verlustfunktion realisiert werden, wobei der Abstand zwischen den Mittelpunkten der Ground Truth und Vorschlägen für die jeweiligen Begrenzungsboxen als Teil der Verlustfunktion berechnet wird und die jeweilige Strafe als Gradient während der Trainingsphase rückpropagiert wird.
Zusätzlich zu der Intra-Frame-Verbindung kann auch eine zeitliche Inter-Frame-Verbindung zwischen unterschiedlichen aufeinanderfolgenden Frames während des Trainings berücksichtigt werden. Zum Beispiel kann das Verfolgungsmodul 14_T3 des Frame T3 die Vorhersagen 9_T2, 10_T2 des früheren vorhergehenden Frames T2 berücksichtigen, um die Vorhersagen 9_T3, 10_T3 des gegenwärtigen Frames T3 zu bestimmen.
Insbesondere wenn die Objekte von den Objektdetektionsmodulen 11_T1, 11_T2, 11_T3, detektiert werden, können dieselben Begrenzungsboxen über mehrere Frames regressiert werden. Um die Regression zu vereinfachen, kann eine Regression über dem Mittelpunkt der Begrenzungsboxen statt einer Regression über allen Koordinaten der Begrenzungsboxen verwendet werden. Dies kann dazu beitragen, die Anzahl der freien Parameter während der Regression zu reduzieren. Auf diese Weise kann ein Verfolgungssystem zur Verfolgung der Begrenzungsboxen über die Frames implementiert werden, die die am nächsten liegenden Begrenzungsboxen mit dem kleinsten Abstand der Mittelpunkte als einziges Objekt betrachtet.
Es ist anzumerken, dass, sobald das ANN trainiert worden ist, nur ein einziges Objektdetektionsmodul 11_T3 und ein einziges Verfolgungsmodul 14_T3 ausreichen können, um die verbleibenden Schritte des computerimplementierten Verfahrens zum Verfolgen des Einsatzfahrzeugs 7 auszuführen.
Insbesondere sind die Module für Inter-Frame-Verbindungen und Intra-Frame-Verbindungen trainierbare Module. Ein Ende-zu-Ende-Aufbau kann daher realisiert werden. Dieser kann auch bei schwachen Lichtverhältnissen anwendbar sein, vorausgesetzt eine ausreichende Menge an Trainingsmustern, die bei Nacht oder schwachen Lichtverhältnissen erfasst wurden, ist verfügbar.
Bei einigen Ausführungen kann ein Nachbearbeitungsschritt hinzugefügt werden, um die Vorhersagen für die Fahrzeug-Begrenzungsbox und die Licht-Begrenzungsbox zu analysieren, indem das Farbspektrum innerhalb der Vorhersage für die Fahrzeug-Begrenzungsbox untersucht wird. Darüber hinaus können kontrastive Lernmethoden eingesetzt werden, um harte falsch Positive, wie Straßenlaternen, zu unterscheiden. Auch blinkende Fahrtrichtungsanzeiger können detektiert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20210034914 A1 [0003]

Claims

Computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks, ANN, um ein Einsatzfahrzeug (7) basierend auf Kamerabildern zu verfolgen, dadurch gekennzeichnet, dass - ein Trainingsbild (6_T3), das einem Trainings-Frame (T3) entspricht und das Einsatzfahrzeug (7) sowie eine Blinklichteinheit (8) des Einsatzfahrzeugs (7) abbildet, empfangen wird; - eine Licht-Merkmalskarte durch Anwenden eines Objektdetektionsmoduls (11T₃) des ANN auf das Trainingsbild (6_T3) erzeugt wird, wobei die Licht-Merkmalskarte einen Satz von Vorschlägen (13_T3) für eine Licht-Begrenzungsbox, die die Blinklichteinheit (8) einschließt, gemäß dem Trainings-Frame (T3) darstellt; - eine vorbestimmte frühere Vorhersage (10_T2) für die Licht-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame (T2) empfangen wird, wobei der vorhergehende Trainings-Frame (T2) dem Trainings-Frame (T3) vorhergeht; - eine Vorhersage (10) für die Licht-Begrenzungsbox gemäß dem Trainings-Frame (T3) von einem Verfolgungsmodul (14T₃) des ANN abhängig von der Licht-Merkmalskarte und der früheren Vorhersage (10_T2) für die Licht-Begrenzungsbox bestimmt wird; und - Netzwerkparameter des ANN abhängig von der Vorhersage (10) für die Licht-Begrenzungsbox gemäß dem Trainings-Frame (T3) angepasst werden, um das ANN zu trainieren.
Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - eine Fahrzeug-Merkmalskarte durch die Anwendung des Objektverfolgungsmoduls (11T₃) auf das Trainingsbild (6_T3) erzeugt wird, wobei die Fahrzeug-Merkmalskarte einen Satz von Vorschlägen (12_T3) für eine Fahrzeug-Begrenzungsbox, die das Einsatzfahrzeug (7) einschließt, gemäß dem Trainings-Frame (T3) darstellt; - eine vorbestimmte frühere Vorhersage (9_T2) für die Fahrzeug-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame (T2) empfangen wird; - eine Vorhersage (9) für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame (T3) von dem Trackingmodul (14_T3) abhängig von der Fahrzeug-Merkmalskarte und der früheren Vorhersage (9_T2) für die Fahrzeug-Begrenzungsbox bestimmt wird; und - die Netzwerkparameter des ANN abhängig von der Vorhersage (9) für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame (T3) angepasst werden, um das ANN zu trainieren.
Computerimplementiertes Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zum Bestimmen der Vorhersage (9) für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame (T3) von dem Verfolgungsmodul (14_T3) abhängig von jeweiligen Verschiebungen zwischen der früheren Vorhersage (10_T2) für die Fahrzeug-Begrenzungsbox und den jeweiligen Vorschlägen (12_T3) für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame (T3) zumindest eine Regressionsoperation ausgeführt wird.
Computerimplementiertes Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass zum Bestimmen der Vorhersage (10) für die Licht-Begrenzungsbox gemäß dem Trainings-Frame (T3) von dem Verfolgungsmodul (14_T3) abhängig von jeweiligen Verschiebungen zwischen der früheren Vorhersage (10_T2) für die Licht-Begrenzungsbox und den jeweiligen Vorschlägen (13_T3) für die Licht-Begrenzungsbox gemäß dem Trainings-Frame (T3) die zumindest eine Regressionsoperation ausgeführt wird.
Computerimplementiertes Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zum Bestimmen der Vorhersage (10) für die Licht-Begrenzungsbox gemäß dem Trainings-Frame (T3) und/oder zum Bestimmen der Vorhersage (9) für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame (T3) von dem Trackingmodul (14_T3) abhängig von jeweiligen Verschiebungen zwischen den Vorschlägen (13_T3) für die Licht-Begrenzungsbox gemäß dem Trainings-Frame (T3) und den Vorschlägen (12_T3) für die Fahrzeug-Begrenzungsbox gemäß dem Trainings-Frame (T3) die zumindest eine Regressionsoperation ausgeführt wird.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest eine Regressionsoperation derart ausgeführt wird, dass die Vorhersage (9) für die Fahrzeug-Begrenzungsbox die Vorhersage (10) für die Licht-Begrenzungsbox einschließt.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objektdetektionsmodul (11T₃) eine oder mehrere Faltungsschichten aufweist.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - ein vorhergehendes Trainingsbild (6_T3), das dem vorhergehenden Trainings-Frame (T2) entspricht und das Einsatzfahrzeug (7) sowie die Blinklichteinheit (8) abbildet, empfangen wird; - eine weitere Licht-Merkmalskarte durch Anwenden eines weiteren Objektdetektionsmoduls (11_T2) des ANN auf das weitere Trainingsbild (6_T3) erzeugt wird, wobei die weitere Licht-Merkmalskarte einen Satz von Vorschlägen (13_T2) für die Licht-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame (T2) darstellt; - eine vorbestimmte weitere frühere Vorhersage (10_T1) für die Licht-Begrenzungsbox gemäß einem weiteren vorhergehenden Trainings-Frame (T1) empfangen wird, wobei der weitere vorhergehende Trainings-Frame (T1) dem vorhergehenden Trainings-Frame (T2) vorhergeht; - die frühere Vorhersage (10_T2) für die Licht-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame (T2) von einem weiteren Verfolgungsmodul (14_T2) des ANN abhängig von der weiteren Licht-Merkmalskarte und der weiteren früheren Vorhersage (10_T1) für die Licht-Begrenzungsbox bestimmt wird; und - weitere Netzwerkparameter des ANN abhängig von der früheren Vorhersage (10_T2) für die Licht-Begrenzungsbox gemäß dem vorhergehenden Trainings-Frame (T2) angepasst werden, um das ANN zu trainieren.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erzeugen der Licht-Merkmalskarte Ausführen eines Algorithmus zum Bereichsvorschlag einschließt.
Computerimplementiertes Verfahren zum Verfolgen eines Einsatzfahrzeugs (7), wobei ein computerimplementiertes Verfahren zum Trainieren eines ANN nach einem der vorhergehenden Ansprüche ausgeführt wird und nach Abschluss des Trainings - ein Kamerabild (6), das einem Kamera-Frame entspricht und das Einsatzfahrzeug (7) sowie eine Blinklichteinheit (8) des Einsatzfahrzeugs (7) abbildet, empfangen wird; - eine Licht-Merkmalskarte durch Anwenden des Objektdetektionsmoduls (11_T3) des ANN auf das Kamerabild (6) erzeugt wird, wobei die Licht-Merkmalskarte einen Satz von Vorschlägen (13_T3) für eine Licht-Begrenzungsbox der Blinklichteinheit (8) gemäß dem Kamera-Frame darstellt; - eine Vorhersage (10) für die Licht-Begrenzungsbox gemäß dem Kamera-Frame von dem Verfolgungsmodul (14_T3) des ANN abhängig von der Licht-Merkmalskarte bestimmt wird.
Computerimplementiertes Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass - ein Farbspektrum eines Bereichs des Kamerabilds (6) bestimmt wird, wobei der Bereich von der Vorhersage (10) für die Licht-Begrenzungsbox eingeschlossen ist; und - die Vorhersage (10) für die Licht-Begrenzungsbox abhängig von dem Farbspektrum verifiziert oder falsifiziert wird.
Verfahren zum zumindest teilweise automatischen Führen eines Ego-Fahrzeugs (1), wobei ein Kamerabild (6), das einem Kamera-Frame entspricht und das Einsatzfahrzeug (7) sowie eine Blinklichteinheit (8) des Einsatzfahrzeugs (7) abbildet, von einem Kamerasystem (5) des Ego-Fahrzeugs (1) erzeugt wird, dadurch gekennzeichnet, dass - ein computerimplementiertes Verfahren nach einem der Ansprüche 10 oder 11 ausgeführt wird; - zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Ego-Fahrzeugs (1) von einer Steuereinheit (3b) des Ego-Fahrzeugs (1) abhängig von der Vorhersage (10) für die Licht-Begrenzungsbox erzeugt wird.
Elektronisches Fahrzeugführungssystem (2) für ein Ego-Fahrzeug (1), welches ein Kamerasystem (5) aufweist, das dazu eingerichtet ist, ein Kamerabild (6) zu erzeugen, das einem Kamera-Frame entspricht und ein Einsatzfahrzeug (7) sowie eine Blinklichteinheit (8) des Einsatzfahrzeugs (7) abbildet, dadurch gekennzeichnet, dass - das elektronische Fahrzeugführungssystem (2) ein Speichergerät (4) aufweist, das ein ANN speichert, welches gemäß einem computerimplementierten Verfahren nach einem der Ansprüche 1 bis 9 trainiert ist; - das elektronische Fahrzeugführungssystem (2) zumindest eine Recheneinheit (3a, 3b) umfasst, die dazu eingerichtet ist, - eine Licht-Merkmalskarte durch Anwenden des Objektdetektionsmoduls (11_T3) des ANN auf das Kamerabild (6) zu erzeugen, wobei die Licht-Merkmalskarte einen Satz von Vorschlägen (13_T3) für eine Licht-Begrenzungsbox der Blinklichteinheit (8) gemäß dem Kamera-Frame darstellt; und - eine Vorhersage (10) für die Licht-Begrenzungsbox gemäß dem Kamera-Frame durch ein Verfolgungsmodul (14_T3) des ANN abhängig von der Licht-Merkmalskarte zu bestimmen; und - das elektronische Fahrzeugführungssystem (2) eine Steuereinheit (3b) aufweist, welche dazu eingerichtet ist, zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Ego-Fahrzeugs (1) abhängig von der Vorhersage (10) für die Licht-Begrenzungsbox zu erzeugen.
Computerprogramm, welches - erste Befehle beinhaltet, die, wenn sie von einem Computersystem ausgeführt werden, das Computersystem dazu veranlassen, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 11 auszuführen; und/oder - zweite Befehle beinhaltet, die, wenn sie von einem elektronischen Fahrzeugführungssystem (2) nach Anspruch 13 ausgeführt werden, das elektronische Fahrzeugführungssystem (2) dazu veranlassen, ein Verfahren nach Anspruch 12 auszuführen.
Computerlesbares Speichermedium, das ein Computerprogramm nach Anspruch 14 speichert.