-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Verfahren zum Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression und ein Steuergerät zum Ausführen dieses Verfahrens. Des Weiteren betrifft die Erfindung ein Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens zur Verwendung in einem solchen Steuergerät, ein Computerprogramm zum Ausführen eines oder beider der vorgenannten Verfahren und ein computerlesbares Medium, auf dem ein solches Computerprogramm gespeichert ist.
-
Stand der Technik
-
Zum Testen von Bildverarbeitungsalgorithmen, wie sie beispielsweise zur Objekterkennung im Rahmen des teil- oder vollautomatisierten Fahrens verwendet werden, sind in der Regel große Mengen an aufgezeichneten Bilddaten erforderlich, die von einer Vielzahl unterschiedlicher Fahrzeuge in unterschiedlichen Fahrsituationen bereitgestellt werden können. Des Weiteren können synthetische Sequenzen verwendet werden. Für die Speicherung, Übertragung und Verarbeitung solcher Daten können entsprechend hohe Kosten anfallen.
-
Um die Datenmenge zu reduzieren, können die Bilddaten beispielsweise von einem an die jeweilige Sensorik angeschlossenen Mess-PC oder Datenlogger in einem verlustfreien Kompressionsverfahren komprimiert werden. Zum Trainieren, Validieren oder Testen des Bildverarbeitungsalgorithmus können dann die dekomprimierten Bilddaten verwendet werden, die aufgrund der verlustfreien Kompression mit den unkomprimierten Ausgangsdaten identisch sind. Auf diese Weise kann die Datenmenge jedoch nur um etwa 40 % bis 60 % reduziert werden.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden nachstehend ein Verfahren zum Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression, ein Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens, ein entsprechendes Steuergerät, eine entsprechende Datenverarbeitungsvorrichtung, ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Medium gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
-
Vorteile der Erfindung
-
Ausführungsformen der vorliegenden Erfindung ermöglichen eine erhebliche Reduzierung der Datenmenge bei der Entwicklung, Optimierung und Freigabe von Bildverarbeitungsalgorithmen, wie sie beispielsweise zur Umfelderkennung im Rahmen des teil- oder vollautomatisierten Fahrens verwendet werden. Die damit verbundenen Kosten sind damit im Vergleich zu herkömmlichen Ansätzen deutlich niedriger.
-
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression. Das Verfahren umfasst zumindest die folgenden Schritte: Empfangen der Sensordaten im Steuergerät, wobei die Sensordaten von einer Sensorik zum Erfassen einer Umgebung eines Fahrzeugs bereitgestellt wurden; Komprimieren der Sensordaten in einem verlustbehafteten Kompressionsverfahren durch das Steuergerät oder einen im Steuergerät integrierten Schaltkreis, um komprimierte Sensordaten zu erhalten; Dekomprimieren der komprimierten Sensordaten durch das Steuergerät oder einen im Steuergerät integrierten Schaltkreis, um dekomprimierte Sensordaten zu erhalten; und Auswerten der dekomprimierten Sensordaten durch das Steuergerät, um Objekte in der Umgebung des Fahrzeugs zu erkennen.
-
Das Verfahren kann automatisch durch einen Prozessor des Steuergeräts ausgeführt werden.
-
Bei den Sensordaten, die im Steuergerät empfangen werden, kann es sich um zu komprimierende, insbesondere unkomprimierte Ausgangsdaten handeln, die von der Sensorik erzeugt und ausgegeben werden. Das verlustbehaftete Kompressionsverfahren kann beispielsweise durch den Prozessor des Steuergeräts ausgeführt werden. Beispielsweise kann das Steuergerät einen gesonderten Hardwarebaustein für die Kompression und Dekompression, insbesondere einen gesonderten programmierbaren Hardwarebaustein, umfassen, auf dem ein entsprechendes Computerprogramm gespeichert sein kann. Durch Ausführen des verlustbehafteten Kompressionsverfahrens können irrelevante Informationen aus den Sensordaten unwiederbringlich entfernt werden. Dieser Vorgang kann auch als Irrelevanzreduktion bezeichnet werden. Somit lassen sich die Sensordaten aus den komprimierten Sensordaten nicht mehr vollständig rekonstruieren. Anders ausgedrückt können die dekomprimierten Sensordaten andere und/oder weniger Informationen als die ursprünglichen Sensordaten umfassen. Die komprimierten Sensordaten können in ihrer Datenmenge gegenüber den ursprünglichen Sensordaten um mindestens 40 %, beispielsweise um mindestens 60 %, insbesondere um mindestens 80 %, reduziert sein.
-
Das Fahrzeug kann ein Kraftfahrzeug, etwa in Form eines Pkw, Lkw, Busses oder eines Motorrads, sein. Im weiteren Sinn kann unter einem Fahrzeug auch ein autonomer, mobiler Roboter verstanden werden. Im weiteren Sinn könnte das Verfahren auch auf Sensoren in der Produktion oder Sicherheitstechnik angewendet werden.
-
Die Sensorik kann beispielsweise eine Kamera, ein Radar-, Lidar- oder Ultraschallsensor oder eine Kombination aus mindestens zwei dieser Beispiele sein.
-
Ein Objekt kann beispielsweise ein anderes Fahrzeug, ein Fußgänger, ein Radfahrer, eine Fahrbahnmarkierung oder ein Verkehrsschild sein. Ein Objekt kann aber auch eine Linie oder Kante in einem Bild sein.
-
Das Steuergerät kann beispielsweise konfiguriert sein, um das Fahrzeug basierend auf den Sensordaten automatisch zu lenken, zu beschleunigen und/oder abzubremsen. Hierzu kann das Fahrzeug eine entsprechende Aktorik umfassen, beispielsweise in Form eines Lenkaktors, eines Bremsaktors, eines Motorsteuergeräts, eines elektrischen Antriebsmotors oder einer Kombination aus mindestens zwei dieser Beispiele.
-
Ein zweiter Aspekt der Erfindung betrifft ein Steuergerät. Das Steuergerät umfasst einen Prozessor, der konfiguriert ist, um das vor- und nachstehend beschriebene Verfahren zum Verarbeiten von Sensordaten auszuführen. Das Steuergerät kann Hardware- und/oder Softwaremodule umfassen. Zusätzlich zum Prozessor kann das Steuergerät einen Speicher und Datenkommunikationsschnittstellen zur Datenkommunikation mit Peripheriegeräten umfassen. Merkmale des vorgenannten Verfahrens können auch Merkmale des Steuergeräts sein und umgekehrt.
-
Ein dritter Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens zur Verwendung in einem Steuergerät, wie es vor- und nachstehend beschrieben wird. Das Verfahren umfasst zumindest die folgenden Schritte: Empfangen von Sensordaten in einer Datenverarbeitungsvorrichtung, wobei die Sensordaten von einer Sensorik zum Erfassen einer Umgebung eines Fahrzeugs bereitgestellt wurden; Komprimieren der Sensordaten in dem verlustbehafteten Kompressionsverfahren, um komprimierte Sensordaten zu erhalten, und/oder Empfangen komprimierter Sensordaten, die vom Steuergerät durch Komprimieren der Sensordaten in dem verlustbehafteten Kompressionsverfahren bereitgestellt wurden, in der Datenverarbeitungsvorrichtung; Dekomprimieren der komprimierten Sensordaten, um dekomprimierte Sensordaten zu erhalten; Eingeben der Sensordaten und der dekomprimierten Sensordaten als Eingabedaten in einen Objekterkennungsalgorithmus, der mit aufgezeichneten Sensordaten trainiert wurde, um die Eingabedaten in Ausgabedaten umzuwandeln, die Objekte in der Umgebung des Fahrzeugs anzeigen; Bestimmen einer Abweichung zwischen den vom Objekterkennungsalgorithmus durch Umwandeln der Sensordaten bereitgestellten Ausgabedaten und den vom Objekterkennungsalgorithmus durch Umwandeln der dekomprimierten Sensordaten bereitgestellten Ausgabedaten; und Erzeugen einer Bewertung für das verlustbehaftete Kompressionsverfahren in Abhängigkeit von der Abweichung.
-
Unter „Objekterkennungsalgorithmus“ kann vor- und nachstehend beispielsweise ein künstliches neuronales Netz, eine Support Vector Machine, ein k-Means-Algorithmus, ein K-Nächste-Nachbarn-Algorithmus, ein Entscheidungsbaum, ein Random Forest oder eine Kombination aus mindestens zwei dieser Beispiele verstanden werden.
-
Bei den aufgezeichneten Sensordaten kann es sich um Daten handeln, die (im Gegensatz zu den dekomprimierten Sensordaten) nicht verlustbehaftet komprimiert wurden. Beispielsweise können die aufgezeichneten Sensordaten durch Aufzeichnen der von der Sensorik bereitgestellten, unkomprimierten Sensordaten erzeugt worden sein. Alternativ können die aufgezeichneten Sensordaten durch Komprimieren der von der Sensorik bereitgestellten Sensordaten in einem verlustfreien Kompressionsverfahren und anschließendes Dekomprimieren der verlustfrei komprimierten Sensordaten erzeugt worden sein.
-
Die aufgezeichneten Sensordaten können beispielsweise Trainingsdaten zum Trainieren des Objekterkennungsalgorithmus in einem Trainingsschritt und/oder Validationsdaten zum Validieren des Objekterkennungsalgorithmus in einem Validationsschritt nach einem Trainingsschritt umfassen. Die Trainingsdaten und die Validationsdaten können dabei voneinander abweichen.
-
Es ist nicht zwingend erforderlich, dass die Trainingsdaten, die zum Trainieren des Objekterkennungsalgorithmus in der Datenverarbeitungsvorrichtung verwendet wurden, mit den Trainingsdaten übereinstimmen, die zum Trainieren des Objekterkennungsalgorithmus im (realen) Steuergerät verwendet wurden. Beispielsweise kann das Training des Objekterkennungsalgorithmus in der Datenverarbeitungsvorrichtung mit verlustfreien Daten erfolgen oder mit Daten, die mit einem anderen verlustbehafteten Kompressionsverfahren komprimiert wurden als demjenigen, das im Steuergerät implementiert ist. Entscheidend ist, dass die Validationsdaten, die zum Validieren des Objekterkennungsalgorithmus in der Datenverarbeitungsvorrichtung verwendet wurden, mit den Validationsdaten übereinstimmen, die zum Validieren des Objekterkennungsalgorithmus im (realen) Steuergerät verwendet wurden. Insbesondere sollten die Validationsdaten insofern übereinstimmen, als sie im gleichen verlustbehafteten Kompressionsverfahren komprimiert wurden.
-
Die Sensordaten und die dekomprimierten Sensordaten können beispielsweise in parallelen Prozessen durch den Objekterkennungsalgorithmus verarbeitet werden.
-
Unter „Datenverarbeitungsvorrichtung“ kann vor- und nachstehend beispielsweise ein Server, ein PC, ein Laptop, ein Tablet, ein Smartphone, eine Erweiterungskarte, etwa eine FPGA-Platine, oder eine Kombination aus mindestens zwei dieser Beispiele verstanden werden.
-
Das Steuergerät und die Datenverarbeitungsvorrichtung können über eine Datenkommunikationsverbindung drahtgebunden und/oder drahtlos, beispielsweise über WLAN, Bluetooth und/oder Mobilfunk, miteinander zur Datenkommunikation verbunden sein.
-
Mithilfe eines solchen Verfahrens können Einflüsse des verlustbehafteten Kompressionsverfahrens auf die Erkennungsleistung des Objekterkennungsalgorithmus unmittelbar festgestellt werden, ohne dass zusätzliche Vergleichsdaten, etwa Ground-Truth-Daten, herangezogen zu werden brauchen. Ein solcher Vergleich kann beispielsweise parallel zum normalen Betrieb des Steuergeräts während der Fahrt des Fahrzeugs durchgeführt werden. Dies vereinfacht die Anpassung des verlustbehafteten Kompressionsverfahrens im Hinblick auf eine optimale Erkennungsleistung.
-
Ein vierter Aspekt der Erfindung betrifft eine Datenverarbeitungsvorrichtung. Die Datenverarbeitungsvorrichtung umfasst einen Prozessor, der konfiguriert ist, um das vor- und nachstehend beschriebene Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens auszuführen. Zusätzlich zum Prozessor kann die Datenverarbeitungsvorrichtung einen Speicher und Datenkommunikationsschnittstellen zur Datenkommunikation mit Peripheriegeräten umfassen. Merkmale des vorgenannten Verfahrens können auch Merkmale der Datenverarbeitungsvorrichtung sein und umgekehrt.
-
Weitere Aspekte der Erfindung betreffen ein Computerprogramm und ein computerlesbares Medium, auf dem das Computerprogramm gespeichert ist.
-
Das Computerprogramm umfasst Befehle, die einen Prozessor bei Ausführung des Computerprogramms durch den Prozessor veranlassen, eines oder beide der vor- und nachstehend beschriebenen Verfahren auszuführen.
-
Das computerlesbare Medium kann ein flüchtiger oder nicht flüchtiger Datenspeicher sein. Beispielsweise kann das computerlesbare Medium eine Festplatte, ein USB-Speichergerät, ein RAM, ROM, EPROM oder Flash-Speicher sein. Das computerlesbare Medium kann auch ein einen Download eines Programmcodes ermöglichendes Datenkommunikationsnetzwerk wie etwa das Internet oder eine Datenwolke (Cloud) sein.
-
Merkmale der vor- und nachstehend beschriebenen Verfahren können auch Merkmale des Computerprogramms und/oder des computerlesbaren Mediums sein und umgekehrt.
-
Mögliche Merkmale und Vorteile von Ausführungsformen der Erfindung können unter anderem, und ohne die Erfindung einzuschränken, als auf den nachstehend beschriebenen Ideen und Erkenntnissen beruhend angesehen werden.
-
Gemäß einer Ausführungsform kann das Verfahren zum Verarbeiten der Sensordaten ferner umfassen: Senden der komprimierten Sensordaten und/oder der Ausgabedaten vom Steuergerät an eine Datenverarbeitungsvorrichtung zum Aufzeichnen und/oder Auswerten der komprimierten Sensordaten und/oder der Ausgabedaten. Auf diese Weise kann die Effizienz der Datenübertagung und -speicherung im Vergleich zu herkömmlichen Ansätzen, wonach die Sensordaten verlustfrei oder überhaupt nicht komprimiert werden, erheblich gesteigert werden.
-
Gemäß einer Ausführungsform kann das Verfahren, wenn das Steuergerät in einem Testmodus betrieben wird, ferner umfassen: Empfangen aufgezeichneter komprimierter Sensordaten, die in dem verlustbehafteten Kompressionsverfahren und/oder in einem zu testenden verlustbehafteten Kompressionsverfahren komprimiert wurden, im Steuergerät; Dekomprimieren der aufgezeichneten komprimierten Sensordaten durch das Steuergerät, um aufgezeichnete dekomprimierte Sensordaten zu erhalten; Eingeben der aufgezeichneten dekomprimierten Sensordaten als die Eingabedaten in den Objekterkennungsalgorithmus, um das Steuergerät zu testen. Die komprimierten Sensordaten und die aufgezeichneten komprimierten Sensordaten können in dem gleichen verlustbehafteten Kompressionsverfahren oder auch in voneinander abweichenden verlustbehafteten Kompressionsverfahren komprimiert worden sind. Das zu testende verlustbehaftete Kompressionsverfahren kann vom (aktuell im Steuergerät verwendeten) verlustbehafteten Kompressionsverfahren abweichen. Beispielsweise kann es sich bei dem zu testenden Kompressionsverfahren um eine aktualisierte Version des aktuell verwendeten Kompressionsverfahrens handeln. Die aufgezeichneten komprimierten Sensordaten können auf Sensordaten zurückgehen, die von einem einzigen realen Fahrzeug oder von mehreren realen Fahrzeugen, genauer von deren jeweiliger Sensorik, stammen. Anders ausgedrückt können die aufgezeichneten komprimierten Sensordaten durch ein einziges Steuergerät oder durch mehrere Steuergeräte verschiedener Fahrzeuge bereitgestellt worden sein. Denkbar ist auch, dass die aufgezeichneten komprimierten Sensordaten durch ein mathematisches Modell erzeugt wurden, das physikalische Eigenschaften der Sensorik, des Fahrzeugs und/oder zu erkennender Objekte in der Umgebung des Fahrzeugs simuliert. Der Testmodus kann beispielsweise dazu dienen, eine aktualisierte Steuergerätesoftware auf Fehler zu überprüfen oder einen Objekterkennungsalgorithmus, der auf dem Steuergerät läuft, mit den aufgezeichneten dekomprimierten Sensordaten zu trainieren, zu validieren und/oder zu testen. Auf diese Weise kann die Freigabe neuer Softwareversionen für das Steuergerät vereinfacht werden.
-
Gemäß einer Ausführungsform können die dekomprimierten Sensordaten in einen Objekterkennungsalgorithmus eingegeben werden, der mit aufgezeichneten dekomprimierten Sensordaten trainiert wurde, um die Eingabedaten in die Ausgabedaten umzuwandeln. Dabei können die aufgezeichneten dekomprimierten Sensordaten durch Dekomprimieren aufgezeichneter komprimierter Sensordaten erzeugt worden sein, die in dem verlustbehafteten Kompressionsverfahren komprimiert wurden. Mithilfe eines solchen Objekterkennungsalgorithmus kann die Objekterkennung deutlich verbessert werden.
-
Gemäß einer Ausführungsform kann die Sensorik eine Kamera sein und die Sensordaten können von der Kamera bereitgestellte Bilddaten sein. Versuche haben gezeigt, dass Videoalgorithmen, wie sie beispielsweise zur Erkennung von Verkehrszeichen und anderen Objekten zum Einsatz kommen, sehr gute Leistungen erzielen, wenn sie mit einer verlustbehafteten Videokompression kombiniert werden.
-
Gemäß einer Ausführungsform können die dekomprimierten Sensordaten erhalten werden, indem die komprimierten Sensordaten durch das Steuergerät zunächst dekomprimiert und anschließend vorverarbeitet werden. Die Vorverarbeitung kann beispielsweise eine Rauschreduzierung, Rektifizierung oder eine Belichtungssteuerung umfassen. Alternativ oder zusätzlich können die komprimierten Sensordaten erhalten werden, indem die von der Sensorik bereitgestellten Sensordaten durch das Steuergerät zunächst vorverarbeitet und anschließend komprimiert werden. Auf diese Weise kann die Objekterkennung weiter verbessert werden.
-
Gemäß einer Ausführungsform kann das Steuergerät einen programmierbaren Baustein umfassen, der konfiguriert ist, um die Sensordaten in dem verlustbehafteten Kompressionsverfahren zu komprimieren, um die komprimierten Sensordaten zu erhalten, und/oder die komprimierten Sensordaten zu dekomprimieren, um die dekomprimierten Sensordaten zu erhalten. Der programmierbare Baustein kann beispielsweise ein FPGA oder ein System auf einem Chip, englisch system on a chip oder kurz SoC, sein. Möglich ist aber auch, dass das Komprimieren und/oder Dekomprimieren von einem Grafikprozessor (GPU) oder einem digitalen Signalprozessor (DSP) ausgeführt wird. Dabei kann ein Computerprogramm zur Auswertung der dekomprimierten Sensordaten, etwa ein den Objekterkennungsalgorithmus codierendes Computerprogramm, in einem anderen Bereich des Steuergeräts außerhalb des programmierbaren Bausteins gespeichert sein. Auf diese Weise kann die Kompression und/oder Dekompression flexibel an unterschiedliche Systemkonfigurationen angepasst werden, ohne dass die Hardware des Steuergeräts modifiziert zu werden braucht.
-
Der programmierbare Baustein kann beispielsweise direkt nach einem Bildsensor und vor einer Bildverarbeitungskette im Steuergerät eingefügt sein. Dabei kann der Baustein konfiguriert sein, um Videodaten zu komprimieren und anschließend wieder zu dekomprimieren, wobei diese verlustbehafteten dekomprimierten Videodaten vom Steuergerät ausgewertet werden können. Dies ist insbesondere im Zusammenhang mit künstlichen neuronalen Netzen relevant, da hier bereits kleine Unterschiede in der Charakteristik der Bilder, die infolge einer verlustbehafteten Kompression entstehen können, zu unterschiedlichen Auswertungsergebnissen führen können. Somit kann ausgeschlossen werden, dass Unterschiede in den Auswertungsergebnissen auf die verlustbehaftete Kompression zurückgehen.
-
Der Baustein kann zusätzlich eine Schnittstelle zum Messen und/oder Einspeisen der verlustbehaftet komprimierten Sensordaten umfassen. Dadurch brauchen die Sensordaten für die Speicherung beispielsweise nicht mehr separat auf einem Messsystem komprimiert und für die Wiedereinspeisung auf einem Speicherserver dekomprimiert zu werden. Dies reduziert zusätzlich die Netzwerkauslastung beim Messen bzw. Einspeisen der Daten und entlastet das Gesamtsystem.
-
Alternativ kann die Kompression und Dekompression der aufgezeichneten Sensordaten auch im Mess- und/oder Wiedereinspeisungsrechner, etwa durch eine spezielle Erweiterungskarte in einem PC, erfolgen. In diesem Fall ist es zweckmäßig, wenn der Mess- und/oder Wiedereinspeisungsrechner mit dem gleichen Baustein zur (De-) Kompression ausgestattet ist wie das Steuergerät.
-
Gemäß einer Ausführungsform kann der programmierbare Baustein konfiguriert sein, um die komprimierten Sensordaten zunächst zu dekomprimieren und anschließend vorzuverarbeiten, um die dekomprimierten Sensordaten zu erhalten. Anders ausgedrückt kann in den programmierbaren Baustein zusätzlich zur Kompressions- und/oder Dekompressionsfunktion eine Vorverarbeitungsfunktion, beispielsweise eine Bildvorverarbeitungsfunktion zur Rauschreduzierung, Rektifizierung und/oder Belichtungssteuerung, integriert sein. Auf diese Weise kann die Vorverarbeitung flexibel an unterschiedliche Systemkonfigurationen angepasst werden, ohne dass die Hardware des Steuergeräts modifiziert zu werden braucht oder eine spezielle Testhardware erforderlich ist.
-
Gemäß einer Ausführungsform kann das Verfahren zum Bewerten eines verlustbehafteten Kompressionsverfahrens ferner umfassen: Erzeugen von Steuerbefehlen zum Steuern einer Aufzeichnung der Sensordaten in Abhängigkeit von der Abweichung. Die Sensordaten können in der Datenverarbeitungsvorrichtung, dem Steuergerät und/oder einem Datenspeicher, der mit der Datenverarbeitungsvorrichtung und/oder dem Steuergerät zur Datenkommunikation verbunden ist, beispielsweise einem zentralen Speicherserver, aufgezeichnet werden. Beispielsweise kann die Aufzeichnung der (unkomprimierten) Sensordaten oder sonstiger zusätzlicher Daten, die vom Fahrzeug bereitgestellt werden, automatisch gestartet werden, wenn die Abweichung von der Datenverarbeitungsvorrichtung als relevant eingestuft wird. Umgekehrt kann eine laufende Aufzeichnung automatisch unterbrochen werden, wenn die Abweichung von der Datenverarbeitungsvorrichtung wieder als irrelevant eingestuft wird.
-
Ein wichtiger Punkt bei der Entwicklung, Optimierung und Freigabe von Videoalgorithmen ist das Einspeisen aufgezeichneter Sensordaten in ein vorhandenes Steuergerät. Für den Test der im Fahrzeug verwendeten Algorithmen können zuvor aufgezeichnete Sequenzen wieder in das gleiche Steuergerät, wie es später im Fahrzeug verwendet wird, eingespeist werden. Dabei wird auf dem Steuergerät in der Regel eine neuere Softwareversion mit angepassten Algorithmen getestet. Um eine Aussage über die Leistungsfähigkeit der Algorithmen in der realen Welt treffen zu können, werden üblicherweise sehr viele verschiedene Szenarien und Umweltbedingungen auf der ganzen Welt getestet. Beispielsweise können in großangelegten Dauerläufen Sensordaten von vielen Fahrzeugen auf der ganzen Welt aufgezeichnet werden. Diese Daten können vom jeweiligen Fahrzeug aufgezeichnet, von dort zu einem Serverspeicher übertragen und darin entsprechend lang gespeichert werden. Zusätzlich können die Daten für die Wiedereinspielung kopiert und in einem Netzwerk verschoben werden. Somit können für die Speicherung und den Transport der Daten, physikalisch oder digital, erhebliche Kosten entstehen, die direkt mit der Datenmenge zusammenhängen.
-
Die Rohsensordaten können über zwei Pfade zu den (Objekterkennungs-)Algorithmen im Steuergerät gelangen.
-
Zum einen können die Algorithmen die Rohsensordaten direkt von der Sensorik, etwa von einer Kamera, empfangen. Dies ist im realen Betrieb des Steuergeräts im Fahrzeug der Fall.
-
Zum anderen können die aufgezeichneten Sensordaten wiedereingespeist werden, was auch als Replay bezeichnet werden kann. In diesem Fall können die Sensordaten von einem Framework über eine speziell entwickelte HIL-Debug-Platine (HIL = hardware in the loop) an eine entsprechende Schnittstelle des Steuergeräts gesendet werden. Dieselbe Platine kann auch zum Messen der Sensordaten genutzt werden.
-
Bei der Wiedereinspeisung ist die Verbindung zur Sensorik nicht relevant, da die Rohsensordaten direkt vom Wiedereinspeisungs-Framework kommen.
-
In der Regel erreicht eine verlustbehaftete Datenkompression, abhängig vom akzeptierten Datenverlust, höhere Kompressionsraten als eine verlustfreie Datenkompression. In Versuchen konnte gezeigt werden, dass spezielle verlustbehaftete Kompressionsverfahren, die für Videoalgorithmen optimiert sind, trotz höherer Kompressionsraten keine maßgebliche Beeinträchtigung der Erkennungsleistung entsprechender Videoalgorithmen zur Folge haben. Daher bietet sich der Einsatz solcher Kompressionsalgorithmen in der Validation an, um die Datenmenge weiter zu reduzieren. Die Herausforderung besteht allerdings darin, sicherzustellen, dass die Kompression bzw. Dekompression die Validationsdaten nicht beeinflusst oder gegenüber den realen, unkomprimierten Daten verfälscht, denn in diesem Fall könnte nicht argumentiert werden, dass die Tests für die reale Welt repräsentativ sind. Insbesondere im Fall selbstlernender Algorithmen wäre es kaum möglich, zu beurteilen, ob sich die Algorithmen in allen Fällen auf beiden Datensätzen exakt gleich verhalten und die Effekte der Kompression in keinem Fall einen Unterschied ausmachen.
-
Der vor- und nachstehend beschriebene Ansatz löst diese Aufgabe, indem eine verlustbehaftete Kompression und Dekompression, beispielsweise mithilfe eines speziellen Hardwarebausteins, im Steuergerät selbst durchgeführt wird. Somit können sowohl die realen Daten als auch die Validationsdaten verlustbehaftet aufgezeichnet werden, sodass die Gleichheit beider Daten gewährleistet ist.
-
Beispielsweise können die komprimierten Sensordaten zur Aufzeichnungs- und/oder Auswertungszwecken direkt aus dem Steuergerät ausgelesen werden. Somit brauchen die von der Sensorik bereitgestellten Sensordaten nicht mehr extern komprimiert und/oder, etwa bei der Wiedereinspeisung, dekomprimiert zu werden. Zusätzlich wird der Datenverkehr zwischen dem Steuergerät und der daran angeschlossenen Peripherie reduziert.
-
Die Kompression kann optional durch Verwendung einer speziellen HIL-Debug-Platine (siehe weiter oben) als Datenverarbeitungsvorrichtung entwicklungsbegleitend optimiert werden. Somit können beispielsweise Videoströme gleichzeitig verlustbehaftet und verlustfrei aufgezeichnet werden. Durch die Möglichkeit der Implementierung als FPGA können die Entwicklungskosten gesenkt werden.
-
Zusätzlich kann die HIL-Debug-Platine konfiguriert sein, um die verlustbehafteten und die ursprünglichen Videoströme miteinander zu vergleichen, beispielsweise mithilfe eines maschinell gelernten Algorithmus. Somit kann parallel zum normalen Betrieb des Steuergeräts die Qualität der verlustbehafteten Kompression evaluiert werden.
-
Der Einfluss der verlustbehafteten Kompression auf die Erkennungsgüte des jeweiligen Algorithmus kann dadurch ermittelt werden, dass die Erkennungsgüte, die der Algorithmus beim Auswerten der ursprünglichen Daten erreicht, mit derjenigen verglichen wird, die der Algorithmus beim Auswerten der entsprechenden komprimierten Daten erreicht.
-
Für die Entwicklung und Freigabe der verlustbehafteten Kompression kann die vorgenannte HIL-Debug-Platine beispielsweise zwischen die Sensorik und das Steuergerät geschaltet werden. Die HIL-Debug-Platine kann beispielsweise einen FPGA umfassen, auf dem die vorgenannten Funktionen entsprechend getestet und optimiert werden können. Denkbar ist beispielsweise, dass die Sensordaten parallel verlustbehaftet und verlustfrei komprimiert werden. Somit können die beiden Kompressionsmethoden direkt miteinander verglichen werden. Die HIL-Debug-Platine kann beispielsweise konfiguriert sein, um die Datenintegrität aller Datenpfade mit CRC32 abzusichern. Dadurch kann sichergestellt werden, dass die untersuchten Unterschiede in den Sensordaten nicht auf Datenfehler zurückgehen. Zusätzlich kann die HIL-Debug-Platine konfiguriert sein, um bei Vorliegen bestimmter Auslösebedingungen, etwa bei einer Notbremsung des Fahrzeugs, zu veranlassen, dass die ursprünglichen Sensordaten mit abgespeichert werden. Die Kompression kann auf der HIL-Debug-Platine entwicklungsbegleitend optimiert werden.
-
Die Bewertung der Erkennungsleistung erfolgt dann beispielsweise durch eine separate Wiedereinspeisung beider Sensordatensätze. Die so erhaltenen Messdaten werden miteinander verglichen. Dazu kann das Training der Algorithmen basierend auf beiden Sensordatensätze, d. h. den ursprünglichen und den verlustbehafteten, dekomprimierten Sensordaten, erfolgen. Zur Bewertung kann ein Framework zum Einsatz kommen, auch Performance Evaluation Framework oder kurz PEF genannt, das Ground-Truth-Daten mit den jeweiligen Ausgabedaten vergleicht und Abweichungen quantifiziert.
-
Alternativ kann die verlustbehaftete Kompression auf bereits aufgezeichnete, unveränderte Sensordaten angewendet werden. Die so entstandenen verlustbehafteten Daten können beispielsweise in einem Open-Loop-Test ebenfalls eingespeist werden. Die resultierenden Ausgabedaten können dann bezüglich der Erkennungsleistung mit den ursprünglichen Sensordaten und/oder den Ground-Truth-Daten verglichen werden. Dieses Verfahren sollte mehrmals durchgeführt werden, um System-Jitter zu kompensieren.
-
Auf diese Weise kann der Einfluss verschiedener Kompressionsalgorithmen auf die Erkennungsleistung des Steuergeräts, beispielsweise auf einen vom Steuergerät ausgeführten Objekterkennungsalgorithmus in Form eines künstlichen neuronalen Netzes, bewertet werden.
-
Die HIL-Debug-Platine kann beispielsweise einen FPGA umfassen, der konfiguriert sein kann, um die ursprünglichen und die verlustbehafteten Datenströme miteinander zu vergleichen. Dazu können die beiden Pfade in der HIL-Debug-Platine durch einen entsprechenden Algorithmus verarbeitet und anschließend verglichen werden. Bei relevanten Abweichungen können gezielt zusätzliche Daten zur weiteren Analyse aufgezeichnet werden.
-
Vorteilhaft ist zudem, wenn durch die Dekompression verschiedene Bildparameter wie beispielsweise Rauschen oder Helligkeit angepasst werden. Somit können sowohl bei der Wiedereinspeisung als auch in der realen Hardware verschiedene Unsicherheiten auf demselben Bild simuliert und getestet werden. Dadurch wird die Robustheit der Videoalgorithmen weiter erhöht.
-
Figurenliste
-
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
- 1 zeigt ein Steuergerät gemäß einem Ausführungsbeispiel der Erfindung und eine Datenverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung.
- 2 zeigt die Datenverarbeitungsvorrichtung aus 1 im Detail.
-
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleichwirkende Merkmale.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Steuergerät 1 für ein Fahrzeug (nicht gezeigt). Das Fahrzeug ist mit einer Sensorik 2 ausgestattet, die eine Umgebung des Fahrzeugs erfasst und entsprechende Sensordaten 3 ausgibt, die vom Steuergerät 1 empfangen und mittels verlustbehafteter Kompression verarbeitet werden. Die Sensorik 2 kann beispielsweise eine Kamera sein. Die Sensordaten 3 können dementsprechend Bilddaten sein, die einzelne Bilder oder Bildsequenzen von der Umgebung des Fahrzeugs umfassen können. Die Sensorik 2 kann beispielsweise auch ein Radar-, Lidar- oder Ultraschallsensor sein.
-
In diesem Beispiel werden die Sensordaten 3 zunächst durch Komprimieren mit einem verlustbehafteten Kompressionsverfahren in einem Kompressionsmodul 4 zu komprimierten Sensordaten 5 umgewandelt. Die komprimierten Sensordaten 5 werden anschließend durch Dekomprimieren in einem Dekompressionsmodul 6 in dekomprimierte Rohsensordaten 7 umgewandelt.
-
Die dekomprimierten Rohsensordaten 7 werden in einem weiteren Schritt in einem Vorverarbeitungsmodul 8 vorverarbeitet, wobei sie in (entsprechend vorverarbeitete) dekomprimierte Sensordaten 9 umgewandelt werden. Das Vorverarbeitungsmodul 8 kann beispielsweise konfiguriert sein, um Rauschen in den Bildern zu reduzieren oder eine Belichtung anzupassen. Je nach Art der Sensordaten 3 kann das Vorverarbeitungsmodul 8 andere und/oder weitere Vorverarbeitungsfunktionen umfassen.
-
Die dekomprimierten Sensordaten 9 werden schließlich als Eingabedaten 10 in einen Objekterkennungsalgorithmus 11 eingegeben, der konfiguriert ist, um die Eingabedaten 10 in Ausgabedaten 12 umzuwandeln, die erkannte Objekte in der Umgebung des Fahrzeugs, beispielsweise Fußgänger, Fahrbahnmarkierungen, Verkehrsschilder o. Ä., mit ihren jeweiligen Positionen und/oder Orientierungen anzeigen.
-
Alternativ kann das Dekompressionsmodul 6 dem Objekterkennungsalgorithmus 11 die dekomprimierten Rohsensordaten 7 als die Eingabedaten 10 übergeben.
-
Wie in 1 zu sehen, können das Kompressionsmodul 4 und das Dekompressionsmodul 6 in einem gesonderten programmierbaren Baustein 13 des Steuergeräts 1 gespeichert sein, beispielsweise einem FPGA oder einem SoC. Dabei können der Objekterkennungsalgorithmus 11 und das Vorverarbeitungsmodul 8 außerhalb dieses Bausteins 13 im Steuergerät 1 abgespeichert sein.
-
Möglich ist aber auch, dass das Vorverarbeitungsmodul 8 in den Baustein 13 integriert ist. In diesem Fall kann der Baustein 13 die dekomprimierten Sensordaten 9 anstatt der dekomprimierten Rohsensordaten 7 ausgeben und dem Objekterkennungsalgorithmus 11 als die Eingabedaten 10 bereitstellen. Somit kann die Vorverarbeitung flexibel an sich ändernde Randbedingungen, etwa an eine neue Sensorik, angepasst werden.
-
Zu Analyse- und Testzwecken kann das Steuergerät 1 über eine geeignete Datenkommunikationsverbindung, die drahtlos oder drahtgebunden sein kann, mit einer externen Datenverarbeitungsvorrichtung 14 verbunden sein. Die Datenverarbeitungsvorrichtung 14 kann beispielsweise ein PC, Laptop, Tablet oder eine spezielle Debug-Platine sein.
-
Beispielsweise können die komprimierten Sensordaten 5 und/oder die den komprimierten Sensordaten 5 zugeordneten Ausgabedaten 12 an die Datenverarbeitungsvorrichtung 14 gesendet, dort gespeichert und in geeigneter Weise ausgewertet werden.
-
Die komprimierten Sensordaten 5 können alternativ im Steuergerät 1 selbst gespeichert und dort bei Bedarf ausgelesen werden.
-
Möglich ist auch, dass die Datenverarbeitungsvorrichtung 14 aufgezeichnete komprimierte Sensordaten 15, die durch Aufzeichnung der komprimierten Sensordaten 5 erhalten wurden, ans Steuergerät 1 sendet, sofern dieses in einem entsprechenden Testmodus betrieben wird. Die aufgezeichneten komprimierten Sensordaten 15 können analog zu den komprimierten Sensordaten 5 im Dekompressionsmodul 6 dekomprimiert werden, wobei sie in aufgezeichnete dekomprimierte Sensordaten 16 umgewandelt werden.
-
Die aufgezeichneten dekomprimierten Sensordaten 16 können beispielsweise analog zu den dekomprimierten Rohsensordaten 7 im Baustein 13 vorverarbeitet worden sein. Möglich ist aber auch eine Vorverarbeitung im Vorverarbeitungsmodul 8.
-
Wie in 1 gezeigt, können die Sensordaten 3 je nach Testkonfiguration von der Datenverarbeitungsvorrichtung 14 allein oder parallel vom Steuergerät 1 und von der Datenverarbeitungsvorrichtung 14 empfangen werden. Im erstgenannten Fall kann die Datenverarbeitungsvorrichtung 14 zwischen die Sensorik 2 und das Steuergerät 1 geschaltet sein, wobei das Steuergerät 1 die Sensordaten 3 von der Datenverarbeitungsvorrichtung 14 erhält.
-
Beispielsweise können die Sensordaten 3 in der Datenverarbeitungsvorrichtung 14 komprimiert werden, um die aufgezeichneten komprimierten Sensordaten 15 zu erhalten.
-
Möglich ist auch, dass die Datenverarbeitungsvorrichtung 14 die aufgezeichneten komprimierten Sensordaten 15 durch Dekomprimieren in die aufgezeichneten dekomprimierten Sensordaten 16 umwandelt und dem Steuergerät 1 als die Eingabedaten 10 bei Bedarf zu Testzwecken bereitstellt.
-
Die aufgezeichneten dekomprimierten Sensordaten 16 können beispielsweise als Trainings-, Validierungs- und/oder Testdaten zum Trainieren, Validieren bzw. Testen des Objekterkennungsalgorithmus 11 in einem maschinellen Lernverfahren verwendet werden.
-
2 zeigt, wie ein verlustbehaftetes Kompressionsverfahren, wie es im Steuergerät 1 verwendet wird oder verwendet werden soll, durch die Datenverarbeitungsvorrichtung 14 automatisiert bewertet werden kann.
-
Dazu werden die von der Sensorik 2 bereitgestellten Sensordaten 3 in der Datenverarbeitungsvorrichtung 14 empfangen und in ein Kompressionsmodul 4 eingegeben, das die Sensordaten 3 durch Kompression mit dem zu testenden verlustbehafteten Kompressionsverfahren in komprimierte Sensordaten 5 umwandelt. Die komprimierten Sensordaten 5 werden anschließend in ein Dekompressionsmodul 6 eingegeben, das die komprimierten Sensordaten 5 durch Dekompression in dekomprimierte Sensordaten 9 umwandelt.
-
Alternativ kann die Datenverarbeitungsvorrichtung 14 die komprimierten Sensordaten 5 vom Steuergerät 1 empfangen.
-
Das Kompressionsmodul 4 und das Dekompressionsmodul 6 sind in diesem Beispiel Module eines weiteren programmierbaren Bausteins 17, der in gleicher oder ähnlicher Weise wie der Baustein 13 des Steuergeräts 1 programmiert wurde oder mit diesem identisch ist.
-
Die Sensordaten 3 und die dekomprimierten Sensordaten 9 werden als Eingabedaten 10 für ein erstes Objekterkennungsmodul 18 bzw. ein zweites Objekterkennungsmodul 19 der Datenverarbeitungsvorrichtung 14 verwendet, wobei die Sensordaten 3 in das erste Objekterkennungsmodul 18 und die dekomprimierten Sensordaten 9 in das zweite Objekterkennungsmodul 19 eingegeben werden. Die beiden Objekterkennungsmodule 18, 19 führen jeweils einen Objekterkennungsalgorithmus 11 aus, der mit aufgezeichneten Sensordaten trainiert wurde, um die Eingabedaten 10 in Ausgabedaten 12 umzuwandeln, die Objekte in der Umgebung des Fahrzeugs anzeigen.
-
Die aufgezeichneten Sensordaten können von der Sensorik 2 oder einer anderen Sensorik, die real oder simuliert sein kann, bereitgestellt worden sein.
-
Der Objekterkennungsalgorithmus 11, der im Steuergerät 1 ausgeführt wird, kann vom Objekterkennungsalgorithmus 11, der in der Datenverarbeitungsvorrichtung 14 ausgeführt wird, abweichen oder damit übereinstimmen.
-
Anschließend werden die Ausgabedaten 12 der beiden Objekterkennungsmodule 18, 19 in einem Vergleichsmodul 20 miteinander verglichen, um eine Abweichung zwischen den jeweiligen Ausgabedaten 12 zu bestimmen.
-
Ein die Abweichung quantifizierendes Vergleichsergebnis 21 wird schließlich in einem Auswertungsmodul 22 ausgewertet, das eine der jeweiligen Abweichung entsprechende Bewertung 23 des für die Kompression der Sensordaten 3 verwendeten verlustbehafteten Kompressionsverfahrens ausgibt.
-
Zusätzlich kann das Auswertungsmodul 22 konfiguriert sein, um in Abhängigkeit von dem Vergleichsergebnis 21 und/oder der Bewertung 23 Steuerbefehle 24 zum Starten und/oder Unterbrechen einer Aufzeichnung der von der Sensorik 2 bereitgestellten Sensordaten 3 oder sonstiger relevanter Fahrzeugdaten in einem internen oder externen Datenspeicher zu erzeugen.
-
Das Steuergerät 1 und die Datenverarbeitungsvorrichtung 14 sind jeweils mit einem Prozessor 25 ausgestattet, der ein Computerprogramm ausführt, durch dessen Ausführung bewirkt wird, dass die vorstehend am Beispiel des Steuergeräts 1 bzw. der Datenverarbeitungsvorrichtung 14 beschriebenen Verfahrensschritte ausgeführt werden.
-
Abschließend wird darauf hingewiesen, dass Begriffe wie „aufweisend“, „umfassend“ etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
