-
Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren zum maschinellen Lernen von Fahrbahnmarkierungen mittels Audiosignalen, ein Steuergerät für automatisierte Fahrfunktionen, ein Verfahren zum Erkennen von Fahrbahnmarkierungen und ein Computerprogramm zum Erkennen einer Fahrbahnmarkierung
-
Aus dem Stand der Technik ist bekannt, Fahrbahnmarkierungen mittels Kamerasystemen wahrzunehmen, um die Position eines Fahrzeuges auf einer Fahrbahn zu bestimmen zur Steuerung und/oder Regelung von Fahrerassistenzsystemen, beispielsweise Spurhalteassistenten.
-
Außerdem sind intelligente Verfahren bekannt zur Detektion und Klassifikation von akustischen Szenen und akustischen Ereignissen, siehe zum Beispiel D. Stowell et al., „Detection and Classification of Acoustic Scenes and Events", IEEE Transactions on Multimedia, Vol. 17, No. 10, October 2015, 1733-1746.
-
Ein Problem ist, dass bei schlechten Bedingungen, beispielsweise Schnee, starker Sonneneinstrahlung oder Verschmutzung der Kamerasensorik, Fahrbahnmarkierungen mit den Kamerasystemen nicht erkennbar sind. Außerdem ist eine falsche Erkennung durch Fehler in der Algorithmik oder durch optische Fehler nicht ausschließbar.
-
Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, die Erkennung von Fahrbahnmarkierungen zu verbessern.
-
Das erfindungsgemäße computerimplementierte Verfahren löst diese Aufgabe, in dem Fahrbahnmarkierungen mittels Audiosignalen maschinell gelernt werden. Das Verfahren umfasst die Verfahrensschritte
- • Aufnehmen von Reifen-Fahrbahn-Geräuschen, die beim Abrollen wenigstens eines Reifens eines Fahrzeuges auf einer Fahrbahnmarkierung entstehen, mit wenigstens einem an dem Fahrzeug anordenbaren Schallsensor und Erhalten von Audiosignalen,
- • Bereitstellen der Audiosignale als Ist-Trainingsdaten,
- • Kennzeichnen der Fahrbahnmarkierung in den Audiosignalen und Bereitstellen dieser Kennzeichnung als Soll-Fahrbahnmarkierung,
- • Eingeben der Ist-Trainingsdaten in einen Klassifikator, der ausgeführt ist, die Fahrbahnmarkierung in Abhängigkeit der Reifen-Fahrbahn-Geräusche zu klassifizieren und Erhalten einer Ist-Fahrbahnmarkierung als Klassifikationsergebnis, und
- • Bestimmen einer Abweichung der Ist-Fahrbahnmarkierung von der Soll-Fahrbahnmarkierung und Anpassen des Klassifikators zur Minimierung der Abweichung, um aus dem Audiosignal die Fahrbahnmarkierung zu erhalten.
-
Mittels der Erkennung der Fahrbahnmarkierungen gemäß dem erfindungsgemäßen Verfahren wird die Position des Fahrzeuges auf der Fahrbahn auch dann bestimmt, wenn Kamerasysteme, beispielsweis aufgrund starken Regens, Blendung, Verschmutzung der Sensorik, Fehler in Algorithmik oder optische Fehler, die Fahrbahnmarkierungen nicht mehr wahrnehmen können. Außerdem werden durch das erfindungsgemäße Verfahren die Erkennung der Fahrbahnmarkierungen mittels Kamerasystemen mit der Erkennung der Fahrbahnmarkierungen mittels Schallsensoren und umgekehrt plausibilisiert. Damit wird die Sicherheit beim Fahren erhöht.
-
Fahrbahnmarkierungen, auch Straßenmarkierung oder Bodenmarkierung genannt, sind Kennzeichnungen auf Oberflächen von Flächen des Straßenverkehrs. Markierungsmaterialen für Fahrbahnmarkierungen enthalten beispielsweise Reflexperlen für reflektierende Eigenschaften. Markierungsknöpfe, das sind Objekte aus Metall oder Kunststoff, die auf die Fahrbahn aufgeklebt oder eingeschlagen werden, werden auch als Markierungsmaterialien verwendet und bilden selbst Fahrbahnmarkierungen. Für Fahrbahnmarkierungen werden auch Agglomerate verwendet, die eine unebene Oberfläche ergeben. Fahrbahnmarkierungen können auch an der Oberfläche profiliert sein, beispielsweise durch Applikation von Stegen längs oder quer zur Fahrtrichtung, zur haptischen und/oder akustischen Wahrnehmung.
-
Aufgrund der Markierungsmaterialien, Agglomeraten oder Profilierungen der unterscheiden sich Reifen-Fahrbahn-Geräusche, die beim Abrollen auf Fahrbahnmarkierungen entstehen, von Reifen-Fahrbahn-Geräuschen, die beim Abrollen auf Fahrbahnen, ohne dass eine Fahrbahnmarkierung überfahren wird, entstehen.
-
Reifen-Fahrbahn-Geräusche sind die Geräusche, die beim Abrollen des Reifens auf der Fahrbahnoberfläche entstehen. Quellen sind Luftschall- und Körperschallquellen, beispielsweise Airpumping oder Reifenschwingungen.
-
Ein Schallsensor ist ein Sensor, der mechanische Schwingungen, beispielsweise verursacht durch Luftschallwellen, erfasst und in ein prozessierbares Signal, beispielsweise ein elektrisches Signal wie etwa eine elektrische Spannung, umformt.
-
Das elektrische Signal heißt Audiosignal. Die Audiosignale werden in verfügbaren Audiodateien komprimiert oder unkomprimiert mit der Kennzeichnung als Metainformation bereitgestellt. WAV ist beispielsweise ein unkomprimiertes Dateiformat. Ogg-Vorbis oder MP3 sind jeweils komprimierte Dateiformate.
-
Der Schallsensor umfasst einen analogen und/oder digitalen Signalausgang. Die Umformung erfolgt in zwei Stufen. In einer ersten akustisch-mechanischen Umformungsstufe wird der Luftschall nach einem bestimmten Empfangsprinzip in die Bewegung eines Objektes umgeformt. In der zweiten mechanisch-elektrischen Umformungsstufe wird die Bewegung des Objektes nach einem bestimmten Wandlerprinzip in das elektrische Signal umgeformt. Ein Akustiksensor, der Luftschallwellen detektiert, ist ein Schallsensor. Beispiele für Schall- und/oder Akustiksensoren sind eine Anordnung eines Magneten und einer elektrischen Spule, Mikrofone, Beschleunigungs-aufnehmer, Piezogeber oder Dehnungsmessstreifen. Ein mikro-elektro-mechanisches System, abgekürzt MEMS, umfassend eine Anordnung von Halbleiterelementen, die Schwingungen aufnehmen, ist auch als Schallsensor einsetzbar.
-
Während der Lernphase kann der Schallsensor an dem Fahrzeug angeordnet sein. Nach einem Aspekt der Erfindung ist der Schallsensor von der Fahrbahn entfernt angeordnet und misst Schalldruckpegel beim Vorbeirollen der Fahrzeuge. Die erste Schnittstelle ist dann als Funkschnittstelle ausgeführt. In der Einsatzphase, das heißt wenn der Klassifikator trainiert ist, ist der Schallsensor an dem Fahrzeug angeordnet, beispielsweise in der Nähe eines Reifens, beispielsweise in einem Radkasten.
-
Nach einem Aspekt der Erfindung umfasst der Schallsensor ein Mikrofon. Das Mikrofon umfasst eine Mikrofonkapsel und einen Wandler. In der Mikrofonkapsel erfolgt die akustisch-mechanische Umformung. Die Mikrofonkapsel umfasst beispielsweise eine Membran, die durch Luftschall zu Schwingungen angeregt wird. In dem Wandler erfolgt die mechanisch-elektrische Umwandlung. Der Wandler ist beispielsweise ein elektrodynamischer Wandler, wie etwa bei einem Tauchspulenmikrofon, oder ein elektrostatischer Wandler, wie etwa bei einem Kondensatormikrofon.
-
Nach einem weiteren Aspekt der Erfindung ist der Schallsensor als ein MEMS-Mikrofon realisiert. MEMS-Mikrofone sind miniaturisierte Mikrofone, die beispielsweise in SMD-Technik, das heißt surface mounted device, ausgeführt sind zum direkten Einsatz auf der Leiterplatte. MEMS-Mikrofone besitzen kleine Abmessungen und sind einfach industriell zu verarbeiten, beispielsweise können MEMS-Mikrofone in einem Reflow-Lötprozess bestückt werden. Im Vergleich zu anderen Mikrofonen sind MEMS-Mikrofone unempfindlicher gegenüber hohen Temperaturen und damit für automobile Anwendungen besonders gut geeignet. Alternativ ist der Schallsensor ein Elektret-Kondensatormikrofon.
-
Maschinelles Lernen bezeichnet den Lernprozess eines künstlichen Systems, Muster oder Gesetzmäßigkeiten anhand von Trainingsdaten zu erkennen inspiriert am Lernvorgang des menschlichen Gehirns, um auf neue Informationen zweckgerichtet reagieren zu können. Maschinelles Lernen wird durch Algorithmen, die in Softwarecodeabschnitte implementiert sind, realisiert. Eine quelloffene Plattform zum Programmieren von maschinellem Lernen ist beispielsweise TensorFlow geschrieben in den Programmiersprachen Python, C++ oder CUDA, das heißt compute unified device architecture. Die Plattform ist beispielsweise eine Linux, macOS, Microsoft Windows, Android oder JavaScript Plattform. Platt Nach der Lernphase können unbekannte Daten vorteilhafterweise beurteilt werden, ohne zunächst auswendig gelernt werden zu müssen.
-
Ein Klassifikator teilt Objekte oder Situationen in Klassen ein und erkennt Muster. Ein Klassifikator ist beispielsweise ein Algorithmus, der Muster erkennt und Mustererkennungs-Algorithmus genannt wird. Der Klassifikator führt eine maschinelle Klassifikation durch. Die Klassifikation wird aus Ist-Fahrbahnmarkierung und Soll-Fahrbahnmarkierung gelernt. Das Ist-Fahrbahnmarkierung ist die Fahrbahnmarkierung, die der Klassifikator als Klassifikationsergebnis erhält. Die Soll-Fahrbahnmarkierung ist die tatsächliche, reale Fahrbahnmarkierung, die in den Klassifikator in Form der Kennzeichen eingegeben wird. Die Kennzeichen werden auch features, targets oder labels genannt. Beispielsweise wird eine Audio-Aufnahme der Fahrbahnmarkierung „Seitenstreifen“, die durch ein durchgängiges Geräusch, das allerdings unterschiedlich zu dem Fahrbahnbelag ohne Fahrbahnmarkierung ist, gekennzeichnet ist, mit der Metainformation „Das Audiosignal stammt von einem Seitenstrafen.“ gelabelt. Damit wird das gemessene Reifen-Fahrbahn-Geräusch, das beim Abrollen auf dem Seitenstreifen entsteht, mit der Fahrbahnmarkierungs-Information „Seitenstreifen“ in Relation gesetzt. Durch das Trainieren des Klassifikators mit den Ist-Fahrbahnmarkierungen und den Soll-Fahrbahnmarkierungen wird der Klassifikator optimiert, um aus Audiosignalen des Schallsensors die Fahrbahn zu erhalten. Dabei lernt der Klassifikator von selbst eine innere Struktur oder Topologie, um geringfügige Schwankungen in dem Audiosignal der jeweils tatsächlich zugrunde liegenden Fahrbahnmarkierung zuzuordnen.
-
Nach einem Aspekt der Erfindung wird der Durchlauf der Verfahrensschritte mehrmals wiederholt. Damit wird der Lernprozess verbessert, beispielsweise bei Lernraten von 0,01 oder kleiner. Bei einer Lernrate von 0,01 wird nur ein Hundertstel der bestimmten Abweichung der Ist-Fahrbahnmarkierung von der Soll-Fahrbahnmarkierung pro Durchlauf korrigiert. Andererseits ist eine Anpassung von einem Hundertstel oder noch geringer gewünscht, um ein Minimum in der Anpassung nicht zu verfehlen. Durch mehrere Durchläufe, auch Epochen genannt, wird das maschinelle Lernen beschleunigt und Begrenzungen der Rechenkapazität des ausführenden Computers eingehalten.
-
Nach einem weiteren Aspekt der Erfindung werden Reifen-Fahrbahn-Geräusche aufgenommen, die beim Abrollen auf Längsmarkierungen, Flächenmarkierungen und/oder Quermarkierungen entstehen. Längsmarkierungen übernehmen die optische Führung eines Verkehrsteilnehmers. Beispielsweise sind Leitlinien, das sind unterbrochene Linien, die einen Fahrstreifen jenseits der Fahrbahnbegrenzung kennzeichnen, oder Fahrbahnbegrenzungen, das sind durchgehende Linien, die den Rand der Fahrbahn kennzeichnen, Längsmarkierungen. Flächenmarkierungen sind beispielsweise Radwegmarkierungen. Quermarkierungen sind quer zur Fahrtrichtung aufgetragen und kennzeichnen querende Fußgänger- oder Radwegefurten. Quermarkierungen sind beispielsweise Haltelinien an Stoppschildern, Bahnübergängen oder Lichtsignalanlagen. Mittels der voran genannten Fahrbahnmarkierungen wird die Position des Fahrzeuges auf der Fahrbahn in jeweiligen Verkehrssituationen verbessert bestimmt.
-
Nach einem weiteren Aspekt der Erfindung ist der Klassifikator ein Random Forest Klassifikator, eine Support Vector Machine oder ein künstlich neuronales Netzwerk umfassend mehrere Schichten, die Schichten umfassend vollständig verbundene und/oder konvolutionale Schichten.
-
Random Forest ist ein Klassifikator umfassend unkorrelierte Entscheidungsbäume, die nach einer bestimmten Randomisierung während eines Lernprozesses wachsen. Für eine Klassifikation darf jeder Baum in diesem Wald eine Entscheidung treffen und die Klasse mit den meisten Stimmen entscheidet die endgültige Klassifikation. Vorteile des Random Forest sind unter anderem, dass er relativ schnell trainiert aufgrund kurzen Trainings- und/oder Aufbauzeiten eines einzelnen Entscheidungsbaums, dass Evaluierungen aufgrund mehrerer Bäume parallelisierbar sind und dass wichtige Klassen, wie zum Beispiel Mittelstreifen oder Seitenstreifen, erkannt werden können.
-
Eine Support Vector Machine ist ein Klassifikator, die eine Menge von Objekten derart in Klassen unterteilt, dass um Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Eine Support Vector Machine ist unter anderem bei wiederholtem Befahren ein und derselben Route von Vorteil.
-
Ein künstlich neuronales Netzwerk ist eine Ansammlung von einzelnen Informationsverarbeitungseinheiten, Neuronen genannt, die schichtweise in einer Netzarchitektur angeordnet sind. Zu Beginn des Trainings hat jedes Neuron ein zufälliges Anfangsgewicht. Trainingsdaten werden in das künstliche neuronale Netzwerk in einem sogenannten forward pass eingespeist. Jedes Neuron gewichtet seine Eingangs-Signale mit seinem Gewicht und gibt das Ergebnis weiter an Neuronen anderer Schichten. In der Ausgangsschicht wird das Gesamtergebnis berechnet. Die Abweichung zwischen Ist-Fahrbahnmarkierung und Soll-Fahrbahnmarkierung wird berechnet in einer Rückwärtsspeisung, dem sogenannten backward pass.
-
In der Rückwärtsspeisung wird der die innere Struktur des künstlichen neuronalen Netzwerks angepasst. Dabei wird auch der Anteil berechnet, den jedes Neuron an dieser Abweichung hat, und dann das Gewicht jedes Neurons in die Richtung verändert, die die Abweichung, oder auch Fehler genannt, minimiert. Der Fehler ist eine Funktion der Gewichte. Die Abweichung zwischen Ist- Fahrbahnmarkierung und Soll- Fahrbahnmarkierung wird durch eine Kostenfunktion bewertet. Bei der Rückwärtsspeisung wird der Gradient des Fehlers nach den einzelnen Gewichten rückwärtsgespeist. So weiß man, ob und wie stark sich der Unterschied zwischen Ist-Fahrbahnmarkierung und Soll- Fahrbahnmarkierung minimiert, wenn man das jeweilige Gewicht vergrößert oder verkleinert. Durch Minimierung der Abweichung in der Lernphase, zum Beispiel mittels der Methode der kleinsten Quadrate, der aus der Informationstheorie bekannten Kreuz-Entropie oder dem Gradientenabstiegsverfahren, werden damit die Gewichte geändert. Dann erfolgen der nächste Durchlauf, eine erneute Messung des Fehlers und Anpassung der Gewichte und so weiter. Damit lernt das künstliche neuronale Netzwerk zunehmend besser, von den Trainingsdaten auf die bekannten Soll- Fahrbahnmarkierung zu schließen.
-
Das künstliche neuronale Netzwerk umfasst Schichten mit vollständig verbundenen Netzwerken, im Englischen als Fully Connected Network bezeichnet. In einem vollständig verbundenen Netzwerk ist jedes Neuron einer Schicht mit allen Neuronen der vorausgehenden Schicht verbunden. Jede Verbindung hat ihr eigenes Gewicht. Das künstliche neuronale Netzwerk umfasst alternativ oder zusätzlich konvolutionale Schichten. In einem konvolutionalen neuronalen Netzwerk, auch Faltungsnetzwerk genannt, wird ein Filter auf eine Schicht von Neuronen unabhängig von der Position mit den gleichen Gewichten angewendet. Das konvolutionale neuronale Netzwerk umfasst mehrere Poolingschichten zwischen den konvolutionalen Schichten. Poolingschichten verändern die Dimension einer zweidimensionalen Schicht in Breite und Höhe. Poolingschichten werden auch für höherdimensionale Schichten verwendet.
-
Nach einem weiteren Aspekt der Erfindung werden nach der Lernphase alle Gewichte als sogenannter Checkpoint gespeichert. Das künstliche neuronale Netzwerk kann dann jederzeit mit diesen optimierten Gewichten erneut gestartet werden. Während das Training oft sehr rechenintensiv ist und eine speziell für das Training ausgelegte Hardware, beispielsweise umfassend GPU oder GPU Cluster, erfordert, ist der eigentliche Betrieb eines trainierten neuronalen Netzes deutlich schlanker und schneller und kann z.B. auch auf Mobilgeräten oder normalen Laptops/PCs nahezu in Echtzeit erfolgen.
-
Ein fertig trainiertes künstliches neuronales Netz kann mit Hilfe des Checkpoints auch jederzeit mit neuen Daten nachtrainiert werden. Dazu werden initial die bestehenden Werte aus dem Checkpoint in das Netz geladen, und die neuen Daten zum Training verwendet. Die neuen Daten sind beispielsweise Aufnahmen von Fußgängern und/oder Fremdfahrzeugen in der Umgebung des Fahrzeuges mit entsprechenden Labels. Damit kann der Klassifikator auch lernen, Objekte, beispielsweise Fußgänger oder Fremdfahrzeuge, zu erkennen und zu klassifizieren.
-
Es ist auch möglich, ein vortrainiertes neuronales Netz als Basis für das Training mit eigenen Daten zu verwenden, indem z.B. der letzte Layer eines mit sehr vielen Bildern trainierten Netzes durch einen eigenen neuen Layer ersetzt wird, etwa zur Klassifizierung von Reifen-Fahrbahn-Geräuschen. Damit kann beispielsweise ein auf Objekterkennung bereits trainierter Klassifikator verwendet werden, der mit Reifen-Fahrbahn-Geräuschen antrainiert wird, um zusätzlich zur Objekterkennung auch die Fahrbahn bestimmen zu können.
-
Nach einem weiteren Aspekt der Erfindung wird der Klassifikator mit Bildsignalen der Fahrbahnmarkierung während einer Fahrt des Fahrzeuges validiert. Die Bildsignale werden mit an dem Fahrzeug angeordneten Bildgebungssensoren, beispielsweise Kamera-, Lidar- oder Radarsensoren, erhalten. Die Bildsignale entsprechen Validierungsdaten, mit denen der Klassifikator während oder am Ende des Lernvorgangs getestet wird.
-
Das erfindungsgemäße Steuergerät steuert und/oder regelt automatisierte Fahrfunktionen. Die der Erfindung zugrunde liegende Aufgabe löst das Steuergerät durch Kombination einer ersten Schnittstelle, einer Recheneinheit und einer zweiten Schnittstelle. Die erste Schnittstelle ist eine Schnittstelle zu wenigstens einem an dem Fahrzeug angeordneten Schallsensor. Über die erste Schnittstelle werden Audiosignale von Reifen-Fahrbahn-Geräuschen erhalten, die beim Abrollen wenigstens eines Reifens des Fahrzeuges auf Fahrbahnmarkierungen entstehen. Die Recheneinheit ist ausgeführt, einen nach dem erfindungsgemäßen Verfahren der trainierten Klassifikator auszuführen, der als Eingabe die Audiosignale erhält und als Ausgabe die jeweilige Fahrbahnmarkierung bestimmt. Ferner ist die Recheneinheit ausgeführt, in Abhängigkeit der Fahrbahnmarkierung eine Position des Fahrzeuges auf der Fahrbahn zu bestimmen. Außerdem ist die Recheneinheit ausgeführt, in Abhängigkeit der Position ein Signal für Aktuatoren des Fahrzeuges zu bestimmen. Beispielsweise umfasst die Recheneinheit ausreichend Rechenkapazität, eine programmierte Mikroarchitektur und/oder lädt entsprechenden Softwarecode und führt diesen aus, um den Klassifikator auszuführen, die Position des Fahrzeuges und das Signal für die Aktuatoren zu bestimmen. Die zweite Schnittstelle stellt das Signal den Aktuatoren bereit für eine Querführung des Fahrzeuges.
-
Ein Steuergerät bereitet die Daten von Sensoren als Eingangssignale auf, verarbeitet diese mittels einer Recheneinheit, beispielsweise einem programmierbaren Logikbaustein, einem FGPA oder ASIC Baustein oder einer Computerplattform, und stellt Logik- und/oder Leistungspegel als Regel- oder Steuersignale bereit. Das bestimmte Signal ist ein Regel- oder Steuersignal. Mit dem bestimmten Signal werden über die zweite Schnittstelle Aktuatoren für eine Querführung des Fahrzeuges geregelt und gesteuert, um das Fahrzeug in der Spur zu halten. Ein Aktuator für die Querführung ist beispielsweise ein Elektromotor einer elektromechanischen Hilfskraftklenkung. Damit wird die Sicherheit beim Fahren, wenn Fahrbahnmarkierungen beispielsweise wegen schlechten Umweltbedingungen von Kamerasystemen nicht erfassbar sind, erhöht. Das Steuergerät ist signaltechnisch mit dem Schallsensor über die erste Schnittstelle verbunden. Der Datenaustausch erfolgt kabelgebunden oder kabellos, zum Beispiel über Funktechnologie, beispielsweise über einen WLAN Standard. Das Steuergerät ist nach einem weiteren Aspekt der Erfindung in ein Bordnetz des Fahrzeuges integriert, beispielsweise in einen CAN-Bus. Das Steuergerät ist beispielsweise ein elektronisches Steuergerät für automatisierte Fahrfunktionen, im Englischen Domain ECU genannt, nach einem Aspekt der Erfindung eine ADAS (advanced driver assistance system)/AD (autonomous driving) Domain ECU für assistiertes bis vollautomatisiertes, das heißt autonomes, Fahren.
-
Die Recheneinheit des Steuergeräts ist beispielsweise als ein System-on-a-Chip realisiert mit modularem Hardwarekonzept, das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip integriert und können modular erweitert werden. Der Chip ist in das Steuergerät integrierbar. Die Recheneinheit umfasst beispielsweise einen Mehrkernprozessor und Speichermodule. Der Mehrkernprozessor ist für einen Signal-/Datenaustausch mit Speichermodulen konfiguriert. Beispielsweise umfasst der Mehrkernprozessor ein Bussystem. Die Speichermodule bilden den Arbeitsspeicher. Die Speichermodule sind beispielsweise RAM, DRAM SDRAM oder SRAM. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halbleiterbauelement, angeordnet sind. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Die Recheneinheit umfasst nach einem Aspekt der Erfindung wenigstens einen zentralen Verarbeitungsprozessor, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet.
-
Die Recheneinheit umfasst auch wenigstens einen Grafikprozessor, im Englischen als Graphic Processing Unit, abgekürzt GPU, bezeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Nach einem Aspekt der Erfindung umfasst der Grafikprozessor wenigstens eine Prozesseinheit, die speziell zum Ausführen von Tensor-und/oder Matrixmultiplikationen ausgeführt ist. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning. Die Recheneinheit umfasst nach einem Aspekt der Erfindung auch Hardware Beschleuniger für künstliche Intelligenz, zum Beispiel sogenannte Deep Learning Accelerators. Nach einem weiteren Aspekt der Erfindung wird der Klassifikator in der Programmiertechnik CUDA bereitgestellt. Damit werden Softwarecodeabschnitte des Klassifikators direkt durch die GPU abgearbeitet.
-
Ferner sind die Recheneinheit oder das Steuergerät konfiguriert, modular mit mehreren, beispielsweise mindestens vier, derartiger Chips erweitert zu werden.
-
Nach einem weiteren Aspekt der Erfindung ist das Steuergerät ausgeführt, für die Bestimmung der Position des Fahrzeuges auf der Fahrbahn die Audiosignale mit Bildsignalen, erhalten mittels an dem Fahrzeug angeordneten Bildgebungssensoren, zu fusionieren. Durch eine Fusion von Kamerasignalen und den mittels Audiosignalen bestimmten Fahrbahnmarkierungen wird die Sicherheit erhöht. Beispielsweise werden die Ergebnisse der Auswertung der Audiosignale mit den Fahrbahnmarkierungen, die aus den Kamerasignalen erhalten werden, plausibilisiert und umgekehrt. Des Weiteren wird die Redundanz durch die weitere Bestimmungsmöglichkeit der Fahrbahnmarkierung erhöht.
-
Durch das erfindungsgemäße Verfahren werden Fahrbahnmarkierungen erkannt. Das Verfahren löst die der Erfindung zugrunde liegende Aufgabe durch die Verfahrensschritte
- • Aufnehmen von Reifen-Fahrbahn-Geräuschen, die beim Abrollen wenigstens eines Reifens eines Fahrzeuges auf den Fahrbahnmarkierungen entstehen, mit wenigstens einem an dem Fahrzeug angeordneten Schallsensor und Erhalten von Audiosignalen,
- • Bereitstellen der Audiosignale als Eingangsdaten für einen nach einem Verfahren der Ansprüchen 1 bis 5 trainierten Klassifikator und
- • Erhalten der Fahrbahnmarkierungen,
wobei zur Durchführung des Verfahrens ein erfindungsgemäßes Steuergerät verwendet wird.
-
Das erfindungsgemäße Computerprogramm erkennt eine Fahrbahnmarkierung. Die der Erfindung zugrunde liegende Aufgabe löst das Computerprogramm durch Befehle, die bewirken, dass ein erfindungsgemäßes Steuergerät ein erfindungsgemäßes Verfahren ausführt, wenn das Computerprogramm auf dem Steuergerät läuft. Die Befehle sind beispielsweise als Softwarecodeabschnitte realisiert. Das Computerprogramm hat einen technischen Effekt, wenn es ausgeführt wird, nämlich die Erkennung von Fahrbahnmarkierungen und die damit verbundene Erhöhung der Sicherheit beim Fahren.
-
Die Erfindung wird anhand der in den Figuren
- 1: Ausführungsbeispiel eines erfindungsgemäßen computerimplementierten Verfahrens zum maschinellen Lernen von Fahrbahnmarkierungen,
- 2: Ausführungsbeispiel eines erfindungsgemäßen Steuergerätes,
- 3: Ausführungsbeispiel eines Fahrzeuges mit dem Steuergerät aus 3
dargestellten Ausführungsbeispiele erläutert.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. In den Figuren werden nur die für das jeweilige Verständnis relevanten Bezugsteile angegeben.
-
In dem in 1 gezeigten Verfahrensschritt T1 werden Reifen-Fahrbahn-Geräuschen aufgenommen, die beim Abrollen wenigstens eines Reifens eines Fahrzeuges 1 auf einer Fahrbahnmarkierung M entstehen. Die Fahrbahnmarkierung M ist beispielsweise ein Seitenstreifen, siehe 3. Die Reifen-Fahrbahn-Geräusche werden mit wenigstens einem an dem Fahrzeug 1 anordenbaren Schallsensor S, beispielsweise einem in der Nähe des Rades angeordneten Mikrofon, siehe 3, aufgenommen.
-
Die so mit dem Schallsensor S erhaltenen Audiosignale werden einem Klassifikator K als Ist-Trainingsdaten in einem Verfahrensschritt T2 bereitgestellt.
-
In 2 ist der Klassifikator K ein künstliches neuronales Netzwerk mit einer Eingangsschicht umfassend beispielsweise 4 Neuronen und einer Ausgangsschicht umfassend 1 Neuron. Zwischen Eingangs- und Ausgangsschicht sind erfindungsgemäß mehrere, beispielsweise Größenordnung 100 bis 1000, versteckte Schichten, sogenannte hidden layers, angeordnet. Ein derartiges künstliches neuronals Netzwerk wird auch deep neural network genannt. Der Klassifikator K in 2 ist ein vollständig verbundenes Netzwerk. Erfindungsgemäß umfasst der Klassifikator K nicht dargestellte konvolutionale Schichten.
-
In einem Verfahrensschritt T3 werden die Fahrbahnmarkierung M in den Audiosignalen gekennzeichnet, beispielsweise händisch mittels einer Metainformation. Dieser Teilschritt heißt labeling. Die gelabelten Fahrbahnmarkierungen werden dem Klassifikator K als Soll-Fahrbahnmarkierung M bereitgestellt.
-
In einem Verfahrensschritt T4 werden die Ist-Trainingsdaten in den Klassifikator K eingegeben. Der Klassifikator K ist programmiert oder führt Softwarecode aus, um in Abhängigkeit der Reifen-Fahrbahn-Geräusche die Fahrbahnmarkierung M zu klassifizieren. Als Klassifikationsergebnis erhält der Klassifikator K eine Ist-Fahrbahnmarkierung.
-
In einem Verfahrensschritt T5 wird eine Abweichung, auch Fehler genannt, der Ist-Fahrbahnmarkierung M von der Soll-Fahrbahnmarkierung M bestimmt. In Abhängigkeit der Abweichung wird der Klassifikator K angepasst zur Minimierung der Abweichung, um aus dem Audiosignal die Fahrbahnmarkierung M zu erhalten.
-
Die Verfahrensschritte T1 bis T5 werden in einer Schleife mit mehreren Durchläufen wiederholt, um das Training zu verbessern.
-
Der in 2 gezeigte Schallsensor S ist über eine erste Schnittstelle 11 mit einer Recheneinheit 12 eines Steuergeräts 10 signaltechnisch verbunden. Die Recheneinheit 12 führt den Klassifikator K aus. Das Klassifikationsergebnis des Klassifikators K wird über eine zweite Schnittstelle 13 einem Aktuator A für eine Querführung des Fahrzeugs 1 bereitgestellt.
-
3 zeigt das Fahrzeug 1 mit dem Steuergerät 10 auf einer Fahrbahn mit der Fahrbahnmarkierung M. Das Steuergerät 10 unterstützt die Positionsbestimmung des Fahrzeuges 1 auf der Fahrbahn durch akustische Erkennung der Fahrbahnmarkierung M als Orientierungshilfe.
-
In dem in 4 gezeigten Verfahrensschritt V1 werden die Reifen-Fahrbahn-Geräuschen, die beim Abrollen wenigstens eines Reifens des Fahrzeuges 1 auf den Fahrbahnmarkierungen M entstehen, mit dem wenigstens einem an dem Fahrzeug 1 angeordneten Schallsensor S aufgenommen. Der Schallsensor S wandelt die Reifen-Fahrbahn-Geräusche in Audiosignalen.
-
In einem Verfahrensschritt V2 werden die Audiosignale als Eingangsdaten dem erfindungsgemäßen trainierten Klassifikator K bereitgestellt.
-
In einem Verfahrensschritt V3 werden als Ergebnis die akustisch bestimmten Fahrbahnmarkierungen V3 erhalten.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Aktuator
- 10
- Steuergerät
- 11
- erste Schnittstelle
- 12
- Recheneinheit
- 13
- zweite Schnittstelle
- M
- Fahrbahnmarkierung
- S
- Schallsensor
- K
- Klassifikator
- T1-T5
- Verfahrensschritt
- V1-V3
- Verfahrensschritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- D. Stowell et al., „Detection and Classification of Acoustic Scenes and Events“, IEEE Transactions on Multimedia, Vol. 17, No. 10, October 2015, 1733-1746 [0003]
