-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen von Kollisionsrisiken von Lastenwagen mit einem Fahrzeug.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Demgemäß ist vorgesehen:
- - ein Verfahren zum Erkennen von Kollisionsrisiken zwischen Lastenwagen und einem Fahrzeug mit den folgenden Schritten: Detektieren von Bewegungsgeräuschen eines rollbaren Lastenwagens, insbesondere eines Einkaufswagens, mittels eines Mikrofons; Ermitteln eines Kollisionsrisikos zwischen dem Lastenwagen und dem Fahrzeug; Ermitteln einer Reaktion in Abhängigkeit des Kollisionsrisikos.
-
Lastenwagen dienen dem Transport von Lasten. Sie können motorisiert sein oder manuell angetrieben werden. In der Regel werden Lastenwagen von einer Person begleitet, obgleich auch autonom fahrende Lastenwagen denkbar sind. Einkaufswagen, Plattformwagen oder Leiterwagen sind Beispiele für Lastenwagen.
-
Bewegungsgeräusche von Lastenwagen können beispielsweise charakteristische Rollgeräusche oder Geräusche von weiteren Aufbauteilen des Lastenwagens sein. Denkbar ist beispielsweise ein Klappern oder Rasseln einer Ladefläche eines Lastenwagens. Ferner ist es auch denkbar, dass Lastenwagen gezielt charakteristische Geräusche emittieren.
-
Das Ermitteln eines Kollisionsrisikos umfasst beispielsweise eine Ja-Nein-Frage, ob ein Kollisionsrisiko grundsätzlich gegeben ist oder ausgeschlossen werden kann. Es ist auch denkbar, ein Kollisionsrisiko qualitativ, beispielsweise zu 30 %, zu bewerten.
-
Ein Sensor, auch als Detektor, (Messgrößen- oder Mess-)Aufnehmer oder (Mess-)Fühler bezeichnet, ist ein technisches Bauteil, das bestimmte physikalische, chemische Eigenschaften oder Zustände, z. B. Temperatur, Feuchtigkeit, Druck, Geschwindigkeit, Helligkeit, Beschleunigung, pH-Wert, Ionenstärke, elektrochemisches Potential und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann. Diese Größen werden mittels physikalischer oder chemischer Effekte erfasst und als Sensordaten in ein weiterverarbeitbares elektrisches Signal umgeformt. Fahrzeugsensoren sind an einem Fahrzeug montiert, um eine Fahrzeugumgebung zu erfassen. Sensordaten, die von Fahrzeugsensoren erfasst werden, sind fahrzeugumgebungsbezogene Sensordaten.
-
Lidar (engl. light detection and ranging), auch Ladar (laser detection and ranging), ist eine dem Radar verwandte Methode zur optischen Abstands- und Geschwindigkeitsmessung sowie zur Fernmessung atmosphärischer Parameter. Statt der Radiowellen wie beim Radar werden Laserstrahlen verwendet.
-
Ein Mikrophon ist ein Schallwandler, der Luftschall als Schallwechseldruckschwingungen in entsprechende elektrische Spannungsänderungen als Mikrophonsignal umwandelt.
-
Eine Kamera ist eine fototechnische Apparatur, die statische oder bewegte Bilder auf einem fotografischen Film oder elektronisch auf ein magnetisches Videoband oder digitales Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln kann.
-
Eine Schnittstelle ist eine Einrichtung zwischen wenigstens zwei Funktionseinheiten, an der ein Austausch von logischen Größen, z.B. Daten, oder physikalischen Größen, z.B. elektrischen Signalen, erfolgt, entweder nur unidirektional oder bidirektional. Der Austausch kann analog oder digital erfolgen. Der Austausch kann ferner drahtgebunden oder drahtlos erfolgen.
-
Eine Reaktion auf ein Bewegungsgeräusch eines Lastenwagens ist beispielsweise ein Warnsignal an einen Fahrer oder ein Bremssignal zum Abbremsen des Fahrzeugs.
-
Eine Recheneinheit ist eine Vorrichtung, die eingehende Informationen verarbeitet und ein aus dieser Verarbeitung resultierendes Ergebnis ausgibt. Elektronische Schaltungen wie z.B. zentrale Prozessoreinheiten oder Grafikprozessoren sind Recheneinheiten.
-
Ein künstliches neuronales Netzwerk (KNN, englisch artificial neural network - ANN) ist insbesondere ein in einem Rechenprogramm nachgebildetes Netzwerk aus vernetzten künstlichen Neuronen. Die künstlichen Neuronen sind dabei typischerweise auf verschiedenen Schichten (layers) angeordnet. Üblicherweise umfasst das künstliche neuronale Netzwerk eine Eingangsschicht und eine Ausgabeschicht (output layer), deren Neuronenausgabe als einzige des künstlichen neuronalen Netzwerkes sichtbar wird. Zwischen der Eingangsschicht und der Ausgabeschicht liegende Schichten werden typischerweise als verdeckte Schichten (hidden layer) bezeichnet. Typischerweise wird zunächst eine Architektur bzw. Topologie eines künstlichen neuronalen Netzwerkes initiiert und dann in einer Trainingsphase für eine spezielle Aufgabe oder für mehrere Aufgaben in einer Trainingsphase trainiert.
-
Das Training des künstlichen neuronalen Netzwerkes umfasst dabei typischerweise eine Veränderung eines Gewichts einer Verbindung zwischen zwei künstlichen Neuronen des künstlichen neuronalen Netzwerkes. Das Gewicht enthält Information zur Stärke der Berücksichtigung eines Eingangs eines Neurons. Das Training des künstlichen neuronalen Netzwerkes kann auch eine Entwicklung von neuen Verbindungen zwischen künstlichen Neuronen, ein Löschen von bestehenden Verbindungen zwischen künstlichen Neuronen, ein Anpassen von Schwellwerten der künstlichen Neuronen und/oder ein Hinzufügen oder ein Löschen von künstlichen Neuronen umfassen.
-
Ein Beispiel für ein künstliches neuronales Netzwerk ist ein flaches künstliches neuronales Netzwerkwerk (shallow neural network), welches oft nur eine einzelne verdeckte Schicht zwischen der Eingabeschicht und der Ausgabeschicht enthalten und damit relativ einfach zu trainieren ist. Ein weiteres Beispiel ist ein tiefes künstliches neuronales Netzwerkwerk (deep neural network), welches zwischen der Eingangsschicht und der Ausgabeschicht mehrere verschachtelte verdeckte Schichten von künstlichen Neuronen enthält. Das tiefe künstliche neuronale Netzwerkwerk ermöglicht dabei eine verbesserte Erkennung von Mustern und komplexen Zusammenhängen
-
Beispielsweise kann das künstliche neuronale Netzwerk ein ein- bzw. mehrschichtiges feedforward-Netzwerk oder eine rekurrentes Netzwerk sein. Feedforward-Netzwerke weisen Neuronen auf, die ausschließlich vorwärtsgespeist werden, d.h. ein Neuron wird ausschließlich von höher liegenden Schichten gespeist.
-
Ein rekurrentes Netzwerk weist bidirektional verbundene Neuronen auf, d.h. ein Neuron wird zudem tiefer liegenden Schichten gespeist. Somit lässt sich bei einem späteren Durchlauf des KNN Information aus einem früheren Durchlauf berücksichtigen, wodurch ein Erinnerungsvermögen geschaffen wird.
-
Ein Trainingssystem ist eine Recheneinheit, auf welcher ein KNN trainiert wird.
-
Trainingsdaten sind in dieser Anmeldung Datenpaare aus Eingangsdaten, die von dem KNN zu verarbeiten sind, sowie Ergebnissolldaten, die von dem KNN zu ermitteln sind. Während des Trainings wird das KNN aufgrund eines Vergleichs von Ergebnissolldaten mit dem von dem KNN ermittelten Ergebnis angepasst, wodurch sich ein Trainingseffekt einstellt.
-
Die Eingangsdaten, mit welchen das KNN in dieser Anmeldung gespeist wird, sind Geräusche bzw. Audiosignale, die Geräusche kodieren. Die Eingangsdaten können Kontaktgeräusche von Kopplungen enthalten.
-
Ein Audiosignal ist ein elektrisches Signal, das akustische Informationen transportiert.
-
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt.
-
Die grundlegende Idee der Erfindung ist es, Geräusche, die aufgrund einer Bewegung von Lastenwagen entstehen, mittels Fahrzeugmikrofonen zu erkennen. Es ist bekannt, dass Lastenwagen in der Regel typische Rollgeräusche sowie evtl. weitere typische Bewegungsgeräusche emittieren. Typische Rollgeräusche von Lastenwagen entstehen aufgrund der charakteristischen Ausgestaltung der Räder von Lastenwagen.
-
Ist der Lastenwagen als Einkaufswagen ausgebildet, dürfte dieser in der Regel ein metallisches Gitter aufweisen, welches ebenfalls charakteristische Bewegungsgeräusche emittiert. Es sind jedoch auch andere Einkaufswagen, beispielsweise mit einer Ladefläche bekannt. Auch diese Emittieren charakteristische Geräusche.
-
Werden Audiodaten, die von einem Fahrzeugmikrofon aufgezeichnet wurden, auf derartige charakteristische Geräusche untersucht, lassen sich Lastenwagen in der Nähe von Fahrzeugen detektieren.
-
Somit lässt sich beispielsweise Unfällen auf Parkplätzen zwischen Fußgängern, die einen Lastenwagen bzw. Einkaufswagen schieben, und Kraftfahrzeugen vorbeugen. Häufig treten Einkaufswagen für Kraftfahrzeugführer überraschend hinter Fahrzeugen hervor. Auch der den Einkaufswagen schiebende Fußgänger hat oft nur eingeschränkte Möglichkeiten, den Umgebungsverkehr zu überwachen, da zwischen dem Kopf des Fußgängers und dem Ende des Einkaufswagens typischerweise ein Abstand von in etwa zwei Metern besteht. Dementsprechend sieht auch der den Einkaufswagen schiebende Fußgänger ein anderes Fahrzeug erst, nachdem der Einkaufswagen von dem Fußgänger beispielsweise um eine Ecke bewegt wurde.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird das Verfahren durchgeführt, sobald sich das Fahrzeug auf einem Parkplatz und/oder auf einem Gelände mit einem zu erwartenden Lastenwagenverkehr befindet.
-
Somit lassen sich Speicherkapazitäten und Rechenkapazitäten einsparen, da es typischerweise nicht notwendig ist, ein Verfahren zum Erkennen von Kollisionsrisiken von Lastenwagen, beispielsweise bei der Fahrt mit höheren Geschwindigkeiten, zum Beispiel auf Fernstraßen, durchzuführen.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird mittels einer digitalen Karte, insbesondere mittels einer HD-Karte, erkannt, wenn sich das Fahrzeug auf einem Parkplatz und/oder einem Gelände mit zu erwartendem Lastenwagenverkehr befindet. Derartige Gelände sind häufig private Parkplätze von Geschäften, wie Supermärkten oder andere private Gelände, beispielsweise Logistikzentren, in welchen auch Kraftfahrzeuge verkehren.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird das Verfahren durchgeführt, bevor ein Fahrzeug eine Eigenbewegung aufnimmt. Dementsprechend ist vorgesehen, das Verfahren vor dem Losfahren eines Fahrzeugs durchzuführen. Häufig verfügen gerade Fahrzeugführer von abgestellten Fahrzeugen über ein eingeschränktes Sichtfeld.
-
Dementsprechend lässt sich bereits eine entsprechende Information zum Durchführen des Verfahrens zum Erkennen von Kollisionsrisiken zwischen Lastenwagen und Fahrzeugen auf einer Recheneinheit des Fahrzeugs hinterlegen, wenn das Fahrzeug auf einem Gelände mit einem zu erwartenden Lastenwagenverkehr bzw. auf einem Parkplatz abgestellt wurde.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung werden charakteristische Bewegungsgeräusche von Lastenwagen mittels künstlicher Intelligenz detektiert. Somit lässt sich eine Recheneinheit auf das Verfahren zum Erkennen von Kollisionsrisiken zwischen Lastenwagen und Fahrzeugen individuell auf zu erwartende Bewegungsgeräusche von Lastenwagen trainieren.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird eine Entfernung, insbesondere aufgrund einer erfassten Lautstärke eines Bewegungsgeräuschs, und/oder eine Ursprungsrichtung des Bewegungsgeräuschs ermittelt. Somit lässt sich das Kollisionsrisiko zwischen einem Lastenwagen und einem Fahrzeug präziser ermitteln.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird eine Beschaffenheit eines Bodens ermittelt und aufgrund der Beschaffenheit die Entfernung und/oder die Ursprungsrichtung ermittelt. Die Lautstärke eines von einem Lastenwagen emittierten Bewegungsgeräuschs hängt unter anderem auch von der Beschaffenheit des Bodens ab. Beispielsweise sind die Bewegungsgeräusche von Lastenwagen auf rauem Bitumen oder auf Kopfsteinpflaster lauter als auf möglicherweise feineren Untergründen. Diese Lautstärkeunterschiede aufgrund der Beschaffenheit des Bodens könnten andernfalls möglicherweise zu Fehlinterpretationen der erfassten Bewegungsgeräusche führen.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird eine Bewegungsrichtung aufgrund der Entfernung und/oder aufgrund der Ursprungsrichtung des Bewegungsgeräuschs des Lastenwagens ermittelt. Somit lässt sich das Kollisionsrisiko zwischen einem Lastenwagen und einem Fahrzeug präziser ermitteln.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird die Position und/oder die Bewegungsrichtung aufgrund von weiteren Sensordaten, insbesondere Kameradaten und/oder Lidardaten ermittelt. Dementsprechend lässt sich die Auswertung von weiteren Sensordaten starten, wenn ein Kollisionsrisiko zwischen einem Lastenwagen und einem Fahrzeug festgestellt wurde. Dies spart Rechenaufwand und Speicherkapazität gegenüber einer permanenten Auswertung von weiteren Sensordaten.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung werden Objekte ermittelt, die einen Lastenwagen möglicherweise verdecken, insbesondere wenn aufgrund von weiteren Sensordaten keine sichtbare Position des Lastenwagens ermittelt werden kann. Dementsprechend kann beispielsweise vorgesehen sein, ein bestimmtes Drittfahrzeug, hinter welchem ein Lastenwagen überraschend hervorfahren könnte, zu ermitteln.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung werden aufgrund der weiteren Sensordaten Gefahrenpotenziale, die in Verbindung mit einem detektierten Lastenwagen stehen, ermittelt. Dementsprechend kann beispielsweise vorgesehen sein, Kinder, die aufgrund einer geringen Körperhöhe häufig schwer zu erkennen sind, in der unmittelbaren Umgebung eines Lastenwagens zu erkennen. Ferner ist es auch möglich, beispielsweise eine ungünstige Beladung eines Lastenwagens zu erkennen und somit einen möglichen Ladungsrutsch auf eine Fahrbahn vorherzusagen. Zu derartigen Situationen kommt es beispielsweise häufig auf Parkplätzen oder in Parkhäusern von Möbelhäusern.
-
Das Computerprogrammprodukt gemäß einer Ausführungsform der Erfindung führt die Schritte eines Verfahrens gemäß der vorangehenden Beschreibung aus, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem fahrzeuginternen Computer, läuft. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich die Erkennung von Bewegungsgeräuschen von Lastenwagen zwecks der Verhinderung von Kollisionen.
-
Figurenliste
-
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:
- 1 ein Blockdiagramm eines Trainingssytems gemäß einer Ausführungsform der Erfindung;
- 2 zeigt ein Blockschaltbild eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzwerks;
- 3 ein Blockdiagramm eines Verfahrens zum Erkennen von Kollisionsrisiken zwischen einem Lastenwagen und einem Fahrzeug gemäß einer Ausführungsform der Erfindung.
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt ist - jeweils mit denselben Bezugszeichen versehen.
-
BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
1 zeigt ein Blockschaltbild eines Trainingssystems 10 gemäß einer Ausführungsform der Erfindung. Das Trainingssystem 10 umfasst eine Schnittstelle 12 sowie eine Auswerteeinheit 20 mit einem KNN 22. Das KNN 22 umfasst mehrere Neuronen, die in 1 vereinfacht mit 108a-f dargestellt sind. Dabei bilden die Neuronen 108a, b eine Eingangsschicht 102, die Neuronen 108c, d, e bilden eine verdeckte Schicht 104 und das Neuron 108f bildet eine Ausgabeschicht 106.
-
Die Neuronen 108a, b der Eingangsschicht 102 werden über die Schnittstelle 12 mit einem Audiosignal 16 vorwärtsgespeist. Das Audiosignal 16 wird in den Neuronen 108a, b der Eingangsschicht mit Initialgewichten gewichtet. Dabei kann vorgesehen sein, dass das Audiosignal 16 in mehrere Signalanteile zerlegt wird und die Signalanteile gewichtet werden. Es kann vorgesehen sein, dass auf die gewichteten Eingangsdaten eine oder mehrere Funktionen angewendet werden. Die Auswertung der Funktion bildet den Ausgabewert eines Neurons 108a, b, der an die Neuronen 108c, d, e der nächst tieferen Schicht, also der verdeckten Schicht 104, als Eingangswerte übergeben werden. Es kann vorgesehen sein, dass die verdeckte Schicht 104 mehrere Schichten aufweist.
-
Ähnlich wie in der Eingangsschicht 102 werden die an die Neuronen 108c, d, e der verdeckten Schicht übergebenen Eingangswerte gewichtet und eine oder mehrere Funktionen wird auf die gewichteten Eingangswerte angewendet. Die Auswertung der Funktionen, die auf die gewichteten Eingangswerte angewendet wird, bilden die Ausgangswerte der Neuronen 108c, d, e. Diese Ausgangswerte werden an die Neuronen der Ausgabeschicht 106 als Eingangswerte übergeben. In 1 sind die Neuronen der Ausgabeschicht 106 beispielhaft als ein Neuron 108f dargestellt. Das Neuron 108f errechnet aus den Eingabewerten, die von den Neuronen 108c, d, e der verdeckten Schicht 104 übergeben wurden, unter Gewichtung der Eingabewerte und unter Anwendung einer oder mehrerer Funktionen auf die gewichteten Eingabewerte einen Ausgangswert. Von diesem Ausgangswert lässt sich ein Ist-Reaktionssignal 24 ableiten. Dieser Ablauf wird auch als Vorwärtsspeisen eines KNN bezeichnet.
-
In einem nächsten Schritt wird das Ist-Reaktionssignal 24 mit dem Soll-Reaktionssignal 18, welches der Auswerteeinheit 20 über die Schnittstelle 12 übergeben wurde, verglichen.
-
Im nächsten Schritt wird die Topologie der einzelnen Schichten 102, 104, 106 des KNN 22 derart angepasst, dass das KNN 22 für das übergebene Audiosignal 16 das Soll-Reaktionssignal 18 errechnet. Die Anpassung der Topologie 26 kann dabei eine Veränderung der Gewichte, das Hinzufügen von Verbindungen zwischen Neuronen, das Entfernen von Verbindungen zwischen Neuronen und/oder das Verändern von Funktionen, die auf gewichtete Eingangswerte angewendet werden, umfassen. Dieser Ablauf wird auch als Rückwärtsspeisen eines KNN bezeichnet.
-
Die 2 zeigt ein Blockschaltbild eines Verfahrens zum Trainieren eines KNN gemäß einer Ausführungsform der Erfindung. Das Verfahren umfasst die Schritte S1 - S4.
-
In dem Schritt S1 wird ein Signalpaar aus einem Audiosignal 16 und einem Soll-Reaktionssignal 18 bereitgestellt.
-
In dem Schritt S2 wird das KNN 22 mit dem Audiosignal 16 vorwärtsgespeist.
-
In dem Schritt S3 wird ein Ist-Reaktionssignal 24 aufgrund des Vorwärtsspeisens S2 ermittelt.
-
In dem Schritt S4 wird das künstliche neuronale Netzwerk 22 aufgrund eines Unterschieds zwischen dem Ist-Reaktionssignal 24 und dem Soll-Reaktionssignal 18 rückwärtsgespeist. Dabei wird eine veränderte Topologie 26 des KNN, insbesondere Gewichte, um die Ermittlung von Ist-Reaktionssignalen aufgrund des Vorwärtsspeisens zu verbessern, ermittelt.
-
3 zeigt ein Blockdiagramm zu einem Verfahren zum Erkennen von Kollisionsrisiken zwischen Lastenwagen und Fahrzeugen. In dem Schritt S1 werden Bewegungsgeräusche eines rollbaren Lastenwagens detektiert. In dem Schritt S2 wird ein Kollisionsrisiko für eine Kollision zwischen dem Lastenwagen und dem Fahrzeug ermittelt. In dem Schritt S3 wird eine Reaktion in Abhängigkeit des Kollisionsrisikos ermittelt.
-
Bezugszeichenliste
-
- 10
- Trainingssystem
- 12
- Schnittstelle
- 14
- Trainingsdaten
- 16
- Audiosignal
- 18
- Soll-Reaktionssignal
- 20
- Auswerteeinheit
- 22
- künstliches neuronales Netzwerk
- 24
- Ist-Reaktionssignal
- 26 Topologie 102
- Eingangsschicht
- 104
- verdeckte Schicht
- 106
- Ausgabeschicht
- 108a-f
- Neuronen
- S1-S4
- Verfahrensschritte
- St1 - St3
- Verfahrensschritte
