-
Die Erfindung betrifft ein Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten, wobei wenigstens ein Ultraschallsignal ausgesandt wird und ein reflektiertes Ultraschallsignal empfangen wird.
-
Insbesondere im Automotive-Bereich werden entsprechende Ultraschall-Systeme zur Abstandsschätzung verwendet, z.B. im Rahmen von Einparkhilfesystemen. Während eine Abstandsschätzung mit derartigen Ultraschall-Systemen verhältnismäßig robust durchgeführt werden kann, sind Höhenschätzungen bisher in der Regel beschränkt auf die Unterscheidung von hohen und niedrigen Objekten. Typischerweise kann die Objekthöhe nur als „höher“ oder „niedriger“ als die Einbauhöhe des Sensors angegeben werden.
-
Für die Auswertung bei derartigen Ultraschall-Systemen wird das Echo eines Sensors von einem bestimmten Objekt analysiert. Ein Echo eines Objektes wird meist über den Vergleich der Empfangsamplitude des Echos mit einem Schwellwert detektiert. Die Unterscheidung der Objekthöhe basiert dann auf der Anzahl der detektierten Echos in einem bestimmten zeitlichen Abschnitt. Hintergrund dieser Vorgehensweise ist der, dass Mehrwegechos, die zum Beispiel vom Sensor erst am Boden und dann am Objekt reflektiert werden, auftreten und gemessen werden können. Bei niedrigen Objekten, also Objekten, die niedriger sind als die Einbauhöhe des Sensors, tritt ausschließlich ein Mehrwegecho auf, während hohe Objekte sowohl direkte Echos als auch Mehrwegechos aufweisen. Dieses Verfahren ist allerdings wenig robust gegenüber unterschiedlichen Bodenbelägen oder speziellen Objekten, die Mehrfachechos hervorrufen.
-
Im Übrigen ist es aus der
DE 40 01 493 A1 bekannt, bei einem Verfahren zur selbsttätigen oder unterstützenden Steuerung von Fahrzeugen mit Ortungssensoren und Umweltsensoren zum Abgeben von Sensorsignalen, die für den Abstand des Fahrzeugs von einem Hindernis charakteristisch sind, zur Auswertung ein neuronales Netzwerk zu verwenden. Dabei werden gewonnene Sensordaten dem neuronalen Netzwerk in einer Lernphase wiederholt eingegeben und ein Bewegungsablaufzyklus wird jeweils wiederholt, so dass nach Abschluss der Lernphase zu einer Kann-Phase übergegangen werden kann, in das Fahrzeug autonom einen dem vorgegebenen Bewegungsablaufzyklus angenäherten, gelernten Bewegungsablaufzyklus ausführt oder teilautonom fehlerhaftes und kritisches Fahrverhalten korrigiert.
-
Es ist die Aufgabe der Erfindung, eine Möglichkeit anzugeben, mittels Ultraschall erhaltene Daten effektiver nutzen zu können.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Bevorzugte Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.
-
Erfindungsgemäß ist somit vorgesehen ein Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten, mit folgenden Schritten:
- a) Aussenden wenigstens eines Ultraschallsignals,
- b) Empfangen eines reflektierten Ultraschallsignals,
- c) Ermitteln von den Zeitverlauf des reflektierten Ultraschallsignals beschreibenden Ultraschalldaten,
- d) Konvertieren der Ultraschalldaten in einen eindimensionalen Vektor aus Werten für die diskreten Ultraschalldaten für jeweils aufeinanderfolgende Empfangszeitpunkte und
- e) Verwenden des erhaltenen Vektors zum Generieren einer Eingabeinformation für ein neuronales Netzwerk.
-
Es ist somit ein maßgeblicher Punkt der Erfindung, dass die den Zeitverlauf des reflektierten Ultraschallsignals beschreibenden Ultraschalldaten in einen eindimensionalen Vektor aus Werten für die diskreten Ultraschalldaten für jeweils aufeinanderfolgende Empfangszeitpunkte konvertiert werden. Erfindungsgemäß wird dieser Vektor zum Generieren einer Eingabeinformation für das neuronale Netzwerk verwendet.
-
Dabei kann grundsätzlich vorgesehen sein, diesen Vektor direkt als Eingabeinformation zu verwenden. Gemäß einer bevorzugten Weiterbildung der Erfindung ist jedoch ein Verfahren mit folgenden zusätzlichen Schritten vorgesehen:
- f) Konvertieren des Vektors in ein zweidimensionales, sich nur längs einer Dimension änderndes Bild derart, dass die Abfolge der Helligkeit des Bildes längs dieser Dimension der Abfolge der Werte der diskreten Ultraschalldaten des Vektors entspricht, und
- g) Verwenden des erhaltenen Bildes als Eingabeinformation für das neuronale Netzwerk.
-
Der Vektor wird also in ein zweidimensionales Bild konvertiert, das sich allerdings nur längs einer Dimension ändert, und zwar in seiner Helligkeit. Konkret ist es dabei so, dass die Helligkeit von den Werten der diskreten Ultraschalldaten des Vektors bestimmt werden, z.B. derart, dass das Bild umso heller ist, je größer der jeweilige Wert der diskreten Ultraschalldaten ist.
-
Die erfindungsgemäße Idee schlägt sich auch in folgendem Verfahren nieder:
-
Vorgesehen ist ein Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten, mit folgenden Schritten:
- a') Aussenden wenigstens eines Ultraschallsignals,
- b') Empfangen eines jeweiligen reflektierten Ultraschallsignals mit einer Mehrzahl von Ultraschallsensoren,
- c') Ermitteln von den Zeitverlauf des jeweiligen reflektierten Ultraschallsignals beschreibenden Ultraschalldaten für jeden Ultraschallsensor,
- d') Konvertieren der jeweiligen Ultraschalldaten in einen eindimensionalen Vektor aus Werten für die diskreten Ultraschalldaten für jeweils aufeinanderfolgende Empfangszeitpunkte für jeden Ultraschallsensor,
- e') Kombinieren der den einzelnen Ultraschallsensoren zugeordneten eindimensionalen Vektoren zu einer zweidimensionalen Matrix,
- f') Verwenden der erhaltenen Matrix zum Generieren einer Eingabeinformation für ein neuronales Netzwerk.
-
Bei dieser Ausgestaltung der Erfindung werden eine Mehrzahl von Ultraschallsensoren verwendet, wobei für jeden Ultraschallsensor ein eindimensionaler Vektor, wie weiter oben beschrieben, generiert wird. Diese eindimensionalen Vektoren werden zu einer zweidimensionalen Matrix kombiniert, um eine Eingabeinformation für ein neuronales Netzwerk zu generieren.
-
Dabei gilt auch wieder, dass die Matrix direkt als Eingabeinformation für das neuronale Netzwerk verwendet werden kann. Gemäß einer bevorzugten Weiterbildung der Erfindung sind jedoch folgende zusätzliche Schritte vorgesehen:
- g') Konvertieren der zweidimensionalen Matrix in ein sich längs zweier Dimensionen änderndes Bild derart, dass die Abfolge der Helligkeit des Bildes längs einer Dimension der Abfolge der Werte in den Spalten der zweidimensionalen Matrix und die Abfolge der Helligkeit des Bildes längs der anderen Dimension der Abfolge der Werte in den Zeilen der zweidimensionalen Matrix entspricht, und
- h') Verwenden des erhaltenen Bildes als Eingabeinformation für das neuronales Netzwerk.
-
Hinsichtlich der Konvertierung des eindimensionalen Vektors bzw. der zweidimensionalen Matrix in ein Bild, wie zuvor beschrieben, darf auf Folgendes hingewiesen werden: Die digitale Beschreibung eines zweidimensionalen Bildes erfolgt regelmäßig durch Pixelwerte für Farben, Farbanteile und/oder Helligkeitswerte. Insofern liegt eine digitale Beschreibung eines zweidimensionalen Bildes in der Regel auch immer als zweidimensionale Matrix mit derartigen Pixelwerten vor. Wenn insofern vom Konvertieren der zweidimensionalen Matrix in ein sich längs zweier Dimensionen änderndes Bild gesprochen wird bzw. davon, dass der eindimensionale Vektor in ein zweidimensionales Bild konvertiert wird, so ändert sich an der Repräsentation als zweidimensionale Matrix grundsätzlich nichts. Insbesondere bei dem eindimensionalen Vektor geht es vielmehr darum, durch Hinzufügen zusätzlicher identischer Vektoren, z.B. wenn es sich um Zeilenvektoren handelt, weitere Zeilen hinzuzufügen, um eine größere Ausdehnung des Bildes in der Dimension zu generieren, in der sich die Helligkeitswerte nicht ändern. Entsprechendes gilt für die Einzelbilder, die aufgrund der eindimensionalen Vektoren generiert werden können, die zu den einzelnen Ultraschallsensoren im Falle von mehreren Ultraschallsensoren gehören.
-
Beim Generieren des Bildes ist es dabei vorzugsweise vorgesehen, dass ein Graustufenbild generiert wird. Im Übrigen ist es beim Vorsehen von mehreren Ultraschallsensoren ganz besonders bevorzugt, dass die zeitlichen Abstände der Empfangszeitpunkte für die verschiedenen Ultraschallsensoren zueinander konstant sind. Eine derartige Konstanz der zeitlichen Abstände der Empfangszeitpunkte für die verschiedenen Ultraschallsensoren kann z.B. dadurch erzielt werden, dass die Empfangszeitpunkte alle gleich sind. Dies muss jedoch nicht zwingend der Fall sein. Möglich ist im Rahmen dieser bevorzugten Weiterbildung auch, dass sich bei verschiedenen Empfangszeitpunkten die zeitlichen Abstände nicht ändern.
-
Gemäß einer ganz besonders bevorzugten Ausführungsform der Erfindung handelt es sich bei dem neuronalen Netzwerk um ein Convolutional Neural Network (CNN). CNNs sind aus dem Stand der Technik gut bekannt, siehe z.B. den Wikipedia-Eintrag „https://de.wikipedia.org/wiki/Convolutional_Neural_Network“. Bei CNNs handelt es sich um ein von biologischen Prozessen inspiriertes Konzept im Bereich des maschinellen Lernens. Anwendung finden CNNs vornehmlich bei der maschinellen Verarbeitung von Bild- oder Audiodaten. Grundsätzlich besteht die Struktur eines typischen CNNs aus einem Convolutional Layer, gefolgt von einem Pooling Layer, wobei sich dieser Aufbau prinzipiell beliebig oft wiederholen kann. Bei einer entsprechend hohen Anzahl an Wiederholungen spricht man von einem Deep Convolutional Neural Network, das in den Bereich „Deep Learning“ fällt.
-
Durch die erfindungsgemäße vorgesehene Verarbeitung der mittels Ultraschall enthaltenen Daten ist es möglich, derartige CNNs nicht nur für die Abstandsdetektion, sondern insbesondere auch für die Klassifizierung von Objekten zu verwenden. Dabei hat sich herausgestellt, dass nach einem bei neuronalen Netzen üblichen Anlernen Objekte robust in unterschiedliche Objektklassen, insbesondere auch hinsichtlich ihrer Höhe, eingeteilt werden können. Dies stellt einen wesentlichen Vorteil gegenüber der oben beschriebenen herkömmlichen Auswertung von reflektierten Ultraschallsignalen dar.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung weisen die zuvor beschriebenen Verfahren zusätzlich folgende Schritte auf:
- - zeitlich aufeinanderfolgendes Durchführen von Messungen durch Aussenden von mehreren Ultraschallsignalen mit dem Ultraschallsensor bzw. den Ultraschallsensoren,
- - Verwenden der aufgrund einer Mehrzahl von Messungen erhaltenen Vektoren bzw. Matrizen zum Generieren von Eingabeinformationen für das neuronale Netzwerk.
-
Gemäß dieser Ausgestaltung werden im Fall der Verwendung von mehreren Ultraschallsensoren die Matrizen, die aufgrund der verschiedenen Messungen erhalten worden sind, zu einem Tensor 3. Ordnung kombiniert, der dann vorzugsweise einem 3D-CNN zugeführt wird.
-
Hinsichtlich der den Zeitverlauf des reflektierten Ultraschallsignals beschreibenden Ultraschalldaten kann auf verschiedene Werte zurückgegriffen werden. Vorzugsweise ist jedoch vorgesehen, dass als den Zeitverlauf des reflektierten Ultraschallsignals beschreibende Ultraschalldaten die Werte der Hüllkurve des reflektierten Ultraschallsignals verwendet werden. Alternativ ist auch die Verwendung der komplexen Hüllkurve möglich.
-
Aufgrund der besonderen Eignung zur Höhenschätzung ist erfindungsgemäß auch die Verwendung eines Verfahrens, wie zuvor beschrieben, in einem Kraftfahrzeug zur Höhenschätzung eines mittels des Ultraschallsignals detektierten Objekts vorgesehen.
-
Nachfolgend wird die Erfindung unter Bezugnahme auf die Zeichnungen anhand bevorzugten Ausführungsbeispiele der Erfindung weiter im Detail erläutert.
-
In den Zeichnungen zeigen:
- 1 schematisch ein Fahrzeug mit einer Sensoranordnung gemäß einem bevorzugten Ausführungsbeispiel der Erfindung,
- 2 a, b schematisch die Rohdaten bzw. die Hüllkurve eines Ultraschallsignals,
- 3 ein gemäß einem bevorzugten Ausführungsbeispiel der Erfindung erhaltenen Graufstufenbild für ein reflektiertes Ultraschallsignal,
- 4 schematisch eine gemäß einem bevorzugten Ausführungsbeispiel der Erfindung erhaltene Matrix für ein reflektierte Ultraschallsignal von verschiedenen Ultraschallsensoren und
- 5 schematisch ein gemäß einem bevorzugten Ausführungsbeispiel der Erfindung erhaltener Tensor 3. Ordnung aus aufeinanderfolgenden Messungen mit einer Mehrzahl von Ultraschallsensoren.
-
1 zeigt schematisch ein Fahrzeug 1 mit einer Sensoranordnung gemäß einem bevorzugten Ausführungsbeispiel der Erfindung. Die Sensoranordnung weist insgesamt sechs Ultraschallsensoren 21, 22, 23, 24, 25, 26, ein Steuergerät 5 und eine Datenverarbeitungseinrichtung 6 auf. Wie mit jeweils zwei Doppelpfeilen angedeutet, sind die Ultraschallsensoren 21, 22, 23, 24, 25, 26 alle zum Senden und Empfangen von Ultraschallsignalen eingerichtet. Damit kann auf übliche Weise der Abstand zu einem Objekt 4 in der Nähe des Fahrzeugs 1 detektiert werden.
-
Gemäß der im Folgenden beschriebenen bevorzugten Ausführungsbeispiele der Erfindung ist jedoch zusätzlich eine spezielle Verarbeitung von mittels der Ultraschallsensoren 21, 22, 23, 24, 25, 26 erhaltenen Ultraschalldaten sowie ein Training eines in dem Fahrzeug 1 angeordneten neuronalen Netzwerks 7 mit dem Zweck der Höhenschätzung für ein erfasstes Objekt 4 vorgesehen. Bei einem ersten bevorzugten Ausführungsbeispiel werden nur die Ultraschalldaten betrachtet, die von einem Ultraschallsensor 22 erzeugt werden. Dies ist vorliegend der Ultraschallsensor 22.
-
2 a zeigt exemplarisch die Rohdaten 8 eines von dem Ultraschallsensor 22 empfangenen Ultraschallsignals. Von diesen Rohdaten 8 wird die Hüllkurve 9 ermittelt, wobei der Betrag der Hüllkurve 9 ausreichend ist. Die Hüllkurve 9 kann entweder offline, z.B. in dem Steuergerät 5, aus den Rohdaten 8 des Ultraschallsensors 22 gewonnen werden oder direkt über entsprechende Verarbeitungsschritte in dem Ultraschallsensor 22 selbst erzeugt werden. Die auf diese Weise ermittelte Hüllkurve 9 ist in 2b darstellt. Die Hüllkurve 9 weist einen starken Peak bei ca. 0,005 s auf. Über diese Laufzeit und der bekannten Ausbreitungsgeschwindigkeit des Ultraschalls kann in bekannter Weise auf den Abstand des Objekts 4 geschlossen werden.
-
Gemäß dem vorliegend beschriebenen bevorzugten Ausführungsbeispiel der Erfindung werden die durch die Hüllkurve 9 gegebenen Ultraschalldaten außerdem in einen eindimensionalen Vektor konvertiert, der aus Werten für die diskreten Ultraschalldaten für jeweils aufeinanderfolgende Empfangszeitpunkte besteht. Dieser Vektor wird zum Generieren einer Eingabeinformation für das neuronale Netzwerk 7 verwendet.
-
Konkret wird dazu der Vektor in ein zweidimensionales, sich nur längs einer Dimension änderndes Bild 10 konvertiert, und zwar derart, dass die Abfolge der Helligkeit des Bildes 10 längs dieser Dimension der Abfolge der Werte der diskreten Ultraschalldaten des Vektors entspricht. Auf diese Weise wird ein Graustufenbild erhalten, wie aus 3 ersichtlich. Während sich in der Richtung von links nach rechts die Helligkeit des Bildes 10 ändert gibt es keine Helligkeitsänderungen in eine Richtung senkrecht dazu. Dieses Bild wird schließlich als Eingabeinformation für das neuronale Netzwerk 7 verwendet. Bei dem neuronalen Netzwerk 7 handelt es sich um ein Convolutional Neural Network (CNN), wie weiter oben beschrieben. Aufgrund der Fähigkeit eines CNN nach einer Anlernphase Bilder hinsichtlich ihres Inhalts erkennen bzw. klassifizieren zu können, ist es damit möglich, auch das von dem Ultraschallsensor 22 erfasste Objekt 4 hinsichtlich seiner Höhe zu klassifizieren. In der Anlernphase werden dem neuronalen Netzwerk 7 Bilder von Objekten mit verschiedenen Höhen „gezeigt“, so dass das neuronale Netzwerk 7 lernt, aus dem Bild auf die Höhe zu schließen.
-
Gemäß einem weiteren bevorzugten Ausführungsbeispiel der Erfindung werden Ultraschalldaten verwendet, die von einer Mehrzahl von Ultraschallsensoren 21, 22, 23, 24 stammen. Vorliegend werden vier der sechs Ultraschallsensoren 21, 22, 23, 24, 25, 26 verwendet, grundsätzlich könnten aber auch alle verfügbaren Ultraschallsensoren 21, 22, 23, 24, 25, 26 verwendet werden. Wie auch schon zuvor beschrieben, wird, nun für jeden der vier verwendeten Ultraschallsensoren 21, 22, 23, 24, mittels der durch eine jeweilige Hüllkurve 9 gegebenen Ultraschalldaten der einzelnen Ultraschallsensoren 21, 22, 23, 24 jeweils ein eindimensionaler Vektor 31, 32, 33, 34 generiert. Dabei wird sichergestellt, dass die zeitlichen Abstände der Empfangszeitpunkte für die verschiedenen Ultraschallsensoren 21, 22, 23, 24 zueinander konstant sind. Dies z.B. kann dadurch erreicht werden, dass die Empfangszeitpunkte für alle verwendeten Ultraschallsensoren 21, 22, 23, 24 immer gleich sind.
-
Die erhaltenen Vektoren 31, 32, 33, 34 werden dann, wie aus 4 ersichtlich, zu einer zweidimensionalen Matrix 11 kombiniert, die ihrerseits zum Generieren einer Eingabeinformation für das neuronale Netzwerk 7 verwendet wird. Konkret wird auch hier ein Bild als Eingabeinformation generiert, und zwar indem die zweidimensionale Matrix 11 in ein sich längs zweier Dimensionen änderndes Bild derart konvertiert wird, dass die Abfolge der Helligkeit des Bildes längs einer Dimension der Abfolge der Werte in den Spalten der zweidimensionalen Matrix 11 und die Abfolge der Helligkeit des Bildes längs der anderen Dimension der Abfolge der Werte in den Zeilen der zweidimensionalen Matrix 11 entspricht.
-
Aus 5 ist schließlich noch ein weiteres bevorzugtes Ausführungsbeispiel ersichtlich, gemäß dem zweidimensionale Matrizen 11 zu einem Tensor 3. Ordnung 12 kombiniert werden und dieser Tensor 3. Ordnung dann dem neuronalen Netzwerk 7 als Eingabeinformation zugeführt wird. Die Matrizen 11 entsprechen zeitlich aufeinanderfolgend durchgeführten Messungen mit den Ultraschallsensoren 21, 22, 23, 24. Durch die Einbeziehung der Zeit als weitere Dimension für die Eingabeinformation kann praktisch ein „Gedächtnis“ der Messungen erzeugt werden, was die Zuverlässigkeit und Robustheit der Höhenschätzung des Objekts 4 weiter verbessert.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 4
- Objekt
- 5
- Steuergerät
- 6
- Datenverarbeitungseinrichtung
- 7
- CNN
- 8
- Rohdaten eines Ultraschallsignals
- 9
- Hüllkurve eines Ultraschallsignals
- 10
- Graufstufenbild für ein reflektiertes Ultraschallsignal
- 11
- Matrix für ein reflektierte Ultraschallsignal
- 12
- Tensor 3. Ordnung aus einer Mehrzahl von Matrizen
- 21
- Ultraschallsensor
- 22
- Ultraschallsensor
- 23
- Ultraschallsensor
- 24
- Ultraschallsensor
- 25
- Ultraschallsensor
- 26
- Ultraschallsensor
- 31
- eindimensionaler Vektor
- 32
- eindimensionaler Vektor
- 33
- eindimensionaler Vektor
- 34
- eindimensionaler Vektor
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
