-
Die Erfindung betrifft ein Verfahren zum Lokalisieren eines Objekts in einer Umgebung eines Kraftfahrzeugs durch ein Ultraschallsensorsystem. Die Erfindung betrifft auch ein Ultraschallsensorsystem für ein Kraftfahrzeug mit mindestens einem Ultraschallsender zum Aussenden oder Emittieren mindestens eines Ultraschallsignals, mindestens einen Ultraschallsensor zum Erfassen mindestens eines Echos des mindestens einen Ultraschallsignals, und eine Verarbeitungseinheit zum Berechnen mindestens eines Abstands von dem Ultraschallsensor, wobei der Abstand dem Echo entspricht, wobei eine Umgebung des Kraftfahrzeugs mit einer gewichteten Belegungsrasterkarte, wobei jede Rasterzelle der Belegungsrasterkarte einem vorbestimmten Bereich in der Umgebung des Kraftfahrzeugs und die Wichtung jeder Rasterzelle eine Wahrscheinlichkeit für den entsprechenden vorbestimmten Bereich in der Umgebung dafür repräsentiert, belegt zu sein.
-
Assistenzsysteme zum Parken eines Kraftfahrzeugs oder Automobils haben gewöhnlich mehrere Ultraschallsensoren, die Ultraschallsignale in die Umgebung aussenden und Ultraschallechos aus der Umgebung erfassen. Gewöhnlich wird eine Verarbeitungseinheit verwendet, um Punkte oder Linien, die die Objekte in der Umgebung repräsentieren, sogenannte Merkmale der Objekte, zu extrahieren oder zu gewinnen, wobei mathematische geometrie-basierte Gleichungen verwendet werden, um das jeweilige Objekt in der Umgebung des Kraftfahrzeugs zu erfassen und zu verfolgen, das heißt zu lokalisieren. Dieses Verfahren ist nicht sehr genau und überspringt manchmal einen Punkt oder ein Merkmal eines Objekts, welches von dem Sensor erfasst wurde.
-
In diesem Zusammenhang, beschreibt die
US 2012/0293356 A1 ein Verfahren zum Erfassen von Objekten, worin mindestens ein Sensor Sendeimpulse als eine Welle aussendet, wobei die Welle mindestens teilweise durch die Objekte in dem Ausbreitungsraum der Welle reflektiert wird und die reflektierte Welle von mindestens einem Empfänger als Empfangssignal erfasst wird. Das Empfangssignal der reflektierten Welle ist in Segmente eingeteilt und von den einzelnen Segmenten werden Daten gesammelt, aus denen eine Objekt-Hypothese bestimmt wird. Die Objekt-Hypothese kann durch Verwendung eines neuronalen Netzwerks erstellt werden.
-
Die
US 5,548,512 A beschreibt ein autonomes Navigationssystem für ein Fahrzeug, welches zur Bewegung in einer Umgebung ausgelegt ist, einschließlich einer Mehrzahl an an dem Fahrzeug angebrachter Sensoren und mindestens eines neuronalen Netzwerkes einschließlich einer mit den Sensoren verbundenen Eingabeschicht, einer mit der Eingabeschicht verbundenen verborgenen Schicht, und einer mit der verborgenen Schicht verbundenen Ausgabeschicht. Darin erzeugt das neuronale Netzwerk Ausgangssingale, die die jeweiligen Positionen des Fahrzeugs repräsentieren. Es wird eine Vielzahl an Standorten innerhalb der Umgebung verwendet, um die neuronalen Netzwerke für die Erzeugung der korrekten Ausgaben in Reaktion auf die ermittelten Abstände zu trainieren. Hier können auf dem Fahrzeug positionierte Ultraschallsensoren verwendet werden.
-
Die
DE 40 01 493 A1 zeigt ein Fahrzeug mit mehreren Ultraschallsensoren, die Signale in ein neuronales Netzwerk einspeisen, um das Fahrzeug kollisionslos durch eine Umgebung zu lenken.
-
Es ist Aufgabe der vorliegenden Erfindung das Lokalisieren, das heißt das Detektieren und Verfolgen, eines Objekts in einer Umgebung eines Kraftfahrzeugs zu verbessern.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen und weitere Merkmale der Erfindung sind aus den abhängigen Ansprüchen, der Beschreibung sowie den Figuren zu ersichtlich.
-
Die Erfindung betrifft ein Verfahren zum Lokalisieren, das heißt Detektieren und Verfolgen mindestens eines Objekts, das heißt eines oder mehrerer Objekte in einer Umgebung eines Kraftfahrzeugs durch ein Ultraschallsensorsystem. Insbesondere kann das Kraftfahrzeug ein sich bewegendes Kraftfahrzeug sein. Das Verfahren umfasst mehrere Verfahrensschritte. Ein Verfahrensschritt ist ein Darstellen der Umgebung des Kraftfahrzeugs mit einer gewichteten Belegungsrasterkarte, das heißt durch oder mittels einer gewichteten Belegungsrasterkarte. Dabei entspricht jede Rasterzelle der Belegungsrasterkarte einem vorbestimmten Bereich in der Umgebung. Der vorbestimmte Bereich in der Umgebung kann eine rechteckige Form haben, zum Beispiel mit einer Kantenlänge zwischen 10 cm und 20 cm, zum Beispiel 10 × 10 cm2. Die Wichtung oder das Gewicht jeder Rasterzelle repräsentiert eine (entspricht einer) Wahrscheinlichkeit für den entsprechenden vorbestimmten Bereich in der Umgebung dafür, belegt zu sein, zum Beispiel durch das mindestens eine Objekt belegt zu sein. Insbesondere, können die Wichtungen der gewichteten Belegungsrasterkarte Werte zwischen 0 und 1 annehmen.
-
Dieses Repräsentieren kann in einer Verarbeitungseinheit des Ultraschallsensorsystems durchgeführt werden. Ein weiterer Verfahrensschritt ist das Aussenden oder Emittieren von mindestens einem Ultraschallsignal, das heißt eines oder mehrerer Ultraschallsignale, durch mindestens einen Ultraschallsender, das heißt einen oder mehrere Ultraschallsender, des Ultraschallsensorsystems. Ein weiterer Verfahrensschritt besteht in dem Detektieren zumindest eines Echos, das heißt eines oder mehrerer Echos, des zumindest einen Ultraschallsensors durch zumindest einen Ultraschallsensor, das heißt einen oder mehrere Ultraschallsensoren, des Ultraschallsensors. Ein anderer Verfahrensschritt ist das Berechnen mindestens eines Abstands, das heißt eines oder mehrerer Abstände, von dem mindestens einen Ultraschallsensorsystem. Der Abstand kann der Abstand von dem Ultraschallsensor zu einem (vermeintlichen) Objekt in der Umgebung des Kraftfahrzeugs sein, beispielsweise das oben genannte zu erfassende und zu verfolgende, also zu lokalisierende Objekt.
-
Ein darauffolgender Verfahrensschritt ist das Erhöhen der Wichtungen der Rasterzellen, welche einen Bereich mit einem Abstand von dem Ultraschallsensor repräsentieren, der dem mindestens einen berechneten Abstand entspricht, um einen vorbestimmten Wert durch die Verarbeitungseinheit. Es können die Wichtungen aller Rasterzellen erhöht werden, die ein Gebiet in einer Umgebung eines Kraftfahrzeugs mit dem berechneten Abstand zum Ultraschallsensor repräsentieren. Diese Erhöhung spiegelt die Möglichkeit und damit die Wahrscheinlichkeit dafür wider, dass ein Objekt genau den Bereich der jeweiligen Rasterzellen belegt, deren Wichtungen erhöht wurden. Ein weiterer Verfahrensschritt ist Anwendung einer Gruppen-Normierung oder Gruppen-Normalisierung, die auch als Batch-Normalisierung bezeichnet wird, auf mindestens einen Teil der Belegungsrasterkarte, das heißt auf einen Teil der Belegungsrasterkarte oder die Belegungsrasterkarte als Ganzes, durch die Verarbeitungseinheit, um zu einer normierten oder normalisierten Belegungsrasterkarte oder einem normierten Teil der Belegungsrasterkarte zu gelangen. Insbesondere kann eine Gruppen-Normierung bedeuten, dass die jeweilige Gruppe, das heißt die Wichtungen der Belegungsrasterkarte oder des Teils der Belegungsrasterkarte, als Ganzes oder in ihrer Gesamtheit normiert werden, beispielsweise durch Multiplizieren aller Wichtungen mit einem gegebenen Faktor, so dass die Summe aller Wichtungen ein vorbestimmter Wert ist.
-
Ein weiterer Verfahrensschritt ist das Benutzen der normierten Belegungsrasterkarte oder des normierten Teils der Belegungsrasterkarte als Eingabe oder Input für ein mehrschichtiges neuronales Netzwerk zur Objektverfolgung. Das mehrschichtige neuronale Netzwerk zur Objektverfolgung kann ein neuronales Netzwerk, wie es aus dem Stand der Technik bekannt ist, sein. Das neuronale Netzwerk wird trainiert, beispielsweise in einem Arbeitsmodus des Ultraschallsensorsystems, in welchem das Ultraschallsystem eingesetzt wird, um das Objekt zu detektieren und zu verfolgen, oder das neuronale Netzwerk wurde zuvor, bevor in dem Arbeitsmodus die normierte Belegungsrasterkarte als Eingabe empfangen wird, durch eine Trainingseingabe trainiert. Dieses Trainieren erfolgt bevorzugt in einem Trainingsmodus des Ultraschallsensorsystems oder in einem Trainingsmodus des neuronalen Netzwerks. Folglich ist das neuronale Netzwerk im Trainingsmodus ein lernendes Netzwerk. Im Trainingsmodus wird das neuronale Netzwerk durch eine Trainingseingabe trainiert, die einen oder mehrere normierte Bezugs-Belegungsrasterkarten aufweisen kann. Diese Bezugs-Belegungsrasterkarte(n) können von einem oder mehreren, beispielsweise vorher aufgenommenen, Bezugs- oder Beispiels-Fahrszenarios mit einem Objekt in der Umgebung des Ultraschallsensorsystems oder Fahrzeugs stammen. Ein darauffolgender Verfahrensschritt ist das Berechnen einer neuen Belegungsrasterkarte, die unterschiedlich ist zu der Belegungsrasterkarte, die die Umgebung des Kraftfahrzeugs in der Verarbeitungseinheit repräsentiert hat, anhand einer Ausgabe des neuronalen Netzwerks durch die Verarbeitungseinheit. Beispielsweise kann dies durch die Verwendung einer Ausgabe des neuronalen Netzwerks als neue Belegungsrasterkarte realisiert werden. Die Ausgabe des neuronalen Netzwerks kann auch Teil der neuen Belegungsrasterkarte sein und/oder verwendet werden um die gewichtete, die Umgebung des Kraftfahrzeugs darstellende Belegungsrasterkarte in der Verarbeitungseinheit zu aktualisieren.
-
Dies hat den Vorteil, dass die Genauigkeit der Detektion oder Erfassung erhöht wird. Dies ist im Allgemeinen mit einem Ultraschallsensor, der nur einen Abstand zu dem Sensor als Sensordaten liefert, aber nicht eine eindeutige Position des Objekts, schwierig zu erreichen. Tatsächlich funktioniert das oben beschriebene Verfahren mit einem ungenauen Sensorsystem wie dem Ultraschallsensorsystem erstaunlich gut. Das neuronale Netzwerk ist besonders geeignet zur Rauschunterdrückung, da das Netzwerk in der Lage ist, die Unsicherheit bei einem ermittelten Objekt zu beseitigen, welches allgemein auf einem Ultraschallbogen lokalisiert wurde. Hierbei wird der Ultraschallbogen durch eine Zeitdifferenz zwischen Aussenden und dem Erfassen des Echos gegeben oder bestimmt. Der Ultraschallbogen umfasst die Positionen auf der Karte, welche dem der Zeitdifferenz zugeordneten Abstand von dem Sensor entsprechen. Das neuronale Netzwerk filtert also auf natürliche Weise Geräuschsignale heraus. Insbesondere wenn mehrere Ultraschallechos und/oder mehrere Ultraschallsignale eingesetzt werden, eignet sich das neuronale Netzwerk besonders gut, um verborgene Beziehungen innerhalb der Sensordaten ausfindig zu machen. Das neuronale Netzwerk kann etwa verborgene Beziehungen in den erfassten Echos und den erhöhten Wichtungen der Rasterzellen auffinden. Folglich kann das Objekt in der Umgebung, welches das entsprechende Echo verursacht hat, ausfindig gemacht oder detektiert und verfolgt werden, sogar in rauschbedingt ungünstigen Situationen. Diese zuverlässige Leistung des neuronalen Netzwerks ist möglich aufgrund der Verwendung einer gewichteten Belegungsrasterkarte als Eingabe für das neuronale Netzwerk und insbesondere die Anwendung einer Gruppen-Normierung auf der Belegungsrasterkarte. Diese Gruppen-Normierung führt zu einem stabilisierten und funktionierendem Lernzprozess beim Lernen, also beispielsweise im Trainingsmodus des Netzwerkes, und damit zu einer zuverlässigen Erfassung und Verfolgung des Objekts im Arbeitsmodus. Außerdem kann das neuronale Netzwerk das Objekt in Echtzeit erfassen und verfolgen, beispielsweise wenn es auf einem Grafikprozessor der Verarbeitungseinheit betrieben wird oder läuft.
-
In einer vorteilhaften Ausführungsform werden die Verfahrensschritte Erfassen, Erhöhen, Anwenden, Verwenden und Berechnen wiederholt ausgeführt. Insbesondere wird die Belegungsrasterkarte oder der Teil der Belegungsrasterkarte, welche/r zu normieren ist, vor Erhöhen ihrer/seiner Wichtungen zurückgesetzt. Das Zurücksetzen der Belegungsrasterkarte oder des Teils der Belegungsrasterkarte kann ein Festlegen der Wichtungen der Belegungsrasterkarte oder des jeweiligen Teils der Belegungsrasterkarte auf Null umfassen.
-
Dies hat den Vorteil, dass die Umgebung des Kraftfahrzeugs durchgängig überwacht wird, insbesondere ein Objekt in einer Umgebung des Fahrzeugs wiederholt erfasst und somit verfolgt wird, und eine Relativbewegung eines Kraftfahrzeugs und des Objekts überwacht werden kann. Das Zurücksetzen der Belegungsrasterkarte vor dem Erhöhen der Wichtungen führt dazu, dass das neuronale Netzwerk durch veraltete Daten der Belegungsrasterkarte oder Daten der Belegungsrasterkarte in einem anderen Teil, der nicht relevant für die vorliegende Aufgabe ist, nicht abgelenkt oder verwirrt wird. Daher wird die Leistung des neuronalen Netzwerks hinsichtlich der Genauigkeit, Stabilität als auch des Verbrauchs der Rechenressourcen verbessert.
-
Dabei kann vorgesehen sein, dass eine Kopie der neuen Belegungsrasterkarte als eine dauerhafte oder bleibende Belegungsrasterkarte gespeichert wird, die nicht durch das Erhöhen, Anwenden und Verwenden, insbesondere also nicht durch das Berechnen modifiziert wird oder ist. Diese Kopie kann in der Verarbeitungseinheit gespeichert werden. Somit kann mit jeder Wiederholung der Verfahrensschritte ein neues Exemplar oder eine neue Instanz der Belegungsrasterkarte als die dauerhafte Belegungsrasterkarte oder Teil der dauerhaften Belegungsrasterkarte gespeichert werden.
-
Dies hat den Vorteil, dass die hervorragenden Erfassungs- und Verfolgungsfähigkeiten des neuronalen Netzwerks mit den hervorragenden Speicherfähigkeiten der Verarbeitungseinheit kombiniert werden. Daher ist ein Hybridsystem verwirklicht, welches es erlaubt, die Umgebung des Kraftfahrzeugs in ihrer zeitlichen Entwicklung zu überwachen.
-
In einer weiteren vorteilhaften Ausführungsform wird oder wurde das neuronale Netzwerk, beispielsweise in dem Trainingsmodus, auf unüberwachte Weise trainiert, was auch als „unsupervised learning“ bezeichnet wird. Insbesondere wird das neuronale Netzwerk nur auf unüberwachte Weise trainiert. Dies bedeutet, dass das neuronale Netzwerk durch einen unüberwachten Lernprozess („unsupervised learning“) gebildet wird.
-
Dies hat den Vorteil, dass sich das neuronale Netzwerk automatisch, das heißt ohne jegliche künstliche Hypothese, an den Input oder den Trainingsinput, der (beispielsweise in dem Trainingsmodus) während der Lernphase oder der Lernperiode des neuronalen Netzwerks verwendet wird, anpasst. Darüber hinaus ist es besonders einfach den Trainingsinput zu liefern; dafür sind nämlich nur ungelabelte oder unbearbeitete Sensordaten des Ultraschallsensors nötig. Ungelabelte Sensordaten können Sensorrohdaten ohne jede Annotation oder Zusatzinformation sein.
-
In einer weiteren vorteilhaften Ausführungsform umfasst die Anwendung der Gruppen-Normierung das Auf-Null-Setzen eines Mittelwerts der Wichtungen der Belegungsrasterkarte, das heißt der Wichtungen der ganzen Belegungsrasterkarte oder der Wichtungen eines Teils der Belegungsrasterkarte, und/oder das Festlegen der Standardabweichung der Wichtungen der Belegungsrasterkarte oder des Teils der Belegungsrasterkarte.
-
Diese besonderen Normierungen haben sich als besonders nützlich erwiesen, um einen stabilen und schnellen Lernprozess, beispielsweise im Trainingsmodus, und ein zuverlässiges Erfassen und Verfolgen der Objekte durch das neuronale Netzwerk im Arbeitsmodus zu gewährleisten.
-
In einer besonders vorteilhaften Ausführungsform wird für jede Rasterzelle der Belegungsrasterkarte oder des oben erwähnten Teils der Belegungsrasterkarte die Wahrscheinlichkeit, belegt zu sein, mit einer wohldefinierten Wichtung festgelegt. Dies bedeutet, dass für jede Rasterzelle der Belegungsrasterkarte eine Wahrscheinlichkeit für die Rasterzelle dafür, belegt zu sein, definiert ist, so dass es keine Rasterzelle mit unbekannter Belegungswahrscheinlichkeit gibt. Somit können die Wichtungen keine unbekannte Wahrscheinlichkeit repräsentieren oder repräsentieren keine solche unbekannte Wahrscheinlichkeit. Dies bedeutet, dass es keinen „verdeckten Bereich“ gibt, dessen Belegungswahrscheinlichkeit unbekannt ist. Um zu einer solchen Belegungsrasterkarte zu gelangen, können die Wichtungen der Belegungsrasterkarte, die einem verborgenen oder verdeckten Bereich entsprechen, also einem Bereich der nicht von dem Ultraschallsystem überwacht werden kann, beispielsweise, weil der Bereich sich hinter einem durch das System erfassten Objekt befindet, auf Null gesetzt werden. Die zugrundeliegende Hypothese, nämlich dass es kein Objekt hinter dem erfassten Objekt gibt, ist offensichtlich falsch, aber hat sich als sehr hilfreich für die zuverlässige Erfassung und Verfolgung des Objekts durch das Ultraschallsystem erwiesen.
-
Dies hat den Vorteil, dass das Lernen und das Lokalisieren, das Erfassen und Verfolgen, wiederum verbessert wird, nämlich das Lernen stabilisiert und beschleunigt wird, und das Verarbeiten in dem neuronalen Netzwerk, das heißt das Lokalisieren (Erfassen und Verfolgen) in seiner Genauigkeit verbessert wird.
-
In einer weiteren vorteilhaften Ausführungsform ist das neuronale Netzwerk kombiniertes faltendes neuronales Netzwerk (convolution neural network) und rekurrentes neuronales Netzwerk (recurrent neural network).
-
Dies hat den Vorteil, dass das neuronale Netzwerk besonders geeignet ist für die Objektlokalisierung.
-
Insbesondere kann das neuronale Netzwerk ein tiefes neuronales Netzwerk, ein sogenanntes „deep neural network“, mit zumindest zwei verborgenen oder ausgeblendeten Schichten zwischen der Eingabeschicht und der Ausgabeschicht sein. Genauer gesagt, kann das neuronale Netzwerk insbesondere ein tiefes neuronales Verfolgungsnetzwerk sein, wie es in dem Artikel “Deep Tracking: Seeing beyond Seeing using Recurrent Neural Networks” von P. Ondrúška und I. Posner beschrieben wird, der bei der Association for the Advancement of Artificial Intelligence in Phoenix, Arizona, Vereinigte Staaten vom 12.–17. Februar 2016 veröffentlicht wurde.
-
Dies hat den Vorteil, dass das Netzwerk zur Erfassung, Verfolgung und sogar zum Voraussehen einer zukünftigen Position eines Objekts im Verhältnis zu einem Kraftfahrzeug fähig ist. Die Benutzung des neuronalen Netzwerks als tiefes neuronales Netzwerk funktioniert besonders gut mit dem oben erwähnten Merkmal des unüberwachten Lernens, so dass eine Verbesserung des Systems mit minimalem durch Menschen zu erbringenden Aufwand erreicht werden kann, insbesondere aufgrund des unüberwachten Lernens während der Lernphase des neuronalen Netzwerks.
-
In einer weiteren sehr vorteilhaften Ausführungsform wird nach dem Erhöhen der Rasterzellen und vor dem Benutzen der normierten Belegungsrasterkarte oder des jeweiligen Teils als Eingabe für das mehrschichtige neuronale Netzwerk zur Objektverfolgung ein Unterabschnitt der Belegungsrasterkarte ausgewählt, welcher die Rasterzellen umfasst, deren Wichtungen während des oben erwähnten Erhöhens der Wichtungen der Rasterzellen erhöht wurden. Zusätzlich wird der ausgewählte Unterabschnitt als Eingabe für das mehrschichtige neuronale Netzwerk für die Objektverfolgung verwendet und ein neuer Unterabschnitt der Belegungsrasterkarte, welcher dem ausgewählten Unterabschnitt der früheren Belegungsrasterkarte entspricht, anhand der Ausgabe des neuronalen Netzwerks berechnet. Zusätzlich kann die Gruppen-Normierung auf den ausgewählten Unterabschnitt der Belegungsrasterkarte angewendet werden. Dieser ausgewählte Unterabschnitt kann identisch sein mit dem oben erwähnten Teil der Belegungsrasterkarte. Die Gruppen-Normierung kann also auf einen Teil der Belegungsrasterkarte und/oder einen Teil der normierten Belegungsrasterkarte angewendet werden, sodass der normierte Teil der Belegungsrasterkarte als Eingabe für das mehrschichtige neuronale Netzwerk benutzt werden kann.
-
Dies hat den Vorteil, dass das neuronale Netzwerk nur einen Abschnitt der Belegungsrasterkarte verarbeiten muss, und daher Rechenressourcen gespart werden können. Da der Unterabschnitt der Belegungsrasterkarte den Teil der Belegungsrasterkarte einschließt, in welchem etwas vorgefallen ist oder sich verändert hat, gehen relevante oder wichtige Informationen dennoch nicht verloren, sondern werden weiterhin von dem Verfahren verwendet. Daher wird die Effizienz des Verfahrens mit erhöhter Genauigkeit und leichterer Benutzung des Ultraschallsensorsystems verbessert.
-
In einer weiteren vorteilhaften Ausführungsform wird der Unterabschnitt oder der Teil der Belegungsrasterkarte durch ein rekurrentes neuronales Aufmerksamkeits-Netzwerk ausgewählt. Insbesondere kann das rekurrente neuronale Aufmerksamkeits-Netzwerk Teil des mehrschichtigen neuronalen Netzwerkes zur Objektverfolgung sein oder in dieses integriert sein.
-
Dies hat den Vorteil, dass der Unterabschnitt oder Teil der Belegungsrasterkarte sehr flexibel gewählt wird. Des Weiteren kann es nahtlos mit dem mehrschichtigen neuronalen Netzwerk interagieren oderzusammenwirken oder sogar in dem mehrschichtigen Netzwerk integriert sein. Da die Rechenleistung des neuronalen Netzwerks nicht linear mit seiner Größe zunimmt, können Rechenressourcen bei der Integration der zwei neuronalen Netzwerke in ein einziges neuronales Netzwerk gespart werden.
-
Die Erfindung betrifft auch ein Computerprogrammprodukt, vorzugsweise ein Speichermedium, mit einem Computerprogramm, das dazu programmiert ist, ein Verfahren nach einer oder mehrerer der beschriebenen Ausführungsformen auszuführen, wenn das Computerprogramm beispielsweise auf einer Verarbeitungseinheit oder Recheneinheit ausgeführt wird.
-
Die Erfindung betrifft auch ein Ultraschallsensorsystem für ein Kraftfahrzeug. Ein solches Ultraschallsensorsystem weist mindestens einen Ultraschallsender zum Aussenden oder Emittieren mindestens eines Ultraschallsignals und mindestens einen Ultraschallsensor zum Erfassen oder Detektieren mindestens eines Echos des mindestens einen Ultraschallsignals auf. Des Weiteren weist das Ultraschallsensorsystem eine Verarbeitungseinheit zum Berechnen mindestens eines dem Echo entsprechenden Abstands von dem Ultraschallsensor auf. Der Abstand kann durch die zeitliche Verzögerung zwischen dem Aussenden des Ultraschallsensors und dem Erfassen des Echos des Ultraschallsignals berechnet werden. Dadurch wird eine Umgebung des Kraftfahrzeugs in der Verarbeitungseinheit mit einer gewichteten Belegungsrasterkarte repräsentiert, wobei jede Rasterzelle der Belegungsrasterkarte einem vorbestimmten Bereich in der Umgebung entspricht. Die Wichtung jeder Rasterzelle repräsentiert eine Wahrscheinlichkeit für den entsprechenden vorbestimmten Bereich in der Umgebung dafür, belegt zu sein.
-
Es ist wichtig, dass die Verarbeitungseinheit ausgebildet ist, die Wichtungen der Rasterzellen, die einen Bereich mit einem Abstand von dem Ultraschallsensor, der dem berechneten Abstand entspricht, repräsentieren, um einen vorbestimmten Wert zu erhöhen, sowie ausgelegt ist, eine Gruppen-Normierung auf die Belegungsrasterkarte oder einen Teil der Belegungsrasterkarte anzuwenden, um zu einer normierten Belegungsrasterkarte oder einem normierten Teil der Belegungsrasterkarte zu gelangen, und die normierte Belegungsrasterkarte oder den jeweiligen Teil der Belegungsrasterkarte als Eingabe für ein mehrschichtiges neuronales Netzwerk zur Objektverfolgung zu verwenden und eine neue Belegungsrasterkarte anhand der Ausgabe des neuronalen Netzwerks zu berechnen.
-
Hierbei entsprechen Vorteile und vorteilhafte Ausführungsformen des Ultraschallsensorsystems Vorteilen und vorteilhaften Ausführungsformen des Verfahrens zur Lokalisierung, das heißt Erfassung und Verfolgung, eines Objekts in der Umgebung des Kraftfahrzeugs.
-
Die Erfindung betrifft auch ein Kraftfahrzeug mit einem solchen Ultraschallsensorsystem.
-
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
-
Im Folgenden werden Ausführungsformen der Erfindung mit Bezug auf schematische Zeichnungen genauer dargelegt. Diese zeigen in:
-
1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform eines Ultraschallssensorsystems;
-
2 eine beispielhafte Ausführungsform einer Belegungsrasterkarte mit Ultraschallbögen;
-
3 ein Beispiel für eine Eingabe und eine Ausgabe einer beispielhaften Ausführungsform eines mehrschichtigen neuronalen Netzwerks zur Objektverfolgung; und
-
4 die Funktionalität einer beispielhaften Ausführungsform der Erfindung mit einer Auswahl eines Unterabschnitts der Belegungsrasterkarte durch ein rekurrentes neuronales Aufmerksamkeits-Netzwerk.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 oder ein Automobil mit einem Ultraschallsensorsystem 2. Das Ultraschallsensorsystem 2 umfasst mindestens einen Ultraschallsender 3a bis 3l zum Aussenden mindestens eines Ultraschallsignals und mindestens einen Ultraschallsensor 3a‘ bis 3l‘ zum Erfassen mindestens eines Echos des mindestens einen Ultraschallsignals auf. In dem vorliegenden Beispiel sind der Ultraschallsender 3a bis 3l und Ultraschallsensor 3a‘ bis 3l‘ identische Bauteile. Des Weiteren umfasst das Ultraschallsensorsystem 2 eine Verarbeitungseinheit 4 zum Berechnen des mindestens einen Abstands d1, d2 von dem Ultraschallsensor 3a‘ bis 3l‘, wobei der Abstand d1, d2 dem jeweiligen Echo entspricht. In der Verarbeitungseinheit 4 wird eine Umgebung 5 des Kraftfahrzeugs 1 mit einer gewichteten Belegungsrasterkarte 6a repräsentiert, wobei jede Rasterzelle 7a der Belegungsrasterkarte 6a einem vorbestimmten Bereich in der Umgebung 5 entspricht und die Wichtung jeder Rasterzelle 7a eine Wahrscheinlichkeit für den entsprechenden vorbestimmten Bereich in der Umgebung 5 dafür repräsentiert, belegt zu sein.
-
Hierbei ist die Verarbeitungseinheit 4 dazu ausgelegt, die Wichtungen der Rasterzellen 7a um einen vorbestimmten Wert zu erhöhen, die einen Bereich mit einem Abstand von dem Ultraschallsensor 3a‘ bis 3l‘ repräsentieren, der dem berechneten Abstand d1, d2 entspricht. Dies führt zu sogenannten Ultraschallbögen 11a bis 11e (2), die Kreisabschnitte mit jeweiligem Abstand d1, d2 von dem Ultraschallsensor 3a‘ bis 3l‘ sind. Diese Ultraschallbögen ergeben sich daraus, dass die Ultraschallsensoren 3a‘ bis 3l‘ lediglich einen Abstand von, aber nicht eine eindeutige Position im Verhältnis zu dem jeweiligen Ultraschallsensor 3a‘ bis 3l‘ erfassen. Die Verarbeitungseinheit 4 ist darüber hinaus ausgelegt, eine Gruppen-Normierung auf die Belegungsrasterkarte 6a anzuwenden. Dies führt zu einer normierten Belegungsrasterkarte 6b mit Rasterzellen 7b, die vorliegend als Eingabe für ein mehrschichtiges neuronales Netzwerk 8 zur Objektverfolgung verwendet wird. Schließlich ist die Verarbeitungseinheit 4 ausgelegt, anhand der Ausgabe des neuronalen Netzwerks 8 eine neue Belegungsrasterkarte 6d mit Rasterzellen 7d zu berechnen.
-
Im vorliegenden Beispiel umfasst das neuronale Netz oder Netzwerk 8 vier Schichten 9a bis 9d. Die Eingabeschicht 9a entspricht der normierten Belegungsrasterkarte 6b und ist mit einer Encoder- oder Kodier-Schicht 9b verbunden, die auf eine Believe-Tracker- oder Vermutungs-Verfolgungs-Schicht 9c projiziert. Diese Vermutungs-Verfolgungs-Schicht 9c ist im vorliegenden Beispiel eine rekurrente Schicht. Die Vermutungs-Verfolgungs-Schicht 9c projiziert auf eine Decoder- oder Dekodier-Schicht 9d. Im vorliegenden Beispiel bildet die Dekodier-Schicht 9d eine Belegungsrasterkarte 6c mit Rasterzellen 7c. Beispielsweise kann das mehrschichtige neuronale Netzwerk 8 ein tiefes neuronales Verfolgungsnetzwerk sein, wie von P. Otruschka und I. Posner in ihrem oben erwähnten Artikel “Deep Tracking: Seeing beyond Seeing using Recurrent Neural Networks” vorgeschlagen.
-
Somit repräsentiert das Ultraschallsensorsystem 2 im aktiven Zustand während der Benutzung des Kraftfahrzeugs 1 die Umgebung 5 des Kraftfahrzeugs 1 mit der gewichteten Belegungsrasterkarte 6a in der Verarbeitungseinheit 4. Das Ultraschallsensorsystem 2 sendet mindestens ein Ultraschallsignal durch mindestens einen, vorliegend zwölf Ultraschallsender 3a bis 3l des Ultraschallsensorsystems 2 aus und erfasst die entsprechenden Echos zur Berechnung des mindestens einen Abstands d1, d2 von den Ultraschallsensoren 3a‘ bis 3l‘, der den Echos entspricht, durch die Verarbeitungseinheit 4.
-
Die Verarbeitungseinheit 4 erhöht die Wichtungen der Rasterzellen 7a, die einen Bereich mit einem Abstand von den Ultraschallsensoren 3a‘ bis 3l‘, der dem berechneten Abstand d1, d2 entspricht, repräsentieren um einen vorbestimmten Wert. Des Weiteren, wendet die Verarbeitungseinheit 4 eine Gruppen-Normierung auf die Belegungsrasterkarte 6a an, um zu einer normierten Belegungsrasterkarte 6b zu gelangen. Diese normierte Belegungsrasterkarte 6b wird im gezeigten Beispiel als Eingabe für ein mehrschichtiges neuronales Netzwerk 8 zur Objektverfolgung verwendet. Schließlich wird anhand der Ausgabe, welche in diesem Beispiel die Form einer weiteren Belegungsrasterkarte 6c hat, eine neue Belegungsrasterkarte 6d durch die Verarbeitungseinheit 4 berechnet.
-
In 2 ist eine beispielhafte Belegungsrasterkarte 6a mit einer Mehrzahl an Rasterzellen 7a gezeigt. Zur Veranschaulichung ist hier ein Kraftfahrzeug 1 mit seinen Ultraschallsendern 3a bis 3l und Ultraschallsensoren 3a‘ bis 3l‘ auf der Belegungsrasterkarte 6a dargestellt. Im vorliegenden Beispiel sind auch mehrere Ultraschallbögen 11a bis 11e dargestellt. Jeder Ultraschallbogen 11a bis 11e entspricht einem durch den jeweiligen Sensor 3a‘ bis 3l‘ erfassten Echo. In dem vorliegenden Beispiel ist der erste Bogen 11a dem Sensor 3f‘ zugeordnet, der zweite und dritte Bogen 11b, 11c dem Sensor 3g‘. Der zweite und der dritte Bogen 11b, 11c haben unterschiedliche jeweilige Abstände d2, d3 zu oder von dem entsprechenden Sensor 3d‘. Der vierte Bogen 11d entspricht einem weiteren Sensor 3h‘ und überlappt teilweise mit dem dritten Bogen 11c. Der fünfte Bogen 11e ist in einem Abstand d4 von dem entsprechenden Sensor 3l‘ angeordnet.
-
Die Wichtungen der Rasterzellen 7a an den Bögen 11a bis 11e sind im Verhältnis zur Umgebung der Bögen 11a bis 11e erhöht und repräsentieren die Wahrscheinlichkeit eines Objekts 10 (1) dafür, in dem Bereich der Umgebung 5 (1) vorhanden zu sein, der der entsprechenden Rasterzelle oder den Rasterzellen 7a entspricht (1). Diese Wichtungen werden dann normiert, um zu einer normierten Belegungsrasterkarte 6b (1) zu gelangen. In dem vorliegenden Beispiel kann der Mittelwert aller Wichtungen aller Rasterzellen 7a der Belegungsrasterkate 6a auf Null gesetzt werden und Sandardabweichung aller Wichtungen auf der Belegungsrasterkarte 6a kann auf 1 gesetzt werden. Dies ist besonders nützlich für die Verwendung der Belegungsrasterkarte 6a als Eingabe für ein neuronales Netzwerk in Form der normierten Belegungsrasterkarte 6b (1). Die Normierung stabilisiert nämlich das Lernen und verbessert die Erfassungs- und Verfolgungsleistung des neuronalen Netzwerks 8 (1).
-
In 3 ist eine jeweilige Eingabe in Form einer normierten Belegungsrasterkarte 6b und eine entsprechende Ausgabe, wiederum in Form einer Belegungsrasterkarte 6c, gezeigt. In dem vorliegenden Beispiel für eine normierte Belegungsrasterkarte 6b, sind fünf Ultraschallbögen 11a bis 11e mit unterschiedlichen Radien oder Distanzen vom jeweiligen Ultraschallsensor 3a‘ bis 3l‘ (1, 2) zu erkennen. Diese Ultraschallsensoren 3a‘ bis 3l‘ und das Kraftfahrzeug 1 sind hier nicht gezeigt. Lediglich anhand der Bögen 11a bis 11e ist die Position des Objekts 10 auf der normierten Belegungsrasterkarte 6b sehr schwierig einzuschätzen.
-
In der Belegungsrasterkarte 6c, der Ausgabe des neuronalen Netzwerks 8, sind die Bögen 11a bis 11e verschwunden. Stattdessen markieren mehrere Punkte die Positionen der – im vorliegenden Fall – zwei erfassten Objekte 10, 10’ in der Umgebung 5 (1). So war das neuronale Netzwerk 8 (1) in der Lage, die Störgeräusche herauszufiltern, die Objektform zu erfassen und eine korrekte Objektrekonstruktion und Objektlokalisierung vorzunehmen.
-
In 4 wird die Funktionalität einer weiteren beispielhaften Ausführungsform der Erfindung dargestellt. Hierbei wird für das Verarbeiten durch das neuronale Netzwerk ein Unterabschnitt 6a’ der Belegungsrasterkarte 6a ausgewählt. Dies kann durch ein rekurrentes neuronales Netzwerk erfolgen, welches insbesondere in dem neuronalen Netzwerk 8 enthalten sein kann 8 (1). Der Unterabschnitt 6a’ ist ein um einen Ultraschallbogen 11a herum liegender Bereich von Interesse (region-of-interest, ROI). In dem vorliegenden Beispiel gibt es zur Zeit t = 1 auch andere Ultraschallbögen in der Belegungsrasterkarte 6a, aber die Funktionalität der Ausführungsform wird mit dem ersten Ultraschallbogen 11a als ein Beispiel erklärt. Jedoch können mutatis mutandis ebenso ein oder mehrere andere Unterabschnitte der Belegungsrasterkarte 6a, die die anderen Ultraschallbögen 11d, 11e beinhalten, gewählt werden. Der Unterabschnitt 6a’ bei t = 1 wird dann als Eingabe für das neuronales Netzwerk 8 (1) verwendet. Da bei t = 1 keine zusätzliche Information verfügbar ist, ist die Wahrscheinlichkeitsverteilung P über x der Wahrscheinlichkeit P für ein Objekt 10 (1) an Position x auf dem Bogen 11a über die Länge x des Bogens 11a hinweg konstant. Dies ist in 4 oberhalb des vergrößerten Unterabschnitts 6a’ bei t = 1 dargestellt.
-
Zum Zeitpunkt t = 2 erscheint nun eine zusätzlicher Ultraschallbogen 11b auf der Belegungsrasterkarte 6a. Dieser zusätzliche Ultraschallbogen 11b kreuzt den ersten Ultraschallbogen 11a als ein zweiter Ultraschallbogen in dem Unterabschnitt 6a‘. Da der Unterabschnitt 6a‘ vorliegend durch ein rekurrentes neuronales Netzwerk erneut ausgewählt wird, ist er im Vergleich zu dem Unterabschnitt 6a‘ bei t = 1 leicht verschoben. Wieder wird der Unterabschnitt 6a‘ als Input in das neuronale Netzwerk eingespeist. Da sich die beiden Ultraschallbögen 11a, 11b nun schneiden gibt es eine Wahrscheinlichkeit größer Null dafür, dass sie von dem gleichen Objekt 10 (1) stammen. Entsprechend ist die Wahrscheinlichkeitsverteilung P über x für den ersten Ultraschallbogen 10a nicht mehr konstant sondern zeigt vielmehr ein Maximum an einer spezifischen Position, hier x0.
-
Zum Zeitpunkt t = 3 schneidet ein dritter Ultraschallbogen 11c die anderen beiden Ultraschallbögen 11a, 11b. Entsprechend ist der Unterabschnitt 6a‘, der hier von dem rekurrenten neuronalen Netzwerk ausgewählt wird, wieder leicht verschoben. Wieder wird dieser Unterabschnitt 6a‘ als Input in das neuronale Netzwerk eingespeist und für das Erfassen und Verfolgen, das heißt das Lokalisieren des Objekts 10 genutzt. Da mehr und mehr Information verfügbar ist kann das neuronale Netzwerk vorliegend ein Maximum der Verteilung P über x finden, welches viel deutlicher und weniger breit ist als bei t = 2.
-
Diese Beispiel zeigt wie ein trainiertes Netzwerk 8 in der Lage ist, ein Rauschen zu bereinigen, ein Objekt 10 (1) zu erfassen und eine korrekte Objektrekonstruktion zu durchzuführen, wenn eine Mehrzahl an Echos gegeben ist, was in einem realistischen Szenario gewöhnlich der Fall ist. Zur Veranschaulichung wird die Belegungsrasterkarte 6a zwischen den unterschiedlichen Zeitschritten t = 1, t = 2, t = 3 im vorliegenden Beispiel nicht auf Null zurückgesetzt.
