DE102020116716A1

DE102020116716A1 - Aktivierung einer ultraschallbasierten Gestensteuerung

Info

Publication number: DE102020116716A1
Application number: DE102020116716.4A
Authority: DE
Inventors: Maximilian Poepperl; Niko Moritz Scholz; Raghavendra Gulagundi; Niko Sommer
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2020-06-25
Filing date: 2020-06-25
Publication date: 2021-12-30

Abstract

Die Erfindung betrifft ein Verfahren zum Aktivieren einer ultraschallbasierten Gestensteuerung bei einer Annäherung einer Person (32), insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs (10), mit einem Ultraschallerkennungssystem (12) umfassend eine Steuerungseinheit (14) und eine Mehrzahl damit verbundene Ultraschallsensoren (16) zur Anbringung an dem Fahrzeug (10), umfassend die Schritte Aussenden wenigstens eines Ultraschallpulses (26) mit einer Teilmenge der Ultraschallsensoren (16), Empfangen wenigstens eines Echosignals (28) des wenigstens einen Ultraschallpulses (26) mit einer Teilmenge der Ultraschallsensoren (16), Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal (28) zur Detektion einer Person (32), Aktivieren der ultraschallbasierten Gestensteuerung bei einer positiven Detektion einer Person (32) in dem wenigstens einen Echosignal (28) oder Warten in einem Ruhemodus für eine vorgegebene Zeitdauer, und Rückkehren zum Anfang des Verfahrens. Die Erfindung betrifft außerdem ein Ultraschallerkennungssystem (12) zur ultraschallbasierten Gestensteuerung, insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs (10), umfassend eine Steuerungseinheit (14) und eine Mehrzahl damit verbundene Ultraschallsensoren (16) zur Anbringung an dem Fahrzeug (10).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Aktivieren einer ultraschallbasierten Gestensteuerung bei einer Annäherung einer Person, insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs, mit einem Ultraschallerkennungssystem umfassend eine Steuerungseinheit und eine Mehrzahl damit verbundene Ultraschallsensoren zur Anbringung an dem Fahrzeug.
Auch betrifft die vorliegende Erfindung ein Ultraschallerkennungssystem zur ultraschallbasierten Gestensteuerung, insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs, umfassend eine Steuerungseinheit und eine Mehrzahl damit verbundene Ultraschallsensoren zur Anbringung an dem Fahrzeug.
Im Stand der Technik sind verschiedene Komfortfunktionen bekannt, die ein geparktes Fahrzeug betreffen. Ein geparktes Fahrzeug ist allgemein ein nicht bewegtes Fahrzeug. Eine dieser Komfortfunktionen betrifft ein Öffnen einer Heckklappe oder eines Kofferraumdeckels des Fahrzeugs. Um das Öffnen der Heckklappe oder des Kofferraumdeckels ohne Hände zu ermöglichen, hat sich eine Gestensteuerung basierend auf Fußgesten durchgesetzt, bei der ein angedeuteter Tritt in Richtung der Heckklappe oder des Kofferraumdeckels zum Öffnen der Heckklappe oder des Kofferraumdeckels des Fahrzeugs führt.
In diesem Bereich sind kapazitative Sensoren weit verbreitet. Diese Sensoren verbrauchen wenig Energie und ermöglichen eine zuverlässige Erkennung der Fußgesten. Nachteilig hieran ist jedoch, dass der kapazitative Sensor zusätzlich zu einer bereits vorhandenen Sensorik an dem Fahrzeug angebracht werden muss und eine Nutzung für andere Systeme des Fahrzeugs, beispielsweise als sogenannter Parkpilot, nicht möglich ist.
Üblicherweise vorhandene Sensorik, beispielsweise in der Form von Ultraschallsensoren, ist ebenfalls geeignet, um im Rahmen einer Gestensteuerung solche Gesten, beispielsweise die oben genannten Fußgesten, zu erkennen. Da solche Ultraschallsensoren bei aktuellen Fahrzeugen bereits sehr weit verbreitet sind, wäre auch keine zusätzliche Sensorik erforderlich, um bei nicht bewegten Fahrzeugen beispielsweise die genannten Komfortfunktionen zu realisieren.
Aufgrund des vergleichsweise hohen Stromverbrauchs der Ultraschallsensoren führt deren Verwendung bei nicht bewegten Fahrzeugen, also insbesondere bei Fahrzeugen mit ausgeschaltetem Motor, allerdings zu einer verstärkten Entladung einer Fahrzeugbatterie, so dass es in der Praxis leicht vorkommen kann, dass die Fahrzeugbatterie entladen ist und das Fahrzeug nicht mehr gestartet werden kann. Aktuell übliche Stillstandszeiten von mehreren Wochen, in denen das Fahrzeug nicht bewegt und damit die Fahrzeugbatterie nicht geladen wird, sind daher nur bei der Verwendung von Fahrzeugbatterien mit einer erhöhten Batteriekapazität zu erzielen. Dies ist jedoch mit erhöhten Kosten, einem erhöhten Platzbedarf und insbesondere einem erhöhten Gewicht für die Fahrzeugbatterie verbunden und damit nicht akzeptabel.
Entsprechende Komfortfunktionen sind prinzipiell für alle Türen oder Klappen des Fahrzeugs möglich. Über die oben genannten Komfortfunktionen hinaus sind prinzipiell weitere Komfortfunktionen für geparkte Fahrzeuge denkbar, die auf einer Erkennung von Gesten basieren.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zum Aktivieren einer ultraschallbasierten Gestensteuerung bei einer Annäherung einer Person, insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs, sowie ein Ultraschallerkennungssystem zur ultraschallbasierten Gestensteuerung anzugeben, die eine effiziente und zuverlässige ultraschallbasierte Gestensteuerung in Fahrzeugen über einen großen Zeitraum ohne einen Einsatz zusätzlicher Sensorik ermöglichen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß ist somit ein Verfahren zum Aktivieren einer ultraschallbasierten Gestensteuerung bei einer Annäherung einer Person, insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs, mit einem Ultraschallerkennungssystem umfassend eine Steuerungseinheit und eine Mehrzahl damit verbundene Ultraschallsensoren zur Anbringung an dem Fahrzeug angegeben, umfassend die Schritte Aussenden wenigstens eines Ultraschallpulses mit einer Teilmenge der Ultraschallsensoren, Empfangen wenigstens eines Echosignals des wenigstens einen Ultraschallpulses mit einer Teilmenge der Ultraschallsensoren, Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal zur Detektion einer Person, Aktivieren der ultraschallbasierten Gestensteuerung bei einer positiven Detektion einer Person in dem wenigstens einen Echosignal oder Warten in einem Ruhemodus für eine vorgegebene Zeitdauer, und Rückkehren zum Anfang des Verfahrens.
Erfindungsgemäß ist außerdem ein Ultraschallerkennungssystem zur ultraschallbasierten Gestensteuerung, insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs, angegeben, umfassend eine Steuerungseinheit und eine Mehrzahl damit verbundene Ultraschallsensoren zur Anbringung an dem Fahrzeug, wobei die Steuerungseinheit ausgeführt ist, mit einer Teilmenge der Ultraschallsensoren wenigstens einen Ultraschallpuls auszusenden, wobei mit einer Teilmenge der Ultraschallsensoren wenigstens ein Echosignal des wenigstens einen Ultraschallpulses empfangen wird, die Steuerungseinheit weiter ausgeführt ist, eine Objektklassifizierung in dem wenigstens einen Echosignal zur Detektion einer Person durchzuführen, und die Steuerungseinheit noch weiter ausgeführt ist, bei einer positiven Detektion einer Person in dem wenigstens einen Echosignal die ultraschallbasierte Gestensteuerung zu aktivieren oder durchzuführen und alternativ bei einer negativen Detektion einer Person für eine vorgegebene Zeitdauer in einen Ruhemodus zu schalten.
Grundidee der vorliegenden Erfindung ist es also, das Ultraschallerkennungssystem zur ultraschallbasierten Gestensteuerung insbesondere für den Einsatz zur Überwachung von geparkten Fahrzeugen verwendbar zu machen, indem ein besonders energiesparender Betrieb durchgeführt, um eine Annäherung einer Person zu erkennen, und erst danach, d.h. bei der Detektion einer Person in der Umgebung des Fahrzeugs, die ultraschallbasierte Gestensteuerung zu aktivieren. Dadurch kann ein energieintensiver Betrieb aller Ultraschallsensoren vermieden werden, bis die Annäherung einer Person erkannt wird. Um eine unnötige Aktivierung des Ultraschallerkennungssystems zur ultraschallbasierten Gestensteuerung zu vermeiden ist es dabei wichtig, zuverlässig zu erkennen, ob eine Annäherung durch eine Person oder ein anderes Objekt erfolgt. So ist beispielsweise beim Parken quer oder längs zu einer Fahrbahn auf einer der Fahrbahn zugewandten Seite des Fahrzeugs eine große Anzahl von Annäherungen von vorbeifahrenden Fahrzeugen zu erwarten, die von Ultraschallsensoren als Objekte wahrgenommen werden können. Durch die Objektklassifizierung wird sichergestellt, dass nur die Annäherung einer Person zur Aktivierung des Ultraschallerkennungssystems zur ultraschallbasierten Gestensteuerung führt. Dabei wird durch die zusätzliche Aktivierung des Ruhemodus zwischen zwei aufeinanderfolgenden Überprüfungen der Annäherung einer Person sichergestellt, dass besonders wenig Energie verbraucht wird. Zur Überprüfung der Annäherung einer Person wird der Ruhemodus deaktiviert.
Das Verfahren wird fortwährend durchgeführt, wobei zwei Durchläufe um die vorgegebene Zeitdauer versetzt erfolgen. Die vorgegebene Zeitdauer kann dabei einen Verfahrensdurchlauf einschließen oder eine Zeitdauer vom Ende eines Verfahrensdurchlaufs bis zum Anfang des nächsten Verfahrensdurchlaufs definieren.
Die Komfortfunktion kann ein Öffnen einer Heckklappe oder eines Kofferraumdeckels des Fahrzeugs sein. Um das Öffnen der Heckklappe oder des Kofferraumdeckels ohne Hände zu ermöglichen, hat sich eine Gestensteuerung basierend auf Fußgesten durchgesetzt, bei der beispielsweise ein angedeuteter Tritt in Richtung der Heckklappe oder des Kofferraumdeckels zum Öffnen und/oder Schließen der Heckklappe oder des Kofferraumdeckels des Fahrzeugs führt. Entsprechende Komfortfunktionen sind prinzipiell für alle Türen oder Klappen des Fahrzeugs möglich. Über die oben genannten Komfortfunktionen hinaus sind prinzipiell weitere Komfortfunktionen für geparkte Fahrzeuge denkbar, die auf einer Erkennung von Gesten basieren. Eine solche Komfortfunktion kann eine Erkennung eines Verhaltens eines Diebes sein, der das Fahrzeug aufbrechen möchte.
Das geparkte Fahrzeug ist allgemein ein nicht bewegtes Fahrzeug. Üblicherweise ist das Fahrzeug in keinem Fahrmodus. Beispielsweise ist bei Fahrzeugen mit einem Verbrennungsmotor der Motor nicht aktiv.
Besonders vorteilhaft wird vorhandene Sensorik in der Form von an dem Fahrzeug bereits für Fahrunterstützungssysteme verwendete Ultraschallsensoren zur Durchführung des Verfahrens eingesetzt. Es erfolgt also eine zusätzliche Nutzung dieser Ultraschallsensoren. Dies ist besonders einfach möglich, da Ultraschallsensoren üblicherweise nur bei fahrenden oder zumindest in einem Fahrmodus befindlichen Fahrzeugen aktiv sind, um unterschiedliche Fahrunterstützungsfunktionen, die teilweise als ADAS (Advanced Driver Assistance Systems) bekannt sind. Damit kann eine Teilmenge der Ultraschallsensoren verwendet werden, um die Annäherung einer Person zu erkennen, ohne dass andere Funktionen eingeschränkt werden.
Die Steuerungseinheit kann eine prinzipiell beliebige Datenverarbeitungseinrichtung sein. Im Automobilbereich werden dabei oftmals sogenannte eingebettete Systeme verwendet. Dabei findet der Begriff ECU (Electronic Control Unit) für solche Steuerungseinheiten Anwendung.
Die Ultraschallsensoren sind über eine Datenverbindung mit der Steuerungseinheit verbunden. Die Datenverbindung kann einen Bus umfassen, beispielsweise als DSI3-Bus, Can-Bus, Flexray oder auch als proprietäre Implementierung. Prinzipiell ist aber auch eine direkte Verbindung zwischen der Steuerungseinheit und jedem der Ultraschallsensoren möglich.
Die Ultraschallsensoren können in prinzipiell beliebiger Anzahl und Position an dem Fahrzeug angeordnet sein. Verbreitet sind dabei eine Mehrzahl Ultraschallsensoren an einer Rückseite und/oder einer Vorderseite des Fahrzeugs. Zunehmend werden auch Ultraschallsensoren seitlich an Fahrzeugen angebracht, beispielsweise um Objekte im sogenannten „toten Winkel“ erkennen und eine entsprechende Totwinkelwarnung ausgeben zu können.
Die Teilmenge der Ultraschallsensoren kann einen oder mehrere Ultraschallsensoren umfassen. Die Teilmengen der Ultraschallsensoren können jeweils individuell gebildet sein. Auch können die Teilmengen der Ultraschallsensoren während des Verfahrens verändert werden
Das Echosignal ist ein Signal, das Reflektionen des ausgesendeten wenigstens einen Ultraschallpulses beinhaltet, soweit der ausgesendete wenigstens eine Ultraschallpuls an wenigstens einem Objekt reflektiert und zurückgeworfen wird. Es umfasst eine zeitliche Dauer, um beispielsweise Echos von Objekten in einer Entfernung von bis zu fünf Metern erfassen zu können. In diesem Fall weist der Ultraschallsensor einen Empfangsbereich von fünf Metern auf.
Das Empfangen des wenigstens eines Echosignals des wenigstens einen Ultraschallpulses mit einer Teilmenge der Ultraschallsensoren kann auf unterschiedliche Art implementiert werden. Vorzugsweise empfängt jeder Ultraschallsensor die Echosignale der vom ihm ausgesendeten Ultraschallpulse. Prinzipiell können aber auch beliebige Ultraschallsensoren die jeweiligen Echosignale empfangen, beispielsweise um ein Objekt basierend dessen Echo, wie es mit mehreren Ultraschallsensoren in den Echosignalen empfangen wird, lokalisieren zu können. Es können also auch mehrere, beliebige Ultraschallsensoren Echosignale basierend auf einem ausgesendeten Ultraschallpuls oder mehreren Ultraschallpulsen von einem oder mehreren Ultraschallsensoren empfangen.
Als Echosignale sind hier Rohdaten zu verstehen, wie sie von dem jeweiligen Ultraschallsensor empfangen werden. Das Echosignal ist also ein zeitlicher Verlauf eines Ultraschallpegels, wie er an einer Ultraschallmembran des entsprechenden Ultraschallsensors empfangen wird. Üblicherweise findet dabei keine Verarbeitung des empfangenen Echosignals statt.
Das Durchführen der Objektklassifizierung in dem wenigstens einen Echosignal wird durchgeführt, um Objekte, deren Echo in dem wenigstens einen Echosignal enthalten ist, nach ihrer Art unterschieden zu können. Für die Durchführung der Gestensteuerung ist üblicherweise ein Mensch erforderlich, so dass hier andere Objekte vernachlässigt werden können. Die Objektklassifizierung basiert auf charakteristischen Merkmalen oder Mustern in dem wenigstens einen Echosignal, die sich in der Praxis für Personen und beispielsweise Fahrzeuge unterscheiden. Bei einer positiven Detektion einer Person wird also festgestellt, dass das wenigstens eine Echosignal ein Echo einer Person enthält, d.h. eine Person befindet sich in dem entsprechenden Empfangsbereich. Andernfalls wird keine Person in dem wenigstens einen Echosignal erkannt.
Beim Aktivieren der ultraschallbasierten Gestensteuerung erfolgt eine Aktivierung von einem oder mehreren Ultraschallsensoren, um wiederholte Abstandsbestimmungen durchzuführen. Die Anzahl und Position von aktivierten Ultraschallsensoren kann insbesondere abhängig von einer Art der Komfortfunktion sein, um eine zuverlässige Gestensteuerung zu ermöglichen.
Bei einer negativen Detektion einer Person in dem wenigstens einen Echosignal kann in dem wenigstens einen Echosignal kein Echo einer Person erkannt werden. Nach der vorgegebenen Zeitdauer wird der Ruhemodus beendet, und das Verfahren kehrt zum Anfang zurück, um erneut eine Annäherung einer Person zu erkennen.
Die Steuerungseinheit ist vorzugsweise ausgeführt, die ultraschallbasierte Gestensteuerung selber durchzuführen. Alternativ kann diese Aufgabe von einer anderen Steuerungseinrichtung durchgeführt werden. Es erfolgt eine Aktivierung dieser anderen Steuerungseinrichtung bei der Detektion der Annäherung einer Person.
Die Annäherung einer Person wird hier durch die Detektion einer Person in dem wenigstens einen Echosignal erkannt. Aufgrund der begrenzten Reichweite von Ultraschallsensoren entspricht dies automatisch einer Annäherung der Person. Darüber hinaus ist prinzipiell eine weitere Überprüfung basierend auf weiteren empfangenen Echosignalen möglich, um eine Änderung des Abstands der detektierten Person zu erfassen, insbesondere eine Verkürzung des Abstands der detektierten Person von dem Fahrzeug.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Aussenden wenigstens eines Ultraschallpulses mit einer Teilmenge der Ultraschallsensoren ein Aussenden genau eines Ultraschallpulses und/oder das Aussenden wenigstens eines Ultraschallpulses mit genau einem der Ultraschallsensoren. Das Aussenden genau eines Ultraschallpulses hat sich in der Praxis als ausreichend erwiesen, um die Annäherung einer Person hinreichend zuverlässig zu erfassen. Gleichzeitig kann der Energieverbrauch minimiert werden, wenn nur ein einzelner Ultraschallpuls ausgesendet wird. Entsprechendes gilt für das Aussenden wenigstens eines Ultraschallpulses mit nur genau einem der Ultraschallsensoren. Auch dies ermöglicht einen Betrieb mit einem besonders geringen Energieverbrauch. Vorzugsweise erfolgt in beiden Fällen ein Empfang des Echosignals mit dem Ultraschallsensor, der den wenigstens einen Ultraschallpuls ausgesendet hat. In der Kombination aus dem Aussenden genau eines Ultraschallpulses mit genau einem der Ultraschallsensoren kann dabei ein in Bezug auf den Energieverbrauch nochmals optimierter Betrieb durchgeführt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Aussenden wenigstens eines Ultraschallpulses mit einer Teilmenge der Ultraschallsensoren ein Aussenden des wenigstens einen Ultraschallpulses in einem Bereich zur Durchführung der ultraschallbasierten Gestensteuerung, insbesondere in einem Bereich zur gestenbasierten Ansteuerung der Komfortfunktion des geparkten Fahrzeugs. Dadurch kann unmittelbar in dem Bereich, für den die ultraschallbasierte Gestensteuerung eine entsprechende Steuerung bewirkt, die Annäherung einer Person ermittelt werden. Insbesondere kann auch eine Unterscheidung durchgeführt werden, wenn die Gestensteuerung für mehrere Komfortfunktionen zur Verfügung steht, so dass jeweils eine Aktivierung der ultraschallbasierten Gestensteuerung nur für eine Komfortfunktion erfolgt. Bei einer Annäherung der Person an das Fahrzeug von rechts kann eine ultraschallbasierte Gestensteuerung für eine der rechten Seite zugeordnete Komfortfunktion aktiviert werden und umgekehrt, beispielsweise eine Komfortfunktion zum automatischen Öffnen einer fahrerseitigen oder einer beifahrerseitigen Tür.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Aussenden des wenigstens einen Ultraschallpulses in einem Bereich zur Durchführung der ultraschallbasierten Gestensteuerung ein Aussenden des wenigstens einen Ultraschallpulses in einem Bereich einer Heckklappe und/oder einer Seitentür, insbesondere einer Fahrertür, des Fahrzeugs. Dadurch kann unmittelbar in dem Bereich, für den die ultraschallbasierte Gestensteuerung eine entsprechende Steuerung bewirkt, die Annäherung einer Person ermittelt werden. Insbesondere kann auch eine Unterscheidung durchgeführt werden, wenn die Gestensteuerung für mehrere Komfortfunktionen zur Verfügung steht, so dass jeweils eine Aktivierung der ultraschallbasierten Gestensteuerung nur für eine Komfortfunktion erfolgt. Bei einer typischen Komfortfunktion zum Öffnen oder Schließen der Heckklappe wird eine Gestensteuerung erwartet, wenn sich die Person in diesem Bereich dem Fahrzeug nähert.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren einen zusätzlichen Schritt zum Übertragen des wenigstens einen Echosignals als Rohdatensignal von der Teilmenge der Ultraschallsensoren zu der Steuerungseinheit, und das Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal zur Detektion einer Person wird in der Steuerungseinheit durchgeführt. Das wenigstens eine Echosignal wird somit in der Form von Rohdaten an die Steuerungseinheit übertragen, so dass dort die Objektklassifizierung durchgeführt werden kann. Dies ermöglicht die Verwendung von nur einer Art von Ultraschallsensoren.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal zur Detektion einer Person ein Durchführen der Objektklassifizierung in dem wenigstens einen Echosignal basierend auf wenigstens einem Merkmal des Echosignals aus einer Amplitude eines Echos eines Objekts, einer Breite eines Echos eines Objekts und einer Steigung eines Echos eines Objekts. Solche Merkmale ermöglichen eine Unterscheidung zwischen einer Person und beispielsweise einem Fahrzeug. Die unterschiedlichen Merkmale basieren zum Beispiel auf unterschiedlichen Materialien, aus denen Fahrzeuge und Personen bestehen, unterschiedlichen Oberflächenbeschaffenheiten und unterschiedlichen typischen Formen von Fahrzeugen und Personen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal zur Detektion einer Person ein Durchführen der Objektklassifizierung in dem wenigstens einen Echosignal mit einer Support Vector Machine oder unter Verwendung eines Verfahrens basierend auf Adaboost. Entsprechende Implementierungen basieren auf einer Erkennung von Mustern und maschinellem Lernen und ermöglichen eine einfache Implementierung der Objektklassifizierung. Dabei werden vorzugsweise einzelne Merkmale aus dem wenigstens einen Echosignal extrahiert. Support Vector Machine oder Adaboost ermöglichen eine einfache Detektion von Personen, die recheneffizient durchgeführt werden kann.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal zur Detektion einer Person ein Durchführen der Objektklassifizierung in dem wenigstens einen Echosignal mit einem neuronalen Netz. Das neuronale Netz weist vorzugsweise einen einfachen Aufbau auf, beispielsweise verglichen mit Anwendung aus dem Bereich der Bildverarbeitung, so dass eine hohe Performance erzielt werden kann.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Warten in einem Ruhemodus für eine vorgegebene Zeitdauer ein Warten für eine Zeitdauer von wenigstens 0,5 s, vorzugsweise von wenigstens 1 s. Bei der Wahl der Zeitdauer muss einerseits berücksichtigt werden, dass diese klein genug ist, um eine Annäherung einer Person rechtzeitig zu erkennen und die ultraschallbasierte Gestensteuerung zu aktivieren. Gleichzeitig muss die vorgegebene Zeitdauer groß genug sein, um möglichst viel Energie zu sparen. Ein Wert von etwa einer Sekunde hat sich dabei in der Praxis als vorteilhaft erwiesen,
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
Es zeigt

1 eine schematische Ansicht eines Fahrzeugs mit einem Ultraschallerkennungssystem zur ultraschallbasierten Gestensteuerung und einer Mehrzahl Ultraschallsensoren gemäß einer ersten, bevorzugten Ausführungsform,
2 eine schematische Darstellung einer mit dem Ultraschallerkennungssystem aus 1 durchgeführten Objektklassifizierung für unterschiedliche Objekte,
3 eine Darstellung von mit einem Ultraschallsensor empfangenen Echosignalen eines Ultraschallsensors für unterschiedliche Objekte in Übereinstimmung mit der Darstellung aus 2, und
4 eine Darstellung eines Ablaufdiagramms zur Durchführung eines Verfahrens zum Aktivieren einer ultraschallbasierten Gestensteuerung bei einer Annäherung einer Person mit dem Ultraschallerkennungssystem aus 1.

Die 1 zeigt ein Fahrzeug 10 mit einem Ultraschallerkennungssystem 12 zur ultraschallbasierten Gestensteuerung, insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion des Fahrzeugs 10 im geparkten Zustand. Der geparkte Zustand des Fahrzeugs 10 ist ein Zustand, in dem sich das Fahrzeug 10 nicht bewegt. Üblicherweise ist das Fahrzeug 10 in keinem Fahrmodus. Bei Fahrzeugen 10 mit einem Verbrennungsmotor ist der typischerweise Motor nicht aktiv.
Als Komfortfunktion umfasst das Fahrzeug 10 in diesem Ausführungsbeispiel ein Öffnen und/oder Schließen einer Heckklappe oder eines Kofferraumdeckels per Gestensteuerung mit Fußgesten. Als Fußgeste wird hier beispielsweise ein angedeuteter Tritt in Richtung der Heckklappe oder des Kofferraumdeckels durchgeführt.
Das Ultraschallerkennungssystem 12 umfasst in diesem Ausführungsbeispiel eine Steuerungseinheit 14 und eine Mehrzahl damit verbundener Ultraschallsensoren 16, die an dem Fahrzeug 10 angebracht sind. Die Steuerungseinheit 14 ist mit den Ultraschallsensoren 16 über eine Datenverbindung 18, die in 2 beispielhaft als direkte Verbindung zwischen der Steuerungseinheit 14 und jedem der Ultraschallsensoren 16 dargestellt ist, verbunden. In einer alternativen Ausführungsform umfasst die Datenverbindung 18 einen Bus, beispielsweise als DSI3-Bus, Can-Bus, LIN-Bus, Flexray oder auch als proprietäre Implementierung.
Die Steuerungseinheit 14 kann eine prinzipiell beliebige Datenverarbeitungseinrichtung sein. Im Automobilbereich werden dabei oftmals sogenannte eingebettete Systeme verwendet. Dabei findet der Begriff ECU (Electronic Control Unit) für solche Steuerungseinheiten 14 Anwendung.
Von den Ultraschallsensoren 16 sind vier Ultraschallsensoren 16 an einer Vorderseite 20 und ebenfalls vier Ultraschallsensoren 16 an einer Rückseite 22 des Fahrzeugs 10 angebracht. Zusätzlich sind seitlich an dem Fahrzeug 10 vier Ultraschallsensoren 16 angebracht. Auf jeder Seite des Fahrzeugs 10 ist ein Ultraschallsensor 16 vorne und einer hinten positioniert.
Die Ultraschallsensoren 16 sind ausgeführt, eine Umgebung 24 des Fahrzeugs 10 zu überwachen. Dazu senden die Ultraschallsensoren 16 Ultraschallpulse 26 aus und empfangen Echosignale 28 mit Echos von Objekten 30, 32 in der Umgebung 24 des Fahrzeugs 10, wie in 2 schematisch dargestellt ist. Dabei empfängt jeder Ultraschallsensor 16 in diesem Ausführungsbeispiel das Echosignal 28 basierend auf dem von ihm selbst abgestrahlten Ultraschallpuls 26. Als Objekte 30, 32 sind hier beispielhaft ein PKW 30 und eine Person 32 dargestellt.
Das Echosignal 28 ist ein Signal, das Reflektionen des ausgesendeten Ultraschallpulses 26 beinhaltet, soweit der ausgesendete Ultraschallpuls 26 an wenigstens einem Objekt 30, 32 reflektiert und zurückgeworfen wird. Das Echosignal 28 umfasst Rohdaten, wie sie von dem jeweiligen Ultraschallsensor 16 empfangen werden. Das Echosignal 28 ist also ein zeitlicher Verlauf eines Ultraschallpegels, wie er an einer Ultraschallmembran des jeweiligen Ultraschallsensors 16 empfangen wird, wie beispielhaft in 3 dargestellt ist. Das Echosignal 28 umfasst eine zeitliche Dauer, um beispielsweise Echos von Objekten 30, 32 in einer Entfernung von bis zu fünf Metern erfassen zu können. In diesem Fall weist der Ultraschallsensor 16 einen Empfangsbereich von fünf Metern auf. In 3 sind die dortigen Echosignale 28 für eine Entfernung von bis zu drei Metern dargestellt, also für einen Empfangsbereich von drei Metern.
Nachstehend wird ein Verfahren zum Aktivieren einer ultraschallbasierten Gestensteuerung bei einer Annäherung einer Person 32 zur gestenbasierten Ansteuerung der oben angegebenen Komfortfunktion im geparkten Zustand des Fahrzeugs 10 beschrieben. Das Verfahren wird mit dem Ultraschallerkennungssystem 12 des oben beschriebenen ersten Ausführungsbeispiels durchgeführt.
Das Verfahren beginnt mit Schritt S100, der ein Aussenden eines Ultraschallpulses 26 mit einem der Ultraschallsensoren 16 betrifft. Das Aussenden des Ultraschallpulses 26 erfolgt in einem Bereich zur Durchführung der ultraschallbasierten Gestensteuerung, also in einem Bereich zur gestenbasierten Ansteuerung der Komfortfunktion des geparkten Fahrzeugs 10. Da die Komfortfunktion das Öffnen und/oder Schließen der Heckklappe oder des Kofferraumdeckels betrifft, wird von der Steuerungseinheit 14 einer der Ultraschallsensoren 16 an der Rückseite des Fahrzeugs 10 angesteuert, um den Ultraschallpuls 26 in einem Bereich der Heckklappe des Fahrzeugs 10 auszusenden, wie in 2 schematisch dargestellt ist.
Schritt S110 betrifft ein Empfangen des Echosignals 28 des in Schritt S120 mit dem Ultraschallsensor 16 ausgesendeten Ultraschallpulses 26. Wie in 2 angedeutet ist, wird das Echosignal 28 mit demselben Ultraschallsensor 16 empfangen, mit dem der Ultraschallpuls 26 ausgesendet wurde. Es erfolgt eine entsprechende Ansteuerung durch die Steuerungseinheit 14.
Schritt S120 betrifft ein Übertragen des Echosignals 28 als Rohdatensignal von dem Ultraschallsensor 16 an die Steuerungseinheit 14. Das Echosignal 28 wird ohne weitere Verarbeitung über die Datenverbindung 18 an die Steuerungseinheit 14 übertragen.
Schritt S130 betrifft ein Durchführen einer Objektklassifizierung in dem Echosignal 28 zur Detektion einer Person 32. Die Objektklassifizierung wird in der Steuerungseinheit 14 durchgeführt.
Durch die der Objektklassifizierung in dem Echosignal 28 werden darin enthaltene Echos verschiedener Objekte 30, 32 nach ihrer Art unterschieden. Für die Durchführung der Gestensteuerung ist eine Person 32 erforderlich, so dass die Objektklassifizierung lediglich Echos von Personen 32 in dem Echosignal 28 identifiziert, um die Annäherung einer Person 32 zu detektieren.
In 2a) ist beispielhaft ein PKW 30 als Objekt 30, 32 dargestellt, in 2b) eine Person 32. Daraus resultieren beispielhaft entsprechende Echosignale 28, die in der 3 dargestellt sind. Dabei ist in der 3a) ein Echosignal 28 mit einem Maximum 34 dargestellt, das einem Echo des ausgesendeten Ultraschallpulses 26 an dem PKW 30 entspricht. In der 3b) ist ein anderes Echosignal 28 mit einem Maximum 34 dargestellt, das einem Echo des ausgesendeten Ultraschallpulses 26 an der Person 32 entspricht.
Die beispielhaften Echosignale 28 der 3 weisen in ihrem jeweiligen Maximum 34 Unterschiede auf. Diese Unterschiede lassen sich in Merkmalen wie einer Amplitude des Echos des Objekts 30, 32, einer Breite des Echos des Objekts 30, 32 und einer Steigung des Echos des Objekts 30, 32 in dem Echosignal 28 erkennen.
Die Objektklassifizierung wird in diesem Ausführungsbeispiel mit einer Support Vector Machine oder unter Verwendung eines Verfahrens basierend auf Adaboost durchgeführt. Dabei werden die genannten Merkmale aus dem jeweiligen Echosignal 28 extrahiert und entsprechend verarbeitet, um die Objektklassifizierung durchzuführen.
Bei einer positiven Detektion einer Person 32 wird also festgestellt, dass das Echosignal 28 ein Echo einer Person 32 enthält, was sich durch ein entsprechend geformtes Maximum 34 in dem Echosignal 28 darstellt. Bei der positiven Detektion befindet sich also eine Person 32 in dem entsprechenden Empfangsbereich des Ultraschallsensors 16, was ausgehend von dem Empfangsbereich des Ultraschallsensors 16 als Annäherung einer Person 32 erkannt wird. Andernfalls wird keine Person 32 in dem Echosignal 28 erkannt, d.h. es liegt keine positive Detektion einer Person 32 vor.
In einem alternativen Ausführungsbeispiel wird die Objektklassifizierung in dem Echosignal 28 mit einem neuronalen Netz durchgeführt.
Schritt S140 betrifft ein Aktivieren der ultraschallbasierten Gestensteuerung bei einer positiven Detektion einer Person 32 in dem Echosignal 28 oder ein Warten in einem Ruhemodus für eine vorgegebene Zeitdauer.
Beim Aktivieren der ultraschallbasierten Gestensteuerung aktiviert die Steuerungseinheit 14 die Ultraschallsensoren 16 an der Rückseite 22 des Fahrzeugs 10, um wiederholte Abstandsbestimmungen durchzuführen und dadurch Fußgesten zum Öffnen und/oder Schließen der Heckklappe oder des Kofferraumdeckels zu erkennen und die Komfortfunktion zu realisieren. Nach einem Timeout oder einer durchgeführten Öffnung oder Schließung der Heckklappe oder des Kofferraumdeckels wird die ultraschallbasierte Gestensteuerung beendet, und das Verfahren geht weiter zu Schritt S150.
Bei einer negativen Detektion einer Person 32 in dem Echosignal 28 wird ein Timer mit der vorgegebenen Zeitdauer gestartet. Die Zeitdauer ist hier beispielhaft mit 1 s vorgegeben. Die Steuerungseinheit 14 deaktiviert die Ultraschallsensoren 16 und tritt selber in einen Ruhemodus. Nach dem Ablauf des Timers wird der Ruhemodus beendet, und das Verfahren geht weiter mit Schritt S150.
Schritt S150 betrifft ein Rückkehren zum Anfang des Verfahrens. Das Verfahren springt zurück zu Schritt S100. Dadurch wird das Verfahren fortwährend durchgeführt.
Das Verfahren wird lediglich unterbrochen, wenn eine Annäherung einer Person 32 an das Fahrzeug 10 detektiert wird.
Außerdem wird das Verfahren beendet, wenn das Fahrzeug 10 aus dem geparkten Zustand in einen aktiven Zustand überführt wird, beispielsweise in einen Fahrmodus zum Bewegen des Fahrzeugs 10.
Bezugszeichenliste

10: Fahrzeug
12: Ultraschallerkennungssystem
14: Steuerungseinheit
16: Ultraschallsensor
18: Datenverbindung
20: Vorderseite
22: Rückseite
24: Umgebung
26: Ultraschallpuls
28: Echosignal
30: Objekt, PKW
32: Objekt, Person
34: Maximum

Claims

Verfahren zum Aktivieren einer ultraschallbasierten Gestensteuerung bei einer Annäherung einer Person (32), insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs (10), mit einem Ultraschallerkennungssystem (12) umfassend eine Steuerungseinheit (14) und eine Mehrzahl damit verbundene Ultraschallsensoren (16) zur Anbringung an dem Fahrzeug (10), umfassend die Schritte Aussenden wenigstens eines Ultraschallpulses (26) mit einer Teilmenge der Ultraschallsensoren (16), Empfangen wenigstens eines Echosignals (28) des wenigstens einen Ultraschallpulses (26) mit einer Teilmenge der Ultraschallsensoren (16), Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal (28) zur Detektion einer Person (32), Aktivieren der ultraschallbasierten Gestensteuerung bei einer positiven Detektion einer Person (32) in dem wenigstens einen Echosignal (28) oder Warten in einem Ruhemodus für eine vorgegebene Zeitdauer, und Rückkehren zum Anfang des Verfahrens.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Aussenden wenigstens eines Ultraschallpulses (26) mit einer Teilmenge der Ultraschallsensoren (16) ein Aussenden genau eines Ultraschallpulses (26) und/oder das Aussenden wenigstens eines Ultraschallpulses (26) mit genau einem der Ultraschallsensoren (16) umfasst.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Aussenden wenigstens eines Ultraschallpulses (26) mit einer Teilmenge der Ultraschallsensoren (16) ein Aussenden des wenigstens einen Ultraschallpulses (26) in einem Bereich zur Durchführung der ultraschallbasierten Gestensteuerung, insbesondere in einem Bereich zur gestenbasierten Ansteuerung der Komfortfunktion des geparkten Fahrzeugs (10), umfasst.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Aussenden des wenigstens einen Ultraschallpulses (26) in einem Bereich zur Durchführung der ultraschallbasierten Gestensteuerung ein Aussenden des wenigstens einen Ultraschallpulses (26) in einem Bereich einer Heckklappe und/oder einer Seitentür, insbesondere einer Fahrertür, des Fahrzeugs (10) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt zum Übertragen des wenigstens einen Echosignals (28) als Rohdatensignal von der Teilmenge der Ultraschallsensoren (16) zu der Steuerungseinheit (14) umfasst, und das Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal (28) zur Detektion einer Person (32) in der Steuerungseinheit (14) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal (28) zur Detektion einer Person (32) ein Durchführen der Objektklassifizierung in dem wenigstens einen Echosignal (28) basierend auf wenigstens einem Merkmal des Echosignals (28) aus einer Amplitude eines Echos eines Objekts (30, 32), einer Breite eines Echos eines Objekts (30, 32), einer Steigung eines Echos eines Objekts (30, 32) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal (28) zur Detektion einer Person (32) ein Durchführen der Objektklassifizierung in dem wenigstens einen Echosignal (28) mit einer Support Vector Machine oder unter Verwendung eines Verfahrens basierend auf Adaboost umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Durchführen einer Objektklassifizierung in dem wenigstens einen Echosignal (28) zur Detektion einer Person (32) ein Durchführen der Objektklassifizierung in dem wenigstens einen Echosignal (28) mit einem neuronalen Netz umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Warten in einem Ruhemodus für eine vorgegebene Zeitdauer ein Warten für eine Zeitdauer von wenigstens 0,5 s, vorzugsweise von wenigstens 1 s umfasst.
Ultraschallerkennungssystem (12) zur ultraschallbasierten Gestensteuerung, insbesondere zur gestenbasierten Ansteuerung einer Komfortfunktion eines geparkten Fahrzeugs (10), umfassend eine Steuerungseinheit (14) und eine Mehrzahl damit verbundene Ultraschallsensoren (16) zur Anbringung an dem Fahrzeug (10), wobei die Steuerungseinheit (114) ausgeführt ist, mit einer Teilmenge der Ultraschallsensoren (16) wenigstens einen Ultraschallpuls (26) auszusenden, wobei mit einer Teilmenge der Ultraschallsensoren (16) wenigstens ein Echosignal (28) des wenigstens einen Ultraschallpulses (26) empfangen wird, die Steuerungseinheit (14) weiter ausgeführt ist, eine Objektklassifizierung in dem wenigstens einen Echosignal (28) zur Detektion einer Person (32) durchzuführen, und die Steuerungseinheit (14) noch weiter ausgeführt ist, bei einer positiven Detektion einer Person (32) in dem wenigstens einen Echosignal (28) die ultraschallbasierte Gestensteuerung zu aktivieren oder durchzuführen und alternativ bei einer negativen Detektion einer Person (32) für eine vorgegebene Zeitdauer in einen Ruhemodus zu schalten.