-
Die Erfindung betrifft eine Gestenerkennungsvorrichtung für ein Fahrzeug, ein Fahrzeug mit einer solchen Gestenerkennungsvorrichtung, ein Verfahren zur Erkennung einer Geste oder einer Körperhaltung, ein Computerprogrammelement und ein computerlesbares Speichermedium.
-
In modernen Fahrzeugen werden zunehmend Fahrerassistenzsysteme verbaut, um den Fahrer während des Fahrens zu unterstützen. Des Weiteren weisen moderne Fahrzeuge zunehmend automatisierte oder vollautomatische Fahrfunktionen auf. Diese Fahrfunktionen können dazu eingerichtet sein, das Fahrzeug ohne das Zutun des Fahrers zu steuern. Hierzu können die Fahrzeuge eine Vielzahl von Sensoren und eine Recheneinheit aufweisen. Die Fahrerassistenzsysteme können Signalanlagen und andere Fahrzeuge erkennen und dementsprechend die Längs- und Querführung des Fahrzeugs anpassen. Unter bestimmten Bedingungen ist ein manuelles Eingreifen des Fahrers notwendig.
-
Es ist eine Aufgabe der Erfindung, das Fahren eines Fahrzeugs weiter zu automatisieren.
-
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Ausführungsformen und Weiterbildungen sind den abhängigen Ansprüchen, der Beschreibung und den Figuren zu entnehmen.
-
Ein erster Aspekt der Erfindung betrifft eine Gestenerkennungsvorrichtung für ein Fahrzeug. Die Gestenerkennungsvorrichtung weist eine Sensoranordnung und eine Recheneinheit auf. Die Sensoranordnung ist dazu eingerichtet, Sensordaten von einer Fahrzeugumgebung und insbesondere eine außerhalb des eigenen Fahrzeug befindlichen Person zu erfassen.
-
Die Recheneinheit ist dazu eingerichtet, die Sensordaten auszuwerten bzw. zu analysieren und darin eine Geste oder eine Körperhaltung der außerhalb des eigenen Fahrzeugs befindlichen Person zu erkennen. Ferner ist die Recheneinheit dazu eingerichtet, die erfasste Person zu klassifizieren. Die Recheneinheit ist ferner dazu eingerichtet, basierend auf der erkannten Geste oder der erkannten Körperhaltung und der erfolgten Klassifizierung der erfassten Person das Fahrzeug zu steuern.
-
Durch die Gestenerkennungsvorrichtung kann das Fahren eines Fahrzeugs weiter automatisiert werden, da auch in schwierigen Situationen, wie beispielsweise bei einer Verkehrsregelung durch einen Polizisten, Feuerwehrmann oder Bauarbeiter oder das Gewähren der Vorfahrt durch einen anderen Verkehrsteilnehmer, in der automatisierten bzw. automatischen Steuerung des Fahrzeugs berücksichtigt werden kann. Unter Steuerung wird im Rahmen dieser Anmeldung insbesondere die Längs- und Querführung des Fahrzeugs verstanden.
-
Die Gestenerkennungsvorrichtung kann eine Sensoranordnung und eine Recheneinheit aufweisen. Die Sensoranordnung kann hierbei die Fahrzeugumgebung und insbesondere Personen, welche sich außerhalb des eigenen Fahrzeugs befinden, erfassen und diese klassifizieren. Die Sensoranordnung kann beispielsweise eine Kamera, einen Radarsensor, einen Lidarsensor oder einen Ultraschallsensor aufweisen oder aber auch auf bereits im Fahrzeug vorhandene Sensoren und deren Sensordaten zurückgreifen. Diese erfassten Sensordaten können durch eine Recheneinheit ausgewertet bzw. analysiert werden. Beispielsweise erfolgt die Auswertung bzw. Analyse durch einen Vergleich mit einer Datenbank oder einem künstlichen neuronalen Netz. Mit anderen Worten kann die Recheneinheit eine Objekterkennung durchführen und Objekte, vorzugsweise außerhalb des eigenen Fahrzeugs befindliche Personen, erkennen und klassifizieren. Die Klassifizierung der erfassten Person kann beispielsweise nach dem Alter, der Körpergröße, dem Geschlecht und/oder der Berufsgruppe erfolgen. Ferner kann die Recheneinheit dazu eingerichtet sein, eine Geste oder die Körperhaltung der außerhalb des eigenen Fahrzeugs befindlichen Person zu erkennen. Beispielsweise kann die Person winken, eine Kelle oder Schild halten, deuten, zeigen, den Blickkontakt suchen, stehen bleiben oder aktiv wegsehen. Die Recheneinheit kann auch die außerhalb des eigenen Fahrzeugs befindliche Person einer Personengruppe zuordnen und die erkannte Geste oder Körperhaltung im Kontext mit dieser Personengruppe auswerten bzw. analysieren. Basierend auf der erkannten Geste oder Körperhaltung und der Klassifizierung der erfassten Person kann die Recheneinheit das Fahrzeug steuern. Beispielsweise kann die Recheneinheit die erfasste Person als ein Kind klassifizieren, z.B. anhand der Körpergröße und dem Alter, und die erkannten Gesten des Kindes nicht für die Steuerung des Fahrzeugs heranziehen, da nicht von einer bewussten Handlung des Kindes ausgegangen werden kann. Ferner kann die Recheneinheit die erfasste Person als einen Polizisten klassifizieren, dessen Gesten oder Körperhaltung für die Vorfahrtsregelungen des Fahrzeugs maßgeblich sind. Alternativ oder zusätzlich kann die Recheneinheit ein Steuersignal an eine andere Fahrzeugkomponente, wie einen Motor, ein Getriebe, ein Lenkrad oder eine Bremse, ausgeben.
-
Es sei angemerkt, dass die Recheneinheit eine elektronische Schaltung, ein Schaltkreis, ein Rechenwerk, eine Steuereinheit, ein Prozessor oder ein Steuergerät sein kann. Ferner kann die Recheneinheit auch eine Speichereinheit aufweisen, welche die durch die Recheneinheit benötigten und/oder erzeugten Daten speichert.
-
Gemäß einer Ausführungsform der Erfindung führt das Steuern des Fahrzeugs zu einem Abbremsen, einem Anhalten, einem Anfahren oder einem Abbiegen des Fahrzeugs.
-
Mit anderen Worten, kann die Recheneinheit das Fahrzeug steuern, anzuhalten, abzubremsen, anzufahren, zu beschleunigen oder abzubiegen, wenn durch die Recheneinheit eine entsprechende Geste oder Körperhaltung, beispielsweise ein Winken oder das Hochhalten einer Kelle, der außerhalb des Fahrzeugs befindlichen Person erkannt werden. Somit kann die Recheneinheit die Längs- und Querführung des Fahrzeugs basierend auf der erkannten Geste oder Körperhaltung durchführen.
-
Gemäß einer Ausführungsform der Erfindung ist die Recheneinheit dazu eingerichtet, zur Erkennung der Geste oder der Körperhaltung und der Klassifizierung der erfassten Person ein künstliches neuronales Netz zu verwenden.
-
Zur schnellen, verlässlichen und sichereren Auswertung bzw. Analyse der Sensordaten kann durch die Recheneinheit ein künstliches neuronales Netz verwendet werden. Dieses kann explizit darauf trainiert sein, eine Geste oder eine Körperhaltung einer Person in den Sensordaten zu erkennen. Ferner kann das künstliche neuronale Netz die erfasste Person hinsichtlich, Alter, Geschlecht, Körpergröße und/oder Berufsgruppe klassifizieren. Hierbei kann ein rekurrentes neuronales Netz (RNN) oder ein convolutional neural Network (CNN) eingesetzt werden.
-
Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, eine aktuelle Verkehrssituation zu bestimmen. Die Recheneinheit ist dazu eingerichtet, die erkannte Geste oder die erkannte Körperhaltung in Bezug zu der Klassifizierung der erfassten Person und der aktuellen Verkehrssituation zu verifizieren.
-
Durch das Bestimmen der aktuellen Verkehrssituation kann die erkannte Geste der erfassten Person mit zusätzlichen Kontext versehen werden. Insbesondere kann die Geste oder die Körperhaltung der erfassten Person anhand der aktuellen Verkehrssituation verifiziert, überprüft bzw. plausibilisiert werden. Mit anderen Worten kann die Recheneinheit feststellen, ob die erfasste Person in der aktuellen Verkehrssituation überhaupt befugt ist mittels einer Geste oder einer Körperhaltung das Fahrzeug zum Fahren zu veranlassen. Beispielsweise kann eine Geste eines Bauarbeiters in einer Baustelle berücksichtigt werden. Ist jedoch keine Baustelle vorhanden, sollte die Situation substantiierter betrachtet bzw. analysiert werden.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist die erkannte Geste ein Winken mit einer Kelle.
-
Gemäß einer Ausführungsform der Erfindung befindet sich die durch die Sensoranordnung erfasste Person in einem anderen Fahrzeug.
-
Mit anderen Worten kann die erfasste Person ein anderer Verkehrsteilnehmer in einem anderen Fahrzeug sein. Hierbei kann die erkannte Geste auf ein Gewähren oder ein Verzichten der Vorfahrt hindeuten. Insbesondere in Situationen in welchen „Rechts vor Links“ gilt, können solche Gesten hilfreich sein den Verkehrsfluss positiv zu beeinflussen und Unfälle zu vermeiden.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist die Recheneinheit dazu eingerichtet, die erfasste Person als Polizist, Feuerwehrmann, Fußgänger, Fahrer eines anderen Fahrzeugs, Fahrradfahrer oder Bauarbeiter zu klassifizieren.
-
Neben der Erkennung der Geste oder der Körperhaltung an sich, kann die Recheneinheit ferner erkennen, ob es sich bei der Person, welche die Geste oder die Körperhaltung ausführt um einen Polizisten, einen Feuerwehrmann, einen Fußgänger, einen Fahrradfahrer oder einen Bauarbeiter handelt. Mit anderen Worten kann die Recheneinheit die erkannte Person einer Personengruppe zuordnen. Somit kann der erkannten Geste oder Körperhaltung besser eine kontextbezogene Bedeutung zugemessen werden. Anschließend kann basierend auf dieser kontextbezogenen Geste oder Körperhaltung das Fahrzeug gesteuert werden. Beispielsweise sind Gesten eines Polizisten unbedingt Folge zu leisten, da dieser mit Gesten den Verkehr regelt und diese Gesten den Signalen der Signalanlagen vorgehen. Beispielsweise kann bei einem Polizisten die flache Hand oder der Rücken erkannt werden, was bedeutet, dass das Fahrzeug anhalten bzw. stehenbleiben muss. Auch kann ein Winken des Polizisten eine Aufforderung zum Fahren sein. Wird die gleiche Geste jedoch von einem Fußgänger durchgeführt, kann die Bedeutung und die darauf basierende Steuerung des Fahrzeugs abweichen. Ein Fußgänger ist im allgemeinen nicht berechtigt den Verkehr zu regeln und die Signale der Signalanlage zu übersteuern. Auch kann bei der Geste oder der Körperhaltung eines Fußgängers Vorsicht geboten sein, da dieser auch die Geste unbewusst oder missverständlich einsetzt. Dies kann durch die Bestimmung und Einteilung in Personengruppen verhindert werden. Vorteilhafterweise kann das künstliche neuronale Netz die Bestimmung der Personengruppe ebenfalls vornehmen.
-
Gemäß einer Ausführungsform der Erfindung weist die Sensoranordnung eine Kamera, einen Radarsensor, einen Lidarsensor, einen Ultraschallsensor und/oder eine Kombination hieraus auf. Ferner können bereits im Fahrzeug befindliche Sensoren oder Sensordaten durch die Sensoranordnung verwendet werden.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einer vorhergehend und nachfolgend beschriebenen Gestenerkennungsvorrichtung.
-
Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen, oder aber auch um ein Schienenfahrzeug, ein Schiff, ein Luftfahrzeug, wie Helikopter oder Flugzeug, oder beispielsweise um ein Fahrrad.
-
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Erkennung einer Geste oder einer Körperhaltung. Das Verfahren weist die folgenden Schritte auf:
- - Erfassen einer Fahrzeugumgebung und insbesondere einer außerhalb des eigenen Fahrzeug befindlichen Person durch eine Sensoranordnung;
- - Auswerten der erfassten Sensordaten durch eine Recheneinheit;
- - Erkennen einer Geste oder einer Körperhaltung der außerhalb des eigenen Fahrzeug befindlichen Person;
- - Klassifizieren der erfassten Person; und
- - Steuern des Fahrzeugs basierend auf der erkannten Geste oder der bestimmten Körperhaltung und der erfolgten Klassifizierung der erfassten Person.
-
Es sei angemerkt, dass die Schritte des Verfahrens auch in einer anderen Reihenfolge oder gleichzeitig ausgeführt werden können. Ferner kann zwischen einzelnen Schritten auch eine längere Zeitspanne liegen.
-
Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, das, wenn es auf einer Recheneinheit einer Gestenerkennungsvorrichtung ausgeführt werden, die Gestenerkennungsvorrichtung anleitet, das vorhergehend und nachfolgend beschriebene Verfahren durchzuführen.
-
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf einer Recheneinheit einer Gestenerkennungsvorrichtung, die Gestenerkennungsvorrichtung anleitet, das vorhergehend und nachfolgend beschriebene Verfahren durchzuführen.
-
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele und der Figuren.
-
Die Figuren sind schematisch und nicht maßstabsgetreu. Sind in der nachfolgenden Beschreibung der Figuren gleiche Bezugszeichen angegeben, so bezeichnen diese gleiche oder ähnliche Elemente.
- 1 zeigt eine Gestenerkennungsvorrichtung gemäß einer Ausführungsform der Erfindung.
- 2 zeigt ein Fahrzeug mit einer Gestenerkennungsvorrichtung gemäß einer Ausführungsform der Erfindung.
- 3 zeigt ein Flussdiagramm für ein Verfahren zur Erkennung einer Geste oder einer Körperhaltung gemäß einer Ausführungsform der Erfindung.
-
1 zeigt eine Gestenerkennungsvorrichtung 1. Diese Gestenerkennungsvorrichtung 1 weist eine Recheneinheit 10 und eine Sensoranordnung 20 auf. Die Sensoranordnung 20 erfasst Sensordaten einer Fahrzeugumgebung, beispielsweise einer Kreuzung. Insbesondere erfasste die Sensoranordnung 20 eine außerhalb des eigenen Fahrzeugs befindliche Person oder Personen. Die Sensoranordnung 20 kann beispielsweise eine Kamera, einen Radarsensor, einen Ultraschallsensor oder einen Lidarsensor aufweisen oder auf bereits im Fahrzeug vorhandene Sensoren zurückgreifen. Die Recheneinheit 10 erhält die von der Sensoranordnung 20 erfassten Sensordaten und wertet diese aus bzw. analysiert diese. Ferner erkennt die Recheneinheit 10 eine Geste oder eine Körperhaltung von der außerhalb des eigenen Fahrzeugs befindlichen Person. Des Weiteren kann die Recheneinheit die erfasste Person hinsichtlich Alter, Geschlecht, Körpergröße und/oder Berufsgruppe klassifizieren. Die erkannte Geste oder Körperhaltung kann beispielsweise ein Winken, ein Zeigen mit der Hand, ein Handzeichen, ein Signal mit einer Kelle, ein aktives Wegsehen oder ein Stehenbleiben sein. Zur Erkennung der Geste oder der Körperhaltung kann die Recheneinheit 10 beispielsweise ein künstliches neuronales Netz aufweisen, welches die von der Sensoranordnung 20 erfassten Sensordaten auswertet bzw. analysiert. Ferner kann sich die außerhalb des eigenen Fahrzeugs befindliche Person in einem anderen Fahrzeug befinden, sodass die erkannte Geste der Person ein Gewährten oder ein Verzichten der Vorfahrt bedeutet. Des Weiteren kann die Recheneinheit die außerhalb des eigenen Fahrzeugs befindlichen Person einer Personengruppe zuordnen, z.B. ob die Person ein Polizist, ein Feuerwehrmann, ein Fußgänger, eine Fahrradfahrer oder ein Bauarbeiter ist. Dadurch kann die Geste oder Körperhaltung der Person im Kontext zu der bestimmten Personengruppe ausgewertet bzw. analysiert werden. Die Gesten eines Polizisten sind unbedingt Folge zu leisten, da dieser den Verkehr regelt und auch vorrangig zu einer Signalanlage zu beachten ist. Sobald die Recheneinheit 10 die Geste oder die Körperhaltung der außerhalb des eigene Fahrzeugs befindlichen Person erkannt hat und die erfasste Person auch entsprechend Klassifiziert hat, kann die Recheneinheit 10 das Fahrzeug basierend auf dieser erkannten Geste oder Körperhaltung und der Klassifizierung steuern 30. Die Recheneinheit 10 kann hierzu beispielsweise ein Steuersignal an andere Fahrzeugkomponenten, beispielsweise an einen Motor, ein Getriebe, ein Lenkrad oder eine Bremse, ausgeben, sodass das Fahrzeug dementsprechend seine Trajektorie und/oder Geschwindigkeit ändert. Mit anderen Worten kann die Längs- und Querführung des Fahrzeugs basierend auf der erkannten Geste oder Körperhaltung und der Klassifizierung ausgeführt werden. Das Steuern 30 des Fahrzeugs kann zu einem Abbremsen, einem Anhalten, einem Anfahren oder einem Abbiegen des Fahrzeugs führen. Alternativ oder zusätzlich kann die Recheneinheit 10 die aktuelle Verkehrssituation bestimmen, z.B. Stau, fahren in der Stadt, fahren auf der Autobahn, fahren in einer 30er Zone oder fahren in einer Baustelle. Diese Verkehrssituation kann die Recheneinheit 10 dazu verwenden, um die erkannte Geste oder die erkannte Körperhaltung in einen weiteren Kontext zu rücken und zu verifizieren, zu überprüfen oder zu plausibilisieren. Beispielsweise kann eine Geste eines Bauarbeiters innerhalb einer Baustelle berücksichtigt werden, jedoch außerhalb einer Baustelle nicht. Mit anderen Worten kann anhand der aktuellen Verkehrssituation überprüft werden, ob eine Geste oder eine Körperhaltung von einer klassifizierten Person zulässig oder zu berücksichtigen ist.
-
2 zeigt ein Fahrzeug 2 mit einer Gestenerkennungsvorrichtung 1. Die Gestenerkennungsvorrichtung 1 kann hierbei auf bereits im Fahrzeug 2 vorhandene Sensoren und Recheneinheit zurückgreifen, sodass eine einfache, schnelle und kostengünstige Realisierung der Gestenerkennungsvorrichtung 1 möglich ist.
-
3 zeigt ein Flussdiagramm für ein Verfahren zur Erkennung einer Geste oder einer Körperhaltung einer sich außerhalb des eigenen Fahrzeugs befindlichen Person. In Schritt S1 erfasst eine Sensoranordnung die Fahrzeugumgebung und insbesondere eine außerhalb des eigenen Fahrzeugs befindliche Person. In Schritt S2 werden die durch die Sensoranordnung erfassten Sensordaten ausgewertet. Diese Auswertung kann beispielsweise durch eine Recheneinheit geschehen. In Schritt S3 erkennt die Recheneinheit eine Geste oder eine Körperhaltung der außerhalb des eigenen Fahrzeugs befindlichen Person. In Schritt S4 wird die erfasste Person klassifiziert, beispielsweise welchem Alter, Geschlecht oder Arbeitsgruppe die erfasste Person angehört. Abschließend erfolgt in Schritt S5 das Steuern des Fahrzeugs basierend auf der erkannten Geste oder der bestimmten Körperhaltung und der erfolgten Klassifizierung der erfassten Person.
