-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Bewerten einer Geste eines Fahrzeuginsassen in einem Innenraum eines Fahrzeugs, bei welchem ein Erfassen der Geste mit einer TOF (Time-of-Flight)-Kamera im Innenraum durchgeführt wird. Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Beleuchten eines Objekts in einem Innenraum eines Fahrzeugs. Ein weiterer Aspekt der Erfindung betrifft ein Beleuchtungssystem für ein Fahrzeug.
-
Die
DE 10 2013 019 210 A1 beschreibt eine Beleuchtungsvorrichtung für den Fahrgastraum eines Kraftfahrzeugs und ein Verfahren zum Steuern der Beleuchtungsvorrichtung. Dabei weist die Beleuchtungsvorrichtung wenigstens eine Sensoreinrichtung zur Erfassung von Bilddaten von wenigstens einem vorgegebenen Bereich innerhalb des Fahrzeugs, wenigstens eine Auswertungseinrichtung zur Verarbeitung von der Sensoreinrichtung an die Auswertungseinrichtung übertragenen Bilddaten, und wenigstens ein Steuergerät zur Steuerung von wenigstens einer Beleuchtungseinrichtung in Abhängigkeit von dem Verarbeitungsergebnis der Auswertungseinrichtung auf. Dabei ist die Auswertungseinrichtung dazu eingerichtet, die von der Sensoreinrichtung übertragenen Bilddaten dahingehend zu analysieren, ob sich im erfassten Bereich des Fahrgastraums ein Objekt mit vorgebbarer Geometrie und/oder vorgebbaren Oberflächenelementen befindet. Gegebenenfalls wird die Größe des Objekts und seine Position innerhalb des erfassten Bereichs ermittelt. Die Sensoreinrichtung kann dabei eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarotlicht, eine oder mehrere Radareinrichtungen und/oder eine oder mehrere Time-of-Flight-Einrichtungen aufweisen. Insbesondere ist die Sensoreinrichtung so ausgestaltet, dass mit dieser stereoskopische oder dreidimensionale Bilder erfasst werden können.
-
Die bekannte Vorrichtung und das Verfahren sind nur für spezielle Gesten, wie beispielsweise das Halten eines Buches, ausgelegt. Darüber hinaus ist die Gestenerkennung limitiert. Ferner kann die bekannte Vorrichtung für diese spezielle Geste ein spezielles Beleuchtungsszenario bereitstellen.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zu schaffen, bei welchem eine verbesserte Gestenerkennung in einem Innenraum eines Fahrzeugs erreicht wird. Des Weiteren ist es Aufgabe, ein Verfahren zum Beleuchten eines Objekts im Innenraum eines Fahrzeugs sowie ein entsprechendes Beleuchtungssystem zu schaffen.
-
Die Aufgabe wird durch Verfahren und ein Beleuchtungssystem gemäß den unabhängigen Patentansprüchen gelöst.
-
Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Bewerten einer Geste eines Fahrzeuginsassen in einem Innenraum eines Fahrzeugs, bei welchem folgende Schritte durchgeführt werden:
- - Erfassen der Geste mit einer TOF-Kamera im Innenraum;
- - Auswerten der erfassten Informationen der TOF-Kamera und Bestimmen eines ersten Wahrscheinlichkeitswerts, welche Art der Geste durchgeführt wurde;
- - Erfassen der Geste mit einem zur TOF-Kamera unterschiedlichen Sensor im Innenraum;
- - Auswerten der erfassten Informationen des Sensors und Bestimmen eines zweiten Wahrscheinlichkeitswerts, welche Art der Geste durchgeführt wurde;
- - Bestimmen der Art der Geste abhängig von dem ersten Wahrscheinlichkeitswerts und des zweiten Wahrscheinlichkeitswerts.
-
Die Verwendung der TOF-Kamera und eines zur TOF-Kamera unterschiedlichen Sensors ermöglicht eine Verbesserung der Gestenerkennung. Durch entsprechende Erfassungseinheiten kann eine präzisere Gestenerkennung auf Basis sensorcharakteristischer Merkmale erfolgen. Ferner kann durch die Bestimmung von Einzelwahrscheinlichkeiten der jeweiligen Erfassungseinheiten die Gestenerkennung verbessert werden. Es können die Einzelwahrscheinlichkeiten der Erfassungseinheiten zu einer Gesamtwahrscheinlichkeit korreliert werden. So kann eine noch präzisere und zuverlässigere Aussage über die vermeintlich erkannte Geste getroffen werden.
-
Gerade in einem Innenraum eines Fahrzeugs können verschiedensten Situationen auftreten, die die Erfassung der Geste beeinträchtigen können. Dazu können unterschiedliche Helligkeitszustände und/oder unterschiedliche Haltungen der Person, die die Geste im Innenraum erzeugt kommen. Es kann aufgrund von nutzerspezifischen Einflüssen auch dazu kommen, dass der Nutzer die Geste nicht ganz korrekt oder örtlich ungenau durchführt. Gerade wenn er abgelenkt ist oder sich zusätzlich auf andere Dinge konzentriert, beispielsweise das Wahrnehmen der Umgebung, insbesondere des Verkehrsflusses, können diese „Gestenungenauigkeiten“ auftreten. Dass die Geste dennoch sicher erkannt wird, um dann schnell und korrekt die damit verknüpfte Funktion durchzuführen, ist vorteilhaft. Umfängliche nochmalige Gestendurchführungen und dergleichen können dadurch vermieden werden. Insbesondere ist dadurch gerade bei zumindest semi-manuell geführten Fahrzeugen die Ablenkung des Fahrzeugführers minimiert. Es ist dadurch auch ein sehr nutzerfreundliches Verfahren möglich. Auch bei vollautonom betriebenen Fahrzeugen ist das Verfahren vorteilhaft. Auch dann müssen nicht Wiederholungen der Geste erfolgen und/oder ein falsches Erkennen abgebrochen werden, da die Genauigkeit der Erkennung erhöht ist. da auch jede Erfassungseinheit typbedingt bei unterschiedlichen Bedingungen Vorteile und Nachteile aufweist, ist die Nutzung von zwei verschiedenen Erfassungseinheiten vorteilhaft. Besonders vorteilhaft ist dabei die Beurteilung der erfassten Informationen durch Wahrscheinlichkeitswerte. Diese geben eine Information darüber, welche Geste als erkannt vermutet wird. Indem dann auch noch beide Wahrscheinlichkeitswerte in die Bestimmung der Geste einfließen, kann diese unter vielfältigsten Bedingungen im Innenraum verbessert und somit exakter erkannt werden.
-
Eine TOF-Kamera ist grundsätzlich sehr gut geeignet, Gesten zu erkennen. Denn es ist auch eine 3D-Erfassung möglich. Dennoch ist die Ergänzung durch eine Erfassung mit zumindest einem weiteren, und von einer TOF-Kamera unterschiedlichen Sensor vorteilhaft. Gerade bei diesen spezifischen Erfassungseinheiten ist diese Vorgehensweise der Wahrscheinlichkeitswertbestimmung und deren Beurteilung vorteilhaft. Denn es können diese erfassten Informationen besonders individuell auch noch bewertet werden.
-
Das Verfahren zur Erkennung der Geste verbessert auch das Beleuchten eines Objekts in einem Innenraum. Die verbesserte Gestenerkennung ermöglicht eine präzisere Steuerung der Beleuchtungseinrichtung. Es kann somit eine spezifischere Ausleuchtung des Objekts im Innenraum erfolgen.
-
Das Auswerten der erfassten Informationen der TOF-Kamera kann durch Bildverarbeitung erfolgen. Vorgesehen sein kann, dass der Sensor selbst eine Auswertung der Informationen durchführt. Die Informationen können auch an eine Auswerteeinheit übermittelt werden. Dieses kann die empfangenen Informationen auswerten. Anhand der Informationen kann für die TOF-Kamera der erste Wahrscheinlichkeitswert bestimmt werden. Insbesondere gibt dieser Wahrscheinlichkeitswert an, welche Art der Geste erkannt wurde.
-
Unter einer Art der Geste ist insbesondere zu verstehen, ob es eine statische Geste oder eine dynamische Geste ist. Zusätzlich oder stattdessen ist unter einer Art der Geste insbesondere auch zu verstehen, wie lange eine Geste ausgeführt wurde und/oder welches Gestenmittel für die Erzeugung genutzt wurde. Ein Gestenmittel kann beispielswiese ein Finger oder eine Hand oder ein Kopf oder ein körperexternes Mittel, wie beispielsweise ein Stab oder dergleichen sein.
-
Eine dynamische Geste kann beispielsweise eine Wischbewegung, ein Greifen oder ein Winken sein. Als statische Geste kann ein Halten oder Zeigen auf ein Objekt verstanden werden. Der Typ der Geste kann insbesondere bezeichnen, ob es sich um ein Zeigen, Halten oder Wischen handelt. Dabei ist der Typ der Geste insbesondere im Unterschied zur Art der Geste zu sehen.
-
Besonders vorteilhaft ist die Verwendung von der TOF-Kamera und eines zur TOF-Kamera unterschiedlichen Sensors, da so eine Erkennung unterschiedlicher spezieller Charakteristika für die jeweilige Art der Geste individueller ermöglicht wird.
-
Ein vorteilhaftes Ausführungsbeispiel sieht vor, dass der erste Wahrscheinlichkeitswert mit einer Genauigkeit in zumindest Einerwert-Schritten oder kleiner bestimmt wird und/oder der zweite Wahrscheinlichkeitswert mit einer Genauigkeit in zumindest Einerwert-Schritten oder kleiner bestimmt wird. Dadurch ist eine besonders feingliedrige Bestimmung ermöglicht.
-
Vorteilhaft ist eine geringe Schrittweite, da diese eine höhere Genauigkeit bereitstellt. Eine höhere Genauigkeit kann hierbei eine höhere Auflösung beziehungsweise eine bessere Selektivität für die Beurteilung der Art der Geste bedeuten.
-
Ein vorteilhaftes Ausführungsbeispiel sieht vor, dass die erfassten Informationen der TOF-Kamera durch eine 2D-Transformation, insbesondere eine 2D-Fourier-Transformation, ausgewertet werden und abhängig von diesen Transformationsdaten der erste Wahrscheinlichkeitswert bestimmt wird und/oder die erfassten Informationen des Sensors durch eine Transformation, insbesondere eine 2D-Transformation, ausgewertet werden und in Abhängigkeit von diesen der zweite Wahrscheinlichkeitswert bestimmt wird.
-
Es kann vorgesehen sein, dass die TOF-Kamera selbst die erfassten Informationen mithilfe einer 2D-Transformation verarbeitet. Es kann aber auch vorgesehen sein, dass die TOF-Kamera die erfassten Daten an eine Auswerteeinheit zur Transformation übermittelt.
-
Eine 2D-Transformation, insbesondere eine 2D-Fourier-Transformation, ermöglicht es, ein Signal, welches in einem Zeitraum aufgenommen wurde, in einem Frequenzraum umzuwandeln. Insbesondere kann so die Charakteristik eines Signals bezüglich der Erkennung einer Geste genauer gedeutet werden. Besonders bei komplexeren Gesten kann dadurch die Genauigkeit der Erkennung erhöht werden. Die Wahrscheinlichkeitswerte können dann schon sehr genau darauf hindeuten, um welche Art der Geste es sich handelt bzw. handeln könnte.
-
Das oben beschriebene Vorgehen kann ebenfalls für die Informationen des von der TOF-Kamera verschiedenen Sensors erfolgen.
-
Es ergibt sich der Vorteil, dass die transformierten Daten in dem Sensor oder in der Auswerteeinheit für jede Art der Geste hinterlegt werden können. So kann anhand der Charakteristik der Transformationsdaten insbesondere auch durch ein Abgleichen mit Referenzdaten ein jeweiliger Wahrscheinlichkeitswert mit hoher Präzision bestimmt werden.
-
Ein vorteilhaftes Ausführungsbeispiel sieht vor, dass die Transformationsdaten mit einem neuronalen Netz klassifiziert werden und abhängig von der Klassifikation der Wahrscheinlichkeitswert bestimmt wird.
-
Es kann vorgesehen sein, dass die Informationen der jeweiligen Erfassungseinheit, also der TOF-Kamera und/oder des weiteren Sensors, und/oder deren Transformationsdaten an ein neuronales Netz übertragen werden. Das neuronale Netz kann die erhaltenen Daten anhand der Charakteristika klassifizieren. Insbesondere kann das neuronale Netz dabei zwischen der Art der Geste unterscheiden. Die empfangenen Transformationsdaten können mit bereits klassifizierten Transformationsdaten abgeglichen werden. In Abhängigkeit des Abgleichs kann ein jeweiliger Wahrscheinlichkeitswert bestimmt werden.
-
Es ergibt sich der Vorteil, dass das neuronale Netzwerk mit jeder erkannten Geste trainiert werden kann, sodass auch bei einer Streuung der Transformationsdaten aufgrund einer Varianz der Geste beziehungsweise der Art der Geste die Klassifikation erfolgen kann. Zukünftige Beurteilungen der Art einer durchgeführten Geste können dadurch stetig verbessert werden.
-
Beispielsweise kann das neuronale Netzwerk zwischen statischen und dynamischen Gesten insbesondere auf Basis der, vorzugsweise selbst bestimmten, Wahrscheinlichkeitswerte besonders vorteilhaft unterscheiden.
-
Ein vorteilhaftes Ausführungsbeispiel sieht vor, dass Referenzgesten abgespeichert werden und eine mit der TOF-Kamera erfasste Ist-Geste mit zumindest einer Referenzgeste verglichen wird, und abhängig davon der erste Wahrscheinlichkeitswert bestimmt wird und die mit dem Sensor erfasste Ist-Geste mit zumindest einer Referenzgeste vergleichen wird, und abhängig davon der zweite Wahrscheinlichkeitswert bestimmt wird.
-
Es kann vorgesehen sein, dass eine jeweilige Geste als Referenzgeste angelernt werden kann. Wird eine gerade ausgeführte Geste erkannt, so kann diese mit der Referenzgeste verglichen werden. In Abhängigkeit der Übereinstimmung zwischen der ausgeführten Geste und der Referenzgeste kann ein Wahrscheinlichkeitswert bestimmt werden. Durch derartige Referenzgesten und dem Vergleich mit einer Ist-Geste kann grundsätzlich die Gestenerkennung und die Wahrscheinlichkeitswertbestimmung präzisiert werden. Ergeben sich dann noch Unterscheide bezüglich der Einflussfaktoren, wie aktuelle Umgebungsbedingungen im Innenraum und/oder in der Umgebung des Fahrzeugs und/oder der Ausführungsindividualität, wie die Ist-Geste durch die spezifische Person ausgeführt wird, kann dies durch das neuronale Netz beurteilt werden und der Wahrscheinlichkeitswert erzeugt werden.
-
Eine vorteilhafte Ausführungsform sieht vor, dass die Referenzgesten mit einem neuronalen Netz trainiert werden. Dadurch wird ebenfalls die Genauigkeit der Erkennung der Ist-Geste erhöht.
-
Es kann vorgesehen sein, dass die Referenzgesten mit einem neuronalen Netz angelernt werden. Das neuronale Netz kann jede ausgeführte Geste mit einer Referenzgeste abgleichen. Stimmen die ausgeführte Geste und die Referenzgeste überein, kann das neuronale Netz erkennen, dass diese Ausführungsform der Geste auch der Referenzgeste entsprechen kann. Die Ausführungsform einer Geste beschreibt herbei Unterschiede im Verlauf, die jedoch die Charakteristik einer Geste selbst nicht verändert. Ferner kann auch vorgesehen sein, dass eine ausgeführte Geste durch wiederholtes Ausführen an das neuronale Netz als Referenzgeste angelernt werden kann. So kann das neuronale Netz wesentliche Charakteristika der Geste erkennen oder diese Charakteristika werden dem neuronalen Netz mitgeteilt.
-
Hieraus ergibt sich der Vorteil, dass der Fahrzeuginsasse in Abhängigkeit einer gewissen Fahrsituation dieselbe Geste mit Unterschieden im Zeitintervall, der Geschwindigkeit oder der Eindeutigkeit ausführen kann. Das neuronale Netzwerk ermöglicht dabei auch die Erkennung von Gesten, welche eine gewisse Varianz in den Charakteristika aufweisen.
-
Das Anlernen einer Geste kann durch das Betätigen einer Taste oder das Aktivieren des Anlernens gestartet werden. Beim Anlernen kann vorgesehen sein, dass der Nutzer die anzulernende Geste mehrmals wiederholt.
-
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Geste mit zumindest einem Radarsensor, der ein zur TOF-Kamera unterschiedlicher Sensor ist, erfasst wird. Ein Radarsensor ergänzt eine TOF-Kamera sehr vorteilhaft. Dadurch können gegebenenfalls vorhandene Erfassungsbeschränkungen der einen Erfassungseinheit, durch die in dem Bereich dann vorteilhaften Erfassungseigenschaften der anderen Erfassungseinheit kompensiert werden.
-
Unterschiedliche Erfassungseinheiten können auch bezüglich der Charakteristika in einem Erfassungssignal einer Erfassungseinheit unterschiedliche markante Stellen aufweisen. Eine Bewegung kann beispielsweise durch einen Radarsensor besser identifiziert werden. In einem Signal einer TOF-Kamera kann hingegen die Dreidimensionalität der Geste besser bestimmt werden. So kann das Zusammenwirken unterschiedlicher Sensoren sich vorteilhaft auf die Verbesserung der Gestenerkennung auswirken.
-
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die beiden Wahrscheinlichkeitswerte gewichtet werden. Insbesondere kann dies abhängig von der jeweiligen Position und/oder Orientierung der Erfassungseinheiten zueinander und/oder von ihrer jeweiligen Position und/oder Orientierung im Fahrzeugkoordinatensystem und/oder von ihrer jeweiligen Position und/oder Orientierung zur Geste und/oder von ihrer jeweiligen Position und/oder der Orientierung zum Erzeuger der und/oder abhängig von Umgebungsbedingungen im Innenraum des Fahrzeugs erfolgen.
-
Bei der Verwendung verschiedener Erfassungseinheiten kann als vorzugsweise eine Gewichtung der Wahrscheinlichkeitswerte, also eine Gewichtung der Aussagekraft eines Wahrscheinlichkeitswertes bezüglich der Erkennung einer Geste, durchgeführt werden. Dadurch kann eine nochmals präzisere Bestimmung der Art der Geste erfolgen. Nachteilige Einflüsse können dadurch nochmals besser gefiltert oder reduziert werden. Auf die Zuverlässigkeit der Erkennung einer Geste können beispielsweise die Position des Sensors im Fahrzeug, also beispielsweise auch die Erfassungs-Perspektive und/oder die Umgebungsbedingungen im Innenraum, Einfluss haben. Kann die Erkennung beispielsweise durch die TOF-Kamera nicht vollständig erfolgen, da ein Teil der Geste außerhalb eines Erfassungsbereichs liegt, so kann der Radarsensor, welcher beispielsweise die Geste vollständig erfassen konnte, eine höhere Gewichtung erhalten.
-
Hieraus ergibt sich der Vorteil, dass die Erfassungseinheiten in Abhängigkeit der Betriebsparameter genutzt werden. Insbesondere kann vermieden werden, dass eine für den Zeitpunkt oder für die Position der Geste ungeeignete Erfassungseinheit als vorrangige oder gleichberechtigte ausgewertet beziehungsweise betrachtet wird. Insbesondere kann durch die situationsabhängige Nutzung des jeweiligen Sensors die Erkennung einer Geste verbessert werden.
-
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Beleuchten eines Objekts in einem Innenraum eines Fahrzeugs, bei welchem folgende Schritte durchgeführt werden:
- - Durchführen einer Geste durch einen Fahrzeuginsassen, mit welcher ein Beleuchtungswunsch eines spezifischen Objekts im Innenraum verknüpft ist;
- - Bewerten der Geste mit einem Verfahren nach einem der vorhergehenden Ansprüche;
- - Erkennen des zur Beleuchtung gewünschten Objekts abhängig von der bewerteten Geste;
- - Bestimmen der Position des Objekts im Innenraum; und
- - Beleuchten des Objekts mit einer Beleuchtungsvorrichtung des Fahrzeugs.
-
Gerade bei Beleuchtungsszenarien für Objekte mit spezifischen Beleuchtungswünschen eines Nutzers im Innenraum ist die genaue Gestenerkennung vorteilhaft.
-
Hieraus ergibt sich auch der Vorteil, dass der Nutzer anhand von Gesten die Beleuchtung, vorzugsweise die Beleuchtung im Fahrzeuginnenraum, genauer steuern kann. Dies ermöglicht dem Nutzer während der Fahrt schnell Objekte im Fahrzeuginnenraum zu erkennen. Insbesondere kann während des Führens eines Fahrzeugs das schnelle Erkennen von Objekten im Innenraum beziehungsweise das schnelle Auffinden von Gegenständen im Fahrzeuginnenraum, sicherheitsrelevant sein.
-
Ein weiterer Aspekt der Erfindung ist ein Beleuchtungssystem für ein Fahrzeug, mit zumindest einer TOF-Kamera, mit einem zur TOF-Kamera unterschiedlichen Sensor, mit einer Beleuchtungsvorrichtung und mit zumindest einer Auswerteeinheit, wobei das Beleuchtungssystem zum Durchführen eines Verfahrens die oben beschriebenen Merkmale aufweist, Insbesondere wird das Verfahren mit dem Beleuchtungssystem durchgeführt.
-
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt, aufweisend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem oben genannten Aspekt oder eine vorteilhafte Ausgestaltung davon auszuführen.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung einer Frontansicht auf ein Ausführungsbeispiel eines Fahrzeugs mit einem Ausführungsbeispiel eines Beleuchtungssystem.
-
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In der Figur sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
In 1 ist eine schematische Darstellung einer Frontansicht auf ein Ausführungsbeispiel eines Fahrzeugs 1 mit einem Beleuchtungssystem 9 gezeigt. Das Beleuchtungssystem 9 befindet sich in einem Innenraum 2 des Fahrzeugs 1. Das Fahrzeug 1 kann ein Kraftfahrzeug sein, beispielsweise ein Personenkraftwagen oder ein Lastkraftwagen sein. Das Beleuchtungssystem 9 weist vorzugsweise zumindest eine TOF-Kamera 3, einen zur TOF-Kamera 3 unterschiedlichen Sensor 4 und eine Beleuchtungsvorrichtung 8 auf. Die Beleuchtungsvorrichtung 8 kann dazu ausgebildet sein, ein Objekt 11 auszuleuchten, dass in dem Innenraum 2 des Fahrzeugs 1 angeordnet ist. Der Innenraum 2 ist ein Fahrgastinnenraum. Die TOF-Kamera 3 kann dazu ausgestaltet sein, in einem für den Menschen sichtbaren Spektralbereich sensitiv zu sein. Die TOF-Kamera 3 ist zur Erkennung von Gesten ausgebildet. Sie ist zur Erkennung einer Geste 6 eines Fahrzeuginsassen 5 ausgebildet und angeordnet. Insbesondere kann eine Erkennung der Geste 6 mit dem zur TOF-Kamera 3 unterschiedlichen Sensor 4 erfolgen. Der Sensor 4 ist vorzugsweise ein Radarsensor. Die TOF-Kamera 3 und der Sensor 4 sind Erfassungseinheiten des Fahrzeugs 1. Die Auswertung der Geste 6 kann durch eine Auswerteeinheit 10 erfolgen. Die Auswerteeinheit 10 kann Bestandteil des Beleuchtungssystems 9 sein. Des Weiteren ist vorzugsweise ein neuronales Netz 7 vorgesehen. Dieses kann im Fahrzeug 1 angeordnet sein. Die Auswerteeinheit 10 kann Bestandteil des Beleuchtungssystems 9 sein. Abhängig von den Informationen der Auswerteeinheit 10 kann die Beleuchtungsvorrichtung 8 ein Beleuchtungsszenario durchführen.
-
Es kann vorgesehen sein, dass die TOF-Kamera 3 und der Sensor 4 so angeordnet sind, dass diese den gesamten Innenraum 2 des Fahrzeugs 1 erfassen können. Vorzugsweise können dazu die Erfassungseinheiten am Dachhimmel des Fahrzeugs 1 angebracht sein. Insbesondere sind die Erfassungseinheiten so positioniert, dass diese die Geste 6 des Fahrzeuginsassen 5 erkennen können. Vorzugsweise sind die jeweiligen Erfassungseinheiten so positioniert, dass diese die Geste 6 aus unterschiedlichen Blickwinkeln erkennen können. Es kann somit eine Erfassung der Geste 6 aus unterschiedlichen Raumrichtungen erfolgen. Dies ermöglicht auch die Beurteilung unterschiedlicher Charakteristika einer Geste 6.
-
Die erfassten Informationen zur ausgeführten Geste 6 können dann durch die Auswerteeinheit 10 ausgewertet werden. Die Auswerteeinheit 10 kann mittels der Informationen einen Wahrscheinlichkeitswert bestimmen. Dieser Wahrscheinlichkeitswert kann eine Wahrscheinlichkeit angeben, welche Art der Geste 6 vorliegt. Insbesondere kann vorgesehen sein, dass für jede Erfassungseinheit ein jeweiliger Wahrscheinlichkeitswert bestimmt wird. Anhand der jeweiligen Wahrscheinlichkeiten bezogen auf eine jeweilige Erfassungseinheit kann die Art der Geste 6 bestimmt werden. In diesem Ausführungsbeispiel kann jeweils ein Wahrscheinlichkeitswert für die TOF-Kamera 3 und den Radarsensor 4 bestimmt werden.
-
Die Erkennung der Art der Geste 6 kann auch alternativ oder zusätzlich mit einem neuronalen Netz 7 erfolgen. Zum Anlernen des neuronalen Netzes 7 kann es vorgesehen sein, dass der Fahrzeuginsasse 5 in einem Lernmodus des Systems 9 zumindest eine Geste 6 als Referenzgeste angelernt hat. Die erfassten Informationen können auch durch das neuronale Netz 7 ausgewertet werden. Durch das vorherige Anlernen einer Geste 6, kann das neuronale Netz 7 eine Klassifizierung der Art der Geste 6 vornehmen. Werden mehrere jeweils unterschiedliche Gesten 6 an das neuronale Netz 7 angelernt, so können verschiedene Klassen entstehen, wobei jede Klasse für eine Art der Geste 6 stehen kann.
-
Wird die Geste 6 durch wenigstens eine der Erfassungseinheiten erfasst, so kann mit den erfassten Informationen eine 2D-Transformation durchgeführt werden. Die 2D-transformierten-Informationen können genutzt werde, um einen jeweiligen Wahrscheinlichkeitswert für die jeweilige Erfassungseinheit zu bestimmen. Insbesondere kann vorgesehen sein, dass die 2D-transformierten-Informationen durch das neuronale Netzwerk 7 klassifiziert werden. Die Klassifizierung ermöglicht insbesondere auch ein Einordnen der jeweiligen Geste 6 in eine Art einer Geste.
-
Ferner kann vorgesehen sein, dass abhängig von ihrer jeweiligen Position einer Erfassungseinheit zum Erzeuger der Geste 6 und/oder abhängig von der Position der TOF-Kamera 3 zum Sensor 4 und/oder abhängig von Umgebungsbedingungen im Innenraum 2 des Fahrzeugs 1 eine Gewichtung erfolgt. Es kann vorgesehen sein, dass der Wahrscheinlichkeitswert derjenigen Erfassungseinheit eine höhere Gewichtung erhält, welcher die Geste 6 besser erfassen konnte. Besser erfassen kann dabei sowohl die Entfernung der Erfassungseinheit zur Geste 6 und/oder auch die relative Position der Erfassungseinheit zur Geste 6 beschreiben. Insbesondere können auch die Umgebungsbedingungen wie beispielsweise die Helligkeit einen Einfluss auf die Gewichtung der Wahrscheinlichkeitswerte der Erfassungseinheiten haben. Beispielsweise kann vorgesehen sein, dass eine TOF-Kamera 3, welche im Vergleich zu einem Radarsensor 4 die bessere Position bezüglich des Abstandes und des Blickwinkels hat, eine niedrigere Gewichtung als der Radarsensor 4 erhält, da die TOF-Kamera 3 beim Einsatz in der Dunkelheit keine auswertbaren Informationen liefert. So kann vorgesehen sein, dass auch die Erfassungseinheit zur Erkennung der Geste 6 genutzt wird, welche objektiv die schlechtere Position zur Erkennung der Geste 6 im Fahrzeuginnenraum 2 hat, jedoch für die Situation bezüglich der Helligkeit und gegebenenfalls der Dynamik der Geste 6 besser geeignet ist.
-
Die Auswerteeinheit 10 kann in einem Ausführungsbeispiel die durch das neuronale Netz 7 bestimmten Wahrscheinlichkeitswerte auch zusammenführen. Durch das Zusammenführen werden die jeweiligen Wahrscheinlichkeitswerte für die jeweilige Art der Geste 6 der jeweiligen Erfassungseinheit beispielsweise kumuliert. Nachdem Kumulieren kann durch die Auswerteeinheit 10 jeweils ein Wahrscheinlichkeitswert für die Art der Geste 6 für alle Erfassungseinheiten gemeinsam bereitgestellt werden. Anhand der zusammengeführten Wahrscheinlichkeitswerte der jeweiligen Art der Geste 6 kann eine Aussage über die Art der Geste 6 getroffen werden, welche erkannt wurde. Vorzugsweise kann vorgesehen sein, dass die Art der Geste 6, welche die höchste Wahrscheinlichkeit aufweist, als erkannte Geste 6 ausgegeben wird. Beispielsweise kann bei diesem Ausführungsbeispiel vorgesehen sein, dass die TOF-Kamera 3 eine Geste 6 mit einem Wahrscheinlichkeitswert als eine erste Art einer Geste erkennt, und mit einem weiteren Wahrscheinlichkeitswert die Geste 6 als eine zweite Art einer Geste 6 erkennt. Ebenso kann dies mit dem Sensor 4 erfolgen. Ist die Summe der Wahrscheinlichkeitswerte der Erfassungseinheiten für die erste Art der Geste 6 größer als die Summe der Wahrscheinlichkeitswerte der Erfassungseinheiten für die zweite Art der Geste 6, so wir die Geste 6 als Geste der ersten Art erkannt.
-
In einem weiteren Ausführungsbeispiel kann aber auch nur jeweils ein Wahrscheinlichkeitswert für die erfassten Informationen der jeweiligen Erfassungseinheit erzeugt werden. Es kann dann ein einfacher Vergleich erfolgen. Insbesondere wenn beide Wahrscheinlichkeitswerte die gleiche Art der Geste betreffen und insbesondere größer 50% sind, kann die Geste 6 als Geste dieser Art erkannt werden. Sind die Wahrscheinlichkeitswerte der Erfassungseinheiten größer 50% jedoch unterschiedlichen Arten von Gesten 6 zugehörig, kann in einem Ausführungsbeispiel der größere Wahrscheinlichkeitswert als der richtigere beurteilt werden. Es kann dann aber auch eine Gewichtung, wie sie bereits oben erwähnt wurde erfolgen. Es kann dann abhängig von dieser Gewichtung gegebenenfalls auch der kleinere Wahrscheinlichkeitswert als der richtigere beurteilt werden.
-
Es kann eine Klassifizierung der Gesten 6 in dynamische und statische Gesten 6 erfolgen. Besonders vorteilhaft kann das Beleuchtungssystem 9 dazu ausgestaltet sein, dynamische Gesten 6 zuerkennen. Besonders vorteilhaft können Gesten 6 zur Steuerung der Beleuchtungseinrichtung 8, wie zum Beispiel ein Zeigen, Greifen oder ein Deuten erkannt werden. Diese Aufzählung ist nicht abschließend.
-
Ferner kann das Beleuchtungssystem 9 sowohl die Geste 6 selbst als auch beispielsweise die Richtung einer Zeigegeste, die hier nur exemplarisch angeführt wird, erkennen. Insbesondere kann auch anhand der Geste 6 das Objekt 11 bestimmt werden, auf welches der Fahrzeuginsasse 5 zeigt und welches dann individuell beleuchtet werden soll.
-
Das Erkennen eines auszuleuchtenden Objekts 11 kann eine Bestimmung der Entfernung zwischen der Beleuchtungseinrichtung 8 und dem Objekt 11 auslösen. Dies kann insbesondere bedeuten, dass eine Koordinaten-Transformation eines im Fahrzeug 1 virtuell aufgespannten Koordinatensystems zur Bestimmung des Abstands und der Richtung des Objekts 11 bezogen auf die Beleuchtungseinrichtung 8 erfolgt. Beispielsweise kann der Abstand zwischen einer Erfassungseinheit oder mehreren Erfassungseinheiten und dem Objekt 11 durch die Erfassungseinheit oder die Erfassungseinheiten selbst bestimmt werden. Vorzugsweise kann dies durch die TOF-Kamera 3 erfolgen. Dieser bestimmte Abstand kann bei bekanntem Abstand zwischen der jeweiligen Erfassungseinheit und der Beleuchtungseinrichtung 8 durch die Koordinaten-Transformation in den Abstand zwischen Beleuchtungseinrichtung 8 und Objekt 11 umgerechnet werden.
-
In Abhängigkeit des bestimmten Abstandes zwischen der Beleuchtungseinrichtung 8 und dem Objekt 11, insbesondere auch in Abhängigkeit der Richtung und/oder der Orientierung zwischen diesen Komponenten, kann die Auswerteeinheit 10 ein definiertes Beleuchtungsszenario durchführen. Die Auswerteeinheit 10 kann nicht nur in dem Zusammenhang auch eine Steuereinheit des Beleuchtungssystems 9 sein.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Innenraum
- 3
- TOF-Kamera
- 4
- Sensor
- 5
- Fahrzeuginsasse
- 6
- Geste
- 7
- Neuronales Netz
- 8
- Beleuchtungseinrichtung
- 9
- Beleuchtungssystem
- 10
- Auswerteeinheit
- 11
- Objekt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013019210 A1 [0002]
