DE102022102596A1 - Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs - Google Patents

Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs Download PDF

Info

Publication number
DE102022102596A1
DE102022102596A1 DE102022102596.9A DE102022102596A DE102022102596A1 DE 102022102596 A1 DE102022102596 A1 DE 102022102596A1 DE 102022102596 A DE102022102596 A DE 102022102596A DE 102022102596 A1 DE102022102596 A1 DE 102022102596A1
Authority
DE
Germany
Prior art keywords
hand
vehicle
sign language
movements
fingers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022102596.9A
Other languages
English (en)
Inventor
Florian Bock
Michael Grabowski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102022102596.9A priority Critical patent/DE102022102596A1/de
Publication of DE102022102596A1 publication Critical patent/DE102022102596A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (50) zum Kommunizieren mit Personen (7, 8) beim Betreiben eines Fahrzeugs (1). Das Fahrzeug (1) beinhaltet mindestens eine Kamera (3) und mindestens ein Mikrofon (4). Die Kamera (3) kann einzelne Finger einer Hand und deren Bewegungen erkennen. Das Mikrofon (4) kann akustische Signale, verursacht durch die Bewegungen der Hand, der Finger und/oder Sprachschall erfassen. Das Fahrzeug (1) verfügt über eine Ausgabeeinheit (6). Eine Recheneinheit (2) ist ausgebildet, die Bewegungen der Hand, der Finger und/oder die erfassten akustischen Signale verursacht durch die Bewegungen der Hand und/oder der Finger zum Erkennen einer Gebärdensprache zu analysieren. Zusätzlich oder alternativ kann die Recheneinheit (2) den erfassten Sprachschall zum Erkennen eines Sprachinhalts analysieren. Basierend auf dieser Analyse wird mittels der Ausgabeeinheit (6) ein optisches, haptisches und/oder akustisches Signal ausgegeben, welches der erkannten Gebärdensprache oder des erfassten Sprachschalls entspricht.

Description

  • Die Erfindung betrifft ein Fahrzeug zum Kommunizieren mit Personen, insbesondere taubstummen Personen. Die Erfindung zeigt weiterhin ein entsprechendes Verfahren zum Kommunizieren des Fahrzeugs mit taubstummen Personen.
  • Im Rahmen des technischen Fortschritts sowie der Globalisierung erhalten immer mehr Menschen Zugang zu Mobilität und Technik. Auch taubstumme Menschen gehören dieser Gruppe an. Taubstumme Menschen haben weniger Möglichkeiten, sich zu verständigen. Solche Personen bedienen sich häufig einer Gebärdensprache, um mit ihrer Außenwelt zu kommunizieren. Im Zuge einer zunehmenden autonomen Mobilität können taubstumme Personen von bestimmten technischen Neuerungen nicht profitieren. So ist es taubstummen Personen beispielsweise nicht möglich, mit Hilfe einer Sprachsteuerung Fahrzeugfunktionen anzusteuern. Bisher müssen taubstumme Menschen Knöpfe oder Schalthebel innerhalb eines Fahrzeugs betätigen, um Fahrzeugfunktionen zu bedienen.
  • Jedoch wollen auch taubstumme Personen am technischen Fortschritt teilhaben. Das autonome oder teilautonome Betreiben eines Fahrzeugs ist ebenfalls ein Zukunftsfeld, welches taubstummen Personen nicht verschlossen bleiben sollte.
  • Eine besondere Herausforderung kann sich ergeben, wenn mehrere taubstumme Personen zusammentreffen, welche unterschiedliche Gebärdensprachen benutzen. Da es eine Vielfalt von etwa 300 unterschiedlichen Gebärdensprachen gibt, können somit zwei taubstumme Personen aufeinander treffen, welche sich dennoch nicht mit ihrer jeweiligen Gebärdensprache austauschen können.
  • Die Veröffentlichung „Implementation of Virtual Assistant with Sign Language using Deep Learning and TensorFlow“ von Dipanshu Someshwar, Dharmik Bhanushali und Vismay Chaudhari aus den Proceedings of the Second International Conference on Inventive Research in Computing Applications (ICIRCA-2020) mit der ISBN 978-1-7281-5374-2 befasst sich mit einem System, welches Taubstummen ermöglicht, mittels einer Gebärdensprache virtuelle Assistenten zu nutzen. Mit Hilfe einer Webcam werden Handgesten erfasst. Ein neuronales Netzwerk interpretiert die erfassten Bilder und erstellt rationale Sprachen. Diese Sprachen werden mittels Deep Learning auf vordefinierte Datensätze abgebildet.
  • Die Veröffentlichung „Sign Language Recognition, Generation, and Translation: A Interdisciplinary Perspective“ von Danielle Bragg et al. von der Veranstaltung ASSETS` 19, October 28-30, 2019, Pittsburgh, PA, USA befasst sich mit der Verarbeitung von Gebärdensprache. Es werden Konzepte dargestellt, welche gebärdete Inhalte in schriftliche Abfragen übersetzen.
  • Eine Aufgabe der Erfindung kann darin gesehen werden, taubstummen Personen eine komfortablere Nutzung von Fahrzeugen zu ermöglichen. Diese Aufgabe wird mit Hilfe der unabhängigen Patentansprüche gelöst. Sinnvolle Weiterbildungen und alternative Ausführungsformen ergeben sich anhand der Unteransprüche, der Beschreibung sowie den Figuren.
  • Ein erster Aspekt dieser Erfindung sieht eine Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen vor. In dem Fahrzeug können Personen sein, die Hören und Sprechen können, sowie Personen, die dazu nicht in der Lage sind. Eine Kommunikation oder Interaktion zwischen normalen Personen und taubstummen Personen oder zwischen dem Fahrzeug und den taubstummen Personen ist in vielen Fällen nur eingeschränkt möglich. Derzeit können taubstumme Personen meistens nur durch Betätigung mechanischer Knöpfe, Stell- oder Lenkhebel beziehungsweise durch Betätigung eines Touchdisplays mit dem Fahrzeug interagieren. Mit Hilfe dieser Erfindung soll eine Kommunikation zwischen taubstummen Personen mit anderen Personen oder dem Fahrzeug verbessert werden.
  • Die Vorrichtung weist bevorzugt ein Fahrzeug auf. Das Fahrzeug verfügt insbesondere über mindestens eine Kamera und mindestens ein Mikrofon. Die mindestens eine Kamera und das mindestens eine Mikrofon sind bevorzugt jeweils fest in dem Fahrzeug installiert. Die Kamera ist bevorzugt ausgebildet, einzelne Finger einer Hand und deren Bewegungen zu erkennen. Dies bedeutet insbesondere, dass die Auflösung der Kamera hoch genug ist, um eine Handbewegung sowie eine Bewegung einzelner Finger der Hand zu erkennen. In vielen Fällen reicht dazu bereits eine handelsübliche Webcam oder Smartphonekamera aus.
  • Das Mikrofon ist insbesondere ausgebildet, akustische Signale, die durch die Bewegungen der Hand und/oder der Finger verursacht werden, zu erfassen. Zusätzlich oder alternativ kann das Mikrofon eingerichtet sein, Sprachschall, insbesondere gesprochene Wörter, zu erfassen. Sprachschall kann als phonetische Laute, Wortinhalt und/oder sprachliche Laute aufgefasst werden. Das Mikrofon kann insbesondere ein Doppler-Mikrofon sein, welches in der Lage ist, eine Frequenzänderung der akustischen Signale zu registrieren. Mit Hilfe der erfassten Frequenzänderung oder der erfassten akustischen Signale kann eine Annäherung oder Entfernung der Hand und/oder der Finger zu dem Mikrofon ermittelt werden. Beispielsweise können durch Schnipsen der Finger oder Klatschen oder Klopfen der Hand akustische Signale erzeugt werden. Diese akustischen Signale werden bevorzugt mit Hilfe des mindestens einen Mikrofons erfasst. Es ist jedoch auch möglich, dass das Mikrofon einen Schalldruck erfassen kann, der durch die Handbewegung und/oder Fingerbewegung verursacht wird.
  • Das Fahrzeug weist bevorzugt eine Ausgabeeinheit auf, um optische und/oder akustische Signale auszugeben. Die Ausgabeeinheit kann ein Display, ein berührungsempfindlicher Bildschirm (Touch-Display), ein Monitor sein, um optische Signale auszugeben. Zusätzlich oder alternativ kann die Ausgabeeinheit ein Radio oder Lautsprecher sein, um akustische Signale bereitzustellen. Akustische Signale können bei einer Verständigung zwischen taubstummen und hörfähigen Personen nützlich sein.
  • Insbesondere verfügt das Fahrzeug über eine Recheneinheit, welche ausgestaltet ist, die Bewegungen der Hand, der Finger und/oder die erfassten akustischen Signale verursacht durch die Bewegungen der Hand und/oder der Finger zu analysieren, um eine Gebärdensprache zu erkennen. Die Recheneinheit kann bevorzugt zwischen mehreren unterschiedlichen Gebärdensprachen unterscheiden. Dazu kann die Recheneinheit beispielsweise die erfassten Bewegungen und/oder die erfassten akustischen Signale mit vorgegebenen Bewegungsmustern und/oder Audiomustern einer oder mehreren Gebärdensprachen abgleichen.
  • Zusätzlich oder alternativ kann die Recheneinheit ausgebildet sein, den erfassten Sprachschall zum Erkennen eines Sprachinhalts zu analysieren. Dies ist bevorzugt bei einem Sprachbefehl der Fall.
  • In Abhängigkeit von dieser Analyse kann durch die Recheneinheit ein Steuersignal für die Ausgabeeinheit generiert werden. Das Steuersignal ist bevorzugt eingerichtet, mittels der Ausgabeeinheit eine optische Anzeige bereitzustellen, welche der erkannten Gebärdensprache entspricht. Dies bedeutet insbesondere, dass die Recheneinheit die erkannten Bewegungen und/oder erfassten akustischen Signale einer Gebärdensprache zuordnet und daraufhin in ein entsprechendes optisches Signal umsetzt. Somit kann die Recheneinheit Gebärdensprache von taubstummen Personen in optische Signale transkribieren. Die optische Anzeige des Displays entspricht bevorzugt einem semantischen Inhalt der erkannten Gebärdensprache. Zusätzlich oder alternativ kann das Display als Audioausgabeeinheit ausgeführt sein. Dies bedeutet, dass die Recheneinheit die erkannte Gebärdensprache in ein Audiosignal umsetzen kann. Dazu kann das Fahrzeug über die Ausgabeeinheit, beispielsweise in Form eines Lautsprechers, verfügen. So kann beispielsweise mit Hilfe der mindestens einen Kamera und des mindestens einen Mikrofons die Gebärdensprache aufgenommen werden. Mittels der Recheneinheit kann die Gebärdensprache in ein optisches Signal und/oder ein akustisches Signal transkribiert werden. Auf diese Weise können taubstumme Personen mit anderen Personen, welche hören und sprechen können, kommunizieren.
  • Das Steuersignal kann alternativ lediglich zur Steuerung einer Fahrzeugfunktion ausgebildet sein. Beispielsweise kann das Steuersignal eine Ansteuerung einer Klimaanlage vorsehen, um eine Temperatur in dem Fahrzeug einzustellen. In diesem Fall wird mit Hilfe der Ausgabeeinheit das Steuersignal zusätzlich optisch und/oder akustisch angezeigt. Beispielsweise kann mit Hilfe der Gebärdensprache eine Telefonfunktion angefragt werden, welche mit Hilfe des Displays optisch bestätigt werden kann. Wenn sprechende Personen mit taubstummen Personen kommunizieren wollen, kann die taubstumme Person den gesprochenen Sprachschall nicht wahrnehmen. Die Recheneinheit kann als „Dolmetscher“ dienen, indem sie den Sprachschall in Gebärdensprache und umgekehrt übersetzt.
  • Sprachschall kann somit eine gesprochene Wortfolge sein, welche eine vorgegebene Bedeutung hat. Diese vorgegebene Bedeutung entspricht dem Sprachinhalt. Die Recheneinheit kann den erfassten Sprachschall zum Erkennen des Sprachinhalts analysieren. In Abhängigkeit von dieser Analyse kann die Recheneinheit mittels der Ausgabeeinheit ein optisches und/oder akustisches Signal erzeugen. Dieses optische und/oder akustische Signal entspricht bevorzugt der erkannten Gebärdensprache oder des erfassten Sprachschalls. Insbesondere kann das optische und/oder akustische Signal den Sprachinhalt in Form einer Gebärdensprache wiedergeben.
  • Die Recheneinheit kann über entsprechende Informationen verfügen und/oder auf eine entsprechende Datenbank für die Analyse zugreifen. Die Recheneinheit kann die erfassten Bewegungen der Hand und/oder der Finger einem vorgegebenen Bewegungsmuster aus einer entsprechenden Gebärdensprache zuordnen. Dadurch kann die Recheneinheit die Bewegungen der Hand und/oder der Finger sowie die erfassten akustischen Signale einer Gebärdensprache zuordnen und diese erfassten Bewegungen und/oder akustischen Signale im weiteren Ablauf in optische und/oder akustische Signale umsetzen.
  • Folgende unterschiedliche Einsatzszenarien sind im Rahmen dieser Erfindung beispielhaft denkbar:
    • Beispielsweise kann eine taubstumme Person ein autonomes oder teilautonomes Fahrzeug betreiben. Mit Hilfe einer Gebärdensprache kann die taubstumme Person Steuersignale zum Ansteuern vorgegebener Fahrzeugfunktionen mit Hilfe der Gebärdensprache zum Ausdruck bringen. Die Recheneinheit kann die Gebärdensprache erfassen und in ein entsprechendes Steuersignal umsetzen. Mit Hilfe der Ausgabeeinheit kann das Aktivieren oder Deaktivieren der angeforderten Fahrzeugfunktion optisch bestätigt werden. Da in diesem Fall das Signal der Ausgabeeinheit sich an eine taubstumme Person richtet, ist das Ausgabesignal entsprechend bevorzugt optisch ausgebildet. Das optische Signal kann in Form eines Texts oder einer Schrift sowie in Form einer Gebärdensprache ausgebildet sein.
  • Ein weiterer Einsatzfall stellt eine Kommunikation zwischen einer taubstummen Person mit einer nicht-taubstummen Person (sprech- und hörfähig) in einem Fahrzeug dar. Die nicht-taubstumme Person wird im Folgenden als Insasse bezeichnet. Möchte die taubstumme Person mit weiteren Insassen kommunizieren, so kann mit Hilfe der mindestens einen Kamera und des mindestens einen Mikrofons die Gebärdensprache der taubstummen Person aufgezeichnet, analysiert und in entsprechende optische und/oder akustische Signale für die weiteren Insassen übersetzt werden. Mit Hilfe der Ausgabeeinheit kann die Gebärdensprache der taubstummen Person in sinngemäße optische und/oder akustische Signale für die anderen Insassen ausgegeben werden. Beispielsweise kann die taubstumme Person mit Hilfe der Gebärdensprache mitteilen, dass sie zum Beispiel Hunger habe. Mit Hilfe der Ausgabeeinheit kann diese durch Gebärdensprache ausgedrückte Willenserklärung in Textform und/oder in hörbarer Sprachform für die weiteren Insassen ausgegeben werden.
  • Entsprechend kann in einem weiteren Einsatzfall auch der umgekehrte Kommunikationsweg erfolgen. In diesem Fall kann der Insasse, der sprechen und hören kann, mit der taubstummen Person kommunizieren. In diesem Einsatzfall geht es bevorzugt darum, akustische Signale und Sprachschall in Gebärdensprache umzusetzen. Mit Hilfe des mindestens einen Mikrofons kann der gesprochene Sprachschall des Insassen beziehungsweise der Wortinhalt aufgrund des Sprachschalls aufgezeichnet werden. Die Recheneinheit ist insbesondere ausgestaltet, diesen Sprachschall zu analysieren und einem Sprachinhalt zuzuordnen. Der so erkannte Sprachinhalt kann durch die Recheneinheit in ein optisches Signal umgesetzt werden, welches dem Sprachinhalt des Sprachschalls entspricht. Dieses optische Signal kann die taubstumme Person wahrnehmen. Das optische Signal kann beispielsweise als Textform, Gebärdensprache und/oder als Farbe ausgebildet sein.
  • Ein weiterer Einsatzfäll wäre die Anwesenheit von zwei taubstummen Personen, welche aufgrund verschiedener Gebärdensprachen dennoch nicht miteinander kommunizieren können. In diesem Fall kann die Recheneinheit des Fahrzeugs als Dolmetscher dienen. So kann die Gebärdensprache der ersten taubstummen Person sowie die akustischen Signale, welche durch die Bewegungen der Gebärdensprache hervorgerufen werden, aufgezeichnet und analysiert werden. Diese Analyse umfasst bevorzugt das Erfassen eines Inhalts der Gebärdensprache. Die Recheneinheit kann diesen Inhalt oder „Gebärdeninhalt“ in eine andere Gebärdensprache umsetzen, welche für die zweite taubstumme Person geeignet ist.
  • Die Recheneinheit kann mit Hilfe der Ausgabeeinheit ein optisches Signal ausgeben, welches der zweiten Gebärdensprache entspricht und welche den Inhalt der ersten Gebärdensprache widerspiegelt. Entsprechend kann die Recheneinheit zusätzlich oder alternativ einen Inhalt der zweiten Gebärdensprache in die erste Gebärdensprache übersetzen und entsprechend mit Hilfe eines dazugehörigen optischen Signals ausgeben.
  • Prinzipiell spielt es keine Rolle, ob die jeweiligen beteiligten Personen innerhalb oder außerhalb des Fahrzeugs befindlich sind. So ist es auch möglich, dass eine taubstumme Person außerhalb des Fahrzeugs mit einer weiteren Person innerhalb des Fahrzeugs kommunizieren kann. Je nach Einsatzfall kann die Recheneinheit über die Ausgabeeinheit optische, akustische oder optische und akustische Signale ausgeben.
  • Somit kann das Fahrzeug mit der mindestens einen Kamera, dem mindestens einen Mikrofon, der Ausgabeeinheit sowie der Recheneinheit vielfältig betreffend den Bedürfnissen taubstummer Personen eingesetzt werden.
  • Eine zusätzliche oder alternative vorteilhafte Ausführungsform sieht eine Vorrichtung mit einem Ultraschallsensor vor. Der Ultraschallsensor kann Teil einer Gestensteuerungseinheit sein. Die Gestensteuerungseinheit kann ein Touchdisplay im Bereich des Armaturenbretts sein. Die Recheneinheit ist insbesondere in der Lage, auf Sensordaten des Ultraschallsensors zuzugreifen. Ferner ist die Recheneinheit bevorzugt ausgebildet, mit Hilfe des Ultraschallsensors eine dynamische Veränderung eines Abstands der Hand und/oder der Finger zum Ultraschallsensor festzustellen. Ferner ist die Recheneinheit insbesondere dazu ausgebildet, die Analyse zusätzlich basierend auf der dynamischen Veränderung des Abstands zum Erkennen der Gebärdensprache und/oder eines Inhalts der Gebärdensprache durchzuführen.
  • Dadurch kann ein räumlicher Abstand der Hand oder der Finger zu dem Ultraschallsensor erfasst werden und dieser dynamisch veränderbare Abstand kann zum Ermitteln einer Trajektorie der Hand verwendet werden. Mit Hilfe dieser Trajektorie kann die Recheneinheit eine Gebärdensprache erkennen und daraus einen Inhalt der Gebärdensprache ableiten. Der Ultraschallsensor kann im Bereich eines Armaturenbretts und/oder im Bereich eines Dachhimmels angeordnet sein. Zusätzlich kann einem Finger oder im Bereich eines Unterarms oder Handgelenks eine Reflexionseinheit angeordnet sein, welche Ultraschallsignale des Ultraschallsensors besser reflektiert als eine Hand oder Arm ohne die Reflexionseinheit. Beispielsweise könnte die Reflexionseinheit ein kleiner Metallring oder ein Metallarmband sein. Die dadurch extrahierbaren zusätzlichen Sensordaten können die Recheneinheit dabei unterstützen, die Bewegungen der Hand und/oder der Finger zum Erkennen der Gebärdensprache besser zu analysieren. Insbesondere können diese zusätzlichen Informationen von Seiten des Ultraschallsensors eine detailliertere Unterscheidung zwischen mehreren unterschiedlichen Gebärdensprachen ermöglichen. Insbesondere können in einem Innenbereich des Fahrzeugs mehrere Ultraschallsensoren verteilt in einem Sitzbereich der Insassen angeordnet sein.
  • Eine zusätzliche oder alternative Ausführungsform sieht vor, dass das Fahrzeug eine an der Hand tragbare Akustikeinheit, zum Beispiel in Form eines Rings, aufweist. Da taubstumme Personen in der Regel zwei Hände haben, ist bevorzugt vorgesehen, dass das Fahrzeug beziehungsweise die Recheneinheit mit zwei Akustikeinheit interagieren kann, welche jeweils an einer Hand, insbesondere an einem Finger angeordnet werden können. Die Akustikeinheit oder der Ring sind bevorzugt ausgestaltet, vorgegebene Schallwellen zu emittieren. Diese Schallwellen sind durch das mindestens eine Mikrofon erfassbar und die Recheneinheit ist dazu eingerichtet, die Analyse zum Erkennen der Gebärdensprache zusätzlich in Abhängigkeit von den erfassten Schallwellen durchzuführen. Bevorzugt weisen die emittierten Schallwellen stets dieselbe Lautstärke auf. Damit kann aufgrund einer Lautstärkenmessung, welche durch die Mikrofone feststellbar ist, eine Entfernung der Hand zu dem mindestens einen Mikrofon berechnet werden.
  • Dies kann dabei helfen, eine Trajektorie der Finger und/oder der Hand zu ermitteln. Die Trajektorie kann einer entsprechenden Gebärdensprache durch die Recheneinheit zugeordnet werden. Zugleich kann ein entsprechender Inhalt der Gebärdensprache durch die Recheneinheit angegeben werden. Dieser Inhalt der Gebärdensprache kann mit Hilfe der Ausgabeeinheit optisch und/oder akustisch für andere Personen oder Insassen dargestellt werden. Trägt eine taubstumme Person an jeder Hand wenigstens einen Ring, der die vorgegebenen Schallwellen emittiert, so kann dies die Recheneinheit dabei unterstützen, die Gebärdensprache zuverlässiger oder rascher zu erkennen.
  • Zusätzlich oder alternativ kann vorgesehen sein, dass die vorgegebenen Schallwellen eine Frequenz von weniger als 15 Hertz und/oder eine Frequenz von mehr als 21.000 Hertz, also 21 Kilohertz aufweisen. Frequenzen unterhalb von 15 Hertz können als Infraschall betrachtet werden, während Frequenzen jenseits von 21 Kilohertz als Ultraschall bezeichnet werden können. Diese genannten Frequenzbereiche stellen insbesondere einen für Menschen nicht hörbaren Bereich dar. Trägt eine taubstumme Person beispielsweise einen oder mehrere Ringe, welche Schallwellen in diesem genannten Frequenzbereich emittieren, so werden diese emittierten Schallwellen von den weiteren hörfähigen Personen nicht wahrgenommen. Damit kann das Erkennen der Gebärdensprache zusätzlich verfeinert werden, weil mit Hilfe der emittierten Schallwellen die Recheneinheit auf zusätzliche Sensordaten zurückgreifen kann, zugleich kann jedoch eine akustische Beeinträchtigung für andere Personen vermieden werden. Lediglich das mindestens eine Mikrofon muss in diesem Fall dazu ausgebildet sein, die für Menschen nicht hörbaren Schallwellen zu erfassen.
  • Es ist möglich, dass diese Ringe auch Schallwellen innerhalb des hörbaren Bereichs emittieren, um eine Funktionsfähigkeit der Ringe als akustische Schallwellen zu überprüfen. Es ist auch möglich, für jeden einzelnen Finger einen entsprechenden Ring als Akustikquelle vorzusehen. In diesem Fall kann die Vorrichtung um bis zu 10 Akustikeinheiten erweitert werden. Die Akustikeinheit kann ein Ring sein, der Töne oder Schallwellen emittieren kann. Somit kann die Vorrichtung mehrere Ringe pro Hand beinhalten, um eine zuverlässigere Erkennung der Gebärdensprache durch die Recheneinheit zu ermöglichen.
  • Eine zusätzliche oder alternative Ausführungsform sieht eine Vorrichtung mit einer an einem Handgelenk tragbaren Smartwatch vor, welche einen Positionssensor, einen Beschleunigungssensor und einen Rucksensor aufweist. Bevorzugt wird die Smartwatch an einem Handgelenk oder einem Unterarm der taubstummen Person angeordnet. Die Smartwatch kann mit Hilfe der genannten Sensoren Sensordaten zur Recheneinheit übertragen. Dies geschieht bevorzugt drahtlos. Dazu kann sowohl die Recheneinheit als auch die Smartwatch über eine entsprechende Schnittstelle verfügen. Die Recheneinheit ist bevorzugt eingerichtet, anhand von Sensordaten dieser Sensoren eine Trajektorie der Hand zu ermitteln und die ermittelte Trajektorie für die Analyse zum Erkennen der Gebärdensprache zu berücksichtigen. Damit kann die Recheneinheit auf die durch die tragbare Smartwatch bereitgestellten Sensoren zurückgreifen, um die Gebärdensprache beziehungsweise den Inhalt der Gebärdensprache besser und zuverlässiger zu erkennen.
  • Mit Hilfe des Beschleunigungssensors kann zwischen unterschiedlich schnellen Handbewegungen der Gebärdensprache unterschieden werden. Ähnliches gilt bezüglich der Informationen, die ein Rucksensor bereitstellt. Mit Hilfe der Sensordaten des Positionssensors, des Beschleunigungssensors sowie des Rucksensors kann die Recheneinheit detaillierte die Trajektorie der Hand beziehungsweise der jeweiligen Finger ermitteln. Die so ermittelte Trajektorie der Hand oder der jeweiligen Finger kann mit vorgegebenen Bewegungsmustern verglichen oder abgeglichen werden. Auf diese Weise können mit Hilfe der Recheneinheit die erfassten Bewegungen der Gebärdensprache zugeordnet werden. Dadurch kann die Recheneinheit einen Inhalt der Gebärdensprache extrahieren. Dies gelingt mit Hilfe der ermittelten Trajektorie, welche mit vorgegebenen Bewegungsmustern abgeglichen werden kann. Dazu kann die Recheneinheit auf abgespeicherte vorgegebene Bewegungsmuster zurückgreifen und/oder auf eine externe Datenbank zugreifen. Im Falle der externen Datenbank kann die Vorrichtung über eine entsprechende Schnittstelle verfügen, um eine Datenverbindung zu der externen Speichereinheit mit den dort hinterlegten Bewegungsmustern aufzubauen.
  • Eine zusätzliche oder alternative Ausführungsform sieht eine Vorrichtung mit mehreren Sitzreihen im Fahrzeug vor. Jede Sitzreihe weist dabei mindestens zwei Kameras und mindestens drei Mikrofone auf, die in der Sitzreihe verteilt angeordnet sind. Die Kameras und die Mikrofone können dabei als eines oder mehrere Mikrofon-Kameras ausgebildet sein. Jeder einzelne Sitz der jeweiligen Sitzreihe ist bevorzugt innerhalb eines Erfassungsbereichs der Kameras und der Mikrofone angeordnet. Mit Hilfe einer entsprechenden Synchronisierung der Kameras mit den Mikrofonen kann ein Ort einer Schallquelle optisch visualisiert werden. Dies bedeutet, dass mit Hilfe eines entsprechenden Zusammenwirkens der mindestens drei Mikrofone und mindestens zwei Kameras eine Lokalisierung von akustischen Signalen möglich ist. Dadurch kann die Recheneinheit feststellen, von welchem Sitzplatz gesprochen wird. Somit kann die Recheneinheit bevorzugt jene Sensoren in ihrer Sensitivität erhöhen, welche für den jeweiligen Sitzplatz vorgesehen sind. Dadurch kann eine Kommunikation zwischen Insassen und taubstummen Personen weiter verbessert werden.
  • Eine zusätzliche oder alternative Ausführungsform sieht eine Vorrichtung mit einem Vibrationsmodul vor, wobei das Vibrationsmodul ausgebildet ist, in Abhängigkeit von der durch die Recheneinheit durchgeführten Analyse der Person oder den Insassen ein haptisches Signal bereitzustellen. Beispielsweise kann die Ausgabeeinheit das Vibrationsmodul beinhalten. Das Vibrationsmodul kann beispielsweise im Sitz angeordnet sein. Mit Hilfe eines haptischen Signals kann die Recheneinheit eine rasche Bestätigung bereitstellen. Dies gilt insbesondere für binäre Aussagen. Eine binäre Aussage ist beispielsweise eine Antwort auf eine Frage, welche sich mit „Ja“ oder „Nein“ beziehungsweise positiv oder negativ beantworten lässt.
  • Beispielsweise könnte die taubstumme Person mittels Gebärdensprache die Frage äußern, ob ein vorab durchgeführter Coronatest positiv oder negativ ist. Die Recheneinheit kann in diesem Fall eine Datenverbindung zur entsprechenden Teststelle aufbauen und dort das Ergebnis abfragen. Das abgefragte Testergebnis kann die Recheneinheit in Form eines optischen Signals über die Ausgabeeinheit bereitstellen. Alternativ kann die Recheneinheit mit Hilfe des Vibrationsmoduls eine Vibration erzeugen, welche die taubstumme Person wahrnehmen kann. Beispielsweise kann ein angenehmes Vibrieren auf ein negatives Testergebnis hindeuten.
  • Eine zusätzliche oder alternative Ausführungsform sieht eine Vorrichtung vor, bei dem die Recheneinheit ein neuronales Netz beinhaltet. Das neuronale Netz ist insbesondere ausgestaltet zu lernen, die erfassten Bewegungen der Hand und/oder der Finger sowie die akustischen Signale, verursacht durch die Bewegungen der Hand und/oder der Finger, einem semantischen Inhalt zuzuordnen und mit Hilfe der Ausgabeeinheit optisch, akustisch und/oder haptisch anzuzeigen. Das haptische Signal kann eine Vibration sein. Insbesondere kann das neuronale Netz lernen, neue nicht bekannte Bewegungen der Hand und/oder der Finger einzuordnen und deren Bedeutung zu lernen. Dazu kann das neuronale Netz die erfassten Bewegungen mit bereits bekannten Bewegungsmustern abgleichen. Das Abgleichen kann beispielsweise eine Ähnlichkeitsanalyse beinhalten. Taubstumme Personen können dadurch neue individuelle Bewegungen vorgeben, welche die Recheneinheit erlernen kann. So kann die Recheneinheit auf vorgegebene individuelle Bewegungen der taubstummen Person konditioniert werden. Dies kann beispielsweise in einer Notfallsituation hilfreich sein.
  • Zum Beispiel kann vorab die taubstumme Person eine vorgegebene Bewegung vorsehen, welche von der Recheneinheit als SOS oder Notfallsignal interpretiert wird. Diese vorgegebene Bewegung der Hand und/oder der Finger ist bevorzugt für andere Personen unauffällig, kann jedoch ein Notfallsignal erzeugen. In diesem Fall kann die Recheneinheit vorsehen, nach außen ein entsprechendes Notfallsignal abzusetzen. Dies kann besonders im Rahmen einer Entführung vorteilhaft sein, da die taubstumme Person unbemerkt Hilfe herbeiholen kann. Mit Hilfe eines entsprechenden Positionssensors kann die Recheneinheit zusammen mit dem Notfallsignal auch regelmäßig Positionsdaten des Fahrzeugs weitergeben. Auf diese Weise kann eine taubstumme Person in einer Notfallsituation eine Art „stillen Alarm“ auslösen.
  • Eine zusätzliche oder alternative Ausführungsform sieht eine Vorrichtung vor, welches eine fahrzeuginterne Speichereinheit und/oder eine externe Speichereinheit aufweist. Auf der fahrzeuginternen Speichereinheit und/oder externen Speichereinheit sind bevorzugt vorgegebene Bewegungsmuster der Hand und/oder der Finger gespeichert. Die Recheneinheit ist bevorzugt ausgebildet, für die Analyse die erfassten Bewegungsdaten mit den auf der fahrzeuginternen und/oder externen Speichereinheit abgespeicherten Bewegungsmuster abzugleichen und/oder auszuwerten. Dazu kann die Recheneinheit über ein entsprechendes neuronales Netz verfügen. Mit Hilfe des neuronalen Netzes können neuartige Bewegungsmuster erkannt und einer entsprechenden Datenbank hinzugefügt werden. Neuartige Bewegungsmuster können beispielsweise extern mit Hilfe eines Rechenzentrums besser und detaillierter analysiert oder untersucht werden. So kann die Vorrichtung und/oder das neuronale Netz sogar lernen, eine neue Gebärdensprache zu erkennen.
  • Ein zweiter Aspekt dieser Erfindung betrifft ein Verfahren zum Kommunizieren eines Fahrzeugs mit einer Person, insbesondere einer taubstummen Person. Bei dem Verfahren werden insbesondere die vorliegenden Verfahrensschritte ausgeführt:
    • In einem ersten Schritt a) werden mindestens eine Kamera und mindestens ein Mikrofon angeordnet oder bereitgestellt. Die Kameras und Mikrofone werden insbesondere in einem Innenraum des Fahrzeugs angeordnet. Die Kameras sind bevorzugt ausgebildet, einzelne Finger einer Hand und deren Bewegungen zu erkennen, während das Mikrofon ausgebildet ist, akustische Signale aufgrund der Bewegungen der Hand, der Finger und/oder Sprachschall zu erfassen.
  • In einem weiteren Schritt b) können Bewegungen der Hand und der Finger erfasst werden. Zusätzlich oder alternativ können akustischen Signale und Sprachschall erfasst werden. Die erfassten Bewegungen der Hand, der Finger, der akustischen Signale und/oder des Sprachschalls werden in Schritt c) bevorzugt analysiert, um eine Gebärdensprache zu erkennen. Diese Analyse wird bevorzugt durch eine Recheneinheit durchgeführt. Die Recheneinheit kann ein neuronales Netz aufweisen.
  • In Abhängigkeit von dem Analysieren kann in Schritt d) ein optisches, haptisches und/oder akustisches Signal erzeugt werden. Das Signal kann durch eine Ausgabeeinheit bereitgestellt werden. Dabei entspricht das Signal der erkannten Gebärdensprache oder des erfassten Sprachschalls.
  • Im Zusammenhang mit dem ersten Aspekt genannten Merkmale, Vorteile und Ausführungsbeispiele gelten sinngemäß und analog für den zweiten Aspekt der Erfindung und umgekehrt. Vorrichtungsmerkmale können somit als Verfahrensmerkmale interpretiert werden sowie umgekehrt. Das Fahrzeug kann ein Computerprogramm, umfassen, welches Befehle beinhaltet, die bewirken, dass jede Ausführungsform des Verfahrens ausgeführt wird. Das Computerprogramm kann auf einem computerlesbaren Medium gespeichert sein. Es kann in der Recheneinheit oder dem neuronalen Netz gespeichert sein.
  • Die Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert. Dabei ist zu beachten, dass die Zeichnungen lediglich beispielhafte Möglichkeiten darstellen, wie die Erfindung realisiert werden kann. Sämtliche in den Figuren genannten Beispiele können miteinander kombiniert werden, sofern sie sich nicht gegenseitig ausschließen.
  • Zu der Erfindung gehört auch die Recheneinheit für das Fahrzeug. Die Recheneinheit kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
  • Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
  • Das erfindungsgemäße Fahrzeug kann ein Kraftfahrzeug, Kraftwagen, insbesondere ein Personenkraftwagen oder Lastkraftwagen, Flugzeug, Personenbus oder ein Motorrad sein.
  • Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
  • Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
    • 1 ein erstes Ausführungsbeispiel mit zwei Personen im Fahrzeug;
    • 2 ein zweites Ausführungsbeispiel mit einer taubstummen Person außerhalb des Fahrzeugs.
  • Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
  • In 1 ist beispielhaft ein Fahrzeug 1 mit mehreren Personen 7, 8 gezeigt. Links hinter einem Lenkrad ist eine taubstumme Person 7 zu erkennen. Rechts davon ist eine weitere Person 8 zu erkennen. Bei der Person 8 sei angenommen, dass die hören und sprechen kann, während dies die taubstummen Personen 7 nicht vermögen. Die in 1 gezeigte Vorrichtung 50 ist dazu ausgelegt, dass die taubstummen Personen 7 sowohl mit dem Fahrzeug 1 als auch mit der Person 8 kommunizieren können. Dazu verfügt das Fahrzeug 1 über eine Recheneinheit 2, mehrere Mikrofone 4 sowie mehrere Kameras 3. In der vorderen Sitzreihe ist ein Mikrofon 4 und eine Kamera 3 zu erkennen. Dasselbe gilt für die hintere Sitzreihe, in der nur eine einzige Person, nämlich die taubstumme Person 7 befindlich ist. Das Fahrzeug 1 weist weitere Gestensteuerungseinheiten auf. Die Gestensteuerungseinheiten können als Ultraschallsensoren 5 ausgebildet sein. Mit Hilfe der Gestensteuerungseinheiten können Handbewegungen und/oder Bewegungen der Finger erfasst werden.
  • Die Kameras 3 sind insbesondere dazu ausgelegt, eine Gebärdensprache der taubstummen Personen 7 zu erfassen. Dies bedeutet, dass die Kameras 3 Handbewegungen und auch einzelne Bewegungen von Fingern erkennen können. Dazu können die Kameras 3 über eine Auflösung von mindestens 1 Megapixel verfügen. Mit Hilfe der Mikrofone 4 können akustische Signale, welche durch die Handbewegungen der Gebärdensprache verursacht werden, erfasst werden. Ebenso können mit Hilfe der Mikrofone 4 Sprachbefehle oder Sprachschall aufgezeichnet werden. Das Fahrzeug 1 weist darüber hinaus eine Ausgabeeinheit 6 auf. Die Ausgabeeinheit 6 kann ein Bildschirm, ein Monitor, ein Display und/oder eine akustische Ausgabeeinheit sein. Die Ausgabeeinheit 6 kann einen Lautsprecher beinhalten. Somit können mit Hilfe der Ausgabeeinheit 6 sowohl akustische als auch optische Signale ausgegeben werden.
  • Für die taubstummen Personen 7 werden bevorzugt optische Signale ausgegeben. Die mehreren Mikrofone 4, mehreren Kameras 3 sowie Gestensteuerungseinheiten (Ultraschallsensoren 5) können Informationen beziehungsweise Sensordaten betreffen, die Handbewegungen und/oder Fingerbewegungen erfassen. Mit Hilfe dieser Informationen kann die Recheneinheit 2 die Bewegungen der Hand, der Finger und/oder die erfassten akustischen Signale analysieren und so eine Gebärdensprache erkennen. Insbesondere kann die Recheneinheit 2 über ein neuronales Netz 2' verfügen. Mit Hilfe des neuronalen Netzes 2` können die erfassten Bewegungen von Hand und/oder Finger in optische und/oder akustische Signale übersetzt werden, welche bevorzugt einem Inhalt der Gebärdensprache entsprechen. Mit Hilfe der Ausgabeeinheit 6 kann beispielsweise der weiteren Person 8 der Inhalt der Gebärdensprache angezeigt oder vorgelesen werden.
  • Ebenfalls kann die Recheneinheit 2 einen Wortinhalt der weiteren Person 8 erfassen und in Gebärdensprache übersetzen. Dazu kann die Recheneinheit 2 den erfassten Sprachschall der weiteren Person 8 erfassen und analysieren. Im Rahmen dieser Analyse kann aus dem Sprachschall ein Sprachinhalt abgeleitet werden. Dazu kann die Recheneinheit 2 auf das neuronale Netz 2` zurückgreifen. Mit Hilfe des neuronalen Netzes 2` können einzelne Wörter aus dem Sprachschall ermittelt werden und einem Sprachinhalt zugeordnet werden. Dieser Sprachinhalt kann in eine entsprechende Gebärdensprache transkribiert werden und mit Hilfe der Ausgabeeinheit 6 in optischer Form für die taubstummen Personen 7 angezeigt werden. Dies bedeutet, dass die taubstummen Personen 7 im Beispiel von 1 an ihren jeweiligen Bildschirmen die entsprechende Gebärdensprache präsentiert bekommen.
  • Die Vorrichtung 50 kann darüber hinaus über ein Vibrationsmodul 9 verfügen. Mit Hilfe des Vibrationsmoduls 9 kann die Recheneinheit 2 für die taubstummen Personen 7 ein haptisches Signal bereitstellen. Zum Beispiel kann die Recheneinheit 2 mit Hilfe einer leichten Vibration der taubstummen Person 7 eine Deaktivierung oder Aktivierung einer Fahrzeugfunktion bestätigen. Haptische Signale können geeignet sein, um binäre Antworten zu geben. Binäre Antworten sind insbesondere Antworten, welche sich mit „Ja“ oder „Nein“ beantworten lassen. Mit Hilfe der Vorrichtung 50 können die taubstummen Personen 7 auf weitere Fahrzeugfunktionen zugreifen.
  • Beispielsweise kann eine Verbindung zu einer externen Speichereinheit 10 aufgebaut werden, um Videos oder Filme zu streamen. Ebenfalls kann die Recheneinheit 2 auf Informationen der externen Speichereinheit 10 zugreifen, um die erfassten Bewegungen der Hand und/oder Finger zu analysieren. Die externe Speichereinheit 10 kann Informationen bezüglich vorgegebener Bewegungsmuster enthalten. Die auf der externen Speichereinheit 10 hinterlegten Bewegungsmuster können mit den durch die Kameras 3 und Mikrofone 4 erfassten Bewegungsmuster verglichen und/oder abgeglichen werden. In Verbindung mit der externen Speichereinheit 10 können zusätzliche Informationen zum Analysieren und Auswerten der Gebärdensprache bereitgestellt werden. Dadurch kann eine effizientere Interaktion oder Kommunikation mit den taubstummen Personen 7 möglich werden. Mit Hilfe der Vorrichtung 50 kann den taubstummen Personen 7 beispielsweise ermöglicht werden, über Gebärdensprache zu telefonieren, Fahrzeugbefehle zu erteilen, mit der weiteren Person 8 zu kommunizieren, und/oder sogar Audioinhalte konsumieren.
  • Für den Konsum von Audioinhalten kann die Recheneinheit 2 Signale eines Radiosenders empfangen und diese Radiosignale in Gebärdensprache übersetzen und über die Ausgabeeinheit 6 entsprechend optisch darstellen. Das Fahrzeug 1 mit einer derartigen Vorrichtung 50 kann für taubstumme Personen 7 einen deutlichen Mehrwert darstellen. Die mehreren Mikrofone 4 können Schallwellen aufnehmen, welche durch Handbewegungen erzeugt werden. Insbesondere können mit Hilfe der mehreren Mikrofone 4 Frequenzverschiebungen aufgrund des physikalischen Doppler-Effekts registriert werden. Dadurch können mit Hilfe der mehreren Mikrofone 4 und mit Hilfe der mehreren Kameras 3 Trajektorien betreffend die Handbewegungen und/oder Fingerbewegungen ermittelt werden. Diese Trajektorien können zum Erkennen der Gebärdensprache analysiert und ausgewertet werden.
  • Zusätzlich kann mit Hilfe der mehreren Kameras 3 eine Gestik oder Mimik der taubstummen Personen 7 aufgezeichnet werden. Somit kann das Analysieren oder Erkennen der Gebärdensprache weiter verfeinert werden. Mit Hilfe der Recheneinheit 2 können auch verschiedene Gebärdensprachen ineinander übersetzt werden. Wenn beispielsweise die vordere taubstumme Person 7 eine erste Gebärdensprache benutzt, während die dahinter sitzende taubstumme Person 7 eine davon unterschiedliche Gebärdensprache benutzt, kann mithilfe der Recheneinheit 2 eine entsprechende Übersetzung erfolgen. Somit können Taubstumme mit unterschiedlichen Gebärdensprachen dennoch miteinander kommunizieren oder interagieren.
  • Die mehreren Kameras 3 und mehreren Mikrofone 4 sind bevorzugt innerhalb des Fahrzeugs 1 derart angeordnet, um eine dreidimensionale Information betreffend die Gebärdensprache zu erfassen. Insbesondere kann durch die entsprechende Anordnung der mehreren Kameras 3 und mehreren Mikrofone 4 eine dreidimensionale Trajektorie der Hand und/oder der Finger ermittelt oder erfasst werden. Dazu können ebenfalls entsprechende Ultraschallsensoren 5 der Gestensteuerungseinheiten zum Einsatz kommen. Diese dreidimensionalen Trajektorien können durch die Recheneinheit 2 oder das neuronale Netz 2` für das Erkennen der Gebärdensprache und eines dazugehörigen Inhalts der Gebärdensprache genutzt werden.
  • Mittels der Ausgabeeinheit 6 können Inhalte der Gebärdensprache optisch angezeigt werden. Ebenfalls können Audioinhalte auf der Ausgabeeinheit 6 optisch dargestellt werden. Mit der Vorrichtung 50 können sogar Telefonate durch die taubstummen Personen 7 durchgeführt werden. Die taubstumme Person 7 verständigt sich bevorzugt über seine entsprechende Gebärdensprache, welche durch die mehreren Mikrofone 4, die mehreren Kameras 3 und/oder mehreren Gestensteuerungseinheiten 5 aufgezeichnet werden. Die von diesen Sensoren erfassten Daten werden der Recheneinheit 2 übermittelt. Mit Hilfe einer auf der Recheneinheit 2 hinterlegten Datenbank und/oder mit Hilfe einer Internetverbindung zur externen Speichereinheit 10 kann die analysierte Gebärdensprache in eine geschriebene Schrift, ein akustisches Signal und/oder ein haptisches Signal umgewandelt oder bereitgestellt werden. Die weitere Person 8 dagegen kann normal sprechen. Ihr Sprachschall kann durch die Mikrofone 4 aufgezeichnet werden und durch die Recheneinheit 2 in entsprechende Gebärdensprache übersetzt werden. Die Gebärdensprache kann über die entsprechende Ausgabeeinheit 6 optisch für die taubstummen Personen 7 ausgegeben werden.
  • In 2 ist eine weitere Ausführungsform der Vorrichtung 50 gezeigt. In diesem Fall befindet sich eine weitere taubstumme Person 7 außerhalb des Fahrzeugs 1. Das Fahrzeug 1 kann ein nach außen gerichtetes Mikrofon aufweisen. Die außenstehende taubstumme Person 7 kann mit Hilfe der Frontkamera 3 erfasst werden. In 2 sind entsprechende Erfassungsbereiche der jeweiligen Kameras 3 gestrichelt angedeutet. Dem zufolge kann die Kamera 3 neben der Recheneinheit 2 die außenstehende taubstumme Person 7 optisch erfassen. Im Bereich der Arme der außenstehenden taubstummen Person 7 sind Doppelpfeile angedeutet, welche eine Gebärdensprache repräsentieren. Mit Hilfe der entsprechenden Kamera 3 und dem nach außen gerichteten Mikrofon 4 kann die Gebärdensprache der außenstehenden taubstummen Person 7 erfasst und für die weitere Person 8 oder die innerhalb des Fahrzeugs 1 sitzende taubstumme Person 7 entsprechend übersetzt werden. Dazu kann die Recheneinheit 2 die Gebärdensprache der außenstehenden taubstummen Person 7 in eine entsprechende Gebärdensprache für die taubstumme Person 7 innerhalb des Fahrzeugs übersetzen und die so übersetzte Gebärdensprache kann mit Hilfe der Ausgabeeinheit 6 optisch angezeigt werden. Zugleich kann die erfasste Gebärdensprache der außenstehenden taubstummen Person 7 für die weitere Person 8 mit Hilfe der entsprechenden Ausgabeeinheit 6 akustisch ausgegeben werden.
  • Im Beispiel von 2 kann die weitere Person 8 mittels des Vibrationsmoduls 9 auf die außen befindliche taubstumme Person 7 aufmerksam gemacht werden. In 2 ist zu sehen, dass das Fahrzeug 1 seitlich ebenfalls über mehrere Mikrofone 4 sowie mehrere Kameras 3 verfügt. Mit Hilfe einer entsprechenden Anordnung der mehreren Mikrofone 4 und der mehreren Kameras 3 kann eine Umfeldsensorik geschaffen werden, welche einen vorgegebenen Umgebungsbereich um das Fahrzeug 1 vollständig abdeckt. Damit kann eine Gebärdensprache von außenstehenden taubstummen Personen 7 in geschriebene oder gesprochen Worte umgewandelt werden, welche entsprechend in dem Innenraum des Fahrzeugs 1 über die Ausgabeeinheiten 6 dargeboten werden können. Damit kann ein guter Kommunikationsweg von Polizisten oder Behörden mit Fahrzeuginsassen geschaffen werden.
  • Durch die neue Vorrichtung 50 können anhand der mehreren Kameras 3 und mehreren Mikrofone 4 Gebärdensprache und/oder Sprachsignale erfasst werden. Diese Signale können entsprechend in eine Gebärdensprache oder optische sowie akustische Signale übersetzt werden. Die Recheneinheit 2 berücksichtigt dabei bevorzugt, dass ein jeweiliger Inhalt des Sprachschalls oder der Gebärdensprache erhalten bleibt. Somit kann auch Gebärdensprache innerhalb des Fahrzeugs 1 erkannt und in natürliche Sprache übersetzt werden. Diese natürliche Sprache kann der weiteren Person 8 über die Ausgabeeinheit 6 akustisch mitgeteilt werden.
  • Dadurch kann die Vorrichtung 50 auch den taubstummen Personen 7 ermöglichen, komfortabler sowie angenehmer am Verkehr teilzunehmen. Insbesondere kann bei den taubstummen Personen 7 die Akzeptanz gesteigert werden, sich auf autonom fahrende Fahrzeuge 1 einzulassen. Das Fahrzeug 1 kann als Kraftfahrzeug, Personenkraftwagen, Flugzeug, Motorrad, Lastkraftwagen und/oder Amphibienfahrzeug ausgebildet sein. Das Benutzen oder Betreiben dieser Fahrzeuge 1 kann mit Hilfe der Vorrichtung 50 für die taubstummen Personen 7 erleichtert werden.

Claims (10)

  1. Vorrichtung (50) zum Kommunizieren mit Personen (7, 8), insbesondere taubstummen Personen (7), beim Betreiben eines Fahrzeugs (1) mit - dem Fahrzeug (1), welches mindestens eine Kamera (3) und mindestens einem Mikrofon (4) aufweist, die fest in dem Fahrzeug (1) installiert sind, wobei die Kamera (3) ausgebildet ist, einzelne Finger einer Hand und deren Bewegungen zu erkennen und das Mikrofon (4) ausgebildet ist, akustische Signale, verursacht durch die Bewegungen der Hand, der Finger und/oder Sprachschall zu erfassen, - einer Ausgabeeinheit (6) in dem Fahrzeug (1) zum Ausgeben optischer und/oder akustischer Signale, - einer Recheneinheit (2), welche ausgestaltet ist, - die Bewegungen der Hand, der Finger und/oder die erfassten akustischen Signale verursacht durch die Bewegungen der Hand und/oder der Finger zum Erkennen einer Gebärdensprache zu analysieren, und/oder - den erfassten Sprachschall zum Erkennen eines Sprachinhalts zu analysieren, - und in Abhängigkeit von dieser Analyse mittels der Ausgabeeinheit (6) ein optisches und/oder akustisches Signal bereitzustellen, welches der erkannten Gebärdensprache oder des erfassten Sprachschalls entspricht.
  2. Vorrichtung (50) nach Anspruch 1 mit einem Ultraschallsensor (5), wobei die Recheneinheit (2) ausgebildet ist, mithilfe des Ultraschallsensors (5) eine dynamische Veränderung eines Abstands der Hand und/oder der Finger zum Ultraschallsensor festzustellen und die Analyse zusätzlich basierend auf der dynamischen Veränderung des Abstands die Analyse zum Erkennen der Gebärdensprache durchzuführen.
  3. Vorrichtung (50) nach einem der vorhergehenden Ansprüche mit einem an der Hand oder Finger tragbaren Akustikeinheit, die ausgebildet ist, vorgegebene Schallwellen zu emittieren, welche durch das mindestens eine Mikrofon (4) erfassbar sind, und die Recheneinheit (2) eingerichtet ist, die Analyse zum Erkennen der Gebärdensprache zusätzlich in Abhängigkeit von den erfassten Schallwellen durchzuführen, wobei die Akustikeinheit insbesondere als Ring ausgeführt ist.
  4. Vorrichtung (50) nach Anspruch 3, wobei die vorgegebenen Schallwellen eine Frequenz von weniger als 15 Hz und/oder mehr als 21.000 Hz aufweisen.
  5. Vorrichtung (50) nach einem der vorhergehenden Ansprüche mit einer an einem Handgelenk oder an einem Unterarm tragbaren Smartwatch, welche einen Positionssensor, einen Beschleunigungssensor und einen Rucksensor aufweist, und die Recheneinheit (2) eingerichtet ist, anhand von Sensordaten dieser Sensoren eine Trajektorie der Hand zu ermitteln und die ermittelte Trajektorie für die Analyse zum Erkennen der Gebärdensprache zu berücksichtigen.
  6. Vorrichtung (50) nach einem der vorhergehenden Ansprüche mit mehreren Sitzreihen im Fahrzeug (1), wobei in jeder Sitzreihe mindestens zwei Kameras (3) und mindestens drei Mikrofone (4) verteilt angeordnet sind, welche insbesondere als eine oder mehrere Mikrofon-Kameras ausgebildet sind.
  7. Vorrichtung (50) nach einem der vorhergehenden Ansprüche mit einem Vibrationsmodul (9), welches ausgebildet ist, in Abhängigkeit von der durch die Recheneinheit (2) durchgeführten Analyse der Person (7, 8) ein haptisches Signal bereitzustellen.
  8. Vorrichtung (50) nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (2) ein neuronales Netz (2`) beinhaltet, welches ausgestaltet ist, zu lernen, die erfassten Bewegungen der Hand und der Finger sowie die akustischen Signale, verursacht durch die Bewegungen der Hand und/oder der Finger, einem semantischen Inhalt zuzuordnen und mithilfe der Ausgabeeinheit (6) optisch, haptisch und/oder akustisch anzuzeigen.
  9. Vorrichtung (50) nach einem der vorhergehenden Ansprüche mit einer fahrzeuginternen Speichereinheit und/oder eine externen Speichereinheit (10), auf denen vorgegebene Bewegungsmuster der Hand und/oder der Finger gespeichert sind und die Recheneinheit (2) ausgebildet ist, für die Analyse die erfassten Bewegungen mit den auf der fahrzeuginternen und/oder externen Speichereinheit (10) abgespeicherten Bewegungsmuster abzugleichen und/oder auszuwerten.
  10. Verfahren zum Kommunizieren eines Fahrzeugs (1) mit einer Person (7, 8), insbesondere einer taubstummen Person (7), durch Ausführen folgender Verfahrensschritte: a) Anordnen oder Bereitstellen mindestens einer Kamera (3) und mindestens eines Mikrofons (4) in einem Innenraum des Fahrzeugs (1), wobei die Kamera (3) ausgebildet ist, einzelne Finger einer Hand und deren Bewegungen zu erkennen und das Mikrofon (4) ausgebildet ist, akustische Signale aufgrund der Bewegungen der Hand, der Finger und/oder Sprachschall zu erfassen, b) Erfassen der Bewegungen der Hand und der Finger sowie Erfassen der akustischen Signale und des Sprachschalls, c) Analysieren der erfassten Bewegungen der Hand, der Finger der akustischen Signale und/oder des Sprachschalls, um eine Gebärdensprache zu erkennen, d) Erzeugen eines optischen, haptischen und/oder akustischen Signals in Abhängigkeit von dem Analysieren, wobei das Signal der erkannten Gebärdensprache oder des erfassten Sprachschalls entspricht.
DE102022102596.9A 2022-02-03 2022-02-03 Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs Pending DE102022102596A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022102596.9A DE102022102596A1 (de) 2022-02-03 2022-02-03 Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022102596.9A DE102022102596A1 (de) 2022-02-03 2022-02-03 Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102022102596A1 true DE102022102596A1 (de) 2023-08-03

Family

ID=87160891

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022102596.9A Pending DE102022102596A1 (de) 2022-02-03 2022-02-03 Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102022102596A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006017509A1 (de) 2006-04-13 2007-10-18 Maxie Pantel Vorrichtung zur Übersetzung von Gebärdensprache
CN203819120U (zh) 2013-11-19 2014-09-10 浙江吉利汽车研究院有限公司 一种聋哑人乘车辅助装置
DE112016006769T5 (de) 2016-05-20 2019-01-03 Ford Global Technologies, Llc Gebärdenspracheneingaben in eine Benutzerschnittstelle eines Fahrzeugs
DE102019204054A1 (de) 2019-03-25 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur Bereitstellung eines Sprachdialogs in Gebärdensprache bei einem Sprachdialog-System für ein Fahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006017509A1 (de) 2006-04-13 2007-10-18 Maxie Pantel Vorrichtung zur Übersetzung von Gebärdensprache
CN203819120U (zh) 2013-11-19 2014-09-10 浙江吉利汽车研究院有限公司 一种聋哑人乘车辅助装置
DE112016006769T5 (de) 2016-05-20 2019-01-03 Ford Global Technologies, Llc Gebärdenspracheneingaben in eine Benutzerschnittstelle eines Fahrzeugs
DE102019204054A1 (de) 2019-03-25 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur Bereitstellung eines Sprachdialogs in Gebärdensprache bei einem Sprachdialog-System für ein Fahrzeug

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SOMESHWAR, Dipanshu [et al.]: Implementation of virtual assistant with sign language using deep learning and TensorFlow. In: 2020 Second International Conference on Inventive Research in Computing Applications (ICIRCA), 15-17 July 2020, Coimbatore, India, 2020, S. 595-600. - ISBN 978-1-7281-5375-9 (P); 978-1-7281-5374-2 (E). DOI: 10.1109/ICIRCA48905.2020.9183179. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9183179 [abgerufen am 2022-02-15]

Similar Documents

Publication Publication Date Title
EP3682367B1 (de) Gestensteuerung zur kommunikation mit einem autonomen fahrzeug auf basis einer einfachen 2d kamera
DE102016212647B4 (de) Verfahren zum Betreiben eines Sprachsteuerungssystems in einem Innenraum und Sprachsteuerungssystem
DE102017216837A1 (de) Gestik- und Mimiksteuerung für ein Fahrzeug
DE10008226C2 (de) Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung
EP3040817A1 (de) Vorrichtung und verfahren zur eingabe eines textes über virtuelle bedienelemente mit haptischer rückkopplung zur simulation einer tastenhaptik, insbesondere in einem kraftfahrzeug
DE102018215626A1 (de) System, Fahrzeug und Verfahren zur Wiedergabe der Emotion eines Fahrzeugfahrers
DE102018126525A1 (de) Fahrzeuginternes System, Verfahren und Speichermedium
DE112017008305T5 (de) Spracherkennungsvorrichtung, Spracherkennungssystem und Spracherkennungsverfahren
DE102016204315A1 (de) Fortbewegungsmittel, System und Verfahren zur Anpassung einer Länge einer erlaubten Sprechpause im Rahmen einer Spracheingabe
Lu et al. A review of sensory interactions between autonomous vehicles and drivers
WO2022096165A1 (de) Verfahren, vorrichtung, computerprogramm und computerlesbares speichermedium zur steuerung einer bereitstellung einer vorschlagsinformation an einen fahrzeuginsassen eines fahrzeuges
DE102022102596A1 (de) Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs
EP3947011A1 (de) Verfahren zur bereitstellung eines sprachdialogs in gebärdensprache bei einem sprachdialog-system für ein fahrzeug
DE102008038859A1 (de) System zur Erfassung der Wahrnehmung eines Menschen
DE102017206876A1 (de) Verfahren und Vorrichtung zur Ausgabe einer Statusmeldung in einem Kraftfahrzeug mit Sprachsteuerungssystem
DE102019003624A1 (de) Verfahren zum Übermitteln eines akustischen Signals an eine Person
EP2907048B1 (de) Kraftwagen mit einem sprachübersetzungssystem
DE102019218058B4 (de) Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern
DE102016003401A1 (de) Erfassungsvorrichtung und Verfahren zum Erfassen einer Sprachäußerung einer sprechenden Person in einem Kraftfahrzeug
DE102019204849A1 (de) Erkennung eines durch Personen ausgehenden Gefahrenpotentials
DE102013013869A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zur Warnung vor zu großer Ablenkung
DE102023002174B3 (de) Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems und Fahrzeug
EP4273877A1 (de) Tragbares system sowie computerimplementiertes verfahren zur unterstützung einer person mit seheinschränkungen
DE102017211518A1 (de) Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, entsprechendes Virtual-Reality-System sowie Fahrzeug
DE102018206570A1 (de) Holografische Anzeige-Bedienvorrichtung und Verfahren für den Betrieb einer holografischen Anzeige-Bedienvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: HOFSTETTER, SCHURACK & PARTNER - PATENT- UND R, DE

R163 Identified publications notified
R016 Response to examination communication