DE102006017509A1 - Vorrichtung zur Übersetzung von Gebärdensprache - Google Patents

Vorrichtung zur Übersetzung von Gebärdensprache Download PDF

Info

Publication number
DE102006017509A1
DE102006017509A1 DE200610017509 DE102006017509A DE102006017509A1 DE 102006017509 A1 DE102006017509 A1 DE 102006017509A1 DE 200610017509 DE200610017509 DE 200610017509 DE 102006017509 A DE102006017509 A DE 102006017509A DE 102006017509 A1 DE102006017509 A1 DE 102006017509A1
Authority
DE
Germany
Prior art keywords
computer
sign
arms
orders
sign language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE200610017509
Other languages
English (en)
Other versions
DE102006017509B4 (de
Inventor
Maxie Pantel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE200610017509 priority Critical patent/DE102006017509B4/de
Publication of DE102006017509A1 publication Critical patent/DE102006017509A1/de
Application granted granted Critical
Publication of DE102006017509B4 publication Critical patent/DE102006017509B4/de
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009Teaching or communicating with deaf persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Vorrichtung zur Übersetzung von Gebärdensprache mit einer Kamera und Lautsprecher, mit einem durch einen in einem um den Hals zu tragenden Gehäuse beherbergten Rechner, der aus den Signalen der an der Vorderseite des Gehäuses angeordneten einen oder mehreren Kamera(s) unter Auswertung der erfassten Bewegungsabläufe des oder der Arme des Gebärdensprechenden vorbestimmte Wortfolgen ermittelt und an den Lautsprecher übermittelt.

Description

  • Gebärdensprache ist zwischen Gehörlosen ein langjähriges, nicht ersetzbares Kommunikationsmittel. Gehörlose haben durch sie eine der gesprochenen Sprache ebenbürtige Möglichkeit zu kommunizieren.
  • Leider können viele Hörende jedoch die Gebärdensprache nicht verstehen, so dass Gehörlose in vielen Alltagssituationen sich nicht verständlich machen können. Alternative Arten der Verständigung, beispielsweise über das geschriebene Wort, leiden zum einen an der Umständlichkeit, leider jedoch auch in vielen Fällen daran, dass Gehörlose den Zugang zur Schriftsprache, die ja das gesprochene Wort nachahmt, nur schwer finden.
  • Es hat sich doch herausgestellt, dass die Rechenleistung moderner Computerprogramme dazu in der Lage ist, Gebärden bei einer Person, die sich der Gebärdensprache bedient, zu erkennen und auch in gesprochene Worte umzusetzen. Allerdings sind hierzu unter Laborbedingungen aufwendige Apparaturen notwendig.
  • Die Erfindung hat sich zur Aufgabe gestellt, eine derartige Vorrichtung nun so weiterzuentwickeln, dass sie nicht mit einer oder mehreren Kamera unter Laborbedingungen (auf Stativen) in Draufsicht auf einen in Gebärdensprache sich verständigende Person arbeitet, sondern leicht im Alltag mitgenommen werden kann.
  • Erfindungsgemäß wird die Aufgabe durch eine Vorrichtung zur Übersetzung von Gebärdensprache mit einer Kamera und einem Lautsprecher gelöst, die durch eine Brille mit integriertem Display ergänzt werden, in die eine über ein Mikrofon aufgenommene Antwort der Person, die mit dem Träger der Vorrichtung kommuniziert, auch anschließend wieder in eine Bild in Gebärdensprache übersetzt wird. Die Unteransprüche geben die vorteilhaften Ausführungen an. So können zum Beispiel zusätzliche Sensoren an den Handgelenken die genauere Erfassung der Gebärden erleichtern.
  • Durch eine in die Brille einprojizierte Anzeige, beispielsweise eines Avartars, der Gebärdensprache visualisiert, kann das gesprochene Wort dem Gehörlosen wieder zur Kenntnis gegeben werden. Die Gebärden des Gehörlosen andererseits werden durch zwei Kameras in einer Halskomponente und einer Kamera in der Brille erfasst und vorteilhafterweise über Lautsprecher, die in einer um den Hals getragenen Vorrichtung angeordnet sind, in gesprochener Sprache an den Gegenüber übermittelt.
  • Als vorteilhaft hat sich erwiesen, die über die Kameras zu erfassenden Gebärden leichter rechnerisch erfassbar zu machen, in dem am Handgelenk Bewegungssensoren oder Markierungspunkte zur einfachen Bildauswertung angeordnet sind. Die Bewegungssensoren könnten beispielsweise drahtlos mit einem Computer, der vorteilhafterweise mit einer um den Hals zu tragenden Vorrichtung angeordnet sind, Beschleunigungsdaten übermitteln, oder auch nur ihre Entfernung zu dieser Vorrichtung.
  • Durch geeignete Software lassen sich dann die verschiedenen Gebärden des Gehörlosen durch die Software schnell erlernen und akustisch wiedergeben. Durch die Anordnung der Lautsprecher auf der Oberseite der um den Hals getragenen Vorrichtung entsteht für die hörende Person ein sehr authentischer Eindruck und der Blickkontakt kann gehalten werden.
  • Gleiches gilt für den anderen Kommunikationsweg, wobei der Gehörlose nicht den Blickkontakt lösen muss, um beispielsweise das gesprochene Wort als Text auf einem Display visualisiert zu lesen, sondern erfindungsgemäß er – zusätzlich zu den Gebärdeninformationen des Sprechenden – er in eine Brille (bevorzugt nicht in die Mitte des Gesichtsfeldes) eingespiegelt, entsprechende Gebärden zur Übersetzung in Gebärdensprache, unter Umständen jedoch auch nur zur Unterstützung zu zusätzlichem Lippenablesen erhält.
  • Beide Kommunikationswege können also gleichzeitig betrieben werden, so dass Zwischenfragen jederzeit schnell möglich sind, was bei bisherigen Kommunikationswegen schwer praktizierbar war.
  • Weitere Vorteile und Merkmale der Erfindung ergeben sich aus nachfolgender Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung. Dabei zeigt
  • 1 die erfindungsgemäße Vorrichtung, die einem Halsreif ähnlich um den Halsgetragen wird,
  • 2 ein Beispiel einer passenden Brille mit integrierter Kamera und s.g. Head Mounted Display Technik, und
  • 3 ein Beispiel einer Brillenunterbringung in der Vorrichtung.
  • Die in der 1 schematisch von oben gezeigte Vorrichtung besitzt eine einem Halsreif ähnliche, aber hinten offene, durch zwei Bügel, die in vorgewählten Stellungen arretieren, zangenartige Ausbildung.
  • In einer bevorzugten Ausführungsform der Erfindung, ist im vorderen unteren Teil ein Ablagefach für die spezielle mit einer Kamera und einer Einspiegelungseinrich tung vorgesehene Brille vorgesehen, so dass diese bei Nichtgebrauch ihren festen sicheren Ort hat und nicht von der Vorrichtung getrennt aufwendig aufbewahrt werden muss.
  • Nicht dargestellt sind die Sensoren an den Handgelenken, die über einfache Armbänder Beschleunigungssensoren oder Magnetfeldsensoren oder auch Drehratensensoren beherbergen können. Zur besseren Handhabung bei der Erfassung durch die Kameras aber auch durch Nahfeldsensoren sollten beide unterschiedlich farbig markiert sein, wobei die Markierungen insbesondere im daumennahen Bereich des Handgelenks, d. h. im Blickwinkel der Kamera angeordnet werden sollten.
  • Weiter ist es mit der Vorrichtung möglich, Fernkommunikation mit anderen Gehörlosen zu treiben, da die gewonnenen Daten nicht nur zur Umsetzung in Sprache genutzt werden können, sondern auch für einen mit einer entsprechend gleichartigen Vorrichtung ausgestatteten zweiten Gehörlosen auch wieder in Gebärden, beispielsweise über einen Avartar, der in das eingebaute Display in der Brille eingespiegelt wird, als Gebärdensprache ausgegeben werden kann. Damit ist es möglich, mit anderen Gehörlosen, wie mit einem Handy, fernzukommunizieren. Ein Anruf kann ohne weiteres über einen eingebauten Vibrationsalarm kenntlich gemacht werden.
  • Um bei dem Auffangen der Sprache eines Kommunikationspartners den richtigen auszuwählen, wird vorgeschlagen, an einer Brille an einem oder an beiden Bügeln Richtmikrofone vorzusehen, da man üblicherweise in einer Kommunikationssituation den jeweiligen Gesprächspartner genau ansieht und so verhindert wird, dass Geräusche der Umgebung (Gespräche am Nachbarplatz) als Kommunikation aufgefasst werden.
  • Eine herkömmliche Spracherkennungssoftware würde die Lautsprache, die über das Richtmikrofon aufgefangen wurde, in ein elektrisches Signal umwandeln, das zur Weiterverarbeitung digitalisiert wird. Störeffekte können dabei weitestgehend herausgefiltert werden, wobei aufgrund sehr großen allgemeinen Wortschatzes und vieler Mehrfachbedeutungen sicherlich ein längeres, auch auf die Person bezogenes Training der Software stattfinden muss. Insbesondere wenn sich mit dem Gehörlosen vertraute Personen jedoch eindeutig und einfach ausdrücken, sollte eine Kommunikation einfach erreichbar sein, wobei gegenüber bisherigen Kommunikationen auf jeden Fall ein deutlicher Fortschritt erzielt wird, da schnelle Zwischenfragen möglich sind. Die Kommunikation zwischen Brille und der um den sind. Die Kommunikation zwischen Brille und der um den Hals hängenden Vorrichtung kann durch einfache Funkverfahren wie Bluetooth erreicht werden, alternativ kann jedoch auch eine Variante mit Kabel vorgesehen werden, insbesondere aus Batterien, die vorteilhafterweise im Schulterbereich ruhen, die in der Brille vorhandene Elektronik der Kamera und dem Head Mounted Displays zu versorgen. Diese Kamera kann auch zur Aufnahme der eigenen Handbewegung eingesetzt werden, vorteilhafterweise wird dies jedoch von getrennten Kameras vorgenommen, die in dem Halsreif an der Oberseite vorgesehen sind, wobei vorgeschlagen wird, je eine Kamera für jede Hand vorzusehen und in dem üblichen Bewegungsraum der Arme und Hände bei der Gebärdensprache auszurichten. Zusätzlich zu der Übersetzung in die Gebärdensprache kann auch auf Wunsch Schriftsprache in das Blickfeld projiziert werden. Zur Aktivierung der Elektronik der Brille wird vorgeschlagen, einen Schalter in das Bügelgelenk vorzusehen, so dass bereits bei einem Auseinanderklappen der Brille das System sich einschaltet. Eine grüne, am Rand befindliche Leuchtfläche, die ebenfalls in der Seite im Sichtfeld projiziert wird, sollte dem Benutzer einen ordnungsgemäßen Zustand signalisieren, eine rote Fläche beispielsweise abnehmende Batteriespannung.
  • Insgesamt lässt die Nutzung der bisherigen Avartartechnik es zu, dass jede der beiden an einer Kommunikation beteiligten Personen in der gewohnten Sprache spricht und auch in der gewohnten Sprache die Informationen empfangen kann. Die um den Hals vorgesehene Vorrichtung weist zwei sich in einem festen Winkel arretierbare Bügel an einem Zentralfeld auf, wobei an jedem der Bügel eine Kamera zugeordnet und Lautsprecher vorgesehen sind.
  • Über eine Kabelverbindungsbuchse kann insbesondere eine Stromversorgung der Brille hergestellt werden. Eine vordere Brillenaufnahme ermöglicht es, die Brille stets griffbereit zu halten, ggf. auch mit einer Hand aus der Vorrichtung entnehmen zu können, um zu kommunizieren, wobei der Vorgang des Brilleaufsetzens auch von nicht mit der Vorrichtung vertrauten Personen als Kommunikationsunterbrechung gedeutet wird und diese erst dann wieder sprechen bzw. gesprochene Information wiederholen, wenn man sie durch die Brille ansieht.

Claims (5)

  1. Vorrichtung zur Übersetzung von Gebärdensprache mit einer Kamera und Lautsprecher, gekennzeichnet durch einen in einem um den Hals zu tragenden Gehäuse beherbergten Rechner, der aus den Signalen der an der Vorderseite des Gehäuses angeordneten einen oder mehreren Kameras) unter Auswertung der erfaßten Bewegungsabläufe des oder der Arme des Gebärdensprechenden vorbestimmte Wortfolgen ermittelt und an den Lautsprecher übermittelt.
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß Manschetten mit Beschleunigungssensoren zur Befestigung an den Handgelenken des Gebärdensprechenden vorgesehen sind, die an den mit einem entsprechenden Auswerteprogramm versehenen Rechner ihre erfaßten Bewegungen übermitteln.
  3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß an Manschetten zur Befestigung an den Handgelenken des Gebärdensprechenden Markierungspunkte vorgesehen sind, die in einem entsprechenden Auswerteprogramm im Rechner Bezugspunkte bei der Klassifikation von Bewegungen in den Bildern der Kameras) bilden.
  4. Vorrichtung nach einem der vorangehenden Ansprüche, gekennzeichnet durch eine Einspiegelungseinrichtung ins Gesichtsfeld des Gehörlosen, die mit einem auf Gesprächspartner-Mikrophon erfaßte und vom Rechner ausgewertete Wortfolgen als Gebärdenbild visualisieren.
  5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, daß das Gesprächspartner-Mikrophon ein einem Brillenbügel vorgesehenes Richtmikrophon ist.
DE200610017509 2006-04-13 2006-04-13 Vorrichtung zur Übersetzung von Gebärdensprache Withdrawn - After Issue DE102006017509B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200610017509 DE102006017509B4 (de) 2006-04-13 2006-04-13 Vorrichtung zur Übersetzung von Gebärdensprache

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200610017509 DE102006017509B4 (de) 2006-04-13 2006-04-13 Vorrichtung zur Übersetzung von Gebärdensprache

Publications (2)

Publication Number Publication Date
DE102006017509A1 true DE102006017509A1 (de) 2007-10-18
DE102006017509B4 DE102006017509B4 (de) 2008-08-14

Family

ID=38514602

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200610017509 Withdrawn - After Issue DE102006017509B4 (de) 2006-04-13 2006-04-13 Vorrichtung zur Übersetzung von Gebärdensprache

Country Status (1)

Country Link
DE (1) DE102006017509B4 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310683A (zh) * 2013-05-06 2013-09-18 深圳先进技术研究院 智能眼镜及基于智能眼镜的语音交流系统及方法
CN103336575A (zh) * 2013-06-27 2013-10-02 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
CN103699219A (zh) * 2013-12-06 2014-04-02 中国科学院深圳先进技术研究院 一种智能眼镜交互系统及智能交互方法
CN103714732A (zh) * 2013-12-21 2014-04-09 杜婉璐 一种手语翻译的眼镜
DE102022102596A1 (de) 2022-02-03 2023-08-03 Audi Aktiengesellschaft Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110840652A (zh) * 2019-11-11 2020-02-28 北京海益同展信息科技有限公司 可穿戴设备、信息处理方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466232B1 (en) * 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US20020071277A1 (en) * 2000-08-12 2002-06-13 Starner Thad E. System and method for capturing an image

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310683A (zh) * 2013-05-06 2013-09-18 深圳先进技术研究院 智能眼镜及基于智能眼镜的语音交流系统及方法
CN103310683B (zh) * 2013-05-06 2016-06-08 深圳先进技术研究院 智能眼镜及基于智能眼镜的语音交流系统及方法
CN103336575A (zh) * 2013-06-27 2013-10-02 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
CN103336575B (zh) * 2013-06-27 2016-06-29 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
CN103699219A (zh) * 2013-12-06 2014-04-02 中国科学院深圳先进技术研究院 一种智能眼镜交互系统及智能交互方法
CN103714732A (zh) * 2013-12-21 2014-04-09 杜婉璐 一种手语翻译的眼镜
DE102022102596A1 (de) 2022-02-03 2023-08-03 Audi Aktiengesellschaft Vorrichtung zum Kommunizieren mit Personen, insbesondere taubstummen Personen, beim Betreiben eines Fahrzeugs

Also Published As

Publication number Publication date
DE102006017509B4 (de) 2008-08-14

Similar Documents

Publication Publication Date Title
US11069368B2 (en) Glasses with closed captioning, voice recognition, volume of speech detection, and translation capabilities
US20170303052A1 (en) Wearable auditory feedback device
DE102006017509B4 (de) Vorrichtung zur Übersetzung von Gebärdensprache
US8902303B2 (en) Apparatus connectable to glasses
CN100418498C (zh) 导盲器
WO2018118420A1 (en) Method, system, and apparatus for voice and video digital travel companion
CN112037788B (zh) 一种语音纠正融合方法
EP1798688A3 (de) Verfahren zur Ortung eines menschlichen Auges in einem Videobild
Akkara et al. Smartphone apps for visually impaired persons
CN104361787A (zh) 信号转换系统和信号转换方法
DE102014218832A1 (de) Computerimplementiertes Verfahren zur Einstellung und Betriebsverbesserung mindestens eines Hörgeräts, ein entsprechendes Hörgerät sowie ein entsprechendes am Kopf tragbares Gerät
CN209690935U (zh) 基于图像识别的桌面互动学习装置和系统
DE202006006054U1 (de) Vorrichtung zur Übersetzung von Gebärdensprache
von Agris et al. Signum database: Video corpus for signer-independent continuous sign language recognition
CN113409770A (zh) 发音特征处理方法、装置、服务器及介质
WO2009004731A1 (ja) 画像音声通信装置及び画像表示方法
Fecher The'Audio-Visual Face Cover Corpus': Investigations into audio-visual speech and speaker recognition when the speaker's face is occluded by facewear.
CN108345115A (zh) 一种手势感应的vr教学设备结构
CN107680421A (zh) 用于思想政治教育的教学系统
DE102017101159A1 (de) Kommunikationssystem zur entfernten Unterstützung von Senioren
CN103870731A (zh) 基于蓝牙和人脸识别技术的教师身份认证方法
CN101872242A (zh) 利用脑电波与其他人交流的方法与装置
CN112751582A (zh) 用于交互的可穿戴装置、交互方法及设备、存储介质
DE10157921B4 (de) Tragbare Videokamera
CN218547718U (zh) 用于舞蹈教室智能分析的配套多媒体系统及智慧舞蹈教室

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition
R120 Application withdrawn or ip right abandoned