DE102010009738A1

DE102010009738A1 - Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose

Info

Publication number: DE102010009738A1
Application number: DE102010009738A
Authority: DE
Inventors: Dr. Illgner-Fehns Klaus
Original assignee: Institut fuer Rundfunktechnik GmbH
Current assignee: Institut fuer Rundfunktechnik GmbH
Priority date: 2010-03-01
Filing date: 2010-03-01
Publication date: 2011-09-01
Also published as: CN102893313A; KR20130029055A; US20130204605A1; TW201135684A; JP2013521523A; WO2011107420A1; EP2543030A1; TWI470588B

Abstract

Um die Übersetzung von Lautsprache in Gebärdensprache zu automatisieren und damit ohne menschliche Übersetzungstätigkeit auszukommen, wird eine Anordnung vorgeschlagen, welche folgende Merkmale aufweist:
– Eine Datenbank (10), in welcher Textdaten von Wörtern und Syntax der Lautsprache sowie Sequenzen von Videodaten den zugehörigen Bedeutungen in der Gebärdensprache gespeichert sind, und
– ein Rechner (20), welcher mit der Datenbank (10) kommuniziert, um zugeführte Textdaten einer Lautsprache in zugehörige Videosequenzen der Gebärdensprache zu übersetzen,
– wobei in der Datenbank (10) ferner Videosequenzen von Hand-Grundstellungen zur Definition von Übergangspositionen zwischen einzelnen grammatikalischen Strukturen der Gebärdensprache als Metadaten gespeichert sind, welche bei der Übersetzung durch den Rechner (20) zwischen die Videosequenzen für die grammatikalischen Strukturen der Gebärdensprache eingefügt werden.

Description

Die Erfindung bezieht sich auf eine Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose.
Als Gebärdensprache bezeichnet man eine visuell wahrnehmbare Gestik, die vor allem mit den Händen in Verbindung mit Mimik, Mundbild und Körperhaltung gebildet wird. Gebärdensprachen haben eigene grammatikalische Strukturen, da sich Gebärdensprache nicht Wort für Wort in Lautsprache umsetzen lässt. Insbesondere lassen sich mit einer Gebärdensprache mehrere Informationen parallel übertragen, wohingegen eine Lautsprache aus aufeinander folgenden Informationen, d. h., Lauten und Worten besteht.
Das Übersetzen von Lautsprache in eine Gebärdensprache erfolgt durch Gebärdensprachdolmetscher, die – vergleichbar mit Fremdsprachendolmetschern – in einem Vollzeitstudium ausgebildet werden. Für audiovisuelle Medien, insbesondere Film und Fernsehen, besteht ein großer Bedarf gehörloser Menschen auf Übersetzung des Film- oder Fernsehtons in Gebärdensprache, der jedoch in Ermangelung einer ausreichenden Anzahl von Gebärdensprachdolmetschern nur unzureichend erfüllbar ist.
Die Aufgabe der Erfindung besteht darin, die Übersetzung von Lautsprache in Gebärdensprache zu automatisieren, um damit ohne menschliche Übersetzungstätigkeit auszukommen.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale im Kennzeichen des Patentanspruchs 1 gelöst.
Vorteilhafte Ausgestaltungen und Weiterbildungen der erfindungsgemäßen Anordnung ergeben sich aus den Unteransprüchen.
Die Erfindung beruht auf der Überlegung, in einer Datenbank einerseits Textdaten von Wörtern und Syntax einer Lautsprache, beispielsweise der deutschen Hochsprache, und andererseits Sequenzen von Videodaten der entsprechenden Bedeutungen in der Gebärdensprache zu speichern. Im Ergebnis enthält die Datenbank ein audiovisuelles Sprachlexikon, bei dem zu Wörtern und/oder Begriffen der Lautsprache die entsprechenden Bilder bzw. Videosequenzen der Gebärdensprache verfügbar sind. Für die Übersetzung von Lautsprache in Gebärdensprache kommuniziert ein Rechner mit der Datenbank, wobei dem Rechner textuelle Informationen, die insbesondere auch aus in Text umgewandelten Sprachanteile eines audiovisuellen Signals bestehen kann, zugeführt werden. Bei gesprochenen Texten werden die Tonhöhe (Prosodie) und die Lautstärke der Sprachanteile, soweit diese zur Erkennung der Semantik erforderlichen sind, ausgewertet Die den zugeführten Textdaten entsprechenden Videosequenzen werden von dem Rechner aus der Datenbank ausgelesen und zu einer vollständigen Videosequenz verknüpft. Diese kann eigenständig wiedergegeben werden (z. B. bei Radioprogrammen, Podcast o. ä.) oder beispielsweise einer Bildeinblendung zugeführt werden, welche die Videosequenzen in das ursprüngliche audiovisuelle Signal als „Bild-in-Bild” einblenden. Beide Bildsignale können durch eine dynamische Anpassung der Abspielgeschwindigkeiten zueinander synchronisiert werden. Dadurch lässt sich ein größerer Zeitverzug zwischen Lautsprache und Gebärdensprache im „on-line”-Modus reduzieren und im „off-line”-Modus weitgehend vermeiden.
Da zum Verständnis der Gebärdensprache die Hand-Grundstellungen zwischen den einzelnen grammatikalischen Strukturen erkennbar sein müssen, werden in der Datenbank ferner Videosequenzen von Hand-Grundstellungen in Form von Metadaten gespeichert, wobei die Videosequenzen der Hand-Grundstellungen bei der Übersetzung zwischen die grammatikalischen Strukturen der Gebärdensprache eingefügt werden. Neben den Handgrundstellungen spielen die Übergänge zwischen einzelnen Segmenten eine wichtige Rolle, um einen flüssigen „visuellen” Spracheindruck zu bekommen. Hierzu können anhand der gespeicherten Metadaten über die Handgrundstellungen und die Handstellungen an den Übergängen entsprechende Überblendungen gerechnet werden, sodass die Handpositionen beim Übergang von einem Segment auf das nächste Segment nahtlos erfolgen.
Die Erfindung wird an Hand von Ausführungsbeispielen in den Zeichnungen näher erläutert. Es zeigt:
1 ein schematisches Blockschaltbild einer Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose in Form von Videosequenzen;
2 ein schematisches Blockschaltbild einer ersten Ausführungsform für die Weiterverarbeitung der mit der Anordnung nach 1 generierten Videosequenzen, und
3 ein schematisches Blockschaltbild einer zweiten Ausführungsform für die Weiterverarbeitung der mit der Anordnung nach 1 generierten Videosequenzen.
In 1 ist mit dem Bezugszeichen 10 eine Datenbank bezeichnet, die als audiovisuelles Sprachlexikon aufgebaut ist, bei dem zu Wörtern und/oder Begriffen einer Lautsprache die entsprechenden Bilder einer Gebärdensprache in Form von Videosequenzen (Clips) gespeichert sind. Die Datenbank 10 kommuniziert über einen Datenbus 11 mit einem Rechner 20, welcher die Datenbank 10 mit Textdaten von Wörtern und/oder Begriffen der Lautsprache adressiert und aus der Datenbank 10 die dort gespeicherten, zugehörigen Videosequenzen der Gebärdensprache auf seine Ausgangsleitung 21 ausliest. Des Weiteren können vorzugsweise in der Datenbank 10 Metadaten für Hand-Grundstellungen der Gebärdensprache gespeichert sein, welche Übergangspositionen der einzelnen Gebärden definieren und in Form von Übergangssequenzen zwischen aufeinander folgenden Videosequenzen der einzelnen Gebärden eingefügt werden. Die generierten Video- und Übergangssequenzen werden im Folgenden nur noch als „Videosequenzen” bezeichnet.
Bei einer ersten, in 2 dargestellten Ausführungsform für die Weiterverarbeitung der generierten Videosequenzen werden die vom Rechner 20 auf die Ausgangsleitung 21 ausgelesenen Videosequenzen entweder direkt einer Bildeinblendung 120 zugeführt oder nach erfolgter Zwischenspeicherung in einem Videospeicher („Sequenzenspeicher”) 130 über dessen Ausgang 131. Zusätzlich können die in dem Videospeicher 130 gespeicherten Videosequenzen über den Ausgang 132 des Speichers 130 auf einem Display 180 dargestellt werden. Die Ausgabe der gespeicherten Videosequenzen auf die Ausgänge 131 und 132 wird von einer Steuerung 140 gesteuert, welche über einen Ausgang 141 mit dem Speicher 130 verbunden ist. Der Bildeinblendung 120 wird ferner ein analoges Fernsehsignal von einem Fernsehsignalumsetzer 110 zugeführt, welcher ein audiovisuelles Signal in ein normiertes analoges Fernsehsignal an seinem Ausgang 111 umsetzt. Die Bildeinblendung 120 fügt die ausgelesenen Videosequenzen beispielsweise als „Bild-im-Bild” („Picture-in-Picture”, kurz „PIP”) in das analoge Fernsehsignal ein. Das so gebildete „PIP”-Fernsehsignal am Ausgang 121 der Bildeinblendung 120 wird gemäß 2 von einem Fernsehsignalsender 150 über einen analogen Übertragungsweg 151 an einen Empfänger 160 übertragen. Bei der Wiedergabe des empfangenen Fernsehsignals 50 auf einer Wiedergabevorrichtung 170 (Display) können gleichzeitig der Bildteil des audiovisuellen Signals und davon getrennt die Gebärden eines Gebärdendolmetschers betrachtet werden.
Bei einer zweiten, in 3 dargestellten Ausführungsform für die Weiterverarbeitung der generierten Videosequenzen werden die vom Rechner 20 auf die Ausgangsleitung 21 ausgelesenen Videosequenzen entweder direkt einem Multiplexer 220 zugeführt oder nach erfolgter Zwischenspeicherung in einem Videospeicher („Sequenzenspeicher”) 130 über dessen Ausgang 131. Dem Multiplexer 220 wird ferner von dem Fernsehsignalumsetzter 110 von dessen Ausgang 112 ein digitales Fernsehsendesignal zugeführt, das einen gesonderten Datenkanal enthält, in welchen der Multiplexer 220 die Videosequenzen einfügt. Das so aufbereitete digitale Fernsehsignal am Ausgang 221 des Multiplexers 240 wird wiederum über einen Fernsehsignalsender 150 über einen digitalen Übertragungsweg 151 an einen Empfänger 160 übertragen. Bei der Wiedergabe des empfangenen digitalen Fernsehsignals 50 auf einer Wiedergabevorrichtung 170 (Display) können gleichzeitig der Bildteil des audiovisuellen Signals und davon getrennt die Gebärden eines Gebärdendolmetschers betrachtet werden.
Die Videosequenzen 21 können ferner, wie in 3 dargestellt ist, von dem Speicher 130 (oder auch direkt vom Rechner 20) auf einem unabhängigen zweiten Übertragungsweg 190 (z. B. über Internet) an einen Benutzer übertragen werden. In diesem Falle erfolgt keine Einfügung der Videosequenzen in das digitale Fernsehsignal durch einen Multiplexer 220. Vielmehr können die über den unabhängigen zweiten Übertragungsweg 190 vom Benutzer empfangenen Videosequenzen und Übergangssequenzen auf Befehl des Benutzers über eine Bildeinblendung 200 in das vom Empfänger 160 empfangene digitale Fernsehsignal eingefügt und die Gebärden als Bild-im-Bild auf dem Display 170 wiedergeben werden.
Eine weitere, in 3 dargestellte Alternative besteht darin, die generierten Videosequenzen 21 individuell über den zweiten Übertragungsweg 190 auszuspielen (Broadcast oder Streaming) oder über einen Ausgang 133 des Videospeichers 130 für einen Abruf (beispielsweise für ein Hörbuch 210) zur Verfügung zu stellen.
Je nach dem, in welcher Form das audiovisuelle Signal generiert oder abgeleitet wird, zeigt 1 für die Zuführung der Textdaten zu dem Rechner 20 beispielhaft eine Offline-Version und eine Online-Version. Bei der Online-Version wird das audiovisuelle Signal in einem Fernseh- oder Filmstudio 60 mit einer Kamera 61 und einem Sprachmikrofon 62 erzeugt. Der Sprachanteil des audiovisuellen Signals wird über einen Tonausgang 64 des Sprachmikrofons 60 einem Textkonverter 70 zugeführt, welcher die gesprochene Sprache in Textdaten aus Wörtern und/oder Begriffen der Lautsprache umsetzt, also ein Zwischenformat des Sprachsignals erzeugt. Die Textdaten werden dann über eine Textdatenleitung 71 an den Rechner 20 übertragen, wo sie die zugeordneten Daten der Gebärdensprache in der Datenbank 10 adressieren.
Im Falle der Verwendung eines so genannten „Telepromters” 90 im Studio 60, bei dem ein Sprecher den Sprechtext von einem Bildschirm abliest, werden die Textdaten des Telepromters 90 über die Leitung 91 dem Textkonverter 70 oder (nicht gezeigt) direkt dem Rechner 20 zugeführt.
Bei der Offline-Version wird der Sprachanteil des audiovisuellen Signals beispielsweise am Audioausgang 81 eines Filmabtasters 80 abgenommen, welcher einen Kinofilm in ein Fernseh-Tonsignal umsetzt. Anstelle eines Filmabtasters 80 kann auch ein Plattenspeichermedium (z. B. DVD) für das audiovisuelle Signal vorsehen sein. Der Sprachanteil des entnommenen audiovisuellen Signals wird wiederum dem Textkonverter 70 (oder einem weiteren, nicht gesondert dargestellten Textkonverter) zugeführt, welcher die gesprochene Sprache in Textdaten aus Wörtern und/oder Begriffen der Lautsprache für den Rechner 20 umsetzt.
Die audiovisuellen Signale aus dem Studio 60 oder dem Filmabtaster 80 können vorzugsweise ferner über deren Ausgänge 65 bzw. 82 in einem Signalspeicher 50 gespeichert werden. Der Signalspeicher 50 führt über seinen Ausgang 51 das gespeicherte audiovisuelle Signal dem Fernsehsignalumsetzer 110 zu, welcher aus dem zugeführten audiovisuellen Signal ein analoges oder digitales Fernsehsignal erzeugt. Es ist natürlich auch möglich, die audiovisuellen Signale aus dem Studio 60 oder dem Filmabtaster 80 direkt dem Fernsehsignalumsetzer 110 zuzuführen.
Im Fall von Radiosignalen gelten obige Ausführungen in analoger Weise, nur dass kein zum Audiosignal paralleles Videosignal existiert. Im Online-Modus wird das Audiosignal direkt über das Mikrofon 60 aufgenommen und über 64 dem Textkonverter 70 zugeführt. Im Offline-Modus wird das Audiosignal einer Audiodatei, die in einem beliebigen Format vorliegen kann, dem Textkonverter zugeführt. Zur Optimierung der Synchronisation der Videosequenz mit den Gebärden und der parallelen Videosequenz kann, wie in 1 gezeigt ist, optional eine Logik 100 (z. B. Framerate-Konverter) eingeschleift werden, die anhand der Zeitinformationen aus dem ursprünglichen Audiosignal und dem Videosignal (Zeitmarke der Kamera 61 am Kameraausgang 63) sowohl die Abspielgeschwindigkeit der Gebärden-Videosequenz aus dem Rechner 20 als auch des ursprünglichen audiovisuellen Signals aus dem Signalspeicher 50 dynamisch variiert (beschleunigt bzw. verlangsamt). Hierzu ist der Steuerausgang 101 der Logik 100 sowohl mit dem Rechner 20 als auch mit dem Signalspeicher 50 verbunden. Durch diese Synchronisation lässt sich ein größerer Zeitverzug zwischen Lautsprache und Gebärdensprache im „on-line”-Modus reduzieren und im „off-line”-Modus weitgehend vermeiden.

Claims

Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose, gekennzeichnet durch folgende Merkmale: – Eine Datenbank (10), in welcher Textdaten von Wörtern und Syntax der Lautsprache sowie Sequenzen von Videodaten mit den zugehörigen Bedeutungen in der Gebärdensprache gespeichert sind, und – ein Rechner (20), welcher mit der Datenbank (10) kommuniziert, um zugeführte Textdaten einer Lautsprache in zugehörige Videosequenzen der Gebärdensprache zu übersetzen, – wobei in der Datenbank (10) ferner Videosequenzen von Hand-Grundstellungen zur Definition von Übergangspositionen zwischen einzelnen grammatikalischen Strukturen der Gebärdensprache als Metadaten gespeichert sind, welche bei der Übersetzung durch den Rechner (20) zwischen die Videosequenzen für die grammatikalischen Strukturen der Gebärdensprache eingefügt werden.
Anordnung nach Anspruch 1, gekennzeichnet durch eine Einrichtung (120; 220) zum Einfügen der vom Rechner (20) übersetzten Videosequenzen in ein audiovisuelles Signal.
Anordnung nach Anspruch 1 oder 2, gekennzeichnet durch einen Konverter (70) zum Umwandeln des Tonsignalanteils eines audiovisuellen Signals in Textdaten und zum Zuführen der Textdaten zu dem Rechner (20).
Anordnung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Logikeinrichtung (100) vorgesehen ist, welche dem Rechner (20) eine aus dem audiovisuellen Signal abgeleitete Zeitinformation zuführt, wobei die zugeführte Zeitinformation sowohl die Abspielgeschwindigkeit der Videosequenz aus dem Rechner (20) als auch des ursprünglichen audiovisuellen Signals dynamisch variiert.
Anordnung nach einem der Ansprüche 1 bis 4, wobei das audiovisuelle Signal als digitales Signal über einen Fernsehsignalsender (150) an einen Empfänger (160) übertragen wird, dadurch gekennzeichnet, dass ein unabhängiger zweiter Übertragungsweg 190 (z. B. über Internet) für die Videosequenzen (21) vorgesehen ist, auf welchem die Videosequenzen (21) von einem Videospeicher (130) oder direkt vom Rechner (20) an einen Benutzer übertragen werden und dass mit dem Empfänger (160) eine Bildeinblendung (200) verbunden ist, um die über den unabhängigen zweiten Übertragungsweg (190) an den Benutzer übertragenen Videosequenzen (21) in das vom Empfänger (160) empfangene digitale Fernsehsignal als Bild-im-Bild einzufügen.
Anordnung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein unabhängiger zweiter Übertragungsweg 190 (z. B. über Internet) für die Videosequenzen (21) vorgesehen ist, auf welchem die Videosequenzen (21) von einem Videospeicher (130) oder direkt vom Rechner (20) für Broadcast- oder Streaming-Anwendungen ausgespielt oder für einen Abruf (beispielsweise für ein Hörbuch 210) zur Verfügung gestellt werden.
Empfänger für ein digitales audiovisuelles Signal, gekennzeichnet durch eine mit dem Empfänger (160) verbundene Bildeinblendung (200), um die über einen unabhängigen zweiten Übertragungsweg (190) übertragenen Videosequenzen (21) in das vom Empfänger (160) empfangene digitale Fernsehsignal als Bild-im-Bild einzufügen.