DE102020003509A1 - Verfahren zur Steuerung von Geräten und/oder Steuerung der Wiedergabe von medialen Inhalten während des Lesens eines vorgegebenen Textes. - Google Patents

Abstract

Verfahren zur Steuerung von Geräten und/oder Steuerung der Wiedergabe von medialen Inhalten während des Lesens eines vorgegebenen Texte, dadurch gekennzeichnet, dass ein vorgegebener Text in digitaler Form als Konfigurationsdatei in ein elektronisches Gerät oder in ein, per App befähigtes, Datenverarbeitungsgerät (z.B. PC, Laptop, Handy, Tablet, etc.) eingelesen wird und durch die im Text enthaltenen Steuerzeichen und das Erkennen der gerade gelesenen Textstelle, mit Hilfe von Eyetracking und/oder Spracherkennung, entsprechende Ausgaben und Steuerungen vornimmt. Die Ausgaben sind als Bild, Ton oder Video in der Konfigurationsdatei enthalten.

Description

• Texte werden häufig in beruflichen, schulischen Situationen (a) oder in einer Familie bzw. bei der Kinderbetreuung (b) wieder gegeben.
1. a) Das kann beispielsweise eine Präsentation oder ein Vortrag sein. Der Vortragende ist sehr mit dem Inhalt seines Vortrags beschäftigt. Ergänzende Informationen, die z.B. einen Sachverhalt visualisieren und erklären, müssen meist manuell gezeigt werden und verfügen bestenfalls um eine zeitgesteuerte Wiedergabe. In jedem Fall unterbrechen Sie den Vortragenden, erfordern viel Übung und funktionierende technische Hilfsmittel. Als Alternative bieten sich fertige Lichtbildvorträge oder ein Videofilm an. Hier sind aber keine Abweichungen oder Unterbrechungen möglich. Der anwesende Vortragende gerät in den Hintergrund.
2. b) Im privaten Bereich findet das Vorlesen oft gegenüber Kindern statt. Kinder lieben es vorgelesen zu bekommen. Es fördert die Bindung zwischen Kind und Vorlesendem, begeistert für Geschichten, fördert die Phantasie und vieles mehr. Auch hier erfordert das Vorlesen eine gewisse Übung und Geschicklichkeit. Der Vorlesende ist stark mit der Wiedergabe der Geschichte beschäftigt und verfügt nur begrenzt über Möglichkeiten, Geräusche und Stimmungen in die Geschichte einzubauen. Als Alternative bieten sich Hörbücher oder Hörspiele an. Sie können Geschichten mit verschiedenen Stimmen und Geräuschen wesentlich effektvoller wiedergeben. Allerdings ist hier der vorlesende Mensch überhaupt nicht notwendig und es entfallen alle positiven Effekte des Vorlesens.
• Das Problem beim Vortragen oder Vorlesen von Inhalten und Texten ist also, dass der Vorlesende mit Medien konkurrieren muss, die wesentlich effektvoller und eindeutiger, visuell und auditiv, Erklären und Erzählen können. Er kann und soll aber als empathischer und mitdenkender Mensch nicht ersatzlos wegfallen.
• Die Erfindung verbindet die Vorteile eines physisch anwesenden Vorlesers/Vortragenden und die Möglichkeiten moderner, multimedialer Information und Unterhaltung.
• Sie unterstützt einen Vortragenden (a) oder Vorlesenden (b) mit der Wiedergabe von multimedialen Inhalten über verschiedenste Geräte, die durch Schnittstellen, Netzwerke oder Funkverbindungen mit dem ausführenden Gerät der Erfindung verbunden sind, oder mit der Steuerung von Geräten, die über Schnittstellen mit dem ausführenden Gerät ansprechbar sind.
• Das Ausführen dieser Wiedergaben und Steuerungen findet passgenau zum gelesenen Text statt.
• Die Erkennung der aktuellen Textstelle findet durch Spracherkennung und/oder Eyetracking statt. Beide Erkennungsmethoden kommen entweder einzeln oder gemeinsam zum Einsatz, je nach Möglichkeiten und Leistungsfähigkeit des ausführenden Geräts.
• Ein Merkmal der Erfindung ist, dass die Texterkennung immer einen Schritt voraus ist und so erkennt, wenn der Lesefluß abbricht. Dies kann z.B. durch Zwischenfragen während eines Vortrags oder eine Unterbrechung beim Vorlesen für ein Kind passieren. In diesem Fall wird an der zuletzt erkannten Stelle pausiert und darauf gewartet, dass der Lesefluß hier wieder einsetzt. Zur Fehlerkorrektur wird auch der Text für die nächsten Sekunden mit beobachtet. Für den Fall, dass die Unterbrechung nur durch Zwischentöne oder undeutliches Lesen verursacht wurde. Erst nach einer bestimmten Zeit wird der Prozess pausiert und muss manuell angestoßen werden. Entweder an der zuletzt erkannten Stelle oder an einer selbst zu bestimmenden Stelle. (siehe 6)
• Die Nutzung des zu patentierende Verfahrens kann, wie in folgenden Beispielen erläutert, erfolgen.
• Beispiel 1, Snippet-Mode
• Ein Lehrer hat in seine Vorlesehilfe eine Konfigurationsdatei eingelesen, die nur einzelne Begriffe enthält und dazu definierte Bild- und Ton-Ausgaben. In diesem Beispiel zeigt sein Laptop über den Beamer beispielsweise das Bild der chemischen Formel von Methylester in dem Moment in dem der den zusammenhängenden Begriff „Abbildung Methylester“ nennt.
• Beispiel 2, Prompter-Mode
• Für einen Sprecher vor einer Kamera wird das Display des Teleprompters mit der Vorlesehilfe bespielt. Die Konfigurationsdatei enthällt in diesem Fall keine zusätzlichen Medien, scrollt aber den enthaltenen Text aufgrund der Erkennung der Textposition im Tempo des Lesers gleichmäßig mit.
• Beispiel 3, On-Screen-Mode
• Ein Erwachsener hat für eine Reise in die App der Vorlesehilfe auf seinem Tablet die On-Screen-Variante eines Vorlesebuchs für sein Kind geladen. Der Bildschirm könnte wie in 3 aussehen. Bei einer Zugfahrt liest er die Geschichte vom Tablet-Bildschirm ab und während des Vorlesens werden Abbildungen und Töne an den den vorgegebenen Stellen abgespielt bzw. angezeigt. Die Bedienung des Tablets ist während des Vorlesens nicht notwendig, da der Text automatisch mitscrollt.
• Beispiel 4, Off-Screen-Mode
• Ein Erwachsener hat im Laden ein Vorlesebuch für Kinder im Alter von 6 Jahren gekauft. Das Buch unterscheidet sich von anderen Büchern durch einen Erklärungsteil zur Vorlesehilfe, einem QR-Code um die passende Konfigurationsdatei herunter zu laden und bestimmte schreibweisen und Kennzeichen im eigentlichen Text, damit der Vorleser erkennt, was die Vorlesehilfe hier tun wird. Er scannt den QR-Code mit seinem Handy und lädt die Daten für die Vorlesehilfe auf sein Handy. Er startet die Vorlesehilfe, wählt noch die Seite aus, auf der er zu lesen beginnt, und legt das Handy dann beiseite. Siehe 2. Die Vorlesehilfe läuft jetzt bei ausgeschaltenem Display und spielt nur Audiodaten an den entsprechend erkannten Textstellen ab.
• Beispiel 5, Eye-Track-Mode
• Der Eye-Track-Mode ist für das stille Lesen für sich selbst gedacht. Dabei wird die Konfigurationsdatei wieder in die App eingelesen und am Display (1) still gelesen. Die Texterkennung erfolgt über die Erkennung der Augenposition und den in diesem Moment am Display angezeigten Text.
• Beispiel 6, Open-Mode
• Für die nicht-kommerzielle Verwendung kann in die App eine selbst geschriebene, oder von einer zu erwerbenden Software, Steuerdatei geladen werden. Der Aufbau (4) ist sehr einfach gehalten und ähnelt dem HTML-Duktus. Die Steuerzeichen im Text (5) sind ebenfalls sehr simpel gehalten.
• Bezugszeichenliste

❶

Hauptmenü

❷

Branding

❸

Setupmenü

❹

Lesebereich

❺

Steuerungsmenü

❻

Anzeige aktueller Ereignis-Elemente der Tonausgabe

❼Abb

Abb zur identifikation des aktuelle Mediums im Off-Screen-Modus

❽

Auswahl und Anzeige der aktuellen Seite im gerade gelesenen Mediums im Off-Screen-Modus

❾

Kurze Darstellung der aktuellen Textstelle im Off-Screen-Modus

❿

Einbinden einer Bild-oder Video-Darstellung im On-Screen-Modus

Vorlesebereich des On-Screen-Modus

Claims (1)

1. Verfahren zur Steuerung von Geräten und/oder Steuerung der Wiedergabe von medialen Inhalten während des Lesens eines vorgegebenen Texte, dadurch gekennzeichnet, dass ein vorgegebener Text in digitaler Form als Konfigurationsdatei in ein elektronisches Gerät oder in ein, per App befähigtes, Datenverarbeitungsgerät (z.B. PC, Laptop, Handy, Tablet, etc.) eingelesen wird und durch die im Text enthaltenen Steuerzeichen und das Erkennen der gerade gelesenen Textstelle, mit Hilfe von Eyetracking und/oder Spracherkennung, entsprechende Ausgaben und Steuerungen vornimmt. Die Ausgaben sind als Bild, Ton oder Video in der Konfigurationsdatei enthalten.

Images