DE102017114068A1 - Method for outputting media data - Google Patents

Method for outputting media data Download PDF

Info

Publication number
DE102017114068A1
DE102017114068A1 DE102017114068.9A DE102017114068A DE102017114068A1 DE 102017114068 A1 DE102017114068 A1 DE 102017114068A1 DE 102017114068 A DE102017114068 A DE 102017114068A DE 102017114068 A1 DE102017114068 A1 DE 102017114068A1
Authority
DE
Germany
Prior art keywords
information
eyes
mechanical contact
media data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017114068.9A
Other languages
German (de)
Inventor
Anmelder Gleich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HILL, DAVID, DE
Original Assignee
David Hill
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by David Hill filed Critical David Hill
Publication of DE102017114068A1 publication Critical patent/DE102017114068A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

Die Erfindung betrifft ein Verfahren zur Ausgabe von Mediendaten, insbesondere Audiodateien, Videodateien sowie Steuersignalen in Abhängigkeit eines Datenstroms mindestens eines Sensors. Der Sensor dient dabei zur Verfolgung von Gesten, insbesondere von Augenbewegungen auf einer Referenzfläche, z.B. einer Oberfläche, insbesondere einem Bildschirm. Der Sensor ist dabei in der Lage eine Betrachtungsrichtung bzw. Position der Augen zu einer Position oder einem Bereich auf der Oberfläche bzw. dem Bildschirm eindeutig zuzuordnen. Erfindungsgemäß sind auf der Oberfläche Informationen in Informationssegmenten, insbesondere Wörtern, dargestellt und die Mediendaten werden in Abhängigkeit mindestens eines Erfassungsparameters, welcher Daten aus dem Datenstrom des Sensors umfasst, bezogen auf ein Informationssegment ausgegeben.The invention relates to a method for outputting media data, in particular audio files, video files and control signals as a function of a data stream of at least one sensor. The sensor serves to track gestures, in particular eye movements on a reference surface, e.g. a surface, in particular a screen. The sensor is thereby able to unambiguously assign a viewing direction or position of the eyes to a position or a region on the surface or the screen. According to the invention, information is presented in information segments, in particular words, on the surface, and the media data is output in relation to at least one acquisition parameter, which comprises data from the data stream of the sensor, based on an information segment.

Description

Die Erfindung betrifft ein Verfahren zur Ausgabe von Mediendaten, insbesondere Audiodateien, Videodateien sowie Steuersignalen.The invention relates to a method for outputting media data, in particular audio files, video files and control signals.

Elektronische Bücher, sogenannte E-Books, erfreuen sich großer Beliebtheit. Dabei wird auf einem elektronischen Datenträger, welcher üblicherweise einen Bildschirm an einer Oberfläche umfasst, ein literarisches Werk in Form eines Text- und/oder Bilderbuches gespeichert und auf dem Bildschirm für den Leser sichtbar gemacht. Besonders beliebt sind in diesem Zusammenhang sogenannte „Tablet-Computer“, welche in besonders kompakter Bauweise die Funktionalitäten realisieren.Electronic books, so-called e-books, enjoy great popularity. It is stored on an electronic disk, which usually includes a screen on a surface, a literary work in the form of a text and / or picture book and made visible on the screen for the reader. Particularly popular in this context are so-called "tablet computers", which realize the functionalities in a particularly compact design.

Das Erlebnis derartiger Bücher ist dabei jedoch auf die Betrachtung bzw. das Lesen des Buches beschränkt. Es ist zwar bekannt, dass derartige Geräte auch parallel in einer gesonderten Applikation Audiodateien abspielen können, jedoch sind diese Dateien nicht mit dem elektronischen Buch verknüpft und stellen lediglich eine nebengeordnete Anwendung dar. Das Leseerlebnis und das Hörerlebnis sind dabei jedoch voneinander unabhängig. Die Nutzer derartiger Medien sind jedoch stets daran interessiert, das Konsumerlebnis an digitalen Medien zu verstärken.However, the experience of such books is limited to viewing or reading the book. Although it is known that such devices can also play audio files in parallel in a separate application, however, these files are not linked to the electronic book and represent only a sibling application. However, the reading experience and the listening experience are independent of each other. However, users of such media are always interested in enhancing the consumer experience of digital media.

Aufgabe der Erfindung ist es, das Erlebnis beim Betrachten/Lesen derartiger elektronischer Bücher zu verbessern.The object of the invention is to improve the experience when viewing / reading such electronic books.

Diese Aufgabe wird durch ein Verfahren zur Ausgabe von Mediendaten in Sinne des Patentanspruchs 1 gelöst. Vorteilhafte Weiterbildungen und zweckmäßige Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.This object is achieved by a method for outputting media data within the meaning of patent claim 1. Advantageous developments and expedient refinements are specified in the dependent claims.

Mediendaten im Sinne der Erfindung sind z.B. Audiodateien, Videodateien sowie Steuersignale für zusätzliche Geräte. Auch Verarbeitungsanweisungen oder Verarbeitungsoperationen für entsprechende Dateien, wie z.B. Audioeffekte oder Videoeffekte können im Sinne der Erfindung als Mediendaten verstanden werden.Media data in the sense of the invention are e.g. Audio files, video files and control signals for additional devices. Also, processing instructions or processing operations for corresponding files, e.g. Audio effects or video effects can be understood as media data within the meaning of the invention.

Die Erfindung betrifft ein Verfahren zur Ausgabe von Mediendaten, insbesondere Audiodateien, Videodateien sowie Steuersignalen in Abhängigkeit eines Datenstroms mindestens eines Sensors. Der Sensor dient dabei zur Verfolgung von Gesten, insbesondere von Augenbewegungen auf einer Referenzfläche, z.B. einer Oberfläche, insbesondere einem Bildschirm. Der Sensor ist dabei in der Lage eine Betrachtungsrichtung bzw. Position der Augen zu einer Position oder einem Bereich auf der Oberfläche bzw. dem Bildschirm eindeutig zuzuordnen. Erfindungsgemäß sind auf der Oberfläche Informationen in Informationssegmenten, insbesondere Wörtern, dargestellt und die Mediendaten werden in Abhängigkeit mindestens eines Erfassungsparameters, welcher Daten aus dem Datenstrom des Sensors umfasst, bezogen auf ein Informationssegment ausgegeben.The invention relates to a method for outputting media data, in particular audio files, video files and control signals as a function of a data stream of at least one sensor. The sensor serves to track gestures, in particular eye movements on a reference surface, e.g. a surface, in particular a screen. The sensor is thereby able to unambiguously assign a viewing direction or position of the eyes to a position or a region on the surface or the screen. According to the invention, information is presented in information segments, in particular words, on the surface, and the media data is output in relation to at least one acquisition parameter, which comprises data from the data stream of the sensor, based on an information segment.

Es ist auch möglich, die erfinderische Idee über eine berührungsempfindliche Oberfläche, ein sogenanntes Touch-Display, zu realisieren. Dabei wird als Geste ein mechanischer Kontakt, beispielsweise ein verfolgen des Textes mit dem Finger oder ein Berühren einer Zeile oder eines Zeilenrandes mit einem Finger durchgeführt, wie es beim Lesen zum einfacheren Verfolgen der Lesezeile bei klassischen Büchern oftmals gemacht wird. Der Erfassungsparameter kennt dabei durch den mechanischen Kontakt das gelesene Wort oder die gelesene Zeile und es werden die Mediendaten ausgegeben, welche zu dem betreffenden Wort oder der betreffenden Zeile bzw. deren Informationssegmenten gehören.It is also possible to realize the inventive idea via a touch-sensitive surface, a so-called touch display. In this case, as a gesture, a mechanical contact, for example, a tracking of the text with a finger or touching a line or a line edge performed with a finger, as is often done when reading to facilitate tracking the reading line in classic books. The detection parameter knows through the mechanical contact the read word or the read line and the media data are output which belong to the relevant word or line or their information segments.

Durch die Erfindung ist es möglich, Mediendaten wie z.B. Audiodaten kontextspezifisch dem Text zugeordnet wieder zu geben. Liest der Leser z.B. die Worte „der Wind rauscht“, kann ein Audiosignal in Form des zugehörigen Geräusches wiedergegeben werden. Um die Wiedergabe der Mediendaten, welche eine Vielzahl von Audiodaten umfassen, gleichmäßig wieder zu geben, diese aber gleichzeitig an den Kontext der Informationen anzupassen, ist eine kontextspezifische Segmentierung vorgesehen, die spezifischer ist als z.B. eine reine Aufteilung nach Sätzen oder Wörtern. Auch einzelne Silben, Buchstaben oder sogar eingebettete oder einzeln dargestellte Bilder sind als Segmente anzusehen.By the invention it is possible to use media data such as e.g. Audio data context-specific to the text assigned to give again. If the reader reads e.g. the words "the wind rustles", an audio signal can be played in the form of the associated noise. In order to evenly reproduce the reproduction of the media data comprising a plurality of audio data, but to adapt them simultaneously to the context of the information, a context-specific segmentation is provided which is more specific than e.g. a pure division according to sentences or words. Individual syllables, letters or even embedded or individually displayed images are to be regarded as segments.

Informationen im Sinne der Erfindung sind daher insbesondere Texte und/oder Bilder sowie andere grafische oder haptische Elemente, welche sich durch die Oberfläche, z.B. einen Bildschirm darstellen lassen. Die Informationen sind erfindungsgemäß in Informationssegmente unterteilt, welche z.B. durch Buchstaben, Bildelemente, Bilder, Symbole, Silben oder Wörter und Satzzeichen definiert sein können.Information within the meaning of the invention is therefore in particular texts and / or images as well as other graphic or haptic elements which are defined by the surface, e.g. display a screen. The information is divided according to the invention into information segments which are e.g. can be defined by letters, picture elements, pictures, symbols, syllables or words and punctuation marks.

Neben Audiodaten oder auch Videodaten in Form von Bildeffekten, Farbveränderungen oder sogar Filmsequenzen können auch Steuersignale erfindungsgemäß wiedergegeben werden. Steuersignale im Sinne der Erfindung können insbesondere Signale an weitere Geräte umfassen. Beispielhaft kann die Steuerung der Umgebungsbeleuchtung in Lichtrichtung, Ausleuchtung und Lichtfarbe im Zusammenhang mit dem Erfassungsparameter erfolgen. Auch physische Effekte wie z.B. motorische Bewegung an einem Sessel oder Gebläseeffekte sind vorgesehen.In addition to audio data or video data in the form of image effects, color changes or even film sequences, control signals can also be reproduced according to the invention. Control signals in the sense of the invention may in particular comprise signals to other devices. By way of example, the control of the ambient lighting in the direction of light, illumination and light color can take place in conjunction with the detection parameter. Also physical effects such as motor movement on a chair or blower effects are provided.

In einer bevorzugten Weiterbildung ist vorgesehen, dass der Erfassungsparameter eine Verweilzeit der Position der Augen auf einem Informationssegment umfasst. Auf diese Weise kann die Wiedergabe der Mediendaten an die Lesegeschwindigkeit oder eine „schöpferische Lesepause“ angepasst werden, um das Erlebnis weiter zu verbessern.In a preferred embodiment it is provided that the detection parameter a Dwell time of the position of the eyes on an information segment comprises. In this way, the playback of the media data can be adapted to the reading speed or a "creative reading break" to further enhance the experience.

In einer Weiterbildung ist überdies vorgesehen, dass der Erfassungsparameter eine verstrichene Verweilzeit der Position der Augen auf einem Informationssegment umfasst, welches vom aktuell von der Position der Augen erfassten Informationssegment verschieden ist. Durch die Erfassung der Verweilzeiten der Position der Augen auf vorangegangenen Informationssegmenten lassen sich detailliertere Informationen über den Lese-/Betrachtungsfluss des Benutzers gewinnen, wodurch die Wiedergabe der Mediendaten und damit das Nutzungserlebnis weiter verfeinert wird. Zudem kann auf diese Weise erkannt werden, ob Silben oder Wörter „überlesen“ werden, der Leser den Kontext aber insgesamt erfasst oder nicht.In a development, it is further provided that the detection parameter comprises an elapsed residence time of the position of the eyes on an information segment, which is different from the information segment currently detected by the position of the eyes. By capturing eye dwell times on previous information segments, more detailed information about the user's read / watch flow can be obtained, further refining the playback of the media data and thus the user experience. In addition, it can be recognized in this way whether syllables or words are "read over", but the reader as a whole captures the context or not.

In einer zweckmäßigen Ausbildungsform der Erfindung ist vorgesehen, dass der Erfassungsparameter eine Reihenfolge von Informationssegmenten umfasst. Durch die Möglichkeit, die Informationssegmente entlang einer Reihenfolge im Erfassungsparameter zu ordnen, kann die Leserichtung überwacht werden und erkannt werden, ob der Benutzer tatsächlich liest oder ob er im Text ohne Lesefluss umherblickt.In an expedient embodiment of the invention it is provided that the detection parameter comprises a sequence of information segments. By being able to arrange the information segments along an order in the acquisition parameter, the reading direction can be monitored and it can be recognized whether the user is actually reading or whether he is looking around in the text without reading fluency.

Besonders vorteilhaft ist es dabei, dass jedem Informationssegment eine eindeutige Identifikation zugeordnet ist. Auf diese Weise kann die Wiedergabe der Mediendaten an jeder Stelle der Information punktgenau auf das entsprechende Informationssegment abgestimmt gestartet, pausiert oder gestoppt werden. Auch eine Speicherung der Leseposition, z.B. bei einer Lese-/Betrachtungspause ist möglich.It is particularly advantageous that each information segment is assigned a unique identification. In this way, the playback of the media data at each point of the information can be started, paused or stopped with pinpoint accuracy matched to the corresponding information segment. Also storing the reading position, e.g. during a reading / viewing break is possible.

In einer überdies zweckmäßigen Ausführung ist vorgesehen, dass durch eine Reihenfolge der Informationssegmente ein Informationsfluss, insbesondere eine Leserichtung bzw. Betrachtungsrichtung vorgegeben ist und der Erfassungsparameter als Folge des Datenstroms der Augenbewegung Informationen über die Verfolgung des Informationsflusses, insbesondere der Leserichtung enthält. Die Vorrichtung, welche das erfindungsgemäße Verfahren ausführt, ist dabei in der Lage zu erkennen, ob ein Benutzer die Information tatsächlich fortlaufend betrachtet, also liest bzw. die Bilder in der korrekten Reihenfolge ansieht. Eine Lesepause kann dabei unterschiedlich ausgewertet werden, je nachdem, ob der Benutzer nach der Pause dem Kontext weiter folgt, oder ob er z.B. zurück oder an eine andere Stelle im Text bzw. den Informationssegmenten springt.In a further expedient embodiment, it is provided that an information flow, in particular a reading direction or viewing direction, is predetermined by an order of the information segments and the acquisition parameter contains information about the tracking of the information flow, in particular the reading direction, as a consequence of the data flow of the eye movement. The device which carries out the method according to the invention is able to recognize whether a user actually views the information continuously, ie reads or views the images in the correct sequence. A reading pause can be evaluated differently, depending on whether the user continues to follow the context after the pause, or whether he is following e.g. back or to another place in the text or the information segments jumps.

Weiterhin vorteilhaft für das erfindungsgemäße Verfahren ist es, dass der Erfassungsparameter Informationen über die Gesten als solche, beispielsweise über geöffnete und geschlossen Augen enthält. Auf diese Weise kann noch definierter erkannt werden, ob der Benutzer gerade die Wiedergabe der Mediendaten zum entsprechenden Informationsfluss / Lesefluss wünscht, dabei aber nur geblinzelt hat, oder ob eine Wiedergabe abbrechen oder ausblenden soll, weil z.B. die Augen geschlossen werden. Auch weitere Gesten wie das Ablegen des Kopfes beim Einschlafen gegenüber einem nachdenkenden Schließen der Augen oder Aufblicken an die Decke können erkannt und ausgewertet werden.It is furthermore advantageous for the method according to the invention that the detection parameter contains information about the gestures as such, for example via opened and closed eyes. In this way, it can be further defined whether the user just wants to playback the media data for the corresponding information flow / read flow, but has only blinked, or whether a playback should stop or fade, because e.g. the eyes are closed. Other gestures such as dropping the head while falling asleep in the face of a thoughtful closing of the eyes or looking up at the ceiling can be detected and evaluated.

Besonders bevorzugt ist auch vorgesehen, dass die Mediendaten eine Mischung bzw. Überlagerung verschiedener Medien, z.B. Hintergrundgeräusche und/oder Musik und/oder Effekte, umfassen.It is also particularly preferred for the media data to comprise a mixture or superimposition of different media, e.g. Background noise and / or music and / or effects.

Audioeffekte können z.B. durch Klangeffekte wie Hall oder Verzerrung, aber auch durch Stereo oder Raumklangeffekte, wie beispielsweise bekannt von mehrkanaligen Tonverfahren wie den Standards 5.1 oder 7.1, gebildet werden. Auch Übergänge zwischen Stereokanälen, s.g. „Panning“ sind als Audioeffekte im Sinne der Erfindung zu verstehen.Audio effects can e.g. by sound effects such as reverberation or distortion, but also by stereo or surround sound effects, such as known from multi-channel sounding methods such as standards 5.1 or 7.1, are formed. Also transitions between stereo channels, s.g. "Panning" are to be understood as audio effects within the meaning of the invention.

Durch diese zusätzlichen Optionen im Umfang der Mediendaten ist das Erlebnis beim Lesen weiterhin verstärkbar. Es kann z.B. beim Text „ein heranfahrendes Auto“ ein Zunehmen der Lautstärke, gekoppelt mit Stereo- oder Raumklangeffekten das Leseerlebnis erheblich unterstützen. Auch Halleffekte bei Szenen in großen Räumen oder dergleichen sind erfindungsgemäß vorgesehen.These additional options in the scope of the media data, the reading experience continues to be amplified. It can e.g. in the text "a approaching car" an increase in volume, coupled with stereo or surround sound effects significantly support the reading experience. Hall effects in scenes in large rooms or the like are provided according to the invention.

Mediendaten im Sinne der Erfindung stellen jedoch in keinem Fall die reine Wiedergabe des geschriebenen Wortes durch Vorlesen dar. Die erfindungsgemäßen Mediendaten unterscheiden sich grundlegend von sogenannten „Hörbüchern“, bei denen ein Lektor den geschriebenen Text vorliest. Vielmehr sollen die erfindungsgemäßen Mediendaten dazu dienen, die inhaltlichen Informationen des Buches zu unterstützen, um das Erlebnis beim Betrachten / Lesen des Buches, unabhängig ob es sich um ein Textbuch, ein Bilderbuch oder eine Kombination daraus handelt, zu intensivieren.However, media data in the sense of the invention in no case represent the pure reproduction of the written word by reading aloud. The media data according to the invention differ fundamentally from so-called "audiobooks" in which a reader reads the written text. Rather, the media data according to the invention should serve to support the content information of the book in order to intensify the experience when viewing / reading the book, regardless of whether it is a text book, a picture book or a combination thereof.

Um die genaue Position des Lesenden über die Geste als mechanischen Kontakt herauszufinden ist eine weitere Möglichkeit, mit dem Finger unter jedem Wort durchzustreichen. Bei kleinen Bildschirmen mit geringer Schriftgröße sowie langen Texten ist das oftmals jedoch umständlich und verdirbt den Spaß am Lesen.To find out the exact position of the reader on the gesture as a mechanical contact is another way to cross your finger under each word. However, this is often cumbersome and spoils the enjoyment of reading on small screens with small font sizes and long texts.

Eine Weiterbildung der Erfindung sieht vor, die Position nur zeilenweise anzugeben. Der Leser berührt die momentan gelesene Zeile am Seitenrand und schiebt den Finger eine Zeile nach unten, sobald er am Zeilenende angekommen ist und die nächste Zeile zu lesen beginnt. Ist er am Seitenende angekommen, hebt er den Finger von der letzten Zeile und die Anwendung blättert zur nächsten Seite.A development of the invention provides to specify the position only line by line. The reader touches the currently read line at the edge of the page and pushes the finger down one line as soon as it arrives at the end of the line and begins reading the next line. When he reaches the bottom of the page, he lifts his finger from the last line and the application scrolls to the next page.

Im Verfahren wird nun ausgewertet und an den Informationsparameter übergeben, wann eine Zeile begonnen wurde, wann eine Zeile beendet wurde und die Zeit, die für die letzte Zeile benötigt wurde. Weiterhin ist die Anzahl an Worten in einer Zeile bekannt. Daraus lässt sich dann über eine gemittelte Lesegeschwindigkeit die Wiedergabe der Mediendaten so steuern, dass ein gewünschtes realistisches Audioerlebnis erreicht wird. Zu Anfang wird von einer ungefähren Lesegeschwindigkeit von 3 Worten pro Sekunde ausgegangen. Berührt ein Leser also eine Zeile mit 9 Worten, wird die Wortposition innerhalb von 3 Sekunden in gleichen Abständen von 1 auf 9 steigen und die zugehörigen Mediendaten abgespielt. Sobald der Leser den Finger hebt oder die Zeile wechselt kann die Anzahl der gelesenen Worte pro Sekunde neu errechnet und diese mittlere Lesegeschwindigkeit an den Informationsparameter übergeben werden.The method now evaluates and passes to the information parameter when a line was started, when a line was ended, and the time that was needed for the last line. Furthermore, the number of words in a line is known. From this, an average reading speed can be used to control the playback of the media data in such a way that a desired realistic audio experience is achieved. Initially, an approximate reading speed of 3 words per second is assumed. Thus, if a reader touches a 9-word line, the word position will increase from 1 to 9 at equal intervals within 3 seconds and the associated media data will be played back. As soon as the reader raises his finger or changes the line, the number of words read per second can be recalculated and this average reading speed can be transferred to the information parameter.

Bevorzugt wird die Lesegeschwindigkeit jedes Mal bei Abschluss einer Zeile aktualisiert und an den Informationsparameter übergeben. Weicht der Wert zu sehr von bisherigen Werten ab, wird er verworfen und als Fehler oder Leseunterbrechung gewertet.Preferably, the read speed is updated each time a row is completed and passed to the information parameter. If the value deviates too much from previous values, it is rejected and evaluated as an error or read interruption.

Berührt der Leser die letzte Zeile einer Seite und lässt diese wieder los, geht das Verfahren vom Abschluss einer Seite aus und blättert zur nächsten Seite.When the reader touches the last line of a page and releases it, the process proceeds from completing one page and flips to the next page.

Im Fall der Gestensteuerung durch die Augen ist vorgesehen, dass ein Umblättern des Textes erfolgt, wenn die Augenbewegung vom unteren Seitenrand nach oben, zum Start einer neuen Seite erfolgt. Dies kann ebenfalls über den Informationsparameter gesteuert werden.In the case of the gesture control by the eyes is intended that a page turning over of the text, when the eye movement from the lower edge of the page up, to start a new page. This can also be controlled via the information parameter.

Exemplarisch sollen die wesentlichen erfindungsgemäßen Objekte im folgenden Ausführungsbeispiel erläutert werden. Dabei zeigt

  • 1 exemplarisch eine Vorrichtung zur Ausführung des erfindungsgemäßen Verfahrens;
  • 2 einen Ausschnitt eines Ablaufdiagramms bei der Ausführung des erfindungsgemäßen Verfahrens.
By way of example, the essential objects according to the invention will be explained in the following exemplary embodiment. It shows
  • 1 an example of an apparatus for carrying out the method according to the invention;
  • 2 a section of a flowchart in the execution of the method according to the invention.

Im Einzelnen zeigt 1. einen sogenannten Tablet-Computer 1, auf dessen Bildschirm 2 ein Text 3 sowie ein Bild 4 dargestellt wird. Der Computer verfügt dabei über mindestens einen Sensor 5, bevorzugt eine Kamera zur Erfassung der Augen des Lesers. Bevorzugt sind weitere Sensoren 6 und 7, welche ebenfalls z.B. in Form von Kameras vorliegen vorgesehen, um die Position der Augen, z.B. durch Triangulation, präziser zu erfassen. Auch externe Module zur Bereitstellung von Sensordaten, wie z.B. Kamerabalken mit entsprechenden Kameras zum Anschluss an den Tablet Computer 1 sind denkbar.In detail shows 1 , a so-called tablet computer 1 , on its screen 2 a text 3 as well as a picture 4 is pictured. The computer has at least one sensor 5 , preferably a camera for detecting the eyes of the reader. Preference is given to further sensors 6 and 7 , which are also provided, for example, in the form of cameras provided to more precisely detect the position of the eyes, for example by triangulation. Also external modules for providing sensor data, such as camera bars with corresponding cameras for connection to the tablet computer 1 are conceivable.

Der Text 3 ist vorliegend in Informationssegmente unterteilt. Exemplarisch sind die Segmente 8 als das Wort „Lorem“ und 9 als das Wort „ipsum“ dargestellt. Auch Segmente, welche nur Wortteile oder Silben enthalten, sind vorgesehen. Dazu ist im Wort „consetetur“ die Silbe „cons“ dem Segment 10 und die Silbe „etetur“ dem Segment 11 zugeordnet. Das Bild 4 stellt ebenfalls ein Segment dar. Im Erfassungsparameter würden alle Segmente einer definierten, eindeutigen Reigenfolge folgen, um den Lesefluss erfassbar zu machen. Insbesondere das Verfolgen der Augenposition entlang der definierten Segmentfolge erlaubt es festzustellen, ob der Benutzer den Text liest oder ob er ihn lediglich betrachtet, ohne den Kontext wahrzunehmen.The text 3 is divided into information segments in the present case. Exemplary are the segments 8th represented as the word "Lorem" and 9 as the word "ipsum". Also, segments containing only word parts or syllables are provided. In addition, in the word "consetetur" the syllable "cons" is the segment 10 and the syllable "etetur" the segment 11 assigned. The picture 4 also represents a segment. In the acquisition parameter, all segments would follow a defined, unique sequence of sequences in order to make the read flow detectable. In particular, tracking the eye position along the defined segment sequence allows one to determine whether the user is reading the text or merely looking at it without perceiving the context.

Die Mediendaten können nun, ausgehend vom Erfassungsparameter wiedergegeben werden. Dabei wird das jeweilige Informationssegment ausgewertet und die Mediendaten in Form von Audiodaten z.B. auf einem Lautsprecher 12 oder einem Kopfhörer 13 ausgegeben. Auch eine Ausgabe von Videodateien, z.B. durch ein Aufleuchten des Bildes 4 in Form eines Blitzes beim Erreichen dieses Informationssegments ist denkbar.The media data can now be reproduced based on the acquisition parameter. The respective information segment is evaluated and the media data in the form of audio data eg on a loudspeaker 12 or a headphone 13 is output. Also an output of video files, eg by a flashing of the image 4 in the form of a lightning when reaching this information segment is conceivable.

Darüber hinaus können die Mediendaten auch Steuersignale, z.B. für Lichteffekte umfassen. Diese können über eine Verbindung 15 übertragen werden, die entweder kabelgebunden oder kabellos vorgesehen ist.In addition, the media data may also include control signals, eg for light effects. These can be connected 15 be transmitted, which is provided either wired or wireless.

2 schildert den Ablauf des erfindungsgemäßen Verfahrens anhand eines Beispiels. In einem ersten Schritt wird erkannt, ob die Augen den Bildschirm 2 betrachten und ob der Leser mit dem Lesevorgang beginnt. Auch die genaue Betrachtungsposition auf dem Bildschirm 2, bezogen auf ein Informationssegment 8-11 wird erfasst. 2 describes the sequence of the method according to the invention by way of example. In a first step it is detected if the eyes are the screen 2 and whether the reader starts reading. Also the exact viewing position on the screen 2 , related to an information segment 8th - 11 is recorded.

In einem weiteren Schritt wird nach Abgleich der Position der Betrachtung auf dem Bildschirm 2 mit den Informationssegmenten 8-11 die jeweilig dazu gehörende Mediendatei bzw. die dazu gehörenden Mediendaten ermittelt. Dazu gehören auch die Abspielweise, Effekte und sonstige Steuerdateien für z.B. Lichteffekte 14.In a further step, after adjusting the position of the viewing on the screen 2 with the information segments 8th - 11 determines the respective associated media file or the associated media data. This includes the playback mode, effects and other control files for eg light effects 14.

Sobald alle Daten im betreffenden Erfassungsparameter zusammengefasst werden, kann die Wiedergabe der Medieninhalte beginnen, welche auf dem Lautsprecher 12 oder dem Kopfhörer 13 erfolgt. Auch eine Wiedergabe auf drahtlosen Lautsprechern, Kopfhörern oder drahtlos angebundenen Stereoanlagen (z.B. Bluetooth oder anderen Standards) ist denkbar. Der Erfassungsparameter ist dabei nicht zwingend als ein einziger Datensatz zu verstehen. Vielmehr repräsentiert er die erforderlichen Datensätze, welche zur Steuerung der Ausgabe erforderlich sind.Once all data has been summarized in the respective acquisition parameter, playback of the media content which is on the loudspeaker can begin 12 or the headphones 13 he follows. Playback on wireless speakers, headphones or wirelessly connected stereos (eg Bluetooth or other standards) is also conceivable. The acquisition parameter is not necessarily to be understood as a single record. Rather, it represents the required data sets needed to control the output.

Exemplarisch umfasst der Erfassungsparameter 20 für das Informationssegment 8 mit der ID 1, das Wort „Lorem“ eine Vielzahl damit verknüpfter Mediendateien und Steuersignale wie Klangdateien (atmo.wav), Raumklanginformationen (Position im Raum), Effekte (Hallanteil), Lautstärke etc.. Dazu wird z.B. eine weitere Audiodatei (sprecher.wav) mit weiteren Informationen und Effekten eingemischt.By way of example, the acquisition parameter comprises 20 for the information segment 8 with the ID 1 , the word "Lorem" a variety of associated media files and control signals such as sound files (atmo.wav), surround sound information (position in space), effects (reverb), volume etc .. For this example, another audio file (sprecher.wav) with more Information and effects meddled.

Die Erfindung ist dabei nicht auf das Ausführungsbeispiel beschränkt. Sie umfasst alle Ausführungsformen, die im Umfang der Schutzansprüche vom Erfindungsgedanken erfasst sind.The invention is not limited to the embodiment. It includes all embodiments that are covered by the spirit of the invention within the scope of the claims.

Claims (11)

Verfahren zur Ausgabe von Mediendaten, insbesondere Audiodateien, Videodateien sowie Steuersignalen in Abhängigkeit eines Datenstroms mindestens eines Sensors, - wobei der Sensor zur Verfolgung von Gesten ausgebildet ist und - wobei die Gesten derart auf eine Referenzfläche, z.B. eine Oberfläche, insbesondere einen Bildschirm bezogen erfasst werden, dass einer Geste eine Position oder ein Bereich auf der Oberfläche eindeutig zugeordnet wird, dadurch gekennzeichnet, dass - auf der Oberfläche Informationen in Informationssegmenten, insbesondere Wörtern, dargestellt sind und - die Mediendaten in Abhängigkeit mindestens eines Erfassungsparameters, welcher Daten aus dem Datenstrom des Sensors umfasst, bezogen auf ein Informationssegment ausgegeben werden.Method for outputting media data, in particular audio files, video files and control signals as a function of a data stream of at least one sensor, - wherein the sensor is designed for tracking gestures and - wherein the gestures are detected relative to a reference surface, eg a surface, in particular a screen in that a gesture is unambiguously assigned to a position or a region on the surface, characterized in that - information in information segments, in particular words, are represented on the surface and - the media data is dependent on at least one acquisition parameter, which data from the data stream of the sensor includes, based on an information segment output. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Gesten durch Augenbewegungen gebildet sind und einer Position der Augen eine Position oder ein Bereich auf der Oberfläche eindeutig zugeordnet wird.Method according to Claim 1 , characterized in that the gestures are formed by eye movements and a position or an area on the surface is uniquely assigned to a position of the eyes. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Gesten durch einen mechanischen Kontakt, insbesondere einen am Rand der Referenzfläche geführten Finger oder ein Zeigegerät gebildet sind und einer Position des mechanischen Kontakts eine Position oder ein Bereich, insbesondere ein horizontal verlaufender schmaler Bereich wie z.B. eine Zeile auf der Oberfläche eindeutig zugeordnet wird.Method according to Claim 1 or 2 , characterized in that the gestures are formed by a mechanical contact, in particular a guided on the edge of the reference surface finger or a pointing device and a position of the mechanical contact a position or area, in particular a horizontally extending narrow area such as a line on the surface is assigned uniquely. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der Erfassungsparameter eine Verweilzeit der Geste, insbesondere einer Position der Augen oder eines mechanischen Kontakts, auf einem Informationssegment umfasst.Method according to one of the preceding claims, characterized in that the detection parameter comprises a residence time of the gesture, in particular a position of the eyes or a mechanical contact, on an information segment. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der Erfassungsparameter eine verstrichene Verweilzeit der Position der Augen oder des mechanischen Kontakts auf einem Informationssegment umfasst, welches vom aktuell von der Position der Augen bzw. durch die Position des mechanischen Kontakts erfassten Informationssegment verschieden ist.Method according to one of the preceding claims, characterized in that the detection parameter comprises an elapsed residence time of the position of the eyes or of the mechanical contact on an information segment which is different from the information segment currently detected by the position of the eyes or by the position of the mechanical contact. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der Erfassungsparameter eine Reihenfolge von Informationssegment umfasst.Method according to one of the preceding claims, characterized in that the detection parameter comprises an order of information segment. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass jedem Informationssegment eine eindeutige Identifikation zugeordnet ist.Method according to one of the preceding claims, characterized in that each information segment is assigned a unique identification. Verfahren nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass durch eine Reihenfolge der Informationssegmente ein Informationsfluss, insbesondere eine Leserichtung bzw. Betrachtungsrichtung vorgegeben ist und der Erfassungsparameter als Folge des Datenstroms der Augenbewegung oder des mechanischen Kontakts Informationen über die Verfolgung des Informationsflusses, insbesondere der Leserichtung enthält.Method according to one of Claims 4 or 5 , characterized in that an information flow, in particular a reading direction or viewing direction is predetermined by an order of the information segments and the detection parameter contains information on the tracking of the information flow, in particular the reading direction as a result of the data flow of the eye movement or the mechanical contact. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der Erfassungsparameter Informationen über die Gesten als solche, beispielsweise über geöffnete und geschlossene Augen oder das Auflegen oder Abheben eines Fingers enthält.Method according to one of the preceding claims, characterized in that the detection parameter contains information about the gestures as such, for example about opened and closed eyes or the placing or lifting of a finger. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Mediendaten eine Mischung bzw. Überlagerung verschiedener Medien, z.B. Sprache, Hintergrundgeräusche und/oder Musik und/oder Effekte, umfassen.Method according to one of the preceding claims, characterized in that the media data comprise a mixture or superimposition of different media, for example speech, background noise and / or music and / or effects. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass ein zeitlicher Verlauf der Geste, insbesondere des mechanischen Kontaktpunktes erfasst wird und im Erfassungsparameter eine gemittelte Geschwindigkeit einer Bewegung bzw. einer Dynamik der Geste enthalten ist.Method according to one of the preceding claims, characterized in that a temporal course of the gesture, in particular of the mechanical contact point is detected and in the detection parameter an average speed a movement or a dynamic of the gesture is included.
DE102017114068.9A 2017-03-23 2017-06-26 Method for outputting media data Pending DE102017114068A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017106339 2017-03-23
DE102017106339.0 2017-03-23

Publications (1)

Publication Number Publication Date
DE102017114068A1 true DE102017114068A1 (en) 2018-09-27

Family

ID=63449846

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017114068.9A Pending DE102017114068A1 (en) 2017-03-23 2017-06-26 Method for outputting media data

Country Status (1)

Country Link
DE (1) DE102017114068A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100645A2 (en) 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
US20100070281A1 (en) 2008-09-13 2010-03-18 At&T Intellectual Property I, L.P. System and method for audibly presenting selected text
US20110128283A1 (en) 2009-11-30 2011-06-02 Hon Hai Precision Industry Co., Ltd. File selection system and method
US20130063494A1 (en) 2011-09-12 2013-03-14 Microsoft Corporation Assistive reading interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100645A2 (en) 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
US20100070281A1 (en) 2008-09-13 2010-03-18 At&T Intellectual Property I, L.P. System and method for audibly presenting selected text
US20110128283A1 (en) 2009-11-30 2011-06-02 Hon Hai Precision Industry Co., Ltd. File selection system and method
US20130063494A1 (en) 2011-09-12 2013-03-14 Microsoft Corporation Assistive reading interface

Similar Documents

Publication Publication Date Title
CN105340014B (en) Touch optimization design for video editing
US9390171B2 (en) Segmenting and playback of whiteboard video capture
US4397635A (en) Reading teaching system
US20170337841A1 (en) Interactive multimedia story creation application
EP2972734A2 (en) New uses of smartphones and comparable mobile digital terminal devices
DE202007005984U1 (en) headgear
CN1134210A (en) Method for associating oral utterances meaningfully with writings seriatim in audio-visual work
CN105791950A (en) Power Point video recording method and device
WO2019019403A1 (en) Interactive situational teaching system for use in k12 stage
CN104952471A (en) Method, device and equipment for synthesizing media file
DE112019004062T5 (en) Preferentially driving a tactile feedback presentation device
DE112021001984T5 (en) SELECTING A PRIMARY TEXT-TO-SPEECH SOURCE BASED ON BODY POSTURE
US10460178B1 (en) Automated production of chapter file for video player
DE102017114068A1 (en) Method for outputting media data
CN101136232A (en) Double subtitling double track data media and player having parent language of foreign languages
CN112287129A (en) Audio data processing method and device and electronic equipment
DE4013070C2 (en)
Woodhall Audio Production and Postproduction
Fariello Mediating the “Upside Down”: the techno-historical acoustic in Netflix’s Stranger Things and The Black Tapes podcast
DE202017101642U1 (en) Application software for a mobile, digital terminal
CN110166841A (en) Multi-channel sound video detects real-time method for pushing automatically
Engstrom et al. Audio and Video Journalism
KR102495597B1 (en) Method for providing online lecture content for visually-impaired person and user terminal thereof
Finer Far Stretch-Listening to Sound Happening
JP2005189846A (en) Audio control screen system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: HILL, DAVID, DE

Free format text: FORMER OWNER: HILL, DAVID, 71679 ASPERG, DE

R082 Change of representative

Representative=s name: OTTEN, ROTH, DOBLER & PARTNER MBB PATENTANWAEL, DE

R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: HILL, DAVID, DE

Free format text: FORMER OWNER: HILL, DAVID, 76131 KARLSRUHE, DE

R082 Change of representative

Representative=s name: OTTEN, ROTH, DOBLER & PARTNER MBB PATENTANWAEL, DE