DE102011109125A1 - Method for displaying media context during output of multimedia content e.g. video film, by transmission server, involves displaying media context as representation of context by client processing unit with own output device - Google Patents

Method for displaying media context during output of multimedia content e.g. video film, by transmission server, involves displaying media context as representation of context by client processing unit with own output device Download PDF

Info

Publication number
DE102011109125A1
DE102011109125A1 DE201110109125 DE102011109125A DE102011109125A1 DE 102011109125 A1 DE102011109125 A1 DE 102011109125A1 DE 201110109125 DE201110109125 DE 201110109125 DE 102011109125 A DE102011109125 A DE 102011109125A DE 102011109125 A1 DE102011109125 A1 DE 102011109125A1
Authority
DE
Germany
Prior art keywords
context
media
representation
computing unit
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201110109125
Other languages
German (de)
Inventor
Anmelder Gleich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exaring AG
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE201110109125 priority Critical patent/DE102011109125A1/en
Publication of DE102011109125A1 publication Critical patent/DE102011109125A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1089In-session procedures by adding media; by removing media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The method involves outputting multimedia data (21) to an output apparatus (30), and determining a media-related keyword (41). A search term (71) for the media-related keyword is constructed. A media context (51) is retrieved in dependence of the search term. The media context is displayed as a representation of a context by a client processing unit (61) with an own output device (62). A pattern recognition method is applied to the multimedia data to determine the media-related keyword. A retrieval query is carried out in an Internet (50). The output apparatus is selected from a TV set, a computer screen or a projector. The client processing unit is selected from a smartphone and a tablet computer. The recognition of the keyword is performed by different pattern recognition methods such as speech recognition method, musician identifying method, pattern recognition method and text recognition method. An independent claim is also included for a device for displaying a media context of multimedia contents.

Description

Die Erfindung betrifft ein Verfahren zum Anzeigen von Medienkontext während der Ausgabe eines Multimediainhalts durch eine Recheneinheit sowie eine hierfür vorgesehene Vorrichtung.The invention relates to a method for displaying media context during the output of a multimedia content by a computing unit and a device provided for this purpose.

Im Stand der Technik existieren einerseits Verfahren, mit denen semantische Inhalte aus Medien wie z. B. Videos oder Audiodaten z. B. über Mustererkennung automatisch extrahiert werden. Andererseits existieren Multimediadaten, die bereits Metainformationen zum semantischen Inhalt in sich tragen, der bei der Erstellung der Multimediadaten manuell und fest einprogrammiert wurde. Während der erstgenannte Stand der Technik in Multimediadatenbanken Anwendung findet, um eine Suche in diesen Datenbanken (z. B. Videodatenbanken) mit Stichwörtern zu ermöglichen, wird der zweite Stand der Technik im Unterhaltungsbereich eingesetzt, um Zusatzinformationen zu bestimmten Inhalten dem Zuschauer darzustellen.In the prior art, on the one hand, there are methods with which semantic contents from media such. B. videos or audio data z. B. automatically extracted via pattern recognition. On the other hand, multimedia data that already contains meta-information about the semantic content that was manually and firmly programmed during the creation of the multimedia data exists. While the former state of the art is used in multimedia databases to enable search in these databases (eg video databases) with keywords, the second prior art is used in the entertainment area to present additional information about particular content to the viewer.

Nachteilig am Stand der Technik ist, dass die Systeme zur automatischen Erkennung von Multimediakontext nicht eingerichtet sind, den Benutzer eine Darstellung des Medienkontexts automatisch und während der Anzeige des Medienkontexts bereitzustellen, da diese Verfahren intern zur Indexerstellung für Suchanfragen ausgeführt werden. Die Variante des fest einprogrammierten Medienkontext in Mediendaten hat den Nachteil, dass zuvor jegliche Mediendaten manuell mit semantischen Metainformationen angereichert werden müssen und weiterhin erlaubt dieses System keine komfortable Darstellung des Medienkontexts, ohne dass der Benutzer während des Betrachtens der Mediendaten durch die Kontextdarstellung gestört wird.A disadvantage of the prior art is that the systems for automatic recognition of multimedia context are not set up to provide the user with a representation of the media context automatically and during the display of the media context, since these methods are executed internally for indexing for search queries. The variant of the permanently programmed media context in media data has the disadvantage that previously any media data must be enriched manually with semantic meta-information and further this system does not allow a comfortable presentation of the media context, without the user being disturbed by the context presentation while viewing the media data.

Aufgabe der vorliegenden Erfindung ist es, die Nachteile des Stands der Technik zu verbessern und ein Verfahren sowie eine Vorrichtung bereitzustellen, mithilfe derer eine automatische Gewinnung von Medienkontext sowie eine komfortable und dem Betrachter nicht irritierende Darstellung des Medienkontexts während der Ausgabe der Mediendaten zu ermöglichen.It is an object of the present invention to obviate the drawbacks of the prior art and to provide a method and apparatus for enabling automatic extraction of media context as well as comfortable and non-obtrusive presentation of the media context during media data output.

Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprüchen definiert.The object is solved by the independent claims. Advantageous developments are defined in the subclaims.

Insbesondere wird die Aufgabe gelöst durch ein Verfahren zum Anzeigen von Medienkontext (51) während der Ausgabe eines Multimediainhalts (20) durch eine Recheneinheit (10), umfassend die Schritte:

  • – Ausgeben von Multimediadaten (21) an ein Ausgabegerät (30);
  • – Ermitteln von mindestens einem medienbezogenen Schlagwort (41);
  • – Erstellen eines Suchbegriffs (71) aus mindestens einem medienbezogenen Schlagwort (41);
  • – Einholen des Medienkontexts (51) in Abhängigkeit des Suchbegriffs (71);
  • – Darstellen des Medienkontexts (51) als eine Kontextdarstellung (61) durch eine Client-Recheneinheit (61) mit eigener Ausgabeeinrichtung (62).
In particular, the problem is solved by a method for displaying media context ( 51 ) during the output of a multimedia content ( 20 ) by a computing unit ( 10 ), comprising the steps:
  • - output of multimedia data ( 21 ) to an output device ( 30 );
  • - determining at least one media-related keyword ( 41 );
  • - Create a search term ( 71 ) from at least one media-related keyword ( 41 );
  • - obtaining the media context ( 51 ) depending on the search term ( 71 );
  • - Representation of the media context ( 51 ) as a context representation ( 61 ) by a client computing unit ( 61 ) with its own output device ( 62 ).

Auf diese Weise werden automatisch Suchbegriffe aus Multimediadaten generiert und diese zum Einholen von Medienkontext verwendet. Dieser Medienkontext wird dann auf einer Client-Recheneinheit dargestellt, sodass der Multimediainhalt auf einer Recheneinheit angezeigt wird und die Kontextdarstellung auf einer anderen, nämlich der Client-Recheneinheit mit eigener Ausgabeeinrichtung und somit die Kontextdarstellung den Betrachter beim Betrachten des Multimediainhalts nicht irritiert. Mehrere Personen können sich somit unabhängig voneinander verschiedene Informationen anzeigen. Bevorzugt werden dafür Benutzerprofile in der Recheneinheit angelegt, die die Interessen des Benutzers der jeweiligen Client-Recheneinheit widerspiegeln. Aus mehreren Schlagwörtern, Suchbegriffen oder Medienkontexten bzw. deren Darstellungen werden bevorzugt dann jene ausgewählt, die eine größere inhaltliche Gemeinsamkeit mit dem entsprechenden Nutzerprofil aufweisen als andere.In this way, search terms are automatically generated from multimedia data and used to obtain media context. This media context is then displayed on a client computing unit, so that the multimedia content is displayed on a computing unit and the context representation on another, namely the client computing unit with its own output device and thus the context presentation does not irritate the viewer when viewing the multimedia content. Several people can thus display different information independently of each other. For this purpose, user profiles are preferably created in the arithmetic unit, which reflect the interests of the user of the respective client arithmetic unit. From several keywords, search terms or media contexts or their representations are preferred then selected those that have a greater content similarity with the corresponding user profile than others.

Ein Multimediainhalt ist bevorzugt ein Video wobei das Video bevorzugt auch Textelemente oder Tonsignale enthält. Besonders bevorzugt ist ein Multimediainhalt ein bevorzugt digitales Videosignal eines Fernsehkanals, eines Films auf einer DVD/Festplatte oder einer Video-on-Demand Streaming-Datei.A multimedia content is preferably a video, the video preferably also containing text elements or audio signals. Particularly preferably, a multimedia content is a preferably digital video signal of a television channel, a movie on a DVD / HDD or a video-on-demand streaming file.

Medienkontext ist bevorzugt Zusatzinformation, die inhaltlichen Zusammenhang zu dem Multimediainhalt aufweist. Solche Informationen sind z. B. der Handlungsort eines Spielfilms, die mitwirkenden Schauspieler, geschichtliche Hintergründe zu einem Spielfilm oder einem Dokumentarfilm, lexikalische Informationen zu Inhalten des Films (z. B. über physikalische Phänomene oder technische Hintergründe). Medienkontext liegt bevorzugt in Form von digitalen Daten vor, die z. B. aus dem Internet stammen.Media context is preferably additional information that has contextually related to the multimedia content. Such information is z. For example, the location of a feature film, the contributing actors, historical backgrounds to a feature film or documentary, lexical information on the content of the film (eg physical phenomena or technical background). Media context is preferably in the form of digital data that z. B. come from the Internet.

Bevorzugt wird der Medienkontext gleichzeitig zur Ausgabe des Multimediainhalts angezeigt. Hierdurch kann ein Zuschauer ohne Unterbrechung des eigentlichen Multimediainhalts nebenher den angezeigten Medienkontext benutzen, um sich weitreichender über den Inhalt des Multimediainhalts zu informieren. The media context is preferably displayed simultaneously with the output of the multimedia content. This allows a viewer without interrupting the actual multimedia content incidentally use the displayed media context in order to find out more about the content of the multimedia content.

Die Recheneinheit ist bevorzugt eine in einem Fernsehgerät wie z. B. einem LCD-Fernseher integrierte Recheneinheit. Alternativ ist die Recheneinheit eine in einer Set-Top-Box integrierte Recheneinheit. In einem anderen Ausführungsbeispiel ist die Recheneinheit ein Sendeserver, welcher den Multimediainhalt z. B. über terrestrische Funkübertragung, oder IP-TV Übertragung per (Kabelfernseh-)Netzwerk an das Ausgabegerät, wie z. B. einen Fernseher, sendet.The arithmetic unit is preferably one in a television such. B. an LCD TV integrated computing unit. Alternatively, the arithmetic unit is a computing unit integrated in a set-top box. In another embodiment, the arithmetic unit is a transmission server, which contains the multimedia content z. B. over terrestrial radio transmission, or IP-TV transmission via (cable TV) network to the output device, such. B. a TV, sends.

Die Multimediadaten sind bevorzugt die Repräsentation des Multimediainhalts durch elektrische, bevorzugt digitale Signale. Multimediadaten sind z. B. ein Video und/oder Audiostream oder ein analoges oder digitales Fernsehsignal, digitale oder analoge Bilder oder Tonsignale.The multimedia data are preferably the representation of the multimedia content by electrical, preferably digital signals. Multimedia data are z. As a video and / or audio stream or an analog or digital television signal, digital or analog images or audio signals.

Das Ausgabegerät ist z. B. ein Fernsehgerät, ein Computerbildschirm oder ein Projektor, der an einen TV-Receiver oder einen Computer angeschlossen ist.The output device is z. A TV, a computer screen, or a projector connected to a TV receiver or computer.

Der Schritt des Ausgebens der Multimediadaten an ein Ausgabegerät ist z. B. das Abspielen eines Films auf einem Fernsehgerät, wobei bevorzugt der Film durch das Fernsehgerät zuvor von der Recheneinheit empfangen wurde.The step of outputting the multimedia data to an output device is e.g. As playing a movie on a TV, preferably the film was previously received by the TV by the computer.

Ein medienbezogenes Schlagwort ist z. B. der Name eines Schauspielers, der im Film mitspielt, der Name oder das Modell eines Autos, dass im Film zu sehen ist, der Komponist einer Musik, die im Hintergrund spielt, Schlagwörter zu geschichtlichen Hintergründen, zu gespielten Rollen bzw. zu den wahren Figuren, die im Film nachgespielt werden, der Name einer Landschaft oder einer Stadt, die gezeigt wird.A media-related keyword is z. For example, the name of an actor who plays in the movie, the name or model of a car that can be seen in the movie, the composer of a background music, keywords on historical backgrounds, played roles, or the true ones Figures that are re-enacted in the movie, the name of a landscape or city being shown.

Das Ermitteln des medienbezogenen Schlagworts erfolgt bevorzugt durch eine Recheneinheit besonders bevorzugt durch jene, welche auch zur Ausgabe des Multimediainhalts verwendet wird.Determining the media-related keyword is preferably carried out by a computing unit, particularly preferably by that which is also used to output the multimedia content.

Auf diese Weise wird automatisch aufgrund der Multimediadaten ein medienbezogenes Schlagwort ermittelt, ohne dass dieses manuell zu den Mediadaten hinzu programmiert werden muss.In this way, a media-related keyword is automatically determined based on the multimedia data, without this must be manually added to the media data added.

Der Suchbegriff ist bevorzugt durch digitale Daten repräsentiert, die den Inhalt einer Suchanfrage repräsentieren. Bevorzugt ist der Suchbegriff das medienbezogene Schlagwort selbst. Bevorzugt ist der Suchbegriff eine Aneinanderreihung von mehreren medienbezogenen Schlagwörtern. Das Erstellen des Suchbegriffs ist z. B. ein Aufbereiten eines medienbezogenen Schlagworts, so dass es in einer Internetsuchmaschine eingebbar ist, bzw. dass Aneinanderreihen von mehreren medienbezogenen Schlagwörtern, so dass diese zusammen für die Abfrage einer Internetsuchmaschine verwendbar sind.The search term is preferably represented by digital data representing the content of a search request. Preferably, the search term is the media-related keyword itself. Preferably, the search term is a sequence of several media-related keywords. The creation of the search term is z. As a preparation of a media-related keyword so that it can be entered in an Internet search engine, or that juxtaposition of several media-related keywords, so that they can be used together for the query of an Internet search engine.

Das Einholen des Medienkontexts in Abhängigkeit des Suchbegriffs ist bevorzugt die Abfrage einer Internetsuchmaschine oder eines Internetlexikons bezüglich des Suchbegriffs.Obtaining the media context as a function of the search term is preferably the query of an Internet search engine or an Internet lexicon with respect to the search term.

Die Kontextdarstellung ist bevorzugt eine an die Ausgabeeinrichtung der Client-Recheneinheit angepasste Darstellung. Bevorzugt wird die Kontextdarstellung angepasst, indem die Kontextdarstellung durch die Recheneinheit in verschiedenen Auflösungsstufen erstellt und an die Client-Recheneinheit weitergeleitet wird, und durch die Client-Recheneinheit die bestmöglich angepasste Kontextdarstellung ausgewählt wird. Bevorzugt ist die Kontextdarstellung an die Auflösung der Ausgabeeinrichtung der Client-Recheneinheit angepasst. Dabei wird eine Information zur Auflösung der Ausgabeeinrichtung der Client-Recheneinheit durch die Recheneinheit, die die Medienkontextdarstellung erstellt, ausgelesen und/oder es wird lediglich der Gerätetyp bzw. das Betriebssystem der Client-Recheneinheit ausgelesen und darauf dann auf eine Auflösung der Ausgabeeinrichtung der Client-Recheneinheit geschlossen, indem z. B. eine Datenbank mit Eigenschaften der speziellen Gerätetypen befragt wird. Ein Auslesen der Information durch die Recheneinheit erfolgt z. B. über einen HTTP-Request, der von der Client-Recheneinheit an die Recheneinheit gesendet wird und der bevorzugt Angaben zur Client-Recheneinheit, dessen Betriebssystem und/oder der Auflösung deren Ausgabeeinrichtung enthält. Alternativ wird die Kontextdarstellung für mehrere verschiedene Auflösungen optimiert und gesendet, so dass sich die Client-Recheneinheit eine für sie am besten geeignetste Version der Kontextdarstellung selbst auswählen kann. Für die Kontextdarstellung werden bevorzugt die durch die Abfrage einer Internetrecherche oder eines Internetlexikons erhaltenen Daten aufbereitet und z. B. als Internetseite an die Client-Recheneinheit gesendet. In der Kontextdarstellung werden bevorzugt Informationen aus verschiedenen Informationsquellen (z. B. Wikipedia®, Google®, VouTube® etc.) vereint und hierfür in ein übersichtliches Layout gebracht. Bevorzugt werden in der Kontextdarstellung auch Chat-Beiträge anderer Benutzer angezeigt, die denselben Medieninhalt betrachten oder betrachtet haben, sowie bevorzugt ein Eingabefenster für Chat-Beiträge des Benutzers der Client-Recheneinheit.The context representation is preferably a representation adapted to the output device of the client computing unit. Preferably, the context representation is adapted by the context representation is created by the arithmetic unit in different levels of resolution and forwarded to the client arithmetic unit, and the best possible adapted context representation is selected by the client arithmetic unit. Preferably, the context representation is adapted to the resolution of the output device of the client computing unit. In this case, information about the resolution of the output device of the client computing unit is read out by the arithmetic unit, which prepares the media context representation, and / or only the device type or the operating system of the client arithmetic unit is read out and then applied to a resolution of the output device of the client computer. Arithmetic unit closed by z. B. a database with properties of the specific device types is questioned. A readout of the information by the arithmetic unit z. B. via an HTTP request, which is sent from the client processing unit to the arithmetic unit and preferably contains information to the client computing unit, its operating system and / or the resolution of the output device. Alternatively, the contextual presentation is optimized and sent for several different resolutions so that the client computing unit can choose for itself a most appropriate version of the contextual representation. For the contextual representation, the data obtained by querying an Internet search or an Internet lexicon are preferably prepared and z. B. sent as an Internet page to the client computing unit. In the representation of context information is preferred for various sources of information (eg. As Wikipedia ®, Google ®, etc. VouTube ®) combined and placed in a clear layout for this. Prefers In the context view, chat messages of other users who have viewed or viewed the same media content are also displayed, and preferably a chat user input window of the client computing unit.

Die Client-Recheneinheit ist bevorzugt ein Mobiltelefon, besonders bevorzugt ein Smartphone, ganz besonders bevorzugt ein Tablet-Computer.The client computing unit is preferably a mobile phone, particularly preferably a smartphone, very particularly preferably a tablet computer.

Die eigene Ausgabeeinrichtung der Client-Recheneinheit ist bevorzugt bereits direkt integriert mit der Client-Recheneinheit.The own output device of the client computing unit is preferably already integrated directly with the client computing unit.

Das Darstellen der Kontextdarstellung durch die Client-Recheneinheit erfolgt bevorzugt immer dann, wenn neue Daten von der Recheneinheit, die den Multimediainhalt abspielt, gesendet werden. In einer anderen Variante empfängt die Client-Recheneinheit nicht eine fertige Kontextdarstellung, sondern lediglich medienbezogene Schlagwörter oder bereits mindestens einen festen Suchbegriff, wobei mithilfe der Schlagwörter im ersten Fall der Suchbegriff erstellt wird und dann mit diesem Suchbegriff Kontextinformationen aus dem Internet eingeholt werden und im zweiten Fall mithilfe des Schlagbegriffs direkt Kontextinformationen eingeholt werden und bevorzugt diese dann mit den in der Client-Recheneinheit vorhandenen Möglichkeiten (z. B. Browser) dargestellt werden. Wenn die Recheneinheit ein Sendeserver ist, werden die Kontextdarstellung oder nur die medienbezogenen Schlagwörter zunächst zusammen mit dem Multimediainhalt zum Ausgabegerät übermittelt und dort z. B. über eine Netzwerkweiche oder einen Zusatzcontroller, der eingerichtet ist, die Kontextdarstellung oder nur die medienbezogenen Schlagwörter an die Client-Recheneinheit weiterzuleiten, getrennt an die Client-Recheneinheit weitergeleitet. Alternativ erfolgt das Darstellen der Kontextdarstellung durch eine auf der Recheneinheit durchgeführte Überlagerung über dem Multimediainhalt oder Erzeugung einer Seitenleiste neben dem Multimediainhalt.The representation of the context representation by the client arithmetic unit preferably takes place whenever new data is sent by the arithmetic unit which plays the multimedia content. In another variant, the client arithmetic unit does not receive a ready-to-use contextual description, but only media-related keywords or already at least one fixed search term, whereby the search term is created using the keywords in the first case and contextual information is retrieved from the Internet with this search term and second In this case, contextual information can be obtained directly using the catch term, and these are then preferably displayed using the options available in the client computing unit (eg, browser). If the arithmetic unit is a sending server, the contextual presentation or only the media-related keywords are first transmitted together with the multimedia content to the output device and there z. B. via a network switch or an additional controller that is configured to forward the contextual representation or only the media-related keywords to the client computing unit, separately forwarded to the client computing unit. Alternatively, the presentation of the context representation is performed by an overlay on the arithmetic unit over the multimedia content or generation of a sidebar next to the multimedia content.

Bevorzugt wird die Client-Recheneinheit in der Recheneinheit registriert, z. B. über einen HTTP-Request der Client-Recheneinheit, bevorzugt über ein Software-Portal, das die Recheneinheit zum Zugriff durch eine Client-Recheneinheit in einem Netzwerk zur Verfügung stellt. Bevorzugt umfasst die Registrierinformation eine Netzwerkadresse und/oder eine Information über die darstellbare Auflösung und die lesbaren Dateiformate der Client-Recheneinheit. Auf diese Weise ist eine Kontextdarstellung sehr gezielt an die Eigenschaften Client-Recheneinheit anpassbar und an diese gezielt weiterleitbar.Preferably, the client computing unit is registered in the arithmetic unit, for. B. via an HTTP request of the client computing unit, preferably via a software portal that provides the arithmetic unit for access by a client computing unit in a network. Preferably, the registration information comprises a network address and / or information about the displayable resolution and the readable file formats of the client computing unit. In this way, a context representation can be adapted very specifically to the properties of the client computing unit and forwarded to it in a targeted manner.

In einem weiteren erfindungsgemäßen Verfahren ist der Multimediainhalt (20) ein Videofilm, eine digitale Photographie, ein Musikstück, ein Hörbuch oder ein Video- und/oder Telefongespräch.In a further method according to the invention, the multimedia content ( 20 ) a video, a digital photograph, a piece of music, an audiobook or a video and / or telephone conversation.

In einem weiteren erfindungsgemäßen Verfahren erfolgt das Ermitteln von mindestens einem medienbezogenen Schlagwort (41) durch ein Anwenden eines Mustererkennungsverfahrens auf die Multimediadaten (21).In a further method according to the invention, the determination of at least one media-related keyword ( 41 ) by applying a pattern recognition method to the multimedia data ( 21 ).

Bevorzugt erfolgt die Anwendung des Mustererkennungsverfahrens in Echtzeit bzw. annähernd Echtzeit während der Ausgabe des Multimediainhalts. Auf diese Weise wird automatisch und zugleich mit dem Anzeigen des Multimediainhalts über Mustererkennung mindestens ein medienbezogenes Schlagwort ermittelt.The application of the pattern recognition method preferably takes place in real time or approximately real time during the output of the multimedia content. In this way, at least one media-related keyword is determined automatically and simultaneously with the display of the multimedia content via pattern recognition.

In einem weiteren erfindungsgemäßen Verfahren umfasst das Ermitteln ein Erkennen von mindestens einem Schlagwort (41) durch das Anwenden eines oder einer Kombination von folgenden Mustererkennungsverfahren:

  • – Spracherkennung;
  • – Musikerkennung;
  • – Bilderkennung;
  • – Texterkennung.
In a further method according to the invention, the determining comprises recognizing at least one keyword ( 41 ) by applying one or a combination of the following pattern recognition methods:
  • - Voice recognition;
  • - music recognition;
  • - image recognition;
  • - text recognition.

Bei der Spracherkennung wird bevorzugt die im Ton enthaltene Sprache analysiert und nach Schlagwörtern untersucht. Es werden bevorzugt die Wörter der im Ton enthaltenen Sprache identifiziert und dann abgeschätzt, welches dieser Wörter viel Information trägt und somit ein nützliches Schlagwort darstellt oder welche Wörter unrelevant sind. Dabei wird z. B. die Häufigkeit der einzelnen Wörter im Laufe der Spracherkennung betrachtet. Weniger häufige Wörter sind dabei die mit einem hohen Informationsgehalt und häufig vorkommende Wörter tragen nur ein geringes Informationsgehalt und werden damit nicht als Schlagwort ausgewählt. Bevorzugt wird zuvor ein Training durchgeführt anhand von z. B. Textdokumenten aus dem Internet, so dass das System häufige Wörter von seltenen Wörtern unterscheiden kann, so z. B. ”und” als sehr häufiges Wort und ”Alpen” als seltenes Wort. Zur Identifizierung der Wörter in der Sprache wird bevorzugt ein Spracherkennungstool verwendet. Auf dem Markt befindliche Spracherkennungssoftware weist z. B. Schnittstellen auf, die einerseits eine Eingabe von Ton erlauben und andererseits die identifizierten Wörter ausgeben.In speech recognition, the language contained in the sound is preferably analyzed and examined for keywords. It is preferred to identify the words of the language contained in the sound and then estimate which of those words carries much information and thus is a useful buzzword or which words are irrelevant. This z. For example, consider the frequency of each word during speech recognition. Less frequent words are those with a high information content and frequently occurring words carry only a low information content and are therefore not selected as a keyword. Preferably, a training is carried out previously based on z. As text documents from the Internet, so that the system can distinguish common words of rare words, such. "And" as a very common word and "Alps" as a rare word. To identify the words in the language is preferred Speech recognition tool used. On the market located speech recognition software has z. As interfaces on the one hand allow input of sound and on the other hand spend the identified words.

Bei Musikerkennung wird bevorzugt das Musikstück durch tonale Merkmale identifiziert und dann werden Informationen hierzu z. B. Komponist, Detail, Interpret, Uraufführung bzw. Erscheinungsjahr etc. als eingeholter Medienkontext damit verbunden.In music recognition, the piece of music is preferably identified by tonal features and then information is z. As composer, detail, artist, premiere or release year, etc. as a procured media context associated with it.

Die Bilderkennung erkennt bevorzugt semantische Inhalte eines Bildes wie z. B. Tierarten, bekannte Gebäude, bestimmte Landschaften oder Landschaftstypen (z. B. Wüste, Meer, Wald) oder auch spezifische Regionen (z. B. Matterhorn, Paris, Eiffelturm, Pyramiden etc.). Bevorzugt wird für die Bilderkennung oder die Musikerkennung eine externe Datenbank als Referenz verwendet, in der Beispiele der identifizierbaren Objekte bzw. Musikstücke abgelegt sind.The image recognition recognizes preferably semantic contents of an image such. Animal species, well-known buildings, specific landscapes or landscape types (eg desert, sea, forest) or even specific regions (eg Matterhorn, Paris, Eiffel Tower, pyramids etc.). For the image recognition or the music recognition, an external database is preferably used as a reference in which examples of the identifiable objects or music pieces are stored.

Die Texterkennung sucht in Bildern oder Bewegtbildern bevorzugt nach Textelementen, z. B. Buchstaben, und identifiziert dann die in dem Bild bzw. Bewegtbild vorhandenen Wörter. Ein Schlagwort wird bevorzugt dann ausgegeben, wenn wie analog auch zur Spracherkennung, ein selten verwendeter Text bzw. ein wenig verwendetes Wort auftritt. Bevorzugt wird auch die Texterkennung vorher durch zufällige Textdokumente trainiert, so dass häufige und nicht häufige Wörter bekannt sind. Bevorzugt weisen Texterkennung oder Spracherkennung zusätzlich ein Übersetzungsmodul auf, mithilfe dessen fremde Sprachen und Texte erkannt werden können, die Schlagwörter jedoch in der Sprache des Anwenders erzeugbar sind.The text recognition preferably searches in pictures or moving pictures for text elements, eg. Letters, and then identifies the words present in the picture or moving picture. A keyword is preferably output when, as is the case with speech recognition, a rarely used text or word is used. Preferably, the text recognition is also previously trained by random text documents, so that frequent and not frequent words are known. Preferably, text recognition or speech recognition additionally have a translation module by means of which foreign languages and texts can be recognized, but the keywords can be generated in the language of the user.

In einem weiteren erfindungsgemäßen Verfahren stellt das Erstellen des Suchbegriffs (71) ein Kombinieren der Schlagwörter (41) dar, die durch das Anwenden unterschiedlicher Mustererkennungsverfahren auf die Multimediadaten (21) ermittelt wurden.In another method according to the invention, the creation of the search term ( 71 ) combining the keywords ( 41 ) by applying different pattern recognition methods to the multimedia data ( 21 ) were determined.

Bevorzugt werden die Schlagwörter durch eine einfache Aneinanderreihung kombiniert. Bevorzugt wird eine Rangliste aus den verschiedenen Schlagwörtern gebildet, von denen die Schlagwörter mit hohem Rang einen Hauptsuchbegriff bilden und die restlichen Schlagwörter Nebensuchbegriffe. Dieser Rang wird z. B. anhand eines Wertes über die Trefferwahrscheinlichkeit bzw. die Wahrscheinlichkeit einer korrekten Identifizierung des Schlagworts durchgeführt, welche bevorzugt durch das jeweilige Mustererkennungsverfahren mit dem Ergebnis mitgeliefert wird. Bevorzugt werden bestimmte Mustererkennungsverfahren, z. B. Sprach- und Texterkennung, prinzipiell bevorzugt und erhalten damit einen höheren Rang für ihre Schlagwörter.Preferably, the keywords are combined by a simple stringing together. Preferably, a ranking list is formed from the various keywords, of which the high-ranking keywords form a main search term and the remaining keywords are minor search terms. This rank is z. B. on the basis of a value on the hit probability or the probability of a correct identification of the keyword performed, which is preferably supplied by the respective pattern recognition method with the result. Preferably, certain pattern recognition methods, e.g. As speech and text recognition, in principle, and thus get a higher rank for their keywords.

Auf diese Weise werden verschiedene Mustererkennungsverfahren miteinander zur Bestimmung von aussagekräftigen Suchbegriffen vereint. Das System ist über die Priorisierung bestimmter Mustererkennungsverfahren zudem justierbar.In this way, different pattern recognition methods are combined with each other to determine meaningful search terms. The system is also adjustable by prioritizing certain pattern recognition methods.

In einem weiteren erfindungsgemäßen Verfahren umfasst das Einholen des Medienkontexts (51) ein Durchführen einer Suchanfrage im Internet (50).In a further method according to the invention, obtaining the media context comprises ( 51 ) performing a search query on the Internet ( 50 ).

Z. B. wird eine Suchmaschine mit dem Suchbegriff gestartet, ein Internetlexikon, oder z. B. eine Film-, Video-, Bild-, und/oder Musik-/Ton-Datenbank. Das Ergebnis solcher Suchanfragen ist dann der Medienkontext, der bevorzugt für die Darstellung noch weiter aufbereitet wird. Eine solche Aufbereitung ist z. B. das Zusammenfassen verschiedener Suchergebnisse zu einer darstellbaren Internetseite, das verkleinern von Grafiken zur Darstellung auf der Client-Recheneinheit mit limitierten Anzeigemöglichkeiten, das Aussortieren von unrelevanten Suchergebnissen, das Übersetzen von Suchergebnissen, das Erstellen eines Layouts, welches auf einem Anzeigegerät gerätespezifisch optimiert darstellbar ist. Bevorzugt werden im Schritt der Darstellung der Kontextdarstellung zuvor die Eigenschaften der Client-Recheneinheit eingeholt und die Kontextdarstellung wird auf z. B. die Rechenkapazität (z. B. Dekoderleistung für ein Video), Auflösungseigenschaften wie z. B. die Auflösung der Anzeigeeinheit und/oder die Kompatibilität mit bestimmten Dateiformaten angepasst.For example, a search engine is started with the search term, an Internet lexicon, or z. As a movie, video, image, and / or music / sound database. The result of such search queries is then the media context, which is preferably further processed for the presentation. Such treatment is z. B. summarizing various search results to a displayable web page, zooming out of graphics for display on the client computing unit with limited display capabilities, the sorting out of unrelevant search results, the translation of search results, the creation of a layout that can be displayed device-specific optimized on a display device , Preferably, in the step of displaying the context representation, the properties of the client computation unit are obtained beforehand and the context representation is set to z. B. the computing capacity (eg decoder performance for a video), resolution properties such. As the resolution of the display unit and / or compatibility with certain file formats adapted.

Die Aufgabe wird weiterhin insbesondere gelöst durch eine Vorrichtung zum Anzeigen von Medienkontext (51) eines Multimediainhalts (20), umfassend:

  • – eine Recheneinheit (10) zur Ausgabe von Multimediadaten (21), wobei die Recheneinheit (10) folgende Hardware- und/oder Softwaremodule aufweist:
  • – eine Ermittlungseinrichtung (40) zum Ermitteln von mindestens einem medienbezogenen Schlagwort (41) aus Multimediadaten (21);
  • – eine Abfrageeinrichtung (70) zum Erstellen eines Suchbegriffs (71) aus mindestens einem medienbezogenen Schlagwort (41) und zum Abfragen des Medienkontexts (51) in Abhängigkeit des Suchbegriffs (71);
  • – einen Controller (80)
zum Weiterleiten des Medienkontexts (51) an eine Client-Recheneinheit (61) mit eigener Ausgabeeinrichtung (62) und/oder
zum Erzeugen einer Kontextdarstellung (60) des Medienkontexts (51) und zum Weiterleiten der Kontextdarstellung (60) an die Client-Recheneinheit (61) mit der eigenen Ausgabeeinrichtung (62). Sie ist bevorzugt eingerichtet, verschiedene Schlagwörter zu einem Suchbegriff zu kombinieren, besonders bevorzugt eingerichtet, den Suchbegriff an die Client-Recheneinheit und/oder an eine Suchmaschine im Internet weiterzuleiten.The object is further achieved in particular by a device for displaying media context ( 51 ) of a multimedia content ( 20 ), full:
  • A computing unit ( 10 ) for the output of multimedia data ( 21 ), wherein the arithmetic unit ( 10 ) has the following hardware and / or software modules:
  • - a determination device ( 40 ) for determining at least one media-related keyword ( 41 ) from multimedia data ( 21 );
  • An interrogator ( 70 ) to create a search term ( 71 ) from at least one media-related keyword ( 41 ) and to query the media context ( 51 ) depending on the search term ( 71 );
  • - a controller ( 80 )
to forward the media context ( 51 ) to a client computing unit ( 61 ) with its own output device ( 62 ) and or
for generating a context representation ( 60 ) of the media context ( 51 ) and to forward the context representation ( 60 ) to the client computing unit ( 61 ) with its own output device ( 62 ). It is preferably set up to combine different keywords to a search term, particularly preferably configured to forward the search term to the client computing unit and / or to a search engine on the Internet.

Die Abfrageeinrichtung ist bevorzugt in der Recheneinheit angeordnet, die die Multimediainhalte abspielt und anzeigt. Alternativ ist sie in der Client-Recheneinheit angeordnet, wobei die Abfrageeinrichtung Schlagwörter von der Recheneinheit empfängt, die die Multimediainhalte anzeigt und gleichzeitig aus den Multimediadaten Schlagwörter ermittelt.The interrogator is preferably arranged in the arithmetic unit, which plays and displays the multimedia contents. Alternatively, it is arranged in the client arithmetic unit, wherein the interrogator receives keywords from the arithmetic unit, which displays the multimedia contents and at the same time determines keywords from the multimedia data.

Der Controller realisiert bevorzugt zwei Funktionen: entweder leitet dieser nur den Medienkontext an die Client-Recheneinheit weiter, so dass diese selbst eine geeignete Kontextdarstellung erstellt oder der Controller erzeugt bereits eine für die Client-Recheneinheit bevorzugt angepasste Kontextdarstellung und leitet die Kontextdarstellung an die Client-Recheneinheit weiter. Bevorzugt ist der Controller eingerichtet, Client-Recheneinheiten zu registrieren und zu verwalten. Gemäß der Erfindung sind in der Client-Recheneinheit die Durchführung einer Suchabfrage, das Erhalten des Medienkontexts und die Erstellung und Darstellung einer Kontextdarstellung durchführbar. Genauso ist es jedoch in einer Variante vorgesehen, dass in der Client-Recheneinheit bereits Medienkontext von der anderen Recheneinheit empfangen wird und dieser dann als Kontextdarstellung angezeigt wird. In einer noch anderen Variante ist vorgesehen, lediglich die Kontextdarstellung, die von der anderen Recheneinheit erstellt wurde, durch die Client-Recheneinheit zu empfangen und darzustellen.The controller preferably realizes two functions: either it only forwards the media context to the client computing unit so that it itself creates a suitable context representation, or the controller already generates a context representation which is preferably adapted for the client computing unit and forwards the context representation to the client processor. Further processing unit. Preferably, the controller is set up to register and manage client computing units. According to the invention, performing a search query, obtaining the media context, and creating and displaying a contextual representation is feasible in the client computing unit. However, it is likewise provided in a variant that media context is already received by the other arithmetic unit in the client arithmetic unit and this is then displayed as a context representation. In yet another variant, it is provided that only the context representation which was created by the other arithmetic unit can be received and displayed by the client arithmetic unit.

In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung weist die Ermittlungseinrichtung (40) eines oder eine Kombination der folgenden Hardware- und/oder Softwaremodule auf

  • – eine Bilderkennungseinrichtung (42);
  • – eine Audioerkennungseinrichtung (43) für Sprache;
  • – eine Audioerkennungseinrichtung (43) für Musik;
  • – eine Texterkennungseinrichtung (44).
In a further embodiment of the present invention, the determination device ( 40 ) one or a combination of the following hardware and / or software modules
  • An image recognition device ( 42 );
  • An audio recognition device ( 43 ) for language;
  • An audio recognition device ( 43 ) for music;
  • A text recognition device ( 44 ).

Die Bilderkennungseinrichtung ist z. B. eine Bildidentifizierungseinrichtung, die über eine Datenbank mit Referenzbildern die Referenzbilder anhand eines Testbilds klassifiziert und somit eine Aussage über den Inhalt eines Bilds (zu sehende Objekte, Landschaft, Stadt, Art der Gebäude, welche und wie viele Lebewesen etc.) trifft.The image recognition device is z. For example, an image identification device that uses a database with reference images classifies the reference images based on a test image and thus a statement about the content of an image (objects to see, landscape, city, type of buildings, which and how many living things, etc.).

Eine Audioerkennungseinrichtung für Sprache ist z. B. eine Spracherkennungssoftware, die eine Schnittstelle für Audiosignale aufweist und diese dann analysiert und erkannte Wörter ausgibt.An audio recognition device for speech is z. As a speech recognition software, which has an interface for audio signals and then analyzes these and outputs recognized words.

Die Audioerkennungseinrichtung für Musik ist bevorzugt eine Software, die einen Eingang für Musiksignale aufweist und diese dann anhand klanglicher Merkmale bestimmten Musikstücken zuordnet und diese dann als Ergebnis ausgibt.The audio recognition device for music is preferably a software that has an input for music signals and then assigns them based on tonal characteristics certain pieces of music and then outputs them as a result.

Eine Texterkennungseinrichtung ist bevorzugt eine Einrichtung, die Buchstaben in einem Bild erkennt und somit erkannte Wörter ausgibt.A text recognition device is preferably a device that recognizes letters in an image and thus outputs recognized words.

In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung weist die Abfrageeinrichtung (70) eine Schnittstelle zu einem Internetsuchdienst aufweist.In a further embodiment of the present invention, the interrogator ( 70 ) has an interface to an Internet search service.

Die Erfindung soll nun anhand von Zeichnungen beispielhaft weiter veranschaulicht werden. Hierbei zeigen:The invention will now be further illustrated by way of example with reference to the drawings. Hereby show:

1 eine Übersicht über ein erfindungsgemäßes Verfahren und eine erfindungsgemäße Vorrichtung, 1 an overview of a method and a device according to the invention,

2 eine Detailansicht der Schritte Ermitteln des medienbezogenen Schlagworts, Erstellen eines Suchbegriffs und Einholen des Medienkontexts sowie der dafür nötigen Komponenten, wobei eine Kombination von verschiedenen Mustererkennungsverfahren angewendet wird 2 a detailed view of the steps determining the media-related keyword, creating a search term and obtaining the media context and the components required for it, using a combination of different pattern recognition method is applied

3 eine Übersicht über ein erfindungsgemäßes Verfahren und eine erfindungsgemäßen Vorrichtung wobei die Recheneinheit ein Sendeserver ist. 3 an overview of an inventive method and a device according to the invention wherein the arithmetic unit is a transmission server.

1 zeigt eine Übersicht über ein erfindungsgemäßes Verfahren und eine erfindungsgemäßen Vorrichtung. 1 shows an overview of a method according to the invention and a device according to the invention.

Eine Ausgabeeinrichtung 30 ist mit einer Recheneinheit 10 verbunden. Die Recheneinheit 10 weist eine Ermittlungseinrichtung 40 zum Ermitteln von mindestens einem medienbezogenen Schlagwort 41, eine Abfrageeinrichtung 70 zum Erstellen eines Suchbegriffs 71 und zum Abfragen des Medienkontexts 51 sowie einen Controller 80 zum Weiterleiten des Medienkontexts und/oder zum Erzeugen einer Kontextdarstellung 60 des Medienkontexts und zum Weiterleiten dieser Kontextdarstellung 60 auf. Die Recheneinheit 10 ist mit einem Netzwerk 50 verbunden. Weiterhin ist die Recheneinheit 10 mit einer Client-Recheneinheit 61 mit Ausgabeeinrichtung 62 per Funk verbunden. Die Client-Recheneinheit 61 ist in diesem Beispiel ein Smartphone, das Netzwerk 50 das Internet, die Augabeeinrichtung 30 ein LCD-Bildschirm, die Recheneinheit 10 eine Set-Top-Box.An output device 30 is with a computing unit 10 connected. The arithmetic unit 10 has a determination device 40 for determining at least one media-related keyword 41 , an interrogator 70 to create a search term 71 and to query the media context 51 as well as a controller 80 for forwarding the media context and / or for generating a context representation 60 the media context and to forward this context representation 60 on. The arithmetic unit 10 is with a network 50 connected. Furthermore, the arithmetic unit 10 with a client computing unit 61 with output device 62 connected by radio. The client processing unit 61 in this example is a smartphone, the network 50 the Internet, the device 30 an LCD screen, the arithmetic unit 10 a set-top box.

Im Betrieb der Erfindung gibt die Recheneinheit 10 einen Medieninhalt 20, der in diesem Beispiel ein Stream eines digitalen Fernsehsignals ist, auf der Ausgabeeinrichtung 30 aus. Gleichzeitig ermittelt die Ermittlungseinrichtung 40 medienbezogene Schlagwörter 41 aus den Mediendaten 21. Diese werden an die Abfrageeinrichtung 70 weitergeleitet, wo ein Suchbegriff 71 aus den medienbezogenen Schlagwörtern 41 generiert und über das Netzwerk 50 an eine Suchmaschine oder ein Online-Lexikon weitergeleitet wird. Als Ergebnis erhält die Abfrageeinrichtung 70 den Medienkontext 51 und leitet diesen an den Controller 80 weiter. Dieser erstellt aus dem Medienkontext 51 eine Kontextdarstellung 60 und sendet diese an die Client-Recheneinheit 61 weiter, wo diese auf der Ausgabeeinrichtung 62 angezeigt wird. Die Client-Recheneinheit 61 teilt der Recheneinheit 10 mit, welche Auflösung durch die Client-Recheneinheit 61 anzeigbar und welche Dateiformate lesbar sind, und an welche Adresse die Kontextdarstellung weiterzuleiten ist.In the operation of the invention, the arithmetic unit 10 a media content 20 , which in this example is a stream of a digital television signal, on the output device 30 out. At the same time, the determination device determines 40 Media-related keywords 41 from the media data 21 , These are sent to the interrogator 70 forwarded where a search term 71 from the media-related keywords 41 generated and over the network 50 is forwarded to a search engine or an online encyclopedia. As a result, the interrogator receives 70 the media context 51 and forwards it to the controller 80 further. This creates from the media context 51 a contextual representation 60 and sends them to the client processing unit 61 continue where these on the output device 62 is shown. The client processing unit 61 divides the arithmetic unit 10 with what resolution through the client processing unit 61 can be displayed and which file formats are readable, and to which address the context presentation is to be forwarded.

Auf diese Weise wird zu einem laufenden TV-Programm Kontextinformation eingeholt. Diese muss nicht zuvor in den Medieninhalt z. B. als Metadaten, eingefügt worden sein, sondern die Ermittlungseinheit 40 ermittelt rein aus den im normalen Fernsehsignal bekannten Informationen medienbezogene Schlagwörter. Durch die Weiterleitung der Kontextdarstellungen 60 einer Client-Recheneinheit 61 erhält der Betrachter des Medieninhalts auf einem separaten Bildschirm und nur für ihn sichtbar, sofern er das Smartphone z. B. an seinen Körper hält, die kontextbezogenen Informationen angezeigt, und andere Zuschauer und auch er werden nicht durch eine Kontextanzeige auf der Ausgabeeinrichtung 30 gestört. Zudem muss der Zuschauer nicht selbst nach den kontextbezogenen Informationen suchen, z. B. über Eingabe in sein Telefon, sondern er erhält diese automatisch durch Starten einer bestimmten Anwendung, die dann die kontextbezogenen Informationen von der Recheneinheit 10 bevorzugt als fertige Kontextdarstellung erhält.In this way context information is obtained for a current TV program. This need not previously in the media content z. B. as metadata, but the determination unit 40 determines purely from the information known in the normal television signal media-related keywords. By passing on the contextual representations 60 a client computing unit 61 receives the viewer of the media content on a separate screen and only visible to him, if he the smartphone z. B. holds to his body, the contextual information displayed, and other viewers and also he will not by a contextual display on the output device 30 disturbed. In addition, the viewer does not have to search for the contextual information himself, eg. B. via input to his phone, but he receives it automatically by launching a particular application, which then the contextual information from the arithmetic unit 10 preferably as a finished context representation receives.

2 zeigt eine Detailansicht der Schritte Ermitteln des medienbezogenen Schlagworts, Erstellen eines Suchbegriffs und Einholen des Medienkontexts sowie der dafür nötigen Komponenten, wobei eine Kombination von verschiedenen Mustererkennungsverfahren angewendet wird. Die Ermittlungseinrichtung 40 weist hier eine Bilderkennungseinrichtung 42, eine Audioerkennungseinrichtung 43, eine Texterkennungseinrichtung 44 und eine Metadatenextraktionseinrichtung 45 auf. In einer optionalen Variante sind die Audioerkennungseinrichtung 43 und die Bilderkennungseinrichtung 42 jeweils mit einer Datenbank 43.1 bzw 24.1 verbunden. Die Abfrageeinrichtung 70 weist eine Kombinationseinrichtung 72 auf. 2 shows a detailed view of the steps determining the media-related keyword, creating a search term and obtaining the media context and the components necessary for it, using a combination of different pattern recognition method is applied. The determination device 40 here has an image recognition device 42 an audio recognition device 43 , a text recognition device 44 and a metadata extractor 45 on. In an optional variant, the audio recognition device 43 and the image recognition device 42 each with a database 43.1 respectively 24.1 connected. The polling device 70 has a combination device 72 on.

Im Betrieb der Erfindung erhalten die Erkennungs- bzw. Extraktionseinrichtungen 4245 die gerade abgespielten Multimediadaten 21. Diese werden dann durch diese Einrichtungen 4245 analysiert und es werden Schlagwörter 41 daraus extrahiert. Die Metadatenextraktionseinrichtung 45 liest die eventuell schon in den Multimediadaten enthaltenen Metadaten aus und liefert diese als medienbezogene Schlagwörter. In der Kombinationseinrichtung 42 wird aus den verschiedenen erhaltenen medienbezogenen Schlagwörtern ein Suchbegriff 71 gebildet.In operation of the invention, the detection or extraction devices receive 42 - 45 the currently playing multimedia data 21 , These will then be through these facilities 42 - 45 analyzed and become keywords 41 extracted from it. The metadata extraction device 45 reads the metadata that may already be contained in the multimedia data and delivers them as media-related keywords. In the combination device 42 becomes a search term from the various received media-related keywords 71 educated.

Auf diese Weise werden verschiedene Medieninformationen durch verschiedene Erkennungsverfahren bzw. Extraktionsverfahren aus den Multimediadaten 21 abgeleitet und diese dann zu einem Suchbegriff 71 zusammengefasst. Damit ergibt sich eine höhere Ausbeute von passendem Medienkontext.In this way, various media information is obtained from the multimedia data by various recognition methods or extraction methods 21 and then this to a search term 71 summarized. This results in a higher yield of suitable media context.

3 zeigt eine Übersicht über ein erfindungsgemäßes Verfahren und eine erfindungsgemäße Vorrichtung wobei die Recheneinheit 10 ein Sendeserver ist, der über ein Sendenetzwerk 82 (z. B. DVB-T oder IP-TV) mit dem Anzeigegerät 30 und der Client-Recheneinheit 61 verbunden ist. Ein Zusatzcontroller ist dazwischen mit dem Sendenetzwerk 82 verbunden sowie mit der Client-Recheneinheit 10 und dem Anzeigegerät 30. 3 shows an overview of a method according to the invention and a device according to the invention wherein the arithmetic unit 10 a sending server is over a sending network 82 (eg DVB-T or IP-TV) with the display device 30 and the client computing unit 61 connected is. An additional controller is in between with the broadcast network 82 connected as well as with the client computing unit 10 and the display device 30 ,

Im Betrieb der Erfindung trennt der Zusatzcontroller 81 die Multimediadaten 21 von der Kontextdarstellung 60 und leitet die Kontextdarstellung 60 an die Client-Recheneinheit 10 weiter. Über den Zusatzcontroller 81 kommuniziert die Client-Recheneinheit 61 mit dem Controller 80 des Sendeservers 10, um für eine Anpassung der Kontextdarstellung geeignete Informationen zu übermitteln. In operation of the invention, the auxiliary controller disconnects 81 the multimedia data 21 from the context representation 60 and directs the context representation 60 to the client computing unit 10 further. About the additional controller 81 communicates the client computing unit 61 with the controller 80 of the sending server 10 to convey suitable information for an adaptation of the context representation.

Auf diese Weise werden die für die Analyse der Multimediadaten 21 notwendigen, rechenintensiven Operationen, die in der Ermittlungseinrichtung 40 ausgeführt werden, auf eine zentrale Recheneinheit 10 verlagert. Auf der Seite des Empfangsgeräts 30 und der Client-Recheneinheit 61 ist eine geringere Rechenkapazität ausreichend. Weiterhin werden die Anfragen in das Netzwerk 50, die durch die Abfrageeinrichtung 70 durchgeführt werden, gebündelt und im Falle von vielen Benutzern, die denselben Multimediainhalt mit verschiedenen Anzeigegeräten 30 betrachten, wird die Netzwerklast gegenüber einer dezentralen Variante, wie z. B. in 1, verringert.In this way, those for the analysis of multimedia data 21 necessary, computationally intensive operations in the investigator 40 be executed on a central processing unit 10 relocated. On the side of the receiving device 30 and the client computing unit 61 a lower computing capacity is sufficient. Furthermore, the requests are in the network 50 by the polling device 70 be bundled and, in the case of many users, the same multimedia content with different display devices 30 consider the network load compared to a decentralized variant, such. In 1 , reduced.

Mit dieser Erfindung wurde ein Verfahren sowie eine dafür geeignete Vorrichtung vorbestellt, mithilfe derer automatisch aus angezeigten Multimediainhalten Schlagwörter extrahiert werden, so dass weder der Zuschauer aktiv solche Schlagwörter extrahieren und suchen müsste noch dass der Anbieter eines Multimediainhalts solche Schlagwörter in die Multimediainhalten z. B. als Metadaten integriert. Die Schlagwörter werden dann verwendet, um einen Suchbegriff zu bilden, der dann Medienkontext, der z. B. aus dem Internet eingeholt wird, dem Benutzer zur Verfügung gestellt wird. Dabei wird der Medienkontext als Kontextdarstellung auf einer separaten Client-Rechnereinheit angezeigt, so dass die Anzeige des Kontexts die vorhandenen Zuschauer während des Betrachtens der Multimediainhalte nicht stört und jeder Zuschauer auch selbst persöhnlich seine eigenen Multimediakontexte durch Auswahl noch weiter im Detailgrad vertiefen kann. Hierfür wird bei der Erstellung der Kontextdarstellung bevorzugt auf die Gegebenheiten der Client-Rechnereinheit wie z. B. Auflösung oder Rechenkapazität und kompatible Dateiformate Rücksicht genommen. Die Extraktion von Schlagwörtern aus den Multimediainhalten erfolgt bevorzugt durch die Anwendung von verschiedenen Mustererkennungsverfahren, so dass auf multimodale Art und Weise Schlagwörter aus dem Multimediainhalt erkannt werden. Dies erhöht die Wahrscheinlichkeit eines passenden Medienkontexts, der den Benutzer interessiert. Bezugszeichen 10 Recheneinheit 20 Medieninhalt 21 Multimediadaten 30 Ausgabeeinrichtung 40 Ermittlungseinrichtung 41 medienbezogenes Schlagwort 42 Bilderkennungseinrichtung 42.1 Bilddatenbank 43 Audioerkennungseinrichtung 43.1 Audiodatenbank 44 Texterkennungseinrichtung 45 Metadatenextraktionseinrichtung 50 Netzwerk 51 Medienkontext 60 Kontextdarstellung 61 Client-Recheneinheit 62 Ausgabeeinrichtung 70 Abfrageeinrichtung 71 Suchbegriff 72 Kombinationseinrichtung 80 Controller 81 Zusatzcontroller 82 Sendenetzwerk With this invention, a method and a suitable device has been pre-ordered, by means of which keywords are automatically extracted from displayed multimedia contents, so that neither the viewer would have to actively extract such keywords and search nor that the provider of a multimedia content such keywords in the multimedia content z. B. integrated as metadata. The keywords are then used to form a search term, which is then a media context, e.g. B. is obtained from the Internet, the user is provided. Here, the media context is displayed as a contextual representation on a separate client computer unit, so that the display of the context does not bother the existing viewers while viewing the multimedia content and each viewer can personally even more deepen his own multimedia contexts by selecting even more detail. For this purpose, in the creation of the contextual representation is preferred to the circumstances of the client computer unit such. B. resolution or computing capacity and compatible file formats taken into account. The extraction of keywords from the multimedia contents is preferably carried out by the use of various pattern recognition methods, so that in a multimodal way keywords from the multimedia content are detected. This increases the likelihood of a suitable media context that interests the user. reference numeral 10 computer unit 20 media content 21 multimedia data 30 output device 40 determining device 41 Media-related keyword 42 Image recognition device 42.1 Image Database 43 Audio detection device 43.1 Audio database 44 Text recognition device 45 Metadata extraction means 50 network 51 media context 60 context representation 61 Client computing unit 62 output device 70 interrogator 71 search term 72 combiner 80 controller 81 additional controller 82 Broadcast network

Claims (9)

Verfahren zum Anzeigen von Medienkontext (51) während der Ausgabe eines Multimediainhalts (20) durch eine Recheneinheit (10), umfassend die Schritte: – Ausgeben von Multimediadaten (21) an ein Ausgabegerät (30); – Ermitteln von mindestens einem medienbezogenen Schlagwort (41); – Erstellen eines Suchbegriffs (71) aus mindestens einem medienbezogenen Schlagwort (41); – Einholen des Medienkontexts (51) in Abhängigkeit des Suchbegriffs (71); – Darstellen des Medienkontexts (51) als eine Kontextdarstellung (61) durch eine Client-Recheneinheit (61) mit eigener Ausgabeeinrichtung (62).Method for Displaying Media Context ( 51 ) during the output of a multimedia content ( 20 ) by a computing unit ( 10 ), comprising the steps of: - outputting multimedia data ( 21 ) to an output device ( 30 ); - determining at least one media-related keyword ( 41 ); - Create a search term ( 71 ) from at least one media-related keyword ( 41 ); - obtaining the media context ( 51 ) depending on the search term ( 71 ); - Representation of the media context ( 51 ) as a context representation ( 61 ) by a client computing unit ( 61 ) with its own output device ( 62 ). Verfahren gemäß einem der vorhergehenden Ansprüche, wobei der Multimediainhalt (20) ein Videofilm, eine digitale Photographie, ein Musikstück, ein Hörbuch oder ein Video- und/oder Telefongespräch ist.Method according to one of the preceding claims, wherein the multimedia content ( 20 ) is a video, a digital photograph, a piece of music, an audiobook or a video and / or telephone conversation. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Ermitteln von mindestens einem medienbezogenen Schlagwort (41) durch ein Anwenden eines Mustererkennungsverfahrens auf die Multimediadaten (21) erfolgt.Method according to one of the preceding claims, wherein the determination of at least one media-related keyword ( 41 ) by applying a pattern recognition method to the multimedia data ( 21 ) he follows. Verfahren gemäß Anspruch 3, wobei das Ermitteln ein Erkennen von mindestens einem Schlagwort (41) durch das Anwenden eines oder einer Kombination von folgenden Mustererkennungsverfahren umfasst: – Spracherkennung; – Musikerkennung; – Bilderkennung; – Texterkennung.The method of claim 3, wherein the determining comprises recognizing at least one keyword ( 41 by using one or a combination of the following pattern recognition methods: speech recognition; - music recognition; - image recognition; - text recognition. Verfahren gemäß einem der Ansprüche 3 bis 4, wobei das Erstellen des Suchbegriffs (71) ein Kombinieren der Schlagwörter (41) darstellt, die durch das Anwenden unterschiedlicher Mustererkennungsverfahren auf die Multimediadaten (21) ermittelt wurden.Method according to one of claims 3 to 4, wherein the creation of the search term ( 71 ) combining the keywords ( 41 ) by applying different pattern recognition methods to the multimedia data ( 21 ) were determined. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Einholen des Medienkontexts (51) ein Durchführen einer Suchanfrage im Internet (50) umfasst.Method according to one of the preceding claims, wherein obtaining the media context ( 51 ) performing a search query on the Internet ( 50 ). Vorrichtung zum Anzeigen von Medienkontext (51) eines Multimediainhalts (20), umfassend: – eine Recheneinheit (10) zur Ausgabe von Multimediadaten (21), wobei die Recheneinheit (10) folgende Hardware- und/oder Softwaremodule aufweist: – eine Ermittlungseinrichtung (40) zum Ermitteln von mindestens einem medienbezogenen Schlagwort (41) aus Multimediadaten (21); – eine Abfrageeinrichtung (70) zum Erstellen eines Suchbegriffs (71) aus mindestens einem medienbezogenen Schlagwort (41) und zum Abfragen des Medienkontexts (51) in Abhängigkeit des Suchbegriffs (71); – einen Controller (80) – zum Weiterleiten des Medienkontexts (51) an eine Client-Recheneinheit (61) mit eigener Ausgabeeinrichtung (62) und/oder – zum Erzeugen einer Kontextdarstellung (60) des Medienkontexts (51) und zum Weiterleiten der Kontextdarstellung (60) an die Client-Recheneinheit (61) mit der eigenen Ausgabeeinrichtung (62).Device for displaying media context ( 51 ) of a multimedia content ( 20 ), comprising: - a computing unit ( 10 ) for the output of multimedia data ( 21 ), wherein the arithmetic unit ( 10 ) comprises the following hardware and / or software modules: - a determination device ( 40 ) for determining at least one media-related keyword ( 41 ) from multimedia data ( 21 ); An interrogator ( 70 ) to create a search term ( 71 ) from at least one media-related keyword ( 41 ) and to query the media context ( 51 ) depending on the search term ( 71 ); - a controller ( 80 ) - to forward the media context ( 51 ) to a client computing unit ( 61 ) with its own output device ( 62 ) and / or - to generate a context representation ( 60 ) of the media context ( 51 ) and to forward the context representation ( 60 ) to the client computing unit ( 61 ) with its own output device ( 62 ). Vorrichtung gemäß Anspruch 7, wobei die Ermittlungseinrichtung (40) eines oder eine Kombination der folgenden Hardware- und/oder Softwaremodule aufweist: – eine Bilderkennungseinrichtung (42); – eine Audioerkennungseinrichtung (43) für Sprache; – eine Audioerkennungseinrichtung (43) für Musik; – eine Texterkennungseinrichtung (44).Apparatus according to claim 7, wherein the determining means ( 40 ) one or a combination of the following hardware and / or software modules: - an image recognition device ( 42 ); An audio recognition device ( 43 ) for language; An audio recognition device ( 43 ) for music; A text recognition device ( 44 ). Vorrichtung gemäß einem der Ansprüche 7 bis 8, wobei die Abfrageeinrichtung (70) eine Schnittstelle zu einem Internetsuchdienst aufweist. Device according to one of claims 7 to 8, wherein the interrogator ( 70 ) has an interface to an Internet search service.
DE201110109125 2011-07-29 2011-07-29 Method for displaying media context during output of multimedia content e.g. video film, by transmission server, involves displaying media context as representation of context by client processing unit with own output device Withdrawn DE102011109125A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201110109125 DE102011109125A1 (en) 2011-07-29 2011-07-29 Method for displaying media context during output of multimedia content e.g. video film, by transmission server, involves displaying media context as representation of context by client processing unit with own output device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201110109125 DE102011109125A1 (en) 2011-07-29 2011-07-29 Method for displaying media context during output of multimedia content e.g. video film, by transmission server, involves displaying media context as representation of context by client processing unit with own output device

Publications (1)

Publication Number Publication Date
DE102011109125A1 true DE102011109125A1 (en) 2013-01-31

Family

ID=47503143

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201110109125 Withdrawn DE102011109125A1 (en) 2011-07-29 2011-07-29 Method for displaying media context during output of multimedia content e.g. video film, by transmission server, involves displaying media context as representation of context by client processing unit with own output device

Country Status (1)

Country Link
DE (1) DE102011109125A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785670B1 (en) * 2000-03-16 2004-08-31 International Business Machines Corporation Automatically initiating an internet-based search from within a displayed document
JP2008294943A (en) * 2007-05-28 2008-12-04 Hitachi Ltd Program related information acquistion system and video recorder
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
US20110145874A1 (en) * 2009-12-10 2011-06-16 At&T Intellectual Property I, L.P. Apparatus and method for managing voice communications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785670B1 (en) * 2000-03-16 2004-08-31 International Business Machines Corporation Automatically initiating an internet-based search from within a displayed document
JP2008294943A (en) * 2007-05-28 2008-12-04 Hitachi Ltd Program related information acquistion system and video recorder
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
US20110145874A1 (en) * 2009-12-10 2011-06-16 At&T Intellectual Property I, L.P. Apparatus and method for managing voice communications

Similar Documents

Publication Publication Date Title
US9560411B2 (en) Method and apparatus for generating meta data of content
CN109218629B (en) Video generation method, storage medium and device
DE112016002198T5 (en) CONTEXTUALIZING KNOWLEDGE FIELDS
CN105898583B (en) Image recommendation method and electronic equipment
DE202014011475U1 (en) Electronic device
DE202017106441U1 (en) Determine search queries to obtain information during a user experience of an event
CN103984778B (en) A kind of video retrieval method and system
DE202016008293U1 (en) Systems and media for identifying and presenting multilingual media content items to users
DE102012224268A1 (en) Hiding Web Videos: A method of displaying videos viewed in multiple windows
DE102014100958A1 (en) Context queries to expand a video ad
KR20160062667A (en) A method and device of various-type media resource recommendation
JP6601944B2 (en) Content generating apparatus and program
DE102012112087A1 (en) Method and device for translation
US9542976B2 (en) Synchronizing videos with frame-based metadata using video content
DE102017125474A1 (en) CONTEXTUAL COMMENTING OF INQUIRIES
Vettehen et al. Competitive pressure and arousing television news: A cross-cultural study
EP2701115A1 (en) Method and system for live video consultation
DE102019126688A1 (en) SYSTEM AND METHOD FOR AUTOMATIC SUBTITLE DISPLAY
DE112019007274T5 (en) AUTOMATIC SUBTITLING OF AUDIBLE PORTIONS OF CONTENT ON A COMPUTER DEVICE
CN113992973A (en) Video abstract generation method and device, electronic equipment and storage medium
DE102006027720A1 (en) Multimedia presentation processing method, involves annotating video with image-and/or script contents, and annotating video segment based on obtained allocation information with information of allocated section of presentation material
Löffler et al. iFinder: An MPEG-7-based retrieval system for distributed multimedia content
DE102011109125A1 (en) Method for displaying media context during output of multimedia content e.g. video film, by transmission server, involves displaying media context as representation of context by client processing unit with own output device
DE102007030131B3 (en) Information i.e. video data, synchronized provision method, for e.g. interactive application of portal, involves forming community using identifier with information related to geographical location of users
CN116561294A (en) Sign language video generation method and device, computer equipment and storage medium

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: DTS MUENCHEN PATENT- UND RECHTSANWAELTE, DE

R081 Change of applicant/patentee

Owner name: EXARING AG, DE

Free format text: FORMER OWNER: COTTE, PIERRE-ALAIN, 92224 AMBERG, DE

Effective date: 20130723

R082 Change of representative

Representative=s name: DTS MUENCHEN PATENT- UND RECHTSANWAELTE, DE

Effective date: 20130723

Representative=s name: DTS PATENT- UND RECHTSANWAELTE SCHNEKENBUEHL U, DE

Effective date: 20130723

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee