DE102009044480B4

DE102009044480B4 - Arrangement and method for identifying media and for providing additional media content

Info

Publication number: DE102009044480B4
Application number: DE102009044480.7A
Authority: DE
Inventors: Michael Sievert; Blake C. Ramsdell; Robert D. Dickinson III; Howard Locker
Original assignee: Lenovo Singapore Pte Ltd
Current assignee: Lenovo PC International Ltd
Priority date: 2008-11-21
Filing date: 2009-11-10
Publication date: 2014-04-03
Anticipated expiration: 2029-11-11
Also published as: DE102009044480A1

Abstract

Computerimplementiertes Verfahren, das aufweist: Identifizieren einer Quellmedieninhaltseinspeisung an eine elektronische Anordnung; automatisches Einholen in Beziehung stehender Medien basierend auf dem Identifizieren; und Aufbereiten des Quellmedieninhalts und der dazu in Beziehung stehenden Medien zur Ausgabe an eine Anzeigeanordnung, wobei das automatische Einholen in Beziehung stehender Medien weiterhin das Einholen in Beziehung stehender Medien aufweist, die vorab ausgewählt und in einer Datenbank gespeichert sind.A computer implemented method, comprising: identifying a source media content feed to an electronic device; automatically retrieve related media based on the identification; and preparing the source media content and related media for output to a display device, wherein the automatic retrieval of related media further includes the retrieval of related media that are preselected and stored in a database.

Description

Die Erfindung richtet sich auf ein Medienverwaltungssystem, das Multimediadaten aus einer Vielzahl von Quellen verwaltet. Im Besonderen ist die Erfindung auf Anordnungen, Systeme und Verfahren zum Identifizieren von Quellmedien und zum Bereitstellen gezielter und integrierter Medienerlebnisse für Konsumenten von Fernseh- und Internetdiensten gerichtet.The invention is directed to a media management system that manages multimedia data from a variety of sources. In particular, the invention is directed to arrangements, systems and methods for identifying source media and providing targeted and integrated media experiences to consumers of television and Internet services.

Eine steigende Anzahl von Haushalten besitzt heute High Definition Fernsehgeräte (HDTVs) und Breitbandinternetverbindungen. Die Konsumenten verfolgen eine bedeutende Menge an Fernsehen auf diesen HDTVs. Konsumenten greifen auch zunehmend über das Internet auf Medieninhalt zu, hauptsächlich auf herkömmlichen Desktop und Laptop Computern, aber auch auf mobilen Rechneranordnungen und Ähnlichem. Es ist sehr wahrscheinlich, dass sich diese Tendenzen fortsetzen, wenn mehr an HD Programmen verfügbar wird, mehr Konsumenten HDTVs kaufen, und mehr Konsumenten zu fest verdrahteten oder drahtlosen Breitbandinternetverbindungen wechseln oder diese erhalten.An increasing number of households now own high definition televisions (HDTVs) and broadband Internet connections. Consumers are watching a significant amount of television on these HDTVs. Consumers are also increasingly accessing media content via the Internet, mainly on conventional desktop and laptop computers, but also on mobile computing devices and the like. It is very likely that these trends will continue as more HD programs become available, as more consumers buy HDTVs, and more consumers switch to or receive hardwired or wireless broadband Internet connections.

Die Konsumenten verwenden im Allgemeinen Rechner- und mobile Anordnungen, um ihre Fernseherlebnisse zu erweitern (wie zum Beispiel wenn ein Laptop verwendet wird, um Wahlergebnisse oder Sportergebnisse zu verfolgen, während dazu in Beziehung stehende Inhalte auf dem Fernseher betrachtet werden). Es ist auch wahrscheinlich, dass sich diese Tendenz fortsetzt, da Konsumenten ständig nach zusätzlicher Information suchen, die in Beziehung steht zu einem Fernsehprogramm, sogar während sie die Programme ansehen. Fortschritte in den Fernsehdiensten und zu den Fernsehdiensten in Beziehung stehender Internetmedieninhalt haben dieses Verhalten erleichtert. Immer weiter wachsende und verfügbare Wege zur Beeinflussung von Fernsehprogrammen werden verfügbar (zum Beispiel Bild in Bild Anzeigeeinheiten, das Anhalten von live gesendeten Programmen über digitale Videorekorder (DVRs) und Ähnliches, usw.). Auf gleiche Weise wird eine wachsende Menge von zu Fernsehprogrammen in Beziehung stehendem Internetmedieninhalt verfügbar.Consumers generally use computing and mobile devices to augment their television experiences (such as when a laptop is used to track election results or sports scores while viewing related content on the television). It is also likely that this trend will continue, as consumers are constantly looking for additional information related to a television program even while watching the programs. Advances in television services and Internet media content related to television services have facilitated this behavior. Ever-growing and available ways of influencing television programs become available (for example, picture-in-picture display units, stopping live programs via digital video recorders (DVRs) and the like, etc.). In the same way, an increasing amount of Internet media content related to television programs becomes available.

Es gibt jedoch derzeit keinen herkömmlichen Weg, um es einem Anwender zu ermöglichen, ein wirklich integriertes Erlebnis der Fernseh- und Internetmedien zu erfahren. Sogar das Betrachten von Fernsehprogrammen auf einer mit dem Internet verbundenen Anordnung (zum Beispiel einem Laptop, einem Desktop oder mobilen Rechneranordnungen), weist kein wirklich integriertes Erlebnis auf, da Konsumenten zwischen dem Betrachten von Programmen und dem Browsen des Internets wählen müssen. Als Folge davon greifen Konsumenten darauf zurück, auf eine zeitraubende und nicht zusammenhängende Weise manuell zwischen Medienanordnungen (zum Beispiel zwischen Fernseher und Laptop) oder Anwendungen umzuschalten.However, there is currently no conventional way to allow a user to experience a truly integrated experience of TV and Internet media. Even viewing television programs on an Internet-connected device (eg, a laptop, a desktop, or mobile computing devices) does not have a truly integrated experience as consumers have to choose between viewing programs and browsing the Internet. As a result, consumers resort to switching in a time-consuming and disconnected manner manually between media devices (for example, between televisions and laptops) or applications.

Aus der Druckschrift US 2007/0180461 A1 ist ein computerimplementierbares Verfahren bekannt, wobei eine Quellmedieninhaltseinspeisung an eine elektronische Anordnung identifiziert wird, hierzu in Beziehung stehender Medieninhalt eingeholt wird und der Quellmedieninhalt sowie die dazu in Beziehung stehenden Medien zur Ausgabe an eine Anzeigeanordnung aufgearbeitet werden. Dabei wird der in Beziehung stehende Medieninhalt gemeinsam mit der Quellmedieninhaltseinspeisung an die elektronische Anordnung übermittelt.From the publication US 2007/0180461 A1 For example, a computer-implemented method is known wherein a source media content feed to an electronic device is identified, related media content is obtained, and the source media content and related media are processed for output to a display device. In this case, the related media content is communicated to the electronic device along with the source media content feed.

Aus der Druckschrift US 7,421,376 B1 ist ein Verfahren zum Identifizieren von Daten unter Verwendung digitalen Fingerprintings bekannt.From the publication US Pat. No. 7,421,376 B1 For example, a method for identifying data using digital fingerprinting is known.

Aus der Druckschrift US 2007/0055500 A1 ist ein Verfahren zum Identifizieren von Daten unter Verwendung von audio Fingerprinting bekannt.From the publication US 2007/0055500 A1 For example, a method of identifying data using audio fingerprinting is known.

Dementsprechend haben die Erfinder eine Notwendigkeit dafür erkannt, den an gleichzeitigen und flexiblen Erlebnissen interessierten Konsumenten das Beste aus Fernsehen und dem Internet mit einer integrierten Anordnung zur Verfügung zu stellen, die kompatibel ist mit ihren gegenwärtig verwendeten Anordnungen ist und diese ergänzt.Accordingly, the inventors have recognized a need to provide the consumers interested in simultaneous and flexible experiences with the best of television and the Internet with an integrated device that is compatible with and complements their currently used arrangements.

Zumindest eine gegenwärtig bevorzugte Ausführungsform der vorliegenden Erfindung betrachtet allgemein eine Anordnung, die ein integriertes Erlebnis der Fernseh- und Internetmedien zur Verfügung stellt. Die Anordnung sieht eine automatische Identifizierung von Quellmedieninhaltseinspeisung vor, wie zum Beispiel eines Kabelfernsehprogramms oder eines Internetprogramms, die Analyse der identifizierten Quellmedieninhaltseinspeisung, die Bereitstellung von dazu in Beziehung stehendem (zum Beispiel Internet-)Inhalt, und die Integration der Quellmedien und des dazu in Beziehung stehenden (zum Beispiel Internet-)Inhalts zur Anzeige.At least one presently preferred embodiment of the present invention generally contemplates an arrangement that provides an integrated experience of the television and Internet media. The arrangement provides for automatic identification of source media content feed, such as a cable television program or Internet program, analysis of the identified source media content feed, provision of related (eg, Internet) content, and integration of the source media and related thereto standing (for example, Internet) content for display.

Zusammengefasst stellt zumindest ein Gesichtspunkt der vorliegenden Erfindung ein computerimplementiertes Verfahren zur Verfügung, das aufweist: Identifizieren einer Quellmedieninhaltseinspeisung an eine elektronische Anordnung; automatisches Einholen dazu in Beziehung stehender Medien basierend auf dem Identifizieren; und Aufbereiten des Quellmedieninhalts und der dazu in Beziehung stehenden Medien zur Ausgabe an eine Anzeigeanordnung.In summary, at least one aspect of the present invention provides a computer-implemented method comprising: identifying a source media content feed to an electronic device; automatically obtaining related media based on the identifying; and rendering the source media content and related media available for output to a display device.

Ein weiterer Gesichtspunkt der vorliegenden Erfindung stellt eine Vorrichtung zur Verfügung, die aufweist: zumindest einen Prozessor; und eine dinghafte Programmspeicheranordnung, die eingerichtet ist, um ein Programm von Anweisungen zu speichern, das, wenn es durch den zumindest einen Prozessor ausgeführt wird, die Vorrichtung in die Lage versetzt: eine Quellmedieninhaltseinspeisung an die Vorrichtung zu identifizieren; basierend auf dem Identifizieren automatisch dazu in Beziehung stehende Medien einzuholen; und den Quellmedieninhalt und die dazu in Beziehung stehenden Medien zur Ausgabe an eine Anzeigeanordnung aufzubereiten.Another aspect of the present invention provides an apparatus which comprising: at least one processor; and a tangible program storage device configured to store a program of instructions that, when executed by the at least one processor, enables the device to: identify a source media content feed to the device; automatically retrieve related media based on the identifying; and prepare the source media content and related media for output to a display device.

Ein weiterer Gesichtspunkt der vorliegenden Erfindung stellt eine dinghafte Programmspeicheranordnung zur Verfügung, die maschinenlesbar ist, die ein Programm von Anweisungen verkörpert, das, wenn es von einem Prozessor der Maschine ausgeführt wird, die Maschine in die Lage versetzt: eine Quellmedieninhaltseinspeisung an die Maschine zu identifizieren; basierend auf dem Identifizieren automatisch dazu in Beziehung stehende Medien einzuholen; und den Quellmedieninhalt und die dazu in Beziehung stehenden Medien zur Ausgabe an eine Anzeigeanordnung aufzubereiten.Another aspect of the present invention provides a tangible program storage device that is machine readable that embodies a program of instructions that, when executed by a processor of the machine, enables the machine: to identify a source media content feed to the machine ; automatically retrieve related media based on the identifying; and prepare the source media content and related media for output to a display device.

Ein weiterer Gesichtspunkt der vorliegenden Erfindung stellt ein Verfahren zur Verfügung, das aufweist: Empfangen von Information, die in Beziehung steht zu dem Inhalt zur Anzeige, zur Verfügung gestellt durch eine externe Anordnung über eine Netzwerkverbindung; Identifizieren der zu dem Inhalt in Beziehung stehenden Information zur Anzeige und Erzeugen eines Identifizierungsergebnisses basierend auf der Identifizierung; und Übertragen eines Identifizierungsergebnissees an die externe Anordnung über die Netzwerkverbindung.Another aspect of the present invention provides a method comprising: receiving information related to the content for display provided by an external device via a network connection; Identifying the content-related information for displaying and generating an identification result based on the identification; and transmitting an identification result to the external device via the network connection.

Zum besseren Verständnis der vorliegenden Erfindung, zusammen mit anderen und weiteren Eigenschaften und Vorteilen davon, wird Bezug genommen auf die nachfolgende Beschreibung, die in Verbindung mit den begleitenden Zeichnungen ausgeführt ist, und der Schutzumfang der Erfindung wird in den anhängenden Ansprüchen aufgezeigt.For a better understanding of the present invention, together with other and further features and advantages thereof, reference is made to the following description, taken in conjunction with the accompanying drawings, and the scope of the invention is pointed out in the appended claims.

1 zeigt ein Blockdiagramm eines Computersystems. 1 shows a block diagram of a computer system.

2 zeigt ein in Reihe geschaltetes Medienverwaltungssystem. 2 shows a series-connected media management system.

3 veranschaulicht ein Verfahren zum Identifizieren von Quellmedien. 3 illustrates a method for identifying source media.

4 veranschaulicht ein Verfahren zum gezielten Einholen in Beziehung stehender Medien und zum Integrieren von diesen mit Quellmedien zur Anzeige. 4 illustrates a method for selectively obtaining related media and integrating them with source media for display.

Es wird leicht verstanden werden, dass die Komponenten der vorliegenden Erfindung, wie hierin im Allgemeinen beschrieben und in den Figuren veranschaulicht, zusätzlich zu den beschriebenen gegenwärtig bevorzugten Ausführungsformen in einer breiten Vielfalt von verschiedenen Konfigurationen angeordnet und ausgeführt werden können. Daher beabsichtigt die nachfolgende detailliertere Beschreibung der Ausführungsformen der vorliegenden Erfindung, wie in den Figuren dargestellt, nicht, den Schutzumfang der Erfindung, wie beansprucht, einzuschränken, sondern ist lediglich repräsentativ für ausgewählte gegenwärtig bevorzugte Ausführungsformen der Erfindung.It will be readily understood that the components of the present invention, as generally described herein and illustrated in the figures, may be arranged and embodied in a wide variety of different configurations in addition to the presently preferred embodiments described. Therefore, the following more detailed description of the embodiments of the present invention, as illustrated in the figures, is not intended to limit the scope of the invention as claimed, but is merely representative of selected presently preferred embodiments of the invention.

Eine Bezugnahme durchgängig durch diese Beschreibung auf ”eine Ausführungsform” (oder Ähnliches) bedeutet, dass eine bestimmte Eigenschaft, eine bestimmte Struktur oder ein bestimmtes Merkmal, beschrieben in Verbindung mit der Ausführungsform, in zumindest einer Ausführungsform der vorliegenden Erfindung enthalten ist. Daher beziehen sich die Vorkommen der Redewendung ”in einer Ausführungsform” oder Ähnliches an verschiedenen Stellen in dieser Beschreibung nicht notwendigerweise alle auf die gleiche Ausführungsform.Reference throughout this specification to "one embodiment" (or the like) means that a particular property, structure, or characteristic described in connection with the embodiment is included in at least one embodiment of the present invention. Therefore, the occurrences of the phrase "in one embodiment" or the like at various points in this description are not necessarily all referring to the same embodiment.

Darüber hinaus können die beschriebenen Eigenschaften, Strukturen oder Merkmale auf jede geeignete Weise in einer oder mehreren Ausführungsformen kombiniert werden. In der nachfolgenden Beschreibung werden vielfache spezifische Details zur Verfügung gestellt, um ein tief greifendes Verständnis der Ausführungsformen der Erfindung zu geben. Eine in der maßgeblichen Technik geübte Person wird jedoch erkennen, dass die Erfindung ohne eines oder mehrere der spezifischen Details ausgeübt werden kann, oder unter Verwendung anderer Verfahren, Komponenten, Materialien usw. In anderen Fällen werden gut bekannte Strukturen, Materialien oder Arbeitsgänge nicht dargestellt oder im Detail beschrieben, um ein Verschleiern von Gesichtspunkten der Erfindung zu vermeiden.In addition, the described characteristics, structures or features may be combined in any suitable manner in one or more embodiments. In the following description, numerous specific details are provided to give a thorough understanding of the embodiments of the invention. However, one skilled in the art will recognize that the invention may be practiced without one or more of the specific details, or using other methods, components, materials, etc. In other instances, well-known structures, materials, or operations may not be illustrated described in detail to avoid obscuring aspects of the invention.

Die veranschaulichten Ausführungsformen der Erfindung werden am besten unter Bezugnahme auf die Zeichnungen verstanden. Die nachfolgende Beschreibung ist nur durch ein Beispiel beabsichtigt und veranschaulicht auf einfache Weise bestimmte ausgewählte gegenwärtig bevorzugte Ausführungsformen der Erfindung, wie sie hierin beansprucht werden.The illustrated embodiments of the invention are best understood with reference to the drawings. The following description is intended by way of example only and illustrates in a simple manner certain selected presently preferred embodiments of the invention as claimed herein.

Gemäß der zumindest einen gegenwärtig bevorzugten Ausführungsform der Erfindung wird ein Internet Media Computing System (oder Medienverwaltungssystem) zur Verfügung gestellt, das eine Komponentenmedienquelle, einen mit einem Netzwerk verbundenen Internetmediencomputer (oder Computer) und zumindest eine Anzeigevorrichtung umfasst. Das Medienverwaltungssystem identifiziert auf automatische Weise Quellmedieninhalt. Das Medienverwaltungssystem verwendet dann die Identifizierungsergebnisse, um gezielt Medieninhalt abzurufen. Das Medienverwaltungssystem ermöglicht auch die Integration (zum Beispiel durch Überlagerung) des Komponentenquellmedieninhalts mit dem zusätzlichen gezielten Medieninhalt zur kombinierten Anzeige für den Anwender.According to the at least one presently preferred embodiment of the invention, there is provided an Internet Media Computing System (or Media Management System) comprising a component media source, an Internet Media Computer (or computer) connected to a network, and at least one display device includes. The media management system automatically identifies source media content. The media management system then uses the identification results to selectively retrieve media content. The media management system also allows for the integration (for example, by overlay) of the component source media content with the additional targeted media content for combined display to the user.

Der Quellmedieninhalt kann im Wesentlichen aus beliebigen Medien bestehen, es wird aber gegenwärtig bevorzugt, dass der Quellmedieninhalt Medieninhalt wie zum Beispiel ein Kabelfernsehprogramm aus einer Komponentenmedienquelle (zum Beispiel einer Kabelbox, einem Satelliten TV Empfänger, einem DVD Spieler usw.) oder Internetmedieninhalt (zum Beispiel ein Internetfernsehdatenstrom oder ein über einen Computer abgespieltes Video) aufweist. Der zusätzliche gezielte Medieninhalt kann auf ähnliche Weise aus einer Vielzahl von Quellen herrühren. Es wird gegenwärtig bevorzugt, dass der gezielte Medieninhalt aus dem Internet abgeleiteten Medieninhalt aufweist, der in Beziehung steht zu dem identifizierten Quellmedieninhalt; es sollte jedoch verstanden werden, dass der in Beziehung stehende Inhalt vorab ausgewählt und/oder lokal gespeichert sein könnte.The source media content may consist essentially of any media, but it is presently preferred that the source media content include media content such as a cable television program from a component media source (eg, cable box, satellite TV receiver, DVD player, etc.) or Internet media content (e.g. an Internet television stream or video played over a computer). The additional targeted media content can similarly come from a variety of sources. It is presently preferred that the targeted media content include media content derived from the Internet that is related to the identified source media content; however, it should be understood that the related content could be pre-selected and / or stored locally.

Gemäß einer Ausführungsform der Erfindung stellt das Medienverwaltungssystem die Integration eines Quellmedieninhalts, wie zum Beispiel eines Kabelfernsehprogramms, die Einspeisung von einer Komponentenmedienquelle, mit in Beziehung stehenden Medien (zum Beispiel Inhalt aus dem Internet) über ein Overlay/Pass-through Device (OPD) zur Verfügung. Es sollte beachtet werden, dass das OPD intern in einem Computer eines Medienverwaltungssystems angeordnet sein kann oder extern dazu. Daher werden, obwohl bestimmte Beispiele in den Figuren veranschaulicht sind, denjenigen, die gewöhnliche Kenntnisse in der Technik aufweisen, alternative Anordnungen offensichtlich sein und werden als in den Schutzumfang der Erfindung fallend betrachtet, so wie diese beansprucht ist. Das Medienverwaltungssystem ist die erste Lösung, die eine nahtlose Integration von Quellmedieninhalt von einer vorhandenen Inhaltswiedergabeanordnung (zum Beispiel einer Kabelbox, einem Personal Video Recorder (PVR), usw.) zusammen mit dazu in Beuiehung stehendem (zum Beispiel Internet-)Inhalt zur Verfügung stellt.According to one embodiment of the invention, the media management system provides integration of source media content, such as a cable television program, feed from a component media source, with related media (eg, content from the Internet) via an overlay / pass-through device (OPD) available. It should be noted that the OPD may be internal to a computer of a media management system or external thereto. Therefore, while particular examples are illustrated in the figures, alternative arrangements will be apparent to those of ordinary skill in the art, and are considered to fall within the scope of the invention as claimed. The media management system is the first solution that provides seamless integration of source media content from an existing content display device (e.g., a cable box, personal video recorder (PVR), etc.) along with related (e.g., Internet) content ,

Das Medienverwaltungssystem ist daher eingerichtet den Prozess des Hinzufügens eines breiten Bereichs von anwendergesteuertem Inhalt aus dem Internet von einer Vielzahl von Internetmedienprovidern deutlich zu erleichtern. Das Medienverwaltungssystem erleichtert das Hinzufügen von in Beziehung stehendem Internetmedieninhalt zu einer Anzeigevorrichtung (zum Beispiel einem HDTV Gerät), die bereits andere Eingabemedienquellen aufweist (wie zum Beispiel eine Kabelbox, einen Satelliten TV Empfänger, einen DVD Spieler, usw.).The media management system is therefore set up to greatly facilitate the process of adding a wide range of user-controlled content from the Internet to a variety of Internet media providers. The media management system facilitates the addition of related Internet media content to a display device (eg, an HDTV device) that already has other input media sources (such as a cable box, satellite TV receiver, DVD player, etc.).

Es sollte zur Kenntnis genommen werden, dass die vorliegende Erfindung auf eine beispielhafte und nicht einschränkende Weise beschrieben ist und dass die Erfindung allgemein anwendbar ist auf jeden Computer oder jede elektronische Anordnung, gleich ob diese mit einem HDTV oder einer anderen Anzeigeanordnung verbunden ist (zum Beispiel einem Computermonitor). Es sollte ebenfalls zur Kenntnis genommen werden, dass die Begriffe ”Medienverwaltungssystem”, ”Internetmediencomputer” und ”Computer” (und Ähnliches) zur Erleichterung der Erörterung in dieser Beschreibung verwendet werden. Es wird von denjenigen mit gewöhnlichen Kenntnissen in der Technik jedoch leicht verstanden werden, dass die Erfindung auf jeder elektronischen Anordnung oder Anordnungen umgesetzt werden kann, die geeignet eingerichtet ist/sind (die zum Beispiel geeignete Hardware und/oder Software zur Verfügung stellen), um die Funktionalität der Erfindung umzusetzen, wie sie hierin offenbart wird.It should be noted that the present invention is described in an exemplary and non-limiting manner and that the invention is generally applicable to any computer or electronic device, whether connected to an HDTV or other display device (e.g. a computer monitor). It should also be noted that the terms "media management system", "Internet media computer" and "computer" (and the like) are used to facilitate discussion in this specification. However, it will be readily understood by those of ordinary skill in the art that the invention can be practiced on any electronic device or arrangement suitably configured (for example, providing suitable hardware and / or software) to implement the functionality of the invention as disclosed herein.

Jetzt auf 1 Bezug nehmend wird ein Blockdiagramm einer veranschaulichenden Ausführungsform eines Computersystems 100 dargestellt. Die veranschaulichende, in 1 dargestellte Ausführungsform kann ein Notebook Computersystem sein, wie zum Beispiel eines aus der ThinkPad^® Reihe von Personalcomputern, die von Lenovo (US) Inc. aus Morrisville, North Carolina verkauft werden oder ein Workstationcomputer, wie zum Beispiel der Thinkstation^®, die ebenfalls von Lenovo (US) Inc. aus Morrisville, North Carolina, verkauft wird. Wie jedoch aus der nachfolgenden Beschreibung offensichtlich werden wird, ist die vorliegende Erfindung anwendbar zur Ausführung durch jede geeignet eingerichtete Datenverarbeitungsanordnung oder andere elektronische Anordnung.Now on 1 Turning to a block diagram of an illustrative embodiment of a computer system 100 shown. The illustrative, in 1 illustrated embodiment, a laptop its computer system, such as a ^® from the ThinkPad series of personal computers Lenovo (US) Inc. of Morrisville, North Carolina sold or a workstation computer, such as the ThinkStation ^®, also by Lenovo (US) Inc. of Morrisville, North Carolina. However, as will become apparent from the following description, the present invention is applicable to execution by any suitably equipped data processing device or other electronic device.

Wie in 1 gezeigt, umfasst das Computersystem 100 zumindest einen Systemprozessor 42, der durch einen Prozessorbus 44 mit einem Read-Only Memory (ROM) 40 und einem Systemspeicher 46 gekoppelt ist. Der Systemprozessor 42, der einen der von der Intel Corporation hergestellten Prozessoren aufweisen kann, ist ein Prozessor zur allgemeinen Verwendung, der beim Einschalten in dem ROM 40 gespeicherten Boot Code 41 ausführt und daran anschließend Daten unter der Steuerung von Betriebssystem und Anwendungssoftware verarbeitet, die in dem Anordnungsspeicher 46 gespeichert sind. Der Systemprozessor 42 ist über den Prozessorbus 44 und die Host Bridge 48 mit dem lokalen Peripheral Component Interconnect (PCI) Bus 50 gekoppelt.As in 1 shown includes the computer system 100 at least one system processor 42 by a processor bus 44 with a read-only memory (ROM) 40 and a system memory 46 is coupled. The system processor 42 , which may have one of the processors manufactured by Intel Corporation, is a general-purpose processor which, when turned on, is in the ROM 40 stored boat code 41 and then processing data under the control of the operating system and application software stored in the device memory 46 are stored. The system processor 42 is over the processor bus 44 and the host bridge 48 with the local Peripheral Component Interconnect (PCI) bus 50 coupled.

Der lokale PCI Bus 50 unterstützt den Anschluss einer Anzahl von Anordnungen, einschließlich Adaptern und Brücken (Bridges). Unter diesen Anordnungen befindet sich der Netzwerkadapter 66, der die Schnittstelle zwischen dem Computersystem 100 und dem LAN 10 bildet, und der Graphikadapter 68, der die Schnittstelle zwischen dem Computersystem 100 und der Anzeigevorrichtung 69 bildet. Die Kommunikation auf dem lokalen PCI Bus 50 wird durch den lokalen PCI Controller 52 gesteuert, der wiederum über den Speicherbus 54 mit Non-Volatile Random Access Memory (NVRAM) 56 gekoppelt ist. Der lokale PCI Controller 52 kann über eine zweite Host Bridge 60 mit zusätzlichen Bussen und Anordnungen gekoppelt sein. The local PCI bus 50 supports the connection of a number of devices, including adapters and bridges. Among these arrangements is the network adapter 66 that is the interface between the computer system 100 and the LAN 10 forms, and the graphics adapter 68 that is the interface between the computer system 100 and the display device 69 forms. The communication on the local PCI bus 50 is through the local PCI controller 52 controlled, in turn, via the memory bus 54 with Non-Volatile Random Access Memory (NVRAM) 56 is coupled. The local PCI controller 52 can have a second host bridge 60 be coupled with additional buses and arrangements.

Das Computersystem 100 umfasst weiterhin den Industry Standard Architecture (ISA) Bus 62, der durch die ISA Bridge 64 mit dem lokalen PCI Bus 50 gekoppelt ist. Gekoppelt mit dem ISA Bus 62 ist ein Input/Output (I/O) Controller 70, der die Kommunikation zwischen dem Computersystem 100 und angeschlossenen peripheren Anordnungen, wie zum Beispiel einer Tastatur, einer Maus und einem Plattenlaufwerk steuert. Zusätzlich dazu unterstützt der I/O Controller 70 die externe Kommunikation des Computersystems 100 über serielle und parallele Anschlüsse. Der USB Bus und der USB Controller (nicht gezeigt) sind Teil des lokalen PCI Controllers (52).The computer system 100 also includes the Industry Standard Architecture (ISA) bus 62 passing through the ISA Bridge 64 with the local PCI bus 50 is coupled. Coupled with the ISA bus 62 is an input / output (I / O) controller 70 that the communication between the computer system 100 and peripheral devices connected thereto, such as a keyboard, a mouse, and a disk drive. In addition, the I / O controller supports 70 the external communication of the computer system 100 via serial and parallel connections. The USB bus and the USB controller (not shown) are part of the local PCI controller ( 52 ).

2 stellt ein nicht einschränkendes Beispiel des Medienverwaltungssystems dar, das gemäß einer Ausführungsform der Erfindung eingerichtet ist. Wie in 2 gezeigt, ist das Medienverwaltungssystem in einer ”in Reihe” Anordnung (200) eingerichtet, das heißt, die Komponentenmedienquelle (203) ist mit dem Computer (202) verbunden, der wiederum verbunden mit zumindest einer Anzeigevorrichtung (204) ist. Das Medienverwaltungssystem ermöglicht, dass Inhalte/Daten einer Komponentenmedienquelle (zum Beispiel ein Livedatenstrom von einer Kabel TV Box) mit dem zusätzlichen gezielten Inhalt (zum Beispiel artverwandtem Inhalt aus dem Internet) kombiniert (überlagert) werden. Ein Anwender steckt seine oder ihre vorhandene Komponentenmedienquelle (203) (zum Beispiel Kabelbox, Satellitenempfänger, PVR, DVD Spieler, MPEG-4 Spieler, usw.) zuerst in den Computer (202). Die Komponentenmedienquelle kann nicht komprimierte digitale Daten über ein High Definition Multimedia Interface (HDMI) oder andere digitale oder analoge Verbindungsarten zur Verfügung stellen. Der Computer (202) kann eine elektronische Anordnung, wie zum Beispiel das in 1 weiter oben beschriebene Computersystem (100) sein. Dann steckt der Anwender den Computer (202) in die Anzeigeanordnung (204) (zum Beispiel ein HDTV Gerät). 2 FIG. 4 illustrates a non-limiting example of the media management system configured in accordance with one embodiment of the invention. As in 2 shown, the media management system is in an "in-line" arrangement ( 200 ), that is, the component media source ( 203 ) is with the computer ( 202 ), which in turn is connected to at least one display device ( 204 ). The media management system allows content / data from a component media source (eg, a live stream from a cable TV box) to be combined (overlaid) with the additional targeted content (eg, related content from the Internet). A user puts his or her existing component media source ( 203 ) (for example, cable box, satellite receiver, PVR, DVD player, MPEG-4 player, etc.) first into the computer ( 202 ). The component media source can provide uncompressed digital data through a High Definition Multimedia Interface (HDMI) or other digital or analog connection types. The computer ( 202 ) can be an electronic device, such as the one in 1 computer system described above 100 ) be. Then the user puts the computer ( 202 ) in the display arrangement ( 204 ) (for example an HDTV device).

Das OPD (201) stellt die Anordnung dar, die eine nahtlose Integration des Inhalts von der Komponentenmedienquelle (203) mit dem zusätzlichen gezielten Inhalt (zum Beispiel Inhalt aus dem Internet, abgerufen durch den Computer (202) von einer entfernten Anordnung (205), wie zum Beispiel einem entfernten Server, auf den über eine Internetverbindung zugegriffen wird) ermöglicht. Das OPD (201) kann entweder direkt oder indirekt in den Computer (202) oder eine andere ähnliche Anordnung integriert sein, obwohl das OPD (201), wie gezeigt, intern in dem Computer (202) ausgeführt ist. Durch das OPD (201) geleitete Daten (zum Beispiel Video- und/oder Audiodatendatenströme) können eines oder mehrere Formate aufweisen und eine oder mehrere Verbindungsarten nutzen (zum Beispiel S-Video, RCA Audio, Toslink, Component Video, HDMI, DisplayPort, usw.).The OPD ( 201 ) illustrates the arrangement that provides seamless integration of the content from the component media source ( 203 ) with the additional targeted content (for example, content from the internet, retrieved by the computer ( 202 ) from a remote location ( 205 ), such as a remote server accessed via an Internet connection). The OPD ( 201 ) can either directly or indirectly in the computer ( 202 ) or another similar arrangement, although the OPD ( 201 ), as shown, internally in the computer ( 202 ) is executed. Through the OPD ( 201 ) (for example, video and / or audio data streams) may have one or more formats and use one or more types of connection (eg, S-Video, RCA Audio, Toslink, Component Video, HDMI, DisplayPort, etc.).

Der Computer (202) stellt zusätzliche gezielte Medieninhaltsausgaben an das OPD (201) zur Verfügung (zum Beispiel in Beziehung stehende Inhalte aus dem Internet). Der Computer (202) stellt auch Formatierungsanweisungen an das OPD (201) zur Verfügung, die beschreiben, wie die Ausgabe zur Anzeige aufzubereiten ist, zum Beispiel duerch Überlagerung der Computermedienausgabe mit der Ausgabe der Komponentenmedienquelle (203). Die Formatierungsanweisungen werden über eine geeignete Verbindung (zum Beispiel USB) von dem Computer (202) zu dem OPD (201) übertragen.The computer ( 202 ) provides additional targeted media content to the OPD ( 201 ) (for example, related content from the Internet). The computer ( 202 ) also provides formatting instructions to the OPD ( 201 ) describing how the output is to be rendered for display, for example, overlaying the computer media output with the component media source output ( 203 ). The formatting instructions are sent from the computer via a suitable connection (for example, USB). 202 ) to the OPD ( 201 ) transfer.

Die Anzeige von Quellmedieninhalt und/oder zusätzlichem gezieltem Inhalt (zur Verfügung gestellt durch den Computer) ist vorzugsweise durch den Anwender wählbar und einstellbar. Wie weiter oben beschrieben werden die Medien zur Anzeige aufbereitet, was eine breite Vielfalt von unterschiedlichen Modi der Anzeige umfassen kann, wofür Beispiele weiter unten angegeben werden. Das ODP (201) kann in einem ”Durchleit-” Modus arbeiten (”Single Format HDMI Implementation”) wenn es ausgeschaltet ist, wodurch es in diesem Zustand vollständig passiv gemacht wird. Das Medienverwaltungssystem (200) ist zum Beispiel konfigurierbar, um dem Quellmedieninhalt wahlweise zu erlauben den gesamten Bildschirm einzunehmen und alle Audioquellen zur Verfügung zu stellen, wodurch die Computeranwenderschnittstelle wirksam verborgen wird (das heißt, es lässt den Quellmedieninhalt (zum Beispiel ein Kabel TV Programm) zu der Anzeigevorrichtung (204) passieren). Alternativ dazu ist das Medienverwaltungssystem (200) konfigurierbar, um es dem zusätzlichen gezielten Inhaltsmedienausgabedatenstrom wahlweise zu ermöglichen, den Bildschirm auszufüllen, wodurch der Anzeigevorrichtung (204) sämtliches Audio und Video zur Verfügung gestellt wird.The display of source media content and / or additional targeted content (provided by the computer) is preferably selectable and settable by the user. As described above, the media is rendered for display, which may include a wide variety of different modes of display, examples of which are given below. The ODP ( 201 ) can operate in a "pass-through" mode ("Single Format HDMI Implementation") when it is off, making it completely passive in this state. The media management system ( 200 ) is, for example, configurable to selectively allow the source media content to occupy the entire screen and provide all the audio sources, effectively hiding the computer user interface (that is, leaving the source media content (e.g. a cable TV program) to the display device (FIG. 204 ) happen). Alternatively, the media management system ( 200 ) to selectively allow the additional targeted content media output stream to fill the screen, thereby rendering the display device ( 204 ) All audio and video is provided.

Besonders zu beachten ist, dass das Medienverwaltungssystem (200) konfigurierbar ist, um wahlweise zu ermöglichen den zusätzlichen gezielten Inhaltsausgabedatenstrom und den Quellmedieninhaltsdatenstrom zu kombinieren oder zu integrieren. Die zwei Medien können durch das OPD (202) zum Beispiel übereinander gelegt werden, so zum Beispiel durch Angeben eines viereckigen Bereiches innerhalb des zusätzlichen gezielten Inhaltsmedienausgabedatenstroms wo der Quellmedieninhalt angezeigt werden soll, um das erwünschte Anzeigevorrichtungsszenario zur Verfügung zu stellen. Dieses kann viele Formen annehmen, einschließlich eines ”Bild in Bild” Effekts, und auch einschließend fortgeschrittene 3-D Versionen dieser Art des Effekts.Of particular note is that the media management system ( 200 ) is configurable to selectively enable the additional targeted content output data stream and the Combine or integrate source media content stream. The two media can be used by the OPD ( 202 ), for example, by specifying a quadrangular area within the additional targeted content media output stream where the source media content is to be displayed to provide the desired display device scenario. This can take many forms, including a "picture in picture" effect, and also includes advanced 3-D versions of this type of effect.

2 zeigt das OPD (201) als intern in dem Computer (202) angeordnet, obwohl dies wie zuvor nur ein nicht einschränkendes Beispiel ist. Die Veranschaulichung gemäß 2 zeigt eine einzelne Komponentenmedienquelle (203) (zum Beispiel eine Kanal TV Box), es sollte jedoch verstanden werden, dass auch andere verwendet werden können. Daher kann das OPD (201) vielfache Eingänge und/oder Ausgänge aufweisen, um zu ermöglichen, dass die beschriebene Funktionalität mit mehr als einer Komponentenmedienquelle (203) und/oder mehr als einer Anzeigevorrichtung (204) ausgeführt wird. 2 shows the OPD ( 201 ) as internal in the computer ( 202 ), although as before this is only a non-limiting example. The illustration according to 2 shows a single component media source ( 203 ) (for example, a channel TV box), but it should be understood that others can be used. Therefore, the OPD ( 201 ) have multiple inputs and / or outputs to enable the functionality described to be compatible with more than one component media source ( 203 ) and / or more than one display device ( 204 ) is performed.

Das Medienverwaltungssystem (200) vereinfacht die Einrichtung und die Installation für den Anwender drastisch, da der Anwender keine Eingänge an der Anzeigevorrichtung (204) (zum Beispiel dem HDTV Gerät) oder dem Home Media Receiver (das heißt der Komponentenmedienquelle (203), zum Beispiel der Kabel TV Box)) umkonfigurieren muss. Das Medienverwaltungssystem (200) ermöglicht es dem Anwender wahlweise die Bereitstellung und Anzeige von in Beziehung stehendem Inhalt zu erzielen, ohne dass erforderlich ist, dass der Computer des Medienverwaltungssystems (202) als der TV Tuner wirkt. Dies vereinfacht die Einrichtung der Anordnung und ermöglicht es den Anwendern weiterhin eine herkömmliche TV Konfiguration zu verwenden, mit der sie sich bereits vertraut gemacht haben. Mit anderen Worten ist die Kabel TV Box oder die Satelliten TV Box nahtlos in das Medienverwaltungssystem (200) integriert, anstatt dass sie ersetzt werden durch einen, für das Medienverwaltungssystem spezifischen Tuner.The media management system ( 200 ) drastically simplifies installation and installation for the user since the user has no inputs to the display ( 204 ) (for example the HDTV device) or the Home Media Receiver (ie the component media source ( 203 ), for example the cable TV box)) must reconfigure. The media management system ( 200 ) allows the user to optionally provide and display related content without requiring that the computer of the media management system ( 202 ) as the TV tuner acts. This simplifies device setup and allows users to continue to use a conventional TV configuration that they have already become familiar with. In other words, the Cable TV Box or the Satellite TV Box is seamlessly integrated into the media management system ( 200 ) instead of being replaced by a tuner specific to the media management system.

Identifizieren des MedieninhaltsIdentify the media content

Gemäß einer Ausführungsform der Erfindung werden eine Anordnung und ein Verfahren zum Identifizieren von Quellmedieninhalt zur Verfügung gestellt. Identifiziert wird Quellmedieninhalt, der aus einer Medienquelle (zum Beispiel einer Komponentenmedienquelle oder einer Internetmedienquelle) dargestellt (oder abgespielt, gezeigt) wird. Während es verschiedene Wege gibt um Medieninhalt zu identifizieren, wird es gegenwärtig bevorzugt, dass das Verfahren zum Identifizieren des Medieninhalts allgemein anwendbar ist und eine schnelle Identifizierung ermöglicht (das heißt in Echtzeit), zum Beispiel geeignet ist zur Identifizierung von Fernsehprogrammen innerhalb von Sekunden. Gegenwärtig bevorzugte Verfahren zur Identifizierung von Medieninhalt umfassen Fingerprinting, die Identifizierung unter Verwendung von Metadaten aus der Inhaltsquellle/dem Inhaltsdatenstrom (zum Beispiel die Information von Serviceprovidern), Programminformation, und/oder Untertiteldaten, usw.In accordance with one embodiment of the invention, an arrangement and method for identifying source media content is provided. Identifies source media content that is rendered (or played back, shown) from a media source (for example, a component media source or an Internet media source). While there are several ways to identify media content, it is presently preferred that the method of identifying the media content be generally applicable and allow for rapid identification (ie, in real time), for example, to identify television programs within seconds. Presently preferred methods for identifying media content include fingerprinting, identification using metadata from the content source / content stream (e.g., service provider information), program information, and / or subtitle data, etc.

Das gegenwärtig am meisten bevorzugte Verfahren ist die Identifizierung durch digitales Fingerprinting. Digitales Fingerprinting weist Audio und Video Fingerprinting auf und ist aus einer Vielfalt von Gründen verwendet worden, zum Beispiel dem Bekämpfen der Piraterie von kopiergeschützten Werken. Siehe http://en.wikipedia.org/wiki/Digital_Video_Fingerprinting. Verschiedenartige geeignete Verfahren zur Umsetzung von digitalem Fingerprinting zur Identifizierung sind verfügbar, wie zum Beispiel diejenigen, die im U.S. Patent No. 7,421,376 , mit dem Titel ”Comparison of Data Signals Using Characteristic Electronic Thumbprints”, und der U.S. Patent No. 2007/0 055 500 A1 , mit dem Titel ”Extraction and Matching of Characteristic Fingerprints from Audio Signals” beschrieben sind. Geeignete Fingerprinting Technologie ist derzeit verfügbar von einer Vielfalt von Firmen, wie zum Beispiel Digital Smiths^®. Siehe http://www.digitalsmiths.com.The currently most preferred method is identification by digital fingerprinting. Digital fingerprinting has audio and video fingerprinting and has been used for a variety of reasons, for example combating piracy of copyrighted works. See http://en.wikipedia.org/wiki/Digital_Video_Fingerprinting. Various suitable methods of implementing digital fingerprinting for identification are available, such as those described in the US Pat. 7,421,376 , entitled "Comparison of Data Signaling Using Characteristic Electronic Thumbprints," and the US Pat. 2007/0 055 500 A1 , entitled "Extraction and Matching of Characteristic Fingerprints from Audio Signals". Suitable fingerprinting technology is currently available from a variety of companies, such as Digital ^Smiths® . See http://www.digitalsmiths.com.

Video Fingerprinting ist eine Technologie, die den Videodatenstrom automatisch analysiert. um Schlüsselelemente aus dem Videodatenstrom zu identifizieren und zu extrahieren. Dies erlaubt die Erzeugung von dazu in Beziehung stehenden Inhalten aus dem Internet oder anderen Quellen, die in Beziehung stehen mit dem identifizierten Datenstrom (weitergehend unten beschrieben). Bevorzugt werden erfasste Daten (zum Beispiel vorübergehend gespeicherte Vollbilder) von dem OPD alle N Vollbilder zur Identifizierung gesendet.Video fingerprinting is a technology that automatically analyzes the video stream. to identify and extract key elements from the video stream. This allows the generation of related content from the Internet or other sources related to the identified data stream (described further below). Preferably, acquired data (for example, temporarily stored frames) are sent from the OPD every N frames for identification.

Wie oben kann das OPD (201) zur Identifizierung eine Vielfalt von Information an den Computer (202) zur Verfügung stellen, einschließlich Daten des Fingerprinting, Metadaten von der Inhaltsquellle/dem Inhaltsdatenstrom, Untertiteldaten, Bilderfassungen, usw. Die zum Erzeugen erfasster Medien zur Identifizierungsanalyse von Medieninhaltsquellen notwendige Verarbeitung kann innerhalb des OPD (201) selbst erfolgen oder innerhalb des Hauptcomputers (202). Es ist daher für erfasste Mediendaten aus der Medienquelle nicht erforderlich, dass sie von der Central Processing Unit (CPU) des Computers oder der Graphics-Processing Unit (GPU) verarbeitet werden. Vielmehr kann die Verarbeitung auch innerhalb des OPD (201) ausgeführt werden. Die Kommunikation von ausgewählten Videoeinzelbilddaten, oder besonderen Videovollbildfingerprintdaten, usw., erfolgt über einen Steuerkanal, zum Beispiel über einen USB.As above, the OPD ( 201 ) for identifying a variety of information to the computer ( 202 ), including fingerprinting data, content source / content stream metadata, subtitle data, image captures, etc. The processing necessary to create acquired media for identification analysis of media content sources may be performed within the OPD (FIG. 201 ) or within the main computer ( 202 ). Therefore, captured media data from the media source is not required to be processed by the computer's Central Processing Unit (CPU) or the Graphics Processing Unit (GPU). Rather, processing can also take place within the OPD ( 201 ). The communication of selected video frame data, or special video frame fingerprint data, etc., via a control channel, for example via a USB.

Die Identifizierung besteht im Wesentlichen aus einem Abgleichverfahren, wonach die erfassten Daten (zum Beispiel die Fingerprint Daten von einer Bildschirmabtastung des Quellmedieninhalts) mit bekannten Fingerprint Daten verglichen und abgeglichen werden, die in einer Datenbank gespeichert sind. Diese Identifizierung kann entweder an dem Computer (202) geschehen oder über einen entfernten Prozess, wie untenstehend weiter ausgeführt wird. Es wird gegenwärtig bevorzugt, dass, wenn das ausgewählte Identifizierungsverfahren Fingerprinting ist, die Identifizierungsanalyse dann an einem entfernten Ort (zum Beispiel an einem entfernten Server oder in einem Datencenter) vervollständigt wird.The identification consists essentially of a matching method, according to which the acquired data (for example the fingerprint data from a screen scan of the source media content) is compared and matched with known fingerprint data stored in a database. This identification can be either on the computer ( 202 ) or via a remote process, as further explained below. It is presently preferred that if the selected identification method is fingerprinting, the identification analysis is then completed at a remote location (eg at a remote server or at a data center).

3 veranschaulicht eine Ansicht auf hoher Ebene vom Identifizieren von Quellmedieninhalt, der aus einer Medienquelle (zum Beispiel einer Komponentenmedienquelle oder aus Internetmedien aus einem mit dem Internet verbundenen Computer) dargestellt (oder abgespielt, oder gezeigt) wird. Bei (301) hat das OPD (202) Zugriff auf den Inhalt der Medienquelle (zum Beispiel auf die Komponentenmedienquelle (203). Bei (302) erfasst das OPD (202) periodisch Daten (nimmt zum Beispiel Schnappschüsse des Videodatenstroms auf) und sendet die erfassten Daten (zum Beispiel ein Videovollbild) an den Computer (202). Eine gegenwärtig bevorzugte Rate für das Erfassen von Daten (zum Beispiel Bildschirmkopien für das Fingerprinting) ist ein erfasstes Vollbild alle 5 bis 10 Sekunden. 3 FIG. 11 illustrates a high-level view of identifying source media content being presented (or played back, or shown) from a media source (eg, a component media source or from Internet media from a computer connected to the Internet). At ( 301 ), the OPD ( 202 ) Access to the contents of the media source (for example, the component media source ( 203 ). At ( 302 ), the OPD ( 202 ) periodically collects data (for example snapshots of the video data stream) and sends the captured data (for example a video frame) to the computer ( 202 ). A currently preferred rate for capturing data (for example, screen prints for fingerprinting) is a captured frame every 5 to 10 seconds.

Bei (303) verarbeitet der Computer (202) (oder das OPD (201) selbst) die erfassten Daten in Fingerprint Schlüsseldaten und reicht die Fingerprint Daten zur Analyse an ein entfernt angeordnetes Datencenter weiter. Es sollte jedoch zur Kenntnis genommen werden, dass das Datencenter eine lokale Komponente des Medienverwaltungssystems sein könnte (zum Beispiel gespeichert auf oder verbunden mit dem Computer (202)).At ( 303 ) the computer processes ( 202 ) (or the OPD ( 201 ) itself the captured data into fingerprint key data and passes the fingerprint data to a remote data center for analysis. However, it should be appreciated that the data center could be a local component of the media management system (eg stored on or connected to the computer). 202 )).

Es wird jedoch gegenwärtig bevorzugt, dass das Datencenter auf einer entfernten Komponente angeordnet ist (zum Beispiel auf einem Server, auf den über eine Internetverbindung zugegriffen werden kann). Bei (304) identifiziert das Datencenter den Quellmedieninhalt (zum Beispiel das Programm, das auf dem TV Gerät betrachtet wird) über einen Abgleich der erfassten Fingerprint Daten mit bekannten, gespeicherten Fingerprint Daten (die zum Beispiel durch eine Datenbank für Videoinhalte zugeführt werden). Das Datencenter sendet die Identifizierungsinformation zurück an den Computer (202). Bei (305) weist der Computer die durch das Datencenter gesendeten Identifizierungsdaten auf, die er verwenden kann, um maßgeschneidert zusätzlichen gezielten Inhalt für den Anwender zur Verfügung zu stellen, angezeigt (wahlweise) auf der Anzeigevorrichtung (204) (zum Beispiel einem HDTV Gerät).However, it is currently preferred that the data center be located on a remote component (for example, on a server that can be accessed over an Internet connection). At ( 304 ), the data center identifies the source media content (for example, the program viewed on the TV set) by matching the acquired fingerprint data with known stored fingerprint data (e.g., supplied by a video content database). The data center sends the identification information back to the computer ( 202 ). At ( 305 ) the computer has the identification data sent by the data center that it can use to tailor additional targeted content to the user, displayed (optionally) on the display device (FIG. 204 ) (for example an HDTV device).

In dem Datencenter werden Fingerprint Daten für vorhandenen Videoinhalt, wie zum Beispiel kommerzielle TV Programme und Filme, gesammelt und in einer Datenbank gespeichert. Die Datenbank(en) kann/können entsprechend aktualisiert werden. Das Medienverwaltungssystem ist dazu in der Lage, vorhandene Fingerprint Datenbanken zu verwenden; jedoch werden gegenwärtig maßgeschneiderte Datenbanken, die ausgewählte Fingerprint Daten entsprechend populärer Medien aufweisen, bevorzugt.In the data center, fingerprint data for existing video content, such as commercial TV programs and movies, is collected and stored in a database. The database (s) can be updated accordingly. The media management system is able to use existing fingerprint databases; however, customized databases that have selected fingerprint data corresponding to popular media are currently preferred.

Eine Ausführungsform der Erfindung stellt die Identifizierung von Quellmedieninhalt (zum Beispiel live ausgestrahlte TV Programme) in Echtzeit zur Verfügung, wobei ”Echtzeit” hierin definiert ist als zeitgleich oder mit einer sehr kurzen Zeitverzögerung (das heißt in der Größenordnung von Sekunden bis Minuten). Das Datencenter gibt Identifizierungsergebnisse und dazu in Beziehung stehenden Inhalt, die in Echtzeit durch digitales TV Tuning und Erfassungsanordnungen gesammelt wurden, zurück.One embodiment of the invention provides the identification of source media content (e.g., live TV programs) in real time, where "real time" is defined herein as contemporaneous with or with a very short time delay (that is, on the order of seconds to minutes). The data center returns identification results and related content collected in real-time through digital TV tuning and acquisition arrangements.

Optional kann redaktioneller Input die Datenbank(en) des Datencenters verbessern. Zum Beispiel kann der Titel der Medienquelleninhaltsdaten durch den Computer verwendet werden, um gemäß Anweisungen, die zum Beispiel in einer Datentabelle des Computers oder dem Datencenter gespeichert sind, ähnliche Medien abzurufen Solch eine Datentabelle stellt Anweisungen zur Bereitstellung von in Beziehung stehenden Medien zur Verfügung, die vorab basierend auf redaktionellem Input ausgewählt worden sind und zu jedem Datentitel in Beziehung stehen, wie untenstehend weitergehend beschrieben wird. Ein redaktioneller Input ist besonders hilfreich in dem Fall, wenn die Datenbank(en) keinerlei in Beziehung stehende Vergleichsinformation enthalten, wie es möglicherweise der Fall sein kann für bestimmte Medienquelleninhalte/Daten (zum Beispiel live ausgestrahlte, ungeplante und/oder lokale Fernsehprogramme). Ein redaktioneller Input kann den Input von Angestellten, basierend auf live beobachteten Programmen (zum Beispiel stellt ein Angestellter Identifizierungsinformation, usw., für ein live ausgestrahltes Programm zur Verfügung während er das live ausgestrahlte Programm verfolgt) umfassen, ist aber nicht darauf eingeschränkt.Optionally, editorial input can enhance the datacenter database (s). For example, the title of the media source content data may be used by the computer to retrieve similar media in accordance with instructions stored, for example, in a data table of the computer or data center. Such a data table provides instructions for providing related media that have been previously selected based on editorial input and related to each data title, as further described below. Editorial input is particularly helpful in the case where the database (s) do not contain any related comparison information, as may possibly be the case for certain media source content / data (e.g. live broadcast, unplanned and / or local television programs). An editorial input may include, but is not limited to, the input of employees based on live-watched programs (eg, an employee provides identification information, etc., to a live broadcast program while watching the live broadcast program).

Welche Arten an und welch Menge von Information die Datenbank(en) enthalten und unterstützen, ist im Wesentlichen eine Wahl der Auslegung. Es wird jedoch gegenwärtig bevorzugt, dass die Anordnung eingerichtet ist alle Programme der hauptsächlichen TV Kanäle (zum Beispiel die nationalen ”Top 100”, usw.) abzudecken, wodurch für diese Medien ein Echtzeit Video Fingerprint in dem Datencenter erzeugt wird, abgeglichen wird mit den Programmführungsdaten für diesen Tuner und, wenn notwendig, durch redaktionellen Input verwaltet wird. Dieses Verfahren versetzt das Video Fingerprinting in die Lage in Echtzeit ein Identifizierungsergebnis für ein Programm an den Computer zurückzugeben, sogar dann, wenn dieses Programm ein live ausgestrahltes Sportereignis oder ein Nachrichtenereignis ist, das zuvor nicht eingeplant wurde, oder ein vorab nicht identifizierter TV Werbefilm.What types and amount of information the database (s) contain and support is essentially a choice of design. However, it is presently preferred that the arrangement be set up to cover all the programs of the main TV channels (for example, the national "Top 100", etc.), thereby providing a real-time video fingerprint for that media Data Center is generated, is compared with the program guide data for this tuner and, if necessary, managed by editorial input. This technique enables video fingerprinting to return in real-time an identification result for a program to the computer, even if that program is a live broadcast sporting event or news event that has not previously been scheduled, or a previously unidentified TV commercial.

Zusätzlich zum Identifizieren von Programmen aus der Komponentenmedienquelle (203) wie oben beschrieben, wird gemäß einer Ausführungsform der Erfindung, Quellmedieninhalt von Medien, die von dem Computer abgespielt werden (zum Beispiel durch den Medienplayer des Computers, Datenstrominternetmedien, die durch den Web Browser des Computers abgespielt werden) mit dem gleichen Verfahren (zum Beispiel Fingerprinting) identifiziert. Durch Fingerprinting aller unabhängig von der Quelle auf dem Medienverwaltungssystem abgespielter Quellmedieninhalte (das heißt ob abgespielt über den OPD durch einen integrierten Medienplayer, durch ein Webbrowser Plug-In oder Add-In, usw.), kann die Identifizierung von Quellmedieninhalt wie oben beschrieben für jeden bekannten durch das Medienverwaltungssystem vorgelegten Inhalt oder für angeschlossene Komponentenmedienquellen (203) ausgeführt werden.In addition to identifying programs from the component media source ( 203 As described above, according to one embodiment of the invention, source media content of media played by the computer (for example, by the computer's media player, streaming internet media played through the computer's web browser) is the same method (e.g. Fingerprinting). By fingerprinting all source media content played back on the media management system independent of the source (ie, played back via the OPD through an integrated media player, through a web browser plug-in or add-in, etc.), the identification of source media content as described above for each known content provided by the media management system or for attached component media sources ( 203 ).

Bei dem hierin beschriebenen Verfahren kann Video identifiziert werden und Programminformation in Echtzeit an den Computer zurückgegeben werden, unabhängig von der Quelle des Videos, ob es Internetvideo als Datenstrom, DVD Wiedergabe, Satelliten TV, Kabel TV, digitales TV einer Vielfalt an Formaten oder andere Quellen aufweist. Dieses Verfahren zur Videoidentifizierung in Echtzeit aus einer Vielfalt von Videoquellen, angeliefert an eine Konsumentenanordnung über das Internet, stellt einzigartige und neue Konsumentennutzen zur Verfügung. Dieser Ansatz ermöglicht zum Beispiel die Darstellung von in Beziehung stehendem Inhalt aus dem Internet, Werbung, Profiling usw. auf der Anzeigevorrichtung, unabhängig von der Quelle des Inhalts oder dem Verfahren der Wiedergabe. Ausgewählte, repräsentative Nutzen werden untenstehend weitergehend beschrieben.In the method described herein, video can be identified and program information returned to the computer in real time, regardless of the source of the video, whether it be Internet video as a stream, DVD playback, satellite TV, cable TV, digital TV of a variety of formats or other sources having. This method of real-time video identification from a variety of video sources delivered to consumer ordering over the Internet provides unique and novel consumer benefits. This approach allows, for example, the display of related content from the Internet, advertising, profiling, etc. on the display device, regardless of the source of the content or the method of rendering. Selected, representative benefits are described further below.

Bereitstellen gezielter und integrierter Medienerlebnisse Gemäß einer Ausführungsform der Erfindung werden gezielte, integrierte Medienerlebnisse basierend auf dem Konsum von TV und Internetquellmedieninhalten zur Verfügung gestellt. Sobald Programminformation identifiziert ist (zum Beispiel durch die Verwendung von Video Fingerprinting, wie in Verbindung mit 3 beschrieben), wird diese Programmidentifizierungsinformation dann verwendet, um maßgeschneiderte Weberlebnisse zur Verfügung zu stellen, basierend auf dem Programm, das angesehen wird, basierend auf der Komponentenmedienquelle, oder den Internetmedien, die unter Verwendung des Computers angesehen werden. Die in Beziehung stehenden Medien können aus einer Vielfalt von Quellen bezogen werden, einschließlich aber nicht eingeschränkt auf das Einholen der in Beziehung stehenden Medien über eine Internetabfrage einer Datenbank, die wie untenstehend beschrieben, vorab ausgewählte Inhalte enthält.Providing targeted and integrated media experiences According to one embodiment of the invention, targeted, integrated media experiences based on the consumption of TV and internet source media content are provided. Once program information is identified (for example, through the use of video fingerprinting, as related to 3 described), this program identification information is then used to provide customized web experiences based on the program being viewed based on the component media source or the internet media viewed using the computer. The related media may be obtained from a variety of sources, including, but not limited to, obtaining the related media via an Internet query from a database containing pre-selected content as described below.

4 veranschaulicht ein nicht einschränkendes und beispielhaftes Verfahren zum Abrufen zusätzlicher gezielter Inhalte. Das Medienverwaltungssystem kann die Identifizierungsinformation verwenden, um zusätzliche gezielte Inhalt einzuholen, die dann wie erwünscht mit dem Komponentenquellmedieninhalt überlagert werden. Wie gezeigt, fließen der Quellmedieninhalt/die Daten bei (401) in den Computer. Es sollte zur Kenntnis genommen werden, dass der Quellmedieninhalt/die Daten (die identifiziert werden sollen) aus mehr als einer Quelle herrühren können, einschließlich dem Computer selbst (zum Beispiel wenn der Anwender ein Programm ansieht, das über einen Datenstrom über das Internet zugeführt wird). In diesem vorliegenden Beispiel wird jedoch angenommen, dass ein Quellmedieninhalt von der Komponentenmedienquelle (203) herrührt. 4 illustrates a non-limiting and exemplary method of retrieving additional targeted content. The media management system may use the identifying information to obtain additional targeted content that is then superimposed as desired with the component source media content. As shown, the source media content / data ( 401 ) in the computer. It should be noted that the source media content / data (to be identified) may come from more than one source, including the computer itself (for example, when the user views a program being streamed over the Internet) ). However, in this present example, it is assumed that a source media content from the component media source ( 203 ).

Wie beschrieben, sendet das OPD bei (402) ausgewählte Daten (oder bereits verarbeitete Video Fingerprint Daten, wenn das ODP eingerichtet ist, Fingerprint Daten zu verarbeiten) an den Computer. Die gegenwärtig bevorzugte Rate der Erfassung beträgt ein Vollbild alle 5 bis 10 Sekunden, wobei ein Vollbild je 5 Sekunden gegenwärtig am meisten bevorzugt wird. Die Video Fingerprint Daten sind eine Zusammenstellung von Daten, die herrühren aus ausgewählten Vollbildern des Quellmedieninhalts/der Daten (zum Beispiel Video) von der verbundenen Komponentenmedienquelle, wie zum Beispiel einer Kabel TV Box. Bei (403) werden die erfassten Daten mit der vorgegebenen Rate über eine geeignete Verbindung (zum Beispiel USB) an den Computer weitergegeben und verarbeitet.As described, the OPD sends ( 402 ) selected data (or already processed video fingerprint data, if the ODP is set up to handle fingerprint data) to the computer. The presently preferred rate of capture is one frame every 5 to 10 seconds, with one frame currently being most preferred every 5 seconds. The video fingerprint data is a collection of data resulting from selected frames of the source media content / data (for example, video) from the connected component media source, such as a cable TV box. At ( 403 ) the acquired data is forwarded to the computer at the predetermined rate via a suitable connection (for example USB) and processed.

Bei (404) werden die Fingerprint Daten dann vorzugsweise durch den Computer über eine Netzwerkverbindung (zum Beispiel eine Internetverbindung) an das Datencenter gesendet, wo sie mit Video Fingerprint Daten von bekanntem (zum Beispiel TV und Spielfilm) Inhalt verglichen werden. Bei (405) führt das Datencenter die Fingerprinting Analyse aus und identifiziert den Quellmedieninhalt/die Quellmediendaten. Bei (406) wird die Identifizierungsinformation, zum Beispiel der Titel und andere in Beuiehung stehende Programminformationen, über die Netzwerkverbindung an den Computer zurückgesendet.At ( 404 ), the fingerprint data is then preferably sent by the computer to the data center via a network connection (eg, an internet connection) where it is compared to video fingerprint data of known (eg, TV and movie) content. At ( 405 ), the data center performs the fingerprinting analysis and identifies the source media content / source media data. At ( 406 ), the identification information, such as the title and other program information under review, is sent back to the computer via the network connection.

Sobald Schritt (406) vollständig ausgeführt worden ist, ist der Computer im Besitz von Identifizierungsinformation in Bezug auf den Quellmedieninhalt/die Quellmediendaten die abgespielt werden (zum Beispiel auf der Anzeigevorrichtung angezeigt werden). Bei (407) verwendet der Computer die Identifizierungsinformation um zusätzlichen gezielten Inhalt abzurufen. Natürlich könnte eine bestimmte Menge an in Beziehung stehendem Inhalt auf dem Computer selbst oder einer anderen lokalen Komponente gespeichert werden. Es wir jedoch gegenwärtig bevorzugt, dass der Computer eine entfernte Anordnung, wie zum Beispiel das Datencenter bei (407) abfragt, um gezielte Inhalt zu identifizieren. Die Abfrage kann eine Internetabfrage sein (zum Beispiel unter Verwendung eines auf dem Computer ausgeführten Browsers) oder eine mit vorab ausgewähltem Inhalt vorbereitete Abfrage einer Datenbank, wie zum Beispiel auf dem Weg von redaktionellem Input für bestimmte Medienquellen (zum Beispiel die nationalen Top 100 Kanäle und/oder Spielfilme). Zum Beispiel kann für eine bestimmte Anzahl von Programmkanälen durch den Computer mit der Identifizierung der Programminformation eine Datentabelle im Internet abgefragt (referenziert) werden. Basieren auf der Identifizierung des Programms, wird dem Anwender durch den Computer eine vorab ausgewählte Zusammenstellung von Inhalt aus dem Internet angezeigt werden. Vorzugsweise wird redaktioneller Input und Suchabfragelogik verwendet, um die Datentabelle zu erzeugen, die den Inhalt aus dem Internet festlegt, der für jedes der unterstützten Programme zurückgegeben wird. As soon as step ( 406 ) has been completed, the computer is in possession of identification information relating to the source media content (s) that are being played (for example, displayed on the display device). At ( 407 ) the computer uses the identification information to retrieve additional targeted content. Of course, a certain amount of related content could be stored on the computer itself or another local component. However, we currently prefer that the computer be a remote device such as the datacenter at ( 407 ) to identify targeted content. The query may be an Internet query (using, for example, a browser running on the computer) or a query of a database prepared with pre-selected content, such as editorial input for particular media sources (e.g., national top 100 channels and / or feature films). For example, for a certain number of program channels, a data table on the Internet can be queried (referenced) by the computer with the identification of the program information. Based on the identification of the program, the user will be presented by the computer with a pre-selected collection of content from the Internet. Preferably, editorial input and search query logic is used to generate the data table that determines the content from the Internet returned for each of the supported programs.

Der gezielte Inhalt bezieht sich auf irgendeine in Beziehung stehnde Weise auf den identifizierten Quellmedieninhalt. Der Computer könnte zum Beispiel den in der Medien ID Information identifizierten Titel des Quellmedieninhalts verwenden, um bei (407) eine Google^® Internetabfrage durchzuführen. Die Top n Ergebnisse könnten bei (408) als in Beziehung stehende Medien an den Computer zurückgegeben werden. Wie oben beschrieben, kann Quellmedieninhalt verwendet werden, um in Beziehung stehende Medien abzurufen, die über redaktionellen Input vorab ausgewählt und in den Computer oder an einem entfernten Ort (zum Beispiel eine Datenbank) gespeichert worden sind. Wie ersehen werden kann, kann basierend auf der Identifizierung des Quellmedieninhalts eine breite Vielfalt an gezieltem zusätzlichem Inhalt über das Internet identifiziert und schnell bezogen werden.The targeted content refers to the identified source media content in some manner related to it. For example, the computer could use the source media content title identified in the Media ID Information to 407 ) to ^do a Google ^® Internet query. The top n results could be at ( 408 ) are returned as related media to the computer. As described above, source media content may be used to retrieve related media that have been pre-selected via editorial input and stored in the computer or at a remote location (eg, a database). As can be seen, based on the identification of source media content, a wide variety of targeted additional content over the Internet can be identified and quickly obtained.

Wie weiter oben erörtert, ist das Medienverwaltungssystem eingerichtet zur Aufbereitung und wahlweisen Anzeige von verschiedenartigen Medien. Die Aufbereitung von Medien zur wahlweisen Anzeige umfasst, ist aber nicht eingeschränkt auf, die Aufbereitung von Medien für einen Durchleitmodus, in dem der Quellmedieninhalt angezeigt wird, eine Integration oder einen Überlagerungsmodus, in dem sowohl der Quellmedieninhalt und der dazu in Beziehung stehende Medieninhalt angezeigt werden, und einen Modus, in dem der in Bezeihung stehende Medieninhalt angezeigt wird.As discussed above, the media management system is arranged to render and selectively display various media. The rendering of media for optional display includes, but is not limited to, editing media for a pass-through mode in which the source media content is displayed, an integration or overlay mode in which both the source media content and the related media content are displayed , and a mode in which the related media content is displayed.

Bezug nehmend auf 4, kann der Quellmedieninhalt (zum Beispiel ein Kabel TV Programm), wenn der Computer ausgeschaltet ist oder durch einen Anwender wahlweise auf ”Durchleit-” Modus eingestellt ist, den Bildschirm der Anzeigevorrichtung ausfüllen, wenn bei (409) keine zusätzlichen Medien dargestellt werden. Alternativ dazu können die zusätzlichen gezielten Medien (zum Beispiel die aus dem Internet bezogenen in Beziehung stehenden Medien) die Anzeigevorrichtung ausfüllen, wenn der Anwender diese auswählt, wodurch der Computer im Wesentlichen als ein Webbrowser verwendet wird.Referring to 4 , the source media content (for example, a cable TV program), when the computer is turned off or is selectively set to "pass-through" mode by a user, may fill the screen of the display device when ( 409 ) no additional media are displayed. Alternatively, the additional targeted media (for example, the Internet-related related media) may populate the display device as the user selects it, thereby essentially using the computer as a web browser.

Sehr beachtenswert ist, dass die zwei Medienquellen bei (409) automatisch überlagert werden können. Auf diese Weise enthält die Anzeigevorrichtung eine Mischung aus dem Quellmedieninhalt (zum Beispiel einem Kabel TV Programm von der Komponentenquelle) und dem zusätzlichen gezielten Inhalt (zum Beispiel dem in Beziehung stehenden aus dem Internet bezogenen Inhalt). Diese integrierte Anzeige kann viele Formen annehmen. Zum Beispiel kann eine Anzeige vom Typ Bild in Bild verwendet werden. Alternativ dazu könnte der gezielte zusätzliche Inhalt auf einer zusätzlichen Anzeigevorrichtung angezeigt werden.Very noteworthy is that the two media sources at ( 409 ) can be overlaid automatically. In this way, the display device includes a mix of the source media content (eg, a cable TV program from the component source) and the additional targeted content (eg, related Internet-related content). This integrated display can take many forms. For example, an image-in-picture ad can be used. Alternatively, the targeted additional content could be displayed on an additional display device.

Dies stellt dem Medienverwaltungssystem viele Möglichkeiten zur automatischen Erweiterung des Quellmedieninhalts für ein erfüllenderes Anwendererlebnis zur Verfügung. Zum Beispiel kann der Anwender während des Betrachtens einer Fernsehshow wahlweise die Anwenderschnittstelle des Medienverwaltungssystems aktivieren (zum Beispiel mit Hilfe einer Fernbedienung). Die Fernsehshow wird immer noch auf der Anzeigevorrichtung abgespielt, aber jetzt erscheint die Anwenderschnittstelle des Medienverwaltungssystems automatisch zusammen mit der Fernsehshow auf der Anzeigevorrichtung (zum Beispiel Bild in Bild) und bietet andere in Beziehung stehende Inhalte an (zum Beispiel Inhalte aus dem Internet), zum Beispiel bezogen unter Verwendung des in Verbindung mit 4 umrissenen Verfahrens. Wie weiter oben erörtert, kann der in Beziehung stehende Inhalt zum Beispiel aus Wahlergebnissen oder Sportspielständen bestehen, aus sofortigem Zugriff auf in Beziehung stehende Webseiten, oder aus beliebigen anderen Medien spezifiziert durch irgendwelche vorgegebene Kriterien, die mit diesem Quellmedieninhalt in Beziehung stehen (zum Beispiel das bestimmte TV Programm, das auf der Anzeigevorrichtung angesehen wird). Die vorgegebenen Kriterien zur Bestimmung der Relevanz oder in Beziehung stehender Daten sind auswählbar und können wie erwünscht maßgeschneidert werden. Als nicht einschränkende Beispiele können die vorgegebenen Kriterien popularitätsähnliche Kriterien sein (zum Beispiel die Popularität der Internetsuche) oder kommerziell ähnliche Kriterien.This provides the media management system with many options for automatically expanding source media content for a more fulfilling user experience. For example, while watching a television show, the user may optionally activate the user interface of the media management system (for example, using a remote control). The TV show is still playing on the display, but now the user interface of the media management system automatically appears along with the TV show on the display (eg, picture in picture) and offers other related content (for example, content from the Internet), for example Example related using in conjunction with 4 Outlined procedure. For example, as discussed above, the related content may consist of election results or sports scores, instant access to related web pages, or any other media specified by any given criteria related to that source media content (e.g. certain TV program viewed on the display device). The predetermined criteria for determining the relevance or related data are selectable and can be customized as desired. As non-limiting examples, the criteria given may be popularity-like criteria (for example, the popularity of the Internet search) or commercially similar criteria.

Als ein nicht einschränkendes Beispiel kann der Anwender eine Folge einer populären kommerziellen Fernsehshow ansehen, wie sie durch eine Komponentenmedienquelle (203) (zum Beispiel eine Kabel TV Box) zur Verfügung gestellt wird. Mit der Anwenderschnittstelle des Medienverwaltungssystems (zum Beispiel bedient über eine Fernbedienung oder eine Taste, die ein an Anwendungsprogramm auf dem Computer ausführt), wird dem Anwender (zum Beispiel über die Internetabfrage) Information in Beziehung stehend zu der spezifischen populären kommerziellen Fernsehshow automatisch auf der integrierten Anzeigevorrichtung zur Verfügung gestellt. Wenn der Anwender zu irgendeinem anderen dieser in Beziehung stehenden Inhalte navigiert oder zu Webseiten unter Verwendung des Browsers des Computers (zum Beispiel des Internet Explorer^® Webbrowsers), kann die Komponentenmedienquelle damit fortfahren abzuspielen (zum Beispiel in einem Bild im Bild, überlagert zu dem anderen Inhalt). Der Anwender kann wählen, den Inhalt der Komponentenmedienquelle zu verbergen, oder zurückschalten auf diesen im Vollbildmodus, und zwar zu jedem beliebigen Zeitpunkt (er kann zum Beispiel zwischen verschiedenen Anzeigemodi hin- und herschalten).As a non-limiting example, the user may view a sequence of a popular commercial television show as represented by a component media source ( 203 ) (for example, a cable TV box) is provided. With the user interface of the media management system (for example, operated via a remote control or a key that executes an application program on the computer), information related to the specific popular commercial television show is automatically communicated to the user (for example, via the Internet query) Display device provided. If the user navigates to any other of these related content or web pages using the browser of the computer (for example, the Internet Explorer® web browser), the component media ^source may continue to play (e.g., in one image in the image superimposed on the other Content). The user may choose to hide the content of the component media source or switch back to it in full screen mode at any time (for example, toggling between different display modes).

Auf ähnliche Weise kann das Medienverwaltungssystem in Beziehung stehenden Inhalt basierend auf einer Internetmedienquelle anbieten, auf die über den Computer (202) statt einer Komponentenmedienquelle (203) zugegriffen wird (zum Beispiel eine Kabel TV Box). Wenn ein Anwender zum Beispiel eine kommerzielle TV Show unter Verwendung einer eine Datenstrom bereit stellenden Videoseite ansieht, wie zum Beispiel www.hulu.com oder www.abc.com, wird der Quellmedieninhalt, der angesehen wird, identifiziert mit dem Verfahren das oben mit Bezug auf die Komponentenmedienquelle (203) beschrieben wurde (zum Beispiel Fingerprinting), und durch den Computer verwendet, um erneut andere in Beziehung stehende Internetmedien anzubieten, die dem Anwender wahrscheinlich zusagen werden.Similarly, the media management system may offer related content based on an Internet media source that is accessed through the computer ( 202 ) instead of a component media source ( 203 ) is accessed (for example, a cable TV box). For example, if a user views a commercial TV show using a streaming video page, such as www.hulu.com or www.abc.com, the source media content being viewed is identified using the method described above with reference to FIG to the component media source ( 203 ) (for example fingerprinting), and used by the computer to again offer other related Internet media that the user is likely to approve.

Der Computer ist eingerichtet um automatisch zu entscheiden, welche Interneterlebnisse dem Anwender in der Form von in Beziehung stehendem Inhalt anzubieten sind, ob in der Form von Webseiten, oder Videodatenströmen aus dem Internet, usw., wobei der identifizierte Quellmedieninhalt der angesehen wird als Input verwendet wird. Anwender werden auswählen (zum Beispiel, ”clicken” oder ”niederdrücken” oder ”drücken”) irgendwelche in Beziehung stehenden Inhalte, die angeboten werden, und andere in Beziehung stehende Inhalt nicht, und dieses Verhalten erzeugt Feedbackdaten, die verwendet werden können, um die den Anwendern in der Zukunft angebotenen Auswahlmöglichkeiten weiterhin zu verfeinern. Auswahldaten (zum Beispiel, ”click-through” Daten) werden zum Beispiel erfasst und über das Internet an das Datencenter gesendet. Daten von diesem Anwender und anderer Anwender werden in dem Datencenter kumuliert. Angebote zu Inhalten aus dem Internet können erstellt werden oder verfeinert werden basierend auf dem, was dieser Anwender, und andere Anwender mit ähnlichem Medienkonsumverhalten, sehr wahrscheinlich auswählen werden (”click on”).The computer is set up to automatically decide which internet experiences to offer to the user in the form of related content, whether in the form of web pages, or video streams from the internet, etc., with the identified source media content being viewed as input becomes. Users will choose (for example, "click" or "press down" or "press") any related content that is offered and other related content not, and this behavior generates feedback data that can be used to identify the content continue to refine the choices available to users in the future. Selection data (for example, "click-through" data) is collected, for example, and sent over the Internet to the data center. Data from this user and other users is cumulated in the data center. Content offerings from the Internet may be created or refined based on what that user, and other users with similar media consumption behaviors, are most likely to choose ("click on").

Dieser gemeinschaftliche Filterungsansatz stellt, wenn er angewendet wird auf konsumierte und durch quellunabhängige Medienidentifizierung (zum Beispiel Fingerprinting) identifizierte Medien, ein Verfahren zur Verfügung, das es ermöglicht, dass einem Anwender maßgeschneiderte Interneterlebnisse basierend auf dessen eigenem, eine Vielfalt von Anordnungen, einschließlich online Videokonsum, umfassenden Medienkonsum, und dem andere Anwender, angeboten werden können.This collaborative filtering approach, when applied to media consumed and identified by source-independent media identification (e.g., fingerprinting), provides a method that allows a user to tailor-made Internet experiences based on their own, a variety of arrangements, including online video consumption , comprehensive media consumption, and the other users can be offered.

Als ein nicht einschränkendes Beispiel eines Filterungsansatzes könnte einem Anwender, der die Folge eines Fernsehprogramm der letzten Woche angesehen hat (zum Beispiel das ”HEROES” Fernsehprogramm, angeboten durch das Fernsehnetzwerk NBC UNIVERSAL^®), mit dieser Anordnung proaktiv die Folge dieser Woche als Datenstrom oder Download von einer populären Webseite angeboten werden. Der Computer könnte auch als in Beziehung stehend erachtete Webseiten basierend auf vergangenem Verhalten anbieten (oder zeigen, oder anzeigen, oder laden). Zum Beispiel Wikipedia^® Seiten, Fanseiten, und andere Internetseiten, die basierend auf TV- oder Internetbrowsing-Verhalten des Anwenders durch den Computer angezeigt werden. In solchen Konfigurationen kann zusätzliche Information, besonders über die Serie, zum Beispiel HERDES, in Echtzeit angezeigt werden, während die erste Aussendung der Show auf live ausgestrahltem TV angesehen wird, und zwar einfach durch Auswählen (oder Clicken oder Drücken) einer Taste auf der Fernbedienung oder auf dem Bildschirm und durch Eintreten in das Medienverwaltungssystemerlebnis (zum Beispiel durch Beginnen des Identifizierungsprozesses, usw.).As a non-limiting example of a filtering approach could a user who has viewed the result of a television program last week (for example the "HEROES" TV program, offered by the television network NBC UNIVERSAL ^®), with this arrangement proactively result of this week as a data stream or Download from a popular website. The computer could also offer (or display or display or load) as related web pages based on past behavior. For example, Wikipedia ^® sites, fan sites, and other websites that are displayed based on TV or Internet browsing behavior of the user by the computer. In such configurations, additional information, particularly about the series, for example HERDES, may be displayed in real time while watching the first broadcast of the show on live broadcast TV simply by selecting (or clicking or pressing) a button on the remote control or on the screen and by entering the media management system experience (for example, by starting the identification process, etc.).

Wegen des oben beschriebenen OPD kann dem Anwender in Beziehung stehende Internetinformation in Bezug auf das immer noch laufende TV Programm auf dem gleichen Bildschirm gezeigt werden. In einem anderen Beispiel könnte einem Anwender, der das Sportereignis der letzten Woche angesehen hat, zum Beispiel ein Fußballspiel, das die favorisierte Mannschaft des Anwenders gezeigt hat, angeboten werden, das nächste Fußballspiel auf Live TV anzusehen. Dem Anwender könnten auf gleiche Weise Statistiken, Spieleraktualisierungen und andere Faninformationen über die Fußballmannschaft (zum Beispiel sachbezogene Medien, die online verfügbar sind) angeboten werden.Because of the OPD described above, Internet related information relating to the still-running TV program can be displayed to the user on the same screen. In another example, a user watching the sports event of the past week, for example, could be offered a football game that showed the user's favored team to watch the next football match on live TV. Likewise, the user could be offered statistics, player updates, and other fan information about the football team (for example, subject-related media available online).

Auf diese Weise stellen die Konfigurationen, wie offenbart, Anwendern automatisch maßgeschneiderte Internetmedienauswahlmöglichkeiten in Echtzeit zur Verfügung, zum Beispiel basierend auf deren eigenem Fernsehverhalten und Konsum von Internetdatenstrommedien. Es sollte zur Kenntnis genommen werden, dass periphere Anordnungen (zum Beispiel Tastatur, Maus, usw.) mit dem Computer des Medienverwaltungssystems kompatibel sind und verwendet werden können, wenn der Anwender entscheidet, proaktiv mit dem Medienverwaltungssystem zu kommunizieren. Zum Beispiel kann der Anwender zusätzliche Internetinformation basierend auf der automatischen in Beziehung stehenden, durch das Medienverwaltungssystem zur Verfügung gestellten Information erwünschen. Der Anwender könnte auf diese Weise seine oder ihre eigene Internetsuche durchführen.In this way, the configurations, as disclosed, automatically provide users with customized real-time Internet media choices, for example, based on their own television behavior and consumption of Internet data stream media. It should be noted that peripheral devices (eg, keyboard, mouse, etc.) are compatible with the computer of the media management system and can be used when the user decides to proactively communicate with the media management system. For example, the user may desire additional Internet information based on the automatic related information provided by the media management system. The user could thus do his or her own internet search.

In kurzer Zusammenfassung wird dem Anwender der Anordnung gemäß zumindest einer Ausführungsform der Erfindung ein integriertes Fernseh- und Internetmedienerlebnis zur Verfügung gestellt. Die Anordnung sorgt für die automatische Identifizierung von Quellmedieninhalt, die automatische Analyse des identifizierten Quellmedieninhalts, die automatische Bereitstellung von dazu in Beziehung stehendem Inhalt (zum Beispiel aus dem Internet oder lokal gespeichert), und die automatische Integration des Quellmedieninhalts und des in Beziehung stehenden Inhalts zur Anzeige.Briefly summarizing, the user of the device will be provided with an integrated television and Internet media experience in accordance with at least one embodiment of the invention. The arrangement provides for automatic identification of source media content, automatic analysis of the identified source media content, automatic provision of related content (for example, from the Internet or stored locally), and automatic integration of the source media content and related content Display.

Viele der funktionalen Eigenschaften der erfindungsgemäßen, in dieser Beschreibung beschriebenen Anordnung, können als Module ausgeführt sein. Module können Hardwareschaltungen einschließen, wie zum Beispiel einen oder mehrere Prozessoren mit Speicher, programmierbare Logik, und/oder diskrete Komponenten. Die Hardwareschaltungen können fest verdrahtete logische Funktionen ausüben, computerlesbare, auf dinghaften Speicheranordnungen gespeicherte Programme ausführen, und/oder programmierte Funktionen ausführen. Die computerlesbaren Programme können in Kombination mit einem Computersystem und den anderen beschriebenen Elementen die Funktionen der Erfindung ausüben.Many of the functional properties of the arrangement according to the invention described in this description can be embodied as modules. Modules may include hardware circuits, such as one or more processors with memory, programmable logic, and / or discrete components. The hardware circuits may perform hardwired logical functions, execute computer readable programs stored on persistent storage arrays, and / or perform programmed functions. The computer readable programs may perform the functions of the invention in combination with a computer system and the other elements described.

Es wird durch diejenigen, die gewöhnliche Kenntnisse in der Technik aufweisen, leicht verstanden werden, dass Ausführungsformen der vorliegenden Erfindung die Form einer vollständigen Hardwareausführungsform annehmen können oder eine Ausführungsform, die sowohl Hardware wie auch Softwareelemente beinhaltet. Eine Ausführungsform, die in Software ausgeführt ist, kann Firmware, residente Software, Mikrocode usw. einschließen, ist aber nicht darauf eingeschränkt.It will be readily understood by those of ordinary skill in the art that embodiments of the present invention may take the form of a full hardware embodiment or an embodiment incorporating both hardware and software elements. An embodiment embodied in software may include, but is not limited to, firmware, resident software, microcode, etc.

Die computerlesbaren Programme können in dinghaften computermaschinenlesbaren (durch eine Vorrichtung lesbaren) Medien gespeichert sein. Beispiele für ein computermaschinenlesbares Medium umfassen einen Halbleiter- oder Solid State Memory Speicher, Magnetband, eine entnehmbare Computerdiskette, ein Random Access Memory (RAM), ein Read-Only Memory (ROM), eine starre Magnetplatte und eine optische Disk. Gegenwärtige Beispiele für optische Disks umfassen Compact Disk – Read Only Memory (CD-ROM), Compact Disk – Read/Write (CD-R/W) und DVD.The computer readable programs may be stored in tangible computer machine readable (device readable) media. Examples of a computer-readable medium include semiconductor or solid state memory, magnetic tape, a removable computer disk, random access memory (RAM), read-only memory (ROM), a rigid magnetic disk, and an optical disk Discs include Compact Disk - Read Only Memory (CD-ROM), Compact Disk - Read / Write (CD-R / W) and DVD.

Dementsprechend können Elemente der vorliegenden Erfindung auf zumindest einem Computer ausgeführt werden, auf dem geeignete Softwareprogramme ablaufen. Diese können auch auf zumindest einer integrierten Schaltung (IC) oder einem Teil von zumindest einer integrierten Schaltung (IC) ausgeführt werden. Es ist daher zu verstehen, dass die Erfindung in einer Kombination aus sowohl Hardware wie auch Software ausgeführt werden kann. Wiederum können computer-/maschinenlesbare Programme in Kombination mit einem Computersystem die Funktionen der Erfindung ausüben.Accordingly, elements of the present invention may be implemented on at least one computer running appropriate software programs. These can also be implemented on at least one integrated circuit (IC) or part of at least one integrated circuit (IC). It is therefore to be understood that the invention may be embodied in a combination of both hardware and software. Again, computer / machine readable programs in combination with a computer system may perform the functions of the invention.

Diese Offenbarung wurde zu Zwecken der Veranschaulichung und Beschreibung dargelegt, beabsichtigt jedoch nicht erschöpfend oder einschränkend zu sein. Viele Abänderungen und Variationen werden denjenigen mit gewöhnlichen Kenntnissen in der Technik offensichtlich sein. Die Ausführungsformen wurden ausgewählt und beschrieben, um Prinzipen und praktische Anwendung zu erklären, und um andere mit gewöhnlichen Kenntnissen in der Technik in die Lage zu versetzen, die Offenbarung für verschiedenartige Ausführungsformen mit verschiedenartigen Modifikationen zu verstehen, wie sie geeignet sind für den bestimmten betrachteten Verwendungszweck.This disclosure has been presented for purposes of illustration and description, but is not intended to be exhaustive or limited. Many variations and variations will be apparent to those of ordinary skill in the art. The embodiments have been chosen and described to explain principles and practical application, and to enable others of ordinary skill in the art to understand the disclosure for various embodiments with various modifications as appropriate to the particular application contemplated ,

In den Zeichnungen und der Beschreibung wurde eine bevorzugte Ausführungsform der Erfindung ausgeführt und, obwohl bestimmte Begriffe verwendet wurden, verwendet die so ausgeführte Beschreibung die Terminologie nur in einem allgemeinen und beschreibenden Sinn und nicht zu Zwecken der Einschränkung.In the drawings and description, a preferred embodiment of the invention has been set forth and while certain terms have been used, the description so made uses the terminology only in a general and descriptive sense and not for purposes of limitation.

Claims

A computer-implemented method comprising: Identifying a source media content feed to an electronic device; automatically obtaining related media based on the identifying; and rendering the source media content and related media available for output to a display device, wherein the automatically obtaining related media further comprises obtaining related media that are pre-selected and stored in a database.

The computer-implemented method of claim 1, wherein the source media content comprises video content resulting from a source selected from a group consisting of a cable television box, a satellite receiver, a DVD player, and an internet source.

The computer-implemented method of claim 1, wherein the identifying further comprises digital fingerprinting.

The computer-implemented method of claim 3, wherein the digital fingerprinting further comprises: Capturing video frame data from the source media content; Transferring selected portions of the video frame data from the electronic device to a second device via a network connection; and Receiving an identification result from the second device over the network connection.

The computer-implemented method of claim 4, wherein automatically obtaining related media further comprises: Using the identification result to execute a query; and Receive at least one query result of the query as related media.

The computer-implemented method of claim 1, wherein the identifying further comprises identifying the source media content using subtitle data.

The computer-implemented method of claim 2, wherein the source media content comprises video content; and wherein the source delivers the video content via a component media source.

The computer-implemented method of claim 4, wherein the capturing of the video frame data from the source media content occurs at a predetermined rate.

The computer-implemented method of claim 1, further comprising: selectively displaying media content on the display device in one of a plurality of modes, the plurality of modes comprising: a pass-through mode, after which only the source media source is displayed; a related media mode, after which only the related media are displayed; and a built-in mode that displays both the source media source and the related media.

Apparatus comprising: at least one processor; and a tangible program storage device configured to store a program of instructions that, when executed by the at least one processor, enables the device: to identify a source media content feed to the device; collecting automatically related media based on the identifying; and prepare the source media content and related media for output to a display device, the program of instructions further enabling the device to automatically acquire related media that are pre-selected and stored in a database.

The apparatus of claim 10, wherein the source media content comprises video content resulting from a source selected from a group consisting of a cable television box, a satellite receiver, a DVD player, and an internet source.

The apparatus of claim 10, wherein the program of instructions further enables the device to identify the source media content via digital fingerprinting.

The apparatus of claim 12, wherein the digital fingerprinting further comprises: Capturing video frame data from the source media content; Transferring selected portions of the video frame data from the device to a second device over a network connection; and Receiving an identification result from the second device over the network connection.

The apparatus of claim 13, wherein the program of instructions further enables the apparatus to automatically retrieve related media by: using the identification result to execute a query; and Receive at least one query result from the query as related media.

The apparatus of claim 10, wherein identifying further comprises identifying the source media content using subtitle data.

The apparatus of claim 12, wherein the source media content comprises video content; and wherein the source delivers the video content via a component media source.

The apparatus of claim 14, wherein capturing video frame data from the source media content occurs at a predetermined rate.

The apparatus of claim 10, wherein the program of instructions further enables the device to selectively display media content in one of a plurality of modes on the display device, the plurality of modes comprising: a pass-through mode, after which only the source media source is displayed; a related media mode, after which only the related media are displayed; and a built-in mode that displays both the source media source and the related media.

A notable program storage device, machine readable and embodying a program of instructions that, when executed by a processor of the machine, enables the machine: to identify a source media content feed to the machine; collecting automatically related media based on the identifying; and preparing the source media content and related media for output to a display device, the program of instructions further enabling the machine to automatically acquire related media that are pre-selected and stored in a database.