DE102017005963A1

DE102017005963A1 - Bereitstellen von relevanten Videoszenen in Reaktion auf eine Videosuchabfrage

Info

Publication number: DE102017005963A1
Application number: DE102017005963.2A
Authority: DE
Inventors: Sachin Soni; Ashish Duggal; Anmol Dhawan
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 2016-09-23
Filing date: 2017-06-23
Publication date: 2018-03-29
Also published as: US20180089203A1; AU2017204338B2; US20200183977A1; AU2017204338A1; US11461392B2; CN107870959B; GB2554515A; CN116881501A; US10606887B2; GB201711692D0; CN107870959A

Abstract

Die vorliegende Offenbarung betrifft Verfahren und Systeme zur Bereitstellung von relevanten Videoszenen in Reaktion auf eine Videosuchabfrage. Die Systeme und Verfahren identifizieren eine Mehrzahl von Keyframes eines Medienobjektes und detektieren ein oder mehrere in der Mehrzahl von Keyframes dargestellte Contentmerkmale. Auf Grundlage des einen oder der mehreren detektierten Contentmerkmale verknüpfen die Systeme und Verfahren die detektierten Contentmerkmale angebende Tags mit der Mehrzahl von Keyframes des Medienobjektes. Die Systeme und Verfahren vergleichen in Reaktion auf ein Empfangen einer Suchbegriffe beinhaltenden Suchabfrage die Suchbegriffe mit den Tags der ausgewählten Keyframes, identifizieren einen ausgewählten Keyframe, der wenigstens ein Contentmerkmal im Zusammenhang mit den Suchbegriffen abbildet, und stellen ein Vorschaubild des Medienobjektes, das das wenigstens eine Contentmerkmal abbildet, bereit.

Description

Hintergrund
Entwicklungen bei Kommunikationstechnologien implizieren erhebliche Fortschritte bei Medien hostenden Technologien und haben insbesondere dazu geführt, dass Nutzer in die Lage versetzt werden, Content frei auf Medien hostende Systeme hochzuladen, zu suchen und von diesen herunterzuladen. Dies bedeutet, dass ein Nutzer eine Suchmaschine verwenden kann, um Videos, die von einem Medien hostenden System gehostet werden, zu suchen. Auf Grundlage einer Suchabfrage suchen viele herkömmliche Medien hostende Systeme Videotitel oder Kategorien, die mit einem Video verknüpft sind, um ein oder mehrere Suchergebnisse zu identifizieren. In Reaktion auf die Verarbeitung der Suche des Nutzers kann das Medien hostende System eine Liste von Suchergebnissen (beispielsweise eine Liste von Videotiteln) ausgeben, die für den Nutzer gegebenenfalls von Interesse sind (das heißt Links zu Videotiteln, die zu identifizierten Videos weisen). Entsprechend kann der Nutzer ein Ergebnis (beispielsweise einen Link) auswählen, um auf ein Video zuzugreifen.
Ungeachtet der Fortschritte bei der Medien hostenden Technologie tritt bei herkömmlichen Medien hostenden Systemen eine Anzahl von Problemen auf. Ein Problem bei vielen herkömmlichen Medien hostenden Systemen besteht darin, dass dann, wenn ein Nutzer nach Medienobjekten (beispielsweise Videos) im Zusammenhang mit bestimmtem Content (beispielsweise dem Thema eines Videos) sucht, herkömmliche Medien hostende Systeme oftmals Suchergebnisse in einer Form ausgeben, die den Content innerhalb eines bestimmten Ergebnisses, das gegebenenfalls mit der Suche des Nutzers zusammenhängt, nicht angibt. Die Ausgabe einer Liste von Videotiteln gibt beispielsweise, wie vorstehend erläutert worden ist, oftmals nicht viel Information über einen bestimmten Content innerhalb eines Videos an.
Des Weiteren geben einige herkömmliche Medien hostende Systeme in Reaktion auf eine Suche ein Bild aus, das ein identifiziertes Video darstellt, wobei das Bild jedoch nahezu durchweg für die Suche des Nutzers im Zusammenhang mit dem bestimmten Content irrelevant ist. Viele herkömmliche Medien hostende Systeme weisen beispielsweise ein Framebild aus einem Video zur Darstellung des Videos zu. Einige herkömmliche Medien hostende Systeme weisen beispielsweise einen ersten Frame eines Videos (beispielsweise in Form eines Thumbnails) zu, um den Content des Videos darzustellen, wohingegen andere herkömmliche Medien hostende Systeme ermöglichen, dass ein Nutzer einen Frame eines Videos manuell auswählt. Im Ergebnis zeigt das ausgewählte Framebild selten bestimmte Contentmerkmale im Zusammenhang mit der von dem Nutzer initiierten Suchabfrage oder gibt diese an.
Entsprechend geben herkömmliche Medien hostende Systeme oftmals Suchergebnisse aus, die für die Suche des Nutzers irrelevant zu sein scheinen, da das Framebild einen Nutzer nicht in die Lage versetzt, ohne Weiteres zu entscheiden, ob das Video mit der Suchabfrage zusammenhängt. Eingedenk des Vorbeschriebenen veranlassen herkömmliche Medien hostende Systeme oftmals, dass Nutzer Videos, die mit ihren Suchabfragen zusammenhängen, übergehen (beispielsweise nicht auswählen, berücksichtigen oder ansehen), da die Vorschaubilder irrelevant für die Suchabfragen des Nutzers zu sein scheinen. Infolgedessen stellen die meisten herkömmlichen Medien hostenden Systeme einen Suchprozess bereit, der ineffizient und zeitaufwändig ist. Infolge der vorbeschriebenen Probleme bei herkömmlichen Medien hostenden Systemen müssen Nutzer oftmals beträchtliche Zeitmengen dafür aufwenden, mehrere Suchen durchzuführen und große Abschnitte der resultierenden Videos anzusehen, um letztendlich ein Video mit dem vom Nutzer gesuchten Content zu finden.
Diese und weitere Nachteile sind bei herkömmlichen Medien hostenden Systemen entsprechend vorhanden.
Kurze Zusammenfassung
Die nachstehend beschriebenen verschiedenen Ausführungsformen bieten Vorteile und/oder lösen eines oder mehrere der vorbeschriebenen Probleme im Stand der Technik oder auch andere Probleme bei Systemen und Verfahren zum Identifizieren und Bereitstellen von relevanten Vorschaubildern von Videocontent für einen Nutzer in Reaktion auf eine Suchabfrage. Die hier offenbarten Systeme und Verfahren identifizieren beispielsweise potenzielle Vorschaubilder (beispielsweise Videoszenen, Posterframes und dergleichen mehr) für ein Medienobjekt (beispielsweise ein Video), die bestimmte Contentmerkmale (beispielsweise Objekte, die innerhalb eines Videoframes abgebildet sind) beinhalten. Auf Grundlage einer empfangenen Suchabfrage wählen das System und die Verfahren unter den potenziellen Vorschaubildern ein bestimmtes Vorschaubild aus, das für die Suchabfrage am meisten relevant ist. Darüber hinaus stellen die Systeme und Verfahren das ausgewählte Vorschaubild für einen Nutzer (das heißt einen Nutzer über eine Clientvorrichtung) derart bereit, dass der Nutzer ein Bild des am meisten relevanten Abschnittes des Medienobjektes, so dieses mit der Suchabfrage zusammenhängt, ohne Weiteres ansehen kann.
Bei einer oder mehreren Ausführungsformen bestimmen die Systeme und Verfahren des Weiteren einen Verlässlichkeitswert, der eine Wahrscheinlichkeit dafür angibt, dass ein bestimmter Keyframe von Videocontent ein bestimmtes Contentmerkmal (beispielsweise die Abbildung eines Hundes) beinhaltet. Auf Grundlage der Bestimmung von Verlässlichkeitswerten für jedes identifizierte Contentmerkmal innerhalb eines jeden Keyframes können die Systeme und Verfahren identifzieren, welcher Keyframe das bestimmte Contentmerkmal am wahrscheinlichsten beinhaltet. Entsprechend können die Systeme und Verfahren einen Keyframe/Keyframes entsprechend dem bestimmten Contentmerkmal auf Grundlage der bestimmten Verlässlichkeitswerte dem Rang nach ordnen, identifizieren oder auf andere Weise organisieren. Als solches können die Systeme und Verfahren auf Grundlage der für die Contentmerkmale innerhalb der Keyframes bestimmten Verlässlichkeitswerte diejenigen Keyframes auswählen, die für eine Suchabfrage am meisten relevant sind, und diese als Vorschaubild von Videocontent verwenden. Beim Empfangen einer Suchabfrage für einen „Hund” können die Systeme und Verfahren beispielsweise das bestimmte Keyframe, das einen Hund abbildet, identifizieren und ein Bild des Keyframes als Vorschaubild in Reaktion auf die Suchabfrage bereitstellen.
Des Weiteren erzeugen, wie vorstehend kurz erwähnt worden ist, die Systeme und Verfahren einen Satz von potenziellen Vorschaubildern, die potenziell als Vorschaubild verwendet werden können, um ein bestimmtes Contentmerkmal, das innerhalb von Videocontent vorgefunden wird, darzustellen. Der Satz von potenziellen Vorschaubildern beruht beispielsweise auf Bildern der Keyframes (beispielsweise Thumbnailbilder der Keyframes). Darüber hinaus erzeugen die Systeme und Verfahren einen Tag und weisen diesen jedem potenziellen Vorschaubild zu, wobei der Tag die in jedem potenziellen Vorschaubild abgebildeten Contentmerkmale angibt. Auf Grundlage eines Empfangens einer Suchabfrage können die Systeme und Verfahren Tags der potenziellen Vorschaubilder suchen und bestimmen, ob das Medienobjekt mit der Suchabfrage zusammenhängt, und zusätzlich Tags dafür suchen, aus dem Satz von potenziellen Vorschaubildern dasjenige Vorschaubild zu identifizieren, das der Suchabfrage am nächsten kommt.
Daher kann, da die Systeme und Verfahren als Vorschaubilder den relevanten Abschnitt/die relevanten Abschnitte eines Medienobjektes im Zusammenhang mit der Suchabfrage bereitstellen, ein Nutzer leicht und effizient Videocontent identifizieren, der den Nutzer interessiert, ohne dass der Nutzer manuell Videos zum Ausfindigmachen von relevantem Content ansehen muss.
Zusätzliche Merkmale und Vorteile der Ausführungsformen ergeben sich aus der nachfolgenden Beschreibung, erschließen sich teilweise aus der Beschreibung oder sind Folge des praktischen Umsetzens der exemplarischen Ausführungsformen. Die Merkmale und Vorteile derartiger Ausführungsformen können mittels der Instrumente und Kombinationen, die insbesondere in den beigefügten Ansprüchen aufgeführt sind, verwirklicht und erhalten werden. Diese und weitere Merkmale erschließen sich vollständiger und deutlicher aus der nachfolgenden Beschreibung und den beigefügten Ansprüchen oder folgen aus der praktischen Umsetzung derartiger exemplarischer Ausführungsformen, die nachstehend beschrieben werden.
Kurzbeschreibung der Zeichnung
Es werden verschiedene Ausführungsformen mit zusätzlicher Spezifität und Detailliertheit unter Verwendung der begleitenden Zeichnung beschrieben und erläutert, die sich wie folgt zusammensetzt.
1 zeigt ein schematisches Diagramm eines Kommunikationssystems entsprechend einer oder mehreren Ausführungsformen.
2A bis 2C zeigen ein Sequenzablaufdiagramm des Analysierens eines Medienobjektes zum Identifizieren und Bereitstellen eines relevanten Vorschaubildes des Medienobjektes in Reaktion auf eine Suchabfrage entsprechend einer oder mehreren Ausführungsformen.
3 zeigt eine exemplarische Datentabelle einer Medienobjektdatenbank entsprechend einer oder mehreren Ausführungsformen.
4 zeigt eine weitere exemplarische Datentabelle einer Medienobjektdatenbank entsprechend einer oder mehreren Ausführungsformen.
5 zeigt eine schematische Darstellung eines Mediensystems entsprechend einer oder mehreren Ausführungsformen.
6 zeigt ein Flussdiagramm eines exemplarischen Verfahrens zum Bereitstellen von relevanten Vorschaubildern eines Videos in Reaktion auf eine Suchabfrage entsprechend einer oder mehreren Ausführungsformen.
7 zeigt ein Flussdiagramm eines weiteren exemplarischen Verfahrens zum Bereitstellen von relevanten Vorschaubildern eines Videos in Reaktion auf eine Suchabfrage entsprechend einer oder mehreren Ausführungsformen.
8 zeigt ein Blockdiagramm einer exemplarischen Rechenvorrichtung entsprechend einer oder mehreren Ausführungsformen.
Detailbeschreibung
Die nachstehend beschriebenen Ausführungsformen stellen ein Mediensystem zum Identifizieren und Bereitstellen von Vorschaubildern (beispielsweise Posterframes) für ein Medienobjekt (beispielsweise Videocontent) bereit, die für ein Suchergebnis relevant sind, das von einem Nutzer des Mediensystems empfangen wird. Bei einer oder mehreren Ausführungsformen identifiziert das Mediensystem Contentmerkmale (beispielsweise Objekte, Aktivitäten, Gefühle, Tiere, Landschaften, Orte, Farben), die in einer Gruppe von Keyframes aus dem Videocontent abgebildet sind. Zusätzlich wählt das Mediensystem auf Grundlage der identifizierten Contentmerkmale einen oder mehrere Keyframes aus, um einen Satz von potenziellen Vorschaubildern (beispielsweise potenzielle Posterframes) zu erzeugen, die zum Darstellen des Videocontents als Suchergebnis in Reaktion auf eine Suchabfrage verwendet werden können. Darüber hinaus identifiziert bei einer oder mehreren Ausführungsformen das Mediensystem beim Empfangen einer Suchabfrage ein bestimmtes Video im Zusammenhang mit der Suchabfrage. Zusätzlich wählt das Mediensystem ein Vorschaubild aus dem Satz von potenziellen Vorschaubildern für das bestimmte Video, das der Suchabfrage am nächsten kommt, aus.
Entsprechend identifiziert das Mediensystem in Reaktion auf eine Suchabfrage spezifische Vorschaubilder für Videocontent, die spezifische Contentmerkmale angeben, die mit der Suchabfrage zusammenhängen, und stellt diese bereit. Ein bestimmtes Digitalvideo kann beispielsweise zwei Videoabschnitte aufweisen, die zwei verschiedene Contentmerkmale beinhalten. Das Mediensystem kann bestimmen, dass ein erstes Contentmerkmal mit einer ersten Suchabfrage zusammenhängt, und entsprechend ein erstes Vorschaubild, das aus einem Keyframe des ersten Abschnittes des Videos genommen ist, in Reaktion auf die erste Suchabfrage bereitstellen. Des Weiteren kann das Mediensystem bestimmen, dass ein zweites Contentmerkmal mit einer zweiten Suchabfrage zusammenhängt, und daher ein zweites Vorschaubild, das aus einem Keyframe des zweiten Abschnittes des Videos genommen ist, bereitstellen. Mit anderen Worten, das Mediensystem kann verschiedene und angepasste Vorschaubilder für ein einzelnes Fallbeispiel von Videocontent bereitstellen, um ein Vorschaubild, das mit einer gegebenen Suchabfrage zusammenhängt, bereitzustellen.
Bei einer oder mehreren Ausführungsformen erzeugt das Mediensystem, wie vorstehend kurz erläutert worden ist, einen Satz von potenziellen Vorschaubildern (beispielsweise Thumbnails) auf Grundlage von ausgewählten Keyframes aus einem Videocontent und verknüpft jedes potenzielle Vorschaubild mit einem Tag, der ein Contentmerkmal/Contentmerkmale, das/die in jedem ausgewählten Keyframe identifiziert ist/sind, angibt. Entsprechend verwendet das Mediensystem auf Grundlage des Empfanges einer Suchabfrage die Tags, die mit jedem Medienobjekt (beispielsweise mit den potenziellen Vorschaubildern eines Medienobjektes) verknüpft sind, um Medienobjekte zu identifizieren und zudem um Keyframes und/oder Vorschaubilder für Medienobjekte, die für die Suchabfrage relevant sind, zu identifizieren.
Wie vorstehend aufgeführt worden ist, identifiziert das Mediensystem Keyframes von Videocontent innerhalb eines Medienobjektes. Das Mediensystem kann beispielsweise contentbasierte und nichtcontentbasierte Verfahren zum Identifizieren der Keyframes von Videocontent (beispielsweise Szenendetektionsanalyse) einsetzen. Darüber hinaus setzt, wie ebenfalls vorstehend erwähnt worden ist, das Mediensystem beim Identifizieren der Keyframes eine Contentmerkmalserkennungstechnologie ein, um Contentmerkmale innerhalb der Keyframes zu identifizieren. Bei einer oder mehreren Ausführungsformen verwendet das Mediensystem beispielsweise Maschinenlerntechniken zum Trainieren eines neuronalen Netzwerkmodells, das Contentmerkmale, die innerhalb eines jeden Keyframes abgebildet sind, genau identifizieren kann.
Des Weiteren kann das Mediensystem beim Detektieren der Contentmerkmale eines jeden identifizierten Keyframes Verlässlichkeitswerte für jedes der detektierten Contentmerkmale in einem Keyframe bestimmen. Bei einer oder mehreren Ausführungsformen filtert das Mediensystem unter Verwendung der Verlässlichkeitswerte einen oder mehrere Keyframes oder sondert diese aus, um einen Satz von Keyframes zu erstellen, der am wahrscheinlichsten tatsächlich beliebige identifizierte Contentmerkmale beinhaltet. Insbesondere kann das Mediensystem Keyframes auf Grundlage der Verlässlichkeitswerte, die den Contentmerkmalen der identifizierten Keyframes zugeordnet sind, auswählen. Mit anderen Worten, das Mediensystem kann Keyframes mit den höchsten Verlässlichkeitswerten im Zusammenhang mit Contentmerkmalen zur Verwendung als potenzielle Vorschaubilder auswählen.
Bei einer oder mehreren Ausführungsformen wählt das Mediensystem auf Grundlage von bestimmten Verlässlichkeitswerten einen einzigen Keyframe aus, der als potenzielles Vorschaubild des Medienobjektes für jedes detektierte Contentmerkmal des Medienobjektes beinhaltet sein soll. Mit anderen Worten, für den Fall, dass ein bestimmtes Contentmerkmal in zwei Keyframes identifiziert wird, wählt das Mediensystem den Keyframe mit dem höchsten Verlässlichkeitswert aus, um den Medieninhalt für das bestimmte Contentmerkmal darzustellen. Bei anderen Ausführungsformen kann das Mediensystem mehrere Vorschaubilder erzeugen, die mit einer einzigen Suchabfrage zusammenhängen, solange die Verlässlichkeitswerte, die mit den jeweiligen Keyframes verknüpft sind, über einer definierten Verlässlichkeitswerteschwelle liegen. Auf Grundlage des Empfangens einer Abfrage kann das Mediensystem beispielsweise zwei Vorschaubilder auswählen, um ein einziges Medienobjekt darzustellen (Das System kann die beiden Vorschaubilder beispielsweise als zwei getrennte Ergebnisse bereitstellen oder kann alternativ ein einziges Ergebnis bereitstellen, das die beiden Vorschaubilder kombiniert zeigt, wie nachstehend noch beschrieben wird).
Entsprechend empfängt, wie nachstehend noch detaillierter beschrieben wird, das Mediensystem bei einer oder mehreren Ausführungsformen eine Suchabfrage und kann in Reaktion auf die Suchabfrage Tags, die mit Medienobjekten verknüpft sind, abfragen, um Keyframes und/oder Vorschaubilder von Medienobjekten zu identifizieren, die für die Suchabfrage relevant sind. Das Mediensystem kann beispielsweise Suchbegriffe der Suchabfrage mit den Tags, die einem Medienobjekt zugewiesen sind, vergleichen, um ein Vorschaubild/Vorschaubilder mit Relevanz für Suchbegriffe der Abfrage zu identifizieren. Beim Auswählen eines relevanten Vorschaubildes eines Medienobjektes kann das Mediensystem das Vorschaubild des Medienobjektes innerhalb eines Satzes von Ergebnissen bereitstellen, die das System zur Anzeige für eine Clientvorrichtung eines Nutzers bereitstellt.
Entsprechend bieten die verschiedenen Ausführungsformen des hier beschriebenen Mediensystems Vorteile gegenüber herkömmlichen Medien hostenden Systemen. Das Mediensystem kann beispielsweise im Gegensatz zu herkömmlichen Medien hostenden Systemen ein Vorschaubild für ein Videocontentsuchergebnis auf Grundlage von Videoszenen, die für eine Suchabfrage relevant sind, innerhalb des Videocontents bereitstellen. Insbesondere kann das Mediensystem anstelle einer bloßen Bereitstellung des ersten Frames eines Videos (wie dies beispielsweise bei herkömmlichen Verfahren der Fall ist) ein Vorschaubild bereitstellen, das ein Medienobjekt darstellt, das Contentobjekte abbildet, die speziell mit einer Suchabfrage zusammenhängen. Darüber hinaus kann das Mediensystem im Gegensatz zu herkömmlichen Medien hostenden Systemen für ein einziges Medienobjekt mehrere Vorschaubilder bereitstellen, die Contentmerkmale im Zusammenhang mit einer Suchabfrage beinhalten, um verschiedene Beispiele für Contentmerkmale innerhalb eines Medienobjektes im Zusammenhang mit einer Suchabfrage anzugeben.
Entsprechend kann ein Nutzer auf Grundlage dessen, dass das Mediensystem ein kundenseitig ausgewähltes Vorschaubild auf Grundlage einer spezifischen Suchabfrage auswählt, ohne Weiteres entscheiden, ob ein Medienobjekt für den Nutzer von Interesse ist, ohne dass er ein ganzes Video manuell ansehen müsste, um relevanten Content innerhalb des Videosuchergebnisses versuchsweise ausfindig zu machen. Dies bietet erhebliche Vorteile gegenüber herkömmlichen Mediensystemen, die oftmals eine zufällige und daher irrelevante Frameprobe bereitstellen. Daher haben als Ergebnis dessen, dass das Mediensystem relevante Vorschaubilder von Videocontent in Reaktion auf Suchabfragen bereitstellt, Nutzer eine angenehmere, effizientere und weniger frustrierende Erfahrung im Vergleich zu herkömmlichen Mediensystemen. Insbesondere kann das Empfangen von relevanten Vorschaubildern in Reaktion auf Suchabfragen den Nutzern Zeit und Aufwand beim Ausfindigmachen von Content, an dem die Nutzer interessiert sind, sparen.
Die verschiedenen Ausführungsformen des Mediensystems bieten zudem Vorteile für Urheber von Medienobjekten. Das Mediensystem der vorliegenden Offenbarung beseitigt beispielsweise jegliche Notwendigkeit für den Urheber, manuell einen Frame des Medienobjektes des Urhebers auszuwählen, um das Medienobjekt darzustellen, was dem Urheber Zeit und Aufwand spart. Darüber hinaus kann ein Urheber sicherstellen, dass dann, wenn ein Nutzer eine Suche im Zusammenhang mit Contentmerkmalen, die in dem Medienobjekt des Urhebers beinhaltet sind, bereitstellt, das Mediensystem ein relevantes Vorschaubild bereitstellt, das die Contentmerkmale, an denen der Nutzer gegebenenfalls das größte Interesse hat, innerhalb des Medienobjektes abbildet. Im Ergebnis werden die Nutzer gegebenenfalls noch wahrscheinlicher das Medienobjekt des Urhebers herunterladen und erwerben.
Darüber hinaus stellt das hier beschriebene Mediensystem Verbesserungen des Leistungsvermögens eines Computersystems bereit. Da das Mediensystem beispielsweise relevante Vorschaubilder der Medienobjekte bereitstellt, kann das Mediensystem zu einer schnelleren Verarbeitung von Suchabfragen führen. Des Weiteren kann, da das Mediensystem relevante Vorschaubilder in Reaktion auf Suchabfragen bereitstellt, das Mediensystem die Anzahl von Suchen, die von Nutzern empfangen werden, optimieren, da Nutzer einfacher bestimmen können, ob ihre Suchen zu Medienobjekte führen, die für die Interessen des Nutzers relevant sind. Darüber hinaus führt das Mediensystem zu weniger Downloads von Videocontent, die für das Interesse des Nutzers als letztendlich irrelevant betrachtet werden, was zu einem geringeren Datentransfer und zu einer geringeren Datenbandbreitennutzung für das Computersystem führt. Mit anderen Worten, das Mediensystem führt im Vergleich zu herkömmlichen Medien hostenden Systemen zu weniger erforderlicher Verarbeitungsleistung und Kommunikationsbandbreite. Da die Vorschaubilder zudem vor den Suchabfragen (beispielsweise in Vorwegnahme von Suchabfragen) erzeugt werden können, kann das Mediensystem der vorliegenden Offenbarung im Vergleich zu herkömmlichen Mediensystemen eine schnellere Verarbeitung von Suchabfragen verwirklichen.
Im Sinne des Vorliegenden bezeichnet der Begriff „Medienobjekt” Digitalmediendaten, die wenigstens einigen Videocontent beinhalten. Ein Medienobjekt kann beispielsweise ein Digitalvideo beinhalten. Zusätzlich kann ein Medienobjekt ein Digitalvideo wie auch andere Typen von Digitalmedien (beispielsweise Digitalfotos, Digitalaudioaufnahmen, eine Diashowpräsentation, Text und/oder beliebige andere Digitalmediendaten) beinhalten.
Darüber hinaus bezeichnen die Begriffe „Digitalvideo”, „Videocontent” oder einfach „Video” im Sinne des Vorliegenden codierte Digitaldaten, die eine Darstellung eines oder mehrerer optischer Bilder umfassen. Videocontent kann beispielsweise einen oder mehrere Frames (beispielsweise Digitalbilder), die in den meisten Fällen Videocontent sind, jedoch auch Audiodaten, die die optischen Bilder begleiten, beinhalten.
Im Sinne des Vorliegenden bezeichnet der Begriff „Contentmerkmal” ein Digitalelement, das in einem oder mehreren Frames eines Videocontents beinhaltet und/oder abgebildet ist. Beinhalten kann ein Digitalelement beispielsweise unter anderem ein Objekt (beispielsweise Fahrrad, Auto, Baum), eine Person, eine Aktivität (beispielsweise Laufen, Fallschirmspringen, Wandern), einen Bildtyp (beispielsweise Makro, Portrait, Panorama), ein Gefühl (beispielsweise Lächeln, Weinen), ein Tier (beispielsweise Hund, Katze), eine Landschaft (beispielsweise Strand, Wald, Berge), einen geographischen Ort, eine Struktur (beispielsweise Haus, Brücke), eine Farbe und/oder ein beliebiges anderes Objekt oder Element, das innerhalb eines Videocontents abgebildet ist.
1 zeigt ein schematisches Diagramm eines exemplarischen Kommunikationssystems 100, in dem ein Mediensystem entsprechend einer oder mehreren Ausführungsformen betrieben wird. Wie dargestellt ist, beinhaltet das Kommunikationssystem 110 eine Clientvorrichtung 102, eine Medien hostende Servervorrichtung 104 und ein Netzwerk 106. Die Clientvorrichtung 102 und die Medien hostende Servervorrichtung 104 können über das Netzwerk 106 kommunizieren. Das Netzwerk 106 kann ein oder mehrere Netzwerke, so beispielsweise das Internet beinhalten, und eine oder mehrere Kommunikationsplattformen oder Technologien verwenden, die zur Übertragung von Daten und/oder Kommunikationssignalen geeignet sind. Obwohl 1 eine bestimmte Anordnung der Clientvorrichtung 102, der Medien hostenden Servervorrichtung 104 und des Netzwerkes 106 darstellt, sind verschiedene zusätzliche Anordnungen möglich. Die Medien hostende Servervorrichtung 104 kann beispielsweise direkt unter Umgehung des Netzwerkes 106 mit der Clientvorrichtung 102 kommunizieren.
Wie in 1 dargestellt ist, kann ein Nutzer 110 mit der Clientvorrichtung 102 interagieren, um beispielsweise auf Medienobjekte zuzugreifen, die auf der Medien hostenden Servervorrichtung 104 gespeichert sind. Der Nutzer 110 kann eine Einzelperson (beispielsweise ein menschlicher Nutzer), eine Firma, eine Gruppe oder eine beliebige andere Entität sein. Darüber hinaus kann der Nutzer 110 ein Urheber von Medienobjekten sein, der Medienobjekte über die Clientvorrichtung 102 auf die Medien hostende Servervorrichtung 104 hochlädt. Darüber hinaus oder alternativ kann der Nutzer 110 ein Konsument von Medienobjekten sein, der Medienobjekte für verschiedene Zwecke sucht und herunterlädt. Obwohl 1 nur einen Nutzer 110, der der Clientvorrichtung 102 zugeordnet ist, darstellt, kann das Kommunikationssystem 100 eine beliebige Anzahl einer Mehrzahl von Nutzern beinhalten, die unter Verwendung einer entsprechenden Clientvorrichtung jeweils mit dem Kommunikationssystem 100 interagieren.
Darüber hinaus kann, wie in 1 dargestellt ist, die Clientvorrichtung 102 eine Suchmaschine 112 beinhalten. Insbesondere kann die Clientvorrichtung 102 eine Suchmaschine 112 zur Bereitstellung von Suchabfragen für die Medien hostende Servervorrichtung 104 beinhalten, um Medienobjekte ausfindig zu machen, die auf der Medien hostenden Servervorrichtung 104 gespeichert und für den Nutzer 110 von Interesse sind. Bei zusätzlichen Ausführungsformen kann die Suchmaschine 112 auf einer Drittseitenvorrichtung (beispielsweise einem getrennten Server) befindlich sein, auf den durch die Clientvorrichtung 102 über das Netzwerk 106 zugegriffen wird. Unabhängig davon kann die Medien hostende Servervorrichtung 104 in Reaktion auf eine Suchabfrage Medienobjektsuchergebnisse (beispielsweise Videocontent im Zusammenhang mit einer Suchabfrage) an die Clientvorrichtung 102 vermitteln. Insbesondere kann die Medien hostende Servervorrichtung 104 Suchergebnisse, die Links zu Medienobjekten im Zusammenhang mit einer Suchabfrage umfassen, für die Clientvorrichtung 102 über das Netzwerk 106 bereitstellen.
Sowohl die Clientvorrichtung 102 wie auch die Medien hostende Servervorrichtung 104 können verschiedene Typen von Rechenvorrichtungen darstellen, mit denen Nutzer und Medien hostende Administratoren interagieren können. Die Clientvorrichtung 102 und/oder die Medien hostende Servervorrichtung 104 kann beispielsweise eine Mobilvorrichtung (beispielsweise ein zellenbasiertes Telefon, ein Smartphone, ein PDA, ein Tablet, ein Laptop, eine Armbanduhr, eine tragbare Vorrichtung und dergleichen mehr) sein. Bei einigen Ausführungsformen können die Clientvorrichtung 102 und/oder die Medien hostende Servervorrichtung 104 jedoch auch eine nichtmobile Vorrichtung (beispielsweise ein Desktop oder ein Server) sein. Zusätzliche Details in Bezug auf die Clientvorrichtung 102 und die Medien hostende Servervorrichtung 104 werden nachstehend anhand von 8 erläutert.
Wie in 1 gezeigt ist, beinhaltet die Medien hostende Servervorrichtung 104 ein Mediensystem 108. Wie nachstehend detailliert anhand von 2A bis 5 beschrieben wird, identifiziert das Mediensystem 108 in Kombination mit der Medien hostenden Servervorrichtung 104 Contentmerkmale, die innerhalb von Frames von Videocontent abgebildet sind, und kann als Ergebnis ein Vorschaubild erzeugen, um den Videocontent als Suchergebnis darzustellen. Insbesondere wird das Vorschaubild erzeugt und bereitgestellt und beinhaltet ein Contentmerkmal, das einer Suchabfrage entspricht (So erzeugt das Mediensystem beispielsweise ein Vorschaubild aus einem Videoframe innerhalb von Videocontent, der einen Hund beinhaltet, in Reaktion auf den Empfang einer Suchabfrage, die den Begriff „Hund” beinhaltet, und stellt dieses bereit).
2A bis 2C zeigen exemplarische Ausführungsformen des Mediensystems 108 anhand von verschiedenen Sequenzablaufdiagrammen. 2A bis 2C zeigen beispielsweise eine oder mehrere Ausführungsformen eines Sequenzablaufes, den das Mediensystem 108 verwendet, um in einem Medienobjekt beinhaltete Contentmerkmale zu identifizieren, potenzielle Vorschaubilder für ein Medienobjekt auf Grundlage der identifizierten Contentmerkmale zu erzeugen und ein Vorschaubild mit Contentmerkmalen, die mit einer Suchabfrage zusammenhängen, auszuwählen. Insbesondere kann die Medien hostende Servervorrichtung 104, wie in 2A bis 2C gezeigt ist, eine exemplarische Ausführungsform der anhand von 1 beschriebenen Medien hostenden Servervorrichtung 104 sein, während die in 2C gezeigte Clientvorrichtung 102 eine exemplarische Ausführungsform der anhand von 1 beschriebenen Clientvorrichtung 102 sein kann.
Wie in 2A gezeigt ist, kann die Medien hostende Servervorrichtung 104 ein Medienobjekt (beispielsweise von einer Clientvorrichtung) empfangen, wie bei Schritt 202 gezeigt ist. Insbesondere kann die Medien hostende Servervorrichtung 104 ein Medienobjekt empfangen und in einer Medienobjektdatenbank speichern. Bei einigen Ausführungsformen stellt eine Clientvorrichtung (beispielsweise die Clientvorrichtung 102) ein Medienobjekt für die Medien hostende Servervorrichtung 104 bereit. Die Clientvorrichtung 102 kann beispielsweise ein Medienobjekt über das Netzwerk 106 auf die Medien hostende Servervorrichtung 104 hochladen. Anders gesagt, der Nutzer 110 der Clientvorrichtung 102 kann mit der Clientvorrichtung 102 interagieren und dadurch veranlassen, dass die Clientvorrichtung 102 das Medienobjekt für die Medien hostende Servervorrichtung 104 bereitstellt. Alternativ ist bei einer oder mehreren Ausführungsformen das Medienobjekt bereits auf der Medien hostenden Servervorrichtung 104 gespeichert. Mit anderen Worten, das Medienobjekt kann bereits auf der Medien hostenden Servervorrichtung 104 vorhanden sein, weshalb das Empfangen eines Medienobjektes bei Schritt 202 gegebenenfalls nicht bei jeder Ausführungsform erfolgt.
In Reaktion auf das Empfangen eines Medienobjektes bestimmt das Mediensystem 108 bei einer oder mehreren Ausführungsformen eine oder mehrere Spezifikationen von in dem Medienobjekt beinhaltetem Videocontent, wie bei Schritt 204 von 2A gezeigt ist. Das Mediensystem 108 detektiert beispielsweise eines oder mehrere vom Typ des Videocontents (beispielsweise .mp4, .avi, .mkv, .flv und dergleichen mehr), einer Framerate des Videocontents, einer Gesamtzahl von Frames des Videocontents und/oder einer Videoqualität (beispielsweise einer Auflösung) des Videocontents. In Abhängigkeit von einer bestimmten Ausführungsform bestimmt das Mediensystem 108 weitere Spezifikationen des Videocontents.
Darüber hinaus kann das Mediensystem 108 die eine oder die mehreren Spezifikationen des Videocontents in einem Prozess zum Identifizieren von Keyframes des Videocontents innerhalb des Medienobjekts verwenden, wie bei Schritt 206 von 2A gezeigt ist. Im Sinne des Vorliegenden beziehen sich der Begriff „Keyframe” und beliebige hieraus abgeleitete Begriffe auf einen Frame von Videocontent eines Medienobjektes, der für einen Abschnitt (beispielsweise eine Mehrzahl von sequenziellen Frames) des Videocontents repräsentativ ist. Ein Abschnitt des Videocontents kann sich auf eine Szene innerhalb des Videocontents beziehen und eine definierte Anzahl von Frames beinhalten, die im Vergleich dieselben Contentmerkmale abbilden. Ein Keyframe ist damit ein einziger Frame, der Contentmerkmale beinhaltet, die den Abschnitt des Videos, der die Szene beinhaltet, darstellen. Entsprechend kann eine Sammlung von Keyframes von Videocontent eine kompakte Zusammenfassung des Videocontents eines Medienobjektes (beispielsweise der Contentmerkmale) im Vergleich zur Verwendung aller Frames innerhalb des Videocontents bereitstellen.
Das Mediensystem 108 kann Keyframes des Videocontents unter Verwendung einer Vielzahl von Verfahren identifizieren. So kann das Mediensystem 108 beispielsweise nichtcontentbasierte Verfahren, contentbasierte Verfahren oder Kombinationen hieraus einsetzen, um die Keyframes des Videocontents zu bestimmen (beispielsweise zu identifizieren). Das Vorstehende wird im Folgenden jeweils detailliert erläutert.
Wie vorstehend erwähnt worden ist, kann das Mediensystem 108 nichtcontentbasierte Verfahren zum Identifizieren von Keyframes des Videocontents verwenden. Werden beispielsweise nichtcontentbasierte Verfahren zum Identifizieren von Keyframes von Videocontent eingesetzt, so kann das Mediensystem 108 eine räumliche Segmentierung eines jeden Frames der Mehrzahl von Frames des Videocontents verwenden, um definierte Abschnitte (beispielsweise Cluster von Frames) des Videocontents zu detektieren. Die definierten Abschnitte von Videocontent können auf Grundlage von Änderungen des Bildinhalts von einem Frame zum nächsten sequenziellen Frame oder von einem Cluster von Frames (beispielsweise einer Sequenz von aufeinanderfolgenden Frames) zum nächsten Cluster von Frames detektiert werden. Auf Grundlage des Detektierens von definierten Abschnitten von Videocontent kann das Mediensystem 108 einen oder mehrere Frames innerhalb eines jeden definierten Abschnittes von Videocontent als Keyframes (beispielsweise als Frame zur Darstellung eines definierten Abschnittes von Videocontent) identifizieren.
Darüber hinaus kann das Mediensystem 108 bei einer oder mehreren Ausführungsformen Keyframes in vorbestimmten Intervallen des Videocontents identifizieren (beispielsweise auswählen). Das Mediensystem 108 kann beispielsweise einen Frame des Videocontents als Keyframe für jedes gegebene Zeitintervall (von beispielsweise drei Sekunden) des Videocontents identifizieren. Bei zusätzlichen Ausführungsformen kann das Mediensystem 108 einen Frame des Videocontents als Keyframe für jede gegebene Anzahl von Frames (beispielsweise alle 30 Frames) des Videocontents auswählen. Mit anderen Worten, das Mediensystem 108 wählt einen der Frames als Keyframe für jede gegebene Anzahl von aufeinanderfolgenden Frames des Videocontents aus.
Zusätzlich zu nichtcontentbasierten Verfahren kann das Mediensystem 108 bei einer oder mehreren Ausführungsformen, wie vorstehend kurz erwähnt worden ist, contentbasierte Verfahren zum Identifizieren von Keyframes von Videocontent verwenden. Das Mediensystem 108 kann beispielsweise Contentmerkmale (beispielsweise Objekte, Aktivitäten, Farben und dergleichen mehr), die in den Frames des Videocontents beinhaltet (beispielsweise abgebildet) sind, unter Verwendung von Maschinenlernen bestimmen. Darüber hinaus kann das Mediensystem 108 auf Grundlage der Contentmerkmale der Frames Frames des Medienobjektes zu homogenen Clustern (beispielsweise zu Clustern von Frames, die im Wesentlichen wenigstens dieselben Contentmerkmale teilen) gruppieren. Entsprechend kann das Mediensystem 108 wenigstens einen Keyframe aus jedem homogenen Cluster von Frames als Keyframe auswählen.
Das Mediencontentsystem 108 kann darüber, dass Frames in einem bestimmten Cluster von Frames beinhaltet sind, auf Grundlage einer oder mehrerer Eigenschaften eines jeden Frames bestimmen. Das Mediensystem 108 kann beispielsweise das Clustern eines oder mehrerer Frames auf Grundlage dessen bestimmen, ob die Frames ein oder mehrere Contentmerkmale (beispielsweise Objekte, die innerhalb eines jeden Frames abgebildet sind) teilen. Identifizieren kann das Mediensystem 108 zudem Keyframes des Medienobjektes durch Vergleichen von nichtbenachbarten Frames unter Verwendung einer Inter-Frames-Entropie, einer Histogrammähnlichkeit oder von Wavelets, Auswählen von Frames mit maximalen Verhältnissen von Objekten zum Hintergrund (verglichen mit anderen Frames des Videocontents) und/oder durch beliebige Kombinationen hieraus.
Darüber hinaus kann das Mediensystem 108 bei einer oder mehreren Ausführungsformen eine Keyframeanalyse lediglich an einem Teilsatz von Frames (beispielsweise im Gegensatz zu allen Frames) innerhalb des Videocontents durchführen. In Abhängigkeit von der einen oder den mehreren Spezifikationen des Videocontents innerhalb eines Medienobjektes kann das Mediensystem 108 beispielsweise über die Durchführung einer Keyframeanalyse an jedem vierten Frame bestimmen. Das Mediensystem 108 kann eine Keyframeanalyse beispielsweise an einem höheren Prozentanteil von Videoframes auf Grundlage einer Bestimmung dessen durchführen, dass der Videocontent eine niedrige Framerate aufweist, wohingegen das Mediensystem 108 eine Keyframeanalyse an einem niedrigeren Prozentanteil von Videoframes auf Grundlage einer Bestimmung dessen durchführen kann, dass der Videocontent eine hohe Framerate aufweist.
Auf Grundlage der Identifizierung von Keyframes des Medienobjektes erzeugt und speichert das Mediensystem 108 ein Datenpaket, das eine Kompilation bzw. Zusammenstellung (beispielsweise eine Sammlung) derjenigen Keyframes beinhaltet, die mit einem Medienobjekt innerhalb der Medienobjektdatenbank der Medien hostenden Servervorrichtung 104 verknüpft sind. Das Mediensystem 108 kann beispielsweise eine Keyframeidentifikationsnummer („Keyframe-ID-Nummer”) (beispielsweise 1, 2, 3, 4, 5 und dergleichen mehr) jedem Keyframe des Medienobjektes innerhalb der Medienobjektdatenbank (beispielsweise innerhalb einer in der Medienobjektdatenbank gespeicherten Tabelle) der Medien hostenden Servervorrichtung 104 zuweisen. Darüber hinaus kann das Mediensystem 108 Daten speichern, die eine Sequenz (beispielsweise eine Liste) der Keyframes des Medienobjektes anhand der jeweiligen Keyframe-ID-Nummern innerhalb der Medienobjektdatenbank darstellen. Darüber hinaus speichert das Mediensystem 108 Daten zur Darstellung eines Zeitstempels (beispielsweise eines Zeitstempels zur Angabe einer Position des Keyframes relativ zu den anderen Frames des Videocontents) innerhalb der Medienobjektdatenbank. Auf gleiche Weise korreliert das Mediensystem 108 die Zeitstempel mit dem jeweiligen Keyframe. Die Medienobjektdatenbank wird nachstehend anhand 3 bis 5 detaillierter erläutert.
Zusätzlich zum Identifizieren von Keyframes von Videocontent für ein bestimmtes Medienobjekt zeigt 2A, dass das Mediensystem 108 Contentmerkmale detektiert, die in den Keyframes beinhaltet und/oder abgebildet sind, wie bei Schritt 208 von 2A gezeigt ist. Bei einigen Ausführungsformen kann das Mediensystem 108 Contentmerkmale der Keyframes detektieren, während die Keyframes des Medienobjektes (beispielsweise in Verbindung damit) identifiziert werden. Alternativ kann das Mediensystem 108 Contentmerkmale detektieren, die in den Keyframes abgebildet sind, nachdem das Mediensystem 108 Keyframes des Medienobjektes identifiziert hat. Insbesondere detektiert das Mediensystem 108 Objekte, Aktivitäten (beispielsweise Laufen, Fallschirmspringen, Wandern), Fototypen (beispielsweise Makro, Porträt und dergleichen mehr), Gefühle (beispielsweise Lächeln, Weinen und dergleichen mehr), Tiere, Landschaften (beispielsweise Strand, Wald, Berge), Orte, Farben und dergleichen mehr, die in den Keyframes des Videocontents innerhalb eines Medienobjektes abgebildet sind.
Bei einer oder mehreren Ausführungsformen detektiert das Mediensystem 108 Contentmerkmale der Keyframes durch Analysieren der Keyframes mit einer Contentmerkmalserkennungstechnologie (beispielsweise einer Objekterkennungstechnologie) des Mediensystems 108. Die Contentmerkmalserkennungstechnologie kann beispielsweise die Contentmerkmale, die in den Keyframes abgebildet sind, unter Verwendung von Maschinenlernen (beispielsweise Deep Learning) erkennen (beispielsweise detektieren). Insbesondere kann die Contentmerkmalserkennungstechnologie Maschinenlernalgorithmen verwenden, um in den Keyframes des Medienobjektes dargestellte Contentmerkmale zu detektieren und zu identifizieren.
In Abhängigkeit von einer bestimmten Ausführungsform kann das Mediensystem 108 beispielsweise eine Vielzahl von Maschinenlerntechniken zum Detektieren von Contentmerkmalen innerhalb von Keyframes verwenden. Das Mediensystem 108 kann beispielsweise einen Keyframe unter Verwendung eines neuronalen Netzwerkes analysieren, um ein Contentmerkmal innerhalb des Keyframes zu detektieren. Insbesondere ist das Mediensystem 108 bei einer oder mehreren Ausführungsformen ein bereichsbasiertes faltungstechnisches neuronales Netzwerk (das heißt ein RCNN) oder ein schnelles bereichsbasiertes faltungstechnisches neuronales Netzwerk (das heißt ein F-RCNN). Das Mediensystem 108 kann andere Formen von Contentmerkmalsdetektion in Abhängigkeit von einer bestimmten Ausführungsform verwenden. Obwohl das Mediensystem 108 hier insbesondere derart beschrieben ist, dass es das Maschinenlernen zum Detektieren von innerhalb von Keyframes abgebildeten Contentmerkmalen verwendet, kann das Mediensystem 108 eine beliebige Contentmerkmalserkennungstechnologie verwenden, die ein Contentmerkmal innerhalb eines Frames eines Videos detektieren und identifizieren kann.
Zusätzlich kann das Mediensystem 108 jenseits des Detektierens und Identifizierens von Contentmerkmalen innerhalb eines Keyframes von Videocontent innerhalb eines Medienobjektes Eigenschaften der Contentmerkmale bestimmen. Das Mediensystem 108 kann beispielsweise einen Prozentanteil von Raum eines Keyframes, der von einem Contentmerkmal oder von Contentmerkmalen eingenommen wird, (beispielsweise ein Verhältnis von Contentmerkmalen gegenüber dem Hintergrund) bestimmen. Darüber hinaus kann das Mediensystem 108 eine Orientierung, die mit einem bestimmten Contentmerkmal verknüpft ist, bestimmen. Für den Fall, dass ein Contentmerkmal eine Person beinhaltet, kann das Mediensystem 108 beispielsweise bestimmen, ob die Person nach vorne, zur Seite, nach hinten und dergleichen mehr orientiert ist. Zudem kann das Mediensystem 108 die Relativposition des Contentmerkmals innerhalb von Keyframes bestimmen. Das Mediensystem 108 kann beispielsweise bestimmen, ob das Contentmerkmal innerhalb des Keyframes zentriert ist.
Zusätzlich zum Detektieren und Identifizieren von Eigenschaften eines Contentmerkmals innerhalb eines Keyframes sowie auf Grundlage hiervon kann das Mediensystem 108 einen Namen, einen Typ oder eine Kategorie für ein innerhalb eines Keyframes abgebildetes Contentmerkmal identifizieren. Das Mediensystem 108 kann beispielsweise auf Grundlage eines trainierten Maschinenlernmodells identifizieren, dass ein innerhalb eines Keyframes detektiertes Contentmerkmal Babe Ruth (beispielsweise der Name), eine Person (beispielsweise der Typ) und/oder ein Mann (beispielsweise eine Kategorie) ist. Zusätzlich kann das Mediensystem 108 bei einer oder mehreren Ausführungsformen des Weiteren Eigenschaften mit dem identifizierten Contentmerkmal verknüpfen. Das Mediensystem 108 kann die Orientierung, die Position innerhalb eines Frames und/oder andere Eigenschaften mit dem identifizierten Contentmerkmal verknüpfen. Beispielsweise geben [Babe Ruth, nach vorne orientiert, zentriert], [Person, nach vorne orientiert, zentriert] und/oder [Mann, nach vorne orientiert, zentriert] den Namen, den Typ und/oder die Kategorie in Kombination mit einer oder mehreren Eigenschaften des Contentobjektes an. Wie nachstehend noch detailliert im Zusammenhang mit Schritt 210 erläutert wird, verknüpft das Mediensystem 108 Identifikations- und Eigenschaftsdaten für ein Contentmerkmal mit einem das Contentmerkmal beinhaltenden Keyframe.
Zusätzlich zum Identifizieren von Contentmerkmalen innerhalb von Keyframes von Videocontent kann das Mediensystem 108 auch Verlässlichkeitswerte für jedes identifizierte Contentmerkmal bestimmen, wie bei Schritt 209 von 2A dargestellt ist. Im Sinne des Vorliegenden stellt ein „Verlässlichkeitswert” eine Wahrscheinlichkeit dafür dar, dass ein Mediensystem identifiziert hat, dass ein Contentmerkmal innerhalb eines Keyframes tatsächlich das Contentmerkmal ist. Das Mediensystem 108 kann einen Prozentwert dafür zuweisen, wie verlässlich das Mediensystem 108 ist, und zwar dahingehend, dass ein bestimmtes Contentmerkmal in einem Keyframe beinhaltet und/oder abgebildet ist. Zusätzlich können verschiedene Faktoren Verlässlichkeitswerte beeinflussen, so beispielsweise die Bildqualität, der Abschnitt eines innerhalb eines Keyframes beinhalteten Contentmerkmals (beispielsweise die Hälfte des Kopfes einer Person gegenüber dem ganzen Kopf einer Person), der Kontrast zwischen einem Contentmerkmal und dem Hintergrund, die Ähnlichkeit von Eigenschaften eines Contentmerkmals mit einem anderen Contentmerkmal (beispielsweise Spielzeugauto gegenüber einem echten Auto) und/oder weitere Faktoren.
Bei einer oder mehreren Ausführungsformen stellen die vorbeschriebenen Maschinenlernmodelle die Verlässlichkeitswerte als Ausgabe bereit. Das Modell kann beispielsweise auf Grundlage eines trainierten faltungstechnischen neuronalen Netzwerks einen Verlässlichkeitswert für ein bestimmtes Contentmerkmal auf Grundlage dessen vorhersagen, wie gut das Contentmerkmal zu einem oder mehreren Trainingsbeispielen eines trainierten Contentmerkmals passt. Ein faltungstechnisches neuronales Netzwerk kann beispielsweise dafür, einen Hund zu erkennen, unter Verwendung eines großen Trainingssatzes von Hundebildern trainiert werden. Entsprechend kann das faltungstechnische neuronale Netzwerk im Wesentlichen Eigenschaften eines Contentmerkmals, das innerhalb eines Keyframes identifiziert ist, mit Eigenschaften eines oder mehrerer Hundebilder in dem Trainingssatz vergleichen, um eine Wahrscheinlichkeit dafür zu berechnen, dass der identifizierte Hund in dem Keyframe tatsächlich ein Hund ist.
Bei einigen Ausführungsformen kann, wenn der mit einem bestimmten Contentmerkmal in einem Keyframe verknüpfte Verlässlichkeitswert unter einem definierten Schwellenverlässlichkeitswert (also beispielsweise unter 30%) ist, das Mediensystem 108 entscheiden, das Contentmerkmal nicht zu identifizieren. Mit anderen Worten, das Mediensystem 108 bestimmt auf Grundlage dessen, dass der Verlässlichkeitswert unter der Schwelle ist, dass die Wahrscheinlichkeit dafür, dass das Contentmerkmal genau ist, nicht zur Verwendung in einem Vorschaubild zur Darstellung des bestimmten Contentmerkmals ausreicht. Das Mediensystem 108 kann einen Schwellenverlässlichkeitswert bei oder unter einem Wahrscheinlichkeitswert von beispielsweise bei oder unter 10%, 20%, 30%, 40% und dergleichen mehr definieren.
Zusätzlich zum Identifizieren von Keyframes, zum Identifizieren der in den Keyframes abgebildeten Contentmerkmale und zum Bestimmen von mit den detektierten Contentmerkmalen verknüpften Verlässlichkeitswerten verknüpft das Mediensystem 108 die detektierten Contentmerkmale und ihre jeweiligen Verlässlichkeitswerte mit den identifizierten Keyframes, wie bei Schritt 210 von 2A gezeigt ist. Insbesondere erzeugt und speichert das Mediensystem 108 Daten, die identifizierten Contentmerkmalen innerhalb eines jeden jeweiligen Keyframes entsprechen, sowie deren damit verknüpfte Verlässlichkeitswerte innerhalb einer Medienobjektdatenbank des Mediensystems 108. Schritt 210 von 2A wird noch detaillierter anhand von 3 erläutert.
Insbesondere zeigt 3 eine exemplarische Datentabelle 300, die zum Verknüpfen der identifizierten Contentmerkmale und der entsprechenden Verlässlichkeitswerte mit jedem jeweiligen Keyframe verwendet wird. Insbesondere kann die Datentabelle 300 eine Keyframespalte 302 beinhalten, die eine Mehrzahl von identifizierten Keyframes beinhaltet, die durch Keyframe-ID-Nummern (beispielsweise Keyframe 1, Keyframe 2, Keyframe 3 und dergleichen mehr) angegeben werden. Die Keyframes, die in der Keyframespalte 302 aufgeführt sind, beinhalten beispielsweise diejenigen Keyframes, die durch das Mediensystem 108 der Medien hustenden Servervorrichtung 104 identifiziert werden. Insbesondere kann das Mediensystem 108 die Keyframespalte 302 mit den Keyframe-ID-Nummern in Reaktion darauf füllen, dass das Mediensystem 108 die Keyframes identifiziert, wie vorstehend im Zusammenhang mit Schritt 206 erläutert worden ist.
Darüber hinaus kann die Datentabelle 300 eine Mehrzahl von Contentmerkmalsspalten 304 (beispielsweise 304a, 304b, 304c und dergleichen mehr) beinhalten, die jeweils durch Contentmerkmals-IDs (beispielsweise Contentmerkmal A, Contentmerkmal B, Contentmerkmal C und dergleichen mehr), wie in 3 dargestellt ist, identifiziert werden. Jede Contentmerkmalsspalte 304 aus der Mehrzahl von Contentmerkmalsspalten 304 stellt ein durch das Mediensystem 108 identifiziertes jeweiliges Contentmerkmal, wie vorstehend beschrieben worden ist, dar. Mit anderen Worten, jedes detektierte Contentmerkmal weist seine eigene jeweilige Contentmerkmalsspalte 304 auf. Bei einem nichtbeschränkenden Beispiel kann das Mediensystem 108 die Datentabelle 300 auf Grundlage dessen erzeugen, dass das Mediensystem Contentmerkmale innerhalb von Keyframes identifiziert, wie vorstehend im Zusammenhang mit Schritt 208 von 2A beschrieben worden ist. Des Weiteren kann das Mediensystem 108 die Mehrzahl von Contentmerkmalsspalten 304 auf Grundlage der detektierten Contentmerkmale innerhalb von Videocontent eines Medienobjektes erzeugen.
Darüber hinaus ist jedes detektierte Contentmerkmal mit wenigstens einem Keyframe in der Keyframespalte 302 durch einen Indikator (beispielsweise eine Markierung, eine Prüfmarke, ein X oder eine beliebige andere Markierung) verknüpft. Das Mediensystem 108 kann die Contentmerkmale aus der Mehrzahl von Contentmerkmalsspalten mit einem Keyframe verknüpfen, indem ein Indikator in einer Reihe der Contentmerkmalsspalte 304 erzeugt wird, der mit dem Keyframe 302 verknüpft ist, in dem das Contentmerkmal identifiziert worden ist, wie in 3 dargestellt ist. Mit anderen Worten, jedes Contentmerkmal kann mit einem Keyframe verknüpft werden, indem ein Indikator in eine Reihe der Datentabelle 300 gesetzt wird. Obwohl das Mediensystem 108 der vorliegenden Offenbarung derart beschrieben ist, dass es die detektierten Contentmerkmale mit den identifizierten Keyframes mit einer Datentabelle innerhalb einer Datenbank verknüpft, ist die Offenbarung nicht hierauf beschränkt. Das Mediensystem 108 kann vielmehr ein beliebiges im Stand der Technik bekanntes Verfahren zum Verknüpfen von Daten einsetzen.
Wie in 2A gezeigt ist, wählt das Mediensystem 108 zusätzlich zum Verknüpfen von detektierten Contentmerkmalen mit bestimmten Keyframes bei einer oder mehreren Ausführungsformen wenigstens einen Keyframe der identifizierten Keyframes aus (indem es ihn beispielsweise auszeichnet), um ein potenzielles Vorschaubild (beispielsweise einen Posterframe) des Medienobjektes zu erzeugen, wie bei Schritt 212 von 2A gezeigt ist. Insbesondere wählt, wie nachstehend im Zusammenhang mit 2B noch detaillierter erläutert wird, das Mediensystem 108 Keyframes dafür aus, potenzielle Vorschaubilder des Medienobjektes zu erzeugen, die den identifizierten Contentmerkmalen des Videocontents innerhalb des Medienobjektes, die mit einer Suchabfrage zusammenhängen, entsprechen. Mit anderen Worten, die Medien hostende Servervorrichtung 104 stellt in Reaktion auf eine Suchabfrage ein Vorschaubild, das unter einem oder mehreren potenziellen Vorschaubildern eines Medienobjektes ausgewählt ist, auf Grundlage dessen bereit, dass das Vorschaubild ein Contentmerkmal, das mit der Suchabfrage zusammenhängt, abbildet.
Bei einigen Ausführungsformen wählt das Mediensystem 108 die Keyframes der identifizierten Keyframes derart, dass sie Vorschaubilder des Medienobjektes beinhalten, indem Daten im Zusammenhang mit den Keyframes (beispielsweise Verlässlichkeitswerte, Zeitstempel und identifizierte Contentmerkmale der Keyframes) aus der Medienobjektdatenbank der Medien hostenden Servervorrichtung 104 verwendet werden. Das Mediensystem kann die vorbeschriebene Datentabelle 300 beispielsweise zum Auswählen der Keyframes zum Erzeugen von potenziellen Vorschaubildern verwenden. Zusätzlich zeigt 4 eine exemplarische Datentabelle 400 innerhalb der Mediensystemdatenbank. Das Mediensystem 108 kann die Datentabelle 400 zum Auswählen wenigstens eines Keyframes der identifizierten Keyframes verwenden, um ein potenzielles Vorschaubild des Medienobjektes zu erzeugen.
Auf ähnliche Weise wie bei den vorstehenden Erläuterungen anhand der Datentabelle 300 kann die Datentabelle 400 eine Contentmerkmalsspalte 402 beinhalten. Insbesondere kann die Contentmerkmalsspalte 402 eine Mehrzahl von Contentmerkmalen des Medienobjektes, die durch die Contentmerkmals-IDs (beispielsweise A, B, C, D und dergleichen mehr) identifiziert werden, beinhalten. Die Mehrzahl von Contentmerkmalen, die in der Contentmerkmalsspalte 402 der Datentabelle 400 aufgeführt sind, beinhaltet die detektierten Contentmerkmale der vorerläuterten Keyframes.
Zusätzlich beinhaltet die Datentabelle 400 eine Mehrzahl von Keyframespalten 404 (beispielsweise 404a, 404b, 404c und dergleichen mehr), wobei jede Keyframespalte 404 der Mehrzahl von Keyframespalten 404 einen identifizierten Keyframe darstellt. Jede Keyframespalte 404 kann angeben, dass der jeweilige Keyframe ein oder mehrere Contentmerkmale der Mehrzahl von Contentmerkmalen, die in der Contentmerkmalsspalte 402 aufgeführt sind, abbildet. Wie in 4 gezeigt ist, kann die Datentabelle 400 beispielsweise angeben, dass ein bestimmter Keyframe ein Contentmerkmal beinhaltet, indem ein Verlässlichkeitswert in der Keyframespalte 404 eines bestimmten Keyframes entsprechend einem bestimmten Contentmerkmal 402 aufgenommen wird. Ist kein Keyframe, der ein Contentmerkmal beinhaltet, detektiert worden, so beinhaltet die Keyframespalte 402 des Keyframes einen Indikator oder einen Leerraum zur Angabe dessen, dass das Contentmerkmal in dem Keyframe nicht detektiert worden ist (oder dass ein Contentmerkmal keinen Verlässlichkeitswert über einer definierten Verlässlichkeitswertschwelle aufgewiesen hat).
Bei einem nichtbeschränkenden Beispiel kann die Datentabelle 400 angeben, dass ein erster Keyframe 404a ein Contentmerkmal A mit einem Verlässlichkeitswert von 98% und ein Contentmerkmal B mit einem Verlässlichkeitswert von 70% beinhaltet, wie in 4A dargestellt ist. Darüber hinaus beinhaltet der zweite Keyframe 404b ein Contentmerkmal A mit einem Verlässlichkeitswert von 60% und ein Contentmerkmal B mit einem Verlässlichkeitswert von 90%, wie ebenfalls in 4A dargestellt ist.
Wie wiederum in 2A und bei Schritt 212 gezeigt ist, kann das Mediensystem 108 verschiedene zusätzliche Schritte beim Auswählen von Keyframes durchführen, um ein potenzielles Vorschaubild des Medienobjektes für jedes in dem Medienobjekt detektierte Contentmerkmal zu erzeugen. Insbesondere bestimmt das Mediensystem 108 für jedes detektierte Contentmerkmal des Medienobjektes, wie viele Keyframes ein bestimmtes Contentmerkmal abbildet, wie bei Schritt 214 von 2A gezeigt ist. Das Mediensystem 108 fragt beispielsweise die Datentabelle 400 (oder die Datentabelle 300) ab, um zu bestimmen, wie viele Keyframes das bestimmte Contentmerkmal beinhalten. In Abhängigkeit von dem Contentmerkmal kann das Mediensystem 108 beispielsweise bestimmen, dass nur ein Keyframe mit einem Contentmerkmal verknüpft ist (So ist beispielsweise Keyframe 6 der einzige Keyframe, der mit dem Contentmerkmal F in der Datentabelle 400 verknüpft ist), während einige Keyframes gegebenenfalls mit einem anderen Contentmerkmal verknüpft sind (So sind beispielsweise Keyframe 1 und Keyframe 2 beide mit dem Contentmerkmal A und dem Contentmerkmal B in der Datentabelle 400 verknüpft).
Bestimmt das Mediensystem 108 einerseits, dass ein einziger Keyframe ein bestimmtes Contentmerkmal beinhaltet, wie bei Schritt 216 von 2A gezeigt ist, so wählt das Mediensystem 108 den einzigen Keyframe zur Verwendung als Vorschaubild des Medienobjektes für jenes bestimmte Contentmerkmal aus. Mit anderen Worten, das Mediensystem 108 bestimmt, wie nachstehend noch im Zusammenhang mit 26 detaillierter beschrieben wird, dass der ausgewählte Keyframe zur Erzeugung eines Vorschaubildes für das Medienobjekt erzeugt wird, und zwar in Reaktion auf eine Suchabfrage im Zusammenhang mit dem bestimmten Contentmerkmal, das innerhalb des einzigen Keyframes abgebildet ist.
Bestimmt das Mediensystem 108 andererseits, dass mehrere Keyframes das Contentmerkmal beinhalten, wie bei Schritt 218 von 2A gezeigt ist, so kann das Mediensystem 108 einen oder mehrere zusätzliche Schritte durchführen, um Keyframes zur Erzeugung von potenziellen Vorschaubildern auszuwählen. Das Mediensystem 108 bestimmt beispielsweise bei einer oder mehreren Ausführungsformen, ob die mehreren Frames in einem oder mehreren Clustern (beispielsweise in Gruppen) von Keyframes des Medienobjektes, wie bei Schritten 220 und 222 von 2A gezeigt ist, auftreten. Mit anderen Worten, das Mediensystem 108 bestimmt, ob die mehreren Keyframes einschließlich der mit einem bestimmten Contentmerkmal verknüpften in einem einzigen sequenziellen Cluster von Keyframes (beispielsweise Keyframes 2, 3 und 4) auftreten oder ob die mehreren Keyframes in getrennten (beispielsweise nichtsequenziellen) Clustern von Keyframes (beispielsweise Keyframes 2 und 3 und Keyframes 7 und 8) auftreten. Das Mediensystem 108 fragt beispielsweise die Datentabelle 400 ab, um zu bestimmen, ob mehrere Cluster von Keyframes (beispielsweise getrennte Cluster) von Keyframes das Contentmerkmal beinhalten ober ob ein einziges Cluster von Keyframes das Contentmerkmal beinhaltet.
Bestimmt das Mediensystem 108, dass die mehreren Keyframes in einem einzigen Cluster von Keyframes des Medienobjektes auftreten, wie bei Schritt 220 von 2A gezeigt ist, so kann das Mediensystem 108 einen Keyframe aus dem Cluster zur Verwendung bei der Erzeugung eines potenziellen Vorschaubildes auswählen. Da die mehreren Keyframes in einem einzigen Cluster auftreten, kann das Mediensystem beispielsweise bestimmen, dass das Contentmerkmal innerhalb eines jeden der mehreren Keyframes im Wesentlichen dasselbe Contentmerkmal ist. Zum Auswählen des einen Keyframes aus dem Cluster kann das Mediensystem 108 die Verlässlichkeitswerte eines jeden Keyframes des einzigen Clusters von Keyframes vergleichen und denjenigen Keyframe aus dem einzigen Cluster von Keyframes auswählen, der den höchsten Verlässlichkeitswert im Zusammenhang mit dem detektierten Contentmerkmal aufweist. Das Mediensystem 108 kann die Verlässlichkeitswerte der Keyframes des einzigen Clusters von Keyframes, die in der Datentabelle 400 beinhaltet sind, vergleichen.
Bei alternativen Ausführungsformen vergleicht das Mediensystem 108 die Verlässlichkeitswerte der Keyframes des einzigen Clusters von Keyframes nicht. Vielmehr kann das Mediensystem 108 einen Keyframe des einzigen Clusters von Keyframes zur Erzeugung eines potenziellen Vorschaubildes des Medienobjektes zufällig auswählen. Das Mediensystem 108 kann beispielsweise einen Zufallszahlengenerator beinhalten und einen Keyframe des einzigen Clusters von Keyframes zufällig unter Verwendung des Zufallszahlengenerators auswählen.
Bei weiteren Ausführungsformen kann das Mediensystem 108 eine zusätzliche Analyse der mehreren Keyframes vornehmen, um die Wahrscheinlichkeit dafür zu bestimmen, dass die mehreren Keyframes das Fallbeispiel desselben Contentmerkmals (beispielsweise denselben Hund gegenüber zwei verschiedenen Hunden) widerspiegeln oder nicht. Auf Grundlage der zusätzlichen Analyse kann das Mediensystem einen Keyframe auswählen, wenn bestimmt wird, dass die mehreren Keyframes wahrscheinlich das Fallbeispiel desselben Contentmerkmals (beispielsweise denselben Hund) abbilden. Alternativ kann das Mediensystem auf Grundlage der zusätzlichen Analyse zwei oder mehr Keyframes unter den mehreren Keyframes auswählen, wenn bestimmt wird, dass die mehreren Keyframes verschiedene Contentfallbeispiele (beispielsweise zwei verschiedene Hunde) abbilden. Ein Keyframe, der mit jedem Contentfallbeispiel verknüpft ist, kann beispielsweise zum Erzeugen eines potenziellen Vorschaubildes ausgewählt werden.
In einigen Fällen können zwei oder mehr Keyframes des einzigen Clusters der Keyframes denselben Verlässlichkeitswert in Bezug auf ein bestimmtes Contentmerkmal aufweisen. In derartigen Fällen kann das Mediensystem 108 einen ersten Keyframe der zwei oder mehr Keyframes mit demselben Verlässlichkeitswert (beispielsweise einen ersten Keyframe, wenn die zwei oder mehr Keyframes sequenziell auf Grundlage einer Zeitstempelinformation betrachtet werden) auswählen. Mit anderen Worten, das Mediensystem 108 wählt denjenigen Keyframe, der als erster der zwei oder mehr Keyframes in einer zeitabhängigen Sequenz angeordnet ist, aus.
Alternativ kann das Mediensystem 108 auf Grundlage des im vorstehenden Absatz beschriebenen Fallbeispiels einen Prozentanteil des Raumes des Keyframes, der von dem Contentmerkmal oder von Contentmerkmalen eingenommen wird, vergleichen. Bei derartigen Ausführungsformen kann ein Keyframe mit einem höheren Verhältnis eines Contentmerkmals gegenüber dem Hintergrund vorgezogen werden, und das Mediensystem 108 wählt den Keyframe mit dem höheren Verhältnis aus. Bei zusätzlichen Ausführungsformen können andere Eigenschaften der Contentmerkmale beim Auswählen des Keyframes betrachtet werden. So kann das Mediensystem 108 beispielsweise bestimmen, ob das Contentmerkmal nach vorne, zur Seite oder nach hinten weist, wobei Contentmerkmale mit einer bestimmten Orientierung bevorzugt werden können. Das Mediensystem 108 wählt alternativ zufällig einen Keyframe der zwei oder mehr Keyframes mit demselben Verlässlichkeitswert zur Aufnahme in ein Vorschaubild des Medienobjektes aus. Wie vorstehend erwähnt worden ist, kann das Mediensystem 108 einen Zufallszahlengenerator beinhalten, und das Mediensystem 108 kann den Zufallszahlengenerator bei der Auswahl eines Keyframes der zwei oder mehr Keyframes mit demselben Verlässlichkeitswert verwenden.
Wie vorstehend erwähnt worden ist, bestimmt das Mediensystem 108 bei einigen Ausführungsformen, dass die mehreren Keyframes, die das Contentmerkmal beinhalten, in mehreren getrennten (das heißt nichtverbundenen) Clustern von Keyframes des Medienobjektes auftreten, wie bei Schritt 222 von 2A gezeigt ist. In einem derartigen Fall kann das Mediensystem 108 einen Keyframe aus jedem Cluster von Keyframes auf Grundlage der Annahme bestimmen, dass jedes Cluster wahrscheinlich ein anderes Contentmerkmalsfallbeispiel aufweist. Es können verschiedene Verfahren zum Auswählen eines Keyframes aus jedem der getrennten Contentcluster verwendet werden, wie nachstehend noch detaillierter beschrieben wird.
Bei einigen Ausführungsformen kann das Mediensystem 108 in Reaktion auf eine Bestimmung dessen, dass die ein bestimmtes Contentmerkmal beinhaltenden mehreren Keyframes in getrennten Clustern von Keyframes auftreten, beispielsweise die Verlässlichkeitswerte eines jeden Keyframes innerhalb eines jeden der getrennten Cluster von Keyframes vergleichen. Weist ein Keyframe einen höheren Verlässlichkeitswert als die übrigen Keyframes innerhalb eines bestimmten Clusters von Keyframes auf, so wählt das Mediensystem 108 den Keyframe mit dem höchsten Verlässlichkeitswert zur Verwendung bei der Erzeugung eines potenziellen Vorschaubildes des Medienobjektes. Das Mediensystem 108 kann entsprechend einem höchstbewerteten Keyframe aus jedem der getrennten Cluster von Keyframes (So erzeugen beispielsweise zwei getrennte Cluster von Keyframes zwei ausgewählte Keyframes) auswählen.
Wie vorstehend kurz erläutert worden ist, kann das Mediensystem 108, wenn es bestimmt, dass mehrere Keyframes der getrennten Cluster von Keyframes denselben höchsten Verlässlichkeitswert aufweisen, einen einzigen Keyframe der mehreren Keyframes mit demselben höchsten Verlässlichkeitswert auswählen und in ein Vorschaubild des Medienobjektes aufnehmen, was bei einem beliebigen der vorstehend im Zusammenhang mit Schritt 220 von 2A beschriebenen Verfahren der Fall ist. Bei zusätzlichen Ausführungsformen kann das Mediensystem 108 den Keyframe eines jeden Clusters von Keyframes mit dem höchsten Verlässlichkeitswert bei einem beliebigen der vorbeschriebenen Verfahren identifizieren und sodann die Anzahl von Contentmerkmalen, die in jedem der höchste Verlässlichkeit aufweisenden Keyframes beinhaltet sind, vergleichen, um wenigstens einen Keyframe zur Erzeugung eines potenziellen Vorschaubildes des Medienobjektes auszuwählen.
Nach dem Bestimmen der höchste Verlässlichkeit aufweisenden Keyframes der getrennten Cluster von Keyframes kann das Mediensystem 108 beispielsweise die Datentabelle 400 der Medienobjektdatenbank abfragen, um die Anzahl von Contentmerkmalen, die in jedem der höchste Verlässlichkeit aufweisenden Keyframes der getrennten Cluster von Keyframes beinhaltet sind, zu vergleichen. Durch Vergleichen der Anzahl von Contentmerkmalen, die in jedem der höchste Verlässlichkeit aufweisenden Keyframes der getrennten Cluster von Keyframes beinhaltet sind, kann das Mediensystem 108 einen Keyframe unter den höchste Verlässlichkeit aufweisenden Keyframes mit der höchsten Anzahl von darin beinhalteten Contentmerkmalen auswählen und in ein Vorschaubild des Medienobjektes aufnehmen. Beinhalten zwei oder mehr der höchste Verlässlichkeit aufweisenden Keyframes eine gleiche höchste Anzahl von Contentmerkmalen, so kann das Mediensystem 108 einen der höchste Verlässlichkeit aufweisenden Keyframes entsprechend einem beliebigen der Verfahren, die vorstehend im Zusammenhang mit Schritt 220 oder 2A beschrieben worden sind, auswählen.
Wie wiederum gemeinsam bei Schritten 212 bis 222 von 2A dargestellt ist, kann das Mediensystem 108 beim Auswählen wenigstens eines Keyframes zur Verwendung beim Erzeugen eines potenziellen Vorschaubildes des Medienobjektes für jedes identifizierte Contentmerkmal eines Medienobjektes einen oder mehrere Keyframes auswählen, die mehrere Contentmerkmale des Medienobjektes beinhalten. Mit anderen Worten, das Mediensystem 108 kann einen einzigen Keyframe zur Verwendung bei der Erzeugung eines Vorschaubildes für das Medienobjekt entsprechend zwei oder mehr Contentmerkmalen auswählen. Der einzige ausgewählte Keyframe kann beispielsweise zwei oder mehr Contentmerkmale beinhalten, und es wählt das Mediensystem 108 für jedes der zwei oder mehr Contentmerkmale den einzigen Keyframe aus und nimmt ihn in ein Vorschaubild des Medienobjektes auf.
Zusätzlich zum Auswählen von Keyframes zur Verwendung bei der Erzeugung von potenziellen Vorschaubildern des Medienobjektes sondert das Mediensystem 108 nichtausgewählte Keyframes aus, wie bei Schritt 224 von 2A gezeigt ist. Das Mediensystem 108 sondert Keyframes aus, die das Mediensystem 108 nicht zur Verwendung als potenzielle Vorschaubilder für das Medienobjekt ausgewählt hat. Im Sinne des Vorliegenden beziehen sich der Begriff „Aussondern” und beliebige hiervon abgeleitete Begriffe darauf, dass das Mediensystem 108 eine Identifikation der nichtausgewählten Keyframes als Keyframes entfernt. Das Mediensystem 108 kann beispielsweise die nichtausgewählten Keyframes aus den Datentabellen 300 und 400 der vorstehend im Zusammenhang mit 3 und 4 beschriebenen Medienobjektdatenbank entfernen. Bei anderen Ausführungsformen beziehen sich der Begriff „Aussondern” und beliebige hiervon abgeleitete Begriffe darauf, dass das Mediensystem 108 die nichtausgewählten Keyframes als für Vorschaubilder des Medienobjektes unbrauchbar markiert. Das Mediensystem 108 kann beispielsweise die nichtausgewählten Keyframes innerhalb der Datentabellen 300 und 400 als für Vorschaubilder unbrauchbar identifizieren (beispielsweise markieren). Bei wieder anderen Ausführungsformen können sich der Begriff „Aussondern” und beliebige hiervon abgeleitete Begriffe darauf beziehen, dass das Mediensystem 108 die nichtausgewählten Keyframes aus dem Datenpaket von Keyframes entfernt (beispielsweise löscht), wie vorstehend im Zusammenhang mit Schritt 206 von 2A erläutert worden ist.
Beim Auswählen von einem oder mehreren Keyframes zur Verwendung beim Erzeugen eines potenziellen Vorschaubildes im Zusammenhang mit einem bestimmten Contentmerkmal erzeugt das Mediensystem 108 bei einer oder mehreren Ausführungsformen Tags und weist diese jedem ausgewählten Keyframe zu, wie bei Schritt 226 von 2B gezeigt ist. Im Sinne des Vorliegenden beziehen sich der Begriff „Tag” und beliebige hiervon abgeleitete Begriffe auf das Verknüpfen von identifizierenden Daten mit einem Medienobjekt und/oder einem Abschnitt eines Medienobjektes. Ein Tag kann beispielsweise Contentmerkmale angeben, die mit ausgewählten Keyframes aus einem Medienobjekt verknüpft sind.
Wie vorstehend kurz erwähnt worden ist, erzeugt das Mediensystem 108 Tags und weist diese den ausgewählten Keyframes eines Medienobjektes zu, die die detektierten Contentmerkmale der ausgewählten Keyframes angeben. Jeder Tag kann ein Contentmerkmal des ausgewählten Keyframes, mit dem der Tag verknüpft ist, angeben. Mit anderen Worten, jeder Tag kann Daten (beispielsweise Text) beinhalten, der ein oder mehrere Contentmerkmale des damit verknüpften Keyframes angibt. Bei einem nichtbeschränkenden Beispiel kann ein Tag den Text „Hund” beinhalten und angeben, dass der ausgewählte Keyframe, dem der Tag zugewiesen ist, einen Hund abbildet. Als Ergebnis des Vorbeschriebenen kann das Mediensystem 108 in Abhängigkeit von dem in einem ausgewählten Keyframe abgebildeten Contentmerkmal oder den in einem ausgewählten Keyframe abgebildeten Contentmerkmalen einen einzigen Tag mit einem ausgewählten Keyframe verknüpfen. Alternativ kann das Mediensystem 108 mehrere Tags mit einem ausgewählten Keyframe verknüpfen.
Um die Tags zu erzeugen und den ausgewählten Keyframes zuzuweisen, kann das Mediensystem 108 die erste Datentabelle und/oder die zweite Datentabelle der Medienobjektdatenbank abfragen, um die identifizierten Contentmerkmale für jeden ausgewählten Keyframe zu identifizieren. Beim Bestimmen des identifizierten Contentmerkmals/der identifizierten Contentmerkmale für jeden ausgewählten Keyframe erzeugt das Mediensystem 108 die Tags, die die Contentmerkmale der ausgewählten Keyframes angeben, und verknüpft diese. Das Mediensystem 108 kann Daten speichern, die jeden Tag in der Medienobjektdatenbank darstellen, und jeden Tag mit seinem jeweiligen Keyframe innerhalb der Medienobjektdatenbank (beispielsweise innerhalb der Datentabellen 300 oder 400) korrelieren.
Zusätzlich zum Erzeugen von Tags erzeugt das Mediensystem 108 potenzielle Vorschaubilder für das Medienobjekt auf Grundlage eines jeden der ausgewählten Keyframes, wie bei Schritt 228 von 2A gezeigt ist. Insbesondere erzeugt das Mediensystem 108 die potenziellen Vorschaubilder des Medienobjektes und nimmt ein Bild eines jeden der Keyframes auf. Bei einigen Ausführungsformen erzeugt das Mediensystem 108 ein potenzielles Vorschaubild und nimmt das gesamte Bild innerhalb eines bestimmten ausgewählten Keyframes auf (Das Vorschaubild ist beispielsweise das ausgewählte Keyframebild). Bei anderen Ausführungsformen erzeugt das Mediensystem 108 ein potenzielles Vorschaubild und nimmt nur einen Teil des Bildes eines ausgewählten Keyframes (beispielsweise einen Abschnitt des Bildes, der das Contentmerkmal beinhaltet) auf. Des Weiteren kann das Mediensystem 108 Daten, die jedes der erzeugten potenziellen Vorschaubilder darstellen, innerhalb der Medienobjektdatenbank speichern.
Wie weiterhin in 2B gezeigt ist, kann das Mediensystem 108 Daten korrelieren, die die ausgewählten Keyframes, die zugewiesenen Tags und potenzielle Vorschaubilder des Medienobjektes mit dem Medienobjekt selbst korrelieren, wie bei Schritt 230 gezeigt ist. Insbesondere kann das Mediensystem 108 Metadaten mit dem Medienobjekt korrelieren, und es können die Metadaten die ausgewählten Keyframes, die zugewiesenen Tags und die potenziellen Vorschaubilder darstellen (beispielsweise angeben und/oder beinhalten). Das Mediensystem 108 kann beispielsweise die Metadaten speichern und die Metadaten mit dem Medienobjekt innerhalb der Medienobjektdatenbank der Medien hostenden Servervorrichtung 104 korrelieren.
Wie vorstehend kurz erläutert worden ist, erzeugt das Mediensystem 180 die potenziellen Vorschaubilder des Medienobjektes, um relevante Vorschaubilder des Medienobjektes in Reaktion auf eine Suchabfrage bereitstellen zu können. 2C zeigt ein Sequenzablaufdiagramm 250 des Bereitstellens von relevanten Vorschaubildern von Videocontent eines Medienobjektes in Reaktion auf eine Suchabfrage. 2C zeigt beispielsweise, dass das Mediensystem 108 eine Suchabfrage von einer Clientvorrichtung 102 empfangen kann, wie bei Schritt 252 dargestellt ist. Das Mediensystem 108 kann beispielsweise eine Suchabfrage von der Suchmaschine 112 der Clientvorrichtung 102 empfangen. Die Suchabfrage kann einen oder mehrere Suchbegriffe beinhalten, die ein Nutzer bei dem Versuch bereitstellt, Videocontent, der für den Nutzer von Interesse ist, ausfindig zu machen.
In Reaktion auf das Empfangen einer Suchabfrage von einer Clientvorrichtung 102 kann das Mediensystem 108 die Medienobjektdatenbank des Mediensystems 108 und insbesondere die Tags der ausgewählten Keyframes der Medienobjekte, die in der Medienobjektdatenbank gespeichert sind, abfragen, wie bei Schritt 254 von 2B gezeigt ist. Auf Grundlage der Abfrage kann das Mediensystem 108 ein Medienobjekt als Suchergebnis für die Suchabfrage identifizieren, wie bei dem in 2C gezeigten Schritt 255 dargestellt ist. Das Mediensystem 108 kann mit den Medienobjekten verknüpfte Tags zum Identifizieren eines Medienobjektes abfragen und diese als Suchergebnis in Reaktion auf die Suchabfrage bereitstellen.
Obwohl das vorliegende Mediensystem 108 derart beschrieben ist, dass es die Medienobjektdatenbank abfragt und dabei nach Suchbegriffen der Suchabfrage innerhalb der Tags der Medienobjekte sucht, ist die Offenbarung nicht hierauf beschränkt. Werden beispielsweise Tags der Medienobjekte, die zu Suchbegriffen der Suchabfrage passen, gesucht, so kann das Mediensystem 180 nach abgeleiteten Begriffen der Suchbegriffe, nach Synonymen der Suchbegriffe und/oder nach verwandten Begriffen der Suchbegriffe suchen. Im Ergebnis kann das Mediensystem 108 Medienobjekte wie auch Vorschaubilder der Medienobjekte sogar dann identifizieren, wenn ein Nutzer 110 keine passenden Ausdrücke für die Tags der Medienobjekte bei der Suchabfrage des Nutzers 110 verwendet.
Zusätzlich zur Identifizierung von Medienobjekten zur Bereitstellung als Suchergebnisse kann das Mediensystem 108 wenigstens ein Vorschaubild auswählen und für die Clientvorrichtung 102 als Darstellung eines identifizierten Medienobjektes bereitstellen, wie bei Schritt 256 von 2C gezeigt ist. Auf Grundlage des Identifizierens eines bestimmten Medienobjektes kann das Mediensystem 108 beispielsweise bestimmen, welches potenzielle Vorschaubild von dem einen oder den mehreren potenziellen Vorschaubildern, die mit dem Medienobjekt verknüpft sind, für die Suchabfrage am meisten relevant ist. Insbesondere kann das Mediensystem 108 auf Grundlage der Tags, die mit den ausgewählten Keyframes und/oder den entsprechenden potenziellen Vorschaubildern verknüpft sind, ein Vorschaubild auswählen, das Contentmerkmale, die mit der Suchabfrage zusammenhängen, beinhaltet.
Bei anderen Ausführungsformen kann das Mediensystem 108 beim Auswählen eines Vorschaubildes zur Bereitstellung für die Clientvorrichtung 102 ein erstes Vorschaubild eines Medienobjektes auswählen, das alle Contentmerkmale im Zusammenhang mit den Suchbegriffen der Suchabfrage beinhaltet. Beinhaltet indes keines der Vorschaubilder des Medienobjektes alle Contentmerkmale im Zusammenhang mit den Suchbegriffen der Suchabfrage, so kann das Mediensystem 108 ein Vorschaubild eines Medienobjektes auswählen, das eine höchste Anzahl von Contentmerkmalen im Zusammenhang mit den Suchbegriffen der Suchabfrage beinhaltet. Mit anderen Worten, das Mediensystem 108 wählt ein Vorschaubild des Medienobjektes aus, das die meisten Contentmerkmale, die mit den meisten Suchbegriffen der Suchabfrage zusammenhängen, abbildet.
Beinhaltet die Suchabfrage beispielsweise vier Suchbegriffe und beinhaltet ein erstes Vorschaubild zwei Contentmerkmale, die mit zweien der vier Suchbegriffe zusammenhängen, während ein zweites Vorschaubild drei Contentmerkmale beinhaltet, die mit dreien der vier Suchbegriffe der Suchabfrage zusammenhängen, so wählt das Mediensystem 108 das zweite Vorschaubild zur Bereitstellung für die Clientvorrichtung 102 in Reaktion auf die Suchabfrage aus. Im Ergebnis stellt das Mediensystem 108 die am meisten relevanten Vorschaubilder (beispielsweise Videoszenen) innerhalb des Videocontents als Suchergebnis für eine nutzerseitig erzeugte Suchabfrage bereit.
Bei einer oder mehreren zusätzlichen Ausführungsformen kann das Mediensystem 108 zwei oder mehr Vorschaubilder, die mit einem einzigen Medienobjekt verknüpft sind, auswählen und sie für die Clientvorrichtung 102 in Reaktion auf die Suchabfrage bereitstellen. Das Mediensystem 108 kann beispielsweise ein erstes Vorschaubild und ein zweites Vorschaubild des Medienobjektes auf Grundlage sowohl des ersten wie auch des zweiten Vorschaubildes auswählen, die im Zusammenhang mit der Suchabfrage ausreichend sind (wobei beispielsweise die Trefferschwelle mit einem oder mehreren Suchbegriffen in der Suchabfrage erreicht wird). Mit anderen Worten, das Medienobjekt kann bei einigen Ausführungsformen mehrere Vorschaubilder im Zusammenhang mit einer Suchabfrage auf Grundlage dessen beinhalten, dass die Contentmerkmale innerhalb der Suchabfrage abgebildet sind. Bei einem nichtbeschränkenden Beispiel kann ein erstes Vorschaubild des Medienobjektes einen ersten Suchbegriff (beispielsweise einen Hund) einer Suchabfrage betreffen, während ein zweites Vorschaubild des Medienobjektes einen zweiten Suchbegriff (beispielsweise eine Katze) der Suchabfrage betrifft. In einem derartigen Fall kann das Mediensystem 108 sowohl das erste wie auch das zweite Vorschaubild auswählen und für die Clientvorrichtung in Reaktion auf die Suchabfrage bereitstellen. Das Mediensystem 108 kann beispielsweise das erste Vorschaubild und das zweite Vorschaubild als getrennte Ergebnisse bereitstellen, wobei jedes Vorschaubild mit einem entsprechenden Keyframe desselben Medienobjektes verknüpft ist.
Zusätzlich zum Auswählen von einem oder mehreren Vorschaubildern des einzigen Medienobjektes zur Bereitstellung für die Clientvorrichtung kann das Mediensystem 108 optional ein kombiniertes Vorschaubild zur Bereitstellung für die Clientvorrichtung erzeugen, wie bei Schritt 258 von 2B gezeigt ist. Insbesondere wenn das Mediensystem 108 zwei oder mehr Vorschaubilder eines einzigen Medienobjektes zur Bereitstellung für die Clientvorrichtung auswählt, kann das Mediensystem 108 die zwei oder mehr Vorschaubilder kombinieren, um ein kombiniertes Vorschaubild zu bilden. In einigen Fällen kann das Mediensystem 108 beispielsweise eine Collage der zwei oder mehr Vorschaubilder des einzigen Medienobjektes erzeugen. Bei derartigen Ausführungsformen erzeugt das Mediensystem 108 ein kombiniertes Vorschaubild, um sicherzustellen, dass möglichst viele Contentmerkmale, die mit der Suchabfrage zusammenhängen, in dem kombinierten Vorschaubild gezeigt werden. Im Ergebnis kann ein Nutzer (beispielsweise der Nutzer 110) über eine Clientvorrichtung (beispielsweise die Clientvorrichtung 102) Medienobjekte mit mehreren Contentmerkmalen, die für den Nutzer von Interesse sein können, auf Grundlage der Suchabfrage des Nutzers noch einfacher erkennen.
Bei einer oder mehreren Ausführungsformen kann ein kombiniertes Vorschaubild eine Thumbnail-„Diashow”-Anordnung beinhalten, bei der ein ausgewähltes Vorschaubild während einer Zeitspanne angezeigt wird und sodann durch ein nächstes ausgewähltes Vorschaubild ersetzt wird. Zusätzlich kam ein weiteres exemplarisches kombiniertes Vorschaubild das am meisten relevante Vorschaubild zusammen mit einem grafischen Element, das ein oder mehrere zusätzliche Vorschaubilder angibt, darstellten. Ein Nutzer kann mit dem grafischen Element (beispielsweise durch Klicken auf das grafische Element oder durch Ausführen einer Berührungsgeste an dem grafischen Element) interagieren, um auf das eine oder die mehreren zusätzlichen Vorschaubilder für das bestimmte Medienobjekt im Zusammenhang mit der nutzerseitig bereitgestellten Suchabfrage zuzugreifen.
Sobald ein Vorschaubild eines relevanten Medienobjektes ausgewählt und/oder erzeugt worden ist, kann das Mediensystem 108 das Vorschaubild für die Clientvorrichtung zur Präsentation gegenüber dem Nutzer bereitstellen, wie bei Schritt 260 von 2C gezeigt ist. Das Mediensystem 108 kann das Vorschaubild des Medienobjektes innerhalb einer Ergebnisseite derart bereitstellen, dass die Suchmaschine veranlasst, dass die Clientvorrichtung das Vorschaubild dem Nutzer 110 über eine Anzeige der Clientvorrichtung 102 präsentiert. Des Weiteren kann das Vorschaubild einen Hyperlink zu dem Medienobjekt beinhalten, damit durch Auswählen des Vorschaubildes die Clientvorrichtung 102 eine Kopie des Medienobjektes für die Clientvorrichtung 102 zur Präsentation gegenüber dem Nutzer 110 anfordert und herunterlädt.
Obwohl die Medien hostende Vorrichtung vorstehend derart beschrieben worden ist, dass sie die Schritte 204 bis 230 ausführt, kann die Medien hostende Vorrichtung bei einigen zusätzlichen Ausführungsformen das Medienobjekt auch für einen Server einer dritten Seite bereitstellen, wobei der Server der dritten Seite die Schritte 204 bis 230 ausführen kann. Bei einigen Ausführungsformen kann der Server der dritten Seite zudem ein Vorschaubild für eine Clientvorrichtung in Reaktion auf eine Suchabfrage bereitstellen.
5 zeigt ein schematisches Diagramm einer Medien hostenden Servervorrichtung 104 mit einem Mediensystem 108 entsprechend einer oder mehreren Ausführungsformen. Das Mediensystem 108 kann eine exemplarische Ausführungsform des Mediensystems 108 sein, das in Verbindung mit dem in 1 bis 4 dargestellten Mediensystem 108 beschrieben ist. Das Mediensystem 108 kann verschiedene Komponenten zum Durchführen der hier beschriebenen Prozesse und Merkmale beinhalten. Das Mediensystem 108 kann beispielsweise, wie in 5 dargestellt ist, eine Keyframekennung 502, einen Contentmerkmalsdetektor 504, einen Tagzuweiser 506, einen Vorschaubildgenerator 508, einen Abfrageverwalter 510 und eine Medienobjektdatenbank 512 beinhalten. Zusätzlich kann das Mediensystem 108 nichtdargestellte zusätzliche Komponenten, so beispielsweise die nachstehend beschriebenen, beinhalten. Die verschiedenen Komponenten des Mediensystems 108 können unter Verwendung von beliebigen geeigneten Kommunikationsprotokollen miteinander kommunizieren.
Jede Komponente des Mediensystems 108 kann unter Verwendung einer oder mehrerer Rechenvorrichtungen (beispielsweise Medien hostende Servervorrichtungen 104) implementiert sein, darunter wenigstens ein Prozessor zum Ausführen von Anweisungen, die veranlassen, dass das Mediensystem 108 die hier beschriebenen Prozesse durchführt. Die Komponenten des Mediensystems 108 können durch eine einzige Medien hostende Servervorrichtung 104 oder über mehrere Medien hostende Servervorrichtungen 104 hinweg, wie vorstehend beschrieben worden ist, implementiert sein. Obwohl in 5 eine bestimmte Anzahl von Komponenten gezeigt ist, kann das Mediensystem 108 auch mehr Komponenten beinhalten oder die Komponenten zu weniger Komponenten (so beispielsweise zu einer einzigen Komponente) kombinieren, was bei einer bestimmten Implementierung wünschenswert sein kann.
Wie vorstehend erwähnt worden ist, beinhaltet das Mediensystem 108 eine Keyframekennung 502. Die Keyframekennung 502 kann die Identifizierung der Keyframes der Medienobjekte verwalten, wie vorstehend im Zusammenhang mit Schritt 206 von 2A beschrieben worden ist. Insbesondere kann die Keyframekennung nichtcontentbasierte und contentbasierte Verfahren zum Identifizieren von Keyframes eines Medienobjektes verwenden. Des Weiteren kann die Keyframekennung das Auswählen von Keyframes zum Zwecke des Erzeugens von potenziellen Vorschaubildern für ein Medienobjekt verwalten, wie vorstehend im Zusammenhang mit Schritt 212 von 2A beschrieben worden ist.
Wie vorstehend erwähnt worden ist, beinhaltet das Mediensystem 108 des Weiteren einen Contentmerkmalsdetektor 504. Der Contentmerkmalsdetektor 504 kann die Detektion von Contentmerkmalen innerhalb der durch die Keyframekennung 502 identifizierten Keyframes verwalten. Insbesondere kann der Contentmerkmalsdetektor 504 eine Contentmerkmalserkennungstechnologie, so beispielsweise das Maschinenlernen, verwenden, um die Contentmerkmale innerhalb der Keyframes zu detektieren. Bei einigen exemplarischen Ausführungsformen kann der Contentmerkmalsdetektor 504 beim Detektieren von Contentmerkmalen Daten zum Darstellen der detektierten Contentmerkmale speichern. Der Contentmerkmalsdetektor 504 kann beispielsweise Contentmerkmale des Medienobjektes detektieren und Daten im Zusammenhang mit den Contentmerkmalen auf eine beliebige der vorstehend im Zusammenhang mit Schritt 208 von 2A erläuterten Arten speichern.
Wie vorstehend erwähnt worden ist, beinhaltet das Mediensystem 108 einen Tagzuweiser 506. Der Tagzuweiser 506 kann Tags erzeugen und ausgewählten Keyframes zuweisen. Insbesondere kann der Tagzuweiser 506 Tags erzeugen und Keyframes zuweisen, die die Contentmerkmale der Keyframes so angeben, wie sie von dem Contentmerkmalsdetektor 504 detektiert werden. Bei einigen exemplarischen Ausführungsformen kann der Tagzuweiser 506 Daten speichern, die die Tags in der Medienobjektdatenbank 512 darstellen, und die Tags mit ihren jeweiligen Keyframes des Medienobjektes korrelieren. Darüber hinaus kann der Tagzuweiser 506 Tags ausgewählten Keyframes mittels eines beliebigen der vorstehend im Zusammenhang mit Schritt 226 von 2A beschriebenen Verfahren zuweisen.
Wie vorstehend erwähnt worden ist, beinhaltet das Mediensystem 108 einen Vorschaubildgenerator 508. Der Vorschaubildgenerator 508 kann die Erzeugung von Vorschaubildern des Medienobjektes auf Grundlage von ausgewählten Keyframes verwalten. Sobald die Keyframekennung 502 beispielsweise einen Keyframe zur Verwendung als Grundlage für ein potenzielles Vorschaubild für ein Medienobjekt, wie vorstehend im Zusammenhang mit Schritt 212 von 2A beschrieben worden ist, ausgewählt hat, kann der Vorschaubildgenerator 508 ein Vorschaubild erzeugen, das das ausgewählte Keyframebild beinhaltet. Darüber hinaus kann, wie vorstehend beschrieben worden ist, der Vorschaubildgenerator 508 zwei oder mehr Bilder für zwei oder mehr ausgewählte Keyframes derart kombinieren, dass diese innerhalb eines Vorschaubildes des Medienobjektes aufgenommen sind (So kann der Vorschaubildgenerator 508 beispielsweise zwei oder mehr ausgewählte Keyframes derart zu einer Collage kombinieren, dass diese in dem Vorschaubild beinhaltet sind). Der Vorschaubildgenerator 508 kann Vorschaubilder mittels der vorstehend im Zusammenhang mit Schritt 226 von 2B oder Schritt 258 von 2C beschriebenen Verfahren erzeugen.
Darüber hinaus kann, wie vorstehend erläutert, das Mediensystem 108 einen Abfrageverwalter 510 beinhalten. Der Abfrageverwalter 510 kann das Empfangen von Suchabfragen beispielsweise von der Clientvorrichtung 102 und das Abfragen der Medienobjektdatenbank 512 des Mediensystems 108 zum Identifizieren von für die Suchabfragen relevanten Medienobjekten verwalten. Nach dem Empfangen einer Suchabfrage mit Suchbegriffen kann der Abfrageverwalter 510 beispielsweise die Medienobjektdatenbank 512 abfragen und die Suchbegriffe der Suchabfrage mit den Tags der ausgewählten Frames des Medienobjektes vergleichen. Bei Auffinden eines Treffers kann der Abfrageverwalter 510 den korrelierten ausgewählten Keyframe/die korrelierten ausgewählten Keyframes für den Vorschaubildgenerator 508 für den Fall, dass ein Vorschaubild erzeugt werden soll, bereitstellen. Ansonsten kann das Mediensystem 108 bei Auffinden eines Treffers ein korreliertes Vorschaubild für die Clientvorrichtung, wie vorstehend im Zusammenhang mit Schritt 260 von 2C beschrieben worden ist, bereitstellen.
Wie vorstehend erwähnt worden ist, beinhaltet das Mediensystem 108 eine Medienobjektdatenbank 512. Die Medienobjektdatenbank 512 kann eine einzige Datenbank oder mehrere Datenbanken beinhalten. Darüber hinaus kann die Medienobjektdatenbank 512 innerhalb des Mediensystems 108 befindlich sein. Alternativ kann die Medienobjektdatenbank 512 außerhalb des Mediensystems 108, so beispielsweise in einer Cloud oder auf einem Remote-Speicher, befindlich sein. Des Weiteren kann die Medienobjektdatenbank 512 Daten und Information speichern und für das Mediensystem 108 bereitstellen, wie nachstehend noch beschrieben wird und vorstehend im Zusammenhang mit 2A bis 4 beschrieben worden ist.
Die Medienobjektdatenbank 512 kann Medienobjekte 514 beinhalten, die für die Medien hostende Servervorrichtung 104 bereitgestellt werden. Jedes Medienobjekt 514 kann eine Medienobjektkennnummer (oder einfach „Medienobjekt-ID-Nummer”) zur Bereitstellung einer eindeutigen Identifikation aufweisen. In einigen Fällen können die Medienobjekte 514 entsprechend der Medienobjekt-ID-Nummer organisiert sein. Alternativ können die Medienobjekte 514 in der Medienobjektdatenbank 512 entsprechend anderen Kriterien organisiert sein, so beispielsweise entsprechend einem Erstelldatum, Zeitstempeln, dem Datum der letzten Modifikation, den letzten Ergebnissen und dergleichen mehr.
Wie in 5 gezeigt ist, kann das Medienobjekt 514 der Medienobjektdatenbank 512 Keyframes 516, Tags 518, Vorschaubilder 520 und Metadaten 522 beinhalten. Das Mediensystem 108 kann die Keyframes 516 speichern, die entsprechend einem jeweiligen Medienobjekt 514 gruppiert sind. Des Weiteren kann jeder Keyframe 516 eine eindeutige Fragekennnummer (oder einfach „Keyframe-ID-Nummer”) aufweisen. In einigen Fällen kann die Keyframe-ID-Nummer auch das Medienobjekt 514 identifizieren, zu dem der Keyframe 516 gehört. Alle Keyframes 516 aus einem bestimmten Medienobjekt 514 können beispielsweise die Medienobjekt-ID-Nummer innerhalb der Keyframe-ID-Nummer beinhalten.
Des Weiteren kann jeder Tag 518 des Medienobjektes 512 mit einem Keyframe 514 des Medienobjektes 512 verknüpft sein. Detektiert das Mediensystem 108 ein Contentmerkmal eines Keyframes 516 und weist dem Keyframe 516 einen Tag 518 zu, wie vorstehend im Zusammenhang mit 2A erläutert worden ist, so kann das Mediensystem 108 den Tag 518 als Teil der Tags 518 hinzufügen. Als solches können die Tags 518 einen kumulativen Satz von Tags 518 für ein Medienobjekt 514 beinhalten. Des Weiteren kann jeder Tag 518 eine eindeutige Tagkennung (oder einfach „Tag-ID”) aufweisen. In einigen Fällen kann die Tag-ID das Medienobjekt 514 identifizieren und/oder den ausgewählten Keyframe 516, mit dem der Tag 518 korreliert, identifizieren. Das Mediensystem 108 kann beispielsweise auf Grundlage der Tag-ID das entsprechende Medienobjekt 514 und/oder den ausgewählten Keyframe 516 des Medienobjektes 514 identifizieren.
Wie vorstehend erwähnt worden ist, kann das Medienobjekt 514 der Medienobjektdatenbank 512 mit einem oder mehreren potenziellen Vorschaubildern 520 verknüpft werden. Des Weiteren kann jedes Vorschaubild 520 für das Medienobjekt 514 mit wenigstens einem ausgewählten Keyframe 516 und den damit verknüpften Tags 518 des Medienobjektes 514 verknüpft sein. Erzeugt das Mediensystem 108 ein Vorschaubild 520 auf Grundlage der detektierten Contentmerkmale des Medienobjektes 514 und der ausgewählten Keyframes 516, wie vorstehend im Zusammenhang mit 2A erläutert worden ist, so kann das Mediensystem 108 das Vorschaubild 520 als Teil der potenziellen Vorschaubilder 520 hinzufügen. Als solches können die Vorschaubilder 520 einen kumulativen Satz von Vorschaubildern 520 für ein gegebenes Medienobjekt 514 beinhalten. Des Weiteren kann ein Vorschaubild 520 eine eindeutige Tagkennung (oder einfach eine „Vorschaubild-ID”) aufweisen. In einigen Fällen kann die Vorschaubild-ID das Medienobjekt 514 und/oder den ausgewählten Keyframe 516, mit dem die Vorschaubild-ID korreliert, identifizieren. Das Mediensystem 108 kann beispielsweise auf Grundlage der Vorschaubild-ID das entsprechende Medienobjekt 514 und/oder den ausgewählten Keyframe 516 des Medienobjektes 514 identifizieren.
Wie vorstehend erwähnt worden ist, kann das Medienobjekt 514 des Weiteren Metadaten 522, die mit dem Medienobjekt 514 verknüpft sind, beinhalten. Das Medienobjekt kann beispielsweise Metadaten 522 beinhalten, so beispielsweise die Metadaten 522, die vorstehend im Zusammenhang mit 26 beschrieben worden sind. Insbesondere können die Metadaten die Keyframes 516, die Tags 518 und die Vorschaubilder 520 mit dem Medienobjekt 514 verknüpfen.
6 zeigt ein Flussdiagramm eines exemplarischen Verfahrens 600 zur Bereitstellung von relevanten Videoszenen (beispielsweise von Vorschaubildern) in Reaktion auf eine Videosuchabfrage. Das Verfahren 600 kann durch das vorbeschriebene Mediensystem 108 implementiert sein. Das Verfahren 600 impliziert einen Vorgang 610 des Analysierens von Videocontent innerhalb eines Medienobjektes 514 zum Bestimmen einer Mehrzahl von Keyframes. Beinhalten kann der Vorgang 610 beispielsweise ein durch wenigstens einen Prozessor erfolgendes Analysieren eines eine Mehrzahl von Frames von Videocontent umfassenden Medienobjektes zum Bestimmen einer Mehrzahl von Keyframes innerhalb des Videocontents.
Zusätzlich impliziert das Verfahren 600 einen Vorgang 620 des Identifizierens eines in jedem Keyframe der Mehrzahl von Keyframes abgebildeten Contentmerkmals. Der Vorgang 620 kann beispielsweise ein durch den wenigstens einen Prozessor erfolgendes Identifizieren eines in jedem Keyframe der Mehrzahl von Keyframes abgebildeten Contentmerkmals beinhalten. Das Mediensystem 108 kann beispielsweise Maschinenlernen und/oder Deep Learning einsetzen, um ein oder mehrere Contentmerkmale innerhalb eines jeden Keyframes zu detektieren und zu identifizieren. Beinhalten kann der Vorgang 620 insbesondere ein Detektieren von Objekten, Aktivitäten (beispielsweise Laufen, Fallschirmspringen, Wandern), Fototypen (beispielsweise Makro, Porträt und dergleichen mehr), Gefühlen (beispielsweise Lächeln, Weinen und dergleichen mehr), Tieren, Landschaften (beispielsweise Strand, Wald, Berge), Orten, Farben und dergleichen mehr, die in den Keyframes 516 des Medienobjektes 514 abgebildet sind. Darüber hinaus kann der Vorgang 620 ein Detektieren von in Keyframes 516 abgebildeten Contentmerkmalen unter Verwendung von Maschinenlernen beinhalten. Zusätzlich kann der Vorgang 630 einen beliebigen der vorstehend im Zusammenhang mit Schritt 208 von 2A beschriebenen Vorgänge beinhalten.
Des Weiteren impliziert das Verfahren 600 einen Vorgang 630 des Verknüpfens eines Tags entsprechend Contentmerkmalen, die innerhalb eines jeden Keyframes identifiziert sind. Der Vorgang 630 kann beispielsweise ein durch den wenigstens einen Prozessor erfolgendes Verknüpfen eines Tags mit jedem Keyframe der Mehrzahl von Keyframes beinhalten, wobei ein gegebener Tag einem gegebenen Contentmerkmal, das in einem gegebenen Keyframe der Mehrzahl von Keyframes abgebildet ist, entspricht. Des Weiteren kann der Vorgang 630 ein Verknüpfen eines oder mehrerer Tags 518 mit dem einen oder den mehreren Keyframes 516 der Mehrzahl von Keyframes 516 des Medienobjektes 514 innerhalb der Medienobjektdatenbank 512 (beispielsweise innerhalb der ersten oder zweiten Datentabellen der Medienobjektdatenbank 512) beinhalten. Zusätzlich kann der Vorgang 630 beliebige der vorstehend im Zusammenhang mit Schritt 226 von 2B beschriebenen Vorgänge beinhalten.
Das Verfahren 600 beinhaltet zudem einen Vorgang 640 des Bestimmens der Bereitstellung des Medienobjektes als Suchergebnis für eine Suchabfrage. Insbesondere kann der Vorgang 640 ein Bestimmen der Bereitstellung des Medienobjektes als Suchergebnis für eine von einer Clientvorrichtung empfangene Suchabfrage beinhalten. Eine mit einem Nutzer verknüpfte Clientvorrichtung kann beispielsweise eine einen oder mehrere Suchbegriffe beinhaltende Suchabfrage an das Mediensystem 108 senden, und das Mediensystem 108 bestimmt ein oder mehrere Medienobjekte zur Bereitstellung innerhalb einer Suchergebnisliste.
Darüber hinaus kann das Verfahren 600 des Weiteren einen Vorgang 650 des Auswählens eines Keyframes aus der Mehrzahl von Keyframes als Vorschaubild auf Grundlage der Suchabfrage entsprechend einem Tag beinhalten. Beinhalten kann der Vorgang 650 des Weiteren das Auswählen eines Keyframes aus der Mehrzahl von Keyframes als Vorschaubild für das Medienobjekt auf Grundlage der Suchabfrage im Zusammenhang mit einem in dem ausgewählten Keyframe abgebildeten bestimmten Contentmerkmal so, wie durch einen mit dem ausgewählten Keyframe verknüpften bestimmten Tag angegeben ist.
Des Weiteren impliziert das Verfahren 600 einen Vorgang 660 des Bereitstellens des Vorschaubildes in Reaktion auf die Suchabfrage. Der Vorgang 660 kann beispielsweise ein für die Clientvorrichtung erfolgendes Bereitstellen des Vorschaubildes für das Medienobjekt in Reaktion auf die Suchabfrage beinhalten. Zusätzlich kann das Verfahren 600 ein Auswählen wenigstens eines Keyframes 516 aus der Mehrzahl von Keyframes 516 des Medienobjektes 514 auf Grundlage eines Verlässlichkeitswertes beinhalten, der mit jedem detektierten Contentmerkmal eines jeden Keyframes 516 der Mehrzahl von Keyframes 516 verknüpft ist (beispielsweise durch Auswählen wenigstens eines Keyframes 516 der Mehrzahl von Keyframes 516 mit einem höchsten Verlässlichkeitswert für jedes detektierte Contentmerkmal zur Aufnahme in ein Vorschaubild 520 des Medienobjektes). Darüber hinaus kann das Verfahren 600 zudem ein Aussondern von nichtausgewählten Keyframes 516 der Mehrzahl von Keyframes 516 des Medienobjektes 514 beinhalten. Des Weiteren kann das Verfahren 600 ein Erzeugen einer Mehrzahl von Vorschaubildern des Medienobjektes 514 beinhalten. Das Verfahren 600 kann beliebige der vorstehend im Zusammenhang mit 2A bis 4 beschriebenen Vorgänge beinhalten.
7 zeigt ein Flussdiagramm eines weiteren exemplarischen Verfahrens 700 zum Bereitstellen von relevanten Videoszenen (beispielsweise von Vorschaubildern 520) in Reaktion auf eine Videosuchabfrage. Das Verfahren 700 kann durch das vorbeschriebene Mediensystem 108 implementiert sein. Das Verfahren 700 impliziert einen Vorgang 710 des Identifizierens von Keyframes innerhalb eines Videocontents. Der Vorgang 710 kann beispielsweise ein durch wenigstens einen Prozessor einer Medien hostenden Servervorrichtung erfolgendes Identifizieren von Keyframes aus einer Mehrzahl von Frames innerhalb eines Videocontents, der auf der Medien hostenden Servervorrichtung vorgehalten wird, beinhalten. Des Weiteren kann der Vorgang 710 das Einsetzen von contentbasierten und nichtcontentbasierten Verfahren des Identifizierens von Keyframes 516 des Medienobjektes 514 beinhalten.
Das Verfahren 700 kann des Weiteren einen Vorgang 720 des Identifizierens von wenigstens einem in jedem der Keyframes abgebildeten Contentmerkmal beinhalten. Insbesondere kann der Vorgang 720 ein durch den wenigstens einen Prozessor erfolgendes Identifizieren wenigstens eines in jedem der Keyframes abgebildeten Contentmerkmals beinhalten. Beinhalten kann der Vorgang 720 des Weiteren beispielsweise ein Detektieren von Objekten, Aktivitäten (beispielsweise Laufen, Fallschirmspringen, Wandern), Fototypen (beispielsweise Makro, Porträt und dergleichen mehr), Gefühlen (beispielsweise Lächeln, Weinen und dergleichen mehr), Tieren, Landschaften (beispielsweise Strand, Wald, Berge), Orten, Farben und dergleichen mehr, die in den Keyframes 516 des Medienobjektes 514 abgebildet sind. Des Weiteren kann der Vorgang 720 ein Detektieren von in den Keyframes 516 abgebildeten Contentmerkmalen unter Verwendung von Maschinenlernen beinhalten.
Zusätzlich beinhaltet das Verfahren 700 einen Vorgang 730 des Bestimmens eines Verlässlichkeitswertes für das wenigstens eine Contentmerkmal. Insbesondere kann der Vorgang 730 ein durch den wenigstens einen Prozessor erfolgendes Bestimmen eines Verlässlichkeitswertes für das wenigstens eine in jedem der Keyframes abgebildete Contentmerkmal beinhalten. Beinhalten kann der Vorgang 760 beispielsweise ein Zuweisen eines Verlässlichkeitswertes an jedes detektierte Contentmerkmal des einen oder der mehreren Contentmerkmale so, wie mittels einer Contentmerkmalserkennungstechnologie, so beispielsweise mittels Maschinenlernen, bestimmt worden ist, wie vorstehend beschrieben worden ist.
Das Verfahren 700 impliziert zudem einen Vorgang 740 des auf Grundlage des Verlässlichkeitswertes erfolgenden Verknüpfens eines Tags mit jedem ein gegebenes Contentmerkmal angebenden Keyframe. Der Vorgang 780 kann beispielsweise ein Verknüpfen von Tags mit den Keyframes auf Grundlage der Verlässlichkeitswerte für das wenigstens eine in jedem der Keyframes abgebildete Contentmerkmal beinhalten, wobei ein gegebener Tag ein in einem gegebenen Keyframe abgebildetes gegebenes Contentmerkmal angibt. Der Vorgang 740 kann beispielsweise ein Verknüpfen eines oder mehrerer Tags 518 mit dem einen oder den mehreren Keyframes 516 des Medienobjektes 514 innerhalb der Medienobjektdatenbank 512 (beispielsweise innerhalb der ersten oder zweiten Datentabellen 300, 400 der Medienobjektdatenbank 512) beinhalten.
Des Weiteren impliziert das Verfahren 700 einen Vorgang 750 des auf Grundlage eines Empfangens einer Suchabfrage erfolgenden Auswählens eines Keyframes zur Verwendung als Vorschaubild für den Videocontent auf Grundlage der Suchabfrage im Zusammenhang mit einem bestimmten Contentmerkmal des Keyframes so, wie von einem damit verknüpften Tag angegeben. Der Vorgang 750 kann beispielsweise ein auf Grundlage eines Empfangens einer Suchabfrage erfolgendes Auswählen eines Keyframes zur Verwendung als Vorschaubild für den Videocontent durch Bestimmen dessen beinhalten, dass die Suchabfrage mit einem in dem ausgewählten Keyframe abgebildeten bestimmten Contentmerkmal zusammenhängt, und zwar so, wie durch einen mit dem ausgewählten Keyframe verknüpften bestimmten Tag angegeben ist.
Zusätzlich zu den dargestellten Schritten kann das Verfahren 700 auch das Speichern von Daten in einer Medienobjektdatenbank 512, die den einen oder die mehreren Tags 518 mit den Keyframes 516 des Medienobjektes 514 verknüpft, beinhalten. Darüber hinaus kann das Verfahren 700 auch ein Bestimmen von Framespezifikationen beinhalten, das ein Bestimmen einer Framerate und einer Anzahl von Frames des Medienobjektes 514 umfasst. Des Weiteren kann das Verfahren 700 für jedes detektierte Contentmerkmal ein Auswählen wenigstens eines Keyframes 516 des Medienobjektes 514 derart beinhalten, dass dieses in einem Vorschaubild 520 des Medienobjektes 514 aufgenommen ist. Zusätzlich kann das Verfahren 700 beliebige der vorstehend im Zusammenhang mit 2A und 2B beschriebenen Vorgänge beinhalten.
8 zeigt ein Blockdiagramm einer exemplarischen Rechenvorrichtung 800, die zur Durchführung eines oder mehrerer der vorbeschriebenen Prozesse konfiguriert sein kann. Es sollte einsichtig sein, dass eine oder mehrere Rechenvorrichtungen, so beispielsweise die Rechenvorrichtung 800, das Mediensystem 108 und/oder die Clientvorrichtung 102 implementieren können. Wie in 8 gezeigt ist, kann die Rechenvorrichtung 800 einen Prozessor 802, eine Ablage 804, eine Speichervorrichtung 806, eine I/O-Schnittstelle 808 sowie eine Kommunikationsschnittstelle 810 umfassen, die mittels einer Kommunikationsinfrastruktur 812 kommunikativ gekoppelt sein können. Obwohl in 8 eine exemplarische Rechenvorrichtung 800 gezeigt ist, sollen die in 8 dargestellten Komponenten nicht beschränkend sein. Zusätzliche oder alternative Komponenten können bei anderen Ausführungsformen Verwendung finden. Des Weiteren kann bei bestimmten Ausführungsformen die Rechenvorrichtung 800 weniger als die in 8 dargestellten Komponenten beinhalten. Die Komponenten der in 8 dargestellten Rechenvorrichtung 800 werden nunmehr detaillierter beschrieben.
Bei einer oder mehreren Ausführungsformen beinhaltet der Prozessor 802 Hardware zum Ausführen von Anweisungen, so beispielsweise solchen, die ein Computerprogramm bilden. Beispiels- und nicht beschränkungshalber kann der Prozessor 802 zum Ausführen von Anweisungen die Anweisungen aus einem internen Register, einem internen Cache, dem Speicher 804 oder der Speichervorrichtung 806 abrufen (oder holen) und diese decodieren und ausführen. Bei einer oder mehreren Ausführungsformen kann der Prozessor 802 einen oder mehrere interne Cashes für Daten, Anweisungen oder Adressen beinhalten. Beispiels- und nicht beschränkungshalber kann der Prozessor 802 einen oder mehrere Anweisungscaches, einen oder mehrere Datencashes und einen oder mehrere Übersetzungsnachschlagepuffer (Translation Look aside Buffers TLBs) beinhalten. Anweisungen in den Anweisungscashes können Kopien von Anweisungen in der Ablage 804 oder dem Speicher 806 sein.
Die Rechenvorrichtung 800 beinhaltet eine Ablage 804, die mit dem Prozessor/den Prozessoren 802 gekoppelt ist. Die Ablage 804 kann zum Speichern von Daten, Metadaten und Programmen zur Ausführung durch den Prozessor/die Prozessoren verwendet werden. Die Ablage 804 kann einen oder mehrere von flüchtigen und nichtflüchtigen Ablagen, so beispielsweise einen Speicher mit wahlfreiem Zugriff („RAM”), einen Nur-Lese-Speicher („ROM”), eine Solid-State-Platte („SSD”), einen Flash, einen Phasenänderungsspeicher („PCM”) oder andere Typen von Datenspeicher beinhalten. Die Ablage 804 kann eine interne oder verteilte Ablage sein.
Die Rechenvorrichtung 800 beinhaltet eine Speichervorrichtung 806, die einen Speicher zum Speichern von Daten oder Anweisungen beinhaltet. Beispiels- und nicht beschränkungshalber kann die Speichervorrichtung 806 ein nichttemporäres Speichermedium, wie vorstehend beschrieben worden ist, umfassen. Die Speichervorrichtung 806 kann ein Festplattenlaufwerk (HDD), ein Floppy-Disk-Laufwerk, einen Flashspeicher, eine optische Platte, eine magnetoptische Platte, ein magnetisches Band oder einen USB-Treiber (Universeller Serieller Bus USB) oder eine Kombination von zweien oder mehreren hiervon beinhalten. Die Speichervorrichtung 806 kann nach Bedarf entfernbare oder nichtentfernbare (oder feste) Medien beinhalten. Die Speichervorrichtung 806 kann innerhalb oder außerhalb der Rechenvorrichtung 800 befindlich sein. Bei einer oder mehreren Ausführungsformen ist die Speichervorrichtung 806 eine nichtflüchtige Solid-State-Ablage. Bei anderen Ausführungsformen beinhaltet die Speichervorrichtung 806 einen Nur-Lese-Speicher (ROM). Nach Bedarf kann der ROM ein maskenprogrammierter ROM, ein programmierbarer ROM (PROM), ein löschbarer PROM (EPROM), ein elektrisch löschbarer PROM (EEPROM), ein elektrisch änderbarer ROM (EAROM) oder ein Flashspeicher oder eine Kombination von zweien oder mehreren hiervon sein.
Die Rechenvorrichtung 800 beinhaltet zudem eine oder mehrere Eingabe- oder Ausgabe-Vorrichtungen/Schnittstellen („I/O”) 808, die dafür vorgesehen sind, einem Nutzer zu ermöglichen, in eine Rechenvorrichtung 800 Daten einzugeben, Daten von dieser zu empfangen oder Daten auf andere Weise an diese zu übertragen oder von dieser zu empfangen. Die I/O-Vorrichtungen/Schnittstellen 808 können eine Maus, ein Keypad oder eine Tastatur, ein Touchscreen, eine Kamera, ein optischer Scanner, eine Schnittstelle zu dem Netzwerk 108, ein Modem, andere bekannte I/O-Vorrichtungen oder eine Kombination aus derartigen I/O-Vorrichtungen/Schnittstellen beinhalten. Der Touchscreen kann mit einem Stift oder einem Finger aktiviert werden.
Die I/O-Vorrichtungen/Schnittstellen 808 können eine oder mehrere Vorrichtungen zum Präsentieren einer Ausgabe gegenüber einem Nutzer beinhalten, darunter unter anderem eine Graphics Engine, eine Anzeige (beispielsweise einen Anzeigebildschirm), einen oder mehrere Ausgabetreiber (beispielsweise Anzeigetreiber), einen oder mehrere Audiolautsprecher und einen oder mehrere Audiotreiber. Bei bestimmten Ausführungsformen ist die I/O-Schnittstelle 808 dafür ausgelegt, grafische Daten für eine Anzeige zur Präsentation gegenüber einem Nutzer bereitzustellen. Die grafischen Daten können eine oder mehrere grafische Nutzerschnittstellen und/oder beliebigen anderen grafischen Content, so er einer bestimmten Implementierung dient, darstellen.
Die Rechenvorrichtung 800 kann des Weiteren eine Kommunikationsschnittstelle 810 beinhalten. Die Kommunikationsschnittstelle 810 kann Hardware, Software oder beides beinhalten. Die Kommunikationsschnittstelle 180 kann eine oder mehrere Schnittstellen zur Kommunikation (beispielsweise zur paketbasierten Kommunikation) zwischen der Rechenvorrichtung 800 und einer oder mehreren anderen Rechenvorrichtungen oder Netzwerken bereitstellen. Beispiels- und nicht beschränkungshalber kann die Kommunikationsschnittstelle 810 einen Netzwerkschnittstellencontroller (NIC) oder einen Netzwerkadapter zur Kommunikation mit einem Ethernet oder einem anderen drahtbasierten Netzwerk oder auch einen drahtlosen NIC (WNIC) oder einen Drahtlosadapter zur Kommunikation mit einem Drahtlosnetzwerk, so beispielsweise WI-FI, beinhalten. Die Rechenvorrichtung 800 kann des Weiteren einen Bus 812 beinhalten. Der Bus 812 kann Hardware, Software oder beides umfassen, das die Komponenten der Rechenvorrichtung 800 miteinander gekoppelt.
Die vorstehende Beschreibung erfolgte anhand spezifischer exemplarischer Ausführungsformen. Verschiedene Ausführungsformen und Aspekte der Offenbarung werden anhand der hier diskutierten Details beschrieben, wobei die begleitende Zeichnung die verschiedenen Ausführungsformen darstellt. Die vorstehende Beschreibung und Zeichnung sind illustrativ und sollen nicht als beschränkend gedeutet werden. Es werden zahlreiche spezifische Details beschrieben, um eine eingehendes Verständnis der verschiedenen Ausführungsformen bereitzustellen.
Die zusätzlichen oder alternativen Ausführungsformen können in anderen spezifischen Formen verkörpert sein, ohne vom Wesen oder den wesentlichen Eigenschaften abzugehen. Die beschriebenen Ausführungsformen sollen hinsichtlich all ihrer Aspekte lediglich als illustrativ und nicht als beschränkend gedeutet werden. Der Umfang der Erfindung ist daher durch die beigefügten Ansprüche und nicht durch die vorstehende Beschreibung angegeben. Alle Änderungen, die der Bedeutung und dem Äquivalenzbereich der Ansprüche entsprechen, sind in deren Umfang mit umfasst.
Die vorstehend beschriebenen und in den begleitenden Zeichnungsfiguren dargestellten Ausführungsformen beschränken den Umfang der Erfindung nicht, da diese Ausführungsformen bloße Beispiele für Ausführungsformen der Erfindung sind, die durch die beigefügten Ansprüche und deren rechtliche Äquivalente definiert ist. Beliebige äquivalente Ausführungsformen sollen innerhalb des Umfanges der vorliegenden Erfindung enthalten sein. Verschiedene Abwandlungen der vorliegenden Offenbarung zusätzlich zu den vorstehend gezeigten und beschriebenen, so beispielsweise alternative nützliche Kombinationen der beschriebenen Contentmerkmale, erschließen sich einem Fachmann auf dem einschlägigen Gebiet aus der Beschreibung. Derartige Abwandlungen und Ausführungsformen sollen ebenfalls im Umfang der beigefügten Ansprüche und der rechtliche Äquivalente hiervon enthalten sein.

Claims

Verfahren zum Identifizieren eines Bildes zur Darstellung von relevanten Contentmerkmalen innerhalb eines Digitalvideos, wobei das Verfahren umfasst: durch wenigstens einen Prozessor erfolgendes Analysieren eines eine Mehrzahl von Frames von Videocontent umfassenden Medienobjektes zum Bestimmen einer Mehrzahl von Keyframes innerhalb des Videocontents; durch den wenigstens einen Prozessor erfolgendes Identifizieren eines in jedem Keyframe der Mehrzahl von Keyframes abgebildeten Contentmerkmals; durch den wenigstens einen Prozessor erfolgendes Verknüpfen eines Tags mit jedem Keyframe der Mehrzahl von Keyframes, wobei ein gegebener Tag einem in einem gegebenen Keyframe der Mehrzahl von Keyframes abgebildeten gegebenen Contentmerkmal entspricht; Bestimmen der Bereitstellung des Medienobjektes als Suchergebnis für eine von einer Clientvorrichtung empfangene Suchabfrage; Auswählen eines Keyframes aus der Mehrzahl von Keyframes als Vorschaubild für das Medienobjekt auf Grundlage der Suchabfrage im Zusammenhang mit einem in dem ausgewählten Keyframe abgebildeten bestimmten Contentmerkmal so, wie durch einen mit dem ausgewählten Keyframe verknüpften bestimmten Tag angegeben ist; und für die Clientvorrichtung erfolgendes Bereitstellen des Vorschaubildes für das Medienobjekt in Reaktion auf die Suchabfrage.
Verfahren nach Anspruch 1, wobei: die Suchabfrage einen Suchbegriff umfasst; und das Auswählen des Keyframes aus der Mehrzahl von Keyframes als Vorschaubild für das Medienobjekt des Weiteren umfasst: Vergleichen des Suchbegriffes mit jedem Tag entsprechend dem in jedem Keyframe der Mehrzahl von Keyframes abgebildeten Contentmerkmal.
Verfahren nach Anspruch 2, des Weiteren umfassend ein Bestimmen der Relevanz des ausgewählten Keyframes für den Suchbegriff auf Grundlage des Vergleiches des Suchbegriffes mit dem mit dem ausgewählten Keyframe verknüpften bestimmten Tag.
Verfahren nach einem der vorhergehenden Ansprüche, des Weiteren umfassend ein Bestimmen eines Verlässlichkeitswertes entsprechend jedem in jedem Keyframe der Mehrzahl von Keyframes abgebildeten Contentmerkmal.
Verfahren nach Anspruch 4, wobei das Auswählen des Keyframes aus der Mehrzahl von Keyframes als Vorschaubild für das Medienobjekt des Weiteren umfasst: Identifizieren des ausgewählten Keyframes auf Grundlage des Verlässlichkeitswertes entsprechend dem in dem ausgewählten Keyframe abgebildeten bestimmten Contentmerkmal.
Verfahren nach Anspruch 4 oder 5, des Weiteren umfassend ein Aussondern wenigstens eines Keyframes der Mehrzahl von Keyframes, wobei das Aussondern des wenigstens einen Keyframes umfasst: Entfernen des wenigstens einen Keyframes aus der Berücksichtigung bei der Verwendung als Vorschaubild des Medienobjektes.
Verfahren nach Anspruch 6, wobei das Aussondern des wenigstens einen Keyframes der Mehrzahl von Keyframes darauf beruht, dass der wenigstens eine Keyframe nur Contentmerkmale mit Verlässlichkeitswerten beinhaltet, die niedriger als eine vorbestimmte Schwelle sind.
Verfahren nach Anspruch 6 oder 7, des Weiteren umfassend ein Erzeugen einer Mehrzahl von Bildern zur Berücksichtigung als potenzielle Vorschaubilder für das Medienobjekt, wobei die Mehrzahl von Bildern keine Bilder für den wenigstens einen Keyframe, der ausgesondert worden ist, beinhaltet.
Verfahren zum Identifizieren eines Bildes zur Darstellung von relevanten Contentmerkmalen innerhalb eines Digitalvideos, wobei das Verfahren umfasst: durch wenigstens einen Prozessor einer Medien hostenden Servervorrichtung erfolgendes Identifizieren von Keyframes aus einer Mehrzahl von Frames innerhalb von Videocontent, der auf der Medien hostenden Servervorrichtung vorgehalten wird; durch den wenigstens einen Prozessor erfolgendes Identifizieren wenigstens eines in jedem der Keyframes abgebildeten Contentmerkmals; durch den wenigstens einen Prozessor erfolgendes Bestimmen eines Verlässlichkeitswertes für das wenigstens eine in jedem der Keyframes abgebildete Contentmerkmal; Verknüpfen von Tags mit den Keyframes auf Grundlage der Verlässlichkeitswerte für das wenigstens eine in jedem der Keyframes abgebildete Contentmerkmal, wobei ein gegebener Tag ein in einem gegebenen Keyframe abgebildetes gegebenes Contentmerkmal angibt; und auf Grundlage eines Empfanges einer Suchabfrage erfolgendes Auswählen eines Keyframes zur Verwendung als Vorschaubild für den Videocontent durch Bestimmen dessen, dass die Suchabfrage mit einem in dem ausgewählten Keyframe abgebildeten bestimmten Contentmerkmal zusammenhängt, wie durch einen mit dem ausgewählten Keyframe verknüpften bestimmten Tag angegeben ist.
Verfahren nach Anspruch 9, des Weiteren umfassend ein für eine Clientvorrichtung entsprechend der Suchabfrage erfolgendes Bereitstellen des Vorschaubildes für den Videocontent.
Verfahren nach Anspruch 10, wobei das Vorschaubild innerhalb einer Liste von Suchergebnissen für die Suchabfrage bereitgestellt wird.
Verfahren nach einem der Ansprüche 9 bis 11, wobei das Verknüpfen von Tags mit Keyframes auf Grundlage der Verlässlichkeitswerte für das wenigstens eine in jedem der Keyframes abgebildete Contentmerkmal umfasst: Verknüpfen von Tags mit Keyframes, wenn die Verlässlichkeitswerte einen Schwellenverlässlichkeitswert überschreiten.
Verfahren nach Anspruch 12, des Weiteren umfassend ein Unterlassen des Verknüpfens eines Tags mit einem gegebenen Keyframe auf Grundlage dessen, dass ein Verlässlichkeitswert niedriger als der Schwellenverlässlichkeitswert für ein innerhalb des gegebenen Keyframes abgebildetes gegebenes Contentmerkmal ist.
Verfahren nach einem der Ansprüche 9 bis 13, des Weiteren umfassend: Bestimmen, dass mehrere Keyframes mit einem bestimmten Tag entsprechend einem bestimmten Contentmerkmal verknüpft sind; und Auswählen eines einzigen Keyframes aus den mehreren Keyframes zur Darstellung des einzigen Contentmerkmals für den Videocontent.
Verfahren nach Anspruch 14, des Weiteren umfassend ein Lösen der Verknüpfung des bestimmten Tags von jedem der mehreren Keyframes mit Ausnahme des ausgewählten einzigen Keyframes.
System, umfassend: wenigstens einen Prozessor; und wenigstens ein nichttemporäres computerlesbares Speichermedium, auf dem Anweisungen gespeichert sind, die bei Ausführung durch den wenigstens einen Prozessor das System veranlassen zum: Analysieren eines eine Mehrzahl von Frames von Videocontent umfassenden Medienobjektes zum Bestimmen einer Mehrzahl von Keyframes innerhalb des Videocontents; Identifizieren eines in jedem Keyframe der Mehrzahl von Keyframes abgebildeten Contentmerkmals; Verknüpfen eines Tags mit jedem Keyframe der Mehrzahl von Keyframes, wobei ein gegebener Tag einem in einem gegebenen Keyframe der Mehrzahl von Keyframes abgebildeten gegebenen Contentmerkmal entspricht; Bestimmen der Bereitstellung einer Angabe des Medienobjektes als Suchergebnis für eine von einer Clientvorrichtung empfangene Suchabfrage; und Auswählen eines Keyframes aus der Mehrzahl von Keyframes als Vorschaubild für das Medienobjekt auf Grundlage der Suchabfrage im Zusammenhang mit einem in dem ausgewählten Keyframe abgebildeten bestimmten Contentmerkmal, wie durch einen mit dem ausgewählten Keyframe verknüpften bestimmten Tag angegeben ist.
System nach Anspruch 16, des Weiteren umfassend Anweisungen, die bei Ausführung durch den wenigstens einen Prozessor das System veranlassen zum: Bestimmen der Relevanz des ausgewählten Keyframes für einen Suchbegriff innerhalb der Suchabfrage auf Grundlage eines Vergleiches des Suchbegriffes mit dem mit dem ausgewählten Keyframe verknüpften bestimmten Tag.
System nach Anspruch 17, des Weiteren umfassend Anweisungen, die bei Ausführung durch den wenigstens einen Prozessor das System veranlassen zum: für die Clientvorrichtung erfolgenden Bereitstellen des Vorschaubildes für das Medienobjekt in Reaktion auf die Suchabfrage.
System nach Anspruch 17 oder 18, des Weiteren umfassend Anweisungen, die bei Ausführung durch den wenigstens einen Prozessor das System veranlassen zum: Anbringen eines zu dem Medienobjekt weisenden Hyperlinks an dem Vorschaubild.
System nach einem der Ansprüche 17 bis 19, des Weiteren umfassend Anweisungen, die bei Ausführung durch den wenigstens einen Prozessor das System veranlassen zum: Bestimmen eines Verlässlichkeitswertes entsprechend jedem in jedem Keyframe der Mehrzahl von Keyframes abgebildeten Contentmerkmal.