DE10297802B4 - Verfahren, Speichermedium und System zum Suchen einer Sammlung von Medienobjekten - Google Patents

Verfahren, Speichermedium und System zum Suchen einer Sammlung von Medienobjekten Download PDF

Info

Publication number
DE10297802B4
DE10297802B4 DE10297802T DE10297802T DE10297802B4 DE 10297802 B4 DE10297802 B4 DE 10297802B4 DE 10297802 T DE10297802 T DE 10297802T DE 10297802 T DE10297802 T DE 10297802T DE 10297802 B4 DE10297802 B4 DE 10297802B4
Authority
DE
Germany
Prior art keywords
feature
objects
information
media
media objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE10297802T
Other languages
English (en)
Other versions
DE10297802T5 (de
Inventor
Gregg D. Pacific Palisades Wilensky
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of DE10297802T5 publication Critical patent/DE10297802T5/de
Application granted granted Critical
Publication of DE10297802B4 publication Critical patent/DE10297802B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3322Query formulation using system suggestions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Abstract

Verfahren zum Suchen bzw. Durchsuchen einer Sammlung von Medienobjekten, umfassend:
ein Kombinieren von Information, welche sich auf ein Merkmal bezieht, welches einer Mehrzahl von Referenz- bzw. Bezugsobjekten gemeinsam ist, um eine zusammengesetzte Bezugsinformation zu erzeugen, welche Kriterien für eine Suche repräsentiert; und
ein Vergleichen der zusammengesetzten Bezugsinformation mit Information, welche sich auf dasselbe Merkmal bezieht, für jeden entsprechenden einen aus einer Mehrzahl von Medienobjekten in einer Sammlung von Medienobjekten, um ein oder mehrere Medienobjekt(-objekte) zu identifizieren;
wobei eine nicht euklidische Funktion verwendet wird, um entweder die Information zu kombinieren, welche sich auf das Merkmal bezieht, oder um die zusammengesetzte Bezugsinformation mit Information zu vergleichen, welche sich auf dasselbe Merkmal bezieht.

Description

  • Hintergrund der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Suchen bzw. Durchsuchen von Medienobjekten bzw. -gegenständen.
  • Elektronische Technologien zum Einfangen bzw. Erfassen, Speichern und Weiterleiten digitaler Objekte bzw. Gegenstände, wie beispielsweise Bildern, Audio- bzw. Ton- bzw. Klangdateien und Videos sind nun leicht verfügbar. Darüber hinaus hat die zunehmend allgemeine Verwendung dieser Technologien in großen Anzahlen von leicht erhältlichen Mediengegenständen resultiert. Leute stellen Bilder unter Verwendung von Digitalkameras, Zeichenprogrammen und Foto-Handhabungssoftware her. Sie erzeugen Videodateien mit tragbaren Videokameras und brennen CDs auf Heim-Unterhaltungsanlagen. Die resultierenden digitalen Objekte werden leicht kopiert und gespeichert und können sich leicht in einem Archiv ansammeln. Sie werden auch leicht im World Wide Web, oder Internet – beispielsweise durch Email oder auf einer Website – geteilt bzw. gemeinsam benutzt, wobei eher große Anzahlen von Medienobjekten bzw. -gegenständen vielen Leuten verfügbar macht.
  • Da die Anzahl und Zugänglichkeit von Mediengegenständen zunimmt bzw. ansteigt, kann es zunehmend schwierig werden, diese handzuhaben. Beispielsweise kann es, je größer ein Satz von Bildern wird, umso schwieriger sein, ein bestimmtes oder gewünschtes Bild zu finden. Eine Person kann beispielsweise versuchen, ein bestimmtes Bild durch Wiederaufrufen der bzw. Erinnern an die Zeit, zu der es erstellt wurde, oder des Verzeichnisses, wo es gespeichert wurde, zu finden. In ähnlicher Weise kann es, je größer der Zugriff bzw. Zugang zu Audio- und Videodateien ist, umso schwieriger sein, ein besonderes oder gewünschtes Lied oder einen Film zu finden. Eine Person kann beispielsweise versuchen, eine besondere Audio- oder Videoaufzeichnung durch Wiederaufrufen ihres Titels oder des Namens ihres Hauptdarstellers oder Schauspielers zu finden. Eine Verwendung derartiger Information über die Mediengegenstände zum Definieren der Suchabsicht kann problematisch sein, da es einer Person abverlangen kann, sich an Details über ein besonderes Objekt zu erinnern, um es zu finden.
  • Eine Person kann eine Sammlung von Mediengegenständen nach besonderen Merkmalen oder Aspekten durchsuchen, welche dem Gegenstand innewohnend bzw. inhärent sind – nicht nur damit assoziiert sind. Beispielsweise kann eine Person nach Bildern suchen, welche eine besondere Verteilung von Farben, Formen und Textur bzw. Beschaffenheit aufweisen, indem Parameters spezifiziert werden, welche diese Merkmale beschreiben. Eine Person kann versuchen, nach Bildern zu suchen, welche beispielsweise einen bestimmten Gegenstand oder eine Person beinhalten, indem ein Referenz- bzw. Bezugsbild zur Verfügung gestellt wird und nach Bildern gesucht wird, welche dazu ähnlich sind. Bestehende Bildsuchmaschinen vergleichen ein ausgewähltes Bezugsbild mit Bildern in einer Datenbank und reihen diese Bilder als mehr oder weniger ähnlich zur Referenz bzw. zum Bezug. Der Vorgang kann beispielsweise wiederholt werden, indem unterschiedliche Bezüge verwendet werden, um kleinere Subsätze der Datenbank zu durchsuchen.
  • Information über einen Mediengegenstand und Information von einem Bezugsobjekt bzw. -gegenstand stellen nützliche Basen bzw. Grundlagen zum Durchsuchen einer Datenbank zur Verfügung. Jedoch legen diese den Kriterien, die für eine Suche benützt werden können, Grenzen auf und charakterisieren nicht adäquat die Absicht des Suchenden.
  • Dokument US 5,579,471 A bezieht sich auf Suchanfragen in Bilddatenbanken, wobei Antworten sowohl visuelle Charakteristika von Bildern wie beispielsweise Farben, Textur, Form, Größe als auch verbale Tags, welche den Bilderen zugeordnet sind, umfassen.
  • Dokument US 6,366,296 B1 bezieht sich auf einem Medien-Browser, eine graphische Benutzeroberfläche und ein Verfahren zum browsen von Mediendateien, wobei ein Benutzer zumindest ein Merkmal in einer Mediendatei auswählt und ihm Informationen bezüglich der Existenz des ausgewählten Merkmals in der Mediendatei bereitgestellt werden.
  • Dokument US 6,192,150 B1 bezieht sich auf ein Verfahren und eine Vorrichtung, welche Text-Muster so aufeinander abbilden, daß die Muster invariant bezüglich ihrer Intensität, Skalierung und Ausrichtung bleiben.
  • Aufgabe der Erfindung ist es, Mehrdeutigkeiten beim Definieren einer Suchabsicht gegen eine Bildsuchmaschine zu reduzieren.
  • Diese Aufgabe ist entsprechend der Erfindung durch die Merkmale des Verfahrens gemäß Anspruch 1, des Speichermediums gemäß Anspruch 28 und des Systems gemäß Anspruch 29 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Ansprüche.
  • Zusammenfassung der Erfindung
  • Die Erfindung stellt Techniken zum Spezifizieren von Suchkriterien durch Kombinieren von Bezugsmerkmalen zur Verfügung, um eine Mehrdeutigkeit beim Definieren einer Suchabsicht zu reduzieren. Im allgemeinen stellt die Erfindung in einem Aspekt Verfahren und Computerprogrammprodukte zur Verfügung, welche Techniken zum Kombinieren von Objekt- bzw. Gegenstandsinformation für eine Mehrzahl von Bezugsgegenständen bzw. -objekten implementieren, um zusammengesetzte Bezugsinformation zu erzeugen, welche Kriterien für eine Suche repräsentiert bzw. darstellt. Die zusammengesetzte Bezugsinformation wird mit Gegenstandsinformation für Mediengegenstände bzw. -objekte in einer Sammlung von Mediengegenständen verglichen, um einen oder mehrere Mediengegenstand(-gegenstände) in der Sammlung von Mediengegenständen zu identifizieren.
  • Vorteilhafterweise können Implementierungen der Verfahren und Computerprogrammprodukte eines oder mehrere der folgenden Merkmale beinhalten. Ein Mediengegenstand in der Sammlung von Mediengegenständen kann basierend auf dem Vergleich der Gegenstandsinformation und der zusammengesetzten Referenz- bzw. Bezugsinformation ausgewählt sein bzw. werden. Die Mehrzahl der Referenzobjekte bzw. Bezugsgegenstände kann durch eine Benutzer- bzw. Anwendereingabe spezifiziert sein. Die Mehrzahl von Bezugsgegenständen kann einen oder mehrere Gegenstand (Gegenstände) beinhalten, die einen Typ aufweisen, der ausgewählt wird aus: Audio bzw. Ton, Bild, Text, CD, Video. Gegenstandsinformation für unterschiedliche Typen bzw. Arten von Gegenständen kann kombiniert werden. Ein Kombinieren von Gegenstandsinformation kann ein Bestimmen des Schnitts bzw. Durchschnitts bzw. der Schnittmenge oder der Vereinigung der Gegenstandsinformation für die Bezugsgegenstände beinhalten.
  • Die Gegenstandsinformation kann Merkmale bzw. Eigenschaften der Bezugsgegenstände und der Mediengegenstände in der Sammlung von Medienobjekten charakterisieren. Die Merkmale können gewichtet sein bzw. werden, um eine relative Wichtigkeit der Merkmale zu spezifizieren. Ein Gewichten der Merkmale kann ein Aufnehmen bzw. Empfangen einer Benutzereingabe beinhalten, welche die relative Wichtigkeit der Merkmale anzeigt. Ein Merkmal kann durch die relative Frequenz eines Auftretens von jedem von verschiedenen bzw. mehreren Werten für das Merkmal repräsentiert sein bzw. werden. Der Satz von Merkmalen kann Farbinformation beinhalten, welche die relative Frequenz eines Auftretens von Farben in einem Gegenstand beschreibt. Ein Merkmal für eine erste Gegenstandsart kann zu einem Merkmal für einen zweiten Gegenstandstyp aufgezeichnet bzw. katalogisiert bzw. auf dieses abgebildet werden.
  • Die Techniken können ein Kombinieren von Gegenstandsinformation für einen zusätzlichen Bezugsgegenstand mit der zusammengesetzten Bezugsinformation beinhalten, um die zusammengesetzte Bezugsinformation zu revidieren bzw. zu überprüfen. Der zusätzliche Bezug kann ein Mediengegenstand sein, welcher durch ein Vergleichen der zusammengesetzten Bezugsinformation mit Gegenstandsinformation für Mediengegenstände identifiziert wird. Die revidierte zusammengesetzte Bezugsinformation kann mit Gegenstandsinformation für Mediengegenstände in der Sammlung von Mediengegenständen verglichen werden.
  • Ein Ähnlichkeitswert, welcher die Ähnlichkeit des Gegenstands mit der zusammengesetzten Bezugsinformation anzeigt, kann jedem der Mediengegenstände in der Sammlung von Mediengegenständen zugeordnet bzw. zugewiesen werden. Der Ähnlichkeitswert von jedem der Mediengegenstände in der Sammlung von Mediengegenständen kann geringer als ein oder gleich einem Ähnlichkeitswert sein, welcher für jeden Bezugsgegenstand berechnet ist bzw. wird. Die Mediengegenstände können entsprechend ihren Ähnlichkeitswerten gereiht werden und ein Mediengegenstand kann basierend auf seiner Reihung bzw. seinen Rang ausgewählt werden.
  • Die Gegenstandsinformation für jeden der Bezugs- und Mediengegenstände kann als ein Merkmalsvektor von Komponenten ausgedrückt sein bzw. werden, wobei jeder Merkmalsvektor eine oder mehrere Komponente(n) beinhaltet, welche ein Merkmal des entsprechenden Bezugs- oder Mediengegenstands repräsentiert (repräsentieren). Jeder Merkmalsvektor kann eine oder mehrere Komponente(n) beinhalten, welche Metadaten repräsentiert (repräsentieren), die mit dem entsprechenden Bezugs- oder Mediengegenstand assoziiert sind bzw. werden. Die Merkmalsvektoren der Mehrzahl von Bezugsgegenständen können kombiniert werden, um einen zusammengesetzten Bezugsvektor zu erzeugen bzw. herzustellen. Komponenten, die ein Merkmal eines Teils oder der Gesamtheit von jedem Bezugsgegenstand darstellen, können gemäß einer ersten Kombinationsfunktion kombiniert werden, und Komponenten, die Metadaten repräsentieren, welche mit einem Teil oder der Gesamtheit von jedem Bezugsgegenstand assoziiert sind, können gemäß einer zweiten Kombinationsfunktion kombiniert werden.
  • Ein Gewichtungsvektor, der die relative Wichtigkeit von einem oder mehreren Merkmal(en) spezifiziert bzw. bestimmt, kann beim Kombinieren der Merkmalsvektoren definiert und verwendet werden. Eine Min- oder Max-Funktion kann verwendet werden, um Merkmalsvektoren zu kombinieren. Der zusammengesetzte Bezugsvektor kann mit den Merkmalsvektoren von jedem der Mehrzahl von Mediengegenständen in der Sammlung von Mediengegenständen verglichen werden. Der zusammengesetzte Bezugsvektor kann mit den Merkmalsvektoren von jedem der Mediengegenstände unter Verwendung einer Min- oder Max-Funktion verglichen werden. Gegenstandsinformation für Bezugsgegenstände kann unter Verwendung einer Kombinationsfunktion kombiniert werden, und die zusammengesetzte Bezugsinformation kann mit Gegenstandsinformation für Mediengegenstände unter Verwendung einer Vergleichsfunktion verglichen werden, welche auf der Kombinationsfunktion basiert.
  • In einer Implementierung kann die Gegenstandsinformation Merkmale der Bezugsgegenstände und der Mediengegenstände in der Sammlung von Mediengegenständen charakterisieren und als ein Merkmalsvektor von Komponenten ausgedrückt sein bzw. werden; die Merkmalsvektoren der Mehrzahl von Bezugsgegenständen kann unter Verwendung einer Min- oder Max-Funktion kombiniert werden, um einen zusammengesetzten Bezugsvektor zu erzeugen, und der zusammengesetzte Bezugsvektor kann mit den Merkmalsvektoren von jedem Mediengegenstand in der Sammlung von Mediengegenständen unter Verwendung einer Min- oder Max-Funktion verglichen werden; und ein Ähnlichkeitswert, der die Ähnlichkeit des Merkmalsvektors des Mediengegenstands zu dem zusammengesetzten Bezugsvektor anzeigt, kann jedem Mediengegenstand in der Sammlung von Mediengegenständen zugeordnet bzw. zugewiesen werden, wo der Ähnlichkeitswert von jedem der Mediengegenstände in der Sammlung von Mediengegenständen kleiner als ein oder gleich einem Ähnlichkeitswert ist, welcher für jeden Bezugsgegenstand berechnet ist bzw. wird.
  • Im allgemeinen stellt die Erfindung in einem anderen Aspekt ein System zum Suchen bzw. Durchsuchen einer Sammlung von Mediengegenständen bzw. -objekten zur Verfügung. Das System beinhaltet Mittel zum Kombinieren von Objekt- bzw. Gegenstandsinformation für eine Mehrzahl von Referenzobjekten bzw. Bezugsgegenständen, um eine zusammengesetzte Bezugsinformation zu erzeugen, welche Kriterien für eine Suche repräsentiert, und Mittel zum Vergleichen der zusammengesetzten Bezugsinformation mit Gegenstandsinformation für Mediengegenstände in einer Sammlung von Mediengegenständen, um einen oder mehrere Mediengegenstand(-gegenstände) in der Sammlung von Mediengegenständen zu identifizieren.
  • Vorteilhafte Implementierungen des Systems zum Suchen bzw. Durchsuchen einer Sammlung von Mediengegenständen kann eines oder mehrere der folgenden Merkmale beinhalten. Das System kann Mittel zum Zuordnen eines Ähnlichkeitswerts, welcher die Ähnlichkeit des Gegenstands mit der zusammengesetzten Bezugsinformation anzeigt, zu jedem der Mediengegenstände in der Sammlung von Mediengegenständen beinhalten, wobei der Ähnlichkeitswert von jedem der Mediengegenstände in der Sammlung von Mediengegenständen kleiner als ein oder gleich einem Ähnlichkeitswert ist, welcher für jeden Bezugsgegenstand berechnet ist bzw. wird.
  • Die Gegenstandsinformation kann Merkmale der Bezugsgegenstände und der Mediengegenstände in der Sammlung von Mediengegenständen charakterisieren und kann als ein Merkmalsvektor von Komponenten ausgedrückt werden. Das System kann Mittel zum Kombinieren der Merkmalsvektoren der Mehrzahl von Bezugsgegenständen, um einen zusammengesetzten Bezugsvektor zu erzeugen, und Mittel zum Vergleichen des zusammengesetzten Bezugsvektors mit den Merkmalsvektoren von jedem der Mediengegenstände in der Sammlung von Mediengegenständen beinhalten.
  • Die Erfindung kann implementiert sein, um einen oder mehrere der folgenden Vorteile zu realisieren. Ein Anwender bzw. Benutzer kann Suchkriterien definieren, die die Suchabsicht des Anwenders beim Durchführen einer Suche eines Satzes von Mediengegenständen reflektieren. Ein Anwender kann Suchkriterien definieren, die die Suchabsicht des Anwenders reflektieren, selbst wenn die Absicht nicht durch einen Bezug oder durch Information definiert ist, welche mit Gegenständen assoziiert ist. Die Suchkriterien können durch Auswählen eines Satzes von Bezugsgegenständen definiert sein bzw. werden. Die Suchkriterien können automatisch definiert werden, wenn eine Auswahl von Bezugsgegenständen gegeben bzw. vorausgesetzt ist. Suchkriterien können als Gemeinsamkeiten oder der Schnitt bzw. Durchschnitt unter Gegenstände in einem Satz von Gegenständen definiert werden. Suchkriterien können als inklusive oder die Vereinigung von Merkmalen in einem Satz von Gegenständen definiert sein bzw. werden. Ein Anwender kann die Suchkriterien entsprechend der Suchabsicht des Anwenders verfeinern. Die Suchkriterien können neu definiert werden, indem ein Gegenstand zu einem Satz von Bezugsgegenständen hinzugefügt wird. Die Suchkriterien können entsprechend einer Kombination von Information für einen Satz von Bildern gewichtet werden. Ein Anwender bzw. Verwender kann unterschiedliche Typen bzw. Arten von Mediengegenständen verwenden, um die Suchkriterien zu definieren. Ein Anwender kann einen Typ eines Mediengegenstands unter Verwendung von Suchkriterien suchen, welche durch einen anderen Typ bzw. eine andere Art von Mediengegenstand definiert wurden.
  • Die Details von einer oder mehreren Implementierung(en) der Erfindung sind in den beigefügten Zeichnungen und der Beschreibung unten dargelegt. Andere Merkmale und Vorteile der Erfindung werden aus der Beschreibung, den Zeichnungen und den Ansprüchen verständlich werden.
  • Kurze Beschreibung der Zeichnungen
  • 1 beschreibt ein Verfahren zum Suchen bzw. Durchsuchen unter Verwendung von mehrfachen bzw. Mehrfach-Bezugsgegenständen.
  • 2 porträtiert die Verwendung eines Verfahrens zum Suchen unter Verwendung von mehrfachen Bezugsgegenständen durch einen Anwender bzw. Benutzer in einer Computerumgebung.
  • 3 zeigt ein Verfahren zum Verwenden von mehrfachen Mediengegenständen, um zusammengesetzte Bezugsinformation zu erstellen bzw. zu erzeugen und Mediengegenstände zu suchen bzw. zu durchsuchen.
  • 4 zeigt ein Verfahren zum Verwenden von Merkmalsvektoren von mehrfachen Mediengegenständen, um einen Bezugsvektor zu erzeugen und Mediengegenstände zu suchen.
  • 5 zeigt einen Merkmalsvektor für einen Bildgegenstand und einen Merkmalsvektor für einen Audiogegenstand.
  • 6 zeigt einen Merkmalsvektor für einen CD-Gegenstand und einen Merkmalsvektor für einen Videogegenstand.
  • 7 zeigt die Anwendung der Min- und der Max-Funktion, um einen Satz von diskreten Komponenten von zwei Merkmalsvektoren zu kombinieren oder zu vergleichen.
  • 8 zeigt die Anwendung der Min- und der Max-Funktion, um Komponenten von zwei Merkmalsvektoren zu kombinieren oder zu vergleichen, welche kontinuierliche bzw. stetige Funktionen annähern.
  • 9 beschreibt ein Suchverfahren, welches Information für mehrfache Bezugsgegenstände kombiniert und mit ähnlicher Information für jeden von mehreren Mediengegenständen vergleicht.
  • Ähnliche Bezugszeichen in den verschiedenen Zeichnungen zeigen ähnliche Elemente an.
  • Detaillierte Beschreibung
  • Eine Sammlung von Mediengegenständen bzw. -objekten kann gesucht bzw. durchsucht werden, um einen besonderen Gegenstand oder Gegenstände in der Sammlung basierend auf Merkmalen eines Bezugsgegenstands bzw. -objekts zu identifizieren. Die Verwendung eines Bezugsgegenstands zum Suchen bzw. Durchsuchen einer Sammlung von Mediengegenständen ist, wenigstens teilweise, mehrdeutig, da die Merkmale von Interesse in dem Bezugsgegenstand häufig schlecht definiert sind oder unpassend im Hinblick auf ihre Wichtigkeit für die Suche gereiht sind. Beispielsweise ist es typischerweise unklar, welche Merkmale eines Bezugsgegenstands von Interesse sind. Selbst wenn Merkmale von Interesse spezifiziert sind, ist die relative Wichtigkeit von verschiedenen Aspekten der Merkmale, wie beispielsweise Farbe, Textur bzw. Beschaffenheit und Gestalt typischerweise undefiniert. Darüber hinaus beinhaltet der Bezug möglicherweise nicht Merkmale oder Aspekte, welche für einen Anwender bzw. Benutzer von Interesse sind.
  • Durch ein Verwenden von mehrfachen Bezügen zum Charakterisieren und Verfeinern von Suchkriterien kann die Mehrdeutigkeit, welche bei einem Verwenden eines Bezugsgegenstands, um die Suchkriterien zu definieren, inhärent ist, teilweise oder gänzlich gelöst werden. Mehrfache Bezugsgegenstände werden verwendet, um einen zusammengesetzten Bezug und, falls gewünscht, eine Gewichtung von Merkmalen zu erstellen bzw. zu erzeugen. Der zusammengesetzte Bezug und ein beliebiges Gewichten von Merkmalen sind definiert durch ein Evaluieren von Merkmalen der ausgewählten Bezugsgegenstände – beispielsweise durch ein Finden von Gemeinsamkeiten unter oder Unterschiedlichkeiten zwischen den ausgewählten Bezugsgegenständen. Der zusammengesetzte Bezug und/oder der Gewichtung kann weiter mit der Auswahl von zusätzlichen Bezugsgegenständen verfeinert werden. Auf diese Weise kann das Suchkriterium eingestellt werden, um besser eine Suchabsicht eines Anwenders auszudrücken oder zu reflektieren.
  • 1 illustriert ein Verfahren zum Suchen einer Sammlung von Gegenständen basierend auf Merkmalen von mehrfachen Bezugsgegenständen. Zwei oder mehr Bezugsgegenstände sind bzw. werden ausgewählt (Schritt 2). Die Bezugsgegenstände können aus der Sammlung von Gegenständen ausgewählt werden, welche durchsucht werden sollen. Alternativ können die Bezugsgegenstände aus anderen Quellen ausgewählt werden, wie beispielsweise einer vordefinierten Sammlung von Bezugsgegenständen. Die Bezugsgegenstände können auch durch den Anwender zugeführt werden, wie beispielsweise durch ein Importieren eines erwünschten Bezugsgegenstands von einer externen Quelle, oder durch Erzeugen bzw. Erstellen des Bezugsgegenstands, z. B. unter Verwendung eines Zeichen- oder Malprogramms auf einem Computer. Die Bezugsgegenstände werden verwendet, um einen zusammengesetzten Bezug zu erzeugen (Schritt 4). Der zusammengesetzte Bezug kann beispielsweise Information über Merkmale beinhalten, welche den Bezugsgegenständen oder Merkmalen gemeinsam sind, welche in beliebigen der Bezugsgegenstände auftreten.
  • Eine Sammlung oder ein Satz von zu suchenden bzw. durchsuchenden Gegenständen ist bzw. wird identifiziert (Schritt 6). Beginnend mit einem ersten Gegenstand in der Sammlung (Schritt 8) wird der Gegenstand mit dem zusammengesetzten Bezug (Schritt 10) verglichen. Die Ergebnisse des Vergleichs, beispielsweise ein Maß einer Ähnlichkeit, werden typischerweise gesichert oder gespeichert (Schritt 11). Wenn es einen anderen Gegenstand (der JA-Zweig von Schritt 12) in der Sammlung von zu suchenden Gegenständen gibt, wird er mit dem zusammengesetzten Bezug verglichen (Schritte 14 und 10). Das Verfahren setzt fort, bis es keine Gegenstände (der NEIN-Zweig von Schritt 12) in der Sammlung von zu suchenden Gegenständen gibt.
  • Ein Gegenstand oder Gegenstände in der Sammlung von Gegenständen, welche definierte Suchkriterien wenigstens teilweise durch den zusammengesetzten Bezug erfüllen, kann (können) dann ausgewählt werden (Schritt 16), basierend beispielsweise auf der Ähnlichkeit oder Unähnlichkeit des Gegenstands oder der Gegenstände mit dem zusammengesetzten Bezug. Optional können einige oder alle der Gegenstände in der Sammlung gemäß ihrer Ähnlichkeit oder Unähnlichkeit zu dem zusammengesetzten Bezug gereiht werden. Der identifizierte Gegenstand oder die Gegenstände und die Reihung können einem Anwender repräsentiert bzw. dargestellt werden.
  • Wie in 2 gezeigt wird, sind die hierin beschriebenen Suchtechniken typischerweise in einer Computerumgebung implementiert. Beispielsweise verwendet ein Anwender bzw. Benutzer 50 einen Monitor 52, Lautsprecher oder eine andere Vorrichtung, um Information von einem Computer 54 zu empfangen. Der Computer kann beispielsweise ein Personal Computer oder ein Server in einem Netzwerk sein. Eine Sammlung 60 von Mediengegenständen wird im Speicher auf dem Computer 54, beispielsweise in einem Dateisystem oder einer Datenbank gehalten. Der Anwender 50 wählt zwei oder mehr Gegenstände 70, 72, 74 für eine Suche aus der Sammlung 60 aus. Die Gegenstände können von der Sammlung oder von einer anderen Quelle sein. Die Gegenstände können beispielsweise Bilder sein und der Anwender kann wünschen, ein Bild zu finden, welches bestimmte Merkmale mit den ausgewählten Bildern 70, 72, 74 teilt. Eine Zusammensetzung bzw. Zusammenstellung 76 der ausgewählten Gegenstände wird erstellt. Gegenstände in der Sammlung 60 werden dann mit der Zusammensetzung 76 verglichen und ein oder mehrere Bilder 80, 82 werden ausgewählt. Diese Bilder können beispielsweise die Gegenstände in der Sammlung sein, welche am ähnlichsten zu der Zusammensetzung sind. Die Bilder können dann dem Anwender 50 auf dem Computermonitor 52 angezeigt werden. Der Vorgang bzw. Prozeß kann wiederholt werden. Beispielsweise kann die Suche verfeinert werden, indem der zusammengesetzte bzw. -gestellte Bezug 76 oder einer der Anfangs-Bezugsgegenstände 70, 72, 74 und eines der Bilder 80, 82 verwendet werden, welche in der Suche identifiziert wurden.
  • Im allgemeinen ist der Zweck einer Suche unter Verwendung eines Bezugs, Gegenstände in einer Sammlung zu finden, welche irgendwie bzw. auf gewisse Weise zu dem Bezug ähnlich sind. Die Suche wird durch den Bezug bzw. die Referenz und eine Vergleichsfunktion spezifiziert, welche verwendet wird, um die Ähnlichkeit des Bezugs mit den gesuchten Gegenständen festzusetzen bzw. zu beurteilen. Der Bezug kann ein einzelner Gegenstand oder ein zusammengesetzter Bezug sein. Er beinhaltet wenigstens einige Merkmale oder Aspekte von Interesse, kann aber auch Merkmale beinhalten, welche nicht von Interesse sind. Die Vergleichsfunktion kann Gewichte spezifizieren, die die Balance von Merkmalen regeln bzw. steuern, welche beim Beurteilen der Ähnlichkeit betrachtet werden, und kann verwendet werden, um die Suche zu begrenzen oder zuzuschneiden. Beispielsweise kann die Vergleichsfunktion den Bereich bzw. Rahmen bzw. Umfang der Suche definieren, wie beispielsweise, ob sie global oder lokal ausgeführt werden soll, und kann Kriterien für eine Ähnlichkeit spezifizieren, wie beispielsweise den Bereich von Größen oder Ausrichtungen, welche als ähnlich betrachtet werden sollen. Bei der Suche wird die Ähnlichkeit der Gegenstände in der Sammlung zu dem Bezug gemäß der Vergleichsfunktion bestimmt. Die Gegenstände können als mehr oder weniger ähnlich zu dem Bezug gemäß ihren Ähnlichkeitswerten gereiht bzw. geordnet werden, so daß der Anwender beispielsweise den am meisten oder am wenigsten ähnlichen Gegenstand oder einen Satz von mehr oder weniger ähnlichen Gegenständen auswählen kann.
  • Eine Suche, die durch einen Bezug und eine Vergleichsfunktion definiert ist, kann dabei versagen, Gegenstände bereitzustellen, welche eine Suchabsicht eines Anwenders erfüllen, selbst wenn derartige Gegenstände in der Sammlung von gesuchten Gegenständen verfügbar sind. Die Suche kann fokussiert bzw. neu ausgerichtet oder verfeinert werden durch ein Kombinieren von Information für einen zusätzlichen Bezug mit dem vorhergehenden Bezug oder den vorhergehenden Bezügen. Diese Kombination erzeugt zusammengesetzte Bezugsinformation, wenn ein einzelner Bezug vorher verwendet wurde, und definiert zusammengesetzte Bezugsinformation neu, welche vorher verwendet war. Bezüge können beispielsweise kombiniert werden, um Merkmale von beliebigen davon zu beinhalten, oder um Merkmale zu spezifizieren, welche allen davon gemeinsam sind. Die Bezüge können auch verwendet werden, um ein Gewichten von Merkmalen zu definieren, und können verwendet werden, um eine neue Vergleichsfunktion zu definieren. Die zusammengesetzte Bezugsinformation, das Gewichten, wenn überhaupt, und die neue Vergleichsfunktion, wenn überhaupt, definieren neue Suchkriterien, die die Basis für eine neue Suche bilden.
  • Eine Sammlung von zu suchenden bzw. zu durchsuchenden Mediengegenständen kann Bildgegenstände oder -dateien beinhalten, wie auch Ton- bzw. Audiogegenstände oder -dateien, Textgegenstände oder -dateien, und Gegenstände oder Dateien, die Kombinationen von Medienarten beinhalten, wie beispielsweise Bild, Audio und Text. Typischerweise werden derartige Mediengegenstände digitale Daten beinhalten. Bildgegenstände können nach visuellen Merkmalen, wie beispielsweise besondere Gegenstände, Farbe, Textur bzw. Beschaffenheit und Gestalt gesucht werden. Audiogegenstände können nach Ton- bzw. Klangmerkmalen, wie beispielsweise besonderen Tönen bzw. Klängen oder Worten, Klangfarbe, Amplitude und Lautstärke gesucht werden. Ein Textgegenstand, wie beispielsweise ein elektronisches Buch, kann nach Sprachmerkmalen gesucht bzw. durchsucht werden, wie beispielsweise besonderen Worten oder Phrasen, Satzmustern oder grammatikalischen Strukturen.
  • Eine Kombination von Medien kann beispielsweise Audio-, Bild- und Textdaten beinhalten, und kann durchsucht werden beispielsweise nach Audio-, Bild- oder Textmerkmalen. Beispielsweise kann ein Video nach Merkmalen eines besonderen Bilds oder nach Merkmalen einer Stimme einer Person durchsucht werden. Das Video kann durchsucht werden, indem jeder Rahmen als ein getrenntes Bild behandelt wird und jeder Rahmen mit den gewünschten Bildmerkmalen verglichen wird. Auch kann beispielsweise ein Buch, welches sowohl Text und Bilder beinhaltet, nach Bildern durchsucht werden. Die Ähnlichkeit von jedem Bild in dem Buch zu den Bildmerkmalen kann bestimmt werden. Das Buch oder Video kann als mehr oder weniger ähnlich zu den Bildmerkmalen evaluiert werden, beispielsweise basierend auf einem oder mehreren Ähnlichkeitsmaßen der Bilder darin.
  • Medien von unterschiedlichen Arten können kombiniert werden, um Medien derselben oder unterschiedlichen Arten zu durchsuchen. Ein derartiges Mischen von Medien erfordert, daß die Mediengegenstände ähnliche oder analoge Merkmale aufweisen. Unterschiedliche Arten von Mediengegenständen können beispielsweise Merkmale aufweisen, welche nicht spezifisch für die Medienart sind, wie beispielsweise Muster, Variabilität bzw. Veränderlichkeit und Periodizität. Derartige Merkmale können kombiniert und verwendet werden, um Gegenstände ungeachtet von der Gegenstandsart zu durchsuchen. Merkmale von einem Typ bzw. Art können auch in Merkmale einer anderen Art übersetzt oder konvertiert bzw. umgewandelt werden.
  • Wie in 3 gezeigt wird, beinhaltet eine Sammlung oder ein Satz von Mediengegenständen 110 zwei oder mehr Mediengegenstände 111114. Wenn es N Mediengegenstände Ma in dem Satz von Mediengegenständen gibt, dann {Ma} = {M1, M2, ... MN). Ähnlich beinhaltet ein Satz von Bezugsgegenständen 120 einen oder mehrere Mediengegenstand(-gegenstände) 121123. Wenn es Z Bezugsgegenstände, Ra, in dem Satz von Bezugsgegenständen gibt, haben wir {Ra} = {R1, R2, ... RZ}. In diesem Fall sind Z Bezugsgegenstände kombiniert, um N Mediengegenstände zu suchen.
  • Information für jeden von zwei oder mehr Bezugsgegenständen 121123 ist kombiniert, um eine zusammengesetzte Bezugsinformation, Rc 130 zu erzeugen. Die Information kann beispielsweise entsprechend einer Funktion von zwei Bezugsgegenständen, g(Ri, Rj) 132 kombiniert werden. Wenn es nur zwei Bezugsgegenstände, beispielsweise Ra und Rb 121122, gibt, wird Information von jedem der zwei Bezugsgegenstände derart kombiniert, daß Rc = g(Ra, Rb). Wenn es mehr als zwei Bezugsgegenstände gibt, kann ihre Gegenstandsinformation in einer paarweisen Sequenz kombiniert werden. Beispielsweise kann Information für die Bezugsgegenstände Ra und Rb 121122 kombiniert werden, um eine zusammengesetzte Bezugsinformation Rab 25 derart zu erzeugen, daß Rab = g(Ra, Rb). Die zusammengesetzte Bezugsinformation Rab 125 kann dann mit Information über einen dritten Bezugsgegenstand, beispielsweise RZ 123 kombiniert werden, um die zusammengesetzte Bezugsinformation Rc 130 derart zu erzeugen, daß Rc = g(Rab, RZ).
  • Information von einem zusätzlichen Gegenstand oder von anderen kombinierten Gegenständen kann zu bestehender zusammengesetzter Bezugsinformation hinzugefügt werden, um zu erlauben, daß Information für viele Bezugsgegenstände kombiniert wird. Mehr als eine Funktion kann verwendet werden, um Informationen von mehr als zwei Bezugsgegenständen 121123 in dem Satz von Bezugsgegenständen 120 zu kombinieren. Gegenstandsinformation kann durch eine gewichtete Summe von Bezugsgegenstands-Information kombiniert werden. Wenn die Bezugsbilder nach Wichtigkeit gereiht sind, dann kann die Reihung als die Gewichte dienen. Gegenstands- bzw. Objektinformation für mehr als zwei Bezugsgegenstände kann direkt, beispielsweise durch Summieren, eher jedoch durch ein paarweises Anwenden der Funktion g, kombiniert werden.
  • Die zusammengesetzte Bezugsinformation 130 wird mit Information für jeden von zwei oder mehr Mediengegenständen 111114 in der Sammlung oder dem Satz von Mediengegenständen 110 und der Verwendung einer Funktion G 134 verglichen. Die Funktion G bestimmt eine Ähnlichkeit, s 141144, zwischen der zusammengesetzten Bezugsinformation und der Information für jeden Mediengegenstand. Die Ähnlichkeitswerte 141144 können verwendet werden, um die assoziierten bzw. zugehörigen Mediengegenstände 111114 als mehr oder weniger ähnlich zu der zusammengesetzten Information Rc 130 zu reihen, welche aus den Bezugsgegenständen 121123 abgeleitet wurde.
  • Die Funktion G 134 kann Elemente beinhalten, welche ähnlich oder identisch zur Funktion g 132 sind, welche verwendet wird, um Information für zwei oder mehr Bezugsgegenstände zu kombinieren. Beispielsweise kann das Element gs(Mi, Rc) der Funktion G ähnlich oder unähnlich zur Funktion g 132 sein. Auf diese Weise kann ein Anwender unabhängig die Kombination und Vergleichsfunktionen entsprechend der Suchabsicht des Anwenders maßschneidern. Beispielsweise kann ein Anwender Bezüge bzw. Referenzen kombinieren, um einen inklusiven Bezug zu erstellen, und dann nach Objekten suchen, welche genauer dem Bezug ähnlich sind. Auch kann beispielsweise ein Anwender eine Vergleichsfunktion auswählen, welche die Kombinationsfunktion vervollständigt bzw. ergänzt, beispielsweise durch Verwenden einer Vergleichsfunktion, welche auf der Kombinationsfunktion aufbaut.
  • Die Funktion G kann ein Gewichtungselement Ws 150 beinhalten. Das Gewichtungselement kann aus Information für einen oder mehrere der Bezugsgegenstände 121123 abgeleitet werden, beispielsweise durch Kombinieren von Information über jeden von zwei oder mehr Bezugsgegenständen 121123, entsprechend einer Funktion h(Ri, Rj) 152. Wenn es nur zwei Bezugsgegenstände gibt, beispielsweise Ra und Rb 121122, wird Information für jeden der zwei Bezugsgegenstände derart kombiniert, daß WS = h(Ra, Rb). Wenn es mehr als zwei Bezugsgegenstände gibt, kann ihre Gegenstandsinformation in einer paarweisen Sequenz, wie vorangehend beschrieben wurde, derart kombiniert werden, daß beispielsweise WS = h(Rab, RZ), wo Rab = h(Ra, Rb). Die Funktion h ist typischerweise identisch mit der Funktion g, in welchem Fall h(Ra, Rb) = g(Ra, Rb) und Rc = WS.
  • Information, welche verwendet wird, um die Merkmale von Mediengegenständen zu charakterisieren, kann durch einen Satz von Parametern summiert bzw. zusammengefaßt werden. Beispielsweise kann Information, welche einen Mediengegenstand charakterisiert, als eine Serie von Werten in einem Vektor summiert werden, welcher als ein ”Merkmalsvektor” bezeichnet wird. Ein Merkmalsvektor beinhaltet vorzugsweise Information, welche durch ein Analysieren eines Teils oder der Gesamtheit eines Mediengegenstands mit einem oder mehreren besonderen analytischen Verfahren erzeugt oder abgeleitet ist. Ein Merkmalsvektor kann auch Information beinhalten, welche mit dem Gegenstand oder der Analyse des Gegenstands assoziiert ist. Eine derartige Information wird üblicherweise als Metadaten bezeichnet.
  • Ein Beispiel einer Suche, welche Merkmalsvektoren verwendet, um Information für mehrfache Bezüge zu kombinieren und einen Satz von Mediengegenständen zu suchen bzw. zu durchsuchen, wird in 4 gezeigt. Jeder Mediengegenstand 111114 in einem Satz von Mediengegenständen 110 kann einen entsprechenden Merkmalsvektor VM 211214 aufweisen. Wenn es N Mediengegenstände Ma in einem Satz von Mediengegenständen gibt, haben wir {Ma} = {M1, M2, ... MN} und N entsprechende Merkmalsvektoren VM1, VM2, ... VMN. In ähnlicher Weise weist jeder Mediengegenstand 121123 in einem Satz von Bezugsgegenständen 120 einen entsprechenden Merkmalsvektor VR 221223 auf. Wenn es X Bezugsgegenstände Ra in dem Satz von Bezugsgegenständen gibt, haben wir {Ra} = {R1, R2, ... RX} und Z entsprechende Merkmalsvektoren VR1, VR2, ... VRZ. Die Merkmalsvektoren für die Medien- und Bezugsgegenstände werden typischerweise dieselben oder ähnliche Komponenten aufweisen.
  • Die Merkmalsvektoren 221223 entsprechend dem Satz 120 von Bezugsgegenständen 121123 sind bzw. werden kombiniert, um einen zusammengesetzten Bezugsvektor 250 zu erzeugen. Die Merkmalsvektoren 221223 können beispielsweise entsprechend einer Funktion von zwei Merkmalsvektoren fc(Vi, Vj) 232 beispielsweise in einer paarweisen Art kombiniert sein, wie dies vorangehend für Information über Bezugsgegenstände beschrieben wurde.
  • Der zusammengesetzte Bezugsvektor 230 wird mit den Merkmalsvektoren 211214 für jeden von zwei oder mehreren Mediengegenständen 111114 in der Sammlung von Mediengegenständen 110 unter Verwendung einer Funktion, wie beispielsweise Tr[WS·fS(Vi, Vr)] 234, verglichen, wo Tr die Summe der Komponenten in dem Vektor [WS·fS(Vi, Vr)] anzeigt. Wenn es Z Komponenten c in jedem der Vektoren WS, Vi und Vr gibt, dann Tr[WSfs(Vi, Vr)] = Σ(c=1..Z)[WS[c]fs(Vi[c], Vr[c])]. Beispielsweise, wenn [Werkstück·fS(Vi, Vr)] = X und X weist Z Komponenten auf, dann Tr[WS·fS(Vi, Vr)] = TrX = X1 + X2 + X3...XZ. Betreffend die Funktion G 134, welche vorhergehend besprochen wurde, bestimmt die Funktion Tr[WS·fS(Vi, Vr)] 234 Ähnlichkeit si 141144 zwischen dem zusammengesetzten Bezugsvektor und einem Merkmalsvektor für einen Mediengegenstand i 111114. Die Ähnlichkeitswerte können verwendet werden, um die assoziierten bzw. zugeordneten Mediengegenstände 111114 als mehr oder weniger ähnlich zu dem zusammengesetzten Bezugsvektor 230 zu reihen, welcher von den Merkmalsvektoren 221223 der Bezugsgegenstände 121123 abgeleitet wurde.
  • Die Funktion Tr[WS·fS(Vi, Vr)] 234 kann Elemente beinhalten, welche ähnlich oder identisch zu Elementen der Funktion Wc·fc(Vi, Vj) 232 sind. Beispielsweise kann es sein, daß fs(Vi, Vr) = fc(Vi, Vj). Die Funktion Tr[WS·fs(Vi, Vr)] 234 kann auch ein Gewichtungselement WS 250 beinhalten. Das Gewichtungselement kann von den Merkmalsvektoren 221223 für einen oder mehrere der Bezugsgegenstände 121123 abgeleitet sein bzw. werden. Ein Gewichtungselement kann beispielsweise gemäß einer Funktion von zwei Merkmalvektoren Ww·fw(Vi, Vj) 252 abgeleitet sein, welche in einer paarweisen wiederholenden Weise angewendet werden, wie dies vorhergehend beschrieben wurde, um die Merkmalsvektoren für mehrfache Bezugsgegenstände zu kombinieren.
  • Die Funktion Ww·fw(Vi, Vj) 252 kann Elemente beinhalten, welche ähnlich oder identisch zu Elementen der Funktionen Wc·fc(Vi, Vj) 232 oder Tr[Ws·fs(Vi, Vr)] 234 sind. Beispielsweise kann es sein, daß fw(Vi, Vj) = fc(Vi, Vj) oder fw(Vi, Vj) = fs(Vi, Vr). In ähnlicher Weise kann es sein, daß Ww = Wc oder Ws = Wc.
  • Die Merkmalsvektoren für Mediengegenstände, welche Bezugsmediengegenstände beinhalten, werden nun detaillierter besprochen werden. Ein Merkmalsvektor ist typischerweise ein eindimensionaler Vektor von Komponenten. Beispielsweise ist der Merkmalsvektor V eine Serie von W Komponenten, so daß V = {V1, V2, ... VW}.
  • Wie in 5 gezeigt wird, kann ein Merkmalsvektor 300, 302; 350, 352 Sätze von Komponenten 310, 301314; 321, 330334 beinhalten. Die Komponenten eines Merkmalsvektors können in Sätzen und Subsätzen gemäß beispielsweise der Art von Information der Komponenten oder des Verfahrens gruppiert sein, durch welche die Komponenten erzeugt oder abgeleitet wurden. Beispielsweise die ersten 1000 Komponenten eines Merkmalsvektors können von einer Analyse des Mediengegenstands abgeleitet sein und die letzten 3 Komponenten des Merkmalsvektor können Information sein, welche mit dem Mediengegenstand assoziiert ist. In diesem Beispiel können die ersten 1000 Komponenten beispielsweise aus einem Bestimmen der Proportion des Bilds abgeleitet sein, das ist jede von 1000 Farben, und die letzten 3 Komponenten können beispielsweise das Datum und die Zeit sein, zu dem (der) der Gegenstand erzeugt wurde, und der Dateiname des Gegenstands.
  • Komponenten von einigen Sätzen können von dem Mediengegenstand abgeleitet werden. Beispielsweise kann ein Merkmalsvektor für einen Bildgegenstand Sätze von Komponenten beinhalten, welche Textur bzw. Beschaffenheit T 310, Farbe C 311 und Gestalt S 311 beschreiben, von denen jeder durch Analyse von einigen oder der Gesamtheit der Bilddaten abgeleitet wurde. Auch als Beispiel kann ein Merkmalsvektor 350, 352 für einen Audiogegenstand Sätze von Komponenten beinhalten, welche eine Fourier-Transformations-Information F 330 Elementarwellen-Dekompositions-Information W 331 und Fraktalmaße Fr 322 beschreiben, von welchen jede durch Analyse von einigen oder der Gesamtheit der Audiodaten abgeleitet wurde. Ein Merkmalsvektor kann Komponenten beinhalten, welche aus der Analyse von mehr als einer Art von Medien in dem Gegenstand abgeleitet wurden. Beispielsweise kann ein Merkmalsvektor für einen audio-visuellen Gegenstand fraktale Maße beinhalten, welche aus der Analyse von kombinierten Audio- und visuellen Teilen oder Aspekten des Gegenstands abgeleitet wurden.
  • Komponenten von anderen Sätzen können Information, welche mit dem Bild oder Audiogegenstand assoziiert ist, oder Metadaten beinhalten. Beispielsweise kann ein Satz D 313, 330 den Dateinamen und das Datum und die Zeit beinhalten, zu welcher der Bild- oder Audiogegenstand erzeugt kopiert oder gespeichert wurde, und der Satz M 314, 334 kann Information über die Analysen beinhalten, welche verwendet wurden, um die Komponenten in anderen Sätzen abzuleiten.
  • Die Anzahl von Komponenten in einem Merkmalsvektor 300, 350 ist die Summe der Anzahl von Komponenten in jedem Satz von Komponenten in dem Merkmalsvektor. Beispielsweise weist, wenn es J, K, L, 2 und D Komponenten in Sätzen T, C, S, A und M jeweils gibt, dann weist der Merkmalsvektor 300 J + K + L + 2 + D Komponenten auf. D. h., Vi = {Ti(i = 1...J), Ci(i = J + 1...J + K), Si(i = J + K + 1...J + K + L), Ai(i = J + K + L + 1...J + K + L + 2), Mi(i = J + K + L + 3...J + K + L + 2 + D)}. In ähnlicher Weise weist, wenn es U, V, W, 2 und D Komponenten in Sätzen F, W, Fr, A und M jeweils gibt, dann der Merkmalsvektor 350 U + V + 2 + D + W Komponenten auf.
  • Verschiedene numerische und statistische Verfahren können verwendet werden, um die Komponenten in einem Satz in dem Merkmalsvektor eines Bildgegenstands abzuleiten oder zu erstellen bzw. zu erzeugen. Die Verfahren, welche verwendet werden, können von der Art von Daten in dem Gegenstand abhängen. Beispielsweise können Bildgegenstände Rastergraphiken und Rasterdaten oder Vektorgraphiken und Vektordaten enthalten. Vektordaten können verwendet werden, um Komponenten zu erzeugen, welche beispielsweise die Anzahl von Gegenständen und Takten bzw. Strichen in dem Bild oder die Anzahl von bestimmten Spezialeffekten in dem Bild beschreiben.
  • Im Gegensatz zu Vektordaten müssen Rasterdaten segmentiert oder auf andere Weise analysiert sein bzw. werden, um Gegenstände oder Gestalten bzw. Formen in einem Bild zu identifizieren. Formen können beispielsweise bestimmt werden, indem Bereiche bzw. Regionen von ungefähr gleichbleibender Farbe bestimmt werden. Rechtwinkelige bzw. rechteckige Gestalten bzw. Formen können unter Verwendung des Verfahrens gefunden werden, welches in US-Patent Nr. 6,298,157 beschrieben wurde, ”Auffinden und Ausrichten von eingebetteten Bildern”, welches hiermit durch Bezug in seiner Gesamtheit miteinbezogen bzw. aufgenommen ist. Ein Rasterbild kann beispielsweise, durch ein Aus- bzw. Flutfüllen von Bereichen ähnlicher Farbe und Beschaffenheit, segmentiert sein, wobei Strafen für ein Schneiden bzw. Kreuzen von Kanten bzw. Rändern auferlegt sind.
  • Komponenten in einem Gestalt- bzw. Formsatz S 312 eines Raster- oder Vektorbildgegenstands können erzeugt oder abgeleitet werden, indem Gestalten bzw. Formen in dem Bild gefunden oder definiert werden und dann Gestalt- bzw. Formcharakteristika bzw. -merkmale für jede Gestalt bzw. Form gemessen werden. Gestaltcharakteristika können beispielsweise Maße einer Symmetrie, Elliptizität oder Plattheit bzw. Gestrecktheit beinhalten. Formcharakteristika können beispielsweise als die fraktale Dimension des Umfangs oder einfacher, als eine Liste bzw. Auflistung von Punkten entlang der Kurve des Umfangs der Gestalt oder eine Auflistung von anliegenden Winkeln entlang des Umfangs definiert werden.
  • Komponenten in dem Farbsatz C 311 eines Bildgegenstands können erzeugt oder abgeleitet werden, indem das Bild entsprechend einem oder mehrerer Farbräume analysiert wird. Ein Farbraum stellt eine Datendarstellung für einen Bereich von Farben im Hinblick auf grundlegende Farbkomponenten (oder ”Färbemittel”) zur Verfügung. Die bestimmten Färbe- bzw. Farbmittel hängen von dem verwendeten Farbsystem ab. Beispielsweise werden in dem CMYK-Farbsystem Farben als Kombinationen von Werten für Cyan (C), Magenta (M), Gelb (Y) und Schlüssel (K) (im allgemeinen schwarz) repräsentiert bzw. dargestellt; in einem RGB-Farbsystem werden Farben als Kombinationen von Werten für Rt (R), Grün (G) and Blau (B) repräsentiert; und in dem HSB-Farbsystem werden Farben als Kombinationen von Werten für Farbton (H), Sättigung (S) und Helligkeit (B) repräsentiert.
  • Farbkomponenten können beispielsweise Maße für die mittlere und Standardabweichung von Farben in dem Bild beinhalten, oder eine Liste bzw. Auflistung der dominanten oder gebräuchlichsten Farben. Farbkomponenten können eine Frequenzverteilung von Farben oder die Entropie einer derartigen Verteilung beschreiben. Farbkomponenten können die Produkte von räumlichen Koordinaten mit Farbe beinhalten. Beispielsweise können Komponenten durch <r C> definiert sein, wo r der Vektor der räumlichen Abmessungen ist und C der Vektor der Farbdimensionen ist. <r C> ist definiert als 1/RΣr=1...R(riCa(r)), wo R Orte r sind, und wo ri eine der räumlichen Koordinaten bei r ist und Ca(r) eine der Farbdimensionen für die Farbe bei r ist. Derartige Produkte können höhere räumliche Frequenzen beinhalten, beispielsweise <r r C> = 1/RΣr=1...R(rirjCa(r)) oder <r r r C>. Komponenten können die mittlere und Standardabweichung für die Produkte von räumlichen Koordinaten mit Farbe beinhalten.
  • In einer Frequenzverteilung von Farben kann beispielsweise jede der Komponenten in dem Satz C 311, p(Ci), die Frequenz eines Auftretens in dem Bild von einer der K Farben repräsentieren. D. h., jede Komponente kann den teilweisen bzw. Bruchteilsbereich des durch eine Farbe Ci abgedeckten Bilds beschreiben. Beispielsweise kann ein Bild in fünf Farben derart aufgeteilt sein, daß ein Fünftel des Bilds eine Farbe ist, ein Zehntel eine andere Farbe ist, drei Zehntel eine dritte sind, drei Zehntel eine vierte Farbe sind, und ein Zehntel eine fünfte Farbe ist. Der Satz C für ein derartiges Bild ist {0,2, 0,1, 0,3, 0,3, 0,1}. Der Satz C kann als ein Frequenz-Plot 500 betrachtet werden, wie dies in 7 gezeigt wird.
  • Für Rasterdaten ist ein Bild aus Pixeln bzw. Bildpunkten hergestellt und jedes Pixel r ist von einer bestimmten Farbe C(r). Die Farbe wird typischerweise durch eine Serie von Bits (dem ”Farbwert”) repräsentiert, wobei bestimmte Bits den Betrag von jedem Farbmittel bzw. Farbstoff anzeigen, das (der) in der Farbe verwendet wird, wie dies vorhergehend diskutiert wurde. Der Wert p(Ci) kann als die Anzahl von Pixeln der Farbe i dividiert durch die Gesamtanzahl von Pixeln R berechnet werden. Das heißt: p(Ci) = 1/R Σr=1...RΔ(Ci, C(r)), wo
    Δ(Ci, C(r)) = 1, wenn für C(r) gefunden wurde, daß es gleich wie die Farbe Ci ist, und
    0, wenn C(r) nicht gefunden wurde, gleich zu sein wie die Farbe Ci.
  • In diesem Beispiel ist die Summe der p(Ci) über alle möglichen Farben in einem Bild eine Einheit: Σi=1...Kp(Ci) = 1.
  • Jedoch sind Funktionen, welche nicht die Eigenschaft eines Summierens zu einer Einheit aufweisen, möglich und können ebenfalls verwendet werden. Beispielsweise kann die Funktion p(Ci) = Σr=1...RΔ(Ci, C(r)), für welche Σi=1...Kp(Ci) = R verwendet werden. Auch kann zum Beispiel ein unvollständiger Satz von Eigenschaften verwendet werden. Beispielsweise kann ein Farbraum in K Farben aufgeteilt werden, jedoch kann Information für nur einige H von diesen Farben kann in dem Merkmalsvektor enthalten sein. D. h., wenn Σi=1...Kp(Ci) = 1, kann der Merkmalsvektor nur Ci beinhalten, wo i = 1...H und H < K, so daß Σi=1...Hp(Ci) < 1.
  • Für Vektordaten kann eine ähnliche Farbverteilungstabelle durch andere Mittel hergestellt werden. Beispielsweise kann ein Gitter bzw. Raster auf den Daten aufgezeichnet werden und jede Zelle in dem Gitter kann dann behandelt werden, wie ein Pixel behandelt werden würde, um die Farbverteilung zu berechnen. Auch kann beispielsweise das Bild in konstante Farbbereiche bzw. Regionen konstanter Farbe unterteilt oder abgeflacht werden, und Einträge können in der Farbverteilungstabelle im Verhältnis zur Größe der Bereiche bzw. Regionen der entsprechenden Farbe angeordnet werden. In noch einem anderen Beispiel kann eine Farbverteilung aus der Verteilung von Zeilen bzw. Linien und Füllfarben von individuellen Vektorgegenständen in dem Bildgegenstand hergestellt bzw. erzeugt werden.
  • Komponenten in einem Textursatz T 310 eines Raster- oder Vektorbildgegenstands können erzeugt oder abgeleitet werden, indem beispielsweise die statistischen Momente von Gabor-Filter-Werten für die Bilddaten berechnet werden. Eine derartige Analyse fängt Kanten- bzw. Eckeninformation in dem Bild ein. Texturkomponenten können fraktale Maße des Bilds sein. Texturkomponenten können auch Koeffizienten für eine Grundwellenzerlegung oder Fourier-Transformation der Bilddaten sein, oder die Mittelwerte und Standardabweichungen der Koeffizienten. Korrelationen zwischen Farbkomponenten an zwei oder mehreren Stellen können als Texturkomponenten verwendet werden.
  • Numerische und statistische Verfahren beinhaltend jene, welche verwendet wurden, um die Komponenten in einem Merkmalsvektor eines Bildgegenstands abzuleiten oder zu erzeugen, können verwendet werden, um die Komponenten in einem Merkmalsvektor 320 eines Audiogegenstands abzuleiten oder zu erstellen bzw. zu erzeugen. Merkmale können für die Audiospur insgesamt bzw. als Ganzes berechnet werden oder für jedes von zwei oder mehreren Segmenten der Spur. Die Komponenten von F 330 können beispielsweise von einer Fourier-Transformation bzw. -Transformierten der Audiodaten abgeleitet werden. Die Komponenten von W 331 können beispielsweise von einer Wavelet- bzw. Grundbildzerlegung der Audiodaten abgeleitet werden. Die Komponenten von Fr 332 können beispielsweise die fraktale Dimension der Daten sein, oder die Standardabweichung der fraktalen Dimension. Komponenten in dem Merkmalsvektor eines Audiogegenstands können eine Leistungsverteilung von Audiofrequenzen beinhalten, ähnlich zur Verteilung von Farbe, wie dies vorhergehend besprochen wurde.
  • Wie in 6 gezeigt wird, kann ein Merkmalsvektor 400, 401 für einen Mediengegenstand, welcher sowohl Bild- als auch Audioinformation beinhaltet, wie beispielsweise eine Compact Disk oder CD einen Satz von Bildkomponenten 403 und einen Satz von Audiokomponenten 404 ebenso wie Komponenten beinhalten, die den Gegenstand in seiner Gesamtheit beschreiben, wie dies vorhergehend beschrieben wurde. Die Bildkomponenten können Komponenten und Sätze von Komponenten 310314 wie für einen Bildgegenstand beinhalten, wie dies vorhergehend diskutiert wurde, und die Audiokomponenten können Komponenten und Sätze von Komponenten 330334 wie für einen Audiogegenstand beinhalten, wie dies vorhergehend diskutiert wurde.
  • Ein Merkmalsvektor 420, 422 für einen Videogegenstand kann mehrfache bzw. Mehrfachsätze von Bildkomponenten 423 und Audiokomponenten 424 beinhalten. Beispielsweise kann, der Merkmalsvektor einen Satz von Bildkomponenten für Schlüssel- bzw. Hauptrahmen in dem Video beinhalten. Es kann Komponenten geben, welche zeitweilige bzw. temporäre Beziehungen unter Bildern beschreiben, wie beispielsweise die Anzahl von Szenenwechseln und ihre Dauer. Ein Maß eines optischen Flusses kann verwendet werden, um den Betrag bzw. die Menge einer Bewegung in dem Video zu beschreiben; dieses Maß kann beispielsweise verwendet werden, um Überwachungsbänder mit Aktivität von jenen ohne Aktivität zu unterscheiden. Ein Merkmalsvektor für ein Video kann auch Komponenten 433 beinhalten, welche von einem Teil oder der Gesamtheit des Gegenstands abgeleitet wurden, wie dies vorhergehend diskutiert wurde, und Metadaten 434 für einen Teil oder die Gesamtheit des Gegenstands.
  • Ähnliche Verfahren können verwendet werden, um die Merkmalsvektorkomponenten von unterschiedlichen Arten von Mediengegenständen oder unterschiedlichen Segmenten von einem Kombinationsmediengegenstand abzuleiten oder zu erzeugen. Beispielsweise können eine Cepstral-Zerlegung, in welcher beispielsweise Fourier- oder Wavelet- bzw. Grundwellenfrequenz-Komponenten, welche über ein örtliches Zeitfenster genommen werden, als eine Funktion der Zeit (d. h., Anordnung in der Audiospur) graphisch dargestellt bzw. geplottet werden, verwendet werden, um ein zweidimensionales ”Bild” des Audiosignals zu erzeugen. Ein derartiger zweidimensionaler Audiogegenstand kann dann mit Komponenten wie für einen Bildgegenstand beschrieben werden. Beispielsweise kann ein Audiotexturmerkmal durch eine Grundwellenzerlegung des zweidimensionalen Audiogegenstands oder Segments hergestellt werden, während ein Bildtexturmerkmal durch eine Grundwellenzerlegung eines Bildgegenstands oder Segments hergestellt werden kann. Die zeitweiligen bzw. temporären Frequenzen des Audiogegenstands können dann auf den räumlichen Frequenzen des Bilds aufgezeichnet werden. Mit einer geeigneten Auswahl von Maßstäben können Merkmale, welche für Audio- und Bildgegenstände oder -segmente erstellt wurden, kombiniert und verglichen werden.
  • Ein Merkmalsvektor für einen Textgegenstand kann Komponenten beinhalten, welche den gesamten Text oder Teile davon, beispielsweise Kapitel oder Absätze bzw. Paragraphen charakterisieren. Die Komponenten können von statistischen Maßen von Teilen des Texts abgeleitet werden, wie beispielsweise das Zusammentreffen bzw. gleichzeitige Antreffen von Wahrscheinlichkeiten von semantischen Konzepten oder Worten, beispielsweise unter Verwendung von Bigrammen, Trigrammen, usw. Text kann auf einen semantischen Baum aufgezeichnet bzw. katalogisiert werden, welcher als das Merkmal verwendet wird.
  • Komponenten in dem Merkmalsvektor eines Textgegenstands können eine Verteilung von Frequenzen von Worten oder anderen Konstrukten beinhalten, analog bzw. ähnlich zur Verteilung von Farbe, wie dies vorhergehend besprochen bzw. diskutiert wurde. Verfahren bzw. Methoden, welche zu diesen ähnlich sind, und andere, welche vorangehend beschrieben wurden, können verwendet werden, um Komponenten für Merkmalsvektoren von anderen Arten von Medien abzuleiten oder zu erzeugen.
  • Die Funktionen 232, 234 zum Kombinieren und Vergleichen von Merkmalsvektoren werden nun in größerem Detail beschrieben werden. Diese Funktionen 232, 234 beinhalten typischerweise eine Funktion f von zwei Merkmalsvektoren, können aber eine Funktion von mehr als zwei Merkmalsvektoren beinhalten. Die Funktion f evaluiert typischerweise eine oder mehrere Komponente(n) der Merkmalsvektoren. Typischerweise findet die Funktion keinen euklidischen Abstand zwischen zwei oder mehreren Vektoren. Die Funktion repräsentiert eine Kombination der Merkmale, welche durch die Merkmalsvektoren beschrieben sind bzw. werden. Beispielsweise kann die Funktion den Schnitt oder die Vereinigung von Merkmalen annähern. Die Funktion kann andere, nicht euklidische Kombinationen von Merkmalen ebenfalls annähern. Zwei Beispiele einer derartigen Funktion werden nun in größerem Detail diskutiert werden.
  • Wie in 7 gezeigt wird, können die Komponenten von zwei Merkmalsvektoren 500, 510 kombiniert oder verglichen werden, beispielsweise durch Bestimmen von deren gemeinsamen Minimums, Min 520, oder gemeinsamen Maximums, Max 530. In diesem Beispiel werden die Komponenten in dem Satz C der Merkmalsvektoren V1 500 und V2 510 skaliert, um von 0 bis 1 zu reichen, wie dies vorhergehend diskutiert wurde. Für V1 500, C = {0,2, 0,1, 0,3, 0,3, 0,1), wobei dies anzeigt bzw. andeutet, daß ein Fünftel des ersten Bilds C1 ist, ein Zehntel C2 ist, drei Zehntel C3 sind, drei Zehntel C4 sind, und ein Zehntel C5 ist. Die Summe der Komponenten ist 1,0, da alle Farben in dem ersten Bild tabellarisch angeordnet bzw. tabuliert wurden. Für V2 510, C = {0,2, 0,1, 0,3, 0,1, 0,3}, wobei dies anzeigt, daß ein Fünftel des zweiten Bilds C1 ist, ein Zehntel C2 ist, drei Zehntel C3 sind, ein Zehntel C4 ist und drei Zehntel C5 sind. Die Summe der Komponenten ist 1,0, da alle Farben in dem zweiten Bild tabellarisch angeordnet wurden.
  • Eine Min-Funktion bestimmt den Schnitt der Sätze oder Funktionen, welche durch zwei Vektoren definiert sind. Die Vektoren V1 und V2 werden kombiniert oder verglichen unter Verwendung einer ”Min” 520 Funktion durch ein Bestimmen des kleineren der Werte für die zwei Vektoren für jede Komponente. Beispielsweise ist der Wert von C4 für V1 0,3 und der Wert von C4 für V2 ist 0,1. Der kleinere Wert 0,1 ist in dem resultierenden Kombinations- oder Vergleichsvektor VN 521 dargestellt. In diesem Beispiel weist der Kombinations- oder Vergleichsvektor Vmin = VN, C = {0,2, 0,1, 0,3, 0,1, 0,1) auf. Für einen sehr großen Satz können die Komponenten von C eine stetige bzw. kontinuierliche Funktion 600, 610 annähern, wie in 8 gezeigt wird. Die Anwendung einer Min-Funktion 620 an zwei versetzten und ungefähr normalen Funktionen 600, 610 erzeugt eine mit einer Spitze versehene Kurve 621, welche den Bereich einer Überlappung der zwei Funktionen darstellt.
  • Eine Max-Funktion bestimmt die Vereinigung der Sätze oder Funktionen, welche durch zwei Vektoren definiert sind. Die Vektoren V1 und V2 werden kombiniert oder verglichen unter Verwendung einer ”Max” 530-Funktion durch Bestimmen des größeren der Werte für die zwei Vektoren für jede Komponente. Beispielsweise ist der Wert von C5 für V1 0,1 und der Wert von C5 für V2 ist 0,1. Der größere Wert 0,3 ist in dem resultierenden Kombinations- oder Vergleichsvektor 531 repräsentiert. In diesem Beispiel weist der Kombinations- oder Vergleichsvektor Vmax = VX, C = {0,2, 0,1, 0,3, 0,3, 0,3} auf Für einen sehr großen Satz von Komponenten, welche eine stetige Funktion 600, 610 annähern, wie in 8 gezeigt wird, erzeugt die Anwendung einer Max-Funktion 630 an zwei versetzten und annähernd normalen Funktionen 600, 610 eine bimodale oder abgeflachte Kurve 631. Die bimodale oder abgeflachte Kurve repräsentiert den kombinierten Bereich unter den zwei Funktionen.
  • Die Min- oder Max-Funktion können an Merkmalsvektoren oder Sätze in Merkmalsvektoren angewendet werden, welche fortlaufend valuierte bzw. bewertete Komponenten aufweisen. D. h., die Verwendung von derartigen Funktionen erzeugt aussagekräftige Resultate, wenn die Stärke von jeder Komponente, an welche sie angewendet wird, monoton mit dem Wert der Komponente zunimmt oder abnimmt. Jede Wahrscheinlichkeits-Verteilung erfüllt dieses Kriterium, so daß die Anwendung der Min- oder Max-Funktion aussagekräftige Resultate erzeugt.
  • Andere Komponenten können dieses Kriterium erfüllen. Beispielsweise können Datum und Zeit, zu welchen ein Gegenstand erstellt wurde, in seinem Merkmalsvektor als eine einzelne zusätzliche bzw. Zusatzkomponente enthalten sein. Wenn der Wert der Komponente die Zeit von einer gewissen Ausgangszeit ist, dann erfüllt die Merkmalskomponente das Kriterium. Die Kombination von zwei derartigen Merkmalskomponenten mit der Min-Funktion wird die frühere Erzeugungszeit erzeugen bzw. bereitstellen, wohingegen die Kombination mit der Max-Funktion die spätere Erzeugungszeit erzeugt. Auch kann zum Beispiel die dominante Bildfarbe in einem Merkmalsvektor als ein einzelner Wert enthalten sein, beispielsweise die Summe der Rot-, Grün-, und Blaukomponente der Farbe. Das Minimum von zwei dominanten Farben von unterschiedlichen Intensitäten bzw. Stärken ist eine ähnliche Farbe mit reduzierter Intensität, welche das Kriterium erfüllt.
  • Die meisten fortlaufend bewerteten Komponenten können in eine Serie von Komponenten übersetzt werden, für welche eine Anwendung einer Funktion, wie beispielsweise Min oder Max, das Kriterium erfüllt. D. h., die meisten Merkmale können zu einer Verteilungsfunktion durch ein Einstufen bzw. Kategorisieren bzw. Binning aufgezeichnet werden. Beispielsweise kann die Erzeugungszeit eines Gegenstands als eine Serie von Behältern bzw. Bins ausgefüllt werden, wie beispielsweise einer für jeden Tag des Jahres p(Tag), und einer für jedes einer Anzahl von Jahren p(Jahr). Wenn der Gegenstand am Tag = 10 und Jahr = 20 erstellt wurde, dann p(10) = 1, p(20) = 1, und alle anderen Werte für p(Tag) und p(Jahr) sind null. In ähnlicher Weise und beispielsweise können die potentiellen Werte für ein Texturmaß t in Bins aufgeteilt werden. Wenn t von 0 bis 1 reicht, können die Bins bzw. Behälter beispielsweise definiert werden, wie folgt:
    Bin Bereich der Werte von t
    1 0,0 zu < 0,1
    2 0,1 zu < 0,3
    3 0,3 zu < 0,7
    4 0,7 zu < 0,9
    5 0,9 zu 1,0
  • Jeder Bin bzw. Behälter bzw. jede Kategorie ist eine Komponente des Merkmalsvektors T und kann den Wert von 1 oder 0 annehmen, so daß beispielsweise wenn t = 0,3, dann T = {0, 0, 1, 0, 0}. Diese Technik arbeitet für jedes Merkmal, dessen Wert einen finiten bzw. endlichen Bereich aufweist, oder für einen beliebigen Satz von Werten. Eine Komponente, deren Wert einen infiniten bzw. unendlichen oder sehr großen Bereich aufweist, kann in einen kleineren finite bzw. endlichen Bereich übersetzt werden. Beispielsweise kann die Anzahl von Worten in einem Dokument, n, von 0 bis Millionen reichen, kann aber als n' = log(n + 1) übersetzt werden, welches einen kleineren und begrenzten bzw. finiten Bereich aufweist.
  • Eine Min- oder Max-Funktion kann verwendet werden, um Merkmale von unterschiedlichen Arten von Gegenständen zu kombinieren oder zu vergleichen. Beispielsweise können Merkmale, welche nicht spezifisch für die Art von Medium sind, zu Gegenständen bzw. Objekten ohne Rücksicht auf ihre Gegenstands- bzw. Objektart kombiniert und verglichen werden, wie dies oben diskutiert wurde. Merkmale, welche für eine Art von Medium spezifisch sind, können in Merkmale einer anderen Art übersetzt oder umgewandelt werden und dann mit Gegenständen der letzteren Art kombiniert oder verglichen werden. Beispielsweise kann die Frequenzverteilung von Wellenlängen für einen Audiogegenstand zu einer Frequenzverteilung von Farben aufgezeichnet bzw. katalogisiert werden, indem Audiowellenlängen zu Farbwellenlängen aufgezeichnet werden. Eine Proportionalitäts-Konstante oder -Funktion kann verwendet werden, um die eine zur anderen umzuformen bzw. umzuwandeln, so daß beispielsweise die Verteilungen ähnliche Bereiche aufweisen, oder so daß die Verteilungen für besondere Audio- und Bilddaten ähnliche Formen bzw. Gestalten aufweisen. Wenn die Audio- und Farbwellenlängen-Verteilungen ähnliche Bin-Strukturen aufweisen, können sie auf eine aussagekräftige bzw. sinnvolle Art und Weise verglichen oder kombiniert werden.
  • Die Funktion, die verwendet wird, um die Ähnlichkeit zwischen den gesuchten Gegenständen und dem Bezug G[WS, gs(Mi, Rc)] 134 zu evaluieren, kann zugeschnitten bzw. maßgeschneidert werden, um die verwendete Funktion zu komplementieren bzw. zu ergänzen, um die Gegenstände zu kombinieren und den Bezug herzustellen, wie dies vorhergehend diskutiert wurde. Beispielsweise kann das Ähnlichkeitsmaß auf der Vergleichsfunktion basieren. Eine Funktion, wie beispielsweise Min(V1, V2) oder Max(V1, V2) definiert jeweils einen Kombinationsvektor, wie beispielsweise Vmin oder Vmax. Die Summe oder Spur Tr der Komponenten in einem Kombinations- oder Vergleichsvektor, wie beispielsweise Vmin, kann eine Anzeige der Ähnlichkeit s zwischen den verglichenen bzw. in Beziehung gesetzten Vektoren Vi und Vj sein. Somit kann die Ähnlichkeit der Vektoren i und j definiert sein als die Spur einer Kombinationsfunktion, wie sie auf jene Vektoren angewendet wurde. Das heißt, s(Vi, Vj) = Trf(Vi, Vr) = TrVmin
  • Beispielsweise summieren sich die Komponenten der Vektoren V1 500 und V2 510 jeweils zur Einheit, jedoch summieren sich die Komponenten des Vektors VN 521 zu 0,8, so daß s(V1, V2) = TrVN = 0,8. Dieses Maß zeigt an, daß die Vektoren V1 und V2 zu 80% ähnlich sind.
  • Die Funktion f wird typischerweise ausgewählt, um einen Vektor zurückzugeben bzw. umzukehren, so daß die Summe seiner Komponenten zwischen 0 und 1 inklusive liegt, wo 0 keine Ähnlichkeit anzeigt und 1 eine vollständige Ähnlichkeit, d. h. Identität anzeigt. Im allgemeinen wird, wenn ein Satz von Komponenten in zwei Merkmalsvektoren standardisiert ist, so daß die Summe der Komponenten eine Eins bzw. Einheit ist, ein Vektor, welcher durch die Anwendung der Min-Funktion abgeleitet wurde, derartige Eigenschaften aufweisen. Wenn die Gegenstände identisch in den Attributen sind, welche durch den Satz von Komponenten in dem Merkmalsvektor charakterisiert sind, dann summieren sich die Komponenten von Vmin zur Einheit. Beispielsweise Min(V1, V1) ist V1, und die Summe der Komponenten in V1 ist 1, was anzeigt, daß der Vektor V1 vollständig ähnlich – d. h. identisch zu sich selbst ist. Wenn die zwei Gegenstände in keiner Weise ähnlich sind, welches durch den Satz von Komponenten in dem Merkmalsvektor charakterisiert ist, dann summieren sich die Komponenten von Vmin zu Null. Somit erzeugt die Min-Funktion Vektoren, für welche die Summe der Komponenten von 0 bis 1 reicht, wenn sie an standardisierte Sätze von Komponenten angewendet wird, abhängig von der Ähnlichkeit der Gegenstände.
  • Wenn Merkmalsvektoren nicht standardisiert sind, um sich zu eins bzw. zur Einheit zu summieren, kann die Min-Funktion eingestellt sein bzw. werden, um Vektoren zu erzeugen, für welche die Summe der Komponenten von 0 bis 1 reicht, wie folgt: s(Vi, Vj) = Tr[Min(Vi, Vj)]/Min(TrVi, TrVj)
  • Diese besondere Form wird ausgewählt, um die folgende erwünschte Eigenschaft zu erzeugen: ein Bezugsvektor Vr, welcher durch Kombinieren von zwei Vektoren V1 und V2 erzeugt wird, wird als vollständig ähnlich zu jedem von V1 und V2 definiert. Wenn beispielsweise der zusammengesetzte Bezugsvektor Vr ist Vr = Min(V1, V2), dann ist seine Ähnlichkeit zu V1 s(Vr, V1) = Tr(Min(Vr, V1)]/Min(TrVr, TrV1), was sich reduziert auf s(Vr, V1) = Tr[Min(V1, V2)]/Tr[Min(V1, V2)] = 1.
  • In ähnlicher Weise ist die Ähnlichkeit zwischen dem zusammengesetzten Bezugsvektor Vr und V2 eins bzw. Einheit, s(Vr, V1) = Tr[Min(V1, V2)]/Tr[Min(V1, V2)] = 1.
  • Diese Einstellung erlaubt es einem beispielsweise, den Vektor VN 521, wo C = {0,2, 0,1, 0,3, 0,1, 0,1} und TrVN = 0,8, mit dem Vektor V1 500, wo C = {0,2, 0,1, 0,3, 0,3, 0,1} und TrV1 = 1,0, zu vergleichen. In diesem Fall ist Min(VN, V1) = {0,2, 0,1, 0,3, 0,1, 0,1} und Tr[Min(VN, V1)] = 0,8. Nach Einstellung haben wir S(V1, V2) = 0,8/Min[0,8, 1,0] = 1, was anzeigt, daß der Kombinationsvektor VN vollständig ähnlich zu dem Vektor V1 ist. Im allgemeinen weist das Einstellungsmerkmal die nützliche Eigenschaft auf, daß ein Vektor, welcher durch Anwendung der Min-Funktion erzeugt wurde, nach Einstellung vollkommen ähnlich zu einem der zwei Vektoren ist, von welchen er abgeleitet wurde. Das heißt s(Vi, Vmin) = s(Vj, Vmin) = 1
  • Diese Identität hält auch, wenn die zwei Merkmalsvektoren Vi und Vj eher mit der Max-Funktion als mit der Min-Funktion kombiniert werden. Das heißt, s(Vi, Vmax) = s(Vj, Vmax) = 1
  • Diese wichtige Eigenschaft stellt sicher, daß Bezugsgegenstände, welche zum Definieren der Suchkriterien verwendet werden, als ähnlich zum Bezug identifiziert werden, wenn sie selbst oder sehr ähnliche Mediengegenstände in der Sammlung von Gegenständen auftreten, welche gesucht bzw. durchsucht werden. Das heißt, jeder Bezugs- bzw. Verweiswert, wenn er in der Sammlung von Gegenständen enthalten ist, welche durchsucht wird, wird als der am meisten ähnliche der Gegenstände zu dem zusammengesetzten Bezug gereiht.
  • Beim Vergleichen von zwei Merkmalsvektoren können verschiedene Merkmale oder Komponenten betont oder abgeschwächt werden, indem diese mehr oder weniger relativ zueinander gewichtet werden. Beispielsweise können die ersten drei der fünf Komponenten in dem Satz von Komponenten C von Interesse sein, während es die letzten zwei nicht sind. In diesem Fall können die Komponenten so gewichtet werden, daß nur die ersten drei von diesen betrachtet bzw. berücksichtigt werden. Diese besondere Gewichtung wird durch ein Multiplizieren der ersten drei Komponenten des Vektors mit 1 und der letzten zwei Komponenten mit 0 erreicht. Im allgemeinen kann der Kombinations- oder Vergleichsmerkmalsvektor mit einem Gewichtungsvektor WS 50 multipliziert werden, um beispielsweise WS·Min(Vi, Vj) oder äquivalent WS·Vmin zu ergeben.
  • Die Verwendung eines Gewichtungsvektors behält die Ähnlichkeitseigenschaften bei, welche vorher diskutiert wurden. Bei Verwendung eines Gewichtungsvektors kann die Ähnlichkeit von zwei Vektoren Vi und Vj, deren Komponenten normalisiert sind, so daß ihre gewichtete Summe Eins ist, definiert werden als: s(Vi, Vr) = TrWS·f(Vi, Vr) = TrWS·Vmin
  • Allgemeiner und für nicht-standardisierte Sätze von Komponenten s(Vi, Vr) = Tr[WSMin(Vi, Vr)]/Min(Tr[WSVi], Tr[WSVr]).
  • Diese Funktionen behalten die nützliche Eigenschaft bei, daß ein Vektor, welcher durch Anwendung der Min-Funktion erzeugt wurde, identisch ähnlich zu einem der zwei Vektoren ist, von welchen er abgeleitet wurde, wie dies vorher diskutiert wurde.
  • Der Gewichtungsvektor WS 50, 250 kann von einer Information für einen oder mehrere der Bezugsgegenstände 121123 abgeleitet sein bzw. werden, durch ein Kombinieren der Information über jeden von zwei oder mehreren Bezugsgegenständen, entsprechend einer Funktion h(Ri, Rj) 52, wie dies vorher diskutiert wurde. Wenn die Information als Merkmalsvektoren repräsentiert wird, kann der Gewichtungsvektor entsprechend einer Funktion h(Ri, Rj) = Ww·fw(Vi, Vj) abgeleitet werden, wo beispielsweise fw(Vi, Vj) = Min(Vi, Vj) oder fw(Vi, Vj) = Max(Vi, Vj) und Ww beispielsweise gemäß den Interessen des Anwenders definiert ist.
  • Daten oder Parameter, welche nicht unter Verwendung einer Funktion, wie beispielsweise Min oder Max eingestuft oder aussagekräftig verglichen werden können, können in einem Merkmalsvektor beinhaltet sein, jedoch unterschiedlich zu Verteilungsdaten gehandhabt werden, wenn Merkmale kombiniert oder verglichen werden. Beispielsweise kann ein Merkmalsvektor V einen Verteilungssatz P = {p(x1), p(x2), p(x3), ... p(xM)} und andere Daten D = {y1, y2, y3, ... yN)} beinhalten, so daß V = {P, D}. Zwei Merkmalsvektoren V1 und V2 können unter Verwendung von zwei Funktionen kombiniert werden, eine, welche an P angewendet wird, und eine andere, welche an D angewendet wird. Beispielsweise können die Vektoren kombiniert werden durch Anwenden der Min-Funktion an die Sätze von Komponenten P1 und P2, während der Durchschnitt bzw. Mittelwert der Komponenten in D1 und D2 genommen wird: Vr = {Min(P1, P2), {D1 + D2)/2}.
  • Der resultierende Bezugsvektor Vr kann dann mit den Vektoren von anderen Medien unter Verwendung von zwei Funktionen verglichen werden. Beispielsweise S(Vi, Vr) = s(Pi, Pr) + K·abs(Di + Dr), wo K eine Konstante ist, welche die Wichtigkeit der Parameter in D zu dem Ähnlichkeitsvergleich regelt bzw. steuert und s(Pi, Pr) das Ähnlichkeitsmaß ist, welches für Verteilungen Tr[WMin(P1, P2)]/Min(TrWP1, TrWP2) verwendet wird. Wenn x von 0 bis 1 reicht, ist K typischerweise eine Zahl zwischen 0 und 10; beispielsweise 1,0.
  • 9 illustriert ein Verfahren zum Suchen bzw. Durchsuchen einer Sammlung von Mediengegenständen unter Verwendung einer kombinierten Information für jeden von zwei oder mehreren Bezugsgegenständen in einem Satz von Bezugsgegenständen. Ein Anwender wählt (Schritt 701) eine Mehrzahl von Bezugsgegenständen aus, um die Suchkriterien zu definieren. Typischerweise wünscht der Anwender, Mediengegenstände zu finden, welche ähnlich zu den ausgewählten Bezugsgegenständen sind. Die ausgewählten Bezugsgegenstände können besondere bzw. bestimmte Merkmale aufweisen oder können einen allgemeinen Aspekt aufweisen, welchen der Anwender in anderen Mediengegenständen finden möchte. Die ausgewählten Bezugsgegenstände können oder können nicht Merkmale oder Aspekte teilen, welche der Anwender in anderen Mediengegenständen finden möchte. Der Verwender bzw. Anwender wählt auch (Schritt 702) eine Sammlung von zu durchsuchenden Mediengegenständen aus. Der Anwender wünscht typischerweise Gegenstände in der ausgewählten Sammlung von Mediengegenständen zu finden, welche zu den ausgewählten Bezugsgegenständen ähnlich sind.
  • Das Verfahren erfordert Information (Schritt 704) über jeden Bezugsgegenstand und die zu suchenden bzw. durchzu-suchenden Mediengegenstände. Derartige Information kann vorberechnet und gespeichert werden, so daß sie für eine Suche verfügbar ist (der JA-Zweig von Schritt 704). Beispielsweise können die Komponenten für Merkmalsvektoren definiert sein bzw. werden und die Merkmalsvektoren für jeden Bezugsgegenstand und jeden der zu suchenden Mediengegenstände können abgeleitet werden, bevor eine Suche gestartet wird. Der Merkmalsvektor für jeden Gegenstand kann im Zusammenhang mit dem Gegenstand gespeichert sein bzw. werden.
  • Der Anwender kann Information für den Bezugsgegenstand oder die zu suchenden Mediengegenstände definieren und berechnen (Schritt 706), wenn eine derartige Information nicht verfügbar ist oder wenn der Anwender bevorzugt, die verfügbare Information nicht zu verwenden (der NEIN-Zweig von Schritt 704). Beispielsweise kann der Anwender spezifizieren, welche Sätze von Komponenten und welche Komponenten in den Merkmalsvektoren beinhaltet sein sollten. Die Merkmalsvektoren für die ausgewählten Bezugsgegenstände und Mediengegenstände können dann berechnet werden. Typischerweise wird die Information für jeden der Bezugsgegenstände und jeden der zu suchenden Mediengegenständen ähnlich definiert werden. Beispielsweise werden die Merkmalsvektoren der Bezugs- und der zu suchenden Mediengegenstände dieselben Serien von Komponenten aufweisen. Die Information für die Gegenstände kann unähnlich oder nicht überlappend sein, in welchem Fall die Information, welche bei der Suche verwendet wird, typischerweise auf Information begrenzt bzw. beschränkt ist, welche unter den Besuchsgegenständen und den zu suchenden Mediengegenständen geteilt wird.
  • Das Verfahren erfordert eine Kombinationsfunktion g(Ri, Rj) 32, beispielsweise Wc·fc(Vi, Vj) 232 zum Kombinieren der ausgewählten Bezugsgegenstände (Schritt 708). Ein Teil oder die gesamte Kombinationsfunktion kann vordefiniert sein, so daß sie für eine Suche verfügbar ist (der JA-Zweig von Schritt 708). Der Anwender kann eine Kombinationsfunktion definieren (Schritt 710), wenn eine derartige Information nicht verfügbar ist oder wenn der Anwender bevorzugt, die verfügbare Information nicht zu verwenden (der NEIN-Zweig von Schritt 708). Beispielsweise kann die Funktion fc(Vi, Vj) vordefiniert sein, während der Anwender den Gewichtungsvektor Wc beispielsweise entsprechend der relativen Wichtigkeit von Merkmalen für die Suche definiert. Der Anwender kann auch die Funktion fc(Vi, Vj) entsprechend der Suchabsicht definieren. Beispielsweise erfüllt die Max-Funktion die Absicht eines Suchens nach dem kombinierten Satz von Merkmalen in den Bezugsgegenständen, während die Min-Funktion die Absicht eines Suchens nach jenen Merkmalen erfüllt, welche allen Bezugsgegenständen gemeinsam sind.
  • Das Verfahren erfordert auch eine Vergleichsfunktion G[WS, gs(Mi, Rc)] 34, beispielsweise Tr[Ws·fs(Vj, Vr)] 234 (Schritt 712). Ein Teil oder die gesamte Kombinationsfunktion kann vordefiniert sein oder entsprechend vordefinierten Verfahren berechnet sein (der JA-Zweig von Schritt 712). Beispielsweise kann Ws ausgelassen oder vordefiniert sein, um ein einheitlicher Gewichtungsvektor zu sein, so daß keine Merkmale mehr oder weniger gewichtet werden als irgendwelche andere. Ws kann vordefiniert sein, um dasselbe zu sein wie die Gewichtungsfunktion Wc, welche verwendet wird, um Bezugsgegenstände zu vergleichen. Alternativ kann Ws entsprechend einer Funktion h(Ri, Rj) 52 berechnet sein bzw. werden, beispielsweise Ww·fw(Vi, Vj) 252 und die Funktion h(Ri, Rj) kann vorher definiert sein. Beispielsweise kann sie definiert sein, um dieselbe zu sein wie die definierte Kombinationsfunktion g(Ri, Rj) 132 oder Wc·fc(Vi, Vj) 232.
  • Der Anwender kann Ws definieren (Schritt 714), wenn es nicht vordefiniert ist oder wenn der Anwender bevorzugt, das vordefinierte Ws nicht zu verwenden. Beispielsweise kann der Anwender einen Gewichtungsvektor, beispielsweise durch Spezifizieren einer Art von Filterfunktion spezifizieren. Alternativ kann der Anwender eine Funktion fw(Vi, Vj) und einen Vektor Ww definieren, wie dies vorhergehend für die Definition der Kombinationsfunktion diskutiert wurde.
  • Die Verwendung von unterschiedlichen Funktionen f(Vi, Vj), um den Gewichtsvektor zum Suchen, Ws, und den Kombinations-Bezugsvektor Vr abzuleiten, stattet den Anwender mit mehr Kontrolle über die Resultate der Suche aus, als wenn dieselbe Funktionen für beide Zwecke verwendet wird. Beispielsweise kann der Anwender Merkmale unter Verwendung der Max-Funktion fc(Vi, Vj) = Max(Vi, Vj) kombinieren, so daß Vr = Vmax. Dann kann beim Vergleichen des Bezugsvektors mit den Merkmalsvektoren der Mediengegenstände der Anwender die Merkmale entsprechend der Min-Funktion fw(Vi, Vj) = Max(Vi, Vj) gewichten, so daß Ws = Vmin. Auf diese Weise umschließt der Anwender alle Merkmale in den Bezugsgegenständen in der Suche, betont jedoch jene Merkmale, welche zwischen den Bezugsgegenständen geteilt werden, wenn die Suche durchgeführt wird.
  • Betreffend den Gewichtungsvektor WS kann die Funktion fs(Vi, Vr) vordefiniert oder automatisch wiederdefiniert sein (der JA-Zweig von Schritt 712), oder durch den Anwender erneut definiert sein (der NEIN-Zweig von Schritt 712). Die Funktion fs(Vi, Vr) kann beispielsweise als Min(Vi, Vr) vordefiniert sein. Die Funktion fs(Vi, Vr) kann automatisch neu definiert sein bzw. werden, um beispielsweise dieselbe zu sein wie die Funktion fc(Vi, Vr), welche verwendet wird, um die Bezugsgegenstände zu kombinieren. Alternativ kann die Funktion fs(Vi, Vr) erneut bzw. neu durch den Anwender entsprechend der Suchabsicht des Anwenders definiert sein, wie dies vorhergehend für die Definition der Kombinationsfunktion diskutiert wurde.
  • Die Information für die Bezugsgegenstände wird kombiniert (Schritt 716) entsprechend der definierten Kombinationsfunktion und Gewichtung, wenn überhaupt bzw. falls vorhanden, um eine zusammengesetzte Bezugsinformation Rc 30, beispielsweise Vr 230 zu erzeugen. Der Anwender kann dann auswählen, ob eine Suche (Schritt 718) der vorher ausgewählten Mediengegenstände unter Verwendung der zusammengesetzten Information durchgeführt wird. Wenn die Suche durchgeführt wird (der JA-Zweig von Schritt 718), wird die zusammengesetzte Bezugsinformation mit der Information für jeden der Mediengegenstände in der vorher ausgewählten Sammlung von Mediengegenständen unter Verwendung der vorher definierten Vergleichsfunktion verglichen (Schritt 720). Für jeden Vergleich kann ein Ähnlichkeitswert bestimmt werden. Die Ähnlichkeitswerte können dann verwendet werden, um Mediengegenstände zu identifizieren, welche mehr oder weniger ähnlich zu der zusammengesetzten Bezugsinformation sind.
  • Wenn keine Suche durchgeführt wird (der NEIN-Zweig von Schritt 718), oder nachdem die Suche abgeschlossen ist (Schritt 720), kann der Anwender auswählen, ob ein Bezugsgegenstand zu dem Satz von Bezugsgegenständen hinzugefügt wird (Schritt 722). Wenn nicht (der NEIN-Zweig von Schritt 722), endet der Vorgang. Jedoch kann der Anwender beispielsweise wünschen, die Suche einzustellen, um Merkmale oder Aspekte von zusätzlichen Gegenständen einzufügen bzw. aufzunehmen, wie beispielsweise Gegenstände, die in einer vorangegangenen Suche identifiziert wurden. Wenn dies der Anwender so wünscht (der JA-Zweig von Schritt 722), wählt der Anwender einen zusätzlichen Bezugsgegenstand (Schritt 724).
  • Wenn der neu ausgewählte Bezugsgegenstand nicht einer der Gegenstände in der vorher ausgewählten Sammlung von Mediengegenständen ist (der NEIN-Zweig von Schritt 726), kann es notwendig sein, die erforderliche Information zu berechnen (Schritt 704). Wenn dem so ist (der JA-Zweig von Schritt 704), erzeugt der Anwender vorzugsweise Information für den neu ausgewählten Bezugsgegenstand oder leitet sie ab, wie für die vorher ausgewählten Bezugsgegenstände. Wenn der neu ausgewählte Bezugsgegenstand aus der vorher ausgewählten Sammlung von Mediengegenständen stammt (der NEIN-Zweig von Schritt 726), wird die erforderliche Information bereits erzeugt oder abgeleitet sein.
  • Der Anwender kann als nächstes auswählen, ob die Kombinationsfunktion neu zu definieren ist (Schritt 708). Beispielsweise kann der Anwender einen anfänglichen bzw. ursprünglichen zusammengesetzten Vektor unter Verwendung der Min-Funktion erzeugt haben, kann aber wünschen, einen dritten Vektor unter Verwendung der Max-Funktion hinzuzufügen. Auf diese Weise kann der Anwender einzigartige Merkmale des neu ausgewählten Gegenstands in die bestehende bzw. existierende zusammengesetzte Information einbauen.
  • Der Anwender kann auch auswählen, ob die Vergleichsfunktion neu zu definieren ist (Schritt 712). Beispielsweise kann der Anwender die Funktion fs neu definieren. Noch typischer kann der Anwender wünschen, den Gewichtungsvektor wieder bzw. neu zu definieren. Die Vergleichsfunktion kann sich ändern, da bzw. wenn mehrfache Mediengegenstände in dem Auswahlverfahren kombiniert sind. Beispielsweise wird sich die Vergleichsfunktion ändern, wenn sich der Gewichtungsvektor ändert. Der Gewichtungsvektor wird sich üblicherweise mit der Hinzufügung von Information von neu ausgewählten Bezugsgegenständen ändern, wenn er als eine Kombination der Bezugsvektoren definiert ist. In einer Implementierung ändert sich die Vergleichsfunktion nicht, da die Information für mehrfache Bezugsgegenstände kombiniert ist – nur die zusammengesetzte Bezugsinformation ändert sich. Wenn dies nicht der Fall ist, kann der Anwender auswählen, vorher existierende Gewichtungsvektoren aufrechtzuerhalten bzw. beizubehalten. Alternativ kann der Anwender wünschen, die einzigartigen Merkmale von einem neu ausgewählten Bezugsgegenstand durch ein Definieren eines neuen Gewichtungsvektors hervorzuheben bzw. zu betonen.
  • Die Information für den neu ausgewählten Bezugsgegenstand wird mit der existierenden zusammengesetzten Information kombiniert, um eine neue zusammengesetzte Information (Schritt 716) und neue Gewichtungsvektoren zu erzeugen, wenn dies notwendig und gewünscht ist. Das Verfahren setzt dann fort, wie dies vorher beschrieben wurde. Wenn eine neue Suche durchgeführt wird (der JA-Zweig von Schritt 718), werden die neu definierte zusammengesetzte Information, der neue Gewichtungsvektor, falls vorhanden, und die neu definierte Vergleichsfunktion, falls vorhanden, verwendet.
  • Die Erfindung kann in digitalen elektronischen Schaltkreisen oder in Computer-Hardware, Firmware, Software oder in Kombinationen davon implementiert sein bzw. werden. Eine Vorrichtung bzw. ein Gerät der Erfindung kann in einem Computerprogramm-Produkt implementiert sein bzw. werden, welches körperlich bzw. greifbar in einer maschinenlesbaren Speichervorrichtung zur Ausführung durch einen Programmierprozessor verkörpert ist; und Verfahrensschritte der Erfindung können durch einen programmierbaren Prozessor bzw. Rechner durchgeführt werden, welcher ein Programm von Instruktionen bzw. Befehlen ausführt, um Funktionen der Erfindung durch eine Betätigung an Eingabedaten und Erzeugen einer Ausgabe durchzuführen. Die Erfindung kann vorteilhafterweise in einem oder mehreren Computerprogramm(en) implementiert sein bzw. werden, welche(s) auf einem programmierbaren System ausführbar ist bzw. sind, welches wenigstens einen programmierbaren Prozessor beinhaltet, welcher gekoppelt ist, um Daten und Befehle von einem Datenspeichersystem, wenigstens einer Eingabevorrichtung, und wenigstens einer Ausgabevorrichtung zu empfangen und um Daten und Befehle an diese zu senden. Jedes Computerprogramm kann in einer höheren verfahrens-orientierten oder gegenstands- bzw. objekt-orientierten Programmiersprache implementiert sein, oder wenn gewünscht, in Assemblier- oder Maschinensprache; und in jedem Fall kann die Sprache eine kompilierte oder interpretierte Sprache sein. Geeignete Prozessoren beinhalten als Beispiel Mikroprozessoren sowohl für allgemeine wie auch für Spezialanwendungen. Im allgemeinen wird ein Prozessor Instruktionen bzw. Befehle und Daten von einem Nur-Lesespeicher und/oder einem Direktzugriffsspeicher empfangen. Die wesentlichen Komponenten eines Computers sind ein Prozessor zum Ausführen von Befehlen und ein Speicher. Im allgemeinen wird ein Computer eine oder mehrere Massenspeicher-Vorrichtung(en) zum Speichern von Datenbeständen beinhalten; derartige Vorrichtungen beinhalten magnetische Scheiben bzw. Platten, wie beispielsweise interne Festplatten und entfernbare Platten; magneto-optische Platten; und optische Platten. Speichervorrichtungen, welche geeignet sind, um Computerprogrammbefehle und Daten greifbar zu verkörpern, beinhalten alle Formen von nicht-flüchtigen Speichern, beinhaltend beispielsweise Halbleiterspeicher-Vorrichtungen, wie beispielsweise EPROM, EEPROM und Flash-Memory-Vorrichtungen; Magnetplatten, wie interne Festplatten und entfernbare Platten; magneto-optische Platten; und CD-ROM-Scheiben. Jede der Vorangegangenen kann ergänzt werden durch ASICs (anwendungsspezifische integrierte Schaltkreise) oder in diese eingebaut sein.
  • Um eine Interaktion bzw. Wechselwirkung mit einem Anwender zur Verfügung zu stellen, kann die Erfindung auf einem Computersystem implementiert werden, welches eine Anzeigevorrichtung, wie beispielsweise einen Monitor oder LCD-Schirm zum Anzeigen von Information für den Anwender und eine Tastatur und ein Zeigegerät aufweist, wie beispielsweise eine Maus oder einen Trackball, durch welchen der Anwender eine Eingabe zu dem Computersystem vornehmen bzw. zur Verfügung stellen kann. Das Computersystem kann programmiert sein, um eine graphische Anwenderschnittstelle zur Verfügung zu stellen, durch welche Computerprogramme mit Anwendern Wechselwirken.
  • Die Erfindung ist im Hinblick auf besondere Ausführungsformen beschrieben worden. Andere Ausführungsformen sind innerhalb des Gültigkeitsbereichs der folgenden Ansprüche. Beispielsweise können Schritte der Erfindung in einer unterschiedlichen Reihenfolge durchgeführt werden und erzielen noch immer wünschenswerte Ergebnisse. Merkmalsvektoren oder Information für mehrfache Bezugsgegenstände können in einem einzelnen Schritt kombiniert werden, anstelle in einer Serie von paarweisen Kombinationen. Information für Mediengegenstände kann als Modelle oder hochdimensionale Matrizen ausgedrückt werden. Nichteuklidische Funktionen verschieden von Min und Max können verwendet werden, um Merkmalsvektoren zu kombinieren oder zu vergleichen.

Claims (29)

  1. Verfahren zum Suchen bzw. Durchsuchen einer Sammlung von Medienobjekten, umfassend: ein Kombinieren von Information, welche sich auf ein Merkmal bezieht, welches einer Mehrzahl von Referenz- bzw. Bezugsobjekten gemeinsam ist, um eine zusammengesetzte Bezugsinformation zu erzeugen, welche Kriterien für eine Suche repräsentiert; und ein Vergleichen der zusammengesetzten Bezugsinformation mit Information, welche sich auf dasselbe Merkmal bezieht, für jeden entsprechenden einen aus einer Mehrzahl von Medienobjekten in einer Sammlung von Medienobjekten, um ein oder mehrere Medienobjekt(-objekte) zu identifizieren; wobei eine nicht euklidische Funktion verwendet wird, um entweder die Information zu kombinieren, welche sich auf das Merkmal bezieht, oder um die zusammengesetzte Bezugsinformation mit Information zu vergleichen, welche sich auf dasselbe Merkmal bezieht.
  2. Verfahren nach Anspruch 1, weiters umfassend: ein Empfangen einer Benutzereingabe, die die Mehrzahl von Bezugsobjekten spezifiziert.
  3. Verfahren nach Anspruch 1, weiters umfassend: ein Auswählen von Medienobjekten in der Sammlung von Medienobjekten basierend auf dem Vergleich der Information, welche sich auf das Merkmal bezieht, für jedes Medienobjekt und die zusammengesetzte Bezugsinformation.
  4. Verfahren nach Anspruch 1, wobei: die Mehrzahl von Bezugsobjekten ein oder mehrere Objekt (Objekte) beinhaltet, der (die) einen Typ aufweist (aufweisen), der ausgewählt wird aus: Audio, Bild, Text, CD oder Video.
  5. Verfahren nach Anspruch 4, wobei: ein Kombinieren von Information, welche sich auf ein Merkmal bezieht, welches einer Mehrzahl von Bezugsobjekten gemeinsam ist, ein Kombinieren von Information für unterschiedliche Typen von Objekten beinhaltet.
  6. Verfahren nach Anspruch 1, wobei: ein Kombinieren von Information, welche sich auf ein Merkmal bezieht, welches einer Mehrzahl von Bezugsobjekten gemeinsam ist, zum Erzeugen von zusammengesetzter Bezugsinformation ein Bestimmen des Schnitts der Information für die Bezugsobjekte beinhaltet.
  7. Verfahren nach Anspruch 1, wobei: ein Kombinieren von Information, welche sich auf ein Merkmal bezieht, welches einer Mehrzahl von Bezugsobjekten gemeinsam ist, zum Erzeugen von zusammengesetzter Bezugsinformation ein Bestimmen der Vereinigung der Information für die Bezugsobjekte beinhaltet.
  8. Verfahren nach Anspruch 1, weiters umfassend: ein Kombinieren von Information, welche sich auf ein zweites Merkmal bezieht, welches der Mehrzahl von Bezugsobjekten gemeinsam ist, um zusätzliche zusammengesetzte Bezugsinformation zu erzeugen, welche Kriterien für die Suche repräsentiert; und ein Vergleichen der zusätzlichen zusammengesetzten Bezugsinformation mit Information, welche sich auf das zweite Merkmal bezieht, für jeden jeweiligen einen der Mehrzahl von Medienobjekten in der Sammlung von Medienobjekten, um ein oder mehrere Medienobjekt(-objekte) zu identifizieren.
  9. Verfahren nach Anspruch 8, wobei: die Information, welche sich auf ein Merkmal bezieht, und die Information, welche sich auf ein zweites Merkmal bezieht, gewichtet wird, um eine relative Wichtigkeit der Merkmale zu spezifizieren.
  10. Verfahren nach Anspruch 8, weiters umfassend: ein Empfangen einer Benutzereingabe, die die relative Wichtigkeit des Merkmals und des zweiten Merkmals anzeigt.
  11. Verfahren nach Anspruch 8, wobei: das Merkmal und das zweite Merkmal jeweils durch eine relative Frequenz eines Auftretens eines Merkmalwerts repräsentiert werden.
  12. Verfahren nach Anspruch 8, wobei: Information, welche sich auf das Merkmal bezieht, und Information, welche sich auf das zweite Merkmal bezieht, Farbinformation beinhaltet, welche die relative Frequenz eines Auftretens von Farben in einem Gegenstand beschreibt.
  13. Verfahren nach Anspruch 8, wobei: Information, welche sich auf das Merkmal bezieht, auf Information abgebildet wird, welche sich auf das zweite Merkmal bezieht.
  14. Verfahren nach Anspruch 1, weiters umfassend: ein Kombinieren von Information, welche sich auf das Merkmal bezieht, für ein zusätzliches Bezugsobjekt mit der zusammengesetzten Bezugsinformation, um die zusammengesetzte Bezugsinformation zu überprüfen.
  15. Verfahren nach Anspruch 14, wobei: der zusätzliche Bezug ein Medienobjekt ist, welcher durch ein Vergleichen der zusammengesetzten Bezugsinformation mit Information, welche sich auf das Merkmal bezieht, für jeden entsprechenden einer Mehrzahl von Medienobjekten, identifiziert wird.
  16. Verfahren nach Anspruch 14, weiters umfassend: ein Vergleichen der überprüften, zusammengesetzten Bezugsinformation mit Information für das Merkmal für jeden einer zweiten Mehrzahl von Medienobjekten in der Sammlung von Medienobjekten.
  17. Verfahren nach Anspruch 1, wobei: ein Vergleichen der zusammengesetzten Bezugsinformation mit Information, welche sich auf dasselbe Merkmal bezieht, für jeden jeweiligen einen einer Mehrzahl von Medienobjekten in einer Sammlung von Medienobjekten ein Zuweisen eines Ähnlichkeitswerts zu jedem entsprechenden einen der Medienobjekte in der Sammlung von Medienobjekten beinhaltet, wobei jeder Ähnlichkeitswert die Ähnlichkeit der Information für den Medienobjekt und die zusammengesetzte Bezugsinformation anzeigt.
  18. Verfahren nach Anspruch 17, wobei: jeder Ähnlichkeitswert von jedem der Medienobjekte in der Sammlung von Medienobjekten geringer als oder gleich wie ein Ähnlichkeitswert ist, welcher für jedes Bezugsobjekt berechnet wird.
  19. Verfahren nach Anspruch 17, weiters umfassend: ein Reihen bzw. Ordnen der Medienobjekte entsprechend ihren Ähnlichkeitswerten; und ein Auswählen von einem oder mehreren Medienobjekt(-objekten) in der Sammlung von Medienobjekten basierend auf seinem Rang.
  20. Verfahren nach Anspruch 8, wobei: für jedes Bezugs- und Medienobjekt die Information, welche sich auf das Merkmal bezieht, und die Information, welche sich auf das zweite Merkmal bezieht, als ein Merkmalsvektor von Komponenten ausgedrückt wird.
  21. Verfahren nach Anspruch 20, wobei: ein Kombinieren von Information, welche sich auf ein Merkmal bezieht, und ein Kombinieren von Information, welche sich auf ein zweites Merkmal bezieht, welches einer Mehrzahl von Bezugsobjekten gemeinsam ist, ein Kombinieren der Merkmalsvektoren der Mehrzahl von Bezugsobjekten beinhaltet, um einen zusammengesetzten Bezugsvektor zu erzeugen.
  22. Verfahren nach Anspruch 21, wobei: jeder Merkmalsvektor eine oder mehrere Komponente(n) beinhaltet, welche Metadaten repräsentiert (repräsentieren), welche mit dem entsprechenden Bezugsoder Medieniobjekt assoziiert sind; und ein Kombinieren von Information, welche sich auf ein Merkmal bezieht, und ein Kombinieren von Information, welche sich auf ein zweites Merkmal bezieht, welches einer Mehrzahl von Bezugsobjekten gemeinsam ist, ein Kombinieren von Komponenten, welche das Merkmal oder das zweite Merkmal repräsentieren, gemäß einer ersten Kombinationsfunktion und ein Kombinieren der einen oder der mehreren Komponente(n), welche Metadaten repräsentiert (repräsentieren), welche mit jedem Bezugsobjekt assoziiert werden, gemäß einer zweiten Kombinationsfunktion beinhaltet.
  23. Verfahren nach Anspruch 21, weiters umfassend: ein Definieren eines Gewichtungsvektors für das Merkmal und das zweite Merkmal, wobei der Gewichtungsvektor eine relative Wichtigkeit für die entsprechenden Merkmale spezifiziert; wobei ein Kombinieren der Merkmalsvektoren ein Verwenden des Gewichtungsvektors beinhaltet, um eine relative Wichtigkeit der Merkmale zu spezifizieren.
  24. Verfahren nach Anspruch 21, wobei: ein Kombinieren der Merkmalsvektoren ein Verwenden einer Min- oder Max-Funktion beinhaltet.
  25. Verfahren nach Anspruch 21, wobei: ein Vergleichen der zusammengesetzten Bezugsinformation mit Information, welche sich auf dasselbe Merkmal bezieht, für entsprechenden einen einer Mehrzahl von Medienobjekten in einer Sammlung von Medienobjekten, ein Vergleichen des zusammengesetzten Bezugsvektors mit einem Merkmalsvektor von jedem der Mehrzahl von Medienobjekten in der Sammlung von Medienobjekten beinhaltet.
  26. Verfahren nach Anspruch 25, wobei: ein Vergleichen des zusammengesetzten Bezugsvektors mit den Merkmalsvektoren von jedem einer Mehrzahl von Medienobjekten ein Verwenden einer Min- oder Max-Funktion beinhaltet.
  27. Verfahren nach Anspruch 1, wobei: ein Kombinieren von Information, welche sich auf ein Merkmal bezieht, welches einer Mehrzahl von Bezugsobjekten gemeinsam ist, ein Verwenden einer Kombinationsfunktion beinhaltet; ein Vergleichen der zusammengesetzten Bezugsinformation mit Information, welche sich auf dasselbe Merkmal bezieht, für jeden jeweils einen einer Mehrzahl von Medienobjekten in einer Sammlung von Medienobjekten ein Verwenden einer Vergleichsfunktion beinhaltet, welche auf der Kombinationsfunktion basiert.
  28. Speichermedium mit einem als Programmcode gespeicherten Computerprogramm mit Instruktionen für einen Prozessor, das bei Verwendung in einer Datenverarbeitungseinrichtung das Verfahren nach einem der vorangegangenen Patentansprüche ausführt.
  29. System zum Suchen bzw. Durchsuchen einer Sammlung von Medienobjekten zur Durchführung eines Verfahrens nach einem der Patentansprüche 1 bis 27.
DE10297802T 2002-09-30 2002-09-30 Verfahren, Speichermedium und System zum Suchen einer Sammlung von Medienobjekten Expired - Fee Related DE10297802B4 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2002/031258 WO2004031991A1 (en) 2002-09-30 2002-09-30 Reduction of search ambiguity with multiple media references

Publications (2)

Publication Number Publication Date
DE10297802T5 DE10297802T5 (de) 2005-09-29
DE10297802B4 true DE10297802B4 (de) 2011-05-19

Family

ID=32067656

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10297802T Expired - Fee Related DE10297802B4 (de) 2002-09-30 2002-09-30 Verfahren, Speichermedium und System zum Suchen einer Sammlung von Medienobjekten

Country Status (5)

Country Link
US (2) US9684675B2 (de)
JP (1) JP4523413B2 (de)
DE (1) DE10297802B4 (de)
GB (1) GB2407675B (de)
WO (1) WO2004031991A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915571B2 (en) 2002-09-30 2021-02-09 Adobe Inc. Reduction of search ambiguity with multiple media references

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7118026B2 (en) * 2003-06-26 2006-10-10 International Business Machines Corporation Apparatus, method, and system for positively identifying an item
US7593603B1 (en) 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
US8745055B2 (en) * 2006-09-28 2014-06-03 Symantec Operating Corporation Clustering system and method
US8175409B1 (en) 2006-12-01 2012-05-08 Adobe Systems Incorporated Coherent image selection and modification
US8004536B2 (en) 2006-12-01 2011-08-23 Adobe Systems Incorporated Coherent image selection and modification
US8799249B2 (en) * 2007-06-08 2014-08-05 Yahoo! Inc. Method and system for rendering a collection of media items
JP4793356B2 (ja) 2007-08-31 2011-10-12 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
JP4433017B2 (ja) * 2007-08-31 2010-03-17 ブラザー工業株式会社 画像処理装置及び画像処理プログラム
JP4442664B2 (ja) * 2007-08-31 2010-03-31 ブラザー工業株式会社 画像処理装置、画像処理方法、画像処理プログラム
DE102007051612B4 (de) * 2007-10-24 2009-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum automatisierten Vergleichen zweier Sätze von Messwerten
DE102007058959A1 (de) * 2007-12-07 2009-06-10 Robert Bosch Gmbh Konfigurationsmodul für ein Überwachungssystem, Überwachungssystem, Verfahren zur Konfiguration des Überwachungssystems sowie Computerprogramm
US7958130B2 (en) * 2008-05-26 2011-06-07 Microsoft Corporation Similarity-based content sampling and relevance feedback
US9355469B2 (en) 2009-01-09 2016-05-31 Adobe Systems Incorporated Mode-based graphical editing
US20100259683A1 (en) * 2009-04-08 2010-10-14 Nokia Corporation Method, Apparatus, and Computer Program Product for Vector Video Retargeting
US8831358B1 (en) * 2011-11-21 2014-09-09 Google Inc. Evaluating image similarity
US9158435B2 (en) 2013-03-15 2015-10-13 International Business Machines Corporation Synchronizing progress between related content from different mediums
US9495365B2 (en) * 2013-03-15 2016-11-15 International Business Machines Corporation Identifying key differences between related content from different mediums
US9804729B2 (en) 2013-03-15 2017-10-31 International Business Machines Corporation Presenting key differences between related content from different mediums
US9348945B2 (en) 2013-08-29 2016-05-24 Google Inc. Modifying search results based on dismissal action associated with one or more of the search results
US9355158B2 (en) 2013-08-29 2016-05-31 Google Inc. Modifying search results based on selection of one of the search results
US10296959B1 (en) * 2015-03-30 2019-05-21 Audible, Inc. Automated recommendations of audio narrations
US10223359B2 (en) * 2016-10-10 2019-03-05 The Directv Group, Inc. Determining recommended media programming from sparse consumption data
CN110209844B (zh) * 2019-05-17 2021-08-31 腾讯音乐娱乐科技(深圳)有限公司 多媒体数据匹配方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US6192150B1 (en) * 1998-11-16 2001-02-20 National University Of Singapore Invariant texture matching method for image retrieval
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1989011093A1 (en) * 1988-05-09 1989-11-16 Omron Corporation Substrate examining apparatus and method of operating same
US5499306A (en) * 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
US6014461A (en) * 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
US6636635B2 (en) * 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US5911139A (en) * 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
US5915250A (en) * 1996-03-29 1999-06-22 Virage, Inc. Threshold-based comparison
AU7171698A (en) * 1997-05-05 1998-11-27 Shell Oil Company Visual recognition method
US6219129B1 (en) * 1997-09-11 2001-04-17 Fuji Photo Film Co., Ltd. Print system
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
US6720971B1 (en) * 1998-05-29 2004-04-13 Canon Kabushiki Kaisha Image processing method and apparatus, and storage medium
JP3558893B2 (ja) * 1998-10-08 2004-08-25 シャープ株式会社 画像処理装置および画像処理方法
US6347313B1 (en) * 1999-03-01 2002-02-12 Hewlett-Packard Company Information embedding based on user relevance feedback for object retrieval
US6445822B1 (en) * 1999-06-04 2002-09-03 Look Dynamics, Inc. Search method and apparatus for locating digitally stored content, such as visual images, music and sounds, text, or software, in storage devices on a computer network
US6813395B1 (en) * 1999-07-14 2004-11-02 Fuji Photo Film Co., Ltd. Image searching method and image processing method
US6751363B1 (en) * 1999-08-10 2004-06-15 Lucent Technologies Inc. Methods of imaging based on wavelet retrieval of scenes
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
US6243143B1 (en) * 1999-09-21 2001-06-05 Media 100 Inc. Effecting video transitions between video streams
MXPA02004015A (es) * 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.
GB2356998A (en) * 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing
WO2001043077A1 (fr) * 1999-12-06 2001-06-14 Fujitsu Limited Procede et dispositif d'affichage d'images
US20020002550A1 (en) * 2000-02-10 2002-01-03 Berman Andrew P. Process for enabling flexible and fast content-based retrieval
TWI222039B (en) * 2000-06-26 2004-10-11 Iwane Lab Ltd Information conversion system
US7337065B2 (en) * 2001-01-23 2008-02-26 Spectral Sciences, Inc. Methods for atmospheric correction of solar-wavelength hyperspectral imagery over land
FR2821947B1 (fr) * 2001-03-12 2003-05-16 Canon Kk Procede et dispositif de validation de parametres definissant une image
US7231381B2 (en) * 2001-03-13 2007-06-12 Microsoft Corporation Media content search engine incorporating text content and user log mining
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US7197493B2 (en) * 2001-12-21 2007-03-27 Lifestory Productions, Inc. Collection management database of arbitrary schema
US7058220B2 (en) * 2002-04-29 2006-06-06 Hewlett-Packard Development Company, L.P. Method and system for processing images using histograms
US6961736B1 (en) * 2002-05-31 2005-11-01 Adobe Systems Incorporated Compact color feature vector representation
DE10297802B4 (de) 2002-09-30 2011-05-19 Adobe Systems, Inc., San Jose Verfahren, Speichermedium und System zum Suchen einer Sammlung von Medienobjekten
JP4251320B2 (ja) * 2003-07-11 2009-04-08 株式会社沖データ 光源推定方法およびその装置
JP4217575B2 (ja) * 2003-09-29 2009-02-04 キヤノン株式会社 画像処理装置、画像処理方法ならびにプログラム、記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
US6192150B1 (en) * 1998-11-16 2001-02-20 National University Of Singapore Invariant texture matching method for image retrieval

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915571B2 (en) 2002-09-30 2021-02-09 Adobe Inc. Reduction of search ambiguity with multiple media references

Also Published As

Publication number Publication date
US20170249338A1 (en) 2017-08-31
US9684675B2 (en) 2017-06-20
GB2407675A (en) 2005-05-04
US10915571B2 (en) 2021-02-09
GB0503665D0 (en) 2005-03-30
DE10297802T5 (de) 2005-09-29
JP2006501565A (ja) 2006-01-12
US20060074861A1 (en) 2006-04-06
GB2407675B (en) 2006-01-04
WO2004031991A1 (en) 2004-04-15
JP4523413B2 (ja) 2010-08-11

Similar Documents

Publication Publication Date Title
DE10297802B4 (de) Verfahren, Speichermedium und System zum Suchen einer Sammlung von Medienobjekten
DE60215063T2 (de) System und verfahren zur ermittlung von bildähnlichkeiten
DE69723346T2 (de) Verfahren zum auf eine Wahrscheinlichkeitsfunktion basierten Wiederauffinden von Bildern
DE602004003361T2 (de) System und verfahren zur erzeugung von verfeinerungskategorien für eine gruppe von suchergebnissen
DE69533711T2 (de) Rechnerunterstützte Farbauswahl und farbgebendes System
DE60129652T2 (de) Bildwiederauffindungssystem und Methode mit semantischer und eigenschaftenbasierter Relevanzrückmeldung
DE69915566T2 (de) Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung
US8311100B2 (en) Information handling method for mapping information items to respective nodes
DE112008003972T5 (de) Automatische Erzeugung einer skalierbaren, nach Relevanz geordneten Darstellung einer Bildsammlung
DE10308014A1 (de) System und Verfahren zum Lokalisieren eines nichttextlichen Bereichs eines elektronischen Dokumentes oder Bildes, der mit einer benutzerdefinierten Beschreibung des Bereichs übereinstimmt
DE69719641T2 (de) Ein Verfahren, um Informationen auf Bildschirmgeräten in verschiedenen Grössen zu präsentieren
DE10251440A1 (de) Reproduzierbare Auswahl von Elementen in einer Hierarchie
DE102021004260A1 (de) Textuelles Bearbeiten von digitalen Bildern
DE102018001136A1 (de) Interaktive Farbpalettenschnittstelle zum digitalen Malen
DE60032258T2 (de) Bestimmen ob eine variable numerisch oder nicht numerisch ist
DE60300984T2 (de) Methode und Computersystem für die Optimierung eines Boolschen Ausdrucks für Anfragebearbeitung
DE60217748T2 (de) Verfahren und Gerät zur Anzeige eines Bildraumes
DE60033580T2 (de) Verfahren und gerät zur klassifizierung eines bildes
DE10239292A1 (de) Konflikterfassung und -lösung in Zusammenhang mit einer Datenzuweisung
DE202017007534U1 (de) Multiskalige 3D-Textursynthese
DE112008003854T5 (de) Raum-Zeit-Medienobjektlayouts
DE102021124445A1 (de) Metamerkmal-trainingsmodelle für maschinenlernalgorithmen
EP1154369A2 (de) Verfahren zur zyklischen, interaktiven Bildanalyse sowie Computersystem und Computerprogramm zur Ausführung des Verfahrens
DE102017006557A1 (de) Verwenden von Markierungen zum Verfolgen von hochfrequenten Offsets für Patchabgleichsalgorithmen
Beilschmidt et al. Interactive data exploration for geoscience

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
R020 Patent grant now final

Effective date: 20110820

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140401