DE69937530T2 - Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen - Google Patents

Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen Download PDF

Info

Publication number
DE69937530T2
DE69937530T2 DE69937530T DE69937530T DE69937530T2 DE 69937530 T2 DE69937530 T2 DE 69937530T2 DE 69937530 T DE69937530 T DE 69937530T DE 69937530 T DE69937530 T DE 69937530T DE 69937530 T2 DE69937530 T2 DE 69937530T2
Authority
DE
Germany
Prior art keywords
images
histogram
image
event
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69937530T
Other languages
English (en)
Other versions
DE69937530D1 (de
Inventor
Alexander C. Loui
Eric Serge Pavie
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of DE69937530D1 publication Critical patent/DE69937530D1/de
Application granted granted Critical
Publication of DE69937530T2 publication Critical patent/DE69937530T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Description

  • Die vorliegende Erfindung betrifft allgemein den Bereich der Bildverarbeitung gemäß einem Bildverständnis, anhand dessen Bilder nach Ereignissen und Ähnlichem automatisch klassifiziert werden, und insbesondere eine derartige automatische Klassifizierung von Bildern anhand einer Uhrzeit- und Datumsanalyse und einer blockbasierten Analyse, bei der Blöcke der Bilder wahlweise miteinander verglichen werden.
  • Bildliche Darstellungen werden oft nach einem bestimmten Ereignis, Motiv oder Thema oder dergleichen klassifiziert, um die Bilder bequemer auffinden, betrachten und in Alben ablegen zu können. Üblicherweise wird dies bislang durch manuelles Segmentieren der Bilder oder mithilfe des nachfolgend beschriebenen automatischen Verfahrens bewerkstelligt. Das automatische Verfahren umfasst das Gruppieren nach Farbe, Form oder Struktur der Bilder zur Aufteilung der Bilder in Gruppen von ähnlichen Bildeigenschaften.
  • Die in der Technik bekannten und verwendeten Verfahren zur Aufteilung von Bildern sind zwar zufriedenstellend, jedoch nicht ohne Nachteil. Die manuelle Klassifizierung ist verständlicherweise zeitaufwändig; das automatische Verfahren erfolgt zwar nach Klassifizierung der Bilder anhand von Ereignissen, aber das Verfahren ist anfällig gegenüber eine fehlerhaften Klassifizierung aufgrund inhärenter Ungenauigkeiten, die mit der Klassifizierung nach Farbe, Form oder Struktur verbunden sind.
  • US-A-5 576 759 beschreibt ein Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen, mit den folgenden Schritten: Empfangen einer Vielzahl von Bildern mit Datum und/oder Uhrzeit der Bildaufnahme und Unterteilen der Bilder in Ereignisse mit derselben Zeitinformation.
  • Es besteht daher Bedarf zur Lösung der oben beschriebenen Nachteile.
  • Die vorliegende Erfindung löst eines oder mehrere der vorstehend genannten Probleme. Nach einem Aspekt der vorliegenden Erfindung ist die Erfindung ein Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen mit folgendem Schritt: Empfangen einer Vielzahl von Bildern mit Datum und/oder Uhrzeit der Bildaufnahme, weiterhin gekennzeichnet durch die Schritte: Ordnen der Bilder in chronologischer Reihenfolge; Berechnen von Zeitunterschieden zwischen aufeinanderfolgenden Bildern; Berechnen eines Histogramms der Zeitunterschiede zwischen aufeinanderfolgenden Bildern; Skalieren des Histogramms unter Verwendung einer Skalierfunktion für den Zeitunterschied zum Bereitstellen eines skalierten Histogramms; Ausführen einer Zweifach-Mittelwert-Gruppierung (2-Means-Clustering) auf dem skalierten Histogramm zum Segmentieren des skalierten Histogramms in einen Abschnitt mit mindestens einem großen Zeitunterschied und in einen Abschnitt mit mindestens einem kleinen Zeitunterschied; und Aufteilen der Vielzahl von Bildern in Ereignisse, die mindestens einen Grenzbereich zwischen sich haben, wobei mindestens ein Grenzbereich dem mindestens einen großen Zeitunterschied entspricht.
  • Diese und weitere Aspekte, Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden unter Berücksichtigung der folgenden detaillierten Beschreibung der bevorzugten Ausführungsbeispiele und anhängenden Ansprüche sowie durch Bezug auf die anliegenden Zeichnungen besser verständlich und verdeutlicht.
  • Im Folgenden werden Verfahren zur automatischen Klassifizierung von Bildern nach zeitlichen Informationen und anhand ihres Inhalts beschrieben. Diese Verfahren sind gemeinsam oder getrennt verwendbar. Die Ansprüche umfassen die automatische Klassifizierung von Bildern nach zeitlichen Informationen.
  • Die vorliegende Erfindung hat den Vorteil der verbesserten Klassifizierung von Bildern durch Verwendung zeitlicher Informationen.
  • Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
  • Es zeigen:
  • 1 ein Blockdiagramm zur Darstellung einer Übersicht der die Erfindung nutzenden Clustering-Techniken;
  • 2 ein Blockdiagramm zur Darstellung einer erfindungsgemäßen Clustering-Technik nach Datum und Uhrzeit;
  • 3 eine Kurve zur Darstellung einer Skalierfunktion zur Zuordnung der Ergebnisse des 2-Means-Clustering;
  • 4 eine Kurve zur Darstellung eines typischen Ergebnisses der Skalierfunktion aus 3;
  • 5 ein Diagramm zur Darstellung eines Blockdiagramms einer Ereignis-Grenzbereichssuche nach dem Clustering anhand von Datum und Uhrzeit;
  • 6 ein Diagramm zur Darstellung der Gruppierung von Bildern innerhalb jedes Ereignisses, gestützt auf Inhalte anhand einer inhaltgestützten Clustering-Technik;
  • 7 ein Blockdiagramm eines Schritts zur erfindungsgemäßen Zusammenführung von Gruppen:
  • 8 ein Blockdiagramm der Bildneuanordnung innerhalb jeder Gruppe;
  • 9 ein Ablaufdiagramm der blockbasierten Histogramm-Korrelationstechnik einer inhaltsgestützten Clustering-Technik;
  • 10 ein Diagramm zur Darstellung des Vergleichs zwischen einer Blockhistogramm- und einer inhaltsgestützten Clustering-Technik;
  • 11 ein Diagramm eines Beispiels der Zuordnung der besten Schnittmengen für die Drei-Segment-Analyse einer inhaltsgestützten Clustering-Technik; und
  • 12 eine Darstellung der Verschiebungserkennung innerhalb der blockbasierten Histogramm-Korrelation einer inhaltsgestützten Clustering-Technik.
  • Im folgenden wird die vorliegende Erfindung in dem bevorzugten Ausführungsbeispiel als ein Softwareprogramm beschrieben. Fachleuten ist selbstverständlich klar, dass sich ein Äquivalent einer derartigen Software auch in Form von Hardware konstruieren lässt.
  • Im vorliegenden Zusammenhang kann ein computerlesbares Speichermedium beispielsweise ein magnetisches Speichermedium, wie eine Magnetplatte (z. B. Diskette) oder ein Magnetband umfassen, ein optisches Speichermedium, wie eine optische Platte, ein optisches Band oder einen maschinenlesbaren Code, Halbleiterspeichervorrichtungen, wie RAM (Random Access Memory) oder ROM (Read Only Memory), oder jede andere physische Vorrichtung oder jedes andere Medium, das zur Speicherung eines Computerprogramms geeignet ist.
  • Die Benennung „Ereignis" ist hier als ein bedeutendes Vorkommen definiert, wie es nach der thematischen Absicht des Benutzers der Bildaufnahmevorrichtung wahrgenommen wird.
  • Vor Beschreibung der vorliegenden Erfindung sei darauf hingewiesen, dass die vorliegende Erfindung vorzugsweise als ein bekanntes Computersystem verwendbar ist, wie beispielsweise als PC (Personal Computer). Daher wird hier nicht das Computersystem detailliert besprochen. Es sei zudem darauf hingewiesen, dass die Bilder entweder direkt in das Computersystem eingegeben werden können (beispielsweise mit einer Digitalkamera), oder dass sie vor der Eingabe in das Computersystem digitalisiert werden können (beispielsweise durch Scannen).
  • 1 zeigt anhand eines Ablaufdiagramms eine Übersicht der vorliegenden Erfindung. Digitalisierte Bilder werden in ein Computersystem eingegeben, wo ein erfindungsgemäßes Softwareprogramm diese nach verschiedenen Kategorien klassifiziert. Die Bilder werden in chronologischer Reihenfolge eingestuft S10, indem Uhrzeit und Datum der Aufnahme jedes Bildes analysiert werden. Uhrzeit und Datum der Aufnahme jedes Bildes können extrahiert werden, beispielsweise aus den codierten Angaben auf dem Filmstreifen von Bildern des Advanced Photo Systems (APS) oder anhand von Informationen aus bestimmten Digitalkameras. Die Darstellungen der Bilder werden dann S20 mithilfe einer nachstehend beschriebenen Clustering-Analyse nach Datum- und Uhrzeit in ein Ereignis aus einer Vielzahl verschiedener Ereignisse angeordnet. Innerhalb jedes Ereignisses werden die Inhalte der Bilder analysiert S20, um zu ermitteln, ob Bilder, die einem benachbarten Ereignis zeitlich am nächsten liegen, in dem Ereignis bewahrt werden sollen, wie anhand der Clustering-Analyse definiert, oder ob benachbarte Ereignisse zusammengeführt werden sollen. Nachdem die Bilder nach Ereignissen definiert worden sind, wird eine weitere Unterklassifizierung (Gruppierung) innerhalb jedes Ereignisses vorgenommen. Dann werden die Bilder innerhalb jedes Ereignisses nach dem Inhalt analysiert S30, um Bilder gleichen Inhalts gruppieren zu können, worauf Datum und Uhrzeit zur weiteren Verfeinerung der Gruppierung analysiert werden S30.
  • Die Ereignissegmentierung S20 anhand Datum und Uhrzeit erfolgt nach einer k-Means-Clustering-Technik, wie nachstehend detaillierter beschrieben wird, womit die Bilder in Ereignisse oder Segmente gruppiert werden. Darm wird auf die Segmente eine Grenzbereichssuche angewandt S20, um zu verifizieren, ob die Grenzbereichsbilder tatsächlich in das Segment eingruppiert werden sollen, das durch das Clustering identifiziert worden ist, wie nachstehend beschrieben wird.
  • Diese Bildergruppen werden dann zur Inhaltsanalyse an einen blockbasierten Histogrammkorrelator gesendet S30. Für jedes an den Korrelator gesendete Ereignis oder Segment wird eine inhaltliche oder thematische Gruppierung S30 durchgeführt, um die Bilder nach Thema oder Motiv innerhalb des jeweiligen Ereignissegments weiter unterzuklassifizieren. Innerhalb eines Ereignisses können mehrere unterschiedliche Themen auftreten, wobei diese thematischen Gruppierungen die jeweiligen Themen definieren. Die thematische Gruppierung beruht vorwiegend auf dem Bildinhalt und wird durch eine blockbasierte Korrelationstechnik durchgeführt. Diese Korrelation vergleicht Abschnitte der beiden Bilder miteinander, wie nachstehend detaillierter beschrieben wird. Das Ergebnis des Ordnens ist die Klassifizierung von Bildern jedes Segments in unterschiedliche thematische Gruppierungen. Datum und Uhrzeit aller Bilder innerhalb jeder thematischen Gruppierung werden dann miteinander verglichen, um zu prüfen, ob zwei oder mehr Motivgruppierungen zu einer einzelnen Motivgruppierung zusammengeführt werden können S30.
  • Eine Analyse zur Verfeinerung und thematischen Neuanordnung S40 bewirkt eine weitere Verbesserung der gesamten Klassifizierung und der Motivgruppierung durch die Neuanordnung bestimmter Bilder innerhalb einer Motivgruppe.
  • 2 zeigt ein auseinandergezogenes Blockdiagramm zur Darstellung der Datums- und Uhrzeit-Clustering-Technik S20. Zunächst wird das Zeitintervall zwischen benachbarten Bildern (Zeitunterschied) berechnet S20a. Dann wird ein Histogramm der Zeitunterschiede berechnet S20b, wozu ein Beispiel in Block 10 dargestellt ist. Auf der Abszisse des Histogramms ist vorzugsweise die Zeit in Minuten abgetragen, auf der Ordinate des Histogramms ist die Zahl der Bilder mit dem angegebenen Zeitunterschied abgetragen. Das Histogramm wird dann anhand einer Zeitunterschied-Skalierfunktion, wie in 3 gezeigt, einem skalierten Histogramm zugeordnet S20c. Bei Bildern, die einen kleinen Zeitunterschied aufweisen, bleibt der Zeitunterschied im Wesentlichen erhalten, während bei Bildern mit großem Zeitunterschied der Zeitunterschied komprimiert wird.
  • Anschließend wird das zugeordnete Zeitunterschied-Histogramm einem 2-Means-Clustering unterzogen, um das zugeordnete Histogramm 10 anhand des Zeitunterschieds in zwei Cluster zu teilen; die Strichlinien stehen für den Trennungspunkt der beiden Cluster. Eine detaillierte Beschreibung des 2-Means-Clustering kann der Veröffentlichung „Introduction to Statistical Pattern Recognition", 2. Auflage, erschienen bei Keinosuke Fukunaga, 1990, entnommen werden, weshalb hier auf eine weitere Beschreibung des 2-Means-Clustering verzichtet wird. Es wird Bezug genommen auf 4, in der das Ergebnis des 2-Means-Clustering als Segmentierung des Histogramms in zwei Abschnitte 10a und 10b gezeigt wird. Normalerweise sind Ereignisse durch große Zeitunterschiede getrennt. Beim 2-Means-Clustering muss daher festgelegt werden, wo diese großen Zeitunterschiede tatsächlich vorhanden sind. Diesbezüglich definiert der rechte Abschnitt 10b des 2-Means-Clustering die großen Zeitunterschiede, die den Ereignisgrenzbereichen entsprechen.
  • 5 zeigt ein Beispiel der Grenzbereichssuche zwischen Ereignissen. Für zwei aufeinanderfolgende Ereignisse i und j wird eine Vielzahl von blockbasierten Histogrammvergleichen vorgenommen, um zu prüfen, ob sich die Bilder an dem Rand eines Ereignisses von den Bildern an dem Rand des anderen Ereignisses unterscheiden. Wenn der Vergleich ergibt, dass die Inhalte ähnlich sind, werden die beiden Segmente zu einem Segment zusammengeführt. Ansonsten werden die Bilder nicht zusammengeführt. Vorzugsweise werden die Vergleiche an den drei Bildrändern an jedem Ereignis durchgeführt (i3, i4, i5 mit j1, j2, j3), wie in der Abbildung gezeigt. Beispielsweise wird Bild i5 mit Bild j1 usw. verglichen. Diese blockbasierte Histogrammvergleichstechnik wird nachfolgend detaillierter erläutert.
  • 6 zeigt eine Übersicht zur thematischen Gruppierung (inhaltlichen Gruppierung) für jedes segmentierte Ereignis. Innerhalb jedes segmentierten Ereignisses i werden benachbarte Bilder miteinander (wie anhand der Pfeile dargestellt) anhand der nachfolgend beschriebenen blockbasierten Histogrammtechnik verglichen. Beispielsweise kann die blockbasierte Histogrammtechnik fünf thematische Gruppierungen aus dem einen Ereignis i erzeugen (beispielsweise Gruppen 1–5), wie in der Zeichnung dargestellt. Die Anordnung der thematischen Gruppierung wird für den zukünftigen Rückgriff während des Schritts zur thematischen Anordnung s40 gespeichert. Insbesondere wird die thematische Gruppierung mit einem einzelnen Bild gespeichert (beispielsweise Gruppen 2, 3 und 5).
  • Es wird Bezug genommen auf 7, in der die Gruppen nach inhaltlicher Gruppierung einer Einordnung nach Uhrzeit und Datum unterzogen werden, um Gruppen anhand einer Uhrzeit- und Datumsanalyse zusammenzuführen. Ein Histogramm des Zeitunterschieds zwischen benachbarten Bildern in dem Ereignis wird ähnlich wie in 4 berechnet. Eine vorbestimmte Anzahl der größten Zeitunterschiede (z. B. Grenzbereich a12) wird mit den Grenzbereichen (z. B. Grenzbereiche b12, b23, b34, b45) der durch die blockbasierte Analyse ermittelten thematischen Gruppierung verglichen. Die vorbestimmte Anzahl der größten Zeitunterschiede wird ermittelt, indem die Gesamtzahl der Bilder innerhalb eines Ereignisses durch die mittlere Zahl der Bilder je Gruppe (in der vorliegenden Erfindung vier) geteilt wird. Wenn der Grenzbereich der thematischen Gruppierung mit dem Grenzbereich übereinstimmt, der sich auf die gewählten Zeitunterschiede bezieht, werden die thematischen Gruppierungen nicht zusammengeführt. Wenn zwischen den beiden Grenzbereichen keine Übereinstimmung besteht, werden die thematischen Gruppierungen, die einen Grenzbereich mit nicht übereinstimmenden Zeitunterschieden in dem Histogramm aufweisen, zu einer einzelnen thematischen Gruppierung zusammengeführt (z. B. werden die Gruppen b1, bb, b3 zur resultierenden Gruppe c1 zusammengeführt).
  • Es wird Bezug genommen auf 8, in der ein Diagramm der Bildneuanordnung innerhalb jeder Gruppe gezeigt wird. Die Anordnung der ersten thematischen Gruppierungen wird zur Identifizierung von thematischen Gruppierungen herangezogen, die einzelne Bilder enthalten (z. B. die Gruppen mit einem einzelnen Bild aus 6, also Gruppen 2, 3 und 5, die in 8 als Gruppen 2, 3 und 5 neu dargestellt sind). Alle einzelnen Bilder aus derselben thematischen Gruppierung, die zusammengeführt werden, wie anhand der zusammengeführten thematischen Gruppierung identifiziert (z. B. Gruppen c1 und c2 aus 7) werden mit allen anderen Bildern in der zusammengeführten thematischen Gruppierung verglichen, wie durch die Pfeile dargestellt. Dieser Vergleich beruht auf der blockbasierten Histogrammanalyse. Wenn die Vergleiche ähnlich sind, werden diese Bilder neu angeordnet, so dass die ähnlichen Bilder nebeneinander angeordnet werden, beispielsweise Gruppen d1 und d2.
  • Eine weitere Verfeinerung erfolgt durch Vergleichen jeder Gruppe, die nach dem zuvor beschriebenen Verfahren noch ein einzelnes Bild enthält, mit allen Bildern in dem Ereignis. Dies dient der Prüfung, ob diese einzelnen Bildgruppen innerhalb der Ereignisgruppierung besser angeordnet werden können. Dieser Vergleich ist ähnlich dem Schritt zur thematischen Neuanordnung aus 8.
  • Es wird Bezug genommen auf 9, in der ein Ablaufdiagramm der in den vorstehenden Analysen verwendeten blockbasierten Histogrammkorrelation dargestellt wird. Zunächst wird ein Histogramm des gesamten Bildes beider Bilder berechnet S50, also ein globales Histogramm. Anhand folgender Gleichung werden beide Histogramme nach ihrem Histogramm-Schnittmengenwert verglichen S60:
    Figure 00090001
    wobei R für das Histogramm des Referenzbildes, C für das Histogramm des Kandidatenbildes und n für die Zahl der Bins in dem Histogramm steht. Wenn die Schnittmenge unter einen Schwellenwert S65 fällt, vorzugsweise unter 0,34, wobei aber auch andere Schwellenwerte verwendbar sind, sind die Bilder unterschiedlich. Wenn der Schwellenwert erreicht oder überschritten wird S65, wird eine blockbasierte Histogrammkorrelation durchgeführt S70. Jedes Bild wird diesbezüglich in Blöcke einer gegebenen Größe unterteilt, die in der vorliegenden Erfindung vorzugsweise 32×32 Pixel beträgt. Es sei darauf hingewiesen, dass Fachleute die Blockgröße je nach Auflösung des Bildes variieren können, ohne vom Schutzbereich der Erfindung abzuweichen. Für jeden Block wird ein Farbhistogramm berechnet. Wenn ein Bild als Referenzbild und das andere Bild als Kandidatenbild betrachtet wird, werden die Bilder, wie in 10 gezeigt, auf folgende Weise verglichen. Jeder Block 20 des Referenzbildes wird mit dem entsprechenden Block 30 des Kandidatenbildes und mit den benachbarten Blöcken 40, in der vorliegenden Erfindung also 8 Blöcke, verglichen.
  • Wie in 9 gezeigt, werden die Blockhistogramme zwischen dem Referenzbild und dem Kandidatenbild mithilfe der zuvor definierten Gleichung zur Histogrammschnittmenge verglichen S80. Der mittlere Schnittmengenwert wird durch Berechnung des Mittelwerts der besten Schnittmengen aus jedem Blockvergleich abgeleitet S90. Dieser mittlere Schnittmengenwert wird mit einem unteren Schwellenwert (vorzugsweise 0,355) und einem oberen Schwellenwert (vorzugsweise 0,557) verglichen. Wenn der mittlere Schnittmengenwert unter dem unteren Schwellenwert liegt S95, werden die beiden Bilder als unterschiedlich betrachtet. Wenn der mittlere Schnittmengenwert über dem oberen Schwellenwert liegt S96, werden die beiden Bilder als ähnlich betrachtet. Wenn der mittlere Schnittmengenwert zwischen diesen beiden Schwellenwerten liegt, wird eine weitere Analyse durchgeführt, wie nachstehend beschrieben (3-Segment-Mittelwert-Schnittmengenzuordnung S100).
  • Wie in 9 und 11 gezeigt, wird eine 3-Segment-Analyse durchgeführt, um zu ermitteln, ob die beiden Bilder ein ähnliches Thema enthalten. Hierzu wird zunächst eine Zuordnung 60 gebildet, die den Mittelwert der beiden höchsten Schnittmengenwerte aus jedem Blockvergleich enthält; beispielsweise wurden 9 Vergleiche in der Darstellung von 10 durchgeführt, so dass der Mittelwert der beiden höchsten für die Zuordnung 60 herangezogen wird. 11 zeigt beispielsweise einen 9 × 6 Block, obwohl darauf hingewiesen sei, dass die Zuordnungsgröße von der Größe des Bildes abhängt. Diese Zuordnung ist in drei Teile unterteilt: den linken Abschnitt 70a, den mittleren Abschnitt 70b und den rechten Abschnitt 70c. Wenn der mittlere Schnittmengenwert des mittleren Abschnitts 70b höher als der Schwellenwert (vorzugsweise 0,38) ist S105, enthalten die beiden Bilder ggf. ein sehr ähnliches Thema in dem mittleren Abschnitt 70b des Bildes, und die beiden Bilder können hinsichtlich des Themas als ähnlich betrachtet werden. Der Vergleich der Histogramme wird zudem mit einer Umkehrung der Referenz- und Kandidatenbilder durchgeführt. Falls die beiden Bilder ähnlich sind, sollten beide Verfahren eine im Wesentlichen ähnliche Korrelation ergeben; falls sie unterschiedlich sind, sind die Ergebnisse nicht ähnlich. Die Bilder werden dann geprüft S110, um zu ermitteln, ob in einer der Richtungen rechts, links, oben und unten ein hoher Schnittmengenwert vorliegt.
  • Wie in 9 und 12 gezeigt, wird die Verschiebungserkennung verwendet, um den Fall zu ermitteln, dass die beiden Bilder 90 und 100 (in der Zeichnung von unterschiedlicher Größe) sehr ähnliche Themen aufweisen, die in unterschiedlichen Stellen des Bildes erscheinen. Beispielsweise kann das Hauptthema in dem einen Bild in der Mitte und in dem anderen Bild auf der linken Seite angeordnet sein. Eine derartige Verschiebung lässt sich ermitteln, indem man die Werte der besten Schnittmenge der Referenzblöcke aufzeichnet, ebenso wie die Koordinaten der entsprechenden Kandidatenblöcke. Hierzu werden die Schnittmengenwerte der Blöcke in vier Richtungen verglichen (rechts, links, oben und unten). Das gesamte Bild wird um einen Block (wie anhand der Pfeile dargestellt) in eine der Richtungen (in der Zeichnung rechts) verschoben, wo der Wert der besten Schnittmenge am größten ist. Die vorausgehende Analyse und Verschiebung können zur Prüfung auf Ähnlichkeit wiederholt werden S120.
  • Die vorliegende Erfindung wurde mit Bezug auf ein bestimmtes Ausführungsbeispiel beschrieben. Es sei jedoch darauf hingewiesen, dass Variationen und Modifikationen von Fachleuten vorgenommen werden können, ohne vom Schutzbereich der Erfindung abzuweichen.

Claims (5)

  1. Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen, mit dem folgenden Schritt: Empfangen einer Vielzahl von Bildern mit Datum und/oder Uhrzeit der Bildaufnahme, weiterhin gekennzeichnet durch die Schritte: Ordnen der Bilder in chronologischer Reihenfolge; Berechnen von Zeitunterschieden zwischen aufeinanderfolgenden Bildern; Berechnen eines Histogramms der Zeitunterschiede zwischen aufeinanderfolgenden Bildern; Skalieren des Histogramms unter Verwendung einer Skalierfunktion für den Zeitunterschied zum Bereitstellen eines skalierten Histogramms; Ausführen einer Zweifach-Mittelwert-Gruppierung (2-Means-Clustering) auf dem skalierten Histogramm zum Segmentieren des skalierten Histogramms in einen Abschnitt mit mindestens einem großen Zeitunterschied und in einen Abschnitt mit mindestens einem kleinen Zeitunterschied; und Aufteilen der Vielzahl von Bildern in Ereignisse, die mindestens einen Grenzbereich zwischen sich haben, wobei mindestens ein Grenzbereich dem mindestens einen großen Zeitunterschied entspricht.
  2. Verfahren nach Anspruch 1, worin der Schritt des Aufteilens die Suche nach dem mindestens einen Grenzbereich umfasst, wenn sich die Bildinhalte am Grenzbereich des einen Ereignisses von den Bildinhalten am Grenzbereich des sich anschließenden Ereignisses unterscheiden, indem die Bildinhalte verglichen und aufeinanderfolgende Ereignisse zusammengeführt werden, wenn die Bildinhalte, die sich an einen Grenzbereich anschließen, ähnlich sind.
  3. Verfahren nach Anspruch 2, worin der Schritt des Vergleichens von Bildinhalten den Schritt des Anwendens einer blockbasierten Histogramm-Korrelationstechnik umfasst.
  4. Verfahren nach Anspruch 3, mit dem Schritt des themenweisen Unterklassifizierens der Bilder eines jeden Ereignisses in unterschiedliche Themengruppierungen unter Anwendung einer Bildinhaltsanalyse.
  5. Verfahren nach Anspruch 4, worin die Bildinhaltsanalyse den Schritt des Anwendens einer blockbasierten Histogramm-Korrelationstechnik umfasst.
DE69937530T 1998-09-30 1999-09-17 Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen Expired - Lifetime DE69937530T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/163,618 US6606411B1 (en) 1998-09-30 1998-09-30 Method for automatically classifying images into events
US163618 1998-09-30

Publications (2)

Publication Number Publication Date
DE69937530D1 DE69937530D1 (de) 2007-12-27
DE69937530T2 true DE69937530T2 (de) 2008-09-04

Family

ID=22590808

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69937530T Expired - Lifetime DE69937530T2 (de) 1998-09-30 1999-09-17 Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen

Country Status (4)

Country Link
US (2) US6606411B1 (de)
EP (2) EP1510944A1 (de)
JP (1) JP4976608B2 (de)
DE (1) DE69937530T2 (de)

Families Citing this family (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961463B1 (en) 2000-03-29 2005-11-01 Eastman Kodak Company Method of detecting duplicate pictures in an automatic albuming system
FR2807902B1 (fr) * 2000-04-17 2002-10-25 Thomson Multimedia Sa Procede de detection de changement de plan dans une succession d'images video
JP3562572B2 (ja) * 2000-05-02 2004-09-08 インターナショナル・ビジネス・マシーンズ・コーポレーション データベースのドキュメントにおける新規な事項・新規クラスの検出及び追跡
JP3992909B2 (ja) * 2000-07-03 2007-10-17 富士フイルム株式会社 本人画像提供システム
US7007243B2 (en) 2000-12-20 2006-02-28 Eastman Kodak Company Method and apparatus for producing digital images with embedded image capture location icons
US6915011B2 (en) 2001-03-28 2005-07-05 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US6977679B2 (en) * 2001-04-03 2005-12-20 Hewlett-Packard Development Company, L.P. Camera meta-data for content categorization
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US8028249B2 (en) 2001-05-23 2011-09-27 Eastman Kodak Company Method and system for browsing large digital multimedia object collections
US6810146B2 (en) * 2001-06-01 2004-10-26 Eastman Kodak Company Method and system for segmenting and identifying events in images using spoken annotations
JP2002358316A (ja) * 2001-06-01 2002-12-13 Canon Inc 画像処理装置及びその方法、プログラム
US7184082B2 (en) * 2001-08-28 2007-02-27 Olympus Corporation Image displaying system, image displaying method, image printing system, and image printing method
US6993180B2 (en) * 2001-09-04 2006-01-31 Eastman Kodak Company Method and system for automated grouping of images
KR100438703B1 (ko) * 2001-09-27 2004-07-05 삼성전자주식회사 계층적 이미지 인덱싱 방법 및 그 장치
US7130864B2 (en) 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
KR20050014918A (ko) * 2002-07-09 2005-02-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 데이터베이스에서의 데이터 객체의 분류 장치 및 방법
KR100450083B1 (ko) * 2002-07-31 2004-09-30 삼성테크윈 주식회사 휴대용 디지털 장치에서 대표-음성을 이용하여데이터-파일들을 관리하는 방법
US7362919B2 (en) 2002-12-12 2008-04-22 Eastman Kodak Company Method for generating customized photo album pages and prints based on people and gender profiles
US7298895B2 (en) * 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
US7313574B2 (en) * 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
JP3976000B2 (ja) * 2003-11-06 2007-09-12 ソニー株式会社 情報処理装置および方法、プログラム記録媒体、プログラム、並びに撮影装置
US7680340B2 (en) * 2003-11-13 2010-03-16 Eastman Kodak Company Method of using temporal context for image classification
US20050117031A1 (en) * 2003-12-02 2005-06-02 Russon Virgil K. Virtual film roll for grouping and storing digital images
JP4457660B2 (ja) * 2003-12-12 2010-04-28 パナソニック株式会社 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
FI122372B (fi) * 2004-02-13 2011-12-30 Futurice Oy Tietojenkäsittelyjärjestelmä
FR2868578A1 (fr) * 2004-04-06 2005-10-07 France Telecom Procede de suivi d'objets dans une sequence video
US7827498B2 (en) 2004-08-03 2010-11-02 Visan Industries Method and system for dynamic interactive display of digital images
JP4547214B2 (ja) * 2004-09-10 2010-09-22 富士フイルム株式会社 電子アルバム表示システム、電子アルバム表示方法、及びプログラム
US7557818B1 (en) * 2004-10-06 2009-07-07 Apple Inc. Viewing digital images using a floating controller
US8456488B2 (en) * 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US7705858B2 (en) * 2004-10-06 2010-04-27 Apple Inc. Techniques for displaying digital images on a display
US7561157B2 (en) 2004-10-06 2009-07-14 Apple Inc. Compare mode for variable number of images
US7804508B2 (en) 2004-10-06 2010-09-28 Apple Inc. Viewing digital images on a display using a virtual loupe
US20060092771A1 (en) * 2004-10-29 2006-05-04 Eastman Kodak Company Automated method and system for creating an image storage device for playback on a playback mechanism
US7643686B2 (en) * 2004-11-17 2010-01-05 Eastman Kodak Company Multi-tiered image clustering by event
US7653249B2 (en) * 2004-11-17 2010-01-26 Eastman Kodak Company Variance-based event clustering for automatically classifying images
US7783115B2 (en) * 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
US7924473B2 (en) * 2004-12-15 2011-04-12 Fujifilm Corporation Apparatus and method for image evaluation and program thereof
US7855810B2 (en) * 2005-02-18 2010-12-21 Eastman Kodak Company Method for automatically organizing a digitized hardcopy media collection
US7831599B2 (en) 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
JP2006293986A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293985A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006295890A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
US7908558B2 (en) * 2005-05-12 2011-03-15 Hewlett-Packard Development Company, L.P. Method and system for automatically selecting images from among multiple images
US20060294096A1 (en) * 2005-06-22 2006-12-28 Eastman Kodak Company Additive clustering of images into events using capture date-time information
KR100664959B1 (ko) * 2005-07-07 2007-01-04 삼성전자주식회사 이미지 클러스터링 장치 및 방법
US20070008321A1 (en) * 2005-07-11 2007-01-11 Eastman Kodak Company Identifying collection images with special events
JP4577173B2 (ja) * 2005-09-29 2010-11-10 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP4232774B2 (ja) 2005-11-02 2009-03-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7663671B2 (en) * 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
US8392415B2 (en) * 2005-12-12 2013-03-05 Canon Information Systems Research Australia Pty. Ltd. Clustering of content items
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
US8116573B2 (en) * 2006-03-01 2012-02-14 Fujifilm Corporation Category weight setting apparatus and method, image weight setting apparatus and method, category abnormality setting apparatus and method, and programs therefor
JP2007233708A (ja) * 2006-03-01 2007-09-13 Fujifilm Corp 画像分類装置および方法並びにプログラム
JP2007257465A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 画像表示装置および方法並びにプログラム
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
JP2007272684A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 画像整理装置および方法ならびにプログラム
US7467222B2 (en) * 2006-05-12 2008-12-16 Shutterfly, Inc. Image ranking for imaging products and services
US20080002864A1 (en) * 2006-06-29 2008-01-03 Eastman Kodak Company Using background for searching image collections
JP2008040851A (ja) * 2006-08-08 2008-02-21 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
GB0616374D0 (en) * 2006-08-17 2006-09-27 Ibm An apparatus for managing outputs of applications
KR100813170B1 (ko) * 2006-09-27 2008-03-17 삼성전자주식회사 사진 의미 인덱싱 방법 및 그 시스템
US8117210B2 (en) 2006-10-06 2012-02-14 Eastman Kodak Company Sampling image records from a collection based on a change metric
US20080085032A1 (en) * 2006-10-06 2008-04-10 Cerosaletti Cathleen D Supplying digital images from a collection
US7869658B2 (en) * 2006-10-06 2011-01-11 Eastman Kodak Company Representative image selection based on hierarchical clustering
US20080085055A1 (en) * 2006-10-06 2008-04-10 Cerosaletti Cathleen D Differential cluster ranking for image record access
US8473525B2 (en) * 2006-12-29 2013-06-25 Apple Inc. Metadata generation for image files
US20080208791A1 (en) * 2007-02-27 2008-08-28 Madirakshi Das Retrieving images based on an example image
US7813560B2 (en) * 2007-02-28 2010-10-12 Eastman Kodak Company Classifying complete and incomplete date-time information
US20080219563A1 (en) * 2007-03-07 2008-09-11 Moroney Nathan M Configuration of a plurality of images for multi-dimensional display
US8019155B2 (en) * 2007-03-26 2011-09-13 Eastman Kodak Company Digital object information via category-based histograms
EP2138939A4 (de) * 2007-04-13 2012-02-29 Nec Corp Fotogruppierungsvorrichtung, fotogruppierungsverfahren und fotogruppierungsprogramm
US20080270880A1 (en) * 2007-04-19 2008-10-30 Lynne Becker System and method for memoralizing predetermined events
US8094948B2 (en) * 2007-04-27 2012-01-10 The Regents Of The University Of California Photo classification using optical parameters of camera from EXIF metadata
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
CA2601154C (en) 2007-07-07 2016-09-13 Mathieu Audet Method and system for distinguising elements of information along a plurality of axes on a basis of a commonality
US8601392B2 (en) 2007-08-22 2013-12-03 9224-5489 Quebec Inc. Timeline for presenting information
US8335384B2 (en) * 2007-09-27 2012-12-18 JVC Kenwood Corporation Apparatus for and method of processing image information to group image data pieces based on shooting intervals
US20090091798A1 (en) * 2007-10-05 2009-04-09 Lawther Joel S Apparel as event marker
US8775953B2 (en) 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
US7836093B2 (en) * 2007-12-11 2010-11-16 Eastman Kodak Company Image record trend identification for user profiles
US20090164512A1 (en) * 2007-12-19 2009-06-25 Netta Aizenbud-Reshef Method and Computer Program Product for Managing Media Items
US8150098B2 (en) 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8180112B2 (en) 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
US20100077289A1 (en) 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
US8208695B2 (en) * 2008-09-25 2012-06-26 Cyberlink Corp. Systems and methods for performing image clustering
US8391617B2 (en) * 2008-11-04 2013-03-05 Eastman Kodak Company Event recognition using image and location information
US8611677B2 (en) 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US8340436B2 (en) * 2009-06-19 2012-12-25 Eastman Kodak Company Detecting significant events in consumer image collections
US8290205B2 (en) * 2009-06-25 2012-10-16 Eastman Kodak Company Dating images from scanned watermarks
JP2011009976A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 画像再生装置
WO2011001587A1 (ja) * 2009-07-01 2011-01-06 日本電気株式会社 コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム
US20110051206A1 (en) 2009-08-28 2011-03-03 Sitter Steven C Correcting color based on automatically determined media
JP4643735B1 (ja) * 2009-08-31 2011-03-02 株式会社東芝 電子機器及び映像処理方法
US20110099199A1 (en) * 2009-10-27 2011-04-28 Thijs Stalenhoef Method and System of Detecting Events in Image Collections
US8452763B1 (en) * 2009-11-19 2013-05-28 Google Inc. Extracting and scoring class-instance pairs
US9009163B2 (en) * 2009-12-08 2015-04-14 Intellectual Ventures Fund 83 Llc Lazy evaluation of semantic indexing
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
WO2011101849A1 (en) * 2010-02-17 2011-08-25 Photoccino Ltd. System and method for creating a collection of images
US8718386B2 (en) * 2010-02-23 2014-05-06 Intellectual Ventures Fund 83 Llc Adaptive event timeline in consumer image collections
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US8548256B2 (en) 2010-07-01 2013-10-01 Intellectual Ventures Fund 83 Llc Method for fast scene matching
EP2402867B1 (de) * 2010-07-02 2018-08-22 Accenture Global Services Limited Computerimplementiertes Verfahren, Computerprogrammprodukt und Computersystem zur Bildverarbeitung
US8655893B2 (en) * 2010-07-16 2014-02-18 Shutterfly, Inc. Organizing images captured by multiple image capture devices
US8634662B2 (en) 2010-08-25 2014-01-21 Apple Inc. Detecting recurring events in consumer image collections
US8774528B2 (en) 2010-09-24 2014-07-08 Kodak Alaris Inc. Method of selecting important digital images
US10121133B2 (en) 2010-10-13 2018-11-06 Walmart Apollo, Llc Method for self-checkout with a mobile device
US8612441B2 (en) 2011-02-04 2013-12-17 Kodak Alaris Inc. Identifying particular images from a collection
US8879890B2 (en) 2011-02-21 2014-11-04 Kodak Alaris Inc. Method for media reliving playback
US9082452B2 (en) 2011-02-21 2015-07-14 Kodak Alaris Inc. Method for media reliving on demand
US9785835B2 (en) 2011-03-22 2017-10-10 Rochester Institute Of Technology Methods for assisting with object recognition in image sequences and devices thereof
US11580155B2 (en) * 2011-03-28 2023-02-14 Kodak Alaris Inc. Display device for displaying related digital images
US8625904B2 (en) 2011-08-30 2014-01-07 Intellectual Ventures Fund 83 Llc Detecting recurring themes in consumer image collections
US20130058577A1 (en) * 2011-09-07 2013-03-07 Peter O. Stubler Event classification method for related digital images
US8634661B2 (en) * 2011-09-07 2014-01-21 Intellectual Ventures Fund 83 Llc Event classification method using light source detection
US8634660B2 (en) * 2011-09-07 2014-01-21 Intellectual Ventures Fund 83 Llc Event classification method using lit candle detection
CA2790799C (en) 2011-09-25 2023-03-21 Mathieu Audet Method and apparatus of navigating information element axes
US8707152B2 (en) * 2012-01-17 2014-04-22 Apple Inc. Presenting images from slow image-event stream
US9519693B2 (en) 2012-06-11 2016-12-13 9224-5489 Quebec Inc. Method and apparatus for displaying data element axes
US9646080B2 (en) 2012-06-12 2017-05-09 9224-5489 Quebec Inc. Multi-functions axis-based interface
US8923570B2 (en) * 2012-06-19 2014-12-30 Intel Coporation Automated memory book creation
US9460123B1 (en) * 2012-12-12 2016-10-04 Amazon Technologies, Inc. Systems and methods for generating an arrangement of images based on image analysis
US9424280B2 (en) * 2012-12-28 2016-08-23 Animoto Inc. Organizing media items based on metadata similarities
US9202143B2 (en) 2013-04-29 2015-12-01 Microsoft Technology Licensing, Llc Automatic photo grouping by events
US20150006545A1 (en) * 2013-06-27 2015-01-01 Kodak Alaris Inc. System for ranking and selecting events in media collections
US11080318B2 (en) * 2013-06-27 2021-08-03 Kodak Alaris Inc. Method for ranking and selecting events in media collections
JP5899179B2 (ja) * 2013-09-30 2016-04-06 富士フイルム株式会社 人物認識装置、人物認識方法、人物認識プログラムおよびその記録媒体
US20150331930A1 (en) * 2014-05-16 2015-11-19 Here Global B.V. Method and apparatus for classification of media based on metadata
US11170037B2 (en) 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
CN104133917B (zh) * 2014-08-15 2018-08-10 百度在线网络技术(北京)有限公司 照片的分类存储方法及装置
CN104216976B (zh) * 2014-09-01 2018-09-04 广东欧珀移动通信有限公司 一种移动终端图片分组查看方法及系统
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
US9875502B2 (en) 2015-03-06 2018-01-23 Wal-Mart Stores, Inc. Shopping facility assistance systems, devices, and methods to identify security and safety anomalies
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
CA2928391A1 (en) 2015-05-28 2016-11-28 Wal-Mart Stores, Inc. System for inventory management
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US10399587B2 (en) 2015-12-22 2019-09-03 Walmart Apollo, Llc Shopping cart bagging station and method of forming the same
US10336358B2 (en) 2015-12-22 2019-07-02 Walmart Apollo, Llc Shopping cart bagging station and method of forming the same
CA2951838A1 (en) 2015-12-22 2017-06-22 Wal-Mart Stores, Inc. Shopping cart bagging station and method of forming the same
US10486725B2 (en) 2015-12-22 2019-11-26 Walmart Apollo, Llc Shopping cart bagging station and method of forming the same
EP3196811A1 (de) * 2016-01-20 2017-07-26 Accenture Global Services Limited Kognitiver belegleser
GB2549390A (en) 2016-03-23 2017-10-18 Wal Mart Stores Inc A system for tracking physical objects
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20170357672A1 (en) 2016-06-12 2017-12-14 Apple Inc. Relating digital assets using notable moments
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
USD825951S1 (en) 2016-06-16 2018-08-21 Walmart Apollo, Llc Retail store fixture
US10040468B2 (en) 2016-07-07 2018-08-07 Wal-Mart Stores, Inc. Shopping cart basket
US10058197B2 (en) 2016-07-26 2018-08-28 Walmart Apollo, Llc Bag dispenser
US10513281B2 (en) 2016-08-19 2019-12-24 Walmart Apollo, Llc Shopping cart bagging station and method of forming the same
CN110895439A (zh) 2016-09-23 2020-03-20 苹果公司 头像创建和编辑
US10040469B2 (en) 2016-09-30 2018-08-07 Wal-Mart Stores, Inc. Shopping cart bagging station and method of forming the same
US10422474B2 (en) 2016-12-30 2019-09-24 Walmart Apollo, Llc Self-locking clip mechanism and mobile device holder incorporating the same
JP6723937B2 (ja) * 2017-01-31 2020-07-15 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法
EP3577651A1 (de) 2017-02-06 2019-12-11 Kodak Alaris Inc. Verfahren zur erzeugung von audiospuren zur begleitung von visuellem bildmaterial
CA3007166A1 (en) 2017-06-05 2018-12-05 9224-5489 Quebec Inc. Method and apparatus of aligning information element axes
WO2018227135A1 (en) 2017-06-09 2018-12-13 Walmart Apollo, Llc Systems and methods for an augmented display system
US11257044B2 (en) * 2017-06-20 2022-02-22 Microsoft Technology Licensing, Llc Automatic association and sharing of photos with calendar events
US10579844B2 (en) 2017-07-27 2020-03-03 Walmart Apollo, Llc Systems and methods for data transfer in distributed environments
US10173708B1 (en) 2017-08-17 2019-01-08 Walmart Apollo, Llc Shopping cart bagging station
US10507858B2 (en) 2017-08-25 2019-12-17 Walmart Apollo, Llc Shopping cart bagging station
US10750886B2 (en) 2017-10-27 2020-08-25 Walmart Apollo, Llc Systems and methods of objectively confirming customer self-scanning of products in a retail store
US10507859B2 (en) 2018-02-09 2019-12-17 Walmart Apollo, Llc Shopping cart bagging station
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
CN112613492B (zh) * 2021-01-08 2022-02-11 哈尔滨师范大学 一种数据处理方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4396903A (en) 1981-05-29 1983-08-02 Westinghouse Electric Corp. Electro-optical system for correlating and integrating image data from frame-to-frame
US4567610A (en) * 1982-07-22 1986-01-28 Wayland Research Inc. Method of and apparatus for pattern recognition
JP2863818B2 (ja) * 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
JPH05165935A (ja) * 1991-10-18 1993-07-02 Konica Corp 画像撮影装置及び画像ファイル装置
JPH05128166A (ja) * 1991-11-01 1993-05-25 Konica Corp 電子画像フアイリング装置
JP3302035B2 (ja) * 1991-12-26 2002-07-15 オリンパス光学工業株式会社 カメラ
CA2132515C (en) * 1992-03-20 2006-01-31 Glen William Auty An object monitoring system
US5598557A (en) 1992-09-22 1997-01-28 Caere Corporation Apparatus and method for retrieving and grouping images representing text files based on the relevance of key words extracted from a selected file to the text files
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JPH06178261A (ja) 1992-12-07 1994-06-24 Nikon Corp デジタルスチルカメラ
US5719643A (en) 1993-08-10 1998-02-17 Kokusai Denshin Denwa Kabushiki Kaisha Scene cut frame detector and scene cut frame group detector
JP3445394B2 (ja) 1993-12-17 2003-09-08 ゼロックス・コーポレーション 少なくとも二つのイメージセクションの比較方法
JPH07220091A (ja) * 1994-02-04 1995-08-18 Canon Inc 画像処理装置及び方法
US5594807A (en) 1994-12-22 1997-01-14 Siemens Medical Systems, Inc. System and method for adaptive filtering of images based on similarity between histograms
US5842194A (en) * 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
US5872859A (en) * 1995-11-02 1999-02-16 University Of Pittsburgh Training/optimization of computer aided detection schemes based on measures of overall image quality
JP3755141B2 (ja) * 1996-06-14 2006-03-15 株式会社ニコン 情報処理装置
US5751378A (en) 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video
US6012091A (en) * 1997-06-30 2000-01-04 At&T Corporation Video telecommunications server and method of providing video fast forward and reverse

Also Published As

Publication number Publication date
DE69937530D1 (de) 2007-12-27
EP0990996A2 (de) 2000-04-05
JP4976608B2 (ja) 2012-07-18
US20030198390A1 (en) 2003-10-23
EP0990996B1 (de) 2007-11-14
EP0990996A3 (de) 2003-11-26
JP2000112997A (ja) 2000-04-21
US6606411B1 (en) 2003-08-12
EP1510944A1 (de) 2005-03-02

Similar Documents

Publication Publication Date Title
DE69937530T2 (de) Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen
DE60317053T2 (de) Verfahren und Vorrichtung zur Darstellung einer Bildgruppe
DE60210199T2 (de) Verfahren zur erkennung von motivbereichen in bildern
DE60215063T2 (de) System und verfahren zur ermittlung von bildähnlichkeiten
DE69925805T2 (de) Skalierbare lösung für das wiederauffinden von bildern
DE60129872T2 (de) Verfahren zur Extrahierung von Titeln aus numerischen Bildern
DE60037919T2 (de) Verfahren zum Wiederauffinden von Bildtexturen und Vorrichtung dafür
DE60037485T2 (de) Signalverarbeitungsverfahren und Videosignalprozessor zum Ermitteln und Analysieren eines Bild- und/oder Audiomusters
DE60011603T2 (de) Verfahren und vorrichtung zum darstellen von und suchen nach farbbildern
EP2140403B1 (de) Vorrichtung und verfahren zum bestimmen eines kanten-histogramms, vorrichtung und verfahren zum ablegen eines bildes in einer bilddatenbank, vorrichtung und verfahren zum auffinden von zwei ähnlichen bildern und computerprogramm
DE602004008984T2 (de) Verfahren zur Erkennung von farbigen Objekten in digitalen Bildern
DE102007035884B4 (de) Linienrauschunterdrückungsvorrichtung, -verfahren und -programm
DE60127889T2 (de) Verfahren zur Erkennung Doppelbildern in einem automatischen Albensystem
DE19634768A1 (de) Vorrichtung und Verfahren zur Erfassung eines Gesichts in einem Videobild
DE19521346A1 (de) Bilduntersuchungs/Erkennungsverfahren, darin verwendetes Verfahren zur Erzeugung von Referenzdaten und Vorrichtungen dafür
EP1797533B1 (de) Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen
DE10317917A1 (de) System und Verfahren zum Umgrenzen und Klassifizieren von Regionen innerhalb einer graphischen Abbildung
DE112018004661T5 (de) Schattenerkennungsverfahren für ein Überwachungsvideobild, System davon undSchattenentfernungsverfahren
DE102007034010A1 (de) Verfahren und Vorrichtung zur Bearbeitung von Videodaten
DE60217748T2 (de) Verfahren und Gerät zur Anzeige eines Bildraumes
DE102021201767A1 (de) Computerimplementiertes Verfahren zur Verbesserung der Erkennung von Randdefekten und anderen Defekten in opthalmischen Linsen
DE60033580T2 (de) Verfahren und gerät zur klassifizierung eines bildes
DE69731706T2 (de) Suchverfahren für Muster in Bildern einer Datenbank
DE60024535T2 (de) Verfahren zur Zeichentrennung
WO2008034599A2 (de) Verfahren und vorrichtung zur bildverarbeitung

Legal Events

Date Code Title Description
8381 Inventor (new situation)

Inventor name: LOUI, ALEXANDER C., ROCHESTER, N.Y., US

Inventor name: PAVIE, ERIC SERGE, ROCHESTER, N.Y., US

8364 No opposition during term of opposition