DE60127889T2 - Verfahren zur Erkennung Doppelbildern in einem automatischen Albensystem - Google Patents

Verfahren zur Erkennung Doppelbildern in einem automatischen Albensystem Download PDF

Info

Publication number
DE60127889T2
DE60127889T2 DE60127889T DE60127889T DE60127889T2 DE 60127889 T2 DE60127889 T2 DE 60127889T2 DE 60127889 T DE60127889 T DE 60127889T DE 60127889 T DE60127889 T DE 60127889T DE 60127889 T2 DE60127889 T2 DE 60127889T2
Authority
DE
Germany
Prior art keywords
images
image
threshold
block
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60127889T
Other languages
English (en)
Other versions
DE60127889D1 (de
Inventor
Alexander C. c/o Eastman Rochester Loui
Eric S. c/o Eastman Rochester Pavie
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of DE60127889D1 publication Critical patent/DE60127889D1/de
Application granted granted Critical
Publication of DE60127889T2 publication Critical patent/DE60127889T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

  • Die vorliegende Erfindung betrifft allgemein den Bereich von Bildverarbeitungssystemen, die Bilder automatisch anhand von Ereignissen und dergleichen klassifizieren, und insbesondere ein automatisches Klassifizierungs- und Albensystem, das Bilder zur Platzierung in einem Album automatisch klassifiziert.
  • Bildliche Darstellungen werden oft nach einem bestimmten Ereignis, Motiv oder dergleichen klassifiziert, um die Bilder bequemer auffinden, betrachten und in Alben ablegen zu können. Die Klassifizierung erfolgt normalerweise entweder durch manuelle oder automatische Segmentierung der Bilder in entsprechenden Gruppen. Ein manuelles Verfahren würde die Sichtprüfung jedes Bildes umfassen sowie das anschließende Platzieren des Bildes in der entsprechenden Gruppe. Ein automatisches Albenverfahren würde normalerweise das Gruppieren der Bilder in automatischer Weise nach Farbe, Form oder Struktur umfassen, um die Bilder in Gruppen mit ähnlichen Bildeigenschaften aufzuteilen.
  • Die in der Technik bekannten und verwendeten Verfahren zur Aufteilung von Bildern sind zwar zufriedenstellend, jedoch nicht ohne Nachteil. Das manuelle Klassifizierungsverfahren ist verständlicherweise zeitaufwändig; das automatische Albenverfahren erfolgt zwar nach Klassifizierung der Bilder anhand von Ereignissen, aber das Verfahren ist anfällig gegenüber eine fehlerhaften Klassifizierung aufgrund inhärenter Ungenauigkeiten, die mit der Klassifizierung nach Farbe, Form oder Struktur verbunden sind. In beiden Verfahren gilt, dass wenn zwei Bilder als Doppelbilder oder Duplikate erkannt werden, eines davon normalerweise entfernt wird und nicht in dem resultierenden Album erscheint. Da ein Verbraucher nicht zufrieden sein wird, wenn das automatische Albenverfahren ein Bild entfernt, das eigentlich in dem Album erscheinen sollte, muss die Genauigkeit des Duplikat-Erkennungsalgorithmus hoch sein. Es besteht daher Bedarf zur Überwindung der oben beschriebenen Nachteile.
  • Folgende Fundstellen sind relevant:
    • Loui A.C. et al: „A Software System for Automatic Albuming of Consumer Pictures" ACM Multimedia, Proceedings of the International Conference, New York, NY, USA, 1999, Seite 159-162, XP002220769
    • Chang E.Y. et al: „Rime: A Replicated Image Detector for the World-Wide Web" Proceedings of the SPIE, SPIE, Bellingham, VA, USA, Band 3527, 1998, Seite 58-67, XP000925499 ISSN: 0277-786X
    • Kerry Rodden: „How Do People Organize Their Photographs?" Proceedings of the BCS IRSG 21st Annual Colloquium an Information Retrieval Research, 19-20 April 1999, Seite 1-11, XP002277908 Glasgow
    • Yihong Gong et al: „Image Indexing Retrieval Based an Color Histograms", Multimedia Tools and Applications, Kluwer Academic Publishers, Boston, USA, Band 2, Nr. 2, 1. März 1996 (1996-03-01), Seite 133-156, XP000646007 ISSN: 1380-7501
  • Loui, A.C. et al. beschreiben ein Verfahren, das folgende Schritte umfasst: Bereitstellen von mindestens zwei Bildern, die zu bestimmbaren Zeitpunkten aufgenommen wurden; Berechnen eines Hinweises auf den Bildinhalt jedes Bildes; Bestimmen des Aufnahmezeitpunkts jedes Bildes und Auswerten des Hinweises auf den Bildinhalt und den Aufnahmezeitpunkt, um zu bestimmen, ob es sich bei den Bildern um Duplikate handelt. Yihong Gong et al. beschreiben einen blockbasierten Farbhistogrammabgleich nach Histogrammschnittpunkten. Die beiden übrigen Fundstellen beschreiben die Verwendung von Zeit- und Datumsangaben.
  • Umfang und Geltungsbereich der vorliegenden Erfindung sind in den anliegenden Ansprüchen dargelegt. Zusammenfassend betrifft die vorliegende Erfindung nach einem Aspekt ein Verfahren zum Erkennen von Duplikatbildern mit folgenden Schritten: Bereitstellen von mindestens zwei Bildern, die zu bestimmbaren Zeitpunkten aufgenommen wurden; Berechnen eines Hinweises auf den Bildinhalt jedes Bildes; Bestimmen der Aufnahmezeit jedes Bildes und Auswerten des Hinweises auf den Bildinhalt und des Aufnahmezeitpunkts, um zu bestimmen, ob es sich bei den Bildern um Duplikate handelt.
  • Nach einem weiteren Aspekt der Erfindung werden die Bilder in Blöcke unterteilt, und der Hinweis auf den Bildinhalt wird für jeden Block berechnet. Konkret wird der Hinweis auf den Bildinhalt aus einem Histogramm für jeden Block berechnet. Anschließend umfasst der Schritt des Auswertens des Hinweises auf den Bildinhalt und des Aufnahmezeitpunktes das Vergleichen eines oder mehrerer Blöcke eines Bildes, die Anwendung einer Histogrammschnittpunktmetrik auf entsprechende Blöcke eines anderen Bildes und die Verwendung der Zeitdifferenz zwischen der Aufnahme der beiden Bilder, um zu bestimmen, ob die Bilder Duplikate sind. Der Schritt des Berechnens eines Hinweises auf den Bildinhalt kann das Aufteilen jedes Bildes in Blöcke umfassen, worin ein oder mehrere Blöcke einen Vordergrundbereich der Bilder darstellen, und das Berechnen eines Hinweises auf den Bildinhalt in jedem Block und in den Vordergrundbereichen jedes Blocks.
  • Gemäß diesem Verfahren wird der Bildinhalt analysiert, um Duplikate anhand der Ähnlichkeit des Inhalts der Bilder und des Aufnahmezeitpunkts zu ermitteln. Wenn die Bildinhalte gleich sind und die Zeitdifferenz zwischen den Aufnahmen innerhalb eines bestimmten Schwellenwertes liegt, sind die Bilder Duplikate. Wenn keine Zeit- und Datumsangaben verfügbar sind, ist allein der Bildinhalt verwendbar.
  • Diese und weitere Aspekte, Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden unter Berücksichtigung der folgenden detaillierten Beschreibung der bevorzugten Ausführungsbeispiele und anhängenden Ansprüche sowie durch Bezug auf die anliegenden Zeichnungen besser verständlich und verdeutlicht.
  • Wenn die Bilder als Duplikate erkannt werden, wird eines von beiden entfernt und erscheint nicht in dem Album. Da der Verbraucher nicht zufrieden sein wird, wenn das automatische Albenverfahren ein Bild entfernt, das eigentlich in dem Album erscheinen sollte, muss die Genauigkeit des Duplikat-Erkennungsalgorithmus hoch sein. Die vorliegende Erfindung stellt ein automatisches Albenverfahren mit hoher Genauigkeit bereit.
  • Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
  • Es zeigen:
  • 1 ein Blockdiagramm zur Darstellung einer Übersicht der vorliegenden Erfindung;
  • 2 einen Vergleich der Widerruf-/Genauigkeits-Kurven, die für unterschiedliche Blockgrößen ermittelt wurden, einschließlich von Blöcken der Größe 2 × 2, 3 × 3 und 4 × 4;
  • 3 die Ergebnisse der Vergleiche zwischen 3 × 3 Blocktechniken mit und ohne Verwendung von Zeitangaben;
  • 4 einen von einer Anordnung aus 3 × 3 Blöcken abgedeckten Bereiche, einschließlich der durch die Blöcke 5 und 8 dargestellten Vordergrundbereiche;
  • 5A und B Beispiele von Farbhistogrammen für den von Block 5 abgedeckten mittleren Bereich, wie in 4 gezeigt;
  • 6 die Vergleiche zwischen verschiedenen 3 × 3 Blocktechniken, die die Wirkung der Verwendung (und Nichtverwendung) von Zeitangaben zeigen, und zwar anhand des Mittelwerts aus neun Histogrammschnittwerten und unter Verwendung der in Bezug auf 1 gezeigten Regeln;
  • 7 eine Tabelle der erfindungsgemäßen Verbesserungen an dem Duplikat-Erkennungsverfahren im Überblick; und
  • 8 ein Blockdiagramm eines Computersystems zur Implementierung der vorliegenden Erfindung.
  • Im folgenden wird die vorliegende Erfindung in dem bevorzugten Ausführungsbeispiel als ein Softwareprogramm beschrieben. Fachleuten ist selbstverständlich klar, dass sich ein Äquivalent einer derartigen Software auch in Form von Hardware konstruieren lässt. Bezogen auf das nachfolgend beschriebene, erfindungsgemäße System und Verfahren ist die hier nicht explizit gezeigte, beschriebene oder vorgesehene Software, die zur Implementierung der vorliegenden Erfindung verwendbar ist, von herkömmlicher Art, wie in der einschlägigen Technik üblich. Im vorliegenden Zusammenhang kann ein computerlesbares Speichermedium beispielsweise magnetische Speichermedien, wie Magnetplatten (z.B. Diskette oder Festplatte) oder Magnetband umfassen, optische Speichermedien, wie optische Platte, optisches Band oder maschinenlesbaren Code, eine Halbleiterspeichervorrichtung, wie RAM (Random Access Memory) oder ROM (Read Only Memory) oder jede andere physische Vorrichtung oder jedes andere Medium, das zur Speicherung eines Computerprogramms geeignet ist.
  • 1 zeigt anhand eines Ablaufdiagramms eine Übersicht der vorliegenden Erfindung. In Schritt S10 werden digitalisierte Bilder in ein Computersystem eingegeben, wo ein Softwareprogramm diese nach verschiedenen Kategorien klassifiziert. Beispielsweise werden die Bilder in chronologischer Reihenfolge eingestuft, indem der Aufnahmezeitpunkt jedes Bildes (das Datum kann auch zur Eingrenzung der Tageszeit verwendet werden, und bei Fehlen einer Zeitangabe kann das Datum allein eine grobe Schätzung der chronologischen Reihenfolge ermöglichen). Der Aufnahmezeitpunkt jedes Bildes kann extrahiert werden, beispielsweise aus den codierten Angaben auf dem Filmstreifen von Bildern des Advanced Photo Systems (APS) oder anhand von Informationen aus bestimmten Digitalkameras. Jedes Bild wird zudem in N × N Blöcke unterteilt (wobei N in typischen Implementierungen für 2, 3 oder 4 steht). In dem bevorzugten Ausführungsbeispiel ist das Bild in 3 × 3 Blöcke unterteilt, wie in 4 gezeigt. Für jeden Block wird ein Hinweis auf den Bildinhalt berechnet; insbesondere wird für jeden Block ein Farbhistogramm berechnet (exemplarische Histogramme des mittleren Blocks werden für zwei ähnliche Bilder in 5A und 5B gezeigt). Dann wird jeder Block eines Bildes anhand einer herkömmlichen Histogrammschnittpunktmetrik mit dem entsprechenden Block eines anderen Bildes verglichen. (Die Histogrammschnittpunktmetrik wird in EP-0 990 996 beschrieben, welche der Patentanmeldung mit der US-Seriennummer 09/163,618 entspricht, d.h. US-B-6 606 411 .
  • Zu Beginn des Verfahrens werden in Schritt S11 die beiden Marken IsDup und Foreground-Dup auf wahr bzw. auf falsch gesetzt. Dann wird in Schritt S12 der individuelle Histogrammschnittwert für jeden Block (mit Ausnahme des mittleren Blocks) geprüft, um zu bestimmen, ob er höher als ein bestimmter Schwellenwert T1 ist, und die Anzahl der Schnittwerte unter dem Schwellenwert T1 wird gezählt. Wenn in Schritt S14 ermittelt wird, dass die Anzahl der Blöcke mit Schnittwerten unterhalb des Schwellenwerts T1 größer als eine bestimmte Zahl N ist, wird die Marke IsDup auf „falsch" gesetzt. Anschließend wird in Schritt S15 für einen Vordergrundbereich des Bildes der mittlere Histogrammschnittwert für den Vordergrund berechnet (wobei der Vordergrund bezüglich eines 3 × 3 Blocks als Block 5 und 8 definiert ist, wie in 4 gezeigt). Wenn in Schritt S16 festgestellt wird, dass der mittlere Histogrammschnittwert für den Vordergrund kleiner als ein bestimmter Schwellenwert T2 ist, wird die Marke IsDup auf „falsch" gesetzt. Wenn in Schritt S18 festgestellt wird, dass der mittlere Histogrammschnittwert für den Vordergrund größer als ein bestimmter Schwellenwert T3 ist, wird die Marke ForegoundDup auf „wahr" gesetzt.
  • Als nächstes werden in Schritt S20 die Mittelwerte aller Histogrammschnittwerte für alle Blöcke jedes Bildes berechnet und geprüft, um zu ermitteln, ob der mittlere Histogrammschnittwert größer als ein Schwellenwert T4 ist (wobei die Marke „IsDup" wahr ist), und in Schritt S22 wird geprüft, ob dieser mittlere Histogrammschnittwert größer als ein anderer Schwellenwert T5 ist (wobei T5 < T4, und wobei die Marke ForegreoundDup „wahr" ist). Wenn keine dieser Bedingungen erfüllt ist, wird entschieden, dass die Bilder keine Duplikate sind. Wenn eine dieser Bedingungen erfüllt ist, wird die Entscheidung hinsichtlich der Duplikate an dieser Stelle nicht getroffen. In Schritt S24 wird die Zeitdifferenz zwischen den beiden Bildern geprüft, um zu bestimmen, ob diese kleiner als ein bestimmter Schwellenwert T6 ist, und in Schritt S28 wird sie weiter geprüft, um zu bestimmen, ob diese kleiner als ein anderer Schwellenwert T8 ist (wobei T6 < T8). Wenn die Bedingung in Schritt S24 erfüllt ist, oder wenn die Bedingung in Schritt S28 erfüllt ist und wenn in Schritt S26 ermittelt wird, dass der genannte Mittelwert aller Histogrammschnittwerte größer als ein anderer Schwellenwert T7 ist (wobei T5 < T4 < T7), dann wird die Entscheidung getroffen, dass die Bilder Duplikate sind. Ansonsten gelten die Bilder als keine Duplikate.
  • Zusammenfassend gelten folgende Regeln dafür, ob ein Bild ein Duplikat eines anderen Bildes ist:
    • a) Wenn die Bedingungen in S14 und S16 nicht erfüllt werden, und wenn die Bedingungen in S20 und S24 erfüllt werden, sind die Bilder Duplikate.
    • b) Wenn die Bedingungen in S14 und S16 nicht erfüllt werden, und wenn die Bedingungen in S20, S26 und S28 erfüllt werden, sind die Bilder Duplikate.
    • c) Wenn die Bedingungen in S18, S22 und S24 erfüllt werden, sind die Bilder Duplikate.
    • d) Wenn die Bedingungen in S18, S22 und S26 und S28 erfüllt werden, sind die Bilder Duplikate.
    • e) Ansonsten sind die Bilder keine Duplikate.
  • Das Ziel des in 1 dargestellten Algorithmus zur Erkennung von Duplikaten besteht darin, zu ermitteln, ob Bilder so ähnlich sind, dass ein Verbraucher nur eines davon in ein Album übernehmen würde. Eine tragfähige Definition eines Duplikats lautet wie folgt: Duplikate sind definiert als zwei Fotografien, die denselben Inhalt und dieselbe Zusammensetzung aufweisen sowie aus demselben Winkel und aus derselben Entfernung aufgenommen wurden. Normalerweise sind im Wesentlichen genau derselbe Inhalt und dieselbe Zusammensetzung erforderlich, um ein Duplikat zu erzeugen, obwohl eine geringfügige Abweichung bei Winkel und/oder Abstand tolerierbar sind. Demnach versucht das Verfahren zur Duplikaterkennung, sich die „nahezu identischen" Bilder zu widerrufen, d.h. die beiden Bilder sollten nahezu gleichfarbige Pixel an nahezu gleichen Stellen aufweisen. Selbstverständlich wird ein pixelweiser Vergleich nicht gut funktionieren, da immer eine geringfügige Verschiebung vorhanden sein wird; andererseits ist ein globales Farbhistogramm aufgrund der fehlenden Angaben über die Lage der Pixel nicht genau genug. Der Blockhistogrammansatz liefert semilokale Informationen über die Pixelfarben und einige Informationen über die Lage innerhalb des Bildes. Die Blöcke dürfen nicht zu groß sein, so dass die kleine Verschiebung zwischen den Bildern die Genauigkeit nicht beeinträchtigt. In dem unten beschriebenen Versuch wurde entschieden, die Bilder in 3 × 3 Blöcke zu unterteilen, wie in 4 gezeigt.
  • Es wurde festgestellt, dass die Angaben zu Datum und Zeit sehr nützlich sein können, um das Ziel des Duplikat-Erkennungsalgorithmus zu erreichen. Gemäß der vorstehenden Definition von Duplikaten liegt es auf der Hand, dass derartige Bilder normalerweise innerhalb einer sehr kurzen Zeit aufgenommen werden. Indem man unterschiedliche Schwellenwerte in Koordination mit den Bildähnlichkeitswerten setzt, wie in 1 gezeigt und beschrieben, ist man in der Lage, die Qualität der Duplikaterkennung erheblich zu verbessern.
  • Um den Algorithmus leistungsmäßig zu beurteilen und zu verifizieren, wurde eine Ground-Truth-Fremddatenbank eingerichtet. Aus der Datenbank wurden vierhundertdreiundvierzig (443) Bilder sorgfältig ausgewählt. Die Bilder sind Duplikatkandidaten, einschließlich einer Menge von Bildern, die ganz offensichtlich für das menschliche Auge keine Duplikate darstellen, jedoch möglicherweise für eine maschinenlesbare Vorrichtung (gleiches Bild, aber andere Personen usw.). Die Datenbank enthält ca. 270 Bildpaare Die Ground-Truth-Fremddatenbank beruhte auf der Beteiligung von zehn Beobachtern. Jedem Beobachter wurde eine Definition von Duplikatbildern gegeben, und es wurde ihnen erläutert, wie eine Entscheidung getroffen wird. Zudem wurden die Beobachter gebeten, nicht die Rolle der Verbraucher einzunehmen, also keine Sympathie oder Aversion gegenüber den Bildern zu entwickeln, sondern sich als unbeteiligte Dritte zu verhalten. Idealerweise sollte das Interesse an den Bildern die Beobachter nicht in ihrer Entscheidung beeinflussen, ob es sich um Duplikate handelt. Den Beobachtern wurde erläutert, dass ihre Eingabe für das Benchmarking eines Duplikat-Erkennungssystems verwendet wird.
  • Die Ausgabe des Duplikat-Erkennungsverfahrens ist binär, d.h., dass ein Bild entweder als Duplikat oder als kein Duplikat markiert wird. Unabhängig davon, was die Ground-Truth-Untersuchung ergibt, für jedes Bildpaar besteht die Wahrscheinlichkeit, dass es sich um Duplikate handelt. Die zur Leistungsbewertung des Verfahrens verwendete Metrik beruht auf einer Widerrufvariablen und einer Genauigkeitsvariablen, wobei folgendes gilt:
    Figure 00080001
  • Der erste Schritt bestand darin, die Anzahl der Blöcke zu ermitteln, in die die Bilder aufgeteilt werden würden. In der vorstehend genannten US-Patentanmeldung mit der Serien-Nummer 09/163,618 wurde eine blockgestützte Histogrammtechnik zur Ereignisklassifizierung verwendet, die allerdings eine viel größere Anzahl von Blöcken umfasste. In der Vergleichsdarstellung aus 2 wurden Widerruf-/Genauigkeits-Kurven für die 2 × 2 Blocktechniken, 3 × 3 Blocktechniken, 4 × 4 Blocktechniken und für eine blockbasierte Histogrammtechnik erstellt, die eine große Zahl von Blöcken umfasst. Für die Mehrzahl von N × N Blocktechniken wird ein Mittelwert der Histogrammschnittpunkte berechnet und ein Schwellenwert angewandt. Die Widerruf-/Genauigkeits-Kurven werden erzeugt, indem der Schwellenwert für jede Technik variiert wird. Die Ergebnisse dieses Vergleichs sind in 2 dargestellt. 2 zeigt, dass der neue Ansatz mit kleineren Blöcken besser als eine blockbasierte Histogrammtechnik ist, die eine große Zahl von Blöcken zur Erkennung von Duplikaten umfasst. Es scheint zudem klar, dass die Ergebnisse der 3 × 3 Block- und der 4 × 4 Blockansätze die Ergebnisse des 2 × 2 Blockansatzes übertreffen. Es wurde entschieden, den 3 × 3 Blockansatz aus folgenden Gründen zu verwenden: 1) Die Ergebnisse sind geringfügig besser als bei Verwendung von 4 × 4 Blöcken; 2) Der 3 × 3 Blockansatz hat den Vorteil, dass ein mittlerer Block zur Verfügung steht, in dem sich in der Mehrzahl der Bilder wahrscheinlich das Hauptmotiv befindet.
  • Der nächste Schritt ist die Bestimmung des Einflusses der Datums- und Zeitangaben auf die Qualität der Ergebnisse. Datums- und Zeitangaben erwiesen sich als sehr relevante Informationen und ermöglichten eine erheblich Verbesserung der Genauigkeit der Ergebnisse, auch wenn nur 57% der Bilder Datums- und Zeitangaben enthalten. Für die Zeitangabe wurden adaptive Schwellenwerte eingerichtet, die sämtlich für diese Datenbank optimiert wurden.
  • 3 zeigt die Ergebnisse eines Vergleichs zwischen einer 3 × 3 Blocktechnik, und zwar ohne Verwendung von Zeitangaben, und einer 3 × 3 Blocktechnik mit Verwendung von Zeitangaben. 3 zeigt, dass für einen sinnvollen Widerrufwert zwischen 0,65 und 0,75 die unter Einbeziehung von Datums- und Zeitangabe erzielte Genauigkeit viel höher ist und bei einer mittleren Verbesserung von 0,065 oder 9% liegt. Abschließend wurde für jeden Block die Schwellenwerttechnik optimiert. Neben dem Schwellenwert für die mittleren Histogrammschnittpunkte wurde ein Schwellenwert an jedem Histogrammschnittpunkt und ein Schwellenwert an den mittleren Histogrammschnittpunkten der Blöcke 5 und 8 eingerichtet. Die Blöcke 5 und 8 enthalten sehr wahrscheinlich das Hauptmotiv. Diese stellen im Allgemeinen den Vordergrund des Bildes dar. 4 zeigt den von den Blöcken 5 und 8 abgedeckten Bereich.
  • 5A und 5B zeigen, wie die Blöcke jedes Bildes jeweils miteinander anhand der Farbhistogramme verglichen werden und insbesondere, wie die RGB-Farbhistogramme des mittleren Blocks jedes Bildes verglichen werden. Obwohl zwischen den beiden Bildern eine geringfügige Verschiebung auftritt, zeigen diese Figuren, dass die Farbhistogramme für den mittleren Block grundlegend gleich sind. Der einzige nennenswerte Unterschied ist die sichtbare Spitze im rechten Teil des Histogramms des Blocks von Bild B (5B). Diese Spitze entspricht der kleinen Menge Wasser, das in dem mittleren Block des Bildes B vorhanden ist und das aufgrund der Verschiebung nicht in dem mittleren Block des Bildes A (5A) vorhanden ist. Die Differenz hat keinen signifikanten Einfluss auf den gesamten Schnittwert zwischen diesen Histogrammen.
  • 6 zeigt Vergleiche zwischen der Verwendung mehrerer 3 × 3 Blockhistogrammtechniken, eine Kurve ohne Verwendung von Zeitangaben, die anderen entweder mit Verwendung von Zeitangaben in Kombination mit dem Mittelwert der neun Histogrammschnittwerte oder mit Zeitangaben in Kombination mit der zuvor in Bezug zu 1 beschriebenen Regelmenge (oder einer Untermenge davon). Insbesondere zeigt die Kurve aus 6 mit der Angabe 3 × 3 + Zeit.3, die dem in 1 gezeigten Verfahren folgt, die erzielten Verbesserungen durch Anwendung der bezüglich 1 beschriebenen Regelmenge. Die beste Lösung wurde anhand der folgenden Schwellenwertmenge erzielt: T1 = 0,54; T2 = 0,43; T3 = 0,57; T4 = 0,495; T5 = 0,62; T6 = 2; T7 = 0,62; T8 = 8; N = 2. Das erzielte Ergebnis ist ein Widerrufwert von 0,68 und ein Genauigkeitswert von 0,81. Dies stellt eine Verbesserung der Genauigkeit um 0,045 oder 6% bei gleichem Widerrufwert im Vergleich mit den Grundtechniken unter Verwendung von Zeitangaben dar.
  • 7 zeigt eine Tabelle, in der die Verbesserungen zusammengefasst werden, die an dem Duplikat-Erkennungsverfahren vorgenommen werden, insbesondere um darzustellen, dass die erfindungsgemäße Technik eine signifikante Verbesserung im Vergleich mit der blockbasierten Histogrammtechnik erzielt (es lässt sich eine Zunahme des Widerrufwerts um 5,4% und des Genauigkeitswerts um 23,8% beobachten).
  • Zwar wurde die Gesamtmethodik der Erfindung vorstehend beschrieben, aber die Erfindung kann in einer beliebigen Anzahl unterschiedlicher Systemtypen ausgestaltet und in einer beliebigen Anzahl von Möglichkeiten ausgeführt werden, wie einschlägigen Fachleuten klar sein wird. Zum besseren Verständnis sei darauf hingewiesen, dass die vorliegende Erfindung vorzugsweise auf einem beliebigen, bekannten Computersystem verwendbar ist, wie beispielsweise einem PC (Personal Computer). Es sei zudem darauf hingewiesen, dass die Bilder entweder direkt in das Computersystem eingegeben werden können (beispielsweise mit einer Digitalkamera), oder dass sie vor der Eingabe in das Computersystem digitalisiert werden können (beispielsweise durch Scannen). Wie in 8 gezeigt, hat eine typische Hardwarekonfiguration eines zur Implementierung der Erfindung geeigneten Informationshandhabungs-/Computersystems vorzugsweise mindestens einen Prozessor oder eine zentrale Verarbeitungseinheit (CPU) 100. Die CPU 100 ist über einen Systembus 101 mit einem Schreib-/Lesespeicher (RAM) 102, einem Lesespeicher (ROM) 103, einem Ein-/Ausgabe-Adapter (I/O) 104 (zum Anschließen von Peripheriegeräten, wie Platteneinheiten 105 und Bandlaufwerken 106 an den Bus 101), einem Kommunikationsadapter 107 (zum Anschließen eines Informationshandhabungssystems an ein Datenverarbeitungsnetz, wie das Internet), einem Benutzerschnittstellenadapter 108 (zum Anschließen der Peripheriegeräte 109, 110, 111, wie beispielsweise einer Tastatur, einer Maus, einer Digitalbildeingabeeinheit (z.B. einem Scanner oder einer Kamera), eines Mikrophons/Lautsprechers und/oder einer anderen Benutzerschnittstellenvorrichtung an den Bus 101), einem Drucker 112 und einem Anzeigeadapter 113 (zum Anschließen einer Anzeigevorrichtung 114 an den Bus 101) verbunden. Die Erfindung könnte anhand der in 8 gezeigten Struktur implementiert werden, indem das erfindungsgemäße Verfahren in ein Computerprogramm aufgenommen wird, z.B. auf einer Speichervorrichtung 105. Ein derartiges Computerprogramm würde auf eine Zeitreihe von Vollbildern wirken, die über den Schnittstellenadapter 108 oder über die Netzwerkverbindung 107 eingespeist werden, um Duplikate zu erkennen. Das System würde dann automatisch die gewünschte Digitalbild-Vollbildausgabe (ohne Duplikate) an der Anzeige 114 oder auf dem Drucker 112 erzeugen oder diese zum Netzwerk 107 zurücksenden.

Claims (6)

  1. Verfahren zum Erkennen von Doppelbildern, mit folgenden Schritten: Bereitstellen von mindestens zwei Bildern, die zu bestimmbaren Zeitpunkten aufgenommen wurden; Berechnen einer Inhaltsangabe für jedes Bild; Bestimmen des Zeitpunkts, an dem jedes der Bilder aufgenommen wurde; und Bewerten des Bildinhalts und des Zeitpunkts, an dem das Bild aufgenommen wurde, um zu bestimmen, ob es sich um Doppelbilder handelt; und weiterhin mit den Schritten: Aufteilen eines jeden Bildes in eine Anzahl X von Blöcken, worin ein Block oder mehrere Blöcke einen mittleren Bereich und einen Vordergrundsbereich darstellen; Berechnen von Histogrammen für jeden Block eines jeden Bildes sowie von Blockhistogramm-Schnittpunktwerten, die erhalten werden durch Vergleichen der Histogramme von entsprechenden Blöcken eines jeden Bildes; Bestimmen, ob jeder Blockhistogramm-Schnittpunktwert für mindestens die den mittleren Bereich umgebenden Blöcke größer ist als ein Schwellenwert T1, und Bestimmen, ob die Anzahl an Schnittpunktwerten unterhalb des Schwellenwerts T1 nicht größer ist als eine bestimmte Anzahl N; Berechnen eines durchschnittlichen Histogramm-Schnittpunktwertes für den Vordergrundsbereich und Bestimmen, ob der durchschnittliche Blockhistogramm-Schnittpunktwert des Vordergrundsbereiches nicht kleiner ist als ein Schwellenwert T2; Bestimmen, ob der durchschnittliche Histogramm-Schnittpunktwert für den Vordergrund größer ist als ein Schwellenwert T3; Bestimmen, ob eine durchschnittliche Anzahl X von Blockhistogramm-Schnittpunktwerten größer ist als ein Schwellenwert T4; Bestimmen, ob die durchschnittliche Anzahl X von Blockhistogramm-Schnittpunktwerten größer ist als ein Schwellenwert T5; Bestimmen, ob die Zeitdifferenz zwischen dem Aufnehmen der Bilder kleiner ist als ein Schwellenwert T6; Bestimmen, ob die durchschnittliche Anzahl X von Blockhistogramm-Schnittpunktwerten größer ist als ein Schwellenwert T7; Bestimmen, ob die Zeitdifferenz zwischen dem Aufnehmen der Bilder kleiner ist als ein Schwellenwert T8; und Verwenden der während des Bestimmungsschritts gemachten Bestimmungen, um festzustellen, ob irgendwelche dieser Bilder Doppelbilder sind.
  2. Verfahren nach Anspruch 1, worin jedes Bild in höchstens 4 × 4 Blöcke aufgeteilt ist.
  3. Verfahren nach Anspruch 2, worin jedes Bild in 3 × 3 Blöcke aufgeteilt ist.
  4. Verfahren nach Anspruch 1, worin T5 < T4.
  5. Verfahren nach Anspruch 1, worin T5 < T4 < T7.
  6. Verfahren nach Anspruch 1 oder 5, worin T6 < T8.
DE60127889T 2000-03-29 2001-03-19 Verfahren zur Erkennung Doppelbildern in einem automatischen Albensystem Expired - Lifetime DE60127889T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US537334 2000-03-29
US09/537,334 US6961463B1 (en) 2000-03-29 2000-03-29 Method of detecting duplicate pictures in an automatic albuming system

Publications (2)

Publication Number Publication Date
DE60127889D1 DE60127889D1 (de) 2007-05-31
DE60127889T2 true DE60127889T2 (de) 2008-01-17

Family

ID=24142207

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60127889T Expired - Lifetime DE60127889T2 (de) 2000-03-29 2001-03-19 Verfahren zur Erkennung Doppelbildern in einem automatischen Albensystem

Country Status (4)

Country Link
US (1) US6961463B1 (de)
EP (1) EP1139288B1 (de)
JP (1) JP2001325593A (de)
DE (1) DE60127889T2 (de)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4370800B2 (ja) * 2003-04-21 2009-11-25 ヤマハ株式会社 音楽コンテンツ利用装置及びプログラム
JP2004326491A (ja) * 2003-04-25 2004-11-18 Canon Inc 画像処理方法
JP2005115672A (ja) * 2003-10-08 2005-04-28 Fuji Photo Film Co Ltd 画像処理装置
US7532214B2 (en) * 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
US7457825B2 (en) * 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
US11403336B2 (en) * 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US8325398B2 (en) * 2005-12-22 2012-12-04 Canon Kabushiki Kaisha Image editing system, image management apparatus, and image editing program
JP4827521B2 (ja) * 2005-12-22 2011-11-30 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
US7647331B2 (en) * 2006-03-28 2010-01-12 Microsoft Corporation Detecting duplicate images using hash code grouping
US20070266001A1 (en) * 2006-05-09 2007-11-15 Microsoft Corporation Presentation of duplicate and near duplicate search results
US7467222B2 (en) * 2006-05-12 2008-12-16 Shutterfly, Inc. Image ranking for imaging products and services
US8527469B2 (en) * 2006-10-13 2013-09-03 Sony Corporation System and method for automatic detection of duplicate digital photos
US8832023B2 (en) * 2009-01-30 2014-09-09 Apple Inc. System for managing distributed assets and metadata
CN101576932B (zh) * 2009-06-16 2012-07-04 阿里巴巴集团控股有限公司 近重复图片的计算机查找方法和装置
US8078623B2 (en) * 2009-10-14 2011-12-13 Cyberlink Corp. Systems and methods for summarizing photos based on photo information and user preference
US7921150B1 (en) 2009-10-23 2011-04-05 Eastman Kodak Company Method for viewing videos on distributed networks
US11016938B2 (en) 2010-09-01 2021-05-25 Apple Inc. Consolidating information relating to duplicate images
US8774561B2 (en) 2010-09-01 2014-07-08 Apple Inc. Consolidating information relating to duplicate images
US9218546B2 (en) * 2012-06-01 2015-12-22 Google Inc. Choosing image labels
CN104427227B (zh) * 2013-08-22 2018-03-23 北大方正集团有限公司 成组照方法和装置
WO2017075493A1 (en) 2015-10-28 2017-05-04 Ustudio, Inc. Video frame difference engine
US9824299B2 (en) 2016-01-04 2017-11-21 Bank Of America Corporation Automatic image duplication identification
US9626596B1 (en) * 2016-01-04 2017-04-18 Bank Of America Corporation Image variation engine
US11170044B2 (en) * 2019-01-02 2021-11-09 International Business Machines Corporation Personalized video and memories creation based on enriched images
US11270155B2 (en) * 2019-11-26 2022-03-08 Dash Hudson Duplicate image detection based on image content

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4143956A (en) * 1976-02-26 1979-03-13 Ricoh Company, Ltd. Camera with date entry
JP3528214B2 (ja) * 1993-10-21 2004-05-17 株式会社日立製作所 画像表示方法及び装置
JP3026712B2 (ja) * 1993-12-09 2000-03-27 キヤノン株式会社 画像検索方法及びその装置
US5805215A (en) * 1994-04-21 1998-09-08 Canon Kabushiki Kaisha Information processing method and apparatus for storing additional data about an image
US6400853B1 (en) * 1997-03-19 2002-06-04 Canon Kabushiki Kaisha Image retrieval apparatus and method
US6163622A (en) * 1997-12-18 2000-12-19 U.S. Philips Corporation Image retrieval system
US6445818B1 (en) * 1998-05-28 2002-09-03 Lg Electronics Inc. Automatically determining an optimal content image search algorithm by choosing the algorithm based on color
US6721449B1 (en) * 1998-07-06 2004-04-13 Koninklijke Philips Electronics N.V. Color quantization and similarity measure for content based image retrieval
US6606411B1 (en) 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6584221B1 (en) * 1999-08-30 2003-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for image retrieval with multiple regions of interest

Also Published As

Publication number Publication date
EP1139288B1 (de) 2007-04-18
EP1139288A3 (de) 2004-06-30
EP1139288A2 (de) 2001-10-04
JP2001325593A (ja) 2001-11-22
DE60127889D1 (de) 2007-05-31
US6961463B1 (en) 2005-11-01

Similar Documents

Publication Publication Date Title
DE60127889T2 (de) Verfahren zur Erkennung Doppelbildern in einem automatischen Albensystem
DE69226846T2 (de) Verfahren zur Bestimmung von Wortgrenzen im Text
DE69937530T2 (de) Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen
DE69525401T2 (de) Verfahren und Gerät zur Identifikation von Wörtern, die in einem portablen elektronischen Dokument beschrieben sind
EP0040796B1 (de) Verfahren zum automatischen Klassifizieren von Bild- und Text- oder Graphikbereichen auf Druckvorlagen
DE69535098T2 (de) Verfahren und -vorrichtung zur Suche von Bildern in einer Datenbank
DE4311172C2 (de) Verfahren und Einrichtung zum Identifizieren eines Schrägenwinkels eines Vorlagenbildes
DE69616246T2 (de) Automatisches Verfahren zum Identifizieren von Wegfallwörtern in der Abbildung eines Dokumentes ohne Verwendung vom OCR
DE69528896T2 (de) Verfahren zur clusterbildung in multidimensional voneinander abhangigen daten
DE112008003972T5 (de) Automatische Erzeugung einer skalierbaren, nach Relevanz geordneten Darstellung einer Bildsammlung
DE69908360T2 (de) Rechnersystem und verfahren zur erklärung des verhaltens eines modelles das eingangsdaten auf ausgangdaten abbildet
DE102013210375A1 (de) Auffinden von text in natürlichen szenen
DE19530829C2 (de) Verfahren zum elektronischen Wiederauffinden von einem Dokument hinzugefügter Information
DE112011101559T5 (de) Dynamische adaptive Erkennung von Prozessen und deren Einhaltung
DE10157958A1 (de) Bildverarbeitungsverfahren und-vorrichtung
DE102017216821A1 (de) Verfahren zur Erkennung einer Objektinstanz und/oder Orientierung eines Objekts
EP0780002A1 (de) Verfahren zur rekonstruktion von in rasterform vorliegenden linienstrukturen
DE60033580T2 (de) Verfahren und gerät zur klassifizierung eines bildes
CH712988A1 (de) Verfahren zum Durchsuchen von Daten zur Verhinderung von Datenverlust.
EP2064672A2 (de) Verfahren und vorrichtung zur bildverarbeitung
DE10140735A1 (de) Verfahren und System zum automatischen Zusammensetzen von berechneten Radiographie-(CR) Bildern durch Weißband-Detektion und Konsistenz-Überprüfung
DE102012025349B4 (de) Bestimmung eines Ähnlichkeitsmaßes und Verarbeitung von Dokumenten
DE102012025350A1 (de) Verarbeitungn eines elektronischen Dokuments
DE60317455T2 (de) Segmentierung eines zusammengesetzten Bildes mittels Basis-Rechtecken
DE102019204602A1 (de) Verfahren und Vorrichtung zur Maskierung von in einem Bild enthaltenen Objekten

Legal Events

Date Code Title Description
8364 No opposition during term of opposition