DE69916450T2 - Verfahren zum suchen von bildern, basierend auf einer invarianten indizierung der bilder - Google Patents

Verfahren zum suchen von bildern, basierend auf einer invarianten indizierung der bilder Download PDF

Info

Publication number
DE69916450T2
DE69916450T2 DE69916450T DE69916450T DE69916450T2 DE 69916450 T2 DE69916450 T2 DE 69916450T2 DE 69916450 T DE69916450 T DE 69916450T DE 69916450 T DE69916450 T DE 69916450T DE 69916450 T2 DE69916450 T2 DE 69916450T2
Authority
DE
Germany
Prior art keywords
sections
image
images
points
indices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69916450T
Other languages
English (en)
Other versions
DE69916450D1 (de
Inventor
Hassane Essafi
Jean-Michel Marie-Julie
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA filed Critical Commissariat a lEnergie Atomique CEA
Publication of DE69916450D1 publication Critical patent/DE69916450D1/de
Application granted granted Critical
Publication of DE69916450T2 publication Critical patent/DE69916450T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99936Pattern matching access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

  • Die Erfindung bezieht sich auf ein Verfahren zur Suche nach Bildern, von denen jedes in einer Datenbank in Form eines Index strukturierter Informationen aufgezeichnet wurde, so dass eine nachfolgende Suche eines bestimmten Elements auf bzw. in den Bildern dieser Datenbank erleichtert wird.
  • Eine leicht auszuführende Technik zur Suche nach einem bestimmten Detail auf einem Bild besteht darin, einen Beschreibungskatalog der Bilder durch einen Text oder durch Schlüsselworte zu konsultieren, die Erstellung des Katalogs ist jedoch zeitaufwendig und es nicht immer möglich, zu garantieren, dass die Bilder mit Objektivität beschrieben werden und dass die Details, für die man sich später interessiert, nicht sofort in diesem Augenblick wahrgenommen werden. Schließlich ist die Beschreibung im allgemeinen zu wenig präzise, da die Details allgemein durch ihre Kategorie (Gebäude, Fahrzeug, Person, etc.) identifiziert werden, wogegen im allgemeinen ein bestimmtes individuelles Element dieser Kategorie verlangt wird, was es erforderlich macht, alle Bilder, auf denen sich diese Kategorie von Elementen befindet, zu untersuchen.
  • Eine andere Lösung besteht darin, ein Objekt zu suchen, indem seine Kontur und seine Struktur beschrieben wird, und indem in der Bild-Datenbank danach gesucht wird. Dabei müssen die entsprechenden Informationen aus digitalen Modellen der nach Punkten diskret festgehaltenen Bilder extrahiert werden. Unglücklicherweise gibt es keine Extraktionsmethode der Kontur oder der Struktur eines Objekts, die in allen Fällen wirksam ist, und diese Methoden sind zum Scheitern verurteilt, wenn die Objekte partiell maskiert sind, sich im Schatten befinden oder wenn sie auf dem hinsichtlich der Suche gelieferten Muster und auf dem Bild, auf dem dieses Muster wiedergefunden werden muss, unterschiedlich beleuchtet sind.
  • Ein weiteres Verfahren besteht darin, das gelieferte Muster mit jedem der Abschnitte jedes der Bilder zu vergleichen; der Vergleich erstreckt sich dabei auf Abdrücke der Punkte des Musters und der Punkte der Bilder, aber dieses Verfahren ist für eine etwas umfangreichere Suche in der Praxis nicht durchführbar.
  • Eine weitere Kategorie von Verfahren, zu der die Erfindung gehört, besteht in der Modellierung von Bildern durch so viele Indizes, wie sie die Eigenschaften des Bildes darstellen. Das zu suchende Muster wird auf die gleiche Weise modelliert, um einen Index analoger Form zu ergeben, und der Vergleich bezieht sich auf die Indizes. Wenn ein Vergleich als positiv bewertet wird, wird das entsprechende Bild extrahiert und untersucht.
  • In jüngster Zeit ist der Bildkomprimierung unter Verwendung ihrer fraktalen Eigenschaften viel Interesse entgegengebracht worden, um Indizes zu ergeben, die im Speicher wenig Platz einnehmen und trotzdem ermöglichen, später das Bild mit zufriedenstellender Qualität zu rekonstruieren; diese Indizes können, wie aus dem folgenden hervorgeht, bei der Erfindung für die Suche nach Mustern führenden Vergleiche mittels bestimmter Vorsichtsmaßnahmen bei ihrer Erstellung dienen.
  • Ein fraktales Objekt weist die Eigenschaft auf, in seinen Teilen bzw. Abschnitten identisch zu sein: wenn man daraus ein Fragment isoliert, das man vergrößert, findet man, dass es identisch mit dem ursprünglichen Objekt ist. Das Bild eines fraktalen Objekts kann erhalten werden, indem bestimmte geometrische Transformationen auf wiederholte Art und Weise auf ein Ausgangsbild angewandt werden, das sich verformt, um zu dem Bild des fraktalen Objekts hin zu konvergieren, was man als Attraktionsfaktor (attracteur) der geometrischen Transformation bezeichnet. Das Ausgangsbild kann auf beliebige Weise gewählt werden.
  • Die gewöhnlichen Bilder sind keine fraktalen Objekte, es ist aber trotzdem möglich, ziemlich einfache geometrische Transformationen zu finden, von denen diese Bilder Attraktionsfaktoren sind. Das Bild kann dabei durch einfache Kenntnis eines diese geometrische Transformationen ausdrückenden Index rekonstituiert werden, und durch Anwenden dieser Transformationen zu wiederholten Malen auf ein beliebiges Ausgangsbild: es genügt also, den Index in der Datenbank aufzuzeichnen, ohne dass es nötig wäre, das Bild selbst in digitaler Form aufzuzeichnen, was viel platzraubender wäre.
  • Die geometrischen Transformationen werden in der Praxis bestimmt, indem das Bild in Sektoren (in englisch: "ranges") unterteilt wird, und indem jedem dieser Sektoren eine Domäne des gleichen Bilds zugeordnet wird, d. h. ein anderer Abschnitt des Bilds, der in der Praxis eine größere Oberfläche aufweist, da die angemessenen geometrischen Transformationen die Details, auf die sie angewandt werden, zusammenziehen oder ausbessern müssen. Die Entsprechungen, durch welche die Sektoren und die Domänen in Bezug gesetzt werden, werden so ausgewählt, dass die Domänen Sektoren ähneln, denen sie zugeordnet sind, d. h., dass sie ein gleiches Aussehen aufweisen, wenn man ihnen eventuell bestimmte Modifikationen der Leuchtkraft, des Kontrasts und der Farbe oder der Form durch Drehung oder durch Symmetrie auferlegt hat.
  • Es ist wesentlich, dass die Indizes der Bilder und der auf diesen Bildern zu suchenden Muster zumindest teilweise auf gleiche Art und Weise zusammengesetzt sind, d. h., dass homologe Sektoren in Relation zu homologen Domänen gesetzt werden, damit sie vergleichbar sind. Ein hohes Risiko in dieser Hinsicht ist mit den oft sehr unterschiedlichen Größen des Bildes und des Musters verbunden: die Domänen und Sektoren, die auf dem Muster durch eine fraktale Transformierte zugeordnet werden, sind im allgemeinen einander nahe, während sie auf einem Bild größerer Dimension viel weiter entfernt sein können; entsprechenden Sektoren des Musters und des Bildes werden also allgemein unterschiedliche Domänen zugeordnet, wobei die des Index des Bildes außerhalb des Musters liegt, wenn man keine Vorsichtsmaßnahmen er greift.
  • Die entsprechenden Abschnitte der Indizes des Musters und des Bildes können dabei nicht identisch sein, und die Suche ist nicht erfolgreich, wenn dieser Umstand sich zu oft wiederholt. In dieser Hinsicht ist anzumerken, dass die einem gleichen Sektor durch die Indizes des Musters und des Bildes zugeordneten Domänen bei den meisten bekannten Verfahren willkürlich gewählt werden, was dazu führt, dass diese Domänen allgemein auf jeden Fall unterschiedlich sind, und dass das Vorhandensein des Musters auf dem Bild als wahrscheinlich anzunehmen ist, sobald diese ziemlich seltenen Fragmente ihrer Indizes identisch sind; die Nachteile dieser Situation sind jedoch viel gravierender, wenn das oben angedeutete Problem nicht gelöst wird.
  • Das Dokument FR-A-2 753 820 vom 27. März 1998 liefert eine Lösung: man entscheidet, die Distanz zwischen jedem der Sektoren der Bilder und der Domänen zu begrenzen, die ihnen jeweils durch den Index zugeordnet sind, was es ermöglicht, wahrscheinlicher einen bestimmten Sektor identischen Domänen des Bildes und des Musters zuzuordnen. Die Risiken eines nicht erfolgreichen Vergleichs der Indizes sind dabei geringer, während das Muster auf dem untersuchten Bild gut präsent ist.
  • Andere Risiken des Fehlschlagens des Vergleichs werden jedoch nicht vermieden, wenn folgendermaßen vorgegangen wird: da die geometrischen Transformationen normalerweise durch cartesianische Koordinaten definiert sind, welche den Abstand zwischen den in Bezug gesetzten Sektoren und Domänen ausdrücken, ist der Vergleich nicht mehr möglich, wenn das Muster und das Bild unter unterschiedlichen Winkeln betrachtet werden und damit unterschiedliche Koordinatenachsen besitzen; es muss auch darauf geachtet werden, dass die Unterteilungen des Musters und des Bildes in Domänen und Sektoren vergleichbar sind, ohne das Bild oder das Muster auf zu willkürliche Weise zu unterteilen, d. h., indem vermieden wird, die wichtigen Details zu stückeln oder sehr unterschiedliche Abschnitte von Elementen im Innern ein und derselben Domäne oder ein und desselben Sektors zuzuordnen.
  • Die Erfindung ist getätigt worden, um diesen Schwierigkeiten abzuhelfen. Sie besteht darin, bestimmte Techniken des Standes der Technik zur Modellierung von Bildern – von denen einige im einzelnen bekannt sind – mit einem Kompositionsverfahren des Index zu kombinieren, dessen Idee derjenigen der vorbekannten Anmeldung entspricht, die aber weniger willkürlich und methodischer ist, um Indizes auf wesentlich weniger variable Art und Weise aufzubauen, d. h., unabhängig von Störungen, die das Bild beeinflussen könnten. So ähneln sich die Indizes des zu suchenden Musters und der Bilder, auf denen es vorhanden ist, auch dann, wenn die Bilder Störfaktoren unterliegen und wenn das Muster nicht auf die gleiche Art und Weise in Erscheinung tritt.
  • Die durch Rauschen verursachten Störfaktoren, die Mängel und Störungen der Bilder üben einen ebenso großen Einfluss auf Indizes aus, die auf anderen Eigenschaften als den fraktalen begründet sind. Aufgabe der Erfindung ist es, diese weitgehend zu beseitigen, indem die Indizes invariabel oder unabhängig von kleinen Störungen gemacht werden, welche die Bilder beeinflussen und die Vergleiche beeinträchtigen könnten.
  • Statt willkürlicher und regelmäßiger Unterteilungen des Bildes, wie dies in zahlreichen Verfahren der Fall ist, bei denen sie in ähnliche Rechtecke unterteilt werden, werden sie durch Interessenpunkte definiert, die Orten entsprechen, an denen die Bilder Eigenschaften aufweisen, die stark variieren und die in der Praxis im allgemeinen an Winkeln von auf dem Bild dargestellten Details plaziert sind. Auf diese Weise folgen diese Unterteilungen besser den Konturen der Details, und die aus ihren Inhalten extrahierten Eigenschaften sind homogener, was es gestattet, sie besser zu definieren und sie somit mit geringerer Unsicherheit zu vergleichen. Indem es erforderlich ist, den Aufbau des Index entweder mit dem Inhalt des in Betracht kommenden Abschnitts oder demjenigen der benachbarten Abschnitte, d. h. der bestimmten Abschnitte vorzunehmen, wird außerdem ein wichtiges Element der Zufälligkeit im Aufbau des Index eliminiert, da es nun nicht mehr möglich ist, die durch eine fraktale Transformierte in Bezug gesetzten Domänen und Sektoren zu wählen, was für die Qualität des zu rekonstruierenden Bildes günstig ist, aber bei Vergleichen schadet.
  • Dies ermöglicht es jedoch noch nicht, eine Invarianz der Indizes zu erhalten, da die interessierenden Punkte, die das Prinzip von unregelmäßigen Unterteilungen der Bilder sind, immer noch gegenüber störendem Rauschen oder anderen Umständen von Bildaufnahmen empfindlich sind, so dass es unvermeidlich ist, dass ihre Liste von Umständen der Aufnahme jedes Bildes abhängt. Die Unterteilungen des Bildes werden infolgedessen modifiziert, und die Invarianz der Indizes wird somit beeinflusst. Wie zu erkennen ist, wird dieser schädigende Effekt erheblich gedämpft, wenn Schnittpunkte von Netzlinien als mögliche Scheitelpunkte bzw. Eckpunkte von die Teile des Bildes bildenden Polygonen verwendet werden, und wenn diese Polygone teilweise oder gänzlich abgedeckt werden, wobei sie einander überlagern, was bei den üblichen Verfahren nicht festgehalten wird, bei denen die Indizes nicht zu Vergleichszwecken, sondern nur zur Rekonstruktion der Bilder ausgewertet werden.
  • Der Index selbst kann fraktale Eigenschaften des Bildes ausdrücken. In diesem Fall ist es erfindungsgemäß, dass der Index Bezugnahmen von unterschiedlichen Abschnitten des Bildes ausdrückt, welche vergleichbare Aspekte darstellen, wobei die unterschiedlichen Abschnitte Unterteilungen des Bildes und weitere, durch Stückelung der Unterteilungen erhaltene Unterteilungen des Bildes umfassen, wobei jede weitere Unterteilung in Relation im Index mit jeder benachbarten Unterteilungen mit der Unterteilung, welche die weitere Unterteilung enthält, in Bezug gesetzt wird, wobei die benachbarten Unterteilungen die benachbarten Abschnitte darstellen.
  • Er kann aber auch den Abschnitten des Bildes selbst innewohnende Eigenschaften ausdrücken. Dabei wird vorgeschlagen, dass sie im Index in Form von mathematischen Momenten ausgedrückt werden, welche die Quantifizierung dieser Eigenschaften gestatten und dazu beitragen, die Invarianz des Index zu gewährleisten. Diese Momente sind vorzugsweise Summen von jedem der Abschnitte des Bildes, für jeden Punkt des Bildabschnitts berechnete Terme, die proportional zu einem Parameter, der einen Aspekt des Punkts ausdrückt, und zu einer bestimmten Potenz einer baryzentrischen Koordinate des Punkts sind.
  • Die baryzentrischen Koordinaten können auch zur Berechnung anderer Indextypen als mathematischen Momenten angewandt werden, beispielsweise von Fourier-Transformierten; ihr Vorteil besteht darin, dass sie an die Form von Unterteilungsabschnitten des Bildes gebunden sind und somit indirekt von interessierenden Punkten und Elementen des Bilds abgeleitet sind, jedoch nicht von der Ausrichtung oder der Position von Elementen auf dem Bild.
  • Diese und weitere Aufgaben, Eigenschaften und Vorteile der Erfindung gehen besser aus der Beschreibung der Fig. hervor, deren Aufzählung folgt, und die dazu dienen, den technischen Kontext und eine bestimmte Ausführung desselben darzustellen. Es zeigen:
  • 1 eine Ansicht eines in Sektoren unterteilten Bildes,
  • 2 eine Ansicht des gleichen, in Domänen unterteilten Bildes,
  • 3 eine graphische Darstellung, die einen Index einer fraktalen Transformation symbolisiert,
  • 4 eine Ansicht eines Unterteilungsnetzes eines anderen Bildes,
  • 5 eine Darstellung einer Perfektionierung der Netzbildungstechnik,
  • 6 ein Schema eines Teils eines Netzes zur Erläuterung eines grundlegenden Elements der Erfindung,
  • 7 eine zur 6 analoge Darstellung eines weiteren Aspekts der Erfindung,
  • 8A und 8B Beiträge zur Erfassung der Konsequenzen der Instabilität von Netzpunkten des Bildes, und
  • 9A und 9B Beiträge zur Veranschaulichung, wie diese Konsequenzen mit der Erfindung abgemildert werden.
  • Es werden kurz die allgemeinen Prinzipien der Kompression eines Bildes durch einen dessen fraktale Eigenschaften ausdrückenden Index in Erinnerung gebracht:
  • 1 stellt ein Bild dar, das hier aus einem Mosaik aus zwei Farben gebildet ist, und indem eine Unterteilung in quadratische Sektoren, die hier nach Horizontalreihen von R0 bis R63 durchnumeriert sind, durch ein Gitter dargestellt sind.
  • 2 stellt eine Unterteilung des gleichen Bildes in sechzehn Domänen dar, die auf gleiche Art und Weise von D0 bis D15 durchnumeriert sind, und von denen jede Oberfläche vier Sektoren aufweist, die wie sie selbst quadratische Formen haben.
  • Dieses Bild einer einfachen Form ermöglicht es, Domänen und Sektoren einfach in Bezug zu setzen. Auf diese Weise haben die vollkommen weißen Sektoren R0, R1, R4, R5 etc. eine identische Physiognomie mit einer gänzlich weißen Domäne, wie zum Beispiel D0 (oder z. B. D3 oder D14); die gänzlich schwarzen Sektoren, wie zum Beispiel R2 und R3, können mit einer gänzlich schwarzen Domäne, wie zum Beispiel D1 oder D13, in Bezug gesetzt werden, sie können aber auch mit der Domäne D0 in Bezug gesetzt werden, die bis auf eine Änderung der Leuchtkraft das gleiche Aussehen besitzt; die Sektoren, wie z. B. R18 und R27, die durch eine Diagonale zur Hälfte in schwarz und weiß unterteilt sind, werden mit der Domäne D5 gleichen Aussehens in Bezug gesetzt; R35, R42, R49 und R56 aus dem gleichen Grund mit D9; der Sektor R12 wird mit der Domäne D11 in Bezug gesetzt, die das gleiche Aussehen bis auf eine Vierteldrehung aufweist. Man gibt sich mit unvollkommenen Ähnlichkeiten zwischen Domäne und Sektor zufrieden, um diese Beziehungen in praktischen Situationen aufzustellen.
  • Diese gesamten Entsprechungsbeziehungen können die Form einer graphischen Darstellung annehmen, von der ein Teil in 3 gezeigt ist. Die Anwendung der von dem Index definier ten fraktalen Transformation besteht konkret darin, ausgehend von einem beliebigen Ausgangsbild, das in sechzehn Domänen und vierundsechzig Sektoren unterteilt und nochmals unterteilt wurde, ein neues Bild aufzubauen, auf das für jeden der Sektoren der Inhalt der Domäne des Ausgangsbilds, das ihm durch den Graphen und den Index zugeordnet ist, aufzutragen, nachdem darauf die notwendige Maßstabsänderung und eventuellen Modifikationen der Leuchtkraft, der Ausrichtung etc., die im Index enthalten sind, angewandt wurden; durch Wiederholung dieser Vorgänge konvergiert man zu dem Bild der 1 unabhängig vom Ausgangsbild.
  • Die Transformationen fraktaler Art, die den Index bilden, sind also durch die Gleichung (1) gegeben: Wi = (γixiyitxityisioi)
  • Es handelt sich dabei in Wirklichkeit um das Schreiben einer Transformation Wi in vektorieller Form, wobei γi ein Hinweis ist, der eine Isometrie unter einer vorher aufgestellten Liste bezeichnet, um von der Domäne zum zugeordneten Sektor zu kommen, beispielsweise eine Drehung, eine Reflexion, eine Symmetrie oder eine Modifikation des Maßstabs; xiyi sind die Positionskoordinaten der Domäne; txityi sind die Translationskoordinaten, um von der Domäne zum zugeordneten Sektor zu kommen; und si und oi sind Kontrast- und Leuchtkraftkoeffizienten, die es gestatten, die Graustufen in der Domäne zu modifizieren, um diejenigen des zugeordneten Sektors zu erhalten. Der Kontrastkoeffizient si gestattet es, die Graustufendifferenz der Punkte eines Sektors einzustellen, in dem eine äquivalente Differenz unter den Punkten der ihm zugeordneten Domäne modifiziert wird, und der Leuchtkraftkoeffizient oi gestattet eine Aufhellung oder Verdunkelung des Sektors in Bezug auf die Domäne.
  • Es wird nun ein konkretes Verfahren zur Erzeugung des Aufteilungsnetzes des Bildes beschrieben. Die Netzbildung der vorangehenden Fig. war regelmäßig und hing von den Dimensionen und der Ausrichtung der Bildränder ab, ohne dass die Position noch die Größe der Details des Bildes in Betracht gezogen wurden. Wenn ein auf diesem Bild vorhandenes Objekt verschoben, gedreht oder mit unterschiedlichem Maßstab dargestellt würde, würde es also auf andere Art und Weise unterteilt. Da solche Positions- und Ausrichtungsdifferenzen des Inhalts zwischen einem Bild und einem zu findenden Muster unvermeidlich sind, würden die Grenzen der Sektoren und Domänen auf den beiden Darstellungen des Objekts nicht übereinstimmen, und die zu vergleichenden Indizes würden nicht auf gleiche Art und Weise aufgebaut. Deshalb wird vorgeschlagen, eine solche regelmäßige Netzbildung, die von den Rändern des Bildes abhängt, durch eine unregelmäßige Netzbildung zu ersetzen, die in Abhängigkeit vom Inhalt des Bildes erstellt wird. Die Erstellung bzw. Ausarbeitung des Netzes umfasst dabei zwei wesentliche Schritte.
    • 1. Zunächst werden die Netzknoten geschaffen, die auch als „sites" (Orte) bezeichnet werden, d. h., die Verbindungspunkte der Unterteilungslinien des Bildes. Die Netzknoten sind in der Praxis interessierende Punkte des Bildes, die durch verschiedene bekannte Verfahren erfasst werden können. Jeder Bildpunkt wird charakterisiert, indem Begriffe der Diffentialgeometrie genutzt werden, wie die Messungen eines Gradienten und der Krümmung, oder aber die Ableitungen erster oder zweiter Ordnung in mehreren Richtungen. Heuristiken, die anhand dieser Größen ausgedrückt werden, ermöglichen es dann, jeden Punkt zu klassifizieren. Ein digitaler Detektor ist der von Harris, der auf der Berechnung der Hess'schen Matrix H beruht, welche anhand des mit einer Gauß'schen Formel konvoluierten Bildes erzeugt wird. Das Auswahlkriterium der interessierenden Punkte basiert auf den lokalen Maxima der Formel: det(H) – k·Spur2(H),wobei det(H) = Determinante von H, k = Konstante und Spur2(H) = Quadrat der Spur von H. Obwohl mehrere Vorgehensweisen vorstellbar sind, kann das Erkennen von Zonen oder Flecken unterschiedlicher Farben auf dem Bild und die Plazierung der Knoten an Winkeln der Trennlinien zwischen diesen Flecken und an Schnittpunkten dieser Linien mit dem Rand des Bildes in Betracht gezogen werden. Ein Beispiel ist in 4 dargestellt, in der vier Flecken C1 bis C4 erscheinen, und bei der die Knoten an den Vereinigungspunkten der Dreiecke liegen (einige werden durch den Buchstaben N bzeichnet). Man sieht, dass die Netzbildung vollkommen unregelmäßig ist, d. h., dass die Knoten in sehr unterschiedlichen Abständen plaziert sind. Es wird empfohlen, diejenigen Abschnitte des Bildes, die sehr strukturiert sind, d. h., die wiederholte Farbabweichungen auf einer kleinen Oberfläche aufweisen, wie das Detail C5, das aus C3 entnommen wurde, zu entfernen. Solche Zonen sind beispielsweise durch Gräser, das Meer oder Ziegelmauern gegeben.
    • 2. Anschließend werden die Unterteilungen des Bildes anhand der Knoten vorgenommen. Es handelt sich um Polygone, deren Knoten Scheitel- bzw. Eckpunkte sind. Eine einfache Unterteilungsweise ist von Delaunay vorgeschlagen worden, und sie ist in 4 dargestellt. Die Polygone sind alle Dreiecke. Auch hier ermöglicht es Software, ein Dreiecksnetz anhand eines Knotennetzes aufzubauen. Es ist offensichtlich, dass andere Vorgehensweisen möglich sind: man kann mit unterschiedlichen Polygonen vorgehen, und alle Polygone können nicht die gleiche Anzahl von Scheiteln bzw. Ecken aufweisen.
  • Diese letzte Eigenschaft kann aus einem Korrekturvorgang der Netzbildung hervorgehen: benachbarte bzw. angrenzende Polygone, welche homogene oder fast homogene Bereiche des Bildes aufweisen, können zu einem einzigen zusammengelegt werden, das dabei eine höhere Anzahl von Seiten aufweist, um die Netzbildung zu vereinfachen.
  • Das Zusammenlegen bzw. die Fusion der Polygone ermöglicht es, die Größe des Index des Bildes zu reduzieren, indem Polygone mit nahe aneinanderliegenden visuellen Eigenschaften fusioniert werden (die ähnliche Indizes oder Eigenschaften aufweisen). Das resultierende Polygon wird dabei als eine Oberfläche betrachtet, die ein dazwischenliegendes Aussehen hat.
  • Es wird nun auf 5 für eine konkrete Erläuterung eines Fusionsverfahrens von Polygonen und dessen Konsequenzen eingegangen.
  • Ein Polygon, das einen Sektor R des modellierten Bildes darstellt, hier ein Rechteck, besteht in Wirklichkeit aus drei Bildstücken unterschiedlicher Graustufen, die in einem Punkt p zusammenlaufen; dem Sektor R ist eine mittlere Graustufe zugeordnet, was wenig zufriedenstellend ist, da das Bild verschwommen wird und der potentielle interessierende Punkt b verschwunden ist. Deshalb wird das im Sektor R vereinfachte Netz vorteilhafterweise einer feineren Vernetzung zugeordnet, die vor der Fusion erhalten wird, wobei der Sektor R durch kleinere Polygone P'1, P'2, P'3 und P'4 ersetzt wird, die ihn unterteilen, und eine jeweilige Seite des Sektors R als Seite und der Punkt p als Scheitel bzw. Ecke angenommen wird; es handelt sich hier um Dreiecke, von denen jedes mit dem Sektor R auf einer einzigen Seite zusammenfällt und zwei andere, zum Punkt p führende Seiten besitzt. Man könnte auch unter anderen Möglichkeiten ein Rechteck anstelle zweier Dreiecke P'3 und P'4 modellieren, die auf ein und demselben Stück des Sektors R gelegen sind.
  • Es wäre auch möglich, auf umgekehrte Weise vorzugehen, indem das ursprünglich erhaltene Netz feiner detailliert oder unterteilt wird; unter Wiederaufnahme des Schemas der 5 würde zunächst das Netz am Sektor R gebildet, und dann würde die Unterteilung dieses Sektors R festgelegt, um die Polygone P'1, P'2, P'3 und P'4 zu bilden. Es wäre auch noch vorstellbar, alternativ ein oder mehrere Male diese Fusions- und Unterteilungsvorgänge der Polygone des Netzes anzuwenden. Die Koordinaten des so erzeugten interessierenden Punktes p könnten derart gewählt werden, dass sich die klarste Unterteilung des Bildes ergibt, oder sie könnten willkürlich sein: der Punkt p befände sich dabei eventuell im Baryzentrum des Sektors R. Die Fusionen von Polygonen ermöglichen es, die Größe des Index zu verringern, und verstärken damit die Bildkomprimierung, wobei bestimmte nützliche Details beseitigt werden können, während die Unterteilungen der Polygone die umgekehrte Wirkung zeitigen. Je nachdem, ob die Qualität der Rekonstitution oder die Komprimierung des Bildes bevorzugt wird, wird auf eine dieser Techniken oder auf zwei gleichzeitig zurückgegriffen oder nicht.
  • Die vorangehenden Ausführungen bezogen sich auf die Darstellung von Charakterisierungstechniken mittels eines Index, der gleichzeitig knapp und zuverlässig sein soll. Die so aufgebauten Indizes bieten jedoch keine ausreichende Erfolgsmöglichkeit, wenn sie für die Suche nach Mustern durch Vergleiche eingesetzt werden, selbst wenn in dem Fall eines auf fraktalen Eigenschaften begründeten Index auf den Stand des Patents 96.11 751 zurückgegriffen wird, bei dem die Willkürlichkeit in der Auswahl der zur Übereinstimmung gebrachten Domänen und Sektoren reduziert ist. Somit werden zusätzliche Maßnahmen gemäß Perfektionierungen der Erfindung vorgeschlagen, um diese Techniken der vorliegenden Anwendung anzupassen.
  • Ein wichtiger Grund für die Unzulänglichkeiten der vorgenannten Techniken rührt von der Auswahl der Interessenpunkte her: obwohl sie im allgemeinen an besonderen Orten des Bildes liegen, wie an Winkeln ihrer Hauptdetails, stellt man fest, dass ihre Liste sehr empfindlich gegenüber Störungen ist, die von Rauschen oder anderen Ursachen her rühren. Dabei kann man sich mit der Situation der 8A und 8B konfrontiert sehen, bei denen eine analoge Parzelle durch fünf Interessenpunkte A, B, C, D und E in einem Fall und durch vier (A, B, C und D) im anderen Fall begrenzt ist, wobei der Interessenpunkt E, der sich zwischen den vorangehenden befindet, wegfällt. Die Netzbildung ermöglicht die Unterteilung der Parzelle in vier Dreiecke (ABE, BDE, ACE und CDE) im ersten Fall und nur in zwei (ABC und BCD) im andern Fall, und von denen keines mit den vorangehenden Dreiecken koinzidiert. Die die Parzelle beschreibenden Indizes sind also vollkommen unterschiedlich und zum Vergleich ungeeignet.
  • Ein Verfahren zur Beseitigung dieses Nachteils besteht in der Schaffung eines redundanten Netzes, das auch als „halb-erschöpfend" bezeichnet wird, d. h., bei dem die Polygone der Modellierung ineinandergreifen bzw. einander überlagern: die 9A und 9B stellen solche Dreiecksnetze dar, die in der Praxis durch Zusammenfügen aller Interessenpunkte des Netzes gebildet werden, welche näher als ein herkömmlicher Abstand durch Netzlinien sind, und dann durch Annahme als zu indizierende Bildabschnitte aller Dreiecke, die von drei dieser Netzlinien gebildet sind, im Fall gleicher Interessenpunkte wie in den 8A und 8B. Ein solches Verfahren erhöht die Möglichkeit bzw. Wahrscheinlichkeit, Ähnlichkeiten zwischen zwei Bildern, auf denen ein- und dasselbe Detail vorhanden ist, zu finden, selbst wenn die Interessenpunkte bei der einen oder anderen Modellierung wegfallen. Konkret erscheinen drei neue Interessenpunkte F, G und H an den Schnittstellen der Linien AE und BC, AD und BC sowie CE und AD, und es werden als Modellierungsdreiecke des Bildes alle diejenigen angenommen, welche drei dieser Interessenpunkte A bis H als Scheitel bzw. Ecken aufweisen, und deren Seiten Netzlinien sind: hier finden sich 21 vor (ABC, ABD, ABE, ABF, ABG, ACD, ACE, ACF, ACG, ACH, ADE, BCD, BCE, BDE, BDG, BEF, CDE, CDG, CDH, CEF, DEH); das gleiche Modellbildungsverfahren unter Wegfall des Punktes E und folglich der Punkte F und H ermöglicht die Modellbildung der Parzelle aus acht Dreiecken (ABC, ABD, ABG, ACD, ACG, BCD, BDG, CDG), die viel weniger an der Zahl sind, aber alle identisch mit gewissen Dreiecken des Netzes der 9A sind, was es ermöglicht, partiell identische und damit vergleichbare Indizes aufzubauen, da man sich mit einem bestimmten Prozentsatz an ähnlichen Linien in den Indizes zufriedengibt, um einzuschätzen, dass der Vergleich positiv ist.
  • Die Perfektionierung hinsichtlich der halb-erschöpfenden Netzbildung ist ungeeignet für die Bildkomprimierung und erfordert viel längere Rechenzeiten für die Index-Kodierung, sie ist aber für diese Anwendung gerechtfertigt.
  • Wenn das Bild anhand eines Index rekonstruiert werden soll, wird die Verwendung eines gewöhnlichen Index bevorzugt, der anhand einer Unterteilung des Bildes ohne Überlagerung von Polygonen erzeugt wird. Die Datenbank erhält dabei zwei Indizes für jedes der Bilder, von denen einer zur Suche nach Mustern und der andere zur Wiederherstellung bzw. Rekonstitution dient.
  • Selbst wenn die Interessenpunkte einfach weggelassen werden können, wenn das Bild gestört ist, tendieren sie dazu, eine invariante Gesamtanordnung beizubehalten, da sie von der Form der Elemente des Bildes abhängen: wenn sich diese Elemente an unterschiedlichen Positionen auf zwei Bildern befinden, sind die Interessenpunkte in Gruppen versetzt, und die von diesen Gruppen umgebenen Zonen werden auf gleiche Art und Weise durch ähnliche Abschnitte modelliert. Die von den Interessenpunkten festgelegte Netzbildung begünstigt also nicht nur eine Unterteilung des Bildes in homogenere Abschnitte, was ein Vorteil für die Bildkomprimierung wäre, sondern auch die Suchvorgänge anhand von Indizes, die auch dann erfolgreich bleiben, wenn das Objekt der Suche sich nicht an der gleichen Position oder unter der gleichen Neigung auf dem Bild und auf dem Muster befindet.
  • Da aber die mit den fraktalen Eigenschaften erstellten Indizes nicht Bildsektoren zugeordnet sind, sondern Beziehungen zwischen Sektoren und Domänen, genügt eine identische Netzbildung nicht, erfolgreiche Vergleiche zwischen einem Muster und einem Bild zu garantieren, da die identischen Sektoren identischen Domänen zugeordnet sein bzw. werden müssen. Eine weitere Eigenschaft dieser Ausführungsform, die im folgenden in Verbindung mit 6 beschrieben wird, bietet eine Lösung dieses Problems. Es sind darin Domänen D der Modellierung des Bildes dargestellt, die in Sektoren ("ranges") R unterteilt sind. Domänen und Sektoren werden als dreieckig angenommen, das hier vorgeschlagene Verfahren ist aber auch auf eine beliebige polygonale Form anwendbar. Der Index der fraktalen Transformation des Bildes kann erstellt werden, indem jedem der Sektoren R die Gesamtheit der Domänen Di zugeordnet wird, die durch Seiten an die Domäne Db, zu der der Sektor R gehört, angrenzen, und deren Anzahl gleich der der Seiten der Domäne Db ist. Er kann auch anhand der Zerlegung des Bildes in Polygone erstellt werden, die als Blöcke einer Domäne angenommen werden; die Verteilung in Blöcke des Sektors wird erreicht, indem jedes Dreieck von drei anderen Dreiecken dissoziiert wird, indem das Baryzentrum am Ausgangsdreieck verwendet wird; jedes Sektordreieck wird charakterisiert, indem das Dreieck der Domäne, die es enthält, verwendet wird. Wie zu ersehen ist, wird dabei der Index vollkommen von der Form des Netzes bestimmt, und damit können sich sehr ähnliche Indizes immer für ein gleiches Objekt erhalten werden, das auf verschiedenen Bildern vorhanden ist, und zwar unter der Bedingung, ein Verfahren zur Schaffung des Netzes zu wählen, das nur vom Inhalt des Bildes abhängt, so wie es weiter oben dargestellt wurde.
  • Der Index kann üblicherweise aus einer Sammlung von Werten bestehen, die den Parametern der Gleichung (1) entsprechen, d. h. der im einzelnen die cartesianischen Koordinaten xi und yi jeder der Ausgangsdomänen Di und die Translationskoordinaten txi und tyi angibt, welche von diesen Domänen Di zum Sektor R führen, der ihnen zugeordnet ist. Diese Vorgehensweise hatte jedoch den Nachteil, dass die Koordinaten x und y von der Position des Objekts auf dem Bild abhängen, und dass die Koordinaten Tx und Ty von der Ausrichtung des Objekts auf dem Bild abhängen. Es wird nun vorgeschlagen, unterschiedliche Parameter zu verwenden, und besonders baryzentrische Koordinaten jedes der Sektoren R zu benutzen, um die Invarianz bzw. Unabänderlichkeit der Indizes zu verstärken. Die baryzentrischen Koordinaten einer Punkteeinheit, beispielsweise der Eckpunkte eines Dreiecks (A, B, C) sind Bezeichnungen α, β, γ gleicher Anzahl wie die der Referenzpunkte A, B, C, welche die Position eines beliebigen Punktes p durch p = αA + βB + γC definieren, also als Funktion der Positionen der Punkte A, B und C. Die Beziehung α + β + γ = 1 wird am Umfang des Dreiecks ABC respektiert, und außerdem sind α, β und γ alle zwischen Null und Eins im Innern dieses Umfangs begriffen.
  • Die geometrischen Transformationen, die alle Polygone mit gleicher Eckpunktbezeichnung von einer Domäne D zu einem Sektor R übergehen lassen, können in eine Translation, eine Isometrie (Rotation, Symmetrie, etc.) und in eine Deformation zerlegt werden. Der Index der fraktalen Transformation muss dabei numerische Koeffizienten enthalten, welche die jeweiligen Gewichtungen dieser drei Operationen für jede der Beziehungen zwischen Domäne und Sektor ausdrücken, die Gesamtheit dieser Koeffizienten, wenn der Index für die Rekonstitution des Bildes in der oben angegebenen Art und Weise benutzt werden soll, oder zumindest einen Teil der Koeffizienten, wenn der Index nur zum Vergleich dient. Unabhängig davon kann die fraktale Transformation durch eine Reihe von Gleichungen (2) symbolisiert werden:
    Figure 00170001
    wobei Di und R eine Domäne und einen Sektor bezeichnen, die in Bezug gesetzt sind, der Index "~" ausdrückt, dass die fraktale Transformation Wk nur eine annähernde Rekonstitution des Sektors R gestattet, α d / i, si und ti oben erwähnte Koeffizienten geometrischer Transformationen sind, wobei ti die Translation auf das Bild quantifiziert, si die Isometrie φ und α d / i die Deformation. si kann ein Winkelwert für eine Drehung sein, ti können polare Koordinaten sein, welche den Abstand zwischen Baryzentren der Domäne Di und des Sektors R ~ und die Richtung einer diese beiden Punkte verbindenden Geraden ausdrücken, und α d / i sind Koeffizienten, welche die baryzentrischen Koordinaten des Sektors R ~ als Funktion der baryzentrischen Koordinaten αj der Domäne Di angeben; j bezeichnet schließlich die Anzahl von Eckpunkten der Polygone.
  • Wenn die Domänen D und der Sektor R dreieckig sind, werden die Gleichungen (2) zu: w(Diα,β,γ ) = R ~ = αiα + biβ + ciγ + siφ(Di) + ti (3)
  • Es ist jedoch erfindungsgemäß, dem Index die Transformationen w einzugliedern, indem alle der Domäne De, zu denen der Sektor R gehört, benachbarten Domänen Di mit diesem Sektor R in Bezug gesetzt werden, so dass die globale Transformation, die den Erhalt des Sektors R ~ gestattet, redundant ist und sich aus k Gleichungen (2) oder (3) zusammensetzt, wobei k die Anzahl der betroffenen Domänen Di ist, um die Gleichungen (4) zu ergeben, indem von den Gleichungen (3) ausgegangen wird:
  • Figure 00180001
  • Die fraktalen Transformationen wk können durch Koordinatenvektoren (oder Matrizen mit k Zeilen) V ausgedrückt werden: V[(ai), (bi), (ci), (si), (ti)] (5)wobei i um 1 von der in Betracht gezogenen Anzahl von Domänen Di variiert, im allgemeinen um drei, wenn alle Domänen dreieckig sind, außer an den Rändern des Bildes.
  • Wie zu ersehen war, hingen die Koeffizienten a, b und c dank der Anwendung von baryzentrischen Koordinaten weder von der Position noch von dem Maßstab noch von der Ausrichtung auf dem Bild des als Träger dienenden Objekts an den in Bezug zueinander gesetzten Domänen D und Sektoren R ab. Es wäre von Vorteil, die Translationskoordinaten ti zu definieren, um die gleiche Unabhängigkeit zu erhalten. Beispielsweise könnten der Abstand und die Richtung der dieser Translation entsprechenden Versetzung ausgedrückt werden, indem als Bezugsgröße nicht die Dimensionen und die Ausrichtung des Bildes genommen werden, sondern diejenigen der Domäne D.
  • Die Beschreibung der Erfindung erfolgte bisher in Bezug auf Indizes, die gemäß fraktalen Eigenschaften erstellt wurden, da diese Indizes weitgehend entwickelt wurden, um Bilder zu komprimieren und dann zu rekonstruieren. Die Erfindung kann aber auch auf andere Arten von Indizes angewandt werden, da die vorgeschlagenen Kriterien (Interessenpunkte, zusätzliche Interessenpunkte, halb-erschöpfende Netzbildung, baryzentrische Koordinaten) nicht vom Inhalt der Abschnitte des Bildes abhängen. Die Indizes können ganz natürlich anstelle der Beziehungen zwischen jeweiligen Abschnitten des Bildes und anderen dieser Abschnitte, die Inhalte der Abschnitte selbst ausdrücken. So können Momente m der Größenordnung n von baryzentrischen Koordinaten benutzt werden, die durch die Gleichungen (6) für ein dreieckiges Polygon definiert sind, beispielsweise Sektoren R, die durch ihre baryzentrischen Koordinaten definiert sind:
    Figure 00190001
    wobei αn·(k – k) beispielsweise die Potenz der Ordnung n der baryzentrischen Koordinate α eines Punktes des Sektors R, multipliziert mit einem Koeffizienten K ist, welche diesen Punkt charakterisiert und dessen Graustufe sein kann; k bezeichnet den Mittelwert dieses Koeffizienten an allen Punkten des Sektors R.
  • Der Index enthält so die Verteilungsmomente der Bildpunkte (Pixel), die in jedem Polygon enthalten sind, in verschiedenen Rängen, ausgedrückt anhand der baryzentrischen Koordinaten.
  • In der Praxis kann eine Gewichtung durch die Gauß'sche Funktion G(αβγ) eingeführt werden, um den Einfluß von vom Baryzentrum entfernten Punkten nicht zu begünstigen, und um so die Sensibilität der Berechnung gegenüber Positionierungsfehlern der Scheitel- bzw. Eckpunkte des Sektors R zu reduzieren; die Gleichungen (6) werden dabei zu (7):
    Figure 00190002
    dabei werden mit einem Sektor R dessen Momente der Größenordnung 0 bis n zur Entsprechung gebracht; der Vektor V der Gleichung (5) wird dabei durch einen Vektor V' (8) ersetzt:
  • Figure 00190003
  • Die Polygone sind auf diese Weise charakterisiert worden, indem Beziehungen eingesetzt wurden, die auf dem Kontrast und der Leuchtkraft begründet sind, d. h. auf Graustufen. Es wäre möglich, sie durch ihre Farbe und sogar durch ihre Struktur zu charakterisieren, indem beispielsweise eine Fourier'sche Transformierte eingesetzt wird. Bei allen Varianten des auf diesen Momenten begründeten Verfahrens werden also nicht Sektoren gegenüber Domänen in Bezug gebracht, sondern die Netzelemente werden durch die Eigenschaften ihrer Punkte charakterisiert.
  • Die Suche nach dem Muster auf einem Bild wird auf gewöhnliche Weise durchgeführt: das Muster wird auf gleiche Weise wie die Bilder komprimiert, um einen Musterindex zu erhalten, der aus Vektoren wie den oben erwähnten V und V' zusammengesetzt ist, welche individuell mit Vektoren des in Betracht kommenden Bildes verglichen werden. Ein Kriterium der Ähnlichkeit der Vektoren wird eingeführt, um zu entscheiden, ob ein Vektor eines Musters mit einem Bildvektor in Korrelation gesetzt werden kann. Wenn die Suche nach einer Korrelation für eine bestimmte Anzahl von Vektoren positiv ist, widmet man sich der Bestimmung der räumlichen Organisation dieser korrelierten Vektoren des Musters, um zu überprüfen, ob sie ausreichend mit derjenigen der entsprechenden Vektoren des Bildes koinzidiert, wobei berücksichtigt wird, dass die Position und Ausrichtung des Musters auf dem Bild beliebig sein können, wenn es sich effektiv darauf befindet. Man berechnet deswegen die Abstände und die Winkel zwischen den beiden so korrelierten Vektoreinheiten durch gewöhnliche mathematische Formeln. Es gibt mehrere Arten und Weisen, eine vektorielle Distanz zu berechnen, die euklidische Distanz ist im allgemeinen aber ein gutes Korrelationskriterium für diese Anwendung. Eine Lokalisierungsmarke wird schließlich berechnet, indem die Korrelation der Distanzen und Winkel zwischen entsprechenden Vektoren unter diesen beiden Indizes ausgewertet wird: das Bild kann aus der Datenbank vom Forscher extrahiert werden, wenn ihm dieses "Score" (Treffer) vielversprechend erscheint. Wie bereits angedeutet wurde, kann das Bild über alle Mittel konsultiert werden, je nachdem, ob hiervon eine materielle Darstellung besteht, eine digitale in einem Speicher oder nur der Index, wobei das Bild wiederhergestellt wird, indem die geometrische Transformation, welche seine Vektoren definieren, angewandt wird.
  • Die Erfindung kann für eine bestimmte Anzahl von Gebieten von Interesse sein, darunter die Fernerfassung, bei der Satelliten-Luftbilder ausgewertet werden, die medizinische Bilderzeugung durch Tomographie, die Werbung, oder sie kann bei der Wiederauffindung von vorher zusammengesetzten Bildern von Nutzen sein sowie bei der Überwachung und Sicherheit, um Fehler oder anormales Verhalten von Systemen zu lokalisieren. Sie kann insbesondere dann von Nutzen sein, wenn das aufgezeichnete Bildvolumen beträchtlich ist, oder um ein Detail, beispielsweise ein Gesicht, genau zu identifizieren.

Claims (10)

  1. Verfahren zur Suche von ein Muster aufweisenden Bildern in einer Bild-Datenbank, in dem die Bilder und das Muster von Indizes dargestellt werden, der Index des Musters sukzessive mit den Indizes der Bilder verglichen wird, indem die Indizes nach einem Aufstückeln der Bilder in Abschnitte erstellt werden, wobei die Eigenschaften der Inhalte der Abschnitte ausgedrückt werden, dadurch gekennzeichnet, dass die Bildabschnitte erzeugt werden: indem interessierende Punkte der Bilder dort, wo sich die Inhalte der Bilder stark unterscheiden, gesucht werden; indem die interessierenden Punkte durch Netzlinien miteinander verbunden werden; und indem als Abschnitte Polygone ausgewählt werden, welche als Eck- bzw. Scheitelpunkte die interessierenden Punkte aufweisen; und indem für jeden der Abschnitte die Indizes entweder anhand des Inhalts des Abschnitts oder der Inhalte einer von den dem Abschnitt benachbarten Abschnitten bestimmten Einheit erstellt werden.
  2. Bildsuchverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die zu einem der Abschnitte benachbarten Abschnitte Abschnitte sind, die eine mit dem Abschnitt gemeinsame Polygonseite aufweisen.
  3. Bildsuchverfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass auch Polygone als Abschnitte ausgewählt werden, welche Schnittpunkte der Netzlinien als Eck- bzw. Scheitelpunkte aufweisen.
  4. Bildsuchverfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bestimmte der Abschnitte mindestens teilweise in anderen der Abschnitte enthalten sind.
  5. Bildsuchverfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Polygone alle dreieckig sind.
  6. Bildsuchverfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Abschnitte über einen zusätzlichen, abschließenden Schritt erstellt werden, der Unterteilungen heterogener Abschnitte und Fusionen von Abschnitten mit analogen Inhalten umfasst.
  7. Bildsuchverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass jedes der Bilder mindestens einem zweiten Index zugeordnet wird, der für die Rekonstruktion des Bildes verwendet wird, und der erstellt wird, indem die Bilder in Abschnitte, die einander nicht überlagern, gestückelt werden.
  8. Bildsuchverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die von den Indizes ausgedrückten Eigenschaften fraktale Eigenschaften der Bilder sind, welche jeweils die Abschnitte einer anderen Abschnittskategorie, die durch eine unterschiedliche Stückelung der Bilder erzeugt wird, zuordnen.
  9. Bildsuchverfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die von den Indizes ausgedrückten Eigenschaften in jedem der Abschnitte mittels Werten erstellt werden, welche für alle Punkte des Abschnitts berechnet werden, indem baryzentrische bzw. Schwerpunkt-Koordinaten der Punkte verwendet werden.
  10. Bildsuchverfahren nach Anspruch 9, dadurch gekennzeichnet, dass die berechneten Werte mathematische Momente sind.
DE69916450T 1998-06-15 1999-06-14 Verfahren zum suchen von bildern, basierend auf einer invarianten indizierung der bilder Expired - Lifetime DE69916450T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9807494A FR2779848B1 (fr) 1998-06-15 1998-06-15 Procede invariant d'indexation d'une image utilisant des caracterisations fractales et par moments
FR9807494 1998-06-15
PCT/FR1999/001402 WO1999066426A1 (fr) 1998-06-15 1999-06-14 Procede de recherche d'images, fonde sur une indexation invariante des images

Publications (2)

Publication Number Publication Date
DE69916450D1 DE69916450D1 (de) 2004-05-19
DE69916450T2 true DE69916450T2 (de) 2005-04-07

Family

ID=9527376

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69916450T Expired - Lifetime DE69916450T2 (de) 1998-06-15 1999-06-14 Verfahren zum suchen von bildern, basierend auf einer invarianten indizierung der bilder

Country Status (5)

Country Link
US (1) US6642929B1 (de)
EP (1) EP1088279B1 (de)
DE (1) DE69916450T2 (de)
FR (1) FR2779848B1 (de)
WO (1) WO1999066426A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008012751A1 (de) 2008-03-05 2009-09-10 Wolfgang Folger Verfahren zur Objektrecherche im Internet

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061491B2 (en) * 2002-06-03 2006-06-13 Omnigon Technologies Ltd. Method for solving frequency, frequency distribution and sequence-matching problems using multidimensional attractor tokens
US7098917B2 (en) * 2002-07-22 2006-08-29 Kurzweil Cyberart Technologies, Inc. Generating visual art
JP2004094663A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 変換チェック装置、変換チェック方法、プログラム及び記憶媒体
US20050223031A1 (en) * 2004-03-30 2005-10-06 Andrew Zisserman Method and apparatus for retrieving visual object categories from a database containing images
GB2412756A (en) * 2004-03-31 2005-10-05 Isis Innovation Method and apparatus for retrieving visual object categories from a database containing images
US7400784B2 (en) * 2004-10-19 2008-07-15 Institut National De L'audiovisuel-Ina Search of similar features representing objects in a large reference database
JP4284288B2 (ja) * 2005-03-10 2009-06-24 株式会社東芝 パターン認識装置及びその方法
US7979464B2 (en) * 2007-02-27 2011-07-12 Motion Picture Laboratories, Inc. Associating rights to multimedia content
US8732187B1 (en) 2007-04-09 2014-05-20 Google Inc. Link-based ranking of objects that do not include explicitly defined links
WO2009111047A2 (en) 2008-03-05 2009-09-11 Ebay Inc. Method and apparatus for image recognition services
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US8818978B2 (en) 2008-08-15 2014-08-26 Ebay Inc. Sharing item images using a similarity score
US8825660B2 (en) * 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
JP5230525B2 (ja) * 2009-05-25 2013-07-10 キヤノン株式会社 画像検索装置およびその方法
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US8892542B2 (en) * 2011-02-24 2014-11-18 Nec Laboratories America, Inc. Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9934522B2 (en) 2012-03-22 2018-04-03 Ebay Inc. Systems and methods for batch- listing items stored offline on a mobile device
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
CN105354866B (zh) * 2015-10-21 2018-11-06 郑州航空工业管理学院 一种多边形轮廓相似度检测方法
EP3264286B1 (de) 2016-06-28 2020-11-18 Dassault Systèmes Abfrage einer datenbank mit morphologiekriterium
EP3321817A1 (de) * 2016-11-14 2018-05-16 Dassault Systèmes Abfrage einer datenbank auf basis einer parametrischen ansichtsfunktion
CN107832404A (zh) * 2017-11-02 2018-03-23 武汉大学 一种poi信息的补全方法
US11281824B2 (en) 2017-12-13 2022-03-22 Dassault Systemes Simulia Corp. Authoring loading and boundary conditions for simulation scenarios
US20210034907A1 (en) * 2019-07-29 2021-02-04 Walmart Apollo, Llc System and method for textual analysis of images

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5384867A (en) * 1991-10-23 1995-01-24 Iterated Systems, Inc. Fractal transform compression board
JP2776295B2 (ja) * 1994-10-27 1998-07-16 日本電気株式会社 画像インデックス生成方法及び画像インデックス生成装置
FR2731819B1 (fr) * 1995-03-17 1997-04-11 Alsthom Cge Alcatel Methode d'extraction de contours utilisant une analyse multi-fractale
US5862263A (en) * 1995-04-13 1999-01-19 Samsung Electronics Co., Ltd. Fractal image compression device and method using perceptual distortion measurement
US5946479A (en) * 1995-05-25 1999-08-31 Matsushita Electric Industrial Co., Ltd. Method and device for generating mesh for use in numerical analysis
US5867603A (en) * 1995-07-10 1999-02-02 Iterated Systems, Inc. Method for transmitting fractal transform data to support different compressor/decompressor designs
FR2753820B1 (fr) * 1996-09-26 1998-10-23 Procede de recherche d'echantillons dans des images d'une base de donnees
US5945997A (en) * 1997-06-26 1999-08-31 S3 Incorporated Block- and band-oriented traversal in three-dimensional triangle rendering
US6522780B1 (en) * 2000-12-15 2003-02-18 America Online, Inc. Indexing of images and/or text

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008012751A1 (de) 2008-03-05 2009-09-10 Wolfgang Folger Verfahren zur Objektrecherche im Internet
DE102008012751B4 (de) * 2008-03-05 2010-02-25 Wolfgang Folger Verfahren zur Erstellung von Abbildungen von über das Internet recherchierten Zielobjekten

Also Published As

Publication number Publication date
DE69916450D1 (de) 2004-05-19
EP1088279B1 (de) 2004-04-14
EP1088279A1 (de) 2001-04-04
FR2779848B1 (fr) 2001-09-14
US6642929B1 (en) 2003-11-04
FR2779848A1 (fr) 1999-12-17
WO1999066426A1 (fr) 1999-12-23

Similar Documents

Publication Publication Date Title
DE69916450T2 (de) Verfahren zum suchen von bildern, basierend auf einer invarianten indizierung der bilder
DE3689271T2 (de) Verfahren zur Bildanzeige.
DE69126611T2 (de) Bilderzeugungsgerät
DE69628723T2 (de) Gradientengestütztes Verfahren zur Erzeugung von Werten für unbekannte Pixel in einem Digitalbild
DE69332286T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Farbbildern
DE3650129T2 (de) Verfahren zur Kantenglättung für Rechnerbilderzeugungssystem.
DE69601880T2 (de) Verfahren und vorrichtung zur erstellung der lage einer fernsehkamera zur verwendung in einem virtuellen studio
DE3854543T2 (de) Prioritätsverwaltung eines Tiefendatenpuffers für Echtzeitrechnersysteme zur Bilderzeugung.
DE60210199T2 (de) Verfahren zur erkennung von motivbereichen in bildern
DE10043460C2 (de) Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation
DE60003032T2 (de) Verfahren zur bildsegmentation
DE60201923T2 (de) Materialverbiegungssimulationsgerät inbesondere für weiche Körpergewebe
DE10111661A1 (de) Verfahren zum Segmentieren einer in einem Objekt enthaltenen dreidimensionalen Struktur, insbesondere für die medizinische Bildanalyse
DE69328333T2 (de) Holografisches Darstellungsverfahren und -gerät
DE4224568C2 (de) Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes
DE69521436T2 (de) Vorrichtung und verfahren für die wiedergabe von terrainmodellen
WO2010133204A1 (de) Vorrichtung und verfahren zur identifizierung des urhebers eines kunstwerkes
DE69418630T2 (de) Dynamischer Bildprozessor
DE69731706T2 (de) Suchverfahren für Muster in Bildern einer Datenbank
DE69919449T2 (de) Verfahren zur dynamischen Folgerung der Entwicklung von Strukturen und Entwicklungsprediktion
DE102019105293A1 (de) Schätzung der Bewegung einer Bildposition
DE3837068B4 (de) Bildverarbeitungsverfahren zur Gewinnung eines Schattenbildes
DE69814482T2 (de) Verfahren und Vorrichtung zur Darstellung von Oberflächen aus volumetrischen Daten
EP2893510B1 (de) Verfahren und bildverarbeitungsanlage zum entfernen eines visuellen objektes aus einem bild
EP1425709A2 (de) Modellbasierte objektklassifikation und zielerkennung

Legal Events

Date Code Title Description
8332 No legal effect for de
8370 Indication related to discontinuation of the patent is to be deleted
8364 No opposition during term of opposition