DE69810369T2

DE69810369T2 - Bildwiederauffindungsvorrichtung und -verfahren

Info

Publication number: DE69810369T2
Application number: DE69810369T
Authority: DE
Inventors: Hirotaka Shiiyama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-03-19
Filing date: 1998-03-18
Publication date: 2003-09-04
Anticipated expiration: 2018-03-19
Also published as: US6400853B1; EP0866409A1; DE69810369D1; EP0866409B1

Description

Die vorliegenden Erfindung bezieht sich auf eine Bildwiederauffindungsvorrichtung und ein Bildwiederauffindungsverfahren, um ein Bild wiederaufzufinden.
Konventionell wurden verschiedene Techniken zur Wiederauffindung eines Bildes vorgeschlagen. Viele ähnliche Bildwiederauffindtechniken für natürliche Bilder, die gewissermaßen in die Praxis umgesetzt werden, verwenden eine Farbinformation als eine Bildmerkmalsbetrag. Die meisten dieser Techniken berechnen das Histogramm, das mit der Farbinformation verbunden ist, und finden ein Bild unter Verwendung des RGB- Verhältnisses (Rot, Grün, Blau) oder durch Kombination der Hauptfarben in Bildern wieder auf.
Bei diesen Techniken jedoch sind die Wiederauffindungsgenauigkeiten nicht immer hoch, weil eine Information der Farben an bestimmten Stellen verlorengegangen ist. Die japanische Patentoffenlegung No. 8-249349 beschreibt eine Musteranpassung unter Verwendung von Merkmalsbeträgen (repräsentative Farben) einer Vielzahl von Blöcken, die durch Aufteilen jedes Bildes erhalten wurden. Mit diese Technik jedoch muß der Abstand der charakteristischen Menge zwischen den Blöcken zweier Bilder, die angepaßt werden sollen, berechnet werden, wodurch ein hoher Rechenaufwand erforderlich ist. Wenn speziell repräsentative Farben als Merkmalsbetrag verwendet werden, müssen drei Daten, das heißt, Rot, Grün und Blau ausgewertet werden, und die Berechnung wird noch komplexer. Hinzu kommt, da die Merkmalsbeträge selbst dazu herangezogen werden, Bilder zu vergleichen, wird ähnliche Bildwiederauffindung nur unterbunden, wenn der Bildwinkel oder wenn sich die Stellung des Objekts ändert, obwohl sich die Vergleichgenauigkeit erhöht. Genauer: Entsprechende Bildwiederauffindung, die bis zu einem gewissen Grad Mehrdeutigkeit durch Absorbieren einiger Differenzen beim Bildmerkmalsbetrag aufgrund eines Wechsels des Bildwinkels oder der Stellung des Objekts oder der photographischen Bedingung zuläßt, das heißt, sogenannte stabile ähnliche Bildwiederauffindung kann nicht ausgeführt werden
Soll das natürliche Bild unter Verwendung der konventionellen Technik wiederaufgefunden werden, fügt man im allgemeinen zuvor Schlüsselworte den Bildern hinzu, und die Wiederauffindung eines Bildes wird auf der Grundlage der Schlüsselworte ausgeführt. Das Hinzufügen von Schlüsselworten erfordert intensive Laborarbeit. Hinzu kommt, daß ein Bild ohne Schlüsselwort beim Auswählen per Hand über Miniaturansichten zu einer mühsamen Wiederauffindung wird.
Aufgabe der vorliegenden Erfindung ist es, die oben angesprochenen Probleme zu beheben.
Ein Artikel mit dem Titel "An Image Database System with Fast Image Indexing Capability based on Color Histograms", Proceedings of the 10 Annual International Conference (Tenco, Signapore, 22-26. Aug. 1994, Band 1, No. Conf. 9, 22 August 1994, Chan, T. K. Y., Seiten 407-411, XP000529510) beschreibt das Unterteilen eines Bildes in eine Vielzahl von Unterbereichen, indem ein Histogramm für jeden der Unterbereiche geschaffen wird, und das Anpassen der Histogramme zweier Bildern.
Nach einem Aspekt der vorliegenden Erfindung ist eine Bildwiederauffindungsvorrichtung und ein -verfahren vorgesehen, das sehr schnelle ähnliche Bildwiederauffindung unter Bezugnahme der Bildmerkmalsbetragsanordnung erlaubt.
Nach einem weiteren Aspekt der vorliegenden Erfindung ist eine Bildwiederauffindungsvorrichtung und ein -verfahren vorgesehen, das ähnliche Bildwiederauffindung durch wirksames Absorbieren einer Änderung im Bild aufgrund einer Veränderung bei der photographischen Bedingung erlaubt, wie beispielsweise einen photographischen Winkel oder eine photographische Vergrößerung.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Bildwiederauffindungsvorrichtung bereitgestellt, wie im Patentanspruch 1 ausgeführt.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Bildwiederauffindungsverfahren bereitgestellt, wie im Patentanspruch 18 ausgeführt.
Ein Aspekt der vorliegenden Erfindung ermöglicht, eine schnelle Wiederauffindung ähnlicher Bilder durch Darstellen einer Merkmalsbetragsgruppe durch ein Symbol und Berechnung der Ähnlichkeit zwischen Kennsätzen, um den Ähnlichkeitsberechnungsaufwand zu reduzieren.
Ein Aspekt der vorliegenden Erfindung führt zufriedenstellend ähnliche Bildwiederauffindung durch Darstellung ähnlicher Merkmalsbeträge durch einen Kennsatz aus.
Ein weiterer Aspekt der vorliegenden Erfindung führt wirksamer zufriedenstellende, ähnliche Bildwiederauffindung durch Anwendung einer Technik wie Datenverarbeitungsabgleich oder nichtdeterministischer Fuzzy-Automaten, die eine bestimmte Mehrdeutigkeit in den Kennsatzstellungen zulassen, aus.
Es werden nun unter Bezugnahme auf die beiliegende Zeichnung Ausführungsbeispiele beschrieben.
Fig. 1 zeigt in einem Blockdiagramm die Steuerungsanordnung einer Bildwiederauffindungsvorrichtung des ersten Ausführungsbeispiels;
Fig. 2 zeigt in einem Blockdiagramm die Funktionsanordnung der Bildwiederauffindungsvorrichtung gemäß dem ersten Ausführungsbeispiel;
Fig. 3 dient der Erklärung des Bilddatenspeicherzustands bei einer Speichereinheit 17;
Fig. 4 zeigt in einem Flußdiagramm den Ablauf einer Bildregistrierungsverarbeitung gemäß dem ersten Ausführungsbeispiel;
Fig. 5 zeigt ein Beispiel einer Unterteilung eines Bildblocks gemäß dem ersten Ausführungsbeispiel;
Fig. 6 dient zu Erläuterung eines mehrdimensionalen Merkmalsbetragsraums gemäß dem ersten Ausführungsbeispiel;
Die Fig. 7A bis 7C dienen der Erläuterung von Blockfolgen beim Erzeugen von Kennsatzzeichenfolge;
Fig. 8 zeigt ein Beispiel des Datenaufbaus eines Bildverwaltungs-Datenbankdatensatzes;
Fig. 9 zeigt ein Beispiel des Datenaufbaus eines Kennsatzsystemindex;
Fig. 10 zeigt ein Flußdiagramm zur Erläuterung ähnlicher Bildwiederauffindung gemäß dem ersten Ausführungsbeispiel;
Fig. 11 zeigt ein Beispiel des Datenaufbaus eines Kennsatzbestandteilindex gemäß dem ersten Ausführungsbeispiel;
Fig. 12 zeigt eine Abstandsmatrix zwischen Kennsätzen, die dazu verwendet wird. Kennsatzzeichenfolgen zu vergleichen, um Ähnlichkeit zu erhalten;
Die Fig. 13A bis 13C dienen zur Erläuterung der Berechnung des Abstands zwischen Kennsatzzeichenfolgen durch Datenverarbeitungsabgleich;
Fig. 14 zeigt ein Blockdiagramm der funktionellen Anordnung einer Bildwiederauffindungsvorrichtung gemäß dem zweiten Ausführungsbeispiel;
Fig. 15 zeigt in einem Flußdiagramm den Ablauf der Verarbeitung einer Bildregistrierung gemäß dem zweiten Ausführungsbeispiel;
Die Fig. 16A bis 16E dienen der Erläuterung der Blockfolgen beim Erzeugen einer Kennsatzmatrix beim zweiten Ausführungsbeispiel;
Fig. 17 zeigt ein Beispiel des Datenaufbaus eines Bildverwaltungs-Datenbankdatensatzes gemäß dem zweiten Ausführungsbeispiel;
Fig. 18 zeigt ein Beispiel des Datenaufbaus eines Kennsatzsystemindex gemäß dem zweiten Ausführungsbeispiel;
Fig. 19 zeigt ein Flußdiagramm zur Erläuterung des Ablaufs einer ähnlichen Bildwiederauffindung gemäß dem zweiten Ausführungsbeispiel;
Fig. 20 zeigt ein Beispiel des Datenaufbaus eines Kennsatzbestandteilindex gemäß dem zweiten. Ausführungsbeispiel;
Die Fig. 21A bis 21C dienen der Erläuterung einer Ähnlichkeitsberechnung gemäß dem zweiten Ausführungsbeispiel;
Fig. 22 zeigt ein Flußdiagramm zur Erläuterung des Ablaufs einer Ähnlichkeitsberechnung unter Verwendung eines Datenverarbeitungsabgleichs;
Fig. 23 zeigt in einem Flußdiagramm den Ablauf der Einstellung eines dynamischen Abstandswerts gemäß dem zweiten Ausführungsbeispiel; und
Fig. 24 dient der Erläuterung der Einstellung der Breite eines Abgleichfensters.

Erstes Ausführungsbeispiel

Fig. 1 zeigt in einem Blockdiagramm die Steuerungsanordnung einer Bildwiederauffindungsvorrichtung gemäß dem ersten Ausführungsbeispiel. Bezugnehmend auf Fig. 1 führt eine Zentraleinheit 101 verschiedene Steuervorgänge bei der Bildwiederauffindungsvorrichtung dieses Ausführungsbeispiels durch. Ein ROM 102 (Read Only Memory, Festwertspeicher) speichert ein Urladeprogramm, das beim Start der Vorrichtung ausgeführt wird, und verschiedene Daten. Ein RAM 103 (Random Access Memory, Direktzugriffsspeicher) speichert ein Steuerungsprogramm, das von der Zentraleinheit 101 ausgeführt wird, und es stellt einen Arbeitsbereich für die Zentraleinheit 101 zur Verfügung, um verschiedene Steuerungsabläufe auszuführen. Eine Tastatur 104 und eine Maus 105 ermöglicht dem Anwender verschiedene Eingabemöglichkeiten.
Eine externer Speichereinheit 106 wird aus einer Festplatte, einer Diskette oder einem CD-ROM (Compact Disk) gebildet. Eine Netzwerkschnittstelle 108 gestattet die Kommunikation mit Bauteilen in einem Netzwerk. Das Bezugszeichen 109 bezeichnet eine Schnittstelle, und das Bezugszeichen 110 einen Scanner (Abtastgerät), um ein Bild zu lesen. Ein Bus 111 verbindet die oben beschriebenen Elemente miteinander. Das Programm zur Realisierung der Verarbeitung, das in Flußdiagrammen (die Beschreibung erfolgt später) gezeigt wird, kann im ROM 102 abgespeichert werden, oder von der externen Speichereinheit 106 in das RAM 103 geladen werden.
Bei der obigen Anordnung kann der Scanner 110 oder die externe Speichereinheit 106 durch eine Einheit im Netzwerk ersetzt werden.
Fig. 2 zeigt in einem Blockdiagramm die Funktionsanordnung der Bildwiederauffindungsvorrichtung des ersten Ausführungsbeispiels. Bezugnehmend auf Fig. 2 erfaßt eine Anwenderschnittstelleneinheit 11 verschiedene Eingabe Vorgänge durch den Anwender unter Verwendung einer Anzeigeeinheit 107, einer Tastatur 104 und einer Maus 105. Eine Bildeingabeeinheit 12 liest ein Bild mit Hilfe des Scanners 110 ein. Ein Bildspeicher 13 speichert die vom der Bildeingabeeinheit 12 erhaltenen Bilddaten in einen vorgegebenen Bereich des RAMs 103 ein. Eine Bildmerkmalsbetragsauswahleinheit 14 wählt den Merkmalsbetrag des Bildes, das im Bildspeicher 13 abgespeichert ist, aus, nach einem Verfahren, das weiter unten beschrieben wird. Eine Merkmalsbeträgekennsatzzeichenfolgeerzeugungseinheit 15 erzeugt eine Kennsatzzeichenfolge auf der Grundlage des Merkmalsbetrags, die von der Bildmerkmalsbetragsabholeinheit 14 erhalten wurde. Eine Musterabgleichseinheit 16 berechnet die Ähnlichkeit zwischen einem vom Anwender vorgegebenen Bild und Bildern, die in einer Bildspeichereinheit 17 abgespeichert sind, auf der Grundlage der zugehörigen Kennsatzzeichenfolgen, um ein ähnliches Bild zu suchen und wiederaufzufinden.
Die Bildspeichereinheit 17 speichert. Bilddaten, die von der Bildeingabeeinheit 12 erhalten wurden. Fig. 3 dient zur Erläuterung des Bilddatenspeicherzustands in der Bildspeichereinheit 17. Eine Bildkennung 111 wird jedem Bilddatum 112 hinzugefügt, wodurch eine Bildkennung 111 und ein Bilddatum 112 gepaart und in der Bildspeichereinheit 17 abgespeichert werden. Eine Bildverwaltungsdatenbank 18 verwaltet die Bilddaten, die in der Bildspeichereinheit 17 in dem in Fig. 8 gezeigten Datenformat abgespeichert sind. Ein Kennsatzzeichenfolgeindex 19 speichert eine Kennsatzsystemindexdatei, wie in Fig. 9 gezeigt, oder eine Kennsatzbestandteilindexdatei, wie in Fig. 11 gezeigt, ab. Die Verwendung dieser Indizes wird später unter Bezugnahme auf das Flußdiagramm in Fig. 10 beschrieben.
Der Betrieb der Bildwiederauffindungsvorrichtung gemäß dem ersten Ausführungsbeispiel mit der obigen Anordnung wird unten beschrieben. Die folgende Beschreibung wird durch Veranschaulichung der Verarbeitung in einem dreidimensionalen Raum ausgeführt, wobei die drei Farben Rot (R), Grün (G) und Blau (B) als Bildmerkmalsbetrag verwendet werden.

Bildregistrierungsverarbeitung

Als erstes wird die Bildregistrierungsverarbeitung beschrieben. Bild 4 zeigt in einem Flußdiagramm den Ablauf einer Bildregistrierungsverarbeitung gemäß dem ersten Ausführungsbeispiel. Bei Schritt S11 wird ein Bild unter Verwendung der Bildeingabeeinheit 12 gemäß eines Befehls vom Anwender über die Anwenderschnittstelleneinheit 11 geladen und im Bildspeicher 13 festgehalten. Bei Schritt S12 wird dieses Bild in eine Vielzahl von Blöcken unterteilt. Bei diesem Ausführungsbeispiel wird das Bild in eine Vielzahl von Blöcken in vertikaler und horizontaler Richtung aufgespalten. Fig. 5 zeigt ein Beispiel einer Unterteilung eines Bildblocks gemäß diesem Ausführungsbeispiel. Wie in Fig. 5 dieses Ausführungsbeispiels gezeigt, wird das Bild in 3 · 3 Blöcke, das heißt, also insgesamt neun Blöcke, zur Beschreibungsvereinfachung unterteilt. Bei Schritt S13 werden die Merkmalsbeträge der unterteilten Blöcke berechnet, wodurch Kennsätze der erhaltenen Merkmalsbeträge gemäß folgendem Ablauf erzeugt werden.
Die Unterteilung in 3 · 3 Blöcke bei diesem Ausführungsbeispiel ist nur ein Beispiel zur Beschreibungsvereinfachung. In Wirklichkeit wird ein natürliches Bild bevorzugt in 10 · 10 oder mehr Blöcke unterteilt. Beispielsweise wird ein Bild eines Produkts mit einem weißen Hintergrund bevorzugt in 13 · 13 oder mehr Blöcke unterteilt.
Fig. 6 dient der Erläuterung eines mehrdimensionalen Merkmalsbetragsraums gemäß diesem Ausführungsbeispiel. Der mehrdimensionale Merkmalsbetragsraum (RGB-Farbraum) wird in eine Vielzahl von Blöcken (Farbblöcke) unterteilt, das heißt, in Zellen (Farbzellen) unterteilt, und einzigartige Kennsätze mit Seriennummern werden zu den entsprechenden Zellen (Farbzellen) hinzuaddiert. Der mehrdimensionale Merkmalsbetragsraum (RGB- Farbraum) wird in eine Vielzahl von Blöcken unterteilt, um die feinen Differenzen bei dem Merkmalsbetrag (Farbe) aufzunehmen.
Für den mehrdimensionale Merkmalsbetragsraum wird der Bildmerkmalsbetrag nicht unmittelbar verwendet. Statt dessen werden arithmetischer Mittelwert und die Varianz für jeden Parameter durch Experimente normiert, und anschließend wird eine orthogonale Transformation, wie beispielsweise Hauptkomponentenanalyse, durchgeführt, um eine bedeutsame Größe zu erhalten. Es sei angemerkt "bedeutsame Größe" ist eine Größe, die durch eine Hauptkomponentenachse, die einen großes Beitragsverhältnis bei der Hauptkomponentenanalyse hat, definiert ist.
Bei Schritt S13 wird jeder der unterteilten Blöcke, die in Schritt S12 erhalten wurden, einer vorgegebenen Bildmerkmalsbetragsberechnung unterzogen, um eine Zelle im mehrdimensionale Merkmalsbetragsraum, zu der der Block gehört, zu bestimmen und um einen entsprechenden Kennsatz zu erhalten. Sämtliche Blöcke werden dieser Bearbeitung unterworfen. Genauer: Jeder unterteilte Bildblock wird einer Berechnung unterworfen, um Farbzellen zu erhalten, zu denen Bildpunkte des Bildblocks gehören. Der Kennsatz einer Farbzelle mit der höchsten Frequenz wird als der Parameterkennsatz (Farbkennsatz) des unterteilten Bildblocks bestimmt. Die Bearbeitung wird für sämtliche Blöcke durchgeführt.
Die Parameterkennsätze werden zu den Blöcken in der oben beschriebenen Weise hinzugefügt. Bei Schritt S14 werden die Parameterkennsätze, die zu den Blöcken hinzugefügt wurden, auf der Grundlage einer vorgegebenen Blockfolge angeordnet, um eine Parameterkennsatzzeichenfolge (künftig kurz Kennsatzzeichenfolge) zu erzeugen. Die Fig. 7A bis 7C zeigen zur Erläuterung Blockfolgen bei der Erzeugung einer Kennsatzzeichenfolge. Die Parameterkennsätze werden gemäß Zahlen in den unterteilten Bildblöcken angeordnet, um eine Kennsatzzeichenfolge zu erzeugen.
In Fig. 7A werden die unterteilten Blöcke schräg von oben rechts nach unten links abgetastet. Die wird getan, um den Einfluß der Feindifferenzen oder der Winkelverschiebung zwischen den zu vergleichenden Bildern zu minimieren, um, so viel wie möglich, kontinuierliche Kennsatzzeichenfolgen mit hohem Erwartungswert entlang des Objektes, das der Wiederauffindung von Ähnlichkeiten unterworfen ist, zu erhalten. Folgerichtig können Zeichenfolgen, in Verbindung mit der Musterabgleichseinheit 16 (wird weiter unten beschrieben), untereinander verglichen werden, wobei sie weniger durch eine Verschiebung sowohl in horizontaler wie in vertikaler Richtung beeinflußt werden.
Folgende Abtastverfahren können bei diesem Ausführungsbeispiel angewendet werden:
Horizontales Abtasten (vier Abtastverfahren stehen zur Verfügung, beispielsweise Abtastung von links nach rechts wird von oben nach unten ausgeführt, oder Abtastung von links nach rechts wird von unten nach oben ausgeführt).
Vertikales Abtasten (vier Abtastverfahren stehen zur Verfügung, beispielsweise Abtasten von oben nach unten wird von links nach rechts ausgeführt).
Schräges Abtasten (schräge Abtastverfahren in zwei Richtungen stehen für jeden Startpunkt an den vier Ecken zur Verfügung, wodurch acht Abtastverfahren einschließlich derjenigen, die in den Fig. 7A bis 7C gezeigt werden, verfügbar sind).
Zickzack-Abtasten (Zickzack-Abtasten wird beispielsweise bei JPEG (Kompressionsverfahren für digitale Bilder) verwendet. Zwei Zickzack-Abtastverfahren stehen für jeden Startpunkt an vier Ecken zur Verfügung, wodurch insgesamt acht Abtastverfahren verfügbar sind).
Bei diesem Ausführungsbeispiel wird das zu verwendende Abtastverfahren entsprechend folgender Gesichtpunkt bestimmt.
(1) Bei diesem Ausführungsbeispiel werden. Kennsatzzeichenfolgen dem Zeitserienvergleich unterworfen, wodurch eine Umkehrung dieser Abfolge nicht geeignet ist. Sämtliche Bilder müssen über ein vorbestimmtes Abtastverfahren abgetastet werden, um Kennsatzzeichenfolgen zu erzeugen.
(2) Blocke, die nahe beieinander liegen, werden bevorzugt so angeordnet, daß sie nahe selbst in einer Kennsatzzeichenfolge sind.
(3) Können die Kennsätze der Blöcke, die mit dem wiederaufzufindenden Objekt verbunden sind, so bald wie möglich erfaßt werden und so lang wie möglich abgetastet werden, wird die Anpassung vereinfacht.
(4) Selbst wenn das Objekt bewegt oder im Winkel geändert wird, muß der Kennsatzbereich daran gehindert werden, übermäßig geändert zu werden. Das zu verwendende Abtastverfahren muß die obigen Bedingungen erfüllen. Speziell, wenn angenommen wird, daß viele interessierenden Objekte in der Mitte des Bildes angeordnet sind, verwendet dieses Ausführungsbeispiel schräges Abtasten als ein Verfahren mit hohem Erwartungswert, Blöcke einschließlich dem interessierenden Objekt sobald wie möglich zu erfassen, und das interessierende Objekt so lang wie möglich abzutasten. Bei diesem Ausführungsbeispiel wird schräges Abtasten von oben rechts nach unten links verwendet (siehe Fig. 7A). Jedoch kann selbstverständlich das Abtasten auch nach den Darstellungen in den Fig. 7B und 7C erfolgen.
Bei Schritt S15 wird die Kennsatzzeichenfolge oder das Bilddatum, das in der obigen Weise erhalten wurde, in der Bildspeichereinheit 17, der Bildverwaltungsdatenbank 18 und dem Kennsatzzeichenfolgeindex 19 abgespeichert. Genauer: Eine Bildkennung wird für das Bilddatum, das in Schritt S11 geladen wurde, ermittelt, und die Bildkennung sowie das Bilddatum werden gepaart und in der Bildspeichereinheit 17 abgespeichert. Der Bildverwaltungs-Datenbankdatensatz, der in Fig. 8 gezeigt wird, wird in Übereinstimmung mit der Bildkennung erzeugt, und in der Bildverwaltungsdatenbank 18 registriert. Bei Schritt 16 wird die Bildkennung in dem Kennsatzzeichenfolgeindex 19, der einen Datensatz (Kennsatzsystemindex, gezeigt in Fig. 9) speichert, registriert, in dem eine Bildkennungsgruppe in einem Datensatz mit veränderbarer Länge abgespeichert wird, während die Kennsatzzeichenfolgen als Wiederauffindungsschlüssel eingestellt sind. Wurden die Kennsatzzeichenfolge nicht registriert, wird ein neuer Datensatz erzeugt, und eine Kennsatzzeichenfolgekennung wird der Kennsatz Zeichenfolge hinzugefügt, wodurch die Kennsatzzeichenfolge und die zugehörige Bildkennung registriert wird. Wurde die Kennsatzzeichenfolge schon registriert, wird die Bildkennung zusätzlich in der Bildkennungsgruppe registriert. Durch Verwendung eines solchen Kennsatzsystemindex, kann eine Bildkennung, die einer vorgegebenen Kennsatzzeichenfolge zugeordnet ist, schnell erhalten werden.
Die Bildregistrierungsverarbeitung wurde oben beschrieben

Wiederauffindverarbeitung bei Bildähnlichkeit

Wiederauffindverarbeitung bei Bildähnlichkeit wird als nächstes unter Bezugnahme auf das Flußdiagramm in Fig. 10 beschrieben. Fig. 10 zeigt ein Flußdiagramm zur Erläuterung des Ablaufs der Wiederauffindverarbeitung bei Bildähnlichkeit. Bei diesem Ausführungsbeispiel wird die Kennsatzzeichenfolgegruppe von schon registrierten Bildern von dem Kennsatzsystemindex zum Zeitpunkt der Initialisierung im voraus erhalten, und eine Kennsatzbestandteilindexdatei (siehe Fig. 11), die Kennsatzbestandteile als Schlüssel hat, wird aufbereitet und in dem Kennsatzsystemindex 19 abgespeichert. In diesem Fall bedeutet der Zeitpunkt der Initialisierung den Zeitpunkt des Systemstarts oder des Starts einer Anwendung. Selbst wenn ein neues Bild in der Bilddatenbank registriert wird, wird der Kennsatzbestandteilindex aufbereitet. Fig. 11 zeigt den Datenaufbau eines Kennsatzbestandteilindex. Wie in Fig. 11 gezeigt, hat jeder Kennsatzbestandteil des Kennsatzbestandteilindex eine Adreßgruppe (Kennsatzkennungsgruppe), die zu den Kennsatzzeichenfolgen, die die Kennsätze haben, gehören. Die Kennsatzbestandteilindexdatei muß so lange nicht neu aufbereitet werden, bis Bildregistrierung, Löschung oder Änderung es erforderlich machen, auf dem Kennsatzbestandteilindex abgebildet zu werden. Es sei angemerkt, daß der Kennsatzbestandteilindex aktualisiert oder hinzugefügt werden kann, wenn ein neues Bild registriert wird.
Bei Schritt S21 wird ein bestimmtes Wiederauffindung ähnlicher Bildersbild von der Anwenderschnittstelleneinheit 11 bestimmt. Bei Schritt 22 wird die Bildkennung des bestimmten Wiederauffindung ähnlicher Bildersbildes (künftig wird von bestimmten Bild gesprochen) ermittelt, und die Kennsatzzeichenfolge (Farbkennsatzzeichenfolge bei diesem Beispiel) des bestimmten Bildes wird von der Bildverwaltungsdatenbank 18 ermittelt.
Bei Schritt S23 wird eine Kennsatzzeichenfolgegruppe (Kennsatzzeichenfolgen in dem Kennsatzsystemindex) einschließlich einer vorgegebenen Zahl oder mehrerer Kennsätze, die ähnlich der Kennsatzzeichenfolge des bestimmten Bildes ist, unter Bezugnahme auf die Kennsatzbestandteilindexdatei ermittelt. Wird die Kennsatzzeichenfolge des bestimmten Bildes mit sämtlichen Kennsatzzeichenfolgen der registrierten Bilder verglichen, erniedrigt sich die Verarbeitungsgeschwindigkeit. Um dem vorzubeugen werden ähnliche Kennsatzzeichenfolgen (Kennsatzzeichenfolgegruppe, einschließlich einer vorgegebenen Zahl oder mehreren Kennsätzen, die geringe Abstände zu der Kennsatzzeichenfolge des bestimmten Bildes haben, wobei der Abstand unter Bezugnahme auf Fig. 12 später besprochen wird) im voraus ausgewählt, und anschließend wird jede dieser Kennsatzzeichenfolgen mit der Kennsatzzeichenfolge des bestimmten Bildes verglichen, wodurch die Verarbeitungsgeschwindigkeit verbessert wird. Wird ein geringe Verarbeitungsgeschwindigkeit zugelassen, kann die Kennsatzzeichenfolge des bestimmten Bildes mit allen Kennsatzzeichenfolgen der registrierten Bilder verglichen werden, um ein sehr genaue Wiederauffindung durchzuführen (in diesem Fall wird Schritt S23 vernachlässigt).
Es steht das folgende Verfahren als ein Verfahren zum Auswählen von Bildern unter Verwendung der oben beschriebenen Kennsatzbestandteilindexdatei zur Verfügung. Bei diesem Ausführungsbeispiel wird eine Kennsatzzeichenfolge, die neun Kennsätze beinhaltet, verwendet, und Bilder, die drei Kennsätze (vier bis sechs Kennsätze) beinhaltet, werden in der Mitte dieser Kennsatzzeichenfolge ausgewählt. Dies deshalb, weil die Merkmalsinformation des Bildes im Mittelteil des Bildes auftritt.
Bei Schritt S24 wird jede der Kennsatzzeichenfolgen, die bei Schritt 23 ermittelt wurden, mit der Kennsatzzeichenfolge des bestimmten Bildes verglichen, um Ähnlichkeiten zu berechnen. Die Kennsatzzeichenfolgen werden sequentiell der zum bestimmten Bild am nächsten liegenden Kennsatzzeichenfolge zusammen mit ihren Ähnlichkeiten als ein Erfassungsergebnis ausgegeben.
Dieses Verfahren zur Ausführung eines Ähnlichkeitsvergleichs zwischen Kennsatzzeichenfolgen (Berechnung von Ähnlichkeiten) wird beschrieben.
Fig. 12 zeigt eine Abstandsmatrix zwischen Kennsätzen, die bei dem Kennsatzzeichenfolgevergleich verwendet wird, um die Ähnlichkeit zu erhalten. Ein kleinerer Wert in der Matrix zeigt eine höhere Ähnlichkeit an. Beispielsweise ist der Abstand zwischen Kennsatz 2 und Kennsatz 6 gleich "7". Der Abstand zwischen identischen Kennsätzen ist selbstverständlich gleich "0". Diese Matrix wird verwendet, um eine Entfernungsbestimmung, die der Ähnlichkeit zwischen Kennsätzen entspricht, auszuführen. Genauer: Da der RGB-Farbraum als Merkmalsbetragsraum verwendet wird, kann bei diesem Ausführungsbeispiel die Entfernungsbestimmung, die der Ähnlichkeit zwischen Farben entspricht, durchgeführt werden.
Beispielsweise wird der Abstand zwischen Kennsatzwerten an entsprechenden Stellen bei den Kennsatzzeichenfolgen des zur Wiederauffindung bestimmten Bildes und dem zu vergleichenden Bild mit Hinsicht auf die in Fig. 12 gezeigte Abstandsmatrix erhalten, und die Summe der Abstände für sämtliche Kennsätze bei den Kennsatzzeichenfolgen wird berechnet, wobei der Abstand zwischen den Kennsatzzeichenfolgen erhalten wird. Bei dem in Fig. 13A gezeigten Beispiel lautet die Kennsatzzeichenfolge des bestimmten Bildes "112313441", und die Kennsatzzeichenfolge des zu vergleichenden Bildes lautet "113224452". Der Abstand (Endlösung) wird durch Ausführen des Datenverarbeitungsabgleichs unter Verwendung der in Fig. 12 gezeigten Abstandsmatrix, wie in Fig. 13B gezeigt, erhalten. Bei diesem Beispiel wird die folgende Bedingung als eine Gradientennebenbedingung verwendet. Sind in Fig. 13C die Knoten an den Gitterpunkten (i-1,j), (i-1,j-1), und (i,j-1) g(i-1,j), (g(i-1,j-1) und g(i,j-1), und wenn der Abstand am Gitterpunkt (i,j) d(i,j) ist, dann werden die Knoten g(i,j) am Gitterpunkt (i,j) durch folgende Rekursionsformel gewonnen:
Um nebeneinanderliegenden Zellen einen geringen Abstand oder voneinander entfernten Zellen eine großen Abstand beim Musterabgleich zwischen Kennsätzen zuzuordnen, wird die Abstandsmatrix zwischen Kennsätzen, wie in Fig. 12 gezeigt, verwendet. Bei Schritt S24 werden die Kennsatzzeichenfolgen untereinander unter Berücksichtigung der Abstandsmatrix miteinander verglichen. Zu diesem Zeitpunkt kann der Abgleich beispielsweise mit einem Automaten, der mehrdeutigen Vergleich zwischen Kennsatzfolgen zuläßt, ausgeführt werden. Wird ein derartiges mehrdeutiges Vergleichsverfahren verwendet, wird ein geringer Abstand zugeordnet, um Kennsatzaddition, Kennsatznichtberücksichtigung oder Kennsatzwiederholung nicht zu berücksichtigen. Hinzu kommt, wird der Abstand zwischen Kennsatzzeichenfolgen unter Verwendung der Abstandsmatrix zwischen den in Fig. 12 gezeigten Farbkennsätzen berechnet, kann mehrdeutiger Musterabgleich ausgeführt werden. Das nichtdeterministische, finite Fuzzy-Automat, der in der japanischen Offenlegung No. 8-241335 als "ambiguous character string retrieval method and system using fuzzy nondeterministic finite automaton" bekanntgegeben wurde, kann als Automat eingesetzt werden. Mit diesem Automaten kann ein mehrwertiger Abstand zwischen Symbolen erhalten werden. Als ein Verfahren, das mehrdeutige Bewegung der Kennsatzstellen erlaubt, die verglichen werden sollen, um Kennsatzzeichenfolgevergleich zu realisieren, derart, daß der Gesamtabstand minimiert wird (Ähnlichkeit wird maximiert), braucht nicht ausschließlich der oben beschriebene Automat verwendet werden, sondern Datenverarbeitungsabgleich, der bei der Spracherkennung verwendet wird, kann eingesetzt werden. Dieses Verfahren läßt sich auch bevorzugt bei diesem Ausführungsbeispiel anwenden.
Wird die Regel der Blockfolgen in den Fig. 7A bis 7C zusätzlich zu dem oben beschriebenen, mehrdeutigen Musterabgleich angewendet, lassen sich Farbkennsatzzeichenfolgen untereinander vergleichen, wobei sie weniger durch irgendeine Feindifferenz oder eine Winkelverschiebung zwischen den zu vergleichenden Bildern beeinflußt werden und auch weniger durch eine Verschiebung in sowohl der vertikalen als auch der horizontalen Richtung beeinflußt werden. Genauer: Datenverarbeitungsabgleich oder nichtdeterministischer Fuzzy- Automat erlauben eine gewisse Mehrdeutigkeit bei der Folge von Kennsatzzeichenfolgen, und sie absorbieren den Einfluß der Stellenverschiebung bei einem Bild. Wenn sich die Stellung des Objekts aufgrund der Differenz im Winkel und wenn sich die Stellung des auszuwählenden Objekts in Abhängigkeit vom Block ändert, wird erwartet, daß sich der Farbton des Blocks leicht ändert. Diese Differenz wird durch die oben beschriebene Abstandsmatrix absorbiert. Durch die Synergie des Datenverarbeitungsabgleichs oder ein Abgleich auf der Grundlage eines Fuzzy-Automaten wird, wie oben beschrieben, Mehrdeutigkeit und Toleranz der Mehrdeutigkeit bei den Merkmalsbeträge durch die Abstandsmatrix zugelassen, und ein Abgleich, der durch eine Verschiebung in vertikaler und horizontaler beeinflußt wird, wird realisiert. Hinzu kommt, da die Änderung in der Kennsatzstellung wegen einer Änderung in der Objektstellung durch Verwendung schrägen Abtastens, wie in den Fig. 7A bis 7C gezeigt, minimiert wird, kann der Einfluß der Verschiebung des Objekts beim Abgleich wirksamer minimiert werden.
Bei Schritt S25 wird von dem Kennsatzsystemindex eine Bildsuche vorgenommen, indem die Kennsatzzeichenfolge mit großer Ähnlichkeit als ein Schlüssel verwendet wird, und die Bildkennung des gefundenen Bildes wird ermittelt. Diese Verarbeitung wird für Kennsatzzeichenfolgen, die in absteigender Reihenfolge der Ähnlichkeiten ausgegeben werden, wiederholt, um die Bildkennungsgruppe ähnlicher Bilder zu erhalten. Bei Schritt S26 wird der volle Pfaddateiname für jede Bildkennung der Bildkennungsgruppe unter Bezugnahme auf das Bildverwaltungsdatenbank 18 ermittelt und dem Anwender zugeführt.
Mit der obigen Verarbeitung werden einige Differenzen bei der Farbe, aufgrund einer Änderung im Bildwinkel, der Stellung des Objekts oder der photographischen Bedingung absorbiert, wodurch eine stabile Wiederauffindung ähnlicher Bilder bei hoher Geschwindigkeit ausgeführt werden kann.
Wie gemäß dem ersten Ausführungsbeispiel beschrieben, wird die Merkmalsbeträgegruppe (Gruppe von Merkmalsbeträge, die durch Segmentierung des Merkmalsbeträgeraums erhalten wurde) durch ein Symbol (das heißt, ein Kennsatz wird aufbereitet) dargestellt, und ein Abstand auf der Grundlage der Ähnlichkeit zwischen Kennsätzen auf der Grundlage der Abstandsmatrix wird vorgegeben. Mit dieser Anordnung kann der Aufwand zur Berechnung des Abstands zwischen zwei Bilderblocks sehr wesentlich reduziert werden. Hinzu kommt, da Ähnlichkeitsmerkmalsbeträge durch einen Kennsatz dargestellt werden, daß ähnliche Bildwiederauffindung zufriedenstellend ausgeführt werden kann.
Wenn erstens das Konzept des Abstands zwischen Kennsätzen auf der Grundlage der Abstandsmatrix eingeführt wird, und zweitens ein Verfahren wie beispielsweise Datenverarbeitungsabgleich oder nichtdeterministischer Fuzzy- Automat, der mehrdeutige Bewegung der Stellungen der zu vergleichenden Kennsätzen zuläßt, um Kennsatzzeichenfolgenvergleich in der Weise zu realisieren, daß der Gesamtabstand minimiert wird (Ähnlichkeit wird maximiert), eingeführt wird, kann Wiederauffindung ähnlicher Bilder selbst dann ausgeführt werden, wenn sich der Bildwinkel leicht ändert, wodurch Bilder mir ähnlicher Umgebung wiederaufgefunden werden können.
Darüber hinaus kann die Geschwindigkeit der Bildwiederauffindung weiter durch Verwendung der Indexdatenbank (Kennsatzsystemindex oder Kennsatzbestandteilindex) erhöht werden.
Wie, gemäß der vorliegenden Erfindung, oben beschrieben, kann Wiederauffindung ähnlicher Bilder unter Berücksichtigung der Anordnung der Merkmalsbeträge der Bilder ausgeführt werden.

Zweites Ausführungsbeispiel

Beim ersten Ausführungsbeispiel wird Wiederauffindung ähnlicher Bilder durch eindimensional angeordnete Kennsätze, die Merkmalsbeträge darstellen, das heißt, unter Verwendung einer Kennsatzzeichenfolge, ausgeführt. Beim zweiten Ausführungsbeispiel wird Wiederauffindung ähnlicher Bilder unter Berücksichtigung zweidimensional angeordneter Kennsätze, die Merkmalsbeträge darstellen, das heißt, unter Verwendung einer Kennsatzmatrix, ausgeführt.
Die Steuerungsanordnung einer Bildwiederauffindungsvorrichtung gemäß dem zweiten Ausführungsbeispiel ist die gleiche wie im ersten Ausführungsbeispiel (siehe Fig. 1), so daß auf eine ausführliche Beschreibung der Vorrichtung verzichtet wird.
Fig. 14 zeigt ein Blockdiagramm, das die Funktionsanordnung der Bildwiederauffindungsvorrichtung gemäß dem zweiten Ausführungsbeispiel darstellt. Die gleichen Bezugszeichen wie im ersten Ausführungsbeispiel bezeichnen in Fig. 14 die gleichen Elemente, so daß auf eine ausführliche Beschreibung der Elemente verzichtet wird. Eine Merkmalsbeträge- Kennsatzmatrixerzeugungseinheit 15a erzeugt eine Kennsatzmatrix auf der Grundlage von Merkmalsbeträgen, die durch eine Bildmerkmalsbeträgeauswahleinheit 14 erhalten werden. Eine Musterabgleichseinheit 16a berechnet die Ähnlichkeit zwischen der Kennsatzmatrix eines bestimmten Bildes mit einem Bild, das in einer Bildspeichereinheit 17 abgespeichert ist, unter Verwendung eines zweidimensionalen Datenverarbeitungsabgleichs (Beschreibung erfolgt später). Eine Bildverwaltungsdatenbank 18a verwaltet die gespeicherten Bilddaten in der Bildspeichereinheit 17 als Datenformat, wie in Fig. 17 gezeigt. Ein Kennsatzmatrixindex 19a speichert einen Kennsatzsystemindex (siehe Fig. 18) oder eine Kennsatzbestandteilindexdatei (siehe Fig. 20).
Die Arbeitsweise der Bildwiederauffindungsvorrichtung gemäß dem zweiten Ausführungsbeispiel in der obigen Anordnung wird unten beschrieben. Die folgende Beschreibung wird durch Erläuterung der Verarbeitung in einem dreidimensionalen Farbraum, wobei hier drei Farben Rot (R), Grün (G) und Blau (B) als Bildmerkmalsbeträge wie im ersten Ausführungsbeispiel verwendet werden.

Bildregistrierungsverarbeitung

Fig. 15 zeigt ein Flußdiagramm, das den Ablauf einer Bildregistrierungsverarbeitung gemäß dem zweiten Ausführungsbeispiel darstellt. Die Schritte S11 bis S13 in Fig. 15 sind die gleichen wie im ersten Ausführungsbeispiel (siehe Fig. 4), so daß auf eine ausführliche Beschreibung verzichtet wird.
Bei der Verarbeitung der Schritte S11 bis S13 werden Parameterkennsätze zu Blöcken hinzugefügt. Bei Schritt S14a werden die Parameterkennsätze, die zu den Blocken hinzugefügt werden, auf der Grundlage einer vorgegebenen Blockfolge angeordnet, um eine Parameterkennsatzmatrix (wird künftig kurz als Kennsatzmatrix bezeichnet) zu erzeugen. Die Fig. 16A bis 16E sind Darstellungen zur Erläuterung der Blockfolgen, um eine Kennsatzmatrix zu erzeugen. Die Parameterkennsätze werden mit Zahlen in den unterteilten Bildblöcken angeordnet, um eine Kennsatzmatrix zu erzeugen. Soll eine Kennsatzmatrix in der Bildverwaltungsdatenbank 18a oder dem Kennsatzmatrixindex 19a abgespeichert werden, werden, wie oben beschrieben, die zweidimensionalen Kennsatzmatrizen eindimensional in einer vorgegebenen Reihenfolge angeordnet und abgespeichert. Beim zweiten Ausführungsbeispiel wird dieser eindimensionale Bereich ebenfalls als Kennsatzmatrix bezeichnet.
In Fig. 16A werden die unterteilten Blöcke in horizontaler Richtung von links nach rechts abgetastet, und diese horizontale Abtastung wird von oben nach unter ausgeführt. Die folgenden Abtastverfahren können bei diesen Ausführungsbeispiel angewendet werden:
Horizontale Abtastung (hier wird, im Gegensatz zur in Fig. 16 dargestellten Abtastung, auch von oben nach unten ausgeführt. Die in den Fig. 16B bis 16D dargestellten Abtastverfahren stehen ebenfalls zur Verfügung, beispielsweise wird Abtastung von links nach rechts von unten nach oben ausgeführt, womit insgesamt vier Abtastverfahren zur Verfügung stehen).
Vertikale Abtastung (hier stehen vier Abtastverfahren zur Verfügung, beispielsweise Abtastung von oben nach unten wird von links nach rechts ausgeführt).
Wie in Fig. 16E gezeigt, wird die Abtastung in Einheiten von geraden oder ungeraden Zeilen ausgeführt.
Bei diesem Ausführungsbeispiel wird das in Fig. 16A verwendete Abtastverfahren benutzt, obgleich die anderen beschriebnen Abtastverfahren ebenfalls verwendet werden können.
Bei Schritt S15a werden die in obiger Weise erhaltenen Matrix- und Bilddaten in der Bildspeichereinheit 17, der Bildverwaltungsdatenbank 18a und dem Kennsatzmatrixindex 19a abgespeichert. Genauer: Eine Bildkennung wird für Bilddaten, die bei Schritt S11 gespeichert wurden, ermittelt, und die Bildkennung sowie die Bilddaten werden zusammengefügt, und in der Bildspeichereinheit 17 abgespeichert. Ein in Fig. 17 gezeigter Bildverwaltungs-Datenbankdatensatz wird nach der Bildkennung erzeugt und in der Bildverwaltungsdatenbank 18a registriert. Bei Schritt S16a wird die Kennsatzmatrix in dem Kennsatzmatrixindex 19a, der einen Datensatz (der in Fig. 18 gezeigte Kennsatzsystemindex), in dem eine Bildkennungsgruppe mit einem Datensatz veränderbarer Länge gespeichert wird, registriert, wobei die Kennsatzmatrizen als Wiederauffindungsschlüssel eingestellt werden. Ist die Kennsatzmatrix nicht registriert, wird ein neuer Datensatz erzeugt, und eine Kennsatzmatrixkennung wird zur Kennsatzmatrix hinzugefügt, wodurch die Kennsatzmatrix und die entsprechende Bildkennung registriert werden. Ist die Kennsatzmatrix schon registriert, wird die Bildkennung zusätzlich in der Bildkennungsgruppe registriert. Durch Verwendung eines derartigen Kennsatzsystemindex kann eine Bildkennung, die einer vorgegebenen Kennsatzmatrix entspricht, schnell erhalten werden.
Zuvor beschrieben wurde die Bildregistrierungsverarbeitung.

Wiederauffindverarbeitung bei Bildähnlichkeit

Wiederauffindverarbeitung bei Bildähnlichkeit wird als nächstes unter Bezugnahme auf das Flußdiagramm in Fig. 19 beschrieben. Fig. 19 zeigt ein Flußdiagramm zur Erläuterung des Ablaufs einer Wiederauffindverarbeitung bei Bildähnlichkeit. Bei diesem Ausführungsbeispiel wird die Kennsatzmatrixgruppe schon registrierter Bilder vom Kennsatzsystemindex zum Zeitpunkt der Initialisierung in Voraus erhalten, und eine Kennsatzbestandteilindexdatei, die Kennsatzbestandteile als Schlüssel enthält, wird erzeugt und in dem Kennsatzmatrixindex 19a abgespeichert. Im vorliegenden Fall bedeutet Zeitpunkt der Initialisierung den Zeitpunkt des Systemstarts oder des Starts einer Anwendung. Selbst wenn in der Bilddatenbank ein neues Bild registriert wird, wird der Kennsatzbestandteilindex erzeugt. Fig. 20 zeigt den Datenaufbau des Kennsatzbestandteilindex. Wie aus Fig. 20 zu ersehen ist, hat jeder Kennsatzbestandteil des Kennsatzbestandteilindex eine Adreßgruppe (Matrixkennungsgruppe), die der Kennsatzmatrix entsprechen, die Kennsätze haben. Die Kennsatzbestandteilindexdatei muß bis zur Bildregistrierung nicht erneut erzeugt werden, eine Löschung oder eine Änderung muß in dem Kennsatzbestandteilindex abgebildet sein. Es sei angemerkt, daß der Kennsatzbestandteilindex hinzugefügt oder aktualisiert werden kann, wenn ein Bild registriert wird.
Bei Schritt S21 wird ein bestimmtes Bild bei der Wiederauffindung ähnlicher Bilder über eine Anwenderschnittstelleneinheit 11 eingegeben. Bei Schritt S22a wird die Bildkennung des eingegebenen bestimmten Bildes ermittelt, und die Kennsatzmatrix (in diesem Beispiel die Farbkennsatzmatrix) des bestimmten Bildes wird von der Bildverwaltungsdatenbank 18a ermittelt,
Bei Schritt S23a wird eine Kennsatzmatrixgruppe (Kennsatzmatrizen im Kennsatzsystemindex), einschließlich einer vorgegebenen Zahl oder mehrerer Kennsätze, die enge Abstände zur Kennsatzmatrix des bestimmten Bildes haben, unter Bezugnahme auf die Kennsatzbestandteilindexdatei ermittelt. Wenn, wie im ersten Ausführungsbeispiel, die Kennsatzmatrix des bestimmten Bildes mit sämtlichen Kennsatzmatrizen der registrierten Bilder verglichen wird, erniedrigt sich die Verarbeitungsgeschwindigkeit. Um dem vorzubeugen, werden ähnliche Kennsatzmatrizen (eine Kennsatzmatrixgruppe, die eine vorbestimmte Zahl oder mehrere Kennsätze, die ähnlich der Kennsatzmatrix des bestimmten Bildes sind, beinhaltet) im voraus ausgewählt, und anschließend wird jede dieser Kennsatzmatrizen mit der Kennsatzmatrix des bestimmten Bildes verglichen, wodurch sich die Verarbeitungsgeschwindigkeit verbessert. Wird ein geringe Verarbeitungsgeschwindigkeit zugelassen, kann die Kennsatzmatrix des bestimmten Bildes mit sämtlichen Kennsatzmatrizen der registrierten Bilder verglichen werden, um einen hohen Grad an Genauigkeit bei der Wiederauffindung (in diesem Fall wird Schritt S23a übergangen) zu erhalten.
Bei Schritt S24a wird jede der bei Schritt S23a ermittelten Kennsatzmatrizen mit der Kennsatzmatrix des bestimmten Bildes verglichen, um die Ähnlichkeit zu berechnen. Die Kennsatzmatrizen werden sequentiell von der am nächsten liegenden Kennsatzmatrix des bestimmten Bildes zusammen mit ihren Ähnlichkeiten als ein Erfassungsergebnis ausgegeben.
Das Verfahren zur Ausführung des Ähnlichkeitsvergleichs zwischen Kennsatzmatrizen (Berechnung der Ähnlichkeit) wird nun beschrieben. Die in Schritt S23a ermittelte Kennsatzmatrix bezieht sich auf ein Bild, das dem Ähnlichkeitsvergleich unterworfen wird, oder auf ein Bild, das danach verglichen werden soll.
Ebenfalls wird bei dem zweiten Ausführungsbeispiel die in Fig. 12 gezeigte Abstandsmatrix verwendet, um die Kennsatzmatrizen zu vergleichen, und um die Ähnlichkeit wie beim ersten Ausführungsbeispiel zu erhalten.
Genauer: Um einen geringen Abstand an nebeneinaderliegenden Zellen oder einen großen Abstand an voneinander entfernter Zellen beim Musterabgleich zwischen Kennsätzen zuzuordnen, wird die in Fig. 12 gezeigte Abstandsmatrix verwendet. Bei Schritt S24a werden die Kennsatzmatrizen miteinander unter Berücksichtigung der Abstandsmatrix verglichen. Beim zweiten Ausführungsbeispiel wird, wie unten beschrieben, zweidimensionaler Datenverarbeitungsabgleich verwendet.
Die Fig. 21A bis 21C dienen der Erläuterung von Ähnlichkeitsberechnungen gemäß dem zweiten Ausführungsbeispiel. Die Kennsatzmatrix des bestimmten Bildes, das in Schritt S22a ermittelt wurde, kann in den Fig. 21A bis 21C einen Bereich (a) je nach Abtastverfahren haben. Angenommen, daß eine der in Schritt S23a ausgewählten Kennsatzmatrizen ein zu vergleichendes Bild ist, kann die Kennsatzmatrix in dem Fig. 21A bis 21C einen Bereich (b) haben.
Als erstes wird der Abstand zwischen der Kennsatzzeichenfolge "abc" der ersten Zeile des zu vergleichenden Bildes und jeder der Kennsatzzeichenfolgen der ersten bis dritten Zeile ("123", "456" und "789") des bestimmten Bildes durch Datenverarbeitungsabgleich erhalten. Die Zeilenzahl der Kennsatzzeichenfolge bei dem bestimmten Bild, das einen Minimalabstand hat, wird in eine zugehörige Stelle einer ähnlichen Zeilenmatrix ((c) in den Fig. 21A bis 21C) abgespeichert. Ist der erhaltene Minimalabstand größer als ein vorgegebener Schwellwert, wird festgelegt, daß die Kennsatzzeichenfolge irgendwelchen Zeilen nicht ähnlich ist, und an der entsprechenden Stelle der ähnlichen Zeilenmatrix wird das Zeichen "i" abgespeichert. Selbst wenn sich der Bildwinkel in der horizontalen Richtung geringfügig ändert, kann eine ähnliche Zeile durch die obige Verarbeitung aufgrund des Aufbaus des Datenverarbeitungsabgleichs erfaßt werden. Die oben beschriebene Verarbeitung wird für sämtlich Zeilen ("def" und "ghi") des zu vergleichenden Bildes wiederholt, wobei eine ähnliche Zeilenmatrix (c) in Spaltenrichtung erhalten wird (siehe Fig. 21A bis 21C).
Die Matrix (c) in dem Fig. 21A bis 21C weisen darauf hin, daß keine zu "abc" ähnliche Zeile bei dem bestimmten Bild vorhanden ist, die erste Zeile des bestimmten Bildes ist "def" ähnlich, und die zweite Zeile des bestimmten Bildes ist "ghi" ähnlich. Die Ähnlichkeit zwischen der erhaltenen ähnlichen Zeilenmatrix (Zeilenbereich des bestimmten Bildes: "123" bei diesem Beispiel) wird unter Verwendung des Datenverarbeitungsabgleichs erhalten, und sie wird als die Ähnlichkeit zwischen dem bestimmten Bild und dem zu vergleichenden Bild ausgegeben. Beim Datenverarbeitungsabgleich wird die zu vergleichende Kennsatzfolge gedehnt oder zusammengezogen (die zu vergleichende Kennsatzzeichenfolge mit der Kennsatzfolge wird beibehalten, ohne zur nächsten Kennsatzzeichenfolge fortzuschreiten), und derart verglichen, daß, wie bekannt, der Ähnlichkeitsabstand der zu vergleichenden Kennsatzzeichenfolge minimiert wird. Die Stelle, bis zu der Ausdehnung (Beibehaltung) möglich ist, kann durch eine Zwangsbedingung (Breite des Abgleichfensters) vorgegeben werden.
Fig. 22 ist ein Flußdiagramm zur Erläuterung der Ablaufs der Ähnlichkeitsberechnung unter Verwendung von Datenverarbeitungsabgleich beim zweiten Ausführungsbeispiel. Die oben beschriebene Verarbeitung unter Bezugnahme auf die Fig. 21A bis 21C wird nun genauer unter Bezugnahme auf das Flußdiagramm von Fig. 22 beschrieben.
Bei Schritt S101 wird eine Variable i, die die Zeilenzahl des zu vergleichenden Bildes darstellt, und eine Variable j, die die Zeilenzahl des bestimmten Bildes darstellt, zu Anfang auf den Wert "1" eingestellt, wodurch die beiden Variablen auf die ersten Zeilen hinweisen. Bei Schritt S102 wird die Kennsatzzeichenfolge der i-ten Zeile des zu vergleichenden Bildes ermittelt. Wenn, bezogen auf die Fig. 21A bis 21C, i = 1 ist, wird "abc" ermittelt. Bei Schritt S103 wird die Kennsatzzeichenfolge der j-ten Zeile des bestimmten Bildes ermittelt. Wenn, bezogen auf die Fig. 21A bis 21C, j = 1 ist, wird "123" ermittelt.
Bei Schritt S104 wird der Abstand zwischen zwei, in den Schritten S102 und S103 erhaltenen Kennsatzzeichenfolgen mit Hilfe des Datenverarbeitungsabgleichs unter Verwendung der in Fig. 12 beschriebenen Farbzellenabstandsmatrix berechnet. Wenn bei Schritt S105 der Minimalabstand in Verbindung mit der i-ten Zeile bei Schritt S104 erhalten wird, wird die zugehörige Zeilenzahl (j) im Zeilenmatrixelement LINE[i] abgespeichert.
Die Verarbeitung in den Schritten S103 bis S105 wird für sämtliche Zeilen des bestimmten Bildes (Schritte S106 und S107) ausgeführt. Auf diese Weise wird die Zahl einer Zeile des bestimmten Bildes, das einen Minimalabstand von der Kennsatzzeichenfolge der i-ten Zeile des zu vergleichenden Bildes hat, in einem Zeilenmatrixelement LINE[i] abgespeichert.
Bei Schritt S108 wird das durch die obige Verarbeitung erhaltene Zeilenmatrixelement LINE[i] mit einem vorgegebenen Schwellwert (Thresh) verglichen. Ist das Zeilenmatrixelement LINE[i] größer oder gleich dem Schwellwert (Thresh), wird bei Schritt S108 fortgefahren, und das Zeichen "!", das aussagt, daß die Kennsatzzeichenfolge nicht ähnlich irgendeiner Zeile ist, wird in dem Zeilenmatrixelement LINE[i] abgespeichert.
Die Verarbeitung bei den Schritten S102 bis S108 wird für sämtliche Zeilen des zu vergleichenden Bildes (Schritte S110 und S111) wiederholt, um die Zeilenmatrixelemente LINE[1] bis LINE[imax] zu erhalten. Diese Zeilenmatrixelemente werden als eine ähnliche Zeilenmatrix LINE ausgegeben.
Bei Schritt S113 werden die Standardzeilenmatrix [1, 2 ... imax] und die ähnliche Zeichenmatrix LINE dem Datenverarbeitungsabgleich unterworfen, um den Abstand zwischen den beiden Matrizen zu berechnen. Es sei angemerkt, daß die Standardzeilenmatrix eine Matrix ist, die mit dem Wert "1" beginnt, und die sich jeweils um den Wert "1" in Spaltenrichtung erhöht.
Der bei dem Datenverarbeitungsabgleich verwendete Abstand zwischen der Standardzeilenmatrix und der ähnlichen Zeilenmatrix wird nun beschrieben. Zwei Abstandseinstellschemata stehen für den Datenverarbeitungsabgleich zwischen der Standardzeilenmatrix und der ähnliche Zeilenmatrix in Spaltenrichtung zur Verfügung: ein dynamischer und ein statischer Abstand.
Beim dynamische Abstand wird der Abstand zwischen den Zeilenzahlen dynamisch eingestellt. Der Abstand zwischen Zeilenzahlen ändert sich in Abhängigkeit vom Bild. Bei diesem Ausführungsbeispiel wird der Abstand zwischen zwei horizontalen (Zeilenrichtung) Kennsatzmatrizen des bestimmten Bildes berechnet, und der Abstand zwischen Zeilen wird auf der Grundlage des Abstands zwischen den Kennsatzmatrizen erhalten.
Fig. 23 zeigt in einem Flußdiagramm den Arbeitsablauf der Einstellung des dynamischen Abstandwerts gemäß dem zweiten Ausführungsbeispiel. Bei Schritt S121 wird der Inhalt der Variablen i auf den Wert "1" eingestellt, und der Inhalt der Variable j wird auf den Wert "2" eingestellt. Bei Schritt S122 wird die Kennsatzzeichenfolge der i-ten Zeile des bestimmten Bildes ermittelt. Bei Schritt S123 wird die Kennsatzzeichenfolge der j-ten Zeile des bestimmten Bildes ermittelt. Bei Schritt S124 werden die Kennsatzzeichenfolge der i-ten Zeile des bestimmten Bildes und die Kennzeichenfolge der j-ten Zeile dem Datenverarbeitungsabgleich bei Verwendung der Farbabstandsmatrix unterworfen, um den Abstand zwischen den Kennsatzzeichenfolgen zu ermitteln. Bei Schritt S125 wird der bei Schritt S124 mit Hilfe des Datenverarbeitungsabgleichs erhaltene Abstand in dem Zeilenmatrixelement LINE[i][j] als Abstand zwischen der Kennsatzzeichenfolge der i-ten Zeile des bestimmten Bildes und dem der j-ten Zeile abgespeichert, und gleichzeitig wird der Abstand in dem Zeilenmatrixelement LINE[j][i] als der Abstand zwischen der Kennsatzzeichenfolge der j-ten Zeile des bestimmten Bildes und dem Abstand der i-ten Zeile abgespeichert.
Die Verarbeitung bei den Schritten S123 bis S125 wird so lange wiederholt, bis bei Schritt S216 der Inhalt der Variable j den Wert jmax annimmt. Als Ergebnis wird der Abstandswert zwischen der Kennsatzzeichenfolge der i-ten Zeile und jedem der Kennsatzzeichenfolgen der (i + 1)-ten bis jmax-ten Zeile bestimmt. Die Verarbeitung bei den Schritten S123 bis S126 wird so lange wiederholt, bis der Inhalt der Variablen i den Wert (imax-1) bei den Schritten S128, S129 und S130 annimmt. Als Ergebnis werden die durch die obige Verarbeitung bestimmten Abstandswerte in dem Zeilenmatrixelement LINE[i][j], außer in den Diagonalelementen bei i = j, abgespeichert.
Bei Schritt S131 wird der Abstand des Diagonalanteils des Zeilenmatrixelements LINE[i][j], der bei der obigen Verarbeitung nicht ermittelt wurde, bestimmt. Da hier i = j ist, das heißt, die Kennsatzzeichenfolgen sind identisch, ist der Abstand der Kennsatzzeichenfolgen gleich Null, und der Abstand mit dem Wert "0" wird abgespeichert. Bei Schritt S132 wird der Abstand für den Wert "!" bestimmt. Da der Abstand für "!", ein Wert ist, der größer als der größte Wert sämtlicher Abstandswerte in dem Zeilenmatrixelement LINE[i][j] ist, wird der Wert gewissermaßen eingestellt. Wenn jedoch der Abstandswert außerordentlich groß wird, wird mehrdeutiger Abgleich unterbunden.
Der Datenverarbeitungsabgleich bei Schritt S113 wird in der obigen Weise unter Verwendung der Abstandswerte zwischen den Kennsatzzeichenfolgen des bestimmten Bildes ausgeführt, wobei die Ähnlichkeit zwischen dem bestimmten Bild und dem zu vergleichenden Bild ermittelt wird.
Bei statischen Abstand andererseits, wenn zwei Kennsätze gleich sind, wird der Abstandswert "0" als Abstand für den Datenverarbeitungsabgleich vorgegeben, andererseits oder im Fall eines Vergleichs mit dem Wert "!" wird ein Abstand mit einem bestimmten Wert vorgegeben. In diesem Fall ändert sich der Abstand in Abhängigkeit vom bestimmten Bild nicht. Die Verabreitung bei Schritt S113 wird unter Verwendung eines solchen statischen Abstand ausgeführt, wobei die Ähnlichkeit zwischen dem bestimmten Bild und dem zu vergleichenden Bild bestimmt wir.
Die oben beschriebene Abgleichverarbeitung hat die folgenden charakteristischen Merkmale. Wenn die Fig. 21A und 21B ziemlich ähnlich sind, ist die ähnliche Zeilenmatrix "123", und der Abstand zwischen den Matrizen hat den Wert "0". Wenn die ähnliche Zeilenmatrix "!12" oder "212" ist, ist es wahrscheinlich, daß das zu vergleichende Bild gegenüber dem bestimmten Bild nach unten verschoben ist. Ist die ähnliche Zeilenmatrix "23!" oder "233", ist es wahrscheinlich, daß das zu vergleichende Bild gegenüber dem bestimmten Bild nach oben verschoben ist. Ist die ähnliche Zeilenmatrix "13!" oder "!13", ist es wahrscheinlich, daß das zu vergleichende Bild ein verkleinertes Bild des bestimmten Bildes ist. Ist das zu vergleichende Bild ein vergrößertes Bild des bestimmten Bildes, kann es ebenfalls erfaßt werden.
Wenn, wie oben bei Schritt S113 beschrieben, die ähnliche Zeilenmatrix und die Standardzeilenmatrix einem Datenverarbeitungsabgleich unterworfen werden, wird eine Verschiebung in vertikaler Richtung erfolgreich absorbiert. Aus diesem Grund kann die Differenz zwischen dem bestimmten Bild und dem zu vergleichenden Bild aufgrund der Verschiebung nach oben oder nach unten, Vergrößerung oder Verkleinerung des Bildes erfolgreich absorbiert werden, wodurch eine zufriedenstellende Ähnlichkeitswiederauffindung ausgeführt werden kann.
Genauer: Der zweidimensionale Datenverarbeitungsabgleich dieses Ausführungsbeispiels läßt ein bestimmte Mehrdeutigkeit in der Folge der Kennsatzzeichenfolgen der Kennsatzmatrix zu, und sie absorbiert den Einfluß der Stellenverschiebung beim Bild. Ändert sich die Stellung des Objekts aufgrund der Winkeldifferenz oder ändert sich die Stellung des auszuwählenden Objekts in Abhängigkeit des Blocks, dann wird erwartet, daß sich der Farbton des Blocks schließlich ändern wird. Die Differenz wird durch die oben beschriebene Abstandsmatrix absorbiert. Wie oben beschrieben, wird durch die Synergie des zweidimensionalen Datenverarbeitungsabgleichs, der die Mehrdeutigkeit beim zweiten Ausführungsbeispiel und der Spielraum der Mehrdeutigkeit bei den Merkmalsbeträgen durch die Abstandsmatrix zuläßt, der Abgleich weniger durch eine Verschiebung in vertikaler und in horizontaler Richtung beeinflußt wird, wird eine Vergrößerung oder eine Verkleinerung verwirklicht.
Beim Vergleich der beiden Abstände ist der dynamische Abstand vorzuziehen. Für das bestimmte Bild mit beispielsweise einem unbegrenzten weißen Feld, können sämtliche Zeilen ähnliche Kennsatzzeichenfolgen haben. Wenn das zu vergleichende Bild ebenfalls das Bild eines unbegrenzten weißen Feldes hat, kann die ähnliche Zeilenmatrix dieses Bildes "111" sein, weil die erste Zeilenzahl "1" an allen Stellen abgespeichert ist. In diesem Fall haben sämtliche Zeilen des bestimmten Bildes ähnliche Bilder. Aus diesem Grund, falls der Abstand zwischen Zeilenzahlen sehr klein ist, kann ein Abgleich bei geringer Entfernung nicht ausgeführt werden. Wird jedoch der dynamische Abgleich verwendet wird, wird der Abstand zwischen den Zeilenzahlen sehr klein, wodurch große Ähnlichkeit erhalten werden kann.
Wenn andererseits der statische Abstand verwendet wird, ist der Abstandswert zwischen "123" und "111" groß, was geringe Ähnlichkeit bedeutet.
Bei Schritt S24a wird die oben beschriebenen Ähnlichkeitsberechnung für sämtliche bei Schritt S23a ermittelten Kennsatzmatrizen ausgeführt. Die erhaltenen Ähnlichkeiten werden in abfallender Reihenfolge abgespeichert, und es wird bei Schritt S25a fortgefahren. Bei Schritt S25a wird eine Bildsuche vom Kennsatzsystemindex unter Verwendung der Kennsatzmatrix mit großer Ähnlichkeit als ein Schlüssel durchgeführt, und die Bildkennung des gefundenen Bildes wird ermittelt. Diese Verarbeitung wird für Kennsatzmatrizen wiederholt, die in absteigender Reihenfolge der Ähnlichkeiten ausgegeben werden, um die Bildkennungsgruppe ähnlicher Bilder zu erhalten. Bei Schritt S26 wird der ganze Pfaddateiname für jede Bildkennung der Bildkennungsgruppe unter Bezugnahme auf das Bildverwaltungsdatenbank 18a ermittelt, und dem Anwender zugeführt.
Wenn, wie oben beschrieben, Datenverarbeitungsabgleich in horizontaler und in vertikaler Richtung ausgeführt wird, das heißt, zweidimensional, kann die Wiederauffindung selbst dann durchgeführt werden, wenn sich der Bildwinkel in horizontaler, in vertikaler oder in schräger Richtung ändert, oder sich das Objekt bewegt. Zusätzlich kann ein komprimiertes Bild oder ein Makrobild wiederaufgefunden werden, aufgrund der Zeitserienausdehnungs- beziehungsweise den Zeitserienzusammenziehungseigenschaften des Datenverarbeitungsabgleichs.
Beim zweiten Ausführungsbeispiel wird eine ähnliche Zeilenmatrix unter Verwendung von Kennsatzzeichenfolgen, die Blockbereichen in der horizontalen Richtung entsprechen, erhalten. Nach dem gleichen Verfahren jedoch, wie oben beschrieben, kann eine ähnliche Zeilenmatrix unter Verwendung von Kennsatzzeichenfolgen, die Blockbreichen in der vertikalen Richtung entsprechen, erhalten werden.
Wie oben beschrieben, wird, nach dem zweiten Ausführungsbeispiel, die Merkmalbetragsgruppe (Gruppe des Merkmalsbetrags, der durch Unterteilen des Merkmalsbetragsraums erhalten wurde) durch ein Symbol dargestellt (das heißt, ein Kennsatz wird erzeugt), und der Abstand auf der Grundlage der Ähnlichkeit zwischen Kennsätzen wird auf der Grundlage des oben beschriebenen, zweidimensionalen Datenverarbeitungsabgleichs und der Abstandsmatrix vorgegeben. Mit dieser Anordnung kann der Aufwand der Berechnung des Abstands zwischen zwei Bildblöcken weitgehend verringert werden. Hinzu kommt, da Ähnlichkeitsmerkmalsbeträge durch einen Kennsatz dargestellt werden, läßt sich Wiederauffindung ähnlicher Bilder zufriedenstellend ausführen.
Wird erstens das Konzept des Abstands zwischen Kennsätzen auf der Grundlage der Abstandsmatrix eingeführt, und wird zweitens zweidimensionaler Datenverarbeitungsabgleich, der mehrdeutige Bewegung der Stellungen der zu vergleichenden Kennsätze zuläßt, um Kennsatzzeichenfolgevergleich in der Weise zu realisieren, daß der Gesamtabstand minimiert wird (Ähnlichkeit wird maximiert), eingeführt, kann Wiederauffindung ähnlicher Bilder ausgeführt werden, selbst wenn sich der Bildwinkel geringfügig ändert, wodurch Bilder mit ähnlicher Umgebung wiederaufgefunden werden können.
Darüber hinaus kann, gemäß diesem Ausführungsbeispiel, die Geschwindigkeit der Wiederauffindung durch Verwendung einer Indexdatenbank (Kennsatzsystemindex oder Kennsatzbestandteilindex) weiter erhöht werden.
Wie oben beschrieben, kann, gemäß jeder der obigen Ausführungsbeispiele, Wiederauffindung ähnlicher Bilder mit hoher Geschwindigkeit unter Berücksichtigung der Anordnung des Merkmalsbetrags der Bilder ausgeführt werden. Gleichzeitig kann Wiederauffindung ähnlicher Bilder während des Absorbierens von Unterschieden aufgrund Veränderungen bei der photographischen Bedingung ausgeführt werden. Einige Differenzen im Merkmalsbetrag zwischen Bildern aufgrund einer Änderung im Bildwinkel, der Stellung des Objekts oder photographischer Bedingung können, gegenüber dem Stand der Technik, absorbiert werden, wodurch widerstandsfähige. Wiederauffindung ähnlicher Bilder ausgeführt werden kann.
Wie oben beschrieben, kann, gemäß der vorliegenden Erfindung, sehr schnelle Wiederauffindung ähnlicher Bilder unter Berücksichtigung der Anordnung von Merkmalsbeträgen der Bilder ausgeführt werden. Hinzu kommt gemäß der vorliegenden Erfindung, daß Wiederauffindung ähnlicher Bilder während erfolgreichen Absorbierens einer Änderung beim Bild aufgrund einer Veränderung der photographischen Bedingung, wie beispielsweise ein photographischer Winkel oder photographische Vergrößerung, ausgeführt werden kann.
Bei jedem der obigen Ausführungsbeispiele wurde natürliche Bildwiederauffindung beschrieben. Es ist jedoch für eine erfahrene Person klar, daß die vorliegenden Erfindung zur Wiederauffindung von künstlichen Bildern von CG (Computergraphiken) oder CAD (Computer Aided Design, computergestützter Entwurf) eingesetzt werden kann.
Bei jedem der obigen Ausführungsbeispiele wird die Farbinformation als ein Bildmerkmalsbetrag ausgewählt. Die vorliegenden Erfindung ist jedoch nicht hierauf beschränkt, und sie kann durch Empfangen anderer Bildparameter in Einheiten von bildunterteilten Blöcken ausgeübt werden.
Bei jedem der obigen Ausführungsbeispiele wird Erkennung auf der Grundlage eines Merkmalsbetrags durchgeführt. Jedoch kann sehr schnelle Wiederauffindung auf der Grundlage einer Vielzahl von Merkmalsbeträgen ebenfalls mit Hilfe Boolescher Operationen der Wiederauffindungsergebnisse auf der Grundlage verschiedener Merkmalsbeträge ausgeführt werden.
Durch Entwurf des Grades der Mehrdeutigkeit zur Änderung der Breite des sogenannten Abgleichfensters bei Datenverarbeitungsabgleich kann ein bestimmter Grad von Mehrdeutigkeit zur Wiederauffindung eingestellt werden.
Fig. 24 erklärt die Einstellung der Breite des Abgleichfensters des Datenverarbeitungsabgleichs. Wie aus Fig. 24 entnommen werden kann, definieren die Linien A und B die Breite des Abgleichfensters. Die Linie A wird durch die Gleichung i = j + r definiert, und die Linie B wird durch die Gleichung i = j - r definiert. Die Breite des Abgleichfensters kann durch den Wert r bestimmt werden. Daher kann eine bestimmte Breite des Abgleichfensters eingestellt werden, indem der Wert r über die Tastatur 104 vorgegeben wird. Es sei angemerkt, daß sich der Wert r für die Linie A und sich der Wert r für die Linie B unterscheiden kann.
Darüber hinaus, gemäß den obigen Ausführungsbeispielen, werden der Kennsatzbestandteilindex und der Kennsatzbestandteilindex verwendet. Jedoch ist es klar, daß die Wiederauffindung ähnlicher Bilder erreicht werden kann, ohne derartige Indizes zu verwenden.
Soll Wiederauffindung für ein Bild unter Verwendung einer Vielzahl von Bildmerkmalsbeträgen ausgeführt werden, kann die erhaltene Ähnlichkeit bei der vorliegenden Erfindung als ein neuer Merkmalsbetrag angesehen werden, und Wiederauffindung bei Verwendung statistischer Entfernung kann durch multidimensionale Analyse bei Verwendung einer Vielzahl von Parametern ausgeführt werden. Bei jedem der obigen Ausführungsbeispiele wird ein ähnliches Bild, das ein Ähnlichkeit hat, die größer als ein vorbestimmter Wert ist, als ein Wiederauffindungsergebnis erhalten. Eine vorbestimmte Anzahl von Bildern jedoch kann selbstverständlich sequentiell von einem Bild mit großer Ähnlichkeit als Wiederauffindungsergebnis ausgegeben werden.
Die vorliegenden Erfindung kann auf ein System, das aus einer Vielzahl von Bauteilen besteht, beispielsweise einem Hauptrechner, einem Schnittstellenbauteil, einem Lesegerät, einem Drucker oder einem Gerät, das ein Einzelgerät ist (beispielsweise ein Kopierer oder ein Faxgerät), angewendet werden.
Die Aufgabe der vorliegenden Erfindung wird realisiert, selbst durch Bereitstellen eines Speichemediums, das Softwareprogrammcodes speichert, um die Funktionen der oben beschriebenen Ausführungsbeispiele auf einem System oder einem Gerät zu realisieren, und zu bewirken, daß ein Computer (oder eine Zentraleinheit oder ein Multiprozessor) des Systems oder des Geräts ausliest und die im Speichermedium abgespeicherten Programmcodes ausführt.
In diesem Fall verwirklichen die vom Speichermedium ausgelesenen Programmcodes die Funktionen der oben beschriebenen Ausführungsbeispiele, und das Speichermedium, das die Programmcodes speichert, begründen die vorliegenden Erfindung.
Als Speichermedium zur Ausführung der Programmcodes kann eine Diskette, eine Festplatte, ein optische Platte, eine magnetooptische Platte, ein CD-ROM, eine Bildplatte, ein Magnetband, eine nichtflüchtige Speicherkarte, oder ein ROM verwendet werden.
Die Funktionen der oben beschriebenen Ausführungsbeispiele werden nicht nur verwirklicht, wenn das Auslesen der Programmcodes durch den Computer ausgeführt wird, sondern auch, wenn das auf dem Computer befindliche Betriebssystem Teile oder sämtliche aktuellen Verarbeitungen auf der Grundlage der Befehle der Programmcodes ausführt.
Die Funktionen der oben beschriebenen Ausführungsbeispiele werden auch verwirklicht, wenn die vom Speichermedium ausgelesenen Programmcodes in den Speicher der Funktionserweiterungsplatine, die in den Computer eingesetzt wird, oder in eine mit dem Computer verbundene Funktionserweiterungseinheit eingeschrieben wird, und die Zentraleinheit der Funktionserweiterungsplatine oder der Funktionserweiterungseinheit führt einen Teil oder sämtliche anstehenden Verarbeitungen auf der Grundlage der Befehle des Programmcodes aus.
Da eine Vielzahl scheinbar sehr unterschiedlicher Ausführungsbeispiele der vorliegenden Erfindung ausgeführt werden kann, ohne den Schutzumfang zu verlassen, versteht es sich, daß die Erfindung nicht auf die hier behandelten, spezifischen Ausführungsbeispiele beschränkt ist, außer wie in den angefügten Ansprüchen festgelegt.

Claims

1. Bildwiederauffindvorrichtung, mit:

einem Hinzufügemittel (14, S11-S13) zum Segmentieren eines Bildes in eine Vielzahl von Blöcken und zum Hinzufügen eines Kennzeichens für einen gemäß einem jeden Block ermittelten Merkmalsumfang; gekennzeichnet durch

ein Erzeugungsmittel (15a, S14a) zum Anordnen von Kennzeichen, die das Hinzufügemittel auf der Grundlage einer vorbestimmten Blocksequenz hinzugefügt hat, um eine Kennzeichenkette zu bilden, wobei die Kennzeichenkette eine zweidimensionale Kennzeichenmatrix bildet;

ein Speichermittel (18a), das die vom Erzeugungsmittel gemäß dem Bild erzeugte Kennzeichenkette speichert; und durch

ein Wiederauffindmittel (16a, Fig. 22-23) zum Ausführen des Bildwiederauffindens auf der Grundlage der im Speichermittel gespeicherten Kennzeichenkette,

wobei das Wiederauffindmittel eingerichtet ist, eine ungefähre Gleichheit zwischen der Kennzeichenkette eines spezifizierten Bildes und der Kennzeichenkette eines zu vergleichenden Bildes basierend auf einer durch Vergleichen beider Kennzeichenketten in Einheiten von Zeilen gewonnenen Zeilenanordnung zu errechnen, wobei die Zeilenanordnung aufzeigt, welche Zeile des zu vergleichenden Bildes den Zeilen des spezifizierten Bildes ungefähr gleich ist.

2. Vorrichtung nach Anspruch 1, bei der jedes Kennzeichen einzig für jede durch Segmentieren eines mehrdimensionalen Merkmalumfangsraumes in eine Vielzahl von Zellen gewonnenen Zelle ist, und bei der das Hinzufügemittel eingerichtet ist, den Merkmalsumfang eines jeden Blockes zu errechnen und ein Merkmal einer Zelle hinzuzufügen, zu der der errechnete Merkmalsumfang zum Block gehört.

3. Gerät nach Anspruch 1 oder 2, dessen Wiederauffindmittel ausgestattet ist mit:

einem ersten Anpaßmittel (S101-S112) zum Vergleichen einer aus der Kennzeichenmatrix des spezifizierten Bildes in Einheiten von Zeilen ausgelesenen Kennzeichenkette mit einer aus der Kennzeichenmatrix eines zu vergleichenden Bildes in Einheiten von Zeilen durch DP-Anpassung ausgelesenen Kennzeichenkette, um eine Zeilenanordnung zu gewinnen, die aufzeigt, welche Zeile des zu vergleichenden Bildes mit jeder Zeile des spezifizierten Bildes ungefähr gleich ist; und

einem zweiten Anpaßmittel (S113) zum Erzielen durch DP- Anpassung einer ungefähren Gleichheit zwischen einer Zeilenanordnung des zu vergleichenden Bildes und der durch das erste Anpaßmittel gewonnenen Zeilenanordnung.

4. Vorrichtung nach Anspruch 3, bei der die in Einheiten von Zeilen ausgelesene Kennzeichenkette eine sich in horizontaler Richtung des Bildes erstreckende Anordnung aufweist.

5. Vorrichtung nach Anspruch 3, bei der die in Einheiten von Zeilen ausgelesene Kennzeichenkette eine sich in vertikaler Richtung des Bildes erstreckende Anordnung aufweist.

6. Vorrichtung nach einem der Ansprüche 3, 4 oder 5, gekennzeichnet durch:

ein Ausgabemittel (S24a, S25a) zur Ausgabe eines Bildes als Wiederauffindergebnis, dessen durch das zweite Anpaßmittel gewonnene ungefähre Gleichheit einen vorbestimmten Wert überschreitet.

7. Vorrichtung nach einem der Ansprüche 3 bis 6, dessen erstes Anpaßmittel eine Tabelle besitzt, die einen Abzugswert für ein Kennzeichenpaar hält, und sich auf eine Tabelle beim Errechnen des Abstands zwischen der Kennzeichenkette des spezifizierten Wiederauffindbildes und der Kennzeichenkette des unter Verwendung der DP-Anpassung zu vergleichenden Bildes bezieht.

8. Vorrichtung nach Anspruch 7, bei der der Abzugswert eingestellt wird auf der Grundlage des Abstands zwischen wie durch zwei Kennzeichen dargestellten Zellen.

9. Vorrichtung nach einem der Ansprüche 3 bis 8, dessen zweites Anpaßmittel eine Tabelle besitzt, die einen Abzugswert für ein Paar Zeilenzahlen der Zeilenanordnung hält und sich auf die Tabelle beim Errechnen der ungefähren Gleichheit zwischen der Zeilenanordnung vom spezifizierten Wiederauffindbild und der Zeilenanordnung des unter Verwendung der DP-Anpassung zu vergleichenden Bildes bezieht.

10. Vorrichtung nach einem der Ansprüche 3 bis 9, gekennzeichnet durch

ein Haltemittel (S121-S132) zum Bestimmen eines zu einem Paar von Zeilen gehörenden Abzugswertes auf der Grundlage der ungefähren Gleichheit zwischen Kennzeichenketten in einer Zeilenrichtung des spezifizierten Wiederauffindbildes und Halten des Abzugswertes, und dadurch, daß

das zweite Anpaßmittel eingerichtet ist, sich bei der Errechnung der ungefähren Gleichheit zwischen der Zeilenanordnung des spezifizierten Wiederauffindbildes und der Zeilenanordnung des unter Verwendung der DP-Anpassung zu vergleichenden Bildes auf den Abzugswert zu beziehen, den das Haltemittel hält.

11. Vorrichtung nach Anspruch 7, bei der das erste Anpaßmittel einen Abzug und eine Randbedingung gemäß einer Systemexpansion/-kontraktion beim Kennzeichenvergleich beim Errechnen der ungefähren Gleichheit zwischen der Kennzeichenkette des spezifizierten Wiederauffindbildes und der im Speichermittel gespeicherten Kennzeichenkette anlegt.

12. Vorrichtung nach Anspruch 11, die den Abzug und die Randbedingung gemäß der Systemexpansion/-kontraktion beim Kennzeichenvergleich auf der Grundlage einer DP-Anpaßtheorie ermittelt.

13. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, daß des weiteren vorgesehen sind

eine erste Tabelle zum Registrieren einer Bild-ID-Gruppe mit vom Erzeugungsmittel als Schlüssel erzeugten Kennzeichenketten, und dadurch, daß

das Ausgabemittel eingerichtet ist, eine Kennzeichenkette zu ermitteln, deren ungefähre Gleichheit, errechnet vom Wiederauffindmittel, einen vorbestimmten Wert übersteigt, um ein Bild gemäß der ermittelten Kennzeichenketten unter Bezug auf die erste Tabelle auszulesen und das Bild als ein Wiederauffindergebnis abzugeben.

14. Vorrichtung nach Anspruch 13, bei der die einer ungefähre Gleichheitsrechnung vom Wiederauffindmittel unterzogene Kennzeichenmatrix ein Schlüssel in der ersten Tabelle ist.

15. Vorrichtung nach Anspruch 13, bei der die einer ungefähren Gleichheitsrechnung vom Wiederauffindmittel unterzogene Kennzeichenmatrix eine der im Speichermittel gespeicherten Kennzeichenmatrizen ist, die eine vorbestimmte Anzahl oder mehr Kennzeichen enthält, die jenen der Kennzeichenmatrix des spezifizierten Wiederauffindbildes ungefähr gleich sind.

16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daß des weiteren vorgesehen sind

eine zweite Tabelle zum Ermitteln einer Kennzeichenmatrixgruppe von im Speichermittel gespeicherten Kennzeichenmatrizen, die Kennzeichen als Schlüssel enthalten, und dadurch, daß

eine Kennzeichenmatrix mit einer vorbestimmten Anzahl oder mehr Kennzeichen, die jenen ungefähr gleich sind, die im spezifizierten Bild enthalten sind, unter Bezug auf die zweite Tabelle ermittelt sind und der Errechnung vom zweiten Rechenmittel auf ungefähre Gleichheit unterzogen sind.

17. Vorrichtung nach Anspruch 1, dessen Wiederauffindmittel ein DP-Anpaßverfahren anwendet und des weiteren ausgestattet ist mit:

einem Einstellmittel zum Einstellen der Breite eines Anpaßfensters der DP-Anpassung, die das Wiederauffindmittel ausführt, und

einem Steuermittel zum Steuern einer Mehrdeutigkeit des Wiederauffindmittels durch Ändern der Breite des Anpaßfensters auf der Grundlage der vom Einstellmittel eingestellten Breite.

18. Bildwiederauffindverfahren, mit den Verfahrensschritten:

Segmentieren eines Bildes in eine Vielzahl von Blöcken und Hinzufügen eines Kennzeichens zu einem gemäß einem jeden Block ermittelten Merkmalsumfang;

Anordnen von vom Hinzufügemittel hinzugefügten Kennzeichen auf der Grundlage einer vorbestimmten Blocksequenz, um eine Kennzeichenkette zu erzeugen, wobei die Kennzeichenkette eine zweidimensionale Kennzeichenmatrix darstellt;

Speichern der vom Erzeugungsmittel gemäß dem Bild erzeugten Kennzeichenkette; und

Ausführen eines Bildauffindens auf der Grundlage der im Speichermittel gespeicherten Kennzeichenkette,

wobei der Verfahrensschritt des Wiederauffindens eine ungefähre Gleichheit zwischen der Kennzeichenkette eines spezifizierten Bildes und der Kennzeichenkette eines auf der Grundlage einer Zeilenanordnung zu vergleichenden Bildes errechnet, wobei die Zeilenanordnung aufzeigt, welche Zeilen des zu vergleichenden Bildes den Zeilen des spezifizierten Bildes ungefähr gleich sind.

19. Verfahren nach Anspruch 18, bei dem jedes Kennzeichen einer jeden Zelle einzig ist, die gewonnen ist durch Segmentieren eines mehrdimensionalen Merkmalsumfangraumes in eine Vielzahl von Zellen, und wobei

der Segmentierungsschritt den Merkmalsumfang eines jeden Blockes errechnet und ein Merkmal einer Zelle hinzufügt, bei der das errechnete Merkmal zum Block gehört.

20. Verfahren nach Anspruch 18 oder 19, zu dessen Wiederauffindschritt gehört:

ein erster Anpaßschritt des Vergleichens einer aus der Kennzeichenmatrix des spezifizierten Bildes in Einheiten von Zeilen ausgelesenen Kennzeichenkette mit einer aus der Kennzeichenmatrix eines zu vergleichenden Bildes in Einheiten von Zeilen durch DP-Anpassung ausgelesenen Kennzeichenkette, um eine Zeilenanordnung zu erzielen, die aufzeigt, mit welcher Zeile des zu vergleichenden Bildes eine jede Zeile des spezifizierten Bildes ungefähr gleich ist; und

ein zweiter Anpaßschritt zum Erzielen durch DP-Anpassung einer ungefähren Gleichheit zwischen einer Zeilenanordnung des zu vergleichenden Bildes mit der im ersten Anpaßschritt erzielten Zeilenanordnung.

21. Verfahren nach Anspruch 20, bei dem die in Einheiten von Zeilen ausgelesene Kennzeichenkette eine Anordnung in Horizontalrichtung des Bildes hat.

22. Verfahren nach Anspruch 20, bei dem die in Einheiten von Zeilen ausgelesene Kennzeichenkette eine Anordnung in Vertikalrichtung des Bildes hat.

23. Verfahren nach einem der Ansprüche 20, 21 oder 22, gekennzeichnet durch den weiteren Verfahrens schritt:

Ausgeben als ein Wiederauffindergebnis eines Bildes, dessen im zweiten Anpaßschritt gewonnene ungefähre Gleichheit einen vorbestimmten Wert überschreitet.

24. Verfahren nach einem der Ansprüche 20 bis 23, bei dem der erste Anpaßschritt eine Tabelle verwendet, die einen Abzugswert für ein Kennzeichenpaar hält und sich auf eine Tabelle beim Errechnen des Abstands zwischen der Kennzeichenkette des spezifizierten Wiederauffindbildes und der Zeichenkette des unter Verwendung der DP-Anpassung zu vergleichenden Bildes bezieht.

25. Verfahren nach Anspruch 24, das den Abzugswert auf der Grundlage des Abstands zwischen Zellen einstellt, wie durch zwei Kennzeichen dargestellt.

26. Verfahren nach einem der Ansprüche 19 bis 25, bei dem der zweite Anpaßschritt eine Tabelle verwendet, die einen Abzugswert für ein Paar Zeilennummern der Zeilenanordnung hält und sich auf eine Tabelle beim Errechnen der ungefähren Gleichheit zwischen der Zeilenanordnung des spezifizierten Wiederauffindbildes und der Zeilenanordnung des unter Verwendung der DP-Anpassung zu vergleichenden Bildes bezieht.

27. Verfahren nach einem der Ansprüche 20 bis 24, gekennzeichnet durch die weiteren Verfahrensschritte

Bestimmen und Halten eines Abzugswertes, zugehörig zu einem Paar Zeilen auf der Grundlage der ungefähren Gleichheit zwischen Kennzeichenketten in einer Zeilenrichtung des spezifizierten Wiederauffindbildes und Halten des Abzugswertes, und dadurch, daß

der zweite Anpaßschritt sich auf das Halten des Abzugswertes beim Errechnen der ungefähren Gleichheit zwischen der Zeilenanordnung des spezifizierten Wiederauffindbildes und der Zeilenanordnung des unter Verwendung der DP-Anpassung zu vergleichenden Bildes bezieht.

28. Verfahren nach Anspruch 24, bei dem der erste Anpaßschritt einen Abzug und eine Randbedingung gemäß der Systemexpansion/-kontraktion im Kennzeichenvergleich beim Errechnen der ungefähren Gleichheit zwischen der Kennzeichenkette des spezifizierten Wiederauffindbildes und der im Speicherschritt gespeicherten Kennzeichenkette anlegt.

29. Verfahren nach Anspruch 28, das den Abzug und die Randbedingung gemäß der Systemexpansion/-kontraktion beim Kennzeichenvergleich auf der Grundlage einer DP-Anpaßtheorie ermittelt.

30. Verfahren nach Anspruch 28, mit

einer ersten Tabelle zum Ermitteln einer Bild-ID-Gruppe mit im Erzeugungsschritt als Schlüssel erzeugten Kennzeichenketten,

wobei der Ausgabeschritt, der die Kennzeichenkette ermittelt, deren ungefähre Gleichheit der Wiederauffindschritt errechnet, einen vorbestimmten Wert überschreitet, ein Bild gemäß der ermittelten Kennzeichenkette unter Bezug auf die erste Tabelle ausliest und das Bild als Wiederauffindergebnis abgibt.

31. Verfahren nach Anspruch 30, bei dem die im Wiederauffindschritt einer Errechnung ungefährer Gleichheit unterzogene Kennzeichenmatrix ein Schlüssel in der ersten Tabelle ist.

32. Verfahren nach Anspruch 30, bei dem die der ungefähren Gleichheitsrechnung im Wiederauffindschritt unterzogene Kennzeichenmatrix eine einer Vielzahl von im Speicherschritt gespeicherten Kennzeichenmatrizen ist, die wenigstens eine vorbestimmte Anzahl von Kennzeichen enthalten, die jenen in der Kennzeichenmatrix des spezifizierten Wiederauffindbildes ungefähr gleich sind.

33. Verfahren nach Anspruch 32, gekennzeichnet durch weiteres Verwenden

einer zweiten Tabelle zum Registrieren einer Kennzeichenmatrixgruppe gespeicherter Kennzeichenmatrizen, die Kennzeichen als Schlüssel enthalten, und dadurch, daß

eine Kennzeichenmatrix, die wenigstens eine vorbestimmte Anzahl von Kennzeichen enthält, die jenen im spezifizierten Bild enthaltenen Kennzeichen ungefähr gleich sind, unter Bezug auf die zweite Tabelle ermittelt ist und die der ungefähren Gleichheitsrechnung unterzogen sind.

34. Verfahren nach Anspruch 18, bei dem der Wiederauffindschritt ein DP-Anpaßverfahren anwendet und die weiteren Verfahrensschritte umfaßt:

Einstellen der Breite eines Anpaßfensters der im Wiederauffindschritt ausgeführten DP-Anpassung, und

Steuern der Zweideutigkeit des Wiederauffindschritts durch Ändern der Breite vom Anpaßfenster auf der Grundlage der vom Einstellmittel eingestellten Breite.

35. Speichermedium, das prozessorausführbare Befehle zum Steuern eines Prozessors speichert, um das Verfahren nach einem der Ansprüche 18 bis 34 zu realisieren.

36. Elektrisches Signal, das prozessorausführbare Befehle zum Steuern eines Prozessors trägt, um das Verfahren nach einem der Ansprüche 18 bis 34 zu realisieren.