DE69433373T2

DE69433373T2 - Methode und Gerät zum Bildsuchen

Info

Publication number: DE69433373T2
Application number: DE69433373T
Authority: DE
Inventors: Kazuko Ohta-ku Tsujimura; Yuichi Ohta-ku Bannai
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-09-02
Filing date: 1994-09-01
Publication date: 2004-10-14
Anticipated expiration: 2014-09-02
Also published as: US5586197A; EP0643358B1; JP3234064B2; DE69433373D1; EP0643358A2; JPH0773195A; EP0643358A3

Description

Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsverfahren und eine Bildverarbeitungsvorrichtung und insbesondere auf ein Verfahren zum Suchen nach einem Bild aus einer Bilddatenbank und die zum Verwenden des Verfahrens geeignete Vorrichtung.
Als ein Verfahren von bekannten Verfahren zum Suchen nach einem notwendigen Bild aus einer Bilddatenbank ist ein Verfahren dahingehend vorhanden, daß eine Bedienungsperson ein Beispiel für das gewünschte Bild ausbildet und die Suche unter Bezugnahme auf Farbinformationen des Bilds ausgeführt wird. Die Farbinformationen werden aus dem gewünschten Bild extrahiert, indem ein Farbwahrnehmungsraum verwendet wird, der aus drei Elementen besteht, d. h. Farbton, Farbsättigung und Helligkeit (die nachstehend zusammen als "die drei Eigenschaften von Farben" bezeichnet sind). Daraufhin wird eine Ähnlichkeit zwischen den extrahierten Farbinformationen des gewünschten Bilds und unter Verwendung des gleichen Farbwahrnehmungsraums aus einem in der Bilddatenbank gespeicherten Bild extrahierten Farbinformationen untersucht. Dadurch wird die Reihenfolge von in Frage kommenden Bildern bzw. Bildkandidaten, die gleich dem oder die ähnlich dem durch die Bedienungsperson ausgebildeten gewünschten Bild sein können, auf der Grundlage der Ähnlichkeit bestimmt. Der Bildkandidat, der eine höhere Ähnlichkeit aufweist, ähnelt dem gewünschten Bild wahrscheinlicher. Daraufhin werden die Bilder in der Reihenfolge der Ähnlichkeit angezeigt.
Bezüglich Farbdaten unterscheidet sich jeder Faktor der drei Eigenschaften von Farbe gemäß Werten der drei Eigenschaften der Farbe. Beispielsweise ist bei einer Farbe, die eine niedrige Farbsättigung nahe an Schwarz oder Weiß und eine niedrige Helligkeit aufweist, ein Beitragsfaktor des Farbtons, bei dem es sich um eine Eigenschaft zum Unterscheiden des Unterschieds von Farbe wie beispielsweise Rot, Blau und Gelb handelt, ebenfalls niedrig. Falls der Grad der Ähnlichkeit trotz der vorstehend angeführten Tatsache, daß die Beitragsfaktoren sich tatsächlich unterscheiden, unter der Annahme berechnet wird, daß die Beitragsfaktoren der Eigenschaften für alle Farben gleich sind, wird die Suchqualität niedriger, da niedrige Beitragswerte in der Berechnung der Ähnlichkeit enthalten sind.
Es ist aus der EP-A-0558054 bekannt, eine Bildwiedergewinnung auf der Grundlage einer Farbklassifizierung bereitzustellen, bei der Bilder in einer Datenbank zu der Zeit des Eintrags in die Datenbank durch die Anzahl von Bildelementen mit jedem Farbbereich eines Satzes von Farbbereichen in einem Farbraum entsprechenden Farben gekennzeichnet werden. Eine Suche basiert auf spezifischen durch einen Benutzer ausgewählten Farben und Anteilen davon.
Es ist ebenfalls aus der JP-A-05158999 bekannt, Bilder in einer Datenbank zusammen mit einem Wiedergewinnungscode auf der Grundlage von Farbinhalt zu speichern und Bilder unter Verwendung eines ein Farbmuster darstellenden Codes aus der Datenbank wiederzugewinnen.
Es besteht ein Bedarf an der Bereitstellung eines Bildverarbeitungsverfahrens und einer Bildverarbeitungsvorrichtung, die die Qualität der Suche mit Bezug auf Farbinformationen bei der Suche eines Bilds aus der Bilddatenbank erhöhen und es einer Bedienungsperson erleichtern, nach dem gewünschten Bild zu suchen.
Ausgestaltungen der vorliegenden Erfindung sind in den beigefügten Patentansprüchen definiert.
Gemäß der vorliegenden Erfindung wird ferner eine Bildsuchvorrichtung zum Wiedergewinnen eines gewünschten Bilds aus einer Datenbank mit Farbinformationen von gespeicherten Bildern offenbart, mit:
einer Eingabeeinrichtung, die zum Eingeben von Informationen über das wiederzugewinnende Bild mit Farbinformationen einschließlich einer Vielzahl von Farbkomponenten in einem Wahrnehmungsfarbraum betreibbar ist;
einer Erzeugungseinrichtung, die zum Erzeugen eines Musterbilds unter Verwendung der über die Eingabeeinrichtung eingegebenen Farbinformationen betreibbar ist;
einer Ähnlichkeitsberechnungseinrichtung, die zum Berechnen einer jeweiligen Ähnlichkeit zwischen dem Musterbild und jedem in der Datenbank gespeicherten Bild auf der Grundlage einer Berechnung der Ähnlichkeit zwischen den Farbinformationen des Musterbilds und den Farbinformationen jedes in der Datenbank gespeicherten Bilds betreibbar ist;
gekennzeichnet durch:
eine Beitragsfaktorberechnungseinrichtung, die zum Berechnen eines jeweiligen Beitragsfaktors für jede der Vielzahl von Farbkomponenten auf der Grundlage von Werten der Vielzahl von Farbkomponenten des Musterbilds betreibbar ist;
eine Beitragsanteilsberechnungseinrichtung, die zum Berechnen eines jeweiligen Beitragsanteils jeder der Vielzahl von Farbkomponenten durch ein Normalisieren der berechneten Beitragsfaktoren betreibbar ist; und
wobei die Ähnlichkeitsberechnungseinrichtung dazu betreibbar ist, die Ähnlichkeit zwischen dem Musterbild und jedem in der Datenbank gespeicherten Bild unter Berücksichtigung der entsprechenden Beitragsanteile derart zu berechnen, daß der Anteil, mit dem jede Farbkomponente des Wahrnehmungsfarbraums zu der Ähnlichkeitsberechnung beiträgt, von den Werten der Farbkomponenten bei dem Musterbild abhängt.
Andere Merkmale und Vorteile der vorliegenden Erfindung sind aus der in Verbindung mit den beigefügten Zeichnungen, in denen gleiche Bezugszeichen überall in den Figuren davon die gleichen Teile oder ähnliche Teile bezeichnen, genommenen folgenden Beschreibung ersichtlich.
Die beigefügten Zeichnungen, die in die Patentbeschreibung integriert sind und einen Teil davon bilden, veranschaulichen Ausführungsbeispiele der Erfindung und dienen zusammen mit der Beschreibung zum lediglich beispielhaften Erläutern der Prinzipien der Erfindung.
1 zeigt ein Blockschaltbild, das ein Blockschaltbild einer Bildsuchvorrichtung bei einem ersten und zweiten Ausführungsbeispiel darstellt;
2 zeigt ein Flußdiagramm einer Suchverarbeitungsfolge;
3 zeigt ein Flußdiagramm, das eine Prozedur des Ausbildens eines Musterbilds darstellt;
4 veranschaulicht eine Struktur einer Anzeige zum Bezeichnen von Farben bei dem Ausbilden des Musterbilds;
5 zeigt ein Flußdiagramm, das einen Prozeß zum Bestimmen einer Ähnlichkeit darstellt;
6 zeigt ein Flußdiagramm, das einen Prozeß zum Berechnen jedes Beitragsfaktors der drei Eigenschaften von Farbdaten darstellt;
7 veranschaulicht eine Form einer Mitgliedschaftsfunktion der Helligkeit;
8 veranschaulicht eine Form einer Mitgliedschaftsfunktion der Farbsättigung;
9 zeigt ein Flußdiagramm, das einen Prozeß zum Berechnen des Beitragsfaktors unter Verwendung der Mitgliedschaftsfunktionen darstellt; und
10 zeigt ein Flußdiagramm, das einen weiteren Prozeß zum Berechnen des Beitragsfaktors unter Verwendung der Mitgliedschaftsfunktionen darstellt.
Ausführungsbeispiele der Erfindung sind gemäß den beigefügten Zeichnungen ausführlich beschrieben.
Erstes Ausführungsbeispiel
Bei dem ersten Ausführungsbeispiel wird beispielsweise ein HSV-Farbraum (H steht für Farbton, S steht für Farbsättigung, und V steht für Helligkeit) als ein Farbwahrnehmungsraum zum Angeben von Farbdaten durch Farbton, Farbsättigung und Helligkeit verwendet. In 1 bezeichnet ein Bezugszeichen 10 eine Eingabeeinheit für gespeicherte Bilddaten zum Eingeben von in einer Datenbank zu speichernden Bilddaten, 20 bezeichnet eine Bildspeichereinheit zum Speichern der bei der Eingabeeinheit für gespeicherte Bilddaten 10 eingegebenen Bilddaten, und 30 bezeichnet eine Musterbildeingabeeinheit zum Eingeben eines durch eine Bedienungsperson zum Erhalten des gewünschten Bilds ausgebildeten Musterbilds, wobei die Musterbildeingabeeinheit 30 eine Zeigeeingabevorrichtung 31 aufweist. Ferner extrahiert eine Bildfarbinformationsextraktionseinheit 40 unter Verwendung des HSV-Farbraums Farbinformationen aus den in der Bildspeichereinheit 20 gespeicherten Bilddaten, eine Musterfarbinformationsextraktionseinheit 50 extrahiert unter Verwendung des HSV-Farbraums Farbinformationen aus dem bei der Musterbildeingabeeinheit 30 eingegebenen Musterbild, und eine Beitragsfaktorenbestimmungseinheit 60 bestimmt Beitragsfaktoren von Farbton H, Farbsättigung S und Helligkeit V von Farbdaten in dem HSV-Farbraum. 70 ist eine Kandidatenbildbestimmungseinheit zum Bestimmen der gesuchten Kandidatenbilder durch ein Berechnen der Ähnlichkeit, 80 ist eine Steuereinheit zum Steuern der ganzen Vorrichtung bei diesem Ausführungsbeispiel, und 90 ist eine Anzeigeeinheit zum Anzeigen der gesuchten Kandidatenbilder.
2 zeigt ein Flußdiagramm, das einen durch die Vorrichtung in 1 ausgeführten Bildsuchprozeß darstellt. Ein Bildsuchprozeß ist nachstehend unter Bezugnahme auf 2 erläutert.
In einem Schritt S1 wird ein Musterbild eines gewünschten Bilds durch die Bedienungsperson bei der Musterbildeingabeeinheit 30 ausgebildet und eingegeben, und das Musterbild wird zu der Steuereinheit 80 übertragen. Der Prozeß des Ausbildens des Musterbilds ist später unter Bezugnahme auf das Flußdiagramm in 3 und die Veranschaulichung der Anzeige in 4 ausführlich erläutert.
In einem Schritt S2 extrahiert die Musterfarbinformationsextraktionseinheit 50 die Farbinformationen, d. h. die Werte der drei Eigenschaften in dem HSV-Farbraum, H1, S1 und V1, aus dem eingegebenen Musterbild.
In einem Schritt S3 findet die Bildfarbinformationsextraktionseinheit 40 einen häufigsten Farbwert in Bildelementeinheiten (der "häufigste Wert" ist in diesem Fall ein Ausdruck in der Statistik) in einem bezeichneten Abschnitt jedes Bilds i (i = 1, 2, ... n: n ist eine gesamte Anzahl von gespeicherten Bildern), das in der Bildspeichereinheit 20 gespeichert ist, wobei der bezeichnete Abschnitt jedes Bilds i dem durch die Bedienungsperson bei dem Musterbild bezeichneten Abschnitt entspricht, und der häufigste Farbwert des Bildelements ist als ein repräsentativer Wert des Abschnitts definiert. Daraufhin wird jeder Wert von drei Eigenschaften in dem HSV-Farbraum, H2i, S2i und V2i, extrahiert.
Es ist zu beachten, daß bei dem vorstehend angeführten Ausführungsbeispiel der repräsentative Wert des bezeichneten Abschnitts durch einen häufigsten Farbwert definiert ist, er jedoch beispielsweise durch ein arithmetisches Mittel oder einen Mittelwert in der Statistik definiert sein kann.
In einem Schritt S4 wird die Ähnlichkeit zwischen dem Musterbild und den gespeicherten Bildern auf der Grundlage von zwei verschiedenen Sätzen der extrahierten Farbinformationen, d. h. (H1, S1, V1) und (H2i, S2i, V2i), und auch jedes in der Beitragsfaktorenbestimmungseinheit 60 bestimmten Beitragsfaktors berechnet. Dieser Prozeß ist später unter Bezugnahme auf 5 ausführlich erläutert.
In einem Schritt S5 werden die gespeicherten Bilder gemäß der Ähnlichkeit Ri (i = 1, 2, 3, n) in der Reihenfolge der Ähnlichkeit sortiert. Ein gespeichertes Bild, das die höhere Ähnlichkeit aufweist, wird als ein dem Musterbild ähnlicheres Bild als die anderen Bilder betrachtet. Es ist zu beachten, daß die Prozesse 4 und 5 bei der Kandidatenbildbestimmungseinheit 70 ausgeführt werden.
In einem Schritt 6 werden die sortierten Bilder in der Reihenfolge des Grads der Ähnlichkeit auf der Anzeigeeinheit 90 angezeigt.
Somit wird auf der Grundlage der Farbinformationen des durch die Bedienungsperson ausgebildeten Musterbilds in den gespeicherten Bildern nach dem gewünschten Bild gesucht, indem der vorstehend angeführten Prozedur gefolgt wird.
Als nächstes ist der Musterbildeingabeprozeß des Schritts S1 unter Bezugnahme auf das Flußdiagramm gemäß 3 erläutert. Die Bedienungsperson bildet das Musterbild in einem Fenster aus, das auf dem Bildschirm der Anzeigeeinheit 90 in der Bildverarbeitungsvorrichtung geöffnet ist, indem sie der in 3 gezeigten Prozedur folgt.
In einem Schritt S10 bezeichnet die Bedienungsperson mit der Zeigeeingabevorrichtung 31 einen Abschnitt, der ein Zielbild in dem gewünschten Bild darstellt.
In einem Schritt S11 wird eine Farbe in dem Abschnitt bezeichnet. Ein Beispiel für die Farbbezeichnung unter Verwendung des Bildschirms der Anzeigeeinheit 90 ist in 4 veranschaulicht. Ein Bezugszeichen 41 bezeichnet sechs Farbchips einschließlich der drei Primärfarben (Rot, Grün, Blau) und der Zwischenfarben der drei Primärfarben (Gelb, Zyan, Magenta), und 42 bezeichnet Schiebeleisten zum Einstellen jedes Werts des HSV. Die Bedienungsperson bezeichnet unter Verwendung der Zeigeeingabevorrichtung 31 eine Farbe, die der Farbe des Abschnitts am ähnlichsten ist. Daraufhin wird die angegebene Farbe als Standard betrachtet, und jeder Wert des HSV wird derart eingestellt, daß die Farbe der Farbe des Ziels in dem gewünschten Bild ähnlicher wird, indem die Schiebeleisten mit der Zeigeeingabevorrichtung 31 bewegt werden. Die eingestellte Farbe wird in einem Kasten 43 auf dem Bildschirm angezeigt, so daß die Bedienungsperson es sehen kann, welche Art der Farbe die Bedienungsperson bezeichnet hat. Nachdem die Einstellung beendet ist, wird die Farbbezeichnung abgeschlossen, indem eine Anzeige "Beenden" unter Verwendung der Zeigeeingabevorrichtung 31 angeklickt wird. Dadurch wird die Farbe des Abschnitts des Musterbilds bestimmt.
In einem Schritt S12 wird der in dem Schritt S10 ausgewählte Abschnitt mit der in dem Schritt S11 bestimmten Farbe gefüllt.
In einem Schritt S13 überprüft es die Bedienungsperson, ob ein Bedarf an einer Bezeichnung eines weiteren Abschnitts besteht oder nicht, und falls dem nicht so ist, wird der Prozeß des Ausbildens des Musterbilds abgeschlossen. Falls ein weiterer Abschnitt bezeichnet werden muß, kehrt der Prozeß ferner zu dem Schritt 10 zurück, und der gleiche vorstehend beschriebene Prozeß muß wiederholt werden.
Somit wird das Musterbild ausgebildet, indem die vorstehend angeführten Schritte ausgeführt werden.
Als nächstes ist der Prozeß zum Erhalten der jeweiligen Ähnlichkeit zwischen dem Musterbild und den gespeicherten Bildern des Schritts S4 unter Bezugnahme auf das Flußdiagramm in 5 ausführlich beschrieben. Es ist zu beachten, daß es angenommen wird, daß lediglich ein Abschnitt durch die Bedienungsperson bezeichnet wird. In diesem Prozeß werden die Ähnlichkeiten auf der Grundlage der Farbinformationen des Musterbilds (H1, S1, V1) und der Farbinformationen jedes gespeicherten Bilds (H2i, S2i, V2i, wobei i = 1, 2, 3, , n: n ist eine gesamte Anzahl der gespeicherten Bilder) berechnet.
In einem Schritt S30 wird zuerst jeder Beitragsfaktor RH, RS, RV zum Normalisieren der drei Eigenschaften der Farbinformationen des Musterbilds, H1, S1 und V1, unter Verwendung der Beitragsfaktorenbestimmungseinheit 60 bestimmt. Der Prozeß in der Beitragsfaktorenbestimmungseinheit 60 ist später unter Bezugnahme auf 6 beschrieben.
In einem Schritt S31 werden die Wertdifferenzen der drei Eigenschaften zwischen den Farbinformationen des Musterbilds, H1, S1 und V1, und den Farbinformationen der gespeicherten Bilder, H2i, S2i und V2i, berechnet. Die jeweiligen Differenzen werden als ΔHi (ΔHi = |H1 – H2i|), ΔSi (ΔSi = |S1 – S2i|) und ΔVi (ΔVi = |V1 – V2i|) beschrieben, wobei i = 1, 2, 3, , n: n ist die gesamte Anzahl der gespeicherten Bilder.
In einem Schritt S32 werden Farbdifferenzen, bei denen die Beitragsfaktoren berücksichtigt sind, DHi (DHi = RH*Δhi), DSi (DSi = RS*ΔSi) und Dvi (Dvi = RV*ΔVi), wobei i = 1, 2, 3, , n: n ist die gesamte Anzahl der gespeicherten Bilder, auf der Grundlage von RH, RS und RV, die in dem Schritt S30 erhalten werden, und ΔHi, ΔSi und ΔVi, die in dem Schritt S31 erhalten werden, berechnet.
In einem Schritt S33 werden DHi, DSi und DVi addiert, und eine Ähnlichkeit Ri (i = 1, 2, 3, , n: n ist die gesamte Anzahl der gespeicherten Bilder) ist durch den negativen Wert des Ergebnisses der Addition (–(DHi + DSi + DVi)) definiert. Desgleichen wird eine Ähnlichkeit Ri (i = 1, 2, 3, ..., n) jedes gespeicherten Bilds berechnet. In einem Fall, in dem eine Vielzahl von Abschnitten bezeichnet wird, wird die Ähnlichkeit Rij (i = 1, 2, 3, ..., n: j = 1, 2, 3, ..., m: m ist eine gesamte Anzahl von Abschnitten) gemäß jedem Bild berechnet. Daraufhin ist ein repräsentativer Grad der Ähnlichkeit jedes Bilds beispielsweise durch den Gesamtwert der Grade der Ähnlichkeit bezüglich der Bilder, d. h. das Ergebnis der Addition Ri = Ri1 + Ri2 + ... + Rim, definiert.
Als nächstes ist der Prozeß zum Bestimmen des Beitragsfaktors des Schritts S30 unter Bezugnahme auf ein Flußdiagramm in 6 ausführlich beschrieben. Das Flußdiagramm zeigt den Prozeß in der Beitragsfaktorenbestimmungseinheit 60.
Es ist zu beachten, daß jeder Beitragsfaktor der drei Eigenschaften mit Rh, Rs und Rv bezeichnet ist und jeder der Faktoren von 0,0 bis 1,0 reicht. Ferner sind die normalisierten Werte der drei Eigenschaften, d.h. die normalisierten Beitragsfaktoren, mit RH, RS und RV bezeichnet. Werte von normalisierten Beitragsfaktoren, die von der Beitragsfaktorenbestimmungseinheit 60 ausgegeben werden, sind RH, RS und RV, die nach dem nachstehend beschriebenen Normalisierungsprozeß erhalten werden.
In einem Schritt S20 werden die Farbinformationen des Musterbilds, die in dem Schritt S2 in 2 extrahiert werden, von der Musterbildeingabeeinheit 30 über die Steuereinheit 80 in die Beitragsfaktorenbestimmungseinheit 60 eingegeben.
In einem Schritt S21 wird es anhand der Farbinformationen des Musterbilds, die in dem Schritt S20 gelesen werden, untersucht, ob eine Helligkeit V1 niedrig ist, genauer ob der Wert der Helligkeit V1 über einem vorbestimmten Schwellenwert Tv ist oder nicht. Falls der Wert der Helligkeit V1 kleiner als der Schwellenwert Tv ist, geht der Prozeß zu einem Schritt S26 über, und Beitragsfaktoren von Farbton H, Farbsättigung S und Helligkeit V werden als Rh = 0, Rs = 0 bzw. Rv = 1 zugewiesen. Mit anderen Worten bedeutet die niedrige Helligkeit den niedrigen Beitragsfaktor der Farbsättigung. Daraufhin geht der Prozeß zu einem Schritt S24 über.
Da die Beitragsfaktoren Rh, Rs und Rv bestimmt sind, werden in dem Schritt S24 diese drei Werte normalisiert, um die normalisierten Beitragsfaktoren RH, RS und RV zu erhalten. Es folgen die Gleichungen für die Normalisierungsberechnung. RH = Rh/(Rh + Rs + Rv) RS = Rs/(Rh + Rs + Rv) RV = Rv/(Rh + Rs + Rv)
Als nächstes wird es in einem Schritt S22 untersucht, ob eine Farbsättigung S1 niedrig ist, genauer ob der Wert der Farbsättigung S1 über einem vorbestimmten Schwellenwert Ts ist. Falls der Wert der Farbsättigung S1 kleiner als der Schwellenwert Ts ist, geht der Prozeß zu einem Schritt S27 über, und Beitragsfaktoren von Farbton H, Farbsättigung S und Helligkeit V werden als Rh = 0, Rs = 1 bzw. Rv = 1 zugewiesen. Daraufhin geht der Prozeß zu dem Schritt S24 über. Falls der Wert der Farbsättigung S1 größer als der Schwellenwert Ts ist, geht der Prozeß hingegen zu einem Schritt S23 über, und Beitragsfaktoren von Farbton H, Farbsättigung S und Helligkeit V werden als Rh = 1, Rs = 0 bzw. Rv = 0 zugewiesen. Daraufhin geht der Prozeß zu dem Schritt S24 über, um eine Normalisierungsprozedur auszuführen.
Somit werden die normalisierten Beitragsfaktoren der drei Eigenschaften, RH, RS und RV, bestimmt, indem der vorstehend beschriebenen Prozedur gefolgt wird.
Wie es vorstehend erläutert ist, wird das gewünschte Bild gemäß den Farbinformationen des durch die Bedienungsperson ausgebildeten Musterbilds in den gespeicherten Bildern gesucht.
Es ist zu beachten, daß als ein Beispiel für eine Musterbildeingabeeinrichtung das Bild auf Papier oder dergleichen gezeichnet und durch eine Abtasteinrichtung gelesen werden kann, statt auf eine Anzeige zu zeichnen.
Ferner folgen verschiedene Wege zum Bezeichnen einer Farbe eines Abschnitts während des Prozesses des Ausbildens eines Musterbilds:
Ferner müssen in einem Fall, in dem RGB-Farbdaten als die Musterbilddaten verwendet werden, die RGB-Farbdaten in die Daten des HSV-Raums gewandelt werden, da die Bilddaten in der Bildspeichereinheit 20 Daten des HSV-Raums sind. Diese Wandlung von den RGB-Daten in die HSV-Daten wird unter Verwendung des folgenden Wandlungsalgorithmus ausgeführt. Der Wandlungsalgorithmus ist in Fundamentals of Interactive Computer Graphic (J. D. Foley, A. Vandam, Seiten 613–620) vollständig erläutert.
Es ist zu beachten, daß bei dem ersten Ausführungsbeispiel der HSV-Farbraum als ein Farbwahrnehmungsraum verwendet wird, der durch Farbton, Farbsättigung und Helligkeit definiert ist. Es ist jedoch selbstverständlich, daß es möglich ist, andere Farbwahrnehmungsräume wie beispielsweise einen Munsell-Farbraum zu verwenden.
Wie es vorstehend erläutert ist, ist es gemäß diesem Ausführungsbeispiel leichter für eine Bedienungsperson, nach einem gewünschten Bild zu suchen, indem die Qualität der Suche unter Verwendung von Farbinformationen bei der Suche nach den ähnlichen Bildern zu dem gewünschten Bild aus einer Bilddatenbank unter Verwendung von Farbinformationen verbessert wird.
Zweites Ausführungsbeispiel
Als ein Verfahren zum Bestimmen von Beitragsfaktoren der drei Eigenschaften von Farbdaten werden bei dem ersten Ausführungsbeispiel Schwellenwerte Tv und Ts vorbestimmt, um die Beitragsfaktoren zu erhalten. Es ist ein weiteres Verfahren zum Bestimmen des Beitragsfaktors unter Verwendung von vorbestimmten Mitgliedschaftsfunktionen vorhanden. Bei einem zweiten Ausführungsbeispiel ist ein weiteres Beispiel der Praxis der Beitragsfaktorenbestimmungseinheit 60 beschrieben.
7 und 8 zeigen Beispiele für Formen von Mitgliedschaftsfunktionen von Helligkeit bzw. Farbsättigung. In 7 zeigt eine horizontale Achse den Wert der Helligkeit, und eine vertikale Achse zeigt den Mitgliedschaftsgrad der entsprechenden Helligkeit. Auf ähnliche Weise zeigt in 8 eine horizontale Achse den Wert der Farbsättigung, und eine vertikale Achse zeigt den Mitgliedschaftsgrad der entsprechenden Farbsättigung. Die Mitgliedschaftsfunktionen in 7 veranschaulichen eine Mitgliedschaftsfunktion 101, die es angibt, daß die Helligkeit niedrig ist, und eine Mitgliedschaftsfunktion 100, die es angibt, daß die Helligkeit nicht niedrig ist. Desgleichen veranschaulichen die Mitgliedschaftsfunktionen in 8 zwei Mitgliedschaftsfunktionen 103 und 102, die es angeben, daß die Farbsättigung niedrig ist bzw. daß die Farbsättigung nicht niedrig ist. Die Mitgliedschaftsfunktionen 101 und 100 sind nachstehend mit M1v(i) bzw. Mhv(i) bezeichnet. Was das i in den Klammern betrifft, gibt es die Helligkeit an. Ferner sind M1v(i) und Mhv(i) die Mitgliedschaftsgrade bezüglich der Helligkeit i. In der gleichen Art und Weise sind die Mitgliedschaftsfunktionen 103 und 102 nachstehend mit M1s(j) bzw. Mhs(j) bezeichnet. Was das j in den Klammern betrifft, gibt es die Farbsättigung an. Daher sind M1s(j) und Mhs(j) die Mitgliedschaftsgrade bezüglich der Farbsättigung j.
Der Prozeß zum Bestimmen von Beitragsfaktoren der drei Eigenschaften von Farbdaten ist nachstehend unter Bezugnahme auf 9 und 10 erläutert. In diesem Fall werden Beitragsfaktoren (d. h. Rh, Rs und Rv) von Farbdaten X (H1, S1, V1) eines unter Verwendung des HSV-Farbraums veranschaulichten Musterbilds unter Verwendung von Mitgliedschaftsfunktionen berechnet. Es folgen die Prozesse in jedem Schritt.
In einem Schritt S40 werden Farbinformationen eines Musterbilds (H1, S1, V1), die in dem Schritt S2 in 2 extrahiert werden, von der Musterbildeingabeeinheit 30 über die Steuereinheit 80 in die Beitragsfaktorenbestimmungseinheit 60 eingegeben.
In einem Schritt S41 werden Mitgliedschaftsgrade M1v(V1) und Mhv(V1), die der Helligkeit V1 entsprechen, unter Verwendung der Mitgliedschaftsfunktionen 101 und 100 in 7 erhalten.
In einem Schritt S42 werden der Farbsättigung S1 entsprechende Mitgliedschaftsgrade M1s(S1) und Mhv(S1) erhalten, indem auf die Mitgliedschaftsfunktionen 103 und 102 in 8 Bezug genommen wird.
In einem Schritt S43 werden die drei Fällen der Farbdaten x entsprechenden Beitragsfaktoren C1(x), C2(x) und C3(x) auf der Grundlage der jeweiligen Mitgliedschaftsgrade, die in den Schritten S41 und S42 erhalten werden, erhalten, wobei die drei Fälle ein Fall 1 (niedrige Helligkeit V), ein Fall 2 (hohe Helligkeit V und niedrige Farbsättigung S) und ein Fall 3 (hohe Helligkeit V und hohe Farbsättigung S) sind. Die Werte von C1(x), C2(x) und C3(x) sind durch die folgenden Gleichungen gegeben. C1(X) = M1v(V1) C2(X) = min(Mhv(V1), M1s(S1)) C3(X) = min(Mhv(V1), Mhs(S1))
In einem Schritt S44 werden die Beitragsfaktoren der drei Eigenschaften von Farben, Rh, Rs und Rv, durch ein Ausführen einer durch S44 in 10 dargestellten Matrixoperation erhalten.
In einem Schritt S45 werden diese drei Werte normalisiert, und die normalisierten Beitragsfaktoren RH, RS und RV werden erhalten. Die normalisierten Beitragsfaktoren sind durch die folgenden Gleichungen gegeben. RH = Rh/(Rh + Rs + Rv) RS = Rs/(Rh + Rs + Rv) RV = Rv/(Rh + Rs + Rv)
Die Erfindung kann auf ein durch eine Vielzahl von Vorrichtungen gebildetes System oder auf ein Gerät mit einer einzelnen Vorrichtung angewendet werden. Ferner ist die Erfindung auch auf einen Fall anwendbar, in dem das Ziel der Erfindung durch ein Zuführen eines Programms zu einem System oder Gerät erreicht wird.
Wie es vorstehend beschrieben ist, wird gemäß dem Ausführungsbeispiel unter Verwendung der Mitgliedschaftsfunktionen der Beitragsfaktor einer Bildfarbkomponente einer besseren Qualität erhalten, wodurch die bessere Leistung der Bildsuche erreicht wird.
Ferner wird gemäß dem Ausführungsbeispiel die Qualität der Suche unter Verwendung von Farbinformationen verbessert, wenn ein Bild aus der Bilddatenbank gesucht wird.
Da viele offensichtlich sehr verschiedene Ausführungsbeispiele der Erfindung ausgebildet werden können, ohne von dem Bereich davon abzuweichen, ist es selbstverständlich, daß die Erfindung nicht auf die spezifischen Ausführungsbeispiele davon begrenzt ist.

Claims

Bildsuchverfahren zum Wiedergewinnen eines gewünschten Bilds aus einer Bilder mit Farbinformationen speichernden Bilddatenbank, mit: einem Schritt (S1; S11) des Empfangens von Eingabeinformationen über ein Musterbild zum Wiedergewinnen des gewünschten Bilds, wobei die Informationen die Farbe zumindest eines Abschnitts des Musterbilds bezeichnen; einem Erzeugungsschritt (S2) des Erzeugens von Farbinformationen des Musterbilds, wobei die Informationen, eine Vielzahl von Eigenschaften eines Wahrnehmungsfarbraums entsprechenden Farbkomponentenwerten (H₁, S₁, V₁) umfassen; und einem Ähnlichkeitsberechnungsschritt (S3–S4, S30–S33) des Berechnens einer jeweiligen Ähnlichkeit (Ri) zwischen dem Musterbild und jedem in der Datenbank gespeicherten Bild, wobei der Berechnungsschritt eine Berechnung der Ähnlichkeit zwischen den Farbkomponentenwerten (H₁, S₁, V₁) des Musterbilds und den Farbkomponentenwerten (H_2i, S_2i, V_2i) jedes in der Datenbank gespeicherten Bilds (i) umfaßt; gekennzeichnet durch: einen Beitragsfaktorberechnungsschritt (S20–23, S26, S27) des Berechnens eines jeweiligen Beitragsfaktors (Rh, Rs, Ry; C1, C2, C3) für jede der Vielzahl von Farbkomponenten als eine Funktion der Vielzahl von Farbkomponentenwerten des Musterbilds; einen Beitragsanteilsberechnungsschritt des Berechnens (S30) eines jeweiligen Beitragsanteils (RH, RS, RV) für jede der Vielzahl von Farbkomponenten durch ein Normalisieren (S24) der berechneten Beitragsfaktoren; und wobei der Ähnlichkeitsberechnungsschritt die jeweilige Ähnlichkeit für jedes in der Datenbank gespeicherte Bild unter Berücksichtigung der entsprechenden Beitragsanteile derart berechnet, daß der Anteil, mit dem jede Farbkomponente des Wahrnehmungsfarbraums zu der Ähnlichkeitsberechnung beiträgt, eine Funktion der Farbkomponentenwerte bei dem Musterbild ist.
Verfahren nach Anspruch 1, ferner mit: einem Anzeigeschritt (S6) des Anzeigens von Bildern aus der Datenbank als ein Suchergebnis auf der Grundlage der in dem Ähnlichkeitsberechnungsschritt berechneten Ähnlichkeit.
Verfahren nach Anspruch 2, wobei in dem Anzeigeschritt die Bilder aus der Datenbank in der Reihenfolge der Ähnlichkeit angezeigt werden (S5, S6).
Verfahren nach einem der vorstehenden Ansprüche, wobei in dem Eingabeinformationsempfangsschritt die Farbinformationen durch ein Bezeichnen einer Farbe aus einer Vielzahl von auf einem Bildschirm angezeigten Farben erhalten werden (S11, 4).
Verfahren nach einem der vorstehenden Ansprüche, wobei die Vielzahl von Farbkomponenten den Farbton, die Farbsättigung und die Helligkeit umfaßt.
Verfahren nach Anspruch 5, wobei in dem Beitragsfaktorberechnungsschritt der jedem Farbkomponentenwert entsprechende Beitragsfaktor auf der Grundlage eines Vergleichs (S21, S22) zwischen der Vielzahl von Farbkomponentenwerten und jeweiligen vorbestimmten Schwellenwerten (T_v, T_s) berechnet wird.
Verfahren nach Anspruch 5, wobei in dem Beitragsfaktorberechnungsschritt dann, wenn die Helligkeit (V₁) der Farbinformationen niedriger als ein vorbestimmter Schwellenwert (T_v) ist, ein der Helligkeit entsprechender Beitragsfaktor (R_v) auf einen höheren Pegel als die Beitragsfaktoren für den Farbton bzw. die Farbsättigung eingestellt wird (S21, S26), und wobei dann, wenn die Helligkeit höher als der Schwellenwert ist und wenn die Farbsättigung der Farbinformationen höher als ein jeweiliger vorbestimmter Schwellenwert (T_s) ist, ein dem Farbton entsprechender Beitragsfaktor (R_h) auf einen höheren Pegel als die Beitragsfaktoren für die Helligkeit bzw. die Farbsättigung eingestellt wird (S22, S23), wobei ferner dann, wenn die Helligkeit der Farbinformationen höher als der vorbestimmte Schwellenwert (T_v) ist und die Farbsättigung der Farbinformationen niedriger als der jeweilige vorbestimmte Schwellenwert (T_s) ist, der Beitragsfaktor (R_s) der Farbsättigung der Farbinformationen und der Beitragsfaktor (R_v) der Helligkeit der Farbinformationen auf jeweilige Pegel, die höher als der Beitragsfaktor für den Farbton sind, eingestellt werden (S22, S27).
Verfahren nach Anspruch 5, wobei in dem Beitragsfaktorberechnungsschritt die Berechnung auf der Grundlage einer Vielzahl von Mitgliedschaftsfunktionen (100, 101, 102, 103; 7–10), die Mitgliedschaftsgrade (C1, C2, C3) der Farbsättigung und der Helligkeit der Farbinformationen definieren, ausgeführt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei der Schritt des Empfangens von Eingabeinformationen ferner ein Empfangen (S10) von einen Abschnitt des Bilds, auf den sich die Farbinformationen beziehen, darstellenden Abschnittsinformationen umfaßt, und wobei der Erzeugungsschritt sowohl die Farbinformationen als auch die Abschnittsinformationen zum Erzeugen des Musterbilds verwendet.
Verfahren nach Anspruch 9, wobei in dem Schritt des Empfangens von Eingabeinformationen die Abschnittsinformationen einen ein Zielbild darstellenden Abschnitt angeben, und wobei der Abschnitt mit einer durch die Farbinformationen definierten Farbe gefüllt wird (S12).
Verfahren nach Anspruch 10, wobei der Schritt des Empfangens von Eingabeinformationen auf eine Eingabe durch eine Bedienungsperson durch ein Zeichnen des Zielbilds auf einer Anzeige unter Verwendung einer Zeigevorrichtung zum Definieren der Abschnittsinformationen anspricht.
Verfahren nach Anspruch 10, wobei der Schritt des Empfangens von Eingabeinformationen auf die Eingabe der Abschnittsinformationen durch den Betrieb einer Abtasteinrichtung anspricht.
Bildsuchvorrichtung zum Wiedergewinnen eines gewünschten Bilds aus einer Datenbank mit Farbinformationen von gespeicherten Bildern, mit: einer Eingabeeinrichtung (30, 31), die zum Eingeben von Informationen über ein Musterbild zum Wiedergewinnen des gewünschten Bilds betreibbar ist, wobei die Informationen die Farbe zumindest eines Abschnitts des Musterbilds bezeichnen; einer Erzeugungseinrichtung (50), die zum Erzeugen von Farbinformationen des Musterbilds betreibbar ist, wobei die Informationen eine Vielzahl von Eigenschaften eines Wahrnehmungsfarbraums entsprechenden Farbkomponentenwerten (HI, SI, VI) umfassen; einer Ähnlichkeitsberechnungseinrichtung (70), die zum Ausführen einer Berechnung einer jeweiligen Ähnlichkeit (R_i) zwischen dem Musterbild und jedem in der Datenbank gespeicherten Bild betreibbar ist, wobei die Berechnung eine Berechnung der Ähnlichkeit zwischen den Farbkomponentenwerten (H₁, S₁, V₁) des Musterbilds und den Farbkomponentenwerten (H_2i, S_2i, V_2i) jedes in der Datenbank gespeicherten Bilds (i) umfaßt; gekennzeichnet durch: eine Beitragsfaktorberechnungseinrichtung (60), die zum Berechnen eines jeweiligen Beitragsfaktors (Rh, Rs, Rv; C1, C2, C3) für jede der Vielzahl von Farbkomponenten als eine Funktion der Vielzahl von Farbkomponentenwerten des Musterbilds betreibbar ist; eine Beitragsanteilsberechnungseinrichtung (60), die zum Berechnen eines jeweiligen Beitragsanteils (RH, RS, RV) für jede der Vielzahl von Farbkomponenten durch ein Normalisieren (S24) der berechneten Beitragsfaktoren betreibbar ist; und wobei die Ähnlichkeitsberechnungseinrichtung dazu betreibbar ist, die Ähnlichkeit zwischen dem Musterbild und jedem in der Datenbank gespeicherten Bild unter Berücksichtigung der entsprechenden Beitragsanteile derart zu berechnen, daß der Anteil, mit dem jede Farbkomponente des Wahrnehmungsfarbraums zu der Ähnlichkeitsberechnung beiträgt, eine Funktion der Farbkomponentenwerte bei dem Musterbild ist.
Vorrichtung nach Anspruch 13, ferner mit: einer Anzeigeeinheit (90), die zum Anzeigen von Bildern aus der Datenbank als ein Suchergebnis auf der Grundlage der durch die Ähnlichkeitsberechnungseinrichtung berechneten Ähnlichkeit betreibbar ist.
Vorrichtung nach Anspruch 14, wobei die Anzeigeeinheit zum Anzeigen der Bilder aus der Datenbank in der Reihenfolge der Ähnlichkeit betreibbar ist.
Vorrichtung nach einem der Ansprüche 13 bis 15, mit einer Bezeichnungseinrichtung (31), die zum Bezeichnen der Farbinformationen durch ein Bezeichnen einer Farbe aus einer Vielzahl von auf einem Bildschirm der Anzeigeeinheit angezeigten Farben betreibbar ist.
Vorrichtung nach einem der Ansprüche 13 bis 16, wobei die Vielzahl von Farbkomponenten den Farbton, die Farbsättigung und die Helligkeit umfaßt.
Vorrichtung nach Anspruch 17, wobei die Beitragsfaktorberechnungseinrichtung zum Berechnen des jeder Farbkomponente von Farbinformationen entsprechenden Beitragsfaktors auf der Grundlage eines Vergleichs (S21, S22) zwischen der Vielzahl von Farbkomponentenwerten und jeweiligen vorbestimmten Schwellenwerten (T_v, T_s) betreibbar ist.
Vorrichtung nach Anspruch 17, wobei die Beitragsfaktorberechnungseinrichtung derart betreibbar ist, daß dann, wenn die Helligkeit (V₁) der Farbinformationen niedriger als ein vorbestimmter Schwellenwert (T_v) ist, ein der Helligkeit entsprechender Beitragsfaktor (R_v) auf einen höheren Pegel als die Beitragsfaktoren für den Farbton bzw. die Farbsättigung eingestellt wird (S21, S26), und wobei dann, wenn die Helligkeit höher als der Schwellenwert ist und wenn die Farbsättigung der Farbinformationen höher als ein jeweiliger vorbestimmter Schwellenwert (T_s) ist, ein dem Farbton entsprechender Beitragsfaktor (R_h) auf einen höheren Pegel als die Beitragsfaktoren für die Helligkeit bzw. die Farbsättigung eingestellt wird (S22, S23), wobei ferner dann, wenn die Helligkeit der Farbinformationen höher als der vorbestimmte Schwellenwert (T_v) ist und die Farbsättigung der Farbinformationen niedriger als der jeweilige vorbestimmte Schwellenwert (T_s) ist, der Beitragsfaktor (R_s) der Farbsättigung der Farbinformationen und der Beitragsfaktor (R_v) der Helligkeit der Farbinformationen auf jeweilige Pegel, die höher als der Beitragsfaktor für den Farbton sind, eingestellt werden (S22, S27).
Vorrichtung nach Anspruch 17, wobei die Beitragsfaktorberechnungseinrichtung zum Ausführen der Berechnung auf der Grundlage einer Vielzahl von Mitgliedschaftsfunktionen (100, 101, 102, 103; 7–10), die Mitgliedschaftsgrade (C1, C2, C3) der Farbsättigung und der Helligkeit der Farbinformationen definieren, betreibbar ist.
Vorrichtung nach einem der Ansprüche 13 bis 20, wobei die Eingabeeinrichtung ferner zum Eingeben von einen Abschnitt des Bilds, auf den sich die Farbinformationen beziehen, darstellenden Abschnittsinformationen betreibbar ist, und wobei die Erzeugungseinrichtung zum Verwenden sowohl der Farbinformationen als auch der Abschnittsinformationen zum Erzeugen des Musterbilds betreibbar ist.
Vorrichtung nach Anspruch 21, wobei die Eingabeeinrichtung derart betreibbar ist, daß die Abschnittsinformationen einen ein Zielbild darstellenden Abschnitt angeben und mit einer durch die Farbinformationen definierten Farbe gefüllt werden (S10, S11).
Vorrichtung nach Anspruch 22, wobei die Eingabeeinrichtung eine Zeigevorrichtung (31) umfaßt, die auf eine Eingabe durch eine Bedienungsperson durch ein Zeichnen des Zielbilds auf einer Anzeige unter Verwendung der Zeigevorrichtung zum Definieren der Abschnittsinformationen anspricht.
Vorrichtung nach Anspruch 22, wobei die Eingabeeinrichtung eine Abtasteinrichtung umfaßt, die zum Eingeben der Abschnittsinformationen betreibbar ist.
Computerprogramm mit durch eine Verarbeitungseinrichtung ausführbaren Anweisungen zum Steuern einer Bildsuchvorrichtung zur Ausführung aller Schritte eines Verfahren nach einem der Ansprüche 1 bis 12.