DE19744648A1 - Verfahren und Vorrichtung zur Sekundärbilderzeugung und zur schnellen Suche in digitalen Bilddatenbanken - Google Patents

Description

Die Erfindung bezieht sich auf ein zur digitalen Bild­ verarbeitung bestimmtes Verfahren, bei dem in einer Recheneinheit von einer Bildvorlage mit Hilfe einer Wavelet-Zerlegung ein Sekundärbild erstellt wird, und auf ein zur Suche in einer digitalen Bilddatenbank be­ stimmtes Verfahren, bei dem in einem Sekundärabstands­ rechner ein erstes Sekundärbild einer Bildvorlage mit einer Vielzahl zweiten Bildern zugeordneter zweiter Sekundärbilder verglichen und jeweils ein Ähnlichkeits­ maß zwischen dem ersten und einem zweiten Sekundärbild errechnet wird. Die Erfindung bezieht sich ferner auf eine zur digitalen Bildverarbeitung und/oder zur Suche in digitalen Bilddatenbanken bestimmte Vorrichtung mit einer Recheneinheit zur Wavelet-Zerlegung digitaler Bilder.

Derartige Verfahren werden im Rahmen der digitalen Bildverarbeitung benötigt und werden insbesondere dazu verwandt, um in umfangreichen digitalen Bilddatenbanken aus der Vielzahl gespeicherter Bilder ein bestimmtes herauszusuchen. Meist wird eine Vorlage, beispielsweise in Form einer Skizze, mit einer Vielzahl in einer ent­ fernten Datenbank gespeicherter Bilder verglichen und als Ergebnis der Suche eine Rangfolge in Frage kommen­ der Bilder angeboten. Die für die Suche erforderliche Auswahl erfolgt entweder durch die Zuordnung alphanu­ merischer Attribute oder durch eine digitale Verarbei­ tung der Bildinformation selbst, wodurch andere erzeugt werden, die wesentlich schneller und zuverlässiger ver­ glichen und unterschieden werden können als die Bild­ vorlagen selbst und die trotz ihres kompakteren Formats die für das menschliche Empfinden wesentlichen visuel­ len Merkmale der Bildvorlagen wiedergeben. Schließlich sind Verfahren zum kombinierten Vergleich nach Bild­ attributen und Bildinhalt bekannt. Die Notwendigkeit effizienter Verfahren zur Erzeugung geeigneter Ver­ gleichsbildformen und damit zur schnelleren Bildsuche ergibt sich insbesondere aus dem durch die weltweite Vernetzung möglichen Zugriff auf immer umfangreichere digitale Bilddatenbanken, die heute bereits bei mitt­ lerere Größe Bildmengen von 100 000 und mehr umfassen.

Den auf der Zuordnung von Attributen beruhenden Ver­ fahren zum Wiederauffinden digitaler Bilder mangelt es aufgrund individuell unterschiedlicher Bildeindrücke und Vorkenntnisse des Benutzers an einer ausreichenden Objektivität der Bildauswahl; zudem führt der Umgang mit alphanumerischen Attributen, die sich nicht wie die eigentliche, durch Farben und Helligkeiten ausdrückbare Bildinformation quantitativ miteinander vergleichen lassen, regelmäßig zum fälschlichen Ausschluß des eigentlich gesuchten Bildes. Aufgrund dieser Nachteile ist für den Umgang mit derartigen Systemen eine längere Erfahrung erforderlich.

Die nach der eigentlichen Bildinformation selektieren­ den Suchverfahren arbeiten zwar nach objektiven Krite­ rien, allerdings sind nach dem Gesamteindruck sehr ähn­ liche Bilder im Hinblick auf die Farben und Helligkei­ ten der einzelnen Bildpunkte äußerst verschieden; daher wird kein direkter Bildvergleich vorgenommen, sondern die Bilder werden in Sekundärbilder umwandelt, die we­ sentlich kompakter sind als ihre Vorlagen und dennoch deren ins Auge springenden visuellen Merkmale deut­ licher wiedergeben.

Eine zur Sekundärbilderzeugung geeignete Methode ist das als Wavelet-Zerlegung bekannte Verfahren, bei dem eine Bildvorlage iterativ in Bildstrukturen fortschrei­ tender Auflösung zerlegt wird und durch diese Vielfach­ auflösung in ein Sekundärbild umgewandelt wird, das die Grobstruktur und die Detailinformationen der Bildvorla­ ge separat nebeneinander wiedergibt und daher zum Bild­ vergleich nach so unterschiedlichen Kriterien wie Bild­ aufbau und Textur wesentlich geeigneter ist als das ur­ sprüngliche Bild.

Bei der Wavelet-Zerlegung werden, wie im Schema der Fig. 1 dargestellt, die Daten des ursprünglichen Bildes von einer relativ feinen Rasterung m ausgehend in einem ersten Schritt durch zwei komplementäre Hochpaß- und Tiefpaßfilter separat gefiltert, wodurch eine Trennung von Detailinformationen D_m-1 von Infor­ mationen C_m-1 einer nächstgröberen Auflösung m-1 ent­ steht. Letztere werden in einem zweiten Schritt wieder zweifach gefiltert und liefern neben Detailinformatio­ nen D_m-2 Informationen C_m-2 der nächstgröberen Auflö­ sung m-2, auf die die Filterung in gleicher Weise bis hin zu einer gröbsten Auflösung 0 mit Detail- und Grob­ informationen D₀ und C₀ iterativ fortgesetzt wird. Vor jeder nächstgröberen Filterung wird, wie in Fig. 1 angedeutet, die Zahl der Rasterpunkte halbiert. Durch dieses Schema entsteht eine Kette von unterschiedlich feinen Wiedergaben des Ausgangsbildes, die sich jeweils um den Faktor 2 in der Auflösung unterscheiden. Jede Auflösungsstufe entspricht einem Raster von 2^m Bild­ punkten mit dem Rastermaß 2^-m.

Die den unterschiedlichen Auflösungen zugeordneten Bilddaten ergeben gemäß

eine durch Koeffizienten f[k] dargestellte Zerlegung des Bildes nach Funktionen, die bestimmten Auflösungen m und bestimmten Koordinaten n der entsprechenden Punktraster entsprechen. Die Funktionen heißen im Falle der Tiefpaßfilterung Skalierungsfunktionen (diese in Fig. 1 jeweils oben stehenden Funktionen führen dementsprechend auf die nächstgröberen Schritte der Bildauflösung) und im Falle der Hochpaßfilterung Wavelets und sind ungefähr um den jeweiligen Raster­ punkt n lokaliert. Sämtliche Skalierungs- und Wavelet- Funktionen der Zerlegung sind aus einer einzigen Ska­ lierungs- bzw. Wavelet-Funktion ableitbar.

Die Zerlegung wird horizontal wie auch vertikal durch­ geführt und ergibt einen Satz durch (m_i, m_j, n_i, n_j) bestimmter Skalierungsfunktionen und Wavelets. Die Koeffizienten der Zerlegung geben an, in welchem Maß das ursprüngliche Bild in der Nähe des jeweiligen Rasterpunkts (n_i, n_j) einen Informationsanteil mit der durch (m_i, m_j) bestimmten Frequenz enthält.

Die Koeffizienten der Entwicklungen nach den Skalie­ rungsfunktionen der gröbsten gewählten Auflösung und nach den Wavelets derselben und aller übrigen, feineren Auflösungen ergeben zusammen das Sekundärbild, wie es in Fig. 2 beispielhaft dargestellt ist. Darin sind die Informationen über die grobe Struktur der Bildvorlage in einem kleinen linken oberen Bereich und die aus zu­ nehmend feinerer Auflösung stammenden Detailinforma­ tionen weiter davon entfernt und auf zunehmend größeren quadratischen Teilflächen des gesamten Sekundärbildes angeordnet. Die Grobrasterung der Auflösung 0 liefert eine relativ kleine Anzahl von Koeffizienten, aus denen das in der linken oberen Ecke angeordnete kleinste Quadrat des Sekundärbildes besteht. Es ist von drei gleich großen Koeffizientenquadraten umgeben, die aus der ersten (im Schema der Fig. 1 letzten) Zerlegung stammen. Durch jede feinere Auflösungsstufe entstehen Quadrate doppelter Größe entsprechend der für das feinere Raster benötigten vier-fachen Zahl von Raster­ punkten bzw. Wavelets. Bei der zweidimensionalen Wave­ let-Zerlegung entstehen bei jeder Rasterverfeinerung gleich drei zusätzliche Koeffizientenquadrate entspre­ chend der vertikalen, horizontalen und kombinierten Filterung.

Diese Wavelet-Zerlegung wird für alle drei Grundfarben des Bildes separat durchgeführt. Die drei Sekundärbil­ der können gemeinsam als Merkmalsvektor in einem Eigen­ schaftsraum aufgefaßt werden, der in diesen Raum einen "Fingerabdruck" der Bildvorlage abbildet und dessen Länge durch die Gesamtzahl der Koeffizienten der Sekun­ därbilder bestimmt ist. Es ist bekannt, den Merkmals­ vektor dadurch zu verkürzen, daß durch den Einsatz von Zonenfiltern mit Bereichen von Paßbändern und Sperrbän­ dern die Zahl der Koeffizienten weiter verringert wird. Ferner ist bekannt, zwecks eines schnelleren Bildver­ gleichs die Koeffizienten zu vereinfachen, indem bei­ spielsweise die den verschiedenen Detailauflösungen (mit Ausnahme der Grobrasterung) entsprechenden Koef­ fizienten in die Werte 1, 0 und -1 überführt werden.

Obwohl die in an sich bekannter Weise durchgeführte Wavelet-Zerlegung einschließlich der oben genannten nachfolgenden Veränderungen des Sekundärbildes zu Fortschritten bei der digitalen Bildsuche geführt hat, führen herkömmliche Verfahren regelmäßig zu falschen Bildzuordnungen; so werden in den errechneten Rang­ folgen selektierter Bilder selbst in den vordersten Positionen solche Bilder angeboten, die nach menschli­ chem Ermessen von der Bildvorlage offensichtlich deut­ lich verschieden sind. Zudem erscheinen in den Rang­ folgen gewisse Bilder überproportional häufig, die offensichtlich "typische" Eigenschaften besitzen, welche nach herkömmlichen Suchverfahren bevorzugt werden. Die Zuverlässigkeit der digitalen Bildsuche ist aufgrund dieser Mängel erheblich eingeschränkt.

Der Erfindung liegt daher die Aufgabe zugrunde, ein zur digitalen Bildverarbeitung bestimmtes Verfahren und eine entsprechende Vorrichtung bereitzustellen, mit deren Hilfe sich aus einer Bildvorlage ein derartiges Sekundärbild erstellen läßt, das trotz seines gegenüber der Bildvorlage wesentlich kompakteren Formats die aus der Sicht der menschlichen Wahrnehmungssystems wesent­ lichen visuellen Merkmale der Bildvorlage wiedergibt und durch Vergleich mit anderen derartigen Sekundär­ bildern eine schnellere und zuverlässigere Suche in digitalen Bilddatenbanken ermöglicht. Es ist insbeson­ dere Aufgabe der Erfindung, solche Sekundärbilder zu erzeugen, die bei einem Vergleich untereinander nicht mehr zu den vom Stand der Technik bekannten Problemen der Bevorzugung gewisser, offensichtlich typischer Sekundärbilder und der irrtümlichen Gleichordnung von für das menschliche Auge deutlich verschiedenen Bild­ vorlagen führen. Zudem soll bei der Suche in digitalen Bilddatenbanken auch im Falle stärkerer Verzerrungen der Bildvorlage ein Suchergebnis hoher Qualität er­ zielt werden.

Die erfindungsgemäße Lösung dieser Aufgabe ist bezüg­ lich des Verfahrens in den unabhängigen Ansprüchen 1 und 8 und bezüglich der Vorrichtung im Anspruch 10 an­ gegeben; besondere Ausführungsformen sind Gegenstand der Unteransprüche.

Die Aufgabe wird gemäß Anspruch 1 dadurch gelöst, daß in einem Farbtransformierer eine Farbtransformation durchgeführt wird, um die digitale Farb- und/oder Helligkeitsskalierung dem menschlichen Farb- und/oder Helligkeitsempfinden anzugleichen, und/oder daß das Sekundärbild in einem Bildreduzierer durch eine zu­ mindest teilweise nach der Koeffizientengröße vorge­ nommene Auswahl auf einen Teil seiner bildspezifisch wesentlichen Koeffizienten reduziert wird.

Herkömmliche Verfahren benutzen zur Farbcharakteri­ sierung beispielsweise die durch die additiven Grund­ farben Rot, Grün und Blau mit dem Vorteil eines direk­ ten Bezugs zur Farberzeugung von Displays, Monitoren u. ä. sowie eines identischen Wertebereichs aller drei Grundfarben. Daneben werden andere Skalierungen nach Helligkeit, Farbton und Farbsättigung oder das von der Commision Internationale d'Élairage vorgeschlagene, durch XYZ-Werte gekennzeichnete Farbsystem benutzt. Naturgemäß solche und andere vergleichbar einfache Farbskalierungen verwandt, um den angesichts des Um­ fangs heutiger und zukünftiger Bilddatenbanken erheb­ lichen Zeitaufwand einer Bildrecherche in Grenzen zu halten.

Im Gegensatz dazu wird erfindungsgemäß eine Farbtrans­ formation durchgeführt, die der ungleichmäßigen Beur­ teilung von Farbunterschieden durch die Rezeptoren des menschlichen Auges Rechnung trägt. Zudem wird - auch zur Kompensation der Rechenzeit - im Anschluß an die Wavelet-Zerlegung eine Reduzierung des Sekundärbildes auf einen Teil seiner bildspezifisch wesentlichsten Koeffizienten vorgenommen, wozu ein Auswahlverfahren durchgeführt wird.

Das Kriterium dafür, welcher Teil der Koeffizienten ausgewählt bzw. vernachlässigt wird, ist in erster Linie die Größe der Koeffizienten selbst, durch die sich ihre bildspezifische Bedeutung ausdrückt. Da auch allgemeine Kriterien wie die Zugehörigkeit der Koeffi­ zienten zu einer bestimmten Auflösungsstufe oder die Position des zugehörigen Bildpunktes die Relevanz ein­ zelner Koeffizienten beeinflussen können, ist erfin­ dungsgemäß ebenfalls denkbar, die Selektion nach einer Kombination aus der Koeffizientengröße und einem oder beiden der nachgenannten Kriterien vorzunehmen. Die zumindest teilweise nach dem Zahlenwert der Koeffi­ zienten vorgenommene Auswahl gewährleistet im Gegen­ satz zu herkömmlichen Verfahren, die durch Zonenfilter gewisse Frequenzbereiche unabhängig von ihrer Relevanz für das individuelle Bild vernachlässigen, daß keine bildspezifisch wichtigen Teile des Sekundärbildes ver­ worfen werden. Die Selektion gewährleistet insbesondere in Verbindung mit der vorgenannten Farbtransformation, daß das Verfahren wirklich zur Extraktion der hervor­ stechenden Bildmerkmale führt und so die irrtümliche Gleichordnung von für das menschliche Empfinden deut­ lich verschiedenen Bildvorlagen verhindert.

Gemäß einer bevorzugten Ausführungsform ist die Verwen­ dung des CIE L*u*v*-Farbsystems entsprechend den Ska­ lierungen

oder einer wesensgemäß ähnlichen Farbskalierung im Farbtransformierer vorgesehen, wobei X_W, Y_W und Z_W die dem Referenzweiß entsprechenden XYZ-Werte darstellen und Farbunterschiede (zumindest bei gleicher Auflö­ sungsstufe) vorzugsweise durch den euklidischen Abstand

errechnet werden. Die Wahl dieser Farbskalierung trägt nicht nur der logarithmischen Empfindlichkeit mensch­ licher Sehrezeptoren Rechnung, sondern bewirkt durch die Trennung des die Bildhelligkeit erzeugenden Farb­ kanals der Luminanz L* von denen der Buntwirkungen beschreibenden Chrominanz u* und v*, daß die Suche Farbbildern oder Graustufen- bzw. Schwarz-Weiß-Bildern getrennt durchgeführt und so erheblich beschleunigt werden kann.

Gemäß einer weiteren Ausführungsform ist vorgesehen, daß in einem Grenzwertgeber von dem aus der Wavelet- Zerlegung erhaltenen Sekundärbild aus einer Anzahl K seiner zahlenmäßig größten Koeffizienten und aus dem Wert des kleinsten dieser K Koeffizienten ein Grenzwert bestimmt wird und die Koeffizienten vereinfacht werden entsprechend

um ein kompakt darstellbares Sekundärbild zu erhalten. In diesem Fall wird der Grenzwert nicht pauschal vorgegeben, sondern erfindungsgemäß an die individuell unterschiedlich starke Ausprägung hervorstechender Bildmerkmale angepaßt. Gegenüber dem vorbekannten Einsatz von Zonenfiltern berücksichtigt diese Ausfüh­ rungsform die bildspezifisch unterschiedliche Vertei­ lung signifikanter Koeffizienten innerhalb des Se­ kundärbildes.

Eine weitere Ausführungsform sieht vor, daß die Koeffizienten des Sekundärbildes auf vorzugsweise ganzzahlige Werte gerundet werden. Dieser Vorgang betrifft in Verbindung mit der vorgenannten Ausfüh­ rungsform nur die durch die Grenzwertbildung un­ beeinflußten Koeffizienten und ermöglicht im Gegensatz zu einer bloßen Reduktion der Koeffizienten auf Zah­ lenwerte wie -1, 0 und 1 eine differenzierte Gewichtung optischer Merkmale; auftretende Rundungsfehler sind angesichts der typischen Größe der Koeffizienten ver­ nachlässigbar.

Eine weitere Ausführungsform sieht vor, daß zur Wave­ let-Zerlegung die Haar-Basis mit der Skalierungsfunk­ tion

und der Wavelet-Funktion

verwendet wird. Diese Orthonormalbasis erlaubt eine wesentlich schnellere Bildverarbeitung als andere Funktionen mit komplizierterem Verlauf über einem viel breiteren Wertebereich und erübrigt aufgrund ihrer starken Lokalisierung eine sonst transformations­ bedingte Signalerweiterung über die Bildbegrenzung hinaus.

Eine weitere Ausführungsform sieht vor, daß die Bildvorlage vor der Wavelet-Zerlegung in einer Vor­ formatiereinheit auf ein einheitliches, vorzugsweise quadratisches Format transformiert wird. Dies hat den Vorteil, daß beispielsweise im Querformat vorliegende Landschaftsbilder und im Hochformat vorliegende Por­ traits ohne Beschneidung des Bildes miteinander ver­ glichen werden können; insbesondere das quadratische Format erlaubt aufgrund seiner symmetrischen Abmes­ sungen besonders schnelle Verfahren zur Bildverar­ beitung. Die umformatierten Bildvorlagen bestehen beispielsweise aus 128 × 128 Bildpunkten pro Grund­ farbe.

Eine weitere Ausführungsform sieht vor, daß die zweidimensionale Wavelet-Zerlegung in jedem Itera­ tionsschritt als einstufige Zerlegung in horizontaler sowie vertikaler Richtung durchgeführt wird. Normalerweise wird die zweidimensional verallgemei­ nerte Wavelet-Transformation nacheinander in beide Bildrichtungen durchgeführt; die erste Anwendung auf die beispielsweise horizontalen Bildpunktreihen ergibt dann ein Zwischenbild, mit dessen vertikalen Bildpunktreihen die Transformation wiederholt wird. Erfindungsgemäß wird dagegen eine einstufige horizontale und vertikale Wavelet-Zerlegung vorgenommen, die auf den die Grob­ struktur des Bildes enthaltenden Quadranten iterativ wiederholt wird. Bei einer Größe der Bildvorlage von 2ⁿ Bildpunkten führt diese Ausführungsform zu einer Ver­ minderung des Rechenaufwands von der Ordnung 2²ⁿ⁺² bei dem Standardverfahren auf eine Größenordnung 2ⁿ⁺².

Für das zur Suche in einer digitalen Bilddatenbank bestimmte Verfahren wird die der Erfindung zugrunde­ liegende Aufgabe dadurch gelöst, daß zur Berechnung des Ähnlichkeitsmaßes zweier Sekundärbilder eine posi­ tions- und/oder auflösungsabhängige Gewichtung von Sekundär­ bildkoeffizienten vorgenommen wird, so daß sowohl glo­ bale als auch lokale Übereinstimmungen der Bildvorlage mit einem zweiten Bild das Ähnlichkeitsmaß bestimmen. Die allgemein übliche und daher selbstverständlich scheinende Berechnung euklidischer Abstände als Wurzel einer Summe quadratischer Koeffizientendifferenzen führt in der Bildverarbeitung bei Anwendung auf die durch die Wavelet-Zerlegung bewirkte Vielfachauflösung zu einer Überbetonung der Grobstruktureigenschaften von Bildern gegenüber deren Detailinformationen, weil die Entwicklungskoeffizienten der gröberen Auflösungsstufen aus der Transformation viel größerer Flächen hervor­ gehen als die Koeffizienten feinerer Auflösungen; da in jeder Auflösungsstufe die gesamte Bildfläche transfor­ miert werden muß, wächst mit abnehmender Koeffizienten­ zahl die durch den einzelnen Koeffizienten im Mittel zukommende Bildfläche, so daß bei jedem Schritt zur nächstgröberen Auflösung Koeffizienten mit idealer­ weise vierfach zu hohen Werten entstehen.

Diese Dominanz der Grobstrukturmerkmale entspricht dem Sachverhalt, daß sich Bilder in erster Linie durch ihren Bildaufbau, d. h. durch ihre Grobstruktur einprä­ gen und nur in Ausnahmefällen durch ihre Textur oder sonstige Detailinformationen auffallen. Die angesichts dessen bislang vorgenommene euklidische Abstandsbe­ rechnung führt jedoch zu einem überproportional häufi­ gen Erscheinen von Bildern mit "typische" Merkmalen in als Suchergebnis angebotenen Ranglisten von Vergleichs­ bildern. Dieser Mangel wird erst durch die erfindungs­ gemäße auflösungsabhängige Gewichtung von Sekundärbild­ koeffizienten behoben, wodurch sowohl globale als auch lokale Übereinstimmungen der Bildvorlage mit einem zweiten Bild das Ähnlichkeitsmaß bestimmen. Darüber hinaus ermöglicht die erfindungsgemäß alternativ oder zusätzlich denkbare positionsabhängige Gewichtung eine stärkere Berücksichtung beispielsweise in der Bild­ mitte gelegener Strukturen, denen häufig besondere Aufmerksamkeit entgegengebracht wird.

Eine weitere Ausführungsform sieht insbesondere vor, daß das Ähnlichkeitsmaß nach

mit allein von der Bildauflösung m_i, m_j abhängigen Gewichtungen Cm_im_j der Koeffizienten K_X[m_i,m_j,n_i,n_j] der Sekundärbilder X bestimmt wird, und daß vorzugs­ weise die auf die Haar-Basis abgestimmte Gewichtung

vorgenommen wird, wobei p die höchste Auflösungsstufe mit der Auflösung 2^p bezeichnet.

Für die zur digitalen Bildverarbeitung und/oder zur Suche in digitalen Bilddatenbanken bestimmte Vor­ richtung wird die der Erfindung zugrundeliegende Aufgabe durch einen Farbtransformierer zur Transfor­ mation der Farb- und Helligkeitsskalierung nach An­ spruch 1 und/oder 2 und/oder durch einen Bildreduzierer zur Reduzierung von Sekundärbildern nach mindestens einem der Ansprüche 1, 3 und 4 gelöst, wobei der Farbtransformierer und der Bildreduzierer mit der Recheneinheit und/oder miteinander verbunden sind. Farbtransformierer und Bildreduzierer können dabei sowohl als separate Komponenten als auch in Form von Rechenbereichen eines einkomponentigen Bauteils der gesamten Vorrichtung vorliegen, beispielsweise als Bestandteil der Recheneinheit zur Wavelet-Zerlegung. Ein weiterer, aber nicht notwendiger Bestandteil kann eine Speichereinheit zur Langzeitspeicherung von (Sekundär)Bildern sein, wenn z. B. eine Bilddatenbank mit den erfindungsgemäß erstellten Sekundärbildern ein­ gerichtet wird. Ein solcher Speicher wird jedoch bei einer Bildsuche in einer vorhandenen, mit der erfin­ dungsgemäßen Vorrichtung nur durch eine Vernetzung verbundenen Datenbank nicht erforderlich sein.

Eine erfindungsgemäße Ausführungsform sieht vor, daß der Bildreduzierer ein Grenzwertgeber zur Bildre­ duzierung nach Anspruch 3 ist. Dies betrifft insbeson­ dere die Koeffizientenauswahl ausschließlich nach ihrer Größe, was gegenüber einer Selektion nach kombinierten Kriterien eine besonders schnelle Bildverarbeitung ermöglicht.

Eine weitere Ausführungsform der Erfindung sieht einen Sekundärabstandsrechner zum Sekundärbildvergleich in unterschiedlichen Auflösungen derart, daß unterschied­ lichen Auflösungen entsprechende Sekundärbildkoeffi­ zienten nach einem Verfahren gemäß Anspruch 8 oder 9 gewichtet werden vor. Der Sekundärabstandsrechner kann mit den übrigen Komponenten vereinigt sein oder einen eigenständigen Bestandteil bilden.

Ergänzend sieht eine letzte Ausführungsform eine Ein­ gabeeinheit zur Eingabe einer Bildvorlage, eine Vorfor­ matiereinheit zur Vorformatierung nach Anspruch 6 und/oder eine Ausgabeeinheit zur Ausgabe eines Sucher­ gebnisses vor. Die Eingabeeinheit kann beispielsweise eine Zeicheneinrichtung sein, mit der manuell eine Skizze erstellt und mit Farben verehen wird; ebenso sind Dia- oder Flachbildscanner oder sonstige Ein­ richtungen denkbar; die Vorformatierung kann bereits in dieser Eingabeeinheit erfolgen. Die Bildausgabe kann separat vorliegen oder zur Darstellung einer skiz­ zierten Bildvorlage mit der Eingabeeinheit vereinigt sein. Ebenso ist - wie auch in den anderen Ausfüh­ rungsformen - denkbar, daß einzelne Bestandteile der erfindungsgemäßen Vorrichtung über eine Vernetzung miteinander verbunden sind.

Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungs­ beispielen unter teilweise Bezugnahme auf Zeichnungen exemplarisch beschrieben, auf die im übrigen hinsicht­ lich der Offenbarung aller im Text nicht näher erläu­ terten erfindungsgemäßen Einzelheiten ausdrücklich ver­ wiesen wird. Es zeigen:

Fig. 1 eine schematische Darstellung der bei der Wavelet-Zerlegung einer Bildvorlage ange­ wandten Filterung,

Fig. 2 ein mit Hilfe der Wavelet-Zerlegung erzeugtes Sekundärbild,

Fig. 3 ein mit Hilfe der erfindungsgemäßen Koeffi­ zientenreduktion erzeugtes Sekundärbild samt Ausschnittsvergrößerung,

Fig. 4 die der Fig. 3 zugrundeliegende Verteilung der Anzahl verbleibender Koeffizienten nach verschiedenen Auflösungsstufen,

Fig. 5 die verschiedenen Auflösungsstufen entsprechende Flächengröße des zugehörigen Punktrasters,

Fig. 6a bis 6c den Einfluß kontrollierter Bildverzerrungen auf die Qualität des Such­ ergebnisses,

Fig. 7a bis 7c zwei beispielhafte Suchergeb­ nisse anhand einer skizzierten Bildvorlage und

Fig. 8a und 8b den Zeitaufwand für die Durch­ führung des erfindungsgemäßen Suchverfahrens auf verschiedenen Rechensystemen.

Die bereits anhand der Fig. 1 erläuterte Wavelet- Zerlegung führt zu ähnlich wie in Fig. 2 aufgebauten Sekundärbildern, deren Teilflächen als Information über die Bildvorlage die Zerlegungskoeffizienten der unter­ schiedlichen Auflösungsstufen und Zerlegungsrichtungen enthalten.

Fig. 3 zeigt ein ähnliches, erfindungsgemäß noch weiter reduziertes Sekundärbild eines der Farbkanäle (der Luminanz L*), das entsprechend Anspruch 3 verein­ facht worden ist und nur noch K = 68 nichtverschwindende Koeffizienten, d. h. Bildpunkte enthält. Wie in Fig. 3 erkennbar, sind die nach der Reduzierung noch verblie­ benen Koeffizienten statistisch, d. h. bildspezifisch verteilt. Fig. 4 gibt für dieses Beispiel die Anzahl beibehaltener Koeffizienten für die Auflösungsstufen 0 (Grobauflösung) bis 6 (Feinstauflösung) wieder. Die signifikanten Koeffizienten stammen entgegen dem durch Fig. 3 zunächst vermittelten Eindruck größtenteils aus den mittleren statt aus den gröberen Auflösungsstufen, was die Bedeutung der Korrektur der Dominanz von Grob­ strukturkoeffizienten, die bei einem Bildvergleich durch die erfindungsgemäß auflösungsabhängige Gewich­ tung vorgenommen wird, unterstreicht.

Aus Fig. 5 geht anschaulich hervor, daß die Entwick­ lungskoeffizienten einer bestimmten Auflösungsstufe m aus der Transformation einer vierfach größeren Bild­ fläche hervorgehen als die Koeffizienten der nächst­ feineren Auflösungsstufe m+1 und daher zahlenmäßig entsprechend größer sind.

Die Fig. 6a bis 6c stellen die Trefferquote des erfindungsgemäßen Suchverfahrens bei einer kontrol­ lierten Verzerrung der Bildvorlage gegenüber einem in einer Datenbank von 1000 visuell breit gestreuten Bildern enthaltenen wiederaufzufindenden Bild dar, wobei die Sekundärbilder wiederum auf jeweils K = 68 Koeffizienten reduziert wurden. In Abhängigkeit von der Stärke eines auf die Grundfarbkanäle Rot, Grün und Blau der Bildvorlage addierten optischen Rauschens (Fig. 6a), der Stärke einer vorgenommenen Farbverschiebung (Fig. 6b) und dem Faktor der Bildverkleinerung sym­ metrisch um den Bildmittelpunkt (Fig. 6c) beschreiben die Diagramme jeweils in einer oberen Kurve den Pro­ zentsatz derjenigen Bilder, die in einer als Such­ ergebnis angebotenen Rangliste von 16 der Bildvorlage am nächsten kommenden Bildern wiedergefunden worden sind, und in einer unteren Kurve den Prozentsatz der so wiedergefundenen Bilder, die richtigerweise auf Platz 1 der Rangliste an erster Stelle erschienen sind. Die Abszissenskala wurde jeweils so weit ausgedehnt, daß die Trefferquote bei dem maximalen noch erfaßten Betrag der vorgenommenen Verzerrung praktisch verschwindet. Alle drei Diagramme ergeben noch bei hohen Verfäl­ schungen der Bildvorlage eine hohe Trefferquote; die bei einem Diagrammvergleich in Fig. 6a noch stärker hervortritt infolge des Umstandes, daß optisches Rauschen stets im Bereich hoher Frequenzen liegt und daher durch die Wavelet-Zerlegung weitgehend aus­ gefiltert wird.

Neben diesem analytischen Test des erfindungsgemäßen Verfahrens enthalten die Fig. 7a bis 7c das Ergebnis zweier Suchvorgänge nach dem in Fig. 7a links darge­ stellten Zielbild anhand zweier daneben abgebildeter, als Skizze vorgegebener Bildvorlagen. Die Suche anhand der in Fig. 7a in der Mitte dargestellten Vorlage er­ gibt die Rangliste nach Fig. 7b, in der das richtige Bild mit einem mit Abstand kleinsten Bildabstandsmaß gegenüber der Bildvorlage, d. h. mit dem größten Ähn­ lichkeitsmaß an erster Stelle erscheint. Auch die Suche anhand der farbverfälschten Vorlage rechts in Fig. 7a führt, wie Fig. 7c zeigt, zu einer Rangliste, die das richtige Bild noch enthält. Dem Vergleich dieses Bildes mit den übrigen in Fig. 7c dargestellten Bildern ist zu entnehmen, daß das richtige Bild bei allein farb­ licher Beurteilung sicherlich außerhalb der Rangliste stünde. Daß es dennoch aufgefunden wird, beruht auf der Wavelet-Zerlegung, die die innere Bildstruktur - hier entsprechend der Vorlage ein zentraler Bereich homo­ gener Helligkeit mit hohem Kontrast zu einem Randbe­ reich - in allen Bildern der Rangfolge aus Fig. 7c wiedererkennt.

Die Fig. 8a und 8b enthalten Angaben zum Zeitaufwand für die Durchführung des erfindungsgemäßen Suchverfah­ rens auf verschiedenen Rechensystemen. In Fig. 8a sind typische Zeiten t_E für die Erzeugung eines Sekundär­ bildes sowie typische Zeiten t_V für den Sekundärbild­ vergleich aufgeführt. Die für die gesamte Bildsuche erforderliche Zeit ist in Fig. 8b jeweils für zwei Da­ tenbanken der Größe von 20 000 bzw. 100 000 Bildern angegeben.

Angesichts des stetig ansteigenden Umfangs von Bild­ datenbanken ist erfindungsgemäß schließlich auch denk­ bar, das hier vorgeschlagene Verfahren mit der Zuord­ nung bildbezogener Worte oder sonstiger Attribute zu kombinieren.

Claims (13)

1. Zur digitalen Bildverarbeitung bestimmtes Verfahren, bei dem in einer Recheneinheit mit Hilfe einer Wave­ let-Zerlegung von einer Bildvorlage ein Sekundärbild erstellt wird, dadurch gekennzeichnet, daß in einem Farbtransformierer eine Farbtransformation durchgeführt wird, um die di­ gitale Farb- und Helligkeitsskalierung dem menschlichen Farb- und Helligkeitsempfinden anzugleichen, und/oder daß das Sekundärbild in einem Bildreduzierer durch eine zumindest teilweise nach der Koeffizientengröße vorge­ nommene Auswahl auf einen Teil seiner bildspezifisch wesentlichsten Koeffizienten reduziert wird.

2. Verfahren nach Anspruch 1, gekennzeichnet durch die Verwendung des CIE L*u*v*-Farbsystems entsprechend den Skalierungen
oder einer wesensgemäß ähnlichen Farbskalierung im Farbtransformierer, wobei X_W, Y_W und Z_W die dem Re­ ferenzweiß entsprechenden XYZ-Werte darstellen und Farbunterschiede vorzugsweise durch den euklidischen Abstand
dargestellt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß in einem Grenzwertgeber von dem aus der Wavelet-Zerlegung erhaltenen Sekundärbild aus einer Anzahl K seiner zahlenmäßig größten Koeffi­ zienten und aus dem Wert des kleinsten dieser K Koef­ fizienten ein Grenzwert bestimmt wird und die Koeffi­ zienten vereinfacht werden entsprechend
um ein kompakt darstellbares Sekundärbild zu erhalten.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Koeffizienten des Se­ kundärbildes auf vorzugsweise ganzzahlige Werte gerun­ det werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß zur Wavelet-Zerlegung die Haar-Basis mit der Skalierungsfunktion
und der Wavelet-Funktion
verwendet wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Bildvorlage vor der Wavelet-Zerlegung in einer Vorformatiereinheit auf ein einheitliches, vorzugsweise quadratisches Format trans­ formiert wird.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die zweidimensionale Wave­ let-Zerlegung in jedem Iterationsschritt als einstufige Zerlegung in horizontaler sowie vertikaler Richtung durchgeführt wird.

8. Zur Suche in einer digitalen Bilddatenbank bestimmtes Verfahren, bei dem in einem Sekundärab­ standsrechner ein erstes Sekundärbild einer Bildvorlage mit einer Vielzahl zweiten Bildern zugeordneter zweiter Sekundärbilder verglichen und jeweils ein Ähnlichkeits­ maß zwischen dem ersten und einem zweiten Sekundärbild errechnet wird, dadurch gekennzeichnet, daß zur Berechnung des Ähnlich­ keitsmaßes zweier Sekundärbilder eine positions- und/oder auflösungsabhängige Gewichtung von Sekundär­ bildkoeffizienten vorgenommen wird, so daß sowohl glo­ bale als auch lokale Übereinstimmungen der Bildvorlage mit einem zweiten Bild das Ähnlichkeitsmaß bestimmen.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß das Ähnlichkeitsmaß nach
mit allein von der Bildauflösung m_i, m_j abhängigen Gewichtungen Cm_im_j der Koeffizienten K_X[m_i,m_j,n_i,n_j] der Sekundärbilder X bestimmt wird, und daß vorzugsweise die auf die Haar-Basis abgestimmte Gewichtung
vorgenommen wird, wobei p die höchste Auflösungsstufe mit der Auflösung 2^p bezeichnet.

10. Zur digitalen Bildverarbeitung und/oder zur Suche in digitalen Bilddatenbanken bestimmte Vorrichtung mit einer Recheneinheit zur Wavelet-Zerlegung digitaler Bilder, gekennzeichnet durch einen Farbtransformierer zur Transformation der Farb- und Helligkeitsskalierung nach Anspruch 1 und/oder 2 und/oder durch einen Bildredu­ zierer zur Reduzierung von Sekundärbildern nach min­ destens einem der Ansprüche 1, 3 und 4, wobei der Farb­ transformierer und der Bildreduzierer mit der Rechen­ einheit und/oder miteinander verbunden sind.

11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, daß der Bildreduzierer ein Grenzwertgeber zur Bildreduzierung nach Anspruch 3 ist.

12. Vorrichtung nach Anspruch 10 oder 11, gekennzeichnet durch einen Sekundärabstandsrechner zum Sekundärbildvergleich in unterschiedlichen Auflösungen derart, daß unterschiedlichen Auflösungen entsprechende Sekundärbildkoeffizienten nach Anspruch 8 oder 9 ge­ wichtet werden.

13. Vorrichtung nach einem der Ansprüche 10 bis 12, gekennzeichnet durch eine Eingabeeinheit zur Eingabe einer Bildvorlage, eine Vorformatiereinheit zur Vor­ formatierung nach Anspruch 6 und/oder eine Ausgabe­ einheit zur Ausgabe eines Suchergebnisses.