DE19837004C1

DE19837004C1 - Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen

Info

Publication number: DE19837004C1
Application number: DE19837004A
Authority: DE
Inventors: Christian Eckes; Efthimia Kefalea; Christoph Von Der Malsburg; Michael Poetzsch; Michael Rinne; Jochen Triesch; Jan C Vorbrueggen
Original assignee: Individual
Current assignee: Individual
Priority date: 1998-08-14
Filing date: 1998-08-14
Publication date: 2000-03-09
Anticipated expiration: 2018-08-15
Also published as: EP1104570A1; US7113641B1; WO2000010119A1; AU5851999A

Abstract

Die Erfindung betrifft ein Verfahren zum automatisierten Erkennen einer oder mehrerer Strukturen in digitalisierten Bilddaten. Das erfindungsgemäße Verfahren umfaßt die Schritte (a) Zurverfügungstellen wenigstens eines Referenzgraphen aus digitalisierten Referenzbilddaten entsprechender Referenzbilder, wobei der oder jeder Referenzgraph eine netzartige Struktur, die jeweils dadurch definiert wird, daß bestimmten Referenzbilddaten Knoten. die durch Links in vorbestimmter Weise miteinander verbunden sind, zugewiesen werden, und Jets, wobei jedem Knoten ein Jet zugeordet ist und jeder Jet wenigstens einen Teiljet umfaßt, der durch Faltungen wenigstens einer Klasse von Filterfunktionen mit verschiedenen Größen und/oder Orientierungen mit den Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Faltungen wenigstens einer Klasse von Filterfunktionen mit verschiedenen Größen und/oder Orientierungen mit farbsegmentierten Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Farbinformation über die Referenzbilddaten an dem bestimmten Knoten oder durch mit statistischen Verfahren gewonnenen Texturbeschreibungen des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch aus zeitlich aufeinanderfolgenden Referenzbildern extrahierten Bewegungsvektoren an dem bestimmten Knoten ermittelt wird, (b) Ermitteln eines optimalen Bildgraphen aus den digitalisierten Bilddaten für jeden Referenzgraphen, wobei der ...

Description

Gebiet der Erfindung

Die Erfindung betrifft ein Verfahren zum automatisierten Erkennen einer oder meh rerer Strukturen bzw. eines oder mehrerer Objekte in digitalisierten Bilddaten.

Stand der Technik

Verfahren zum automatisierten Erkennen eines Objekts in digitalisierten Bilddaten sind im Stand der Technik bekannt.

So ist beispielsweise aus der DE 44 06 020 ein Verfahren zur Gesichtserkennung bekannt. Gemäß diesem Verfahren werden aus einem digitalisierten Bild mit Gabor filtern verschiedener Größe und Orientierung, sogenannte Jets extrahiert, die an den Knoten eines verschiebbaren, skalierbaren und deformierbaren Gitters ange ordnet werden. Dieser Graph, d. h. die Struktur des Gitters und die mit den Knoten des Gitters assoziierten Jets, werden mit einem Referenzgraphen, der die zu erken nende Struktur umfaßt, verglichen. Hierzu wird die optimale Form des Gitters durch eine zweistufige Optimierung einer Graphenvergleichsfunktion bestimmt. In der er sten Phase werden Größe und Position des Graphen simultan optimiert; in der zweiten Phase wird die intrinsische Form des Graphen optimiert.

Es hat sich allerdings gezeigt, daß ein erfolgreiches Erkennen einer Struktur oder eines Objekts mit diesem Verfahren sehr stark von der Qualität, insbesondere der Beschaffenheit des Hintergrunds, der Bilddaten, welche die zu erkennende Struktur beinhalten, abhängt. So können mit diesem Verfahren zwar gute Ergebnisse erzielt werden, wenn die Struktur und das Objekt vor einen neutralen Hintergrund aufge nommen worden sind. In Anwendungen, in denen es jedoch nicht möglich ist, die Bilddaten vor einem neutralen Hintergrund aufzunehmen, können bei dem bekann ten Verfahren allerdings Probleme auftreten, die letztlich dazu führen können, daß Strukturen und Objekte nur mangelhaft erkannt werden.

Aus dem Gebiet der Gesichtserkennung, ist ein weiteres Verfahren bekannt, bei dem der Vergleich zwischen dem mit einer Videokamera aufgenommenen Bild eines Kopfes und mehreren in einer Datenbank in gespeicherten Bildern von Köpfen durch einen flexiblen Abbildungsmechanismus realisiert wird, wobei die bestmögli che Abbildung durch ein Optimierungsverfahren bestimmt wird (siehe Lades et al., IEEE Transactions on Computers, Vol. 42, No. 3, March 1993, 300-311).

Ein Nachteil dieses Verfahrens, ist es allerdings, daß das Verfahren nicht zur Bear beitung großer Datenmengen geeignet scheint. So konnten Lades et al. zwar ein Bild eines Kopfes aus einer Datenbank, die aus Bildern von 87 Personen bestand, erkennen; bei einer Vielzahl von Anwendungen ist allerdings mit wesentlich größe ren Referenzdatenbanken zu rechnen.

Darüber hinaus wurde das Verfahren von Lades et al. nur mit einer speziellen Hardware-Konfiguration, nämlich mit Transputern, d. h. mit mehreren in vorbestimm ter Weise miteinander verschalteten Mikroprozessoren, realisiert.

Aus den Veröffentlichungen "Learning Weights in Discrimination Functions using a priori Constraints" von Norbert Krüger in Mustererkennung 1995, 17. DAGM- Symposium, Bielefeld, Springer-Verlag, Seiten 110-117, und in "Size and Distortion Invariant Object Recognition by Hierarchical Graph Matching" von J. Buhmann, M. Lades, C. v. d. Malsburg in IJCNN II, San Diego 1990, Seiten 411-416, sind außer dem Verfahren offenbart, in denen zum Vergleich von Referenzbilddaten mit digita lisierten Bilddaten diesen von Beginn an Referenzgraphen bzw. ein Bildgraph zu gewiesen werden, und der Vergleich zwischen digitalisierten Bilddaten und den Referenzbilddaten mittels einer Graphenvergleichsfunktion aufgrund der von den Referenzbilddaten von vorneherein zugewiesenen Referenzgraphen und den digi talisierten Bilddaten von vorneherein zugewiesenen Bildgraphen durchgeführt wird.

Die DE 197 26 226 A1, die am 22.06.1997 angemeldet und am 24.12.1998 offenge legt worden ist, offenbart ein Verfahren zum automatisierten Erkennen einer oder mehrerer Strukturen in einem Schnitt durch biologisches Material, insbesondere zum Einsatz in der medizinischen Diagnostik mit den Schritten: (1) Zurverfü gungstellen von Referenzgraphen, die aus digitalisierten Bilddaten entsprechender Referenzschnittbilder resultieren, wobei jeder Referenzgraph eine netzartige Struk tur, die dadurch definiert wird, daß bestimmten Bilddaten Knoten, die durch Links in vorbestimmter Weise miteinander verbunden sind, zugewiesen werden, und Jets aufweist, wobei jedem Knoten ein Jet zugeordnet ist und wobei der einem bestimm ten Knoten zugeordnete Jet durch Faltungen einer einzigen Klasse von Filterfunk tionen mit verschiedenen Größen und Orientierungen mit den Bilddaten des ent sprechenden Referenzschnitts an dem bestimmten Knoten ermittelt wird; (2) Erstel len des Bildes des Schnitts, der jede zu erkennende Struktur umfaßt, derart, daß die Bilddaten in digitalisierter Form vorliegt; (3) Ermitteln eines optimalen Schnittgra phen für jeden Referenzgraphen, wobei der optimale Schnittgraph für einen be stimmten Referenzgraphen die optimale Anpassung an diesen darstellt und ermittelt wird durch: Projizieren der netzartigen Struktur des bestimmten Referenzgraphen in das Bild des Schnitts, wodurch die Struktur des Schnittgraphen definiert wird, und Ermitteln von Jets des Schnittgraphen an den durch seine Struktur definierten Kno ten durch Faltungen der Klasse von Filterfunktionen mit den Größen und den Ori entierungen, die zur Ermittlung der Jets des bestimmten Referenzgraphen verwen det worden sind, mit den Bilddaten des Schnitts, wobei die Projektion der netzarti gen Struktur des bestimmten Referenzgraphen solange variiert wird, bis eine Gra phenvergleichsfunktion, welche die Jets des Schnittgraphen mit den entsprechen den Jets des bestimmten Referenzgraphen vergleicht, optimal wird; und (4) Zuord nen jeder Struktur zu dem Referenzschnittbild, welches dem Referenzgraphen ent spricht, für den die Graphenvergleichsfunktion in bezug auf den für ihn ermittelten optimalen Schnittgraphen optimal ist.

Angesichts dieser Nachteile der Verfahren gemäß dem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, die bekannten Verfahren dahingehend zu verbes sern, daß ihre Robustheit gegenüber weniger optimalen Bilddaten im Vergleich zum bekannten Verfahren erhöht wird, wobei zusätzlich gewährleistet sein soll, daß das Verfahren mit herkömmlichen Mitteln realisiert werden kann.

Beschreibung der Erfindung

Diese oben stehende Aufgabe wird gelöst durch ein Verfahren zum automatisierten Erkennen einer oder mehrerer Strukturen in digitalisierten Bilddaten mit den Schrit ten:

a) Zurverfügungstellen wenigstens eines Referenzgraphen aus digitalisierten Referenzbilddaten entsprechender Referenzbilder, wobei der oder jeder Referenz graph eine netzartige Struktur, die jeweils dadurch definiert wird, daß bestimmten Referenzbilddaten Knoten, die durch Links in vorbestimmter Weise miteinander verbunden sind, zugewiesen werden, und Jets umfaßt, wobei jedem Knoten ein Jet zugeordnet ist und jeder Jet wenigstens einen Teiljet umfaßt, der durch Faltungen wenigstens einer Klasse von Filterfunktionen mit verschiedenen Größen und/oder Orientierungen mit den Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Faltungen wenigstens einer Klasse von Filter funktionen mit verschiedenen Größen und/oder Orientierungen mit farbsegmentier ten Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Farbinformation über die Referenzbilddaten an dem bestimmten Knoten oder durch mit statistischen Verfahren gewonnenen Texturbeschreibungen der Referenzbilddaten an dem bestimmten Knoten oder durch aus zeitlich aufeinan derfolgenden Referenzabbildungen extrahierten Bewegungsvektoren an dem be stimmten Knoten ermittelt wird, und wobei solche Jets ausgeschlossen sind, die nur einen einzigen Teiljet, der durch Faltungen einer Klasse von Filterfunktionen mit verschiedenen Größen und Orientierungen mit den Referenzbilddaten des entspre chenden Referenzbildes an dem bestimmten Knoten, ermittelt worden ist, umfassen
b) Ermitteln eines optimalen Bildgraphen aus den digitalisierten Bilddaten für jeden Referenzgraphen, wobei der optimale Bildgraph für einen bestimmten Refe renzgraphen die optimale Anpassung an diesen darstellt und ermittelt wird durch ein Projizieren der netzartigen Struktur des bestimmten Referenzgraphen in die Bildda ten, wodurch die Struktur des Bildgraphen definiert wird, und Ermitteln von Teiljets des Bildgraphen an den durch seine Struktur definierten Knoten, wobei die Teiljets mindestens einem Teil der ermittelten Teiljets des bestimmten Referenzgraphen entsprechen, und wobei die Projektion der netzartigen Struktur des bestimmten Re ferenzgraphen, so lange variiert wird, bis eine Graphenvergleichsfunktion, welche die Jets des Bildgraphen mit den entsprechenden Jets des bestimmten Referenz graphen vergleicht, optimal wird,
c) Zuordnen der oder jeder Struktur zu dem Referenzbild, das dem Referenzgra phen entspricht, für den die Graphenvergleichsfunktion in Bezug auf den für ihn er mittelten optimalen Bildgraphen optimal ist.

Durch dieses Verfahren kann gleichzeitig qualitativ unterschiedliche Bildinformati on, wie sie beispielsweise Faltungen der Klasse/Klassen von Filterfunktionen mit beliebigen Größen und/oder Orientierungen mit den Bilddaten und/oder Faltungen der Klasse/Klassen von Filterfunktionen mit beliebigen Größen und/oder Orientie rungen mit farbsegmentierten Bilddaten und/oder Farbinformation über die Bilddaten und/oder durch mit statistischen Verfahren gewonnenen Texturbeschreibungen der Bilddaten und/oder durch aus zeitlich aufeinanderfolgenden Abbildungen extrahier ten Bewegungsvektoren darstellen, genutzt werden. Dies führt dazu, daß gegenüber dem Stand der Technik eine verbesserte Strukturerkennungsrate verwirklicht wer den kann.

Außerdem läßt sich durch die Kombination qualitativ unterschiedlicher Bildinformati on eine höhere Robustheit gegenüber den aus dem Stand der Technik bekannten Verfahren erzielen.

Gemäß einer Weiterbildung der Erfindung können weiterhin mehrere Referenzgra phen zur Verfügung gestellt werden, und diejenigen Referenzgraphen, welche netz artige Strukturen aufweisen, die topologisch identisch sind, d. h. sich nur durch die Längen einander entsprechender Links unterscheiden, können zu einem Referenz bündelgraphen zusammengefaßt werden. Ein derartiger Referenzbündelgraph um faßt hierbei eine netzartige Struktur, die durch Knoten, welche den Knoten der Refe renzgraphen entsprechen, und durch Links, die durch Mittelung der entsprechenden Links der Referenzgraphen ermittelt werden, definiert wird, und Bündeljets, wobei jeder Bündeljet aus den Teiljets, die den Jets an den jeweiligen Knoten der in dem Referenzbündelgraphen zusammengefaßten Referenzgraphen entsprechen, zu sammengesetzt wird. Weiterhin wird gemäß dieser Weiterbildung ein optimaler Bild graph für den oder jeden Referenzbündelgraphen ermittelt. Hierbei stellt der opti male Bildgraph für einen bestimmten Referenzbündelgraphen die optimale Anpas sung an diesen dar und wird ermittelt durch ein Projizieren der netzartigen Struktur des bestimmten Referenzbündelgraphen in die Bilddaten, wodurch die Struktur des Bildgraphen definiert wird, und ein Ermitteln von Teiljets, die mindestens einem Teil der Teiljets entsprechen, die zur Ermittlung der Teiljets der dem bestimmten Refe renzbündelgraphen zugrunde liegenden Referenzgraphen verwendet worden sind. Weiterhin wird die Projektion der netzartigen Struktur des bestimmten Referenzbün delgraphen, so lange variiert, bis eine Graphenvergleichsfunktion, welche die Jets des Bildgraphen mit den entsprechenden Bündeljets des bestimmten Referenzbün delgraphen vergleicht, optimal wird, wobei Teiljets des Bildgraphen mit Teiljets in dem entsprechenden Bündeljet des bestimmten Referenzbündelgraphen verglichen wird. Schließlich wird jede Struktur dem Referenzbild zugeordnet, das dem Refe renzgraphen bzw. dem Referenzgraphen aus dem oder den Referenzbündelgra phen entspricht, für den die Graphenvergleichsfunktion in Bezug auf den für ihn er mittelten optimalen Bildgraphen optimal ist.

Durch die Verwendung von Referenzbündelgraphen können bei gleicher Anzahl von Referenzbildern die Menge der für den Vergleich zur Verfügung stehenden Struktu ren erhöht werden, oder anders ausgedrückt erlaubt es ein Referenzbündelgraph eine komplexe Strukturobjektklasse mit wenigen Beispielen zu repräsentieren. Au ßerdem können durch Referenzbündelgraphen solche Strukturobjektklassen durch Beispiele von Individuen modelliert werden.

Hierbei kann, in Abhängigkeit von der jeweiligen Anwendung, also von den zu er kennenden Strukturen, lediglich ein Teil der zur Verfügung gestellten Referenzgra phen zu einem oder zu mehreren Referenzbündelgraphen zusammengefaßt wer den. Hierdurch können Sonderfälle innerhalb einer Objektklasse separat behandelt werden oder unberücksichtigt bleiben.

Alternativ lassen sich auch alle zur Verfügung gestellten Referenzgraphen zu einem oder zu mehreren Referenzbündelgraphen zusammenfassen.

Die vorstehend beschriebenen Verfahren können derart weitergebildet werden, daß die Struktur der den Knoten zugeordneten Jets, die durch die Teiljets bestimmt ist, vom jeweiligen Knoten abhängig ist.

Hierdurch läßt sich ein a priori Wissen über die zu erkennenden Strukturen ausnüt zen. So kann beispielsweise bestimmte Bildinformation nur in einem Bereich, in dem sie tatsächlich signifikant ist, ausgewertet werden. Weiterhin können beispielsweise Kantenfilter am Strukturrand eingesetzt werden.

Alternativ kann die Struktur der den Knoten zugeordneten Jets, die durch die Teiljets bestimmt ist, für alle Knoten identisch sein.

Diese Weiterbildung zeichnet sich insbesondere dadurch aus, daß sie eine homo gene Datenstruktur aufweist. Demnach kann das Verfahren durch eine relativ einfa che Hard- und/oder Softwareimplementierung realisiert werden.

In den zuvor beschriebenen Verfahren läßt sich vorteilhafterweise eine Graphenver gleichsfunktion einsetzen, die eine Jetvergleichsfunktion umfaßt, welche die Ähn lichkeit der einander entsprechenden Jets berücksichtigt.

Darüber hinaus kann die Graphenvergleichsfunktion eine Vergleichsfunktion für die netzartige Struktur umfassen, welche die metrische Ähnlichkeit des Bildgraphen mit dem entsprechenden Referenzgraphen bzw. dem entsprechenden Referenzbündel graphen berücksichtigt. Zweckmäßigerweise wird die Graphenvergleichsfunktion in diesem Fall als gewichtete Summe der Jetvergleichsfunktion und der Vergleichs funktion für die netzartige Struktur definiert.

Die Jetvergleichsfunktion kann als Funktion von Einzeljetvergleichsfunktionen ein ander entsprechender Jets definiert werden.

Hierzu kann die Jetvergleichsfunktion vorteilhafterweise als gewichtete Summe aus den Einzeljetvergleichsfunktionen und/oder als gewichtetes Produkt aus den Ein zeljetvergleichsfunktionen definiert werden.

Zweckmäßigerweise lassen sich zur Ermittlung eines Einzeljetvergleichs Teiljets der entsprechenden Jets berücksichtigen, und eine Einzeljetvergleichsfunktion als Funktion von Teiljetvergleichsfunktionen definieren.

Vorteilhafterweise kann die Einzeljetvergleichsfunktion als gewichtete Summe der Teiljetvergleichsfunktionen und/oder als gewichtetes Produkt der Teiljetvergleichs funktionen.

Insbesondere können auch unterschiedliche, knotenabhängige bzw. Einzeljetver gleichsfunktionen bzw. Teiljetvergleichsfunktionen eingesetzt werden.

Im Zusammenhang mit den obenbeschriebenen Referenzbündelgraphen können die Bündeljets des Referenzbündelgraphen B^M in Teilbündeljets j M|n geteilt werden, und die Jetvergleichsfunktion zwischen den Teilbündeljets j M|n des Referenzbündel graphen und den entsprechenden Teiljets j_n' des Bildgraphen G' für n Knoten für m Rekursionen gemäß folgender Formeln berechnet werden:

w_n ein Wichtungsfaktor für den n-ten Knoten n ist und die Vergleichsfunk tion S_n(B M|n, J_n') für den n-ten Knoten des Referenzbündelgraphen mit dem n-ten Knoten des Bildgraphen gegeben ist durch:

In diesem Fall können die Teilbündeljets des oder der Referenzbündelgraphen nur Merkmale enthalten, die durch Faltungen wenigstens einer Klasse von Filterfunktio nen mit verschiedenen Größen und/oder Orientierungen mit den Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Faltun gen wenigstens einer Klasse von Filterfunktionen mit verschiedenen Größen und/oder Orientierungen mit farbsegmentierten Referenzbilddaten des entspre chenden Referenzbildes an dem bestimmten Knoten oder durch Farbinformation über die Referenzbilddaten an dem bestimmten Knoten oder durch mit statistischen Verfahren gewonnenen Texturbeschreibungen des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch aus zeitlich aufeinanderfolgenden Referenz bildern extrahierten Bewegungsvektoren an dem bestimmten Knoten ermittelt wor den sind.

Alternativ können die Teilbündeljets des oder der Referenzbündelgraphen nur Merkmale enthalten, die aus einem Referenzgraphen resultieren.

Darüber hinaus können die Teilbündeljets des oder der Referenzgraphenbündel auch Mischungen aus diesen beiden zuvor genannten Merkmalen umfassen.

Diese unterschiedlichen Vergleichsfunktionen ermöglichen es, das Verfahren an wendungsorientiert so zu optimieren, daß eine möglichst hohe Erkennungsrate und eine möglichst hohe Geschwindigkeit erzielt wird.

Gemäß einer bevorzugten Weiterbildung der oben beschriebenen Verfahren kann nach dem Erkennen jeder Struktur ein Schritt zur Ermittlung der Signifikanz des Er kennung vorgesehen werden. Hierzu kann beispielsweise ein Schätzer verwendet werden, der sowohl die optimale Graphenvergleichsfunktion als auch die nicht opti malen Graphenvergleichsfunktionen berücksichtigt.

Besonders zeichnet sich hierbei ein Schätzer aus, bei dem der Abstand der Werte der nicht optimalen Graphenvergleichsfunktionen von dem Wert der optimalen Gra phenvergleichsfunktion ermittelt wird.

Durch diese Maßnahmen erhält man neben der Objekt- bzw. Strukturerkennung auch eine Angabe über die Qualität der Strukturerkennung.

Gemäß einer weiteren vorteilhaften Weiterbildung der zuvor genannten Verfahren, kann jede Struktur den Referenzbildern zugeordnet werden, die den Referenzgra phen bzw. den Referenzgraphen aus den Referenzbündelgraphen entsprechen, für die die Werte der Graphenvergleichsfunktionen in einem vorbestimmten Bereich liegen. Falls die Werte nicht in dem vorbestimmten Bereich liegen, bedeutet dies, daß eine Struktur nicht hinreichend identifiziert werden kann. Demnach eignet sich diese Weiterbildung für Anwendungen, in denen aufgrund des Erkennungsvorgangs Entscheidungen getroffen werden sollen, wie beispielsweise bei einer Zugangskon trolle.

Vorteilhafterweise kann in den vorstehend beschriebenen Verfahren die Farbinfor mation aus den Referenzbilddaten bzw. den Bilddaten ermittelte Farbtonwerte und/oder Farbsättigungswerte und/oder Helligkeitswerte umfassen.

Obwohl die Referenzgraphen bzw. die Referenzbündelgraphen vor jeder Anwen dung neu berechnet werden können, was bei Anwendungen zweckmäßig ist, in den sich die Referenzdaten häufig ändern, insbesondere aktualisiert werden, ist es in den meisten Anwendungen zweckmäßig, daß der Schritt des Zurverfügungstellens der Referenzgraphen bzw. der Referenzbündelgraphen das Abrufen der Referenz graphen bzw. der Referenzbündelgraphen aus einer zentralen Datenbank und/oder einer dezentralen Datenbank, wie beispielsweise von Chipkarten, umfaßt.

In den oben beschriebenen Verfahren kann gemäß einer bevorzugten Weiterbildung die netzartige Struktur des Referenzgraphen in Form eines regelmäßigen Gitters verwendet werden, dessen Knoten und Links rechtwinklige Maschen bilden.

Alternativ kann als netzartige Struktur des Referenzgraphen ein unregelmäßiges Gitter verwendet wird, dessen Knoten und Links an die zu erkennende Struktur an gepaßt sind. Hierbei können den Knoten charakteristische Punkte, sogenannten Landmarken, der zu erkennenden Struktur zugeordnet werden.

In dieser Weiterbildung werden die Jets demnach an den charakteristischen Punk ten der Struktur ermittelt. Dadurch werden in erster Linie die charakteristischen Punkte beim Vergleich der Bilddaten mit den Referenzdaten berücksichtigt, wodurch die Signifikanz, mit der eine Struktur erkannt wird, erhöht werden kann.

Vorzugsweise können in den oben beschriebenen Verfahren als Klasse der Filter funktionen zur Faltung mit den Referenzbilddaten bzw. Bilddaten und/oder als Klas se der Filterfunktionen zur Faltung mit den farbsegmentierten Referenzbilddaten bzw. Bilddaten Gabor-Filterfunktionen und/oder Mallat-Filterfunktionen verwendet werden.

Gemäß einer bevorzugten Weiterbildung der beschriebenen Verfahren kann die Projektion der netzartigen Struktur des bestimmten Referenzgraphen bzw. des be stimmten Referenzbündelgraphen eine Zentrierung des Referenzgraphen bzw. des bestimmten Referenzbündelgraphen in der Abbildung umfassen.

Es hat sich weiterhin als vorteilhaft erwiesen, wenn die Projektion der netzartigen Struktur des bestimmten Referenzgraphen bzw. des bestimmten Referenzbündel graphen eine Verschiebung und/oder eine Drehung des zentrierten Referenzgra phen bzw. des zentrierten Referenzbündelgraphen umfaßt.

Hierdurch kann ein Erkennen der Struktur beschleunigt werden.

Insbesondere kann die Projektion der netzartigen Struktur des bestimmten Refe renzgraphen bzw. des bestimmten Referenzbündelgraphen eine Skalierung des zentrierten Referenzgraphen bzw. des zentrierten Referenzbündelgraphen umfas sen. Hierdurch kann insbesondere die Signifikanz und Geschwindigkeit eines Er kennens erhöht werden, wenn die zu erkennende Struktur in den Bilddaten und den Referenzdaten eine unterschiedliche Größe aufweist.

Die Verschiebung und/oder die Drehung sowie die Skalierung des zentrierten Refe renzgraphen bzw. des zentrierten Referenzbündelgraphen können hierbei simultan durchgeführt werden, wodurch das Erkennen einer Struktur beschleunigt werden kann.

Weiterhin kann die Projektion der netzartigen Struktur lokale Verzerrungen des zen trierten Referenzgraphen umfassen. Diese Ausführung eignet sich insbesondere, wenn Bilddaten und Referenzdaten unter verschiedenen Aufnahmewinkeln aufge nommen worden sind.

Eine derartige lokale Verzerrung kann zweckmäßigerweise durch eine lokale Ver schiebung eines entsprechenden Knotens des zentrierten Referenzgraphen bewirkt werden.

Vorteilhafterweise können die Verschiebung bzw. die Skalierung bzw. die Drehung aus dem Vergleich des Bildgraphen mit dem entsprechenden Referenzgraphen bzw. dem entsprechenden Referenzbündelgraphen ermittelt werden. Dies führt zu einer wesentlichen Erhöhung der Geschwindigkeit des Erkennens.

Weitere bevorzugte Ausgestaltungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung bevorzugter Ausführungsformen des erfindungsgemäßen Verfahrens, die im folgenden unter Bezugnahme auf die Zeichnung beschrieben werden.

In der Zeichnung zeigen:

Fig. 1 eine Abbildung einer Handstellung mit einem Referenzgraphen zur Er läuterung einer Ausführungsform der Erfindung;

Fig. 2 den Referenzgraphen von Fig. 1;

Fig. 3 eine schematische Darstellung zur Ermittlung eines Graphen aus einer Referenzabbildung gemäß einer Ausführungsform der Erfindung;

Fig. 4 eine schematische Darstellung zur Erläuterung einer weiteren Ausfüh rungsform der Erfindung;

Fig. 5 Abbildungen von Handstellungen, aus denen eine Referenzgraphen- Datenbank ermittelt wurde;

Fig. 6 Beispiele von Abbildungen einer Handstellung mit verschiedenen Hin tergründen, die mit den Abbildungen von Fig. 4 mittels einer Ausführung des erfindungsgemäßen Verfahrens verglichen wurde.

Im folgenden werden die verschiedenen Ausführungsformen der Erfindung an hand eines Verfahrens zum Erkennen der Stellung einer Hand, im folgenden als Handstellung bezeichnet, beschrieben. Diese Beschreibung ist allerdings nicht als Einschränkung zu verstehen, sondern nur als ein Beispiel eines Verfahrens zum Erkennen von Strukturen bzw. Objekten in Abbildungen.

In Fig. 1 ist als Beispiel eine Abb. 20 einer Hand in einer bestimmten Stel lung dargestellt.

Zur Durchführung des erfindungsgemäßen Verfahrens muß die Abb. 20 in digitalisierter Form vorliegen. Die digitalisierte Form kann hierbei entweder aus dem verwendeten Aufnahmeverfahren direkt resultieren, beispielsweise bei Ver wendung einer CCD-Kamera, oder muß durch Konvertierung eines analogen Bil des, wie beispielsweise einer herkömmlichen Fotografie, digitalisiert werden.

Ein digitalisiertes Bild liegt typischerweise in der Form eines Pixelfeldes einer vorbestimmten Größe vor. Jedem Pixel ist hierbei eine horizontale und eine verti kale Position zugeordnet. Deshalb wird im folgenden unter dem Pixel das Pixel verstanden, dem die Position zugeordnet worden ist. Weiterhin ist jedem Pixel ein Grauwert und/oder Farbinformationswert, wie beispielsweise ein HSI- Wert zugewiesen.

Aus der digitalisierten Abb. 20 bzw. den der digitalisierten Abbildung ent sprechenden Bilddaten wird nun im Rahmen des erfindungsgemäßen Verfahrens an vorbestimmten Pixeln lokale Bildinformation, sogenannte Merkmale, die ihrer seits zu sogenannten Jets zusammengefaßt werden, extrahiert. Diese extrahier ten Merkmale werden in Form eines Graphen angeordnet.

Die vorbestimmten Pixel werden dadurch erhalten, daß zunächst eine netzförmi ge Struktur 21, die im folgenden der Einfachheit halber als Gitter bezeichnet wird, in die Abb. 20 projiziert wird.

Wie aus Fig. 2, welche dieses Gitter 21 im Detail zeigt, ersichtlich, umfaßt das in der ersten Ausführungsform verwendete Gitter 15 Knotenpunkte 22a, 22b, 22c, ... und 19 Links, d. h. Verbindungen zwischen jeweils zwei Knotenpunkten. In Fig. 2 sind die Links zwischen den Knotenpunkten 22a und 22b bzw. 22b und 22c mit den Bezugszeichen 23ab und 23bc versehen.

Schließlich werden die vorbestimmten Pixel dadurch erhalten, daß die Pixel, die der Projektion der Knotenpunkte entsprechen, bestimmt werden.

In der ersten Ausführungsform wird ein objektangepaßtes Gitter verwendet, d. h. die Knotenpunkte werden charakteristischen Punkten in der Abbildung zugeord net. Zum Erkennen der Stellung einer Hand sind die Knotenpunkte, wie in Fig. 1 zu sehen ist, demnach den beiden Fingern und dem Handrücken zugeteilt.

Die Erfindung ist allerdings nicht auf derartige objektangepaßte Gitter beschränkt. Es lassen sich vielmehr auch Gitter im eigentlichen Sinn, also regelmäßige Gitter verwenden. Die Entscheidung, welche Gitterform zweckmäßig ist, hängt von der jeweiligen Anwendung ab. Objektangepaßte Gitterformen führen gegenüber re gelmäßigen Gittern in der Regel zu einer signifikanteren Erkennung, sind aller dings in ihrer Handhabung komplizierter.

In Fig. 3 ist eine schematische Darstellung gegeben, anhand der erklärt wird, wie man aus der Abb. 20 eine Darstellung in Graphenform erhält, die, wie noch erläutert wird, mit anderen Graphen, insbesondere mit Referenzgraphen, vergli chen ωerden kann.

Nachdem durch das Gitter bestimmte Pixel festgelegt sind, wie in Fig. 3(a) ge zeigt, wird die Extraktion der Merkmale in diesen Pixeln wie folgt durchgeführt.

In der ersten Ausführungsform werden zwei verschiedene Klassen 28 und 29 von Merkmalen zum Vergleich der Abbildung mit einer Referenzabbildung verwendet.

Die erste Klasse von Merkmalen 28a, ..., 28i ist als das Ergebnis einer Faltung der Abbildung an einem vorbestimmten Pixel mit einer gegebenen Filterfunktion definiert.

Gemäß der ersten Ausführungsform werden hierbei sogenannte komplexe Ga bor-Filter als Filterfunktionen verwendet. Diese Filter lassen sich durch folgende Formel darstellen:

Die durch Gleichung (1) dargestellten Gabor-Filter haben die Form einer durch einen Wellenvektor _j beschriebenen ebenen Welle, die durch eine Gauß- Funktion mit einer Breite σ/k beschränkt ist, wobei σ = 2π. Durch Wahl des Wellenvektors _j kann die Größe und die Orientierung der Filterfunktion bestimmt werden.

Darüber hinaus erfüllen die Filterfunktionen die Bedingung:

In Fig. 3(c) sind mit 24a und 24b die Realteile zweier derartiger verschiedener Filterfunktionen dargestellt. Der Wert 0 ist hierbei durch ein mittleres Grau darge stellt; positive Werte sind heller und negative Werte sind dunkler. Die in Fig. 3(c) dargestellte Filterfunktion 24a hat hierbei eine niedrige Frequenz bzw. einen klei nen Wellenvektor _j mit einer Orientierung von ungefähr 60 Grad gegenüber der Horizontalen. Die Filterfunktion 24b hat eine größere Frequenz bzw. einen größe ren Wellenvektor _j mit einer Orientierung von ungefähr 90 Grad gegenüber der Horizontalen.

Für einen vorgegebenen Wellenvektor _j, d. h. durch Wahl der Größe und der Orientierung der Filterfunktion, läßt sich somit das Merkmal J_j() an einem vor bestimmten Pixel berechnen durch:

I() bezeichnet hierin die Intensität.

In Abhängigkeit von dem Wellenvektor _j können nun für jedes Pixel verschie dene Merkmale J_j() berechnet werden, die in der ersten Ausführungsform in ei nem Teiljet für das Pixel zusammengefaßt werden.

In den Abbildungen in Fig. 3(d), die mit 26a bzw. 26b bezeichnet sind, sind die Ergebnisse der Faltungen der Abb. 20 mit den Filterfunktionen 24a bzw. 24b für alle Pixel gezeigt.

Stellt man den Wellenvektor _j dar durch:

wobei ν der Größenindex und µ der Orientierungsindex der Filterfunktion sind, werden entsprechend der ersten Ausführungsform die Merkmale für die Indizes µ ∈ {0, ..., 7} und ν ∈ {0, ..., 4} in einem Teiljet 28 des Jets 27 zusammengefaßt.

Insgesamt umfaßt der Teiljet 28 für das Pixel somit n = 40 Merkmale.

In Fig. 3 ist ein Teil dieser Merkmale schematisch in dem Teiljet 28 dargestellt. Hierbei sind die Merkmale 28a, 28b und 28c durch eine Filterfunktionen mit kon stanter Größe und, wie durch die Schraffur dargestellt, mit unterschiedlicher Ori entierung erhalten worden. Gleiches gilt für die Merkmale 28d, 28e und 28f sowie 28g, 28h und 28i. Im Vergleich zu den Merkmalen 28a, 28b und 28c resultieren die Merkmale 28d, 28e und 28f sowie 28g, 28h und 28i aus einer Faltung mit ei ner kleineren Filterfunktion.

Neben den oben beschriebenen Gabor-Filterfunktionen lassen sich auch beliebi ge andere Filterfunktionen einsetzen. Als ein weiteres Beispiel einer Filterfunkti onsklasse werden entsprechend einer weiteren Ausführungsform der Erfindung sogenannte Mallat-Filter verwendet werden.

Die Faltung der Abbildung mit diesen Mallat-Filtern läßt sich durch folgende For mel darstellen:

wobei _* die Faltungsoperation bezeichnet, h und v für horizontal und vertikal stehen und s_i(s_i = s₀2ⁱ,i ∈ N) die Breite einer Gauß-Funktion darstellt, deren Ab leitungen als Filterfunktionen verwendet werden.

Die zweite Klasse von Merkmalen 29a, ..., 29i ist als Ergebnis einer Faltung an einem vorbestimmten Pixel von Daten, die aus einer herkömmlichen Farbraum segmentierung der Bilddaten resultieren, mit einer gegebenen Filterfunktion defi niert. Im vorliegenden Fall wurde die Farbraumsegmentierung bezüglich der Hautfarbe durchgeführt. Selbstverständlich kann die Farbraumsegmentierung, in Abhängigkeit von der Anwendung bezüglich anderer Farben durchgeführt wer den. In Fig. 3(b) sind die Bilddaten 22 nach der Farbraumsegmentierung darge stellt.

In der vorliegenden Ausführungsform wurde die Faltung der farbraumsegmen tierten Daten analog zur Faltung der Bilddaten, d. h. mit denselben Gabor-Filtern gleicher Größe und Orientierung durchgeführt. Daher erübrigt sich eine detaillierte Beschreibung dieser Faltungsoperation und es wird in diesem Zusammenhang auf die entsprechenden Abschnitte zur Faltung der Bilddaten mit den Gabor- Filtern verwiesen.

In diesem Zusammenhang bleibt noch anzumerken, daß in Fig. 3(e) die mit den Filterfunktionen gefalteten farbraumsegmentierten Bilddaten dargestellt sind. Die Abb. 25a und 25b in Fig. 3(e) stellen hierbei die Realteile einer Faltung der farbsegmentierten Bilddaten mit den Filtern dar, deren Realteile in Fig. 3(c) mit 24a und 24b bezeichnet sind.

Analog zu den durch Faltung der Bilddaten mit den Gabor-Filtern resultierenden Merkmale werden auch die durch Faltung der farbraumsegmentierten Bilddaten mit den Gabor-Filtern erhaltenen Merkmale in einem Teiljet 29 zusammengefaßt. Da der Größenindex und der Orientierungsindex der Filterfunktionen in dieser Ausführungsform wie oben beschrieben gewählt worden ist, enthält der Teiljet 29 ebenfalls n = 40 Merkmale für das Pixel , von denen die Merkmale 29a, ..., 29i repräsentativ dargestellt sind.

Selbstverständlich können auch in diesem Fall anstelle der Gabor-Filter andere Filterfunktionen, wie beispielsweise die bereits genannten Mallat-Filter eingesetzt werden.

Die Teiljets 28 und 29 bilden den Jet 27 in der ersten Ausführungsform. Der Jet 27 umfaßt in dieser Ausführungsform schließlich 80 Merkmale.

Führt man die Extraktion der Merkmale an allen Gitterpunkten durch, erhält man schließlich den erwünschten Graphen, der die Struktur des Gitters 21 widerspie gelt und die Jets an den Punkten, die den Gitterpunkten entsprechen, aufweist.

Gemäß einer weiteren Ausführungsform werden als zweite Klasse nicht die Fal tungen der Filterfunktionen mit den farbsegmentierten Daten sondern aus den Bilddaten erhaltene Farbinformation, wie beispielsweise Farbton, Farbsättigung und Intensität (HSI) für das Pixel verwendet. Ein einzelner Jet setzt sich gemäß dieser Ausführungsform demnach aus 40 Merkmalen, die aus der oben beschrie benen Faltung der Bilddaten mit den Gaborfilterfunktionen resultieren und aus dem HSI-Tripel zusammen und umfaßt somit 43 Merkmale.

Als Vergleichsfunktion zwischen zwei HSI-Tripeln wird zweckmäßigerweise ein gewichteter euklid'scher Abstand im HSI-Farbraum verwendet.

Darüber hinaus setzt sich in einer weiteren Ausführungsform ein Jet aus drei Klassen zusammen. Die erste Klasse umfaßt die Merkmale, die aus der Faltung der Bilddaten mit den Gabor-Filtern resultieren (Gabor-Merkmale); die zweite Klasse umfaßt die Merkmale, die aus der Faltung der farbraumsegmentierten Bilddaten mit den Gabor-Filtern resultieren (Farbgabor-Merkmale); und die dritte Klasse umfaßt die aus den Bilddaten gewonnenen HSI-Tripel (Farbinformation).

Gemäß einer weiteren Ausführungsform kann alternativ oder zusätzlich zu den oben beschriebenen Klassen eine Texturbeschreibung, die durch statistische Verfahren gewonnen wird, verwendet werden. Derartige Texturbeschreibungen sind beispiels weise der mittlere Grauwert, die Varianz der Grauwertverteilung, die Kovarianzma trix der Grauwertverteilung, die Entropie, die Orientierung der Grauwertstruktur, mittlere Skalen der Struktur in verschiedenen Richtungen, die Variationsbreite der lokalen Orientierung, die Variationsbreite der räumlichen Skalen, die Reihenfolge und die Anordnung verschiedener Strukturelemente.

Darüber hinaus, wiederum alternativ oder zusätzlich zu den oben beschriebenen Klassen werden in einer weiteren Ausführungsform Bewegungsvektoren (Verschiebungsvektoren) als Klasse definiert. Derartige Bewegungsvektoren lassen sich durch differentialgeometrische Methoden (differentielle Verfahren), Korrelati onsverfahren und Filterverfahren aus zwei aufeinanderfolgenden Abbildungen be rechnen. Darüber hinaus ist es auch möglich, Bewegungsvektoren aus zwei Gabor- Jets zu berechnen.

Neben den im Detail beschriebenen Ausführungsformen sind, in Abhängigkeit von dem Anwendungsgebiet, d. h. von der Struktur, der Qualität und der Komple xität des Inhalts der zu vergleichenden Bilddaten, eine Vielzahl von Kombinati onsmöglichkeiten der oben beschriebenen Klassen möglich. So können insbe sondere auch die Merkmale von lediglich einer der oben beschriebenen fünf Klassen zum Vergleich verwendet werden. Es ist insbesondere auch möglich, daß Merkmale, die aus Faltungen der Bilddaten mit einer ersten Filterklasse re sultieren, die erste Klasse definieren, und Merkmale, die aus Faltungen der Bild daten mit einer zweiten Filterklasse resultieren, die zweite Klasse definieren.

Im folgenden wird beschrieben, wie eine Abbildung mit einer Referenzabbildung verglichen wird. Hierbei bezieht sich das Präfix "Vergleichs-" jeweils auf die auf genommene Abbildung, in der die Struktur oder das Objekt erkannt werden soll.

Zunächst muß eine Referenzabbildung in Form eines Graphen, d. h. in Form ei nes Referenzgraphen, zur Verfügung gestellt werden. Dies kann beispielsweise durch Abrufen des Referenzgraphen aus einer zentralen Datenbank oder einer dezentralen Datenbank, beispielsweise von Chipkarten, geschehen.

Beim Erstellen der Datenbank wird dieser Referenzgraph G nach einem der oben beschriebenen Verfahren ermittelt. Im vorliegenden Fall wird demnach ein Gitter, wie es beispielsweise in Fig. 2 dargestellt ist, in die Referenzabbildung projiziert. An den Knotenpunkten des Gitters werden, wie ebenfalls bereits oben erläutert, die Jets ermittelt. Hierbei sollten die Jets der Referenzgraphen zumindest die Merkmalsklassen enthalten, die auch für den Vergleichgraphen ermittelt werden sollen.

Im nächsten Schritt projiziert man das Gitter der Referenzabbildung (Referenzgitter) in die Vergleichsabbildung und berechnet die diesem Gitter ent sprechenden Jets für das Vergleichsbild. Hierbei sind zumindest teilweise Filter funktionen, d. h. dieselbe Klasse von Filterfunktionen, dieselben Größen und/oder dieselben Orientierungen, mit denen der Referenzgraph erstellt worden ist, zu verwenden. Die derart berechneten Jets bilden zusammen mit der Struktur des projizierten Gitters schließlich den Vergleichsgraphen G'.

Zur Projektion des Referenzgitters in die Vergleichsabbildung lassen sich in Ab hängigkeit von den zu erwartenden Unterschieden zwischen Referenzabbildun gen und Vergleichsabbildungen verschiedene Abbildungen einsetzen.

Die einfachste Projektion, nämlich eine Zentrierung des Referenzgitters in der Vergleichsabbildung, eignet sich beispielsweise, wenn Referenzabbildung und Vergleichsabbildung dieselbe Größe und Position in bezug auf das Bildzentrum haben und unter demselben Winkel aufgenommen worden sind.

Zu dieser einfachen Projektion können wahlweise die folgenden Projektionen ausgeführt werden.

Eine Verschiebung des Referenzgitter in seiner Gesamtheit:

Diese Abbildung eignet sich, wenn die Positionen von Referenzabbildung und Vergleichsabbildung in bezug auf das Bildzentrum unterschiedlich sind.

Eine Skalierung des Referenzgitters:

Diese Abbildung kann vorgesehen werden, wenn die Größen von Referenzabbil dung und Vergleichsabbildung unterschiedlich sind.

Eine Drehung des Referenzgitters:

Ein Drehung läßt sich in dem Fall einsetzen, in dem Referenzabbildung und Ver gleichsabbildung gegeneinander verdreht sind.

Eine lokale Verzerrung des Referenzgitters:

Bei dieser Abbildung werden jeweils einzelne Gitterpunkte gegenüber ihrer Posi tion im Referenzgitter verschoben. Diese Abbildung eignet sich insbesondere, wenn zu erwarten ist, daß die Vergleichsabbildung gegenüber der Referenzabbil dung lokale Verzerrungen aufweist.

Selbstverständlich sind auch beliebige Kombinationen der oben beschriebenen Projektionen möglich.

Die Bewertung der Ähnlichkeit beider Graphen, wird mittels einer Graphenver gleichsfunktion durchgeführt, die folgende allgemeine Form aufweist:

S = S_Jet + λS_Metrik. (6)

S_Jet bezeichnet hierbei die Jetvergleichsfunktion, d. h. eine geeignete Funktion, welche die Ähnlichkeit der Jets an korrespondierenden Punkten der beiden Gra phen bewertet, und S_Metrik bezeichnet eine geeignete Funktion, welche die Ähn lichkeit der Metrik der beiden Gitter miteinander vergleicht. S_Metrik hängt hierbei stark von der verwendeten Projektion ab.

λ(λ ≧ 0) bezeichnet die Gewichtung der beiden Vergleichsfunktion zueinander. λ kann auch gleich Null gesetzt werden; dies bedeutet, daß die Ähnlichkeit der Metrik der Graphen nicht berücksichtigt wird. Dieser Wert bietet sich insbesonde re an, wenn lediglich Zentrierung oder Verschiebung als Projektion gewählt wer den, oder anders ausgedrückt, wenn die Topologie von Referenzgraph und Ver gleichsgraph identisch ist.

Zur Berechnung der Jetvergleichsfunktion S_Jet sind zunächst die Vergleichsfunk tionen der Teiljets für die jeweiligen Klassen k zu berechnen. Im Fall der ersten Ausführungsform, deren Merkmale aus einer Faltung der Bilddaten und der im Farbraum segmentierten Bilddaten mit Gabor-Filtern resultieren, wäre k = 2.

Zur Bewertung der Ähnlichkeit zweier korrespondierender Teiljets j_k und j_k' der Jets j bzw. j' des Referenzgraphen G bzw. des Vergleichsgraphen G', wird eine Teiljetvergleichsfunktion verwendet, d. h. eine Funktion, die von den Amplituden a_j und a_j' der beiden Teiljets abhängt und die folgende Form hat:

Die vorliegende Erfindung ist allerdings nicht auf diese Vergleichsfunktion be schränkt, es kann auch eine phasenempfindliche Vergleichsfunktion eingesetzt werden, beispielsweise mit folgender Form:

wobei _j der Wellenvektor der entsprechenden Gabor-Filter ist und ein ge schätzter Verschiebungsvektor ist, der schnelle Phasenverschiebungen kompen siert. wird dadurch bestimmt, daß S_ϕ in seiner Taylorentwicklung innerhalb ei nes kleinen Quadrats, daß in = 0 zentriert ist, maximiert wird. Der Term . _j mit dem geschätzten Verschiebungsvektor kompensiert schließlich schnelle Phasenverschiebungen aufgrund kleiner Variationen in den Positionen und ' der zwei Jets, die miteinander verglichen werden.

a_j() und ϕ_j()ergeben sich hierbei aus J_j() = a_j()exp(iϕ_j()).

Aus den Teiljetvergleichsfunktionen für die einander entsprechenden Teiljets, al so für die Merkmale einer Klasse, läßt sich eine Einzeljetvergleichsfunktion für entsprechende einzelne Jets bilden:

S(J, J') = Ω({S_k(j_k, j_k')}). (9)

In Abhängigkeit von der Anwendung lassen sich verschiedene Funktionen Ω verwenden, beispielsweise

S_k(j_k, j_k') sind hierbei die Teiljetvergleichsfunktionen, die sich gemäß der Glei chungen (7) oder (8) berechnen lassen; ω_k sind Wichtungskoeffizienten, die den Beitrag eines einzelnen Teiljets zu der Einzeljetvergleichsfunktion S(j, j') be schreiben.

Aus den Einzeljetvergleichsfunktionen für die einzelnen Jets wird schließlich die Jetvergleichsfunktion S_Jet für alle entsprechenden Jets eines Referenzgraphen G und eines Vergleichsgraphen S_Jet gebildet. Hierzu können ebenfalls in Abhängig keit von der Anwendung verschiedene Funktionen eingesetzt werden. Beispiels weise kann die Vergleichsfunktion für n Jets gebildet werden nach:

S_n(J_n, J_n') sind hierbei die Einzeljetvergleichsfunktionen, die sich gemäß der Gleichungen (10) bis (13) berechnen lassen; ω_n sind Wichtungskoeffizienten, die den Beitrag eines einzelnen Jets zu der Jetvergleichsfunktion S_Jet beschreiben.

Als Funktion zum Vergleichen der Metrik der beiden Graphen können beispiels weise die Beträge der Differenzvektoren zweier einander entsprechender Links, d. h. der Verbindungen zweier einander entsprechender Knoten, aufsummiert werden; für Graphen mit E Links, die mit Δ_e bzw. Δ_e' bezeichnet werden, er gibt sich somit eine Metrikvergleichsfunktion:

Welche der Vergleichsfunktionen im Detail verwendet und insbesondere welcher Faktor für λ gewählt wird, hängt im wesentlichen von der Struktur der Referenz graphen und der Vergleichsgraphen, also letztendlich von der Struktur der Ver gleichsabbildungen und der Referenzabbildungen, ab.

Die Auswahl der geeigneten Vergleichsfunktion für eine gegebene Struktur der Vergleichsabbildungen und der Referenzabbildungen kann hierbei durch Ver gleichsversuche mit den Vergleichsabbildungen und den Referenzabbildungen ermittelt werden und liegt somit im Bereich des durchschnittlichen Könnens eines Fachmanns.

Mit Hilfe der Graphenvergleichsfunktion (6) kann nun der Vergleichsgraph an den Referenzgraphen optimal angepaßt werden. Hierzu wird die Projektion des Refe renzgitters in die Vergleichsabbildung solange variiert, bis die Graphenver gleichsfunktion einen optimalen Wert (im Fall der oben beschriebenen Ver gleichsfunktionen ist dies ein Minimum) annimmt.

Mit der Vergleichsabbildung lassen sich selbstverständlich auch mehrere Refe renzabbildungen vergleichen.

Diese Referenzabbildungen können in Form einer Datenbank vorliegen. In die sem Fall müssen dann allerdings bei jedem Vergleich die Referenzgraphen er neut berechnet werden.

Zweckmäßiger ist es deshalb, die Datenbank gleich in Form einer Referenzgraph- Datenbank vorzusehen, in denen die Referenzgitter mit ihren entsprechenden Jets gespeichert sind und lediglich abgerufen werden müssen. Allerdings ist eine solche Referenzgraph-Datenbank nicht so flexibel wie eine Referenzabbildungs- Datenbank, da diese für jede Änderung bei der Berechnung der Jets neu kompi liert werden muß.

Zum Vergleich der Vergleichsabbildung mit einer beliebigen Anzahl von Refe renzabbildungen ermittelt man für die Vergleichsabbildung mit dem oben be schriebenen Verfahren die optimale Anpassung an jede Referenzabbildung und die Graphenvergleichsfunktion für diese optimale Anpassung.

Aufgrund eines Vergleichs der Graphenvergleichsfunktionen, die jeweils den be sten Anpassungen der Referenzabbildungen an die Vergleichsabbildung entspre chen, kann die Referenzabbildung ermittelt werden, welche die größte Ähnlichkeit mit der Vergleichsabbildung aufweist.

Darüber hinaus kann durch Auswertung der Graphenvergleichsfunktionen für alle Referenzabbildungen ein Maß der Signifikanz der Ähnlichkeit ermittelt werden. Hierzu lassen sich, entsprechend dem erforderlichen Grad an Ähnlichkeit, ver schiedene Definitionen für eine signifikante Erkennung verwenden.

Beispielsweise können aus allen Graphenvergleichsfunktionen für die nicht opti malen Referenzgraphen der Mittelwert S und die Varianz σ_S gebildet werden. Eine signifikante Ähnlichkeit könnte dann angenommen werden, wenn

oder

erfüllt ist, wobei s ein fest gewählter Parameter ist und S₂ der zweitkleinste Wert aller Graphenvergleichsfunktionen ist.

In Fig. 4 ist eine weitere Ausführungsform der vorliegenden Erfindung dargestellt.

Diese Ausführungsform unterscheidet sich von den bisher beschriebenen Ausfüh rungsformen durch den Aufbau der Referenzgraphen, die mit dem Vergleichsgra phen verglichen werden.

Während in den bisher beschriebenen Ausführungsformen ein Referenzgraph aus einer einzelnen Referenzabbildung erstellt worden ist, resultiert in dieser Ausführungsform ein Referenzbündelgraph aus mehreren Referenzabbildungen.

Hierzu werden aus M Abbildungen M Modellgraphen erstellt, die in einem soge nannten Referenzbündelgraph zusammengefaßt werden.

Alle M Modellgraphen haben qualitativ dieselbe Struktur, d. h. sie haben jeweils N Knoten, die durch ein vorbestimmtes Gitter miteinander verbunden sind. Hier bei ist es allerdings zulässig, daß die Längen zweier einander entsprechender Links unterschiedlich sind. Es ist demnach lediglich topologische Identität der Modellgraphen gefordert. Die Struktur des Gitters kann eine reguläre Form, wie hier gezeigt, oder ein irreguläre Form aufweisen.

Insbesondere können demnach die in den zuvor diskutierten Ausführungsformen eingesetzten Gitter, also ein reguläres n × m-Gitter oder ein irreguläres objektan gepaßtes Gitter, verwendet werden.

Neben den Längen zweier entsprechender Links unterscheiden sich außerdem die einander entsprechenden Jets der M Modellgraphen.

Die M Modellgraphen werden schließlich, wie im folgenden erläutert, zu einem Bündelgraphen zusammengefaßt.

Zuerst werden die mittleren Entfernungsvektoren Δ_ij zwischen den Knoten i und j in dem Bündelgraphen ermittelt durch:

wobei Δ m|ij der Entfernungsvektor zwischen den Knoten i und j in dem Modell graphen m ist.

Diese Entfernungsvektoren bestimmen nun die Struktur des Bündelgraphen, die zum Vergleich schließlich im folgenden in die Vergleichsabbildung projiziert wird.

Den Knoten des Bündelgraphen werden außerdem noch Bündeljets der M Mo dellgraphen zugewiesen. Diese Bündeljets umfassen alle Teiljets, die bei der je weiligen Erstellung der Referenzgraphen ermittelt worden sind. Demnach umfaßt ein Jet des Bündelgraphen die M einander entsprechenden Jets der M Modell graphen. Anders ausgedrückt, ist ein Jet des Referenzbündelgraphen aus den Teiljets, die jeweils den Teiljets der Modellgraphen entsprechen, aufgebaut.

Die derart erhaltenen Struktur ist in Fig. 4 schematisch dargestellt. Mit G₁, ..., G_M sind hierin die M Modellgraphen bezeichnet, die zu dem Bündelgraphen B^M 40 zusammengefaßt sind.

Zur Durchführung des Vergleichs werden die Bündeljets Teilbündeljets zugeord net. Als Zuordnungskriterium lassen sich beispielsweise die Merkmalsklassen, die Referenzabbildungen oder Mischformen der beiden einsetzen. Bei einer Zuord nung nach Merkmalsklassen, umfassen die Teilbündeljets lediglich die Merkmale einer einzigen Merkmalsklasse.

Zum Vergleich eines auf diese Weise erhaltenen derart erhaltenen Bündelgra phen B^M 40 mit einem aus einer Abb. 42 resultierenden Vergleichsgraphen G' 45 wird gemäß dieser Ausführungsform eine zu Gleichung (6) analoge Bün delgraphenvergleichsfunktion verwendet.

Die Jetvergleichsfunktion S_Jet wird hierbei, wie im folgenden ausgeführt wird, be stimmt.

Zuerst wird eine Vergleichsfunktion zwischen einem Teiljets j' der Abbildung und den entsprechenden Teilbündeljets b^M ermittelt. Hierbei können beispielsweise die folgenden, zu Gleichungen (10) bis (13) analogen Gleichungen verwendet werden:

j' ist hierbei ein Teiljet der Abbildung und j M|n der entsprechende Teilbündeljet; die S_n(j M|n, j') bestimmen sich beispielsweise nach Gleichung (7) oder (8).

Die Vergleiche der Teiljets mit den Teilbündeljets stehen mit der Vergleichsfunktion für den Jet J mit dem Bündelgraphen B^M in funktionalem Zusammenhang Ω:

Die Funktion Ω kann hierbei nach folgender Rekursion ermittelt werden:

Die Rekursion kann, in Abhängigkeit von der Anwendung solange durchgeführt werden, bis für M^(m) die folgende Bedingung erfüllt ist:

|M^(m)| = 1.

Aus den Vergleichsfunktionen für den Jet J mit dem Bündelgraphen B^M für die einzelnen Jets wird schließlich die Jetvergleichsfunktion S_Jet für alle entspre chenden Jets eines Referenzbündelgraphen B^M und eines Vergleichsgraphen G' gebildet. Hierzu können ebenfalls in Abhängigkeit von der Anwendung verschie dene Funktionen eingesetzt werden. Beispielsweise kann die Vergleichsfunktion für n Knoten gebildet werden nach:

Diese Vergleichsfunktion kann zur Ermittlung der Graphenvergleichsfunktion schließlich in Gleichung (6) eingesetzt werden.

In Worten ausgedrückt, werden bei dem Vergleich des Bündelgraphen B^M mit ei nem Vergleichsgraphen G also die Jets mit der maximalen Ähnlichkeit aus dem Bündelgraphen ausgewählt.

In Fig. 4 ist diese Tatsache dadurch dargestellt, daß Pfeile, die von dem entspre chenden Knoten des Vergleichsgraphen G ausgehen, an verschiedenen Modell graphen enden.

Neben der oben angegebenen Bündelgraphenvergleichsfunktion lassen sich auch andere geeignete Vergleichsfunktionen einsetzen.

Wie bei einem Vergleich mit einem einzelnen Referenzgraphen, wird auch im Fall eines Bündelgraphen dieser zuerst in die Abbildung des Vergleichsgraphen proji ziert, und anschließend wird die optimale Projektion durch Auswertung der Bün delgraphenvergleichsfunktion bestimmt.

Da ein Bündelgraph wie ein einzelner Graph behandelt werden kann, ist es auch möglich, mehrere Referenzbündelgraphen, einen Referenzbündelgraphen und einen oder mehrere Referenzgraphen in einer Datenbank, mit der die Vergleichs graphen verglichen werden sollen, zusammenzufassen.

Unter Bezugnahme auf Fig. 4 und Fig. 5 wird im folgenden ein konkretes Beispiel einer Handstellungserkennung vor komplexem Hintergrund gemäß dem zuvor beschriebenen Verfahren, in dem Merkmale, die aus einer Faltung der Bilddaten mit Gabor-Filtern (Gabor-Merkmale), einer Faltung farbsegmentierter Bilddaten mit Gaborfiltern (Farbgabor-Merkmale) und aus der HSI-Information (HSI- Merkmal) resultieren, verwendet werden. Dieses Beispiel wird mit einem Erken nungsverfahren verglichen, in dem jeweils nur eine einzelne Klasse berücksichtigt ist, d. h. die entsprechenden Wichtungskoeffizienten ω_k sind gleich Null.

In Fig. 5 sind die repräsentative Referenzabbildungen dargestellt, aus denen nach dem oben beschriebenen Verfahren Referenzgraphen erstellt worden sind. Jeder Referenzgraph umfaßt 15 Knoten und 20 Links bzw. Verbindungen. Die Knoten wurden manuell an anatomisch signifikanten Punkten verteilt.

In Fig. 6 sind verschiedene Beispiele einer Handstellung vor verschiedenen Hin tergründen dargestellt. Insgesamt wurden 29 Hintergründe verwendet, von denen fünf ein hohes Maß an Hautfarbe, elf ein mittleres Maß an Hautfarbe und acht ein geringes Maß an Hautfarbe enthielten.

Mit diesen Hintergründen wurden 1000 verschiedene Vergleichsgraphen erstellt.

Aus den Referenzdaten wurden 18 Referenzgraphen für jede der in Fig. 5 darge stellten Handstellungen ermittelt, die Gabor-Merkmale oder Farbgabor-Merkmale oder HSI-Information enthalten haben. Für die Faltung wurden Gabor-Filter mit drei verschiedenen Größen und acht verschiedenen Richtungen verwendet.

Aus den jeweils 18 Referenzgraphen wurden drei Bündelgraphen mit jeweils sechs Modellen gebildet. Als Kriterium für die Zuordnung der Teiljets zu den Re ferenzgraphen wurden die Merkmale der Teiljets verwendet. Demnach enthielt der erste Referenzbündelgraph alle Gabor-Merkmale, der zweite Referenzbün delgraph alle Farbgabor-Merkmale und der dritte Referenzbündelgraph alle HSI- Merkmale.

Bei der Projektion der Referenzbündelgraphen wurde eine Drehung bis zu 15°, eine Skalierung von bis zu 20% und eine lokale Verzerrung um maximal ein Pixel zugelassen.

Die Graphenvergleichsfunktion wurde mittels der Gleichungen (6; λ = 0), (33; mit gleichen ω_n), (24), (25; mit ω_Gabor = 0,25, ω_Farbgabor = 0,25, ω_HSI = 0.5), (33; mit glei chen ω_n), (8) für die Gabor- und Farbgabor-Merkmale und einem gewichteten euklid'schen Abstand für die HSI-Farbinformation berechnet.

Die Ergebnisse des Vergleichs der 1000 Vergleichsabbildungen ist in folgender Tabelle zusammengefaßt:

Claims

1. Verfahren zum automatisierten Erkennen einer oder mehrerer Strukturen in digitalisierten Bilddaten, umfassend die Schritte:
Zurverfügungstellen wenigstens eines Referenzgraphen aus digitalisierten Referenzbilddaten entsprechender Referenzbilder, wobei der oder jeder Refe renzgraph umfaßt:eine netzartige Struktur, die jeweils dadurch definiert wird, daß bestimmten Referenzbilddaten Knoten, die durch Links in vorbestimmter Weise mitein ander verbunden sind, zugewiesen werden, und
Jets, wobei jedem Knoten ein Jet zugeordnet ist und jeder Jet wenigstens einen Teiljet umfaßt, der durch Faltungen wenigstens einer Klasse von Filterfunktionen mit verschiedenen Größen und/oder Orientierungen mit den Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Faltungen wenigstens einer Klasse von Filterfunktionen mit verschiedenen Größen und/oder Orientierungen mit farbsegmentierten Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Farbinformation über die Referenzbilddaten an dem bestimmten Knoten oder durch mit statistischen Verfahren gewonnenen Texturbeschreibungen des entsprechenden Referenzbildes an dem be stimmten Knoten oder durch aus zeitlich aufeinanderfolgenden Referenzbil dern extrahierten Bewegungsvektoren an dem bestimmten Knoten ermittelt wird, und
wobei solche Jets ausgeschlossen sind, die nur einen einzigen Teiljet, der durch Faltungen einer Klasse von Filterfunktionen mit verschiedenen Grö ßen und Orientierungen mit den Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten ermittelt worden ist, umfassen,Ermitteln eines optimalen Bildgraphen aus den digitalisierten Bilddaten für je den Referenzgraphen, wobei der optimale Bildgraph für einen bestimmten Referenzgraphen die optimale Anpassung an diesen darstellt und ermittelt wird durch:Projizieren der netzartigen Struktur des bestimmten Referenzgraphen in die Bilddaten, wodurch die Struktur des Bildgraphen definiert wird, und
Ermitteln von Teiljets des Bildgraphen an den durch seine Struktur definier ten Knoten, wobei die Teiljets mindestens einem Teil der ermittelten Teiljets des bestimmten Referenzgraphen entsprechen, und wobei
die Projektion der netzartigen Struktur des bestimmten Referenzgraphen, so lange variiert wird, bis eine Graphenvergleichsfunktion, welche die Jets des Bildgraphen mit den entsprechenden Jets des bestimmten Referenzgraphen vergleicht, optimal wird,Zuordnen der oder jeder Struktur zu dem Referenzbild, das dem Referenzgra phen entspricht, für den die Graphenvergleichsfunktion in Bezug auf den für ihn ermittelten optimalen Bildgraphen optimal ist.

2. Verfahren nach Anspruch 1, in welchem weiterhin
mehrere Referenzgraphen zur Verfügung gestellt werden, und
die Referenzgraphen, welche netzartige Strukturen aufweisen, die topologisch identisch sind, zu einem Referenzbündelgraphen zusammengefaßt werden, wobei der Referenzbündelgraph umfaßt:
eine netzartige Struktur, die durch Knoten, welche den Knoten der Refe renzgraphen entsprechen, und durch Links, die durch Mittelung der entspre chenden Links der Referenzgraphen ermittelt werden, definiert wird, und Bündeljets, wobei jeder Bündeljet aus den Teiljets, die den Teiljets an den jeweiligen Knoten der in dem Referenzbündelgraphen zusammengefaßten Referenzgraphen entsprechen, zusammengesetzt wird; und
ein optimaler Bildgraph für den oder jeden Referenzbündelgraphen ermittelt wird, wobei der optimale Bildgraph für einen bestimmten Referenzbündelgra phen die optimale Anpassung an diesen darstellt und ermittelt wird durch:
Projizieren der netzartigen Struktur des bestimmten Referenzbündelgraphen in die Bilddaten, wodurch die Struktur des Bildgraphen definiert wird, und
Ermitteln von Teiljets, die mindestens einem Teil der Teiljets entsprechen, die zur Ermittlung der Teiljets der dem bestimmten Referenzbündelgraphen zugrunde liegenden Referenzgraphen verwendet worden sind, und wobei
die Projektion der netzartigen Struktur des bestimmten Referenzbündelgra phen, so lange variiert wird, bis eine Graphenvergleichsfunktion, welche die Jets des Bildgraphen mit den entsprechenden Bündeljets des bestimmten Referenzbündelgraphen vergleicht, optimal wird, wobei jeder Teiljet des Bildgraphen mit den Teiljets in dem entsprechenden Bündeljet des be stimmten Referenzbündelgraphen verglichen wird;
und in welchem schließlich
jede Struktur dem Referenzbild zugeordnet wird, das dem Referenzgraphen bzw. dem Referenzgraphen aus dem oder den Referenzbündelgraphen ent spricht, für den die Graphenvergleichsfunktion in Bezug auf den für ihn ermit telten optimalen Bildgraphen optimal ist.

3. Verfahren nach Anspruch 2, in welchem lediglich ein Teil der zur Verfü gung gestellten Referenzgraphen zu einem oder zu mehreren Referenzbün delgraphen zusammengefaßt wird.

4. Verfahren nach Anspruch 2, in welchem alle zur Verfügung gestellten Referenzgraphen zu einem oder zu mehreren Referenzbündelgraphen zu sammengefaßt werden.

5. Verfahren nach einem der vorangegangenen Ansprüche, in welchem die Struktur der den Knoten zugeordneten Jets, die durch die Teiljets bestimmt ist, vom jeweiligen Knoten abhängig ist.

6. Verfahren nach einem der Ansprüche 1 bis 4, in welchem die Struktur der den Knoten zugeordneten Jets, die durch die Teiljets bestimmt ist, für alle Knoten identisch ist.

7. Verfahren nach einem der vorangegangenen Ansprüche, in welchem eine Graphenvergleichsfunktion verwendet wird, die eine Jetvergleichsfunktion um faßt, welche die Ähnlichkeit der einander entsprechenden Jets berücksichtigt.

8. Verfahren nach Anspruch 7, in welchem die Graphenvergleichsfunktion weiterhin eine Vergleichsfunktion für die netzartige Struktur umfaßt, welche die metrische Ähnlichkeit des Bildgraphen mit dem entsprechenden Referenzgra phen bzw. dem entsprechenden Referenzbündelgraphen berücksichtigt.

9. Verfahren nach Anspruch 8, in welchem die Graphenvergleichsfunktion als gewichtete Summe der Jetvergleichsfunktion und der Vergleichsfunktion für die netzartige Struktur definiert wird.

10. Verfahren nach einem der Ansprüche 7 bis 9, in welchem die Jetver gleichsfunktion als Funktion von Einzeljetvergleichsfunktionen einander ent sprechender Jets definiert wird.

11. Verfahren nach Anspruch 10, in welchem die Jetvergleichsfunktion als gewichtete Summe aus den Einzeljetvergleichsfunktionen und/oder als ge wichtetes Produkt aus den Einzeljetvergleichsfunktionen definiert wird.

12. Verfahren nach Anspruch 10 oder 11, in welchem zur Ermittlung eines Einzeljetvergleichs Teiljets der entsprechenden Jets berücksichtigt werden, und eine Einzeljetvergleichsfunktion als Funktion von Teiljetvergleichsfunktio nen definiert ist.

13. Verfahren nach Anspruch 12, in welchem die Einzeljetvergleichsfunktio nen als gewichtete Summe der Teiljetvergleichsfunktionen und/oder als ge wichtetes Produkt der Teiljetvergleichsfunktionen und/oder als Extremalwert der Teiljetvergleichsfunktionen definiert sind.

14. Verfahren nach einem der Ansprüche 7 bis 13, in welchem unterschiedli che, knotenabhängige Jetvergleichsfunktionen bzw. Einzeljetvergleichsfunktio nen bzw. Teiljetvergleichsfunktionen verwendet werden.

15. Verfahren nach einem der Ansprüche 7 bis 9 in Verbindung mit Anspruch 2, in welchem die Bündeljets des Referenzbündelgraphen B^M in Teilbündeljets b^M _k geteilt werden, und die Jetvergleichsfunktion zwischen den Teilbündeljets b^M _k des Referenzbündelgraphen und den entsprechenden Teiljets j_I' des Bild graphen G' für n Knoten für m Rekursionen gemäß folgender Formeln berech net wird:
wobei ω_n ein Wichtungsfaktor für den n-ten Knoten n ist und die Vergleichsfunktion S_n(B^M _n, J_n') für den n-ten Knoten des Referenzbündelgraphen mit dem n-ten Knoten des Bildgraphen gegeben ist durch:

16. Verfahren nach Anspruch 15, in welchem die Teilbündeljets des oder der Referenzbündelgraphen nur Merkmale enthalten, die durch Faltungen wenig stens einer Klasse von Filterfunktionen mit verschiedenen Größen und/oder Orientierungen mit den Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Faltungen wenigstens einer Klasse von Filterfunktionen mit verschiedenen Größen und/oder Orientierungen mit farb segmentierten Referenzbilddaten des entsprechenden Referenzbildes an dem bestimmten Knoten oder durch Farbinformation über die Referenzbilddaten an dem bestimmten Knoten oder durch mit statistischen Verfahren gewonnenen Texturbeschreibungen des entsprechenden Referenzbildes an dem bestimm ten Knoten oder durch aus zeitlich aufeinanderfolgenden Referenzbildern ex trahierten Bewegungsvektoren an dem bestimmten Knoten ermittelt worden sind.

17. Verfahren nach Anspruch 15, in welchem die Teilbündeljets des oder der Referenzbündelgraphen nur Merkmale enthalten, die aus einem Referenzgra phen resultieren.

18. Verfahren nach einem der vorangegangenen Ansprüche, in welchem nach dem Erkennen jeder Struktur ein Schritt zur Ermittlung der Signifikanz des Er kennens vorgesehen ist.

19. Verfahren nach Anspruch 18, in welchem zur Ermittlung der Signifikanz ein Schätzer verwendet wird, der sowohl die optimale Graphenvergleichsfunk tion als auch die nicht optimalen Graphenvergleichsfunktionen berücksichtigt.

20. Verfahren nach Anspruch 19, in welchem der Abstand der Werte der nicht optimalen Graphenvergleichsfunktionen von dem Wert der optimalen Gra phenvergleichsfunktion als Schätzer verwendet wird.

21. Verfahren nach einem der vorangegangenen Ansprüche, in welchem weiterhin jede Struktur den Referenzbildern zugeordnet wird, die den Refe renzgraphen bzw. den Referenzgraphen aus den Referenzbündelgraphen ent sprechen, für die die Werte der Graphenvergleichsfunktionen in einem vorbe stimmten Bereich liegen.

22. Verfahren nach einem der vorangegangenen Ansprüche, in welchem die Farbinformation aus den Referenzbilddaten bzw. den Bilddaten ermittelte Farbtonwerte und/oder Farbsättigungswerte und/oder Helligkeitswerte umfaßt.

23. Verfahren nach einem der Ansprüche 1 bis 22, in welchem der Schritt des Zurverfügungstellens der Referenzgraphen bzw. der Referenzbündelgraphen das Abrufen der Referenzgraphen bzw. der Referenzbündelgraphen aus einer zentralen und/oder dezentralen Datenbank umfaßt.

24. Verfahren nach einem der vorangegangenen Ansprüche, in welchem als netzartige Struktur des Referenzgraphen ein regelmäßiges Gitter verwendet wird, dessen Knoten und Links rechtwinklige Maschen bilden.

25. Verfahren nach einem der Ansprüche 1 bis 23, in welchem als netzartige Struktur des Referenzgraphen ein unregelmäßiges Gitter verwendet wird, des sen Knoten und Links an die zu erkennende Struktur angepaßt sind.

26. Verfahren nach Anspruch 25, in welchem die Knoten charakteristischen Punkten, sogenannten Landmarken, der zu erkennenden Struktur zugeordnet werden.

27. Verfahren nach einem der vorangegangenen Ansprüche, in welchem als Klasse der Filterfunktionen zur Faltung mit den Referenzbilddaten bzw. Bild daten Gabor-Filterfunktionen und/oder Mallat-Filterfunktionen verwendet wer den.

28. Verfahren nach einem der vorangegangenen Ansprüche, in welchem als Klasse der Filterfunktionen zur Faltung mit den farbsegmentierten Referenz bilddaten bzw. Bilddaten Gabor-Filterfunktionen und/oder Mallat-Filterfunk tionen verwendet werden.

29. Verfahren nach einem der vorangegangenen Ansprüche, in welchem die Projektion der netzartigen Struktur des bestimmten Referenzgraphen bzw. des bestimmten Referenzbündelgraphen eine Zentrierung des Referenzgraphen bzw. des bestimmten Referenzbündelgraphen in der Abbildung umfaßt.

30. Verfahren nach Anspruch 29, in welchem die Projektion der netzartigen Struktur des bestimmten Referenzgraphen bzw. des bestimmten Referenzbün delgraphen eine Verschiebung und/oder Drehung des zentrierten Referenz graphen bzw. des zentrierten Referenzbündelgraphen umfaßt.

31. Verfahren nach Anspruch 29 oder 30, in welchem die Projektion der netz artigen Struktur des bestimmten Referenzgraphen bzw. des bestimmten Refe renzbündelgraphen eine Skalierung des zentrierten Referenzgraphen bzw. des zentrierten Referenzbündelgraphen umfaßt.

32. Verfahren nach Anspruch 31 in Verbindung mit Anspruch 30, in welchem die Verschiebung und die Skalierung und die Drehung des zentrierten Refe renzgraphen bzw. des zentrierten Referenzbündelgraphen simultan durchge führt werden.

33. Verfahren nach einem der Ansprüche 29 bis 32, in welchem die Projektion der netzartigen Struktur lokale Verzerrungen des zentrierten Referenzgraphen umfaßt.

34. Verfahren nach Anspruch 33, in welchem eine lokale Verzerrung durch lokale Verschiebung eines entsprechenden Knoten des zentrierten Referenz graphen bewirkt wird.

35. Verfahren nach einem der Ansprüche 30 bis 34, in welchem die Verschie bung bzw. die Skalierung bzw. die Drehung aus dem Vergleich des Bildgra phen mit dem entsprechenden Referenzgraphen bzw. dem entsprechenden Referenzbündelgraphen ermittelt wird.