DE102005041633B4

DE102005041633B4 - Verfahren und Vorrichtung zur Positions- und Ähnlichkeitsbestimmung von Objektpunkten in Bildern

Info

Publication number: DE102005041633B4
Application number: DE102005041633A
Authority: DE
Inventors: Adam Stanski
Original assignee: Individual
Current assignee: Individual
Priority date: 2005-08-26
Filing date: 2005-08-26
Publication date: 2007-06-06
Anticipated expiration: 2025-08-27
Also published as: DE102005041633A1

Abstract

Verfahren zur Objekterkennung in einem zweidimensionalen Feld von Bildpunkten, wobei jeder Bildpunkt des zweidimensionalen Feldes durch Koordinaten gekennzeichnet ist, mit den Schritten:
– Abbilden (103) des Feldes von Bildpunkten auf einen Ergebnisraum, welcher für jeden Bildpunkt des Feldes einen zugehörigen Vektor von Ergebniswerten enthält, der sich jeweils durch Anwenden eines Interest-point-Operators auf jeden Bildpunkt des Feldes ergibt,
– Auswerten (104) der Vektoren von Ergebniswerten,
– Bestimmen (107) einer Vielzahl von Punkten von Interesse in dem Feld von Bildpunkten,
– Erstellen (108) einer Liste, die für jeden Punkt von Interesse einen Eintrag enthält,
– Zuordnen (106) eines ersten Zuverlässigkeitswertes zu jedem Eintrag der Liste,
– Auswählen (109) eines Punktes von Interesse, dem der Eintrag der Liste mit dem größten zugeordneten ersten Zuverlässigkeitswert zugehört, als Zentralpunkt,
– Bestimmen (112) eines visuell homogenen Segmentes innerhalb des zweidimensionalen Feldes, wobei das Segment den Zentralpunkt enthält,...

Description

Die Erfindung betrifft ein Verfahren zur Positions- und Ähnlichkeitsbestimmung von Objektpunkten in einem zweidimensionalen Feld von Bildpunkten, wobei jeder Bildpunkt des zweidimensionalen Feldes durch Koordinaten eindeutig gekennzeichnet ist. Die Erfindung betrifft außerdem ein Programm zur Ausführung durch eine Datenverarbeitungsanlage, das das erfindungsgemäße Verfahren durchführt, einen Datenträger mit dem gespeicherten Programm zur Ausführung durch eine Datenverarbeitungsanlage sowie eine Vorrichtung zur Objekterkennung.

In der computergestützten Bildverarbeitung finden Verfahren zur Objekterkennung weitreichend Anwendung. Die Objekterkennung ist bei zahlreichen Aufgabenstellungen unerlässlicher Bestandteil von Steuerungs- und Informationsverarbeitungsverfahren. Die Objekterkennung kann anhand eines einzelnen Bildes durchgeführt werden, etwa wenn in dem Bild dargestellte Objekte gezählt werden sollen, oder anhand des Vergleiches von zwei oder mehr Bildern, wenn die räum liche Ausgestaltung eines Objektes anhand gleichzeitig von unterschiedlichen Positionen aufgenommener Bilder desselben Objektes oder eine Bewegung eines Objektes durch eine Sequenz von Bildern hindurch bestimmt werden soll. Eine weitere Anwendung ist die Erkennung einander ähnlicher Objekte in einem Bild oder in unterschiedlichen Bildern.

Die Bilder liegen gewöhnlich als zweidimensionale, rechteckige Felder von Bildpunkten vor, von denen jeder Bildpunkt durch Koordinaten, die sich aus einer Spalten- und einer Zeilennummer zusammensetzen, gekennzeichnet ist. Einem Bildpunkt können ein Helligkeitswert (schwarz-weiß-Bild) oder zusätzliche Farbwerte, z.B. in Form mehrerer Intensitätswerte für Farbkomponenten zugeordnet sein. Hierbei hat sich insbesondere die RGB-Darstellung durchgesetzt, die einen Intensitätswert für jede der Farbkomponenten rot, grün und blau aufweist.

Aus EP 0 797 357 ist ein Verfahren zum Kodieren und Dekodieren eines Bildes bekannt, bei dem es darum geht, ein gesamtes Bild und nicht nur einzelne Objekte in dem Bild betreffende Parameter zu erfassen, um eine globale Bewegungskompensation für ein jeweiliges Bild zu ermöglichen.

Bei der Objekterkennung ist grundsätzlich immer das Problem zu lösen, Bildbereiche mit für die jeweilige Aufgabenstellung zu berücksichtigender visueller Information von solchen Bildbereichen zu unterscheiden, die aufgrund ihrer visuellen Information kein Objekt oder nicht das gesuchte Objekt enthalten können.

Im Stand der Technik gibt es zahlreiche Ansätze, die das Bild nach Punkten von Interesse (Interest-points) zu durchsuchen und gefundene Punkte von Interesse einem Objekt zuordnen. Solche Punkte von Interesse können sich dadurch auszeichnen, dass sie Punkte auf im Bild dargestellten Kanten, Endpunkten von Kanten, besonders helle oder dunkle Punkte oder Schwerpunkte von gleichmäßigen Flächen und können dadurch bestimmt werden, dass das Bild nach Punkten durchsucht wird, welche eines oder mehrere der genannten Kriterien erfüllen. Ein bekannter Ansatz zum Auffinden von Punkten von Interesse besteht in der Anwendung von sogenannten Interest-point-Operatoren. Ein solcher Interest-point-Operator wird auf jeden Bildpunkt eines Bildes angewendet und berücksichtigt bei der Beurteilung des jeweiligen Bildpunktes die visuelle Information des direkten Umfeldes des Bildpunktes im Bild. Dem Fachmann sind verschiedene solcher Interest-point-Operatoren geläufig, wobei insbesondere der sogenannte „Mexican-Hat"-Operator und der Harris-Operator bevorzugt eingesetzt werden.

Diese Interest-point-Operatoren gewichten die Helligkeits- oder Intensitätswerte der um den zu beurteilenden Bildpunkt liegenden Bildpunkte gemäß einer Gewichtungsfunktion, die jedem der Bildpunkte im Umfeld des zu beurteilenden Bildpunktes abhängig von dessen Position relativ zum zu beurteilenden Bildpunkt einen Gewichtungsfaktor zuweist. Das Ergebnis der Anwendung des Interest-point Operators ergibt sich dann gewöhnlich durch Integration über alle gewichteten Bildpunkte des Umfeldes des zu beurteilenden Bildpunktes.

Die Anwendung eines Interest-point-Operators auf ein Feld von Bildpunkten kann als eine Abbildung des Feldes von Bildpunkten auf einen Ergebnisraum angesehen werden. Der Ergebnisraum enthält dann für jeden Bildpunkt des Feldes einen zugehörigen Vektor von Ergebniswerten, wobei eine einmalige Anwendung eines Interest-point-Operators auf einen Bildpunkt einen Vektor mit nur einer Komponenten ergeben kann.

Die durch den „Mexican-Hat"-Operator vorgegebene Gewichtungsfunktion kann als Differenz zweier um den zu beurteilenden Bildpunkt rotationssymmetrischer Gaußglocken gewonnen werden, wobei die erste Gaußglocke eine geringere Breite bei höherer Amplitude aufweist als die von ihr subtrahierte zweite Gaußglocke. Bevorzugt ist das Volumen der beiden Gaußglocken so gewählt, dass sich die Differenz ihrer Volumina zu Null ergibt. Die aus der Differenzbildung resultierende Gewichtungsfunktion weist somit einen kreisförmigen, positiven Zentralbereich um den zu beurteilenden Bildpunkt und einen darum liegenden negativen Bereich auf. Aufgrund der charakteristischen Form der Gewichtungsfunktion wird der Operator als „Mexican-Hat"-Operator bezeichnet. Der „Mexican-Hat"-Operator liefert insbesondere für Bildbereiche mit einem hellen Zentralbereich in einem dunkleren Umfeld oder mit einem dunklen Zentralbereich in einem helleren Umfeld hohe Ergebniswerte.

Unter Beachtung des obengenannten Kriteriums der gleichen Volumina der beiden Gaußglocken besitzt der „Mexican-Hat"-Operator zwei freie Parameter, nämlich die Amplitude und den Durchmesser des Operators. Da eine Amplitudenskalierung lediglich eine Skalierung des Ergebniswertes mit sich bringt und somit ohne Einfluss auf die Informationsverarbeitung bleibt, bildet der Durchmesser des „Mexican-Hat"-Operators dessen einzigen relevanten Parameter. Indem „Mexican-Hat"-Operatoren oder sonstige Interest-point-Operatoren unterschiedlicher Durchmesser auf denselben Bildpunkt angewendet werden, liefert die Abbildung auf den Ergebnisraum für jeden Bildpunkt einen Vektor von Ergebniswerten mit je einem Ergebniswert für jede Anwendung des Interest-point-Operators. Äquivalente Ergebnisse kann man erhalten, indem man einen Interest-point-Operator mit konstantem Durchmesser auf eine Serie in unterschiedlichem Maße verkleinerter Kopien des Ursprungsbildes anwendet. Dem Fachmann ist dieses Verfahren unter dem Begriff „Bildpyramide" geläufig. Innerhalb des Ergebnisraumes können nunmehr unterschiedliche Verfahren angewendet werden, um Punkte von Interesse in dem Ursprungsbild aufzufinden. Das im Stand der Technik übliche Verfahren sieht hierbei das Aufsuchen von lokalen Extrema im Ergebnisraum vor.

Eine zweite Klasse von Interest-point-Operatoren wird durch solche Operatoren gebildet, die das Umfeld des zu beurteilenden Bildpunktes mittels eines für den Interest-point-Operator spezifischen Verfahrens untersuchen. Dieses Verfahren zielt darauf, Eigenschaften zu bestimmen, die den Bildpunkt identifizieren und robust gegenüber Bildbeeinflussungen wie unterschiedliche Beleuchtungen von anderen Bildpunkten unterscheiden. Zwei Beispiele aktueller Methoden, die Eigenschaften aus skalierten runden oder durch eine affine Transformation verzerrten rechteckigen Regionen extrahieren, wurden von Mikolaiczyk und Schmid („Scale & Affine Invariant Interest Point Detectors", International Journal of Computer Vision, vol. 60, 2004) einerseits und Lowe („Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, vol. 60, 2004) andererseits vorgeschlagen.

Das erstgenannte Verfahren beginnt damit, Punkte von Interesse mittels eines affin-invarianten Operators zu bestimmen. In einem zweiten Schritt wird jedem Punkt von Interesse ein Ergebniswert zugewiesen, indem der Ergebnisraum nach lokalen Extrema durchsucht wird. Abschließend wird die affine Form der Umgebung des Punktes von Interesse durch eine Matrix-Operation abgeschätzt.

Das zweitgenannte, von Lowe vorgeschlagene Verfahren kann ebenfalls in mehrere Schritte unterteilt werden. Zuerst werden wiederum Punkte von Interesse als lokale Extrema des Ergebnisraumes bestimmt. In einem zweiten Schritt wird eine quadratische Funktion an die Ergebniswerte des Ergebnisraumes angepasst, so dass die Position und Amplitude des Punktes von Interesse genauer berechnet werden kann. In einem dritten Schritt wird die Orientierung des Punktes von Interesse anhand örtlicher Bildgradienten bestimmt. Abschließend wird die Umgebung des Punktes von Interesse bezüglich dessen Amplitude und Orientierung normalisiert und durch einen sogenannten SIFT-Descriptor beschrieben, der die Eigenschaften des Punktes von Interesse anhand verschiedener lokaler Gradienten der Umgebung beschreibt.

Da beide genannten Verfahren auf die Untersuchung der Umgebung eines ermittelten Punktes von Interesse abstellen, können sie ihre ansonsten gute Leistung immer dann nicht erzielen, wenn ein zu beurteilender Punkt auf einer Grenze zwischen einem im Vordergrund befindlichen Objekt und dem Bildhintergrund liegt, da in diesem Fall zu viele Bildpunkte in die Beurteilung des Punktes von Interesse einfließen, die einem anderen Objekt zugehören und damit vollkommen andere Eigenschaften aufweisen.

Es wurden mehrere Ansätze veröffentlicht, die die genannten Mängel der beschriebenen Verfahren beheben sollen. Dabei werden insbesondere Punkte von Interesse gesucht, die auf Objektgrenzen liegen, so dass eine durch ein Kantendetektionsverfahren bestimmbare Kante durch den jeweiligen Punkt von Interesse verläuft. Bei der Berechnung der den Punkt von Interesse beschreibenden Eigenschaften wird diesem nun für jede Seite der durch den Punkt von Interesse verlaufenden Kante ein eigener unabhängiger Wert zugewiesen. Dieser Lösungsansatz besitzt jedoch den Nachteil, dass aufgrund wechselnder Beleuchtungsverhältnisse, Bildrauschens oder anderer Störeinflüsse Objektkanten nicht immer eindeutig bestimmt werden können und somit eine Kante eines Objektes nicht notwendigerweise in zwei verschiedenen Bildern desselben Objektes auffindbar ist. Dies bedeutet, dass ein in einem ersten Bild bestimmter Punkt von Interesse sich in einem zweiten Bild desselben Objektes unter Umständen nicht wiederfinden lässt, so dass die Objekterkennung erfolglos verläuft.

Es stellt sich somit die Aufgabe, ein Verfahren einzuführen, das eine gegen typische Bildveränderungen robuste Verarbeitung von Bilddaten erlaubt und damit die Voraussetzung für eine zuverlässige Objekterkennung und -verfolgung in einem oder mehreren Bildern schafft.

Die Erfindung löst die Aufgabe durch ein Verfahren zur Objekterkennung in einem zweidimensionalen Feld von Bildpunkten, das die folgenden Schritte umfasst:

– Abbilden (103) des Feldes von Bildpunkten auf einen Ergebnisraum, welcher für jeden Bildpunkt des Feldes einen zugehörigen Vektor von Ergebniswerten enthält, der sich jeweils durch Anwenden eines Interest-point-Operators auf jeden Bildpunkt des Feldes ergibt,
– Auswerten (104) der Vektoren von Ergebniswerten,
– Bestimmen (107) einer Vielzahl von Punkten von Interesse in dem Feld von Bildpunkten,
– Erstellen (108) einer Liste, die für jeden Punkt von Interesse einen Eintrag enthält,
– Zuordnen (106) eines ersten Zuverlässigkeitswertes zu jedem Eintrag der Liste,
– Auswählen (109) eines Punktes von Interesse, dem der Eintrag der Liste mit dem größten zugeordneten ersten Zuverlässigkeitswert zugehört, als Zentralpunkt,
– Bestimmen (112) eines visuell homogenen Segmentes innerhalb des zweidimensionalen Feldes, wobei das Segment den Zentralpunkt enthält,
– Auswählen (113) eines weiteren Punktes von Interesse, der innerhalb des Segmentes liegt und für den in der Liste ein Eintrag vorhanden ist,
– Bilden (115) einer Datenstruktur, in der der weitere Punkt von Interesse dem Zentralpunkt in einer Datenstruktur zugeordnet ist

wobei die Schritte jeweils einmal für eine Vielzahl zweidimensionaler Felder von Bildpunkten durchgeführt werden und anschließend ein Schritt des Zuordnens einer ersten Datenstruktur eines ersten zweidimensionalen Feldes von Bildpunkten zu einer zweiten Datenstruktur eines zweiten zweidimensionalen Feldes von Bildpunkten durchgeführt wird,
wobei der Schritt des Zuordnens der ersten Datenstruktur zur zweiten Datenstruktur eine Berechnung einer affinen Transformation beinhaltet, mit der die Koordinaten eines ersten Punktes von Interesse einer ersten Datenstruktur relativ zu einem ersten Zentralpunkt, dem der erste Punkt von Interesse zugeordnet ist, auf die Koordinaten eines zweiten Punktes von Interesse einer zweiten Datenstruktur relativ zu einem zweiten Zentralpunkt, dem der zweite Punkt von Interesse zugeordnet ist, abgebildet wird und anschließend ein Zuverlässigkeitswert bestimmt wird, der die Wahrscheinlichkeit dafür angibt, dass der erste Punkt von Interesse dem zweiten Punkt von Interesse bildlich entspricht.

Die Datenstruktur kann neben den Koordinaten der in ihr erfassten Punkte von Interesse für jeden Punkt von Interesse zusätzlichen Speicherplatz für Attribute enthalten, die dem jeweiligen Punkt von Interesse beschreiben und in späteren Verfahrensschritten berücksichtigt werden können.

Bevorzugte Ausführungsvarianten des erfindungsgemäßen Verfahrens sind Gegenstand der Unteransprüche und werden im folgenden erläutert:
Für bestimmte Aufgabenstellungen geeignet ist eine Verfahrensvariante, bei der im Schritt des Bestimmens von Punkten von Interesse Punkte von Interesse bestimmt werden, die auf Enden von Kanten liegen.

Besonders bevorzugt werden gemäß der Lehre der Erfindung im Schritt des Bestimmens von Punkten von Interesse stabile Punkte von Interesse bestimmt. Als stabiler Punkt von Interesse wird im Rahmen der Erfindung ein Punkt von Interesse angesehen, für den der durch die Abbildung auf den Ergebnisraum bestimmte Ergebnisvektor linear abhängig von dem oder den Helligkeits- und/oder Intensitätswerten des Punktes von Interesse und seiner Umgebung ist, so dass leichte Veränderungen des Bildes in keinem Fall dazu führen können, dass ein Punkt von Interesse von einem Bild zum nächsten einer Sequenz von Bildern verloren geht oder erstmals detektiert wird.

Besonders bevorzugt wird eine Variante des erfindungsgemäßen Verfahrens, bei der der Schritt des Abbildens des Feldes von Bildpunkten auf den Ergebnisraum das Anwenden eines Interest-point-Operators beinhaltet. Im Stand der Technik sind zahlreiche Interest-point-Operatoren bekannt, die je nach Aufgabenstellung und Anwendungsgebiet gute Ergebnisse bei der Suche von Punkten von Interes se erzielen. Die Anwendung eines Interest-point-Operators im Sinne der Erfindung beinhaltet keine Auswahl einzelner Bildpunkte als Punkte von Interesse. Diese Auswahl wird in einem dem Anwenden des Interest-point-Operators folgenden Schritt vorgenommen, der jedoch gemeinsam mit dem Anwenden des Interest-point-Operators ausgeführt werden kann.

Der Interest-point-Operator kann ein Harris-Operator oder ein „Mexican-Hat"-Operator mit einem vorbestimmten Durchmesser sein. Diese Operatoren sind im Stand der Technik hinsichtlich ihrer Vor- und Nachteile gut bekannt.

Vorteilhafterweise beinhaltet der Schritt des Abbildens des Feldes von Bildpunkten auf den Ergebnisraum das Anwenden mehrerer Interest-point-Operatoren. Das Anwenden mehrerer Interest-point-Operatoren hat den Vorteil, dass der einem Bildpunkt zugeordnete Ergebnisvektor im Ergebnisraum den Bildpunkt zuverlässiger beschreibt, so dass die nachfolgenden Verfahrensschritte mit einer größeren Erfolgswahrscheinlichkeit durchgeführt werden können.

Besonders bevorzugt werden mehrere „Mexican-Hat"-Operatoren mit jeweils verschiedenen vorbestimmten Durchmessern angewendet. Auf diese Weise können helle Bildpunkte unterschiedlicher Durchmesser vor dunklem Bildhintergrund unabhängig von ihrem Durchmesser gleich gut detektiert werden, so dass Objekte unabhängig von ihrer Entfernung zu dem Punkt, von dem sie aufgenommen wurden, erkannt werden.

Vorteilhafterweise beinhaltet der Schritt des Auswertens des Vektoren des Ergebnisraumes ein Schritt des Ermittelns eines lokalen Extremums. Lokale Extrema im Ergebnisraum weisen mit hoher Wahrscheinlichkeit auf einen Punkt von Interesse hin, der bildlich einem markanten Punkt eines abgebildeten Objektes zugeordnet ist. Bei einer weitergebildeten Ausführung dieser Verfahrensvariante sind die Punkte von Interesse deshalb lokale Extrema der Vektoren des Ergebnisraumes.

Bei einer Variante des erfindungsgemäßen Verfahrens leitet sich der jedem Eintrag der Liste der Punkte von Interesse zugeordnete Zuverlässigkeitswert gemäß einer vorbestimmten Rechenvorschrift aus dem zugehörigen Vektor im Ergebnisraum ab. Alternativ oder zusätzlich kann sich der Zuverlässigkeitswert aus dem Durchmesser des im Schritt des Abbildens auf den Ergebnisraum verwendeten Interest-point-Operators bzw. dem Maß, in dem die Kopie des Ursprungsbildes vor der Anwendung eines Interest-point-Operators mit konstantem Durchmesser verkleinert wurde, abgeleitet werden. Der Zuverlässigkeitswert kann sich aus dem Betrag des zugehörigen Vektors oder auch gemäß einer vorbestimmten Rechenvorschrift aus dem Wert einer Komponente des dem Punkt von Interesse zugehörigen Vektors im Ergebnisraum ableiten. Der Zuverlässigkeitswert hat die Aufgabe, eine Wahrscheinlichkeit dafür anzugeben, dass der Punkt von Interesse, dem der jeweilige Zuverlässigkeitswert zugeordnet ist, einen markanten Punkt eines abgebildeten Objektes darstellt.

Vorteilhafterweise wird bei einer Variante des erfindungsgemäßen Verfahrens der Zuverlässigkeitswert eines Punktes von Interesse gemäß einer vorbestimmten Rechenvorschrift aus einem Quotienten eines Minimums und eines Maximums der den Bildpunkten innerhalb einer vorbestimmten Umgebung des Punktes von Interesse zugeordneten Vektoren im Ergebnisraum abgeleitet. Der Quotient aus dem Minimum und dem Maximum der Umgebung des Punktes von Interesse gibt Aufschluss darüber, wie sich die Ergebniswerte im Ergebnisraum um den Punkt von Interesse verteilen. Einem Punkt von Interesse kann eine höhere Zuverlässigkeit zugewiesen werden, wenn das Minimum und das Maximum eine ähnliche Größe besitzen, ihr Quotient also ungefähr 1 ist.

Als besonders vorteilhaft hat es sich erwiesen, den Zuverlässigkeitswert der Punkte von Interesse gemäß einer vorbestimmten Rechenvorschrift aus dem Betrag der Differenz des Vektors des lokalen Extremums und des Vektors eines Bildpunktes der Umgebung des lokalen Extremums abzuleiten. Die Differenzbildung weist einem lokalen Extremum, das gegenüber seinem nahen Umfeld besonders weit hervorragt, eine höhere Zuverlässigkeit zu, als einem lokalen Extremum, dessen Umgebung ähnliche Ergebnisvektoren aufweist wie der Bildpunkt, dem das lokale Extremum zugeordnet ist.

Besonders gute Ergebnisse werden erzielt, wenn die Zuverlässigkeit der Punkte von Interesse aus dem Betrag der Differenz des Vektors des lokalen Extremums und des Vektors eines Bildpunktes der Umgebung abgeleitet wird, der einen Schachbrettabstand von zwei zu dem lokalen Extremum aufweist. Der Bildpunkt der Umgebung soll dabei derjenige Bildpunkt mit einem Schachbrettabstand von 2 sein, dessen Ergebnisvektor den geringsten Abstand zum Ergebnisvektor des lokalen Extremums aufweist.

Das erfindungsgemäße Verfahren liefert besonders dann eine gute Beschreibung eines Punkte von Interesse, wenn dem zum Zentralpunkt bestimmten Punkt von Interesse eine Vielzahl zweiter Punkte von Interesse zugeordnet werden. Diese zweiten Punkte von Interesse bilden dann in einer Datenstruktur die Stützpunkte eines vom Zentralpunkt ausgehenden Sternes oder einer Spinne. Die in einem solchen Stern oder einer solchen Spinne erfassten Punkte von Interesse enthalten eine besonders hohe Menge von Bildinformationen, die eine Zuordnung durch Vergleich mit anderen Sternen oder Spinnen desselben oder eines anderen Bildes erlauben. Die dem Zentralpunkt einer solchen Spinne zugeordneten Punkte von Interesse werden als Ankerpunkte der Spinne bezeichnet.

Um in einem Bild mehrere Sterne oder Spinnen zu erkennen, die unterschiedliche Teile eines abgebildeten Objektes repräsentieren, sieht eine Variante des erfindungsgemäßen Verfahrens vor, bereits in einem Stern oder eine Spinne erfasste Punkte von Interesse nicht mehr bei der Erkennung weiterer Spinnen oder Sterne zu berücksichtigen. Eine bevorzugte Variante des Verfahrens weist deshalb einen dem Schritt des Auswählens eines zweiten Punktes von Interesse folgenden Schritt des Markierens bzw. des Löschens der Einträge des Zentralpunktes und des ihm zugeordneten zweiten Punktes von Interesse oder der ihm zugeordneten zweiten Punkte von Interesse aus der Liste mit Einträgen für die Punkte von Interesse auf, wobei im Schritt des Auswählens eines Zentralpunktes und im Schritt des Auswählens eines zweiten Punktes von Interesse nur Punkte von Interesse mit einem unmarkierten bzw. ungelöschten Eintrag in der Liste berücksichtigt werden. In einer Weiterbildung dieser Verfahrensvariante wird nach dem Schritt des Zuordnens des zweiten Punktes von Interesse zum Zentralpunkt zum Schritt des Auswählens eines Punktes von Interesse mit dem höchsten Zuverlässigkeitswert solange zurückverzweigt, bis ein Abbruchkriterium erfüllt ist. Das Abbruchkriterium kann bei Erreichen einer vorbestimmten Anzahl von Zentralpunkten erfüllt sein, so dass durch Vorgabe der Anzahl von Zentralpunkten die Zahl der durch das Verfahren für ein Bild zu bestimmenden Datenstrukturen vorgegeben werden kann. Alternativ oder zusätzlich kann das Abbruchkriterium erfüllt sein, wenn die Liste keinen Eintrag oder keinen unmarkierten Eintrag mehr enthält.

Besonders bevorzugt geht dem Schritt des Bestimmens des Segmentes ein Schritt der Schärfereduzierung voraus. Die Schärfereduzierung wird besonders bevorzugt durch Anwenden eines sogenannten Gaussian Blur erreicht, bei dem jedem Bildpunkt ein gemäß einer Gaußglocke gewichteter Beitrag der dem Bildpunkt benachbarten Bildpunkte hinzugefügt wird. Alternativ kann die Schärfereduzierung auch durch eine Tiefpassfilterung oder eine Mittelwertsbestimmung erreicht werden. Die Schärfereduzierung bietet den Vorteil, dass Bildrauschen und fehlerhafte Bildpunkte das Bestimmen des Segmentes weniger stark beeinflussen, da ein aus diesen Gründen verfälschter Bildpunkt durch die Schärfereduzierung an die Helligkeits- oder Intensitätswerte seiner benachbarten Bildpunkte angepasst wird.

Bevorzugt beinhaltet der Schritt des Bestimmens des Segmentes das Abarbeiten eines Region-growing-Verfahrens. Region-growing-Verfahren sind dem Fachmann hinlänglich bekannt. Grundsätzlich wird bei einem Region-growing-Verfahren von einem Bildpunkt ausgegangen und eine Menge von visuell gleichartigen oder ähnlichen Bildpunkten bestimmt, die in Nachbarschaft vom Ausgangsbildpunkt liegen. Der Ausgangsbildpunkt stellt dabei den ersten Punkt der Menge dar, zu der im Verlauf des Region-growing-Verfahrens weitere Punkte hinzugefügt werden. Es werden nun die an einem Punkt der Menge angrenzenden Bildpunkte bestimmt und geprüft, ob diese Bildpunkte zu dem Ausgangsbild punkt der Menge visuell ähnlich oder gleich sind. Wenn dies der Fall ist, werden die Nachbarpunkte zu der Menge hinzugefügt und anschließend das Verfahren mit dem Prüfen der den zu der Menge hinzugefügten Bildpunkten benachbarten Bildpunkten solange fortgesetzt, bis keine Bildpunkte mehr gefunden werden, die dem Ausgangsbildpunkt visuell ähnlich sind oder gleichen.

Bevorzugt umfasst das Region-growing-Verfahren folgende Schritte:

– Bestimmen des Zentralpunkts als Bildpunkt des Segmentes,
– Prüfen von an den Bildpunkt des Segmentes angrenzenden Bildpunkten auf Zugehörigkeit zum Segment, wobei Bildpunkte verworfen werden, die bereits zum Segment gehören,
– Prüfen des Wertes einer Eigenschaft von an den Bildpunkt des Segmentes angrenzenden Bildpunkten, wobei Bildpunkte verworfen werden, deren Wert der Eigenschaft mehr als einen vorbestimmten Differenzwert über oder unter dem Wert der Eigenschaft des Bildpunktes des Segmentes liegen,
– Einbeziehen der verbliebenen an den Bildpunkt des Segmentes angrenzenden Bildpunkte in das Segment,
– rekursives Ausführen der Schritte des Prüfens und Einbeziehens für jeden in das Segment einbezogenen Bildpunkt, bis keine Bildpunkte mehr in das Segment einbezogen werden.

Bevorzugt ist die im Schritt des Prüfens des Wertes einer Eigenschaft geprüfte Eigenschaft eine Helligkeit, eine Farbe oder ein Kontrast.

Alternativ oder zusätzlich kann der Schritt des Bestimmens des Segmentes das Bestimmen eines Farbgradienten, eines Helligkeitsgradienten, eines Kontrastgradienten, einer Textur oder einer Kantenglätte beinhalten. Der Fachmann wird je nach Aufgabenstellung und abgebildetem Objekt eine entsprechende Auswahl von geeigneten Kriterien für die Bestimmung des Segmentes auswählen können.

Während das Verfahren auf ein einzelnes Bild angewendet bereits für eine Reihe von Aufgabenstellungen wie dem Zählen von Blutkörpern oder Bakterien in einer medizinischen Probe eingesetzt werden kann, erfordert eine Vielzahl von Aufgabenstellungen dessen Durchführung für eine Vielzahl von Bildern. Diese Aufgabenstellungen sind insbesondere in der räumlichen Objekterkennung (Stereoskopie) und der Objektverfolgung durch eine Sequenz von Videobildern gegeben. Eine vorteilhafte Variante des erfindungsgemäßen Verfahrens, bei dem das Verfahren zur Objekterkennung jeweils einmal für eine Vielzahl von Bildern durchgeführt wird, weist einen Schritt des Zuordnens einer ersten Datenstruktur eines ersten zweidimensionalen Feldes von Bildpunkten zu einer zweiten Datenstruktur eines zweiten zweidimensionalen Feldes von Bildpunkten auf. In diesem Schritt des Zuordnens werden nach Möglichkeit Datenstrukturen einander zugeoordnet, die dieselben Punkte eines mehrfach abgebildeten Objektes repräsentieren, womit das Ziel der Objekterkennung erreicht ist.

Erfindungsgemäß beinhaltet der Schritt des Zuordnens der ersten Datenstruktur zur zweiten Datenstruktur eine Berechnung einer affinen Transformation. Die Berechnung einer affinen Transformation ermöglicht eine perspektivische Ver- bzw. Entzerrung einer Menge durch Koordinaten gekennzeichneter Bildpunkte, so dass eine zwischen zwei Bildern desselben Objektes vorliegende perspektivische Veränderung ausgeglichen und die erste und zweite Datenstruktur miteinander verglichen werden können.

Besonders bevorzugt ist eine Variante des Verfahrens, bei dem eine Bestimmung einer 2,2-Transformationsmatrix durchgeführt wird, welche die Koordinaten eines ersten Punktes von Interesse einer ersten Datenstruktur relativ zu einem ersten Zentralpunkt, dem der erste Punkt von Interesse zugeordnet ist, auf die Koordinaten eines zweiten Punktes von Interesse einer zweiten Datenstruktur relativ zu einem zweiten Zentralpunkt, dem der zweite Punkt von Interesse zugeordnet ist, abbildet. Diese Ausführungsvariante des erfindungsgemäßen Verfahrens erlaubt eine vereinfachte Berechnung einer Transformationsmatrix, die eine erste Spinne auf eine zweite Spinne abbildet und somit die Zuordnung von Spinnen zweier unterschiedlicher Bilder zueinander ermöglicht. Sie beruht auf der vereinfachenden Annahme, dass alle durch den Zentralpunkt und die dem Zentralpunkt zugeordneten Punkte von Interesse repräsentierten Punkte eines abgebildeten Objektes in einer Ebene liegen, dass die perspektivische Verzerrung durch eine affine Transformation abgeschätzt werden kann und dass die Zentralpunkte der ersten Datenstruktur und der zweiten Datenstruktur denselben Punkt eines abgebildeten Objektes repräsentieren, so dass aufgrund der relativen Koordinaten der Punkte von Interesse zu ihrem jeweiligen Zentralpunkt Translationen nicht für die Berechnung berücksichtigt werden müssen.

Vorteilhafterweise beinhaltet die Bestimmung der 2,2-Transformationsmatrix eine Schritt des Bestimmens einer Moore-Penrose-Inversen. Das Bestimmen einer Moore-Penrose-Inversen ermöglicht es, eine optimale Lösung einer 2,2-Transformationsmatrix zu bestimmen.

Erfindungsgemäß wird ein Zuverlässigkeitswert bestimmt, der eine Wahrscheinlichkeit dafür angibt, dass der erste Punkt von Interesse dem zweiten Punkt von Interesse bildlich entspricht, d.h., denselben Punkt eines abgebildeten Objektes repräsentiert. In dem für jedes mögliche Paar von Punkten von Interesse ein Zuverlässigkeitswert bestimmt wird, kann eine Wahrscheinlichkeit abgeleitet werden, dass eine in einem Bild aufgefundene Spinne einer in einem zweiten Bild desselben Objektes aufgefundenen Spinne entspricht. Durch Vergleich der Zuverlässigkeitswerte der verschiedenen Kombinationen von Spinnen zweier unterschiedlicher Bilder lässt sich somit eine Kombination von Spinnen bestimmen, die mit größtmöglicher Wahrscheinlichkeit dieselben Punkte eines in den beiden verschiedenen Bildern abgebildeten Objektes beschreiben.

Besonders bevorzugt wird dabei ein Abstand der Koordinaten des ersten Punktes von Interesse relativ zu dessen Zentralpunkt und der Koordinaten des zweiten Punktes von Interesse zu seinem Zentralpunkt bestimmt. Der bestimmte Zuverlässigkeitswert ist dabei desto größer, je kleiner der Abstand der Koordinaten ist. Die genannte Bestimmungsregel für den Zuverlässigkeitswert beruht auf der Annahme, dass ein abgebildetes Objekt in zwei verschiedenen Bildern mit hoher Wahrscheinlichkeit seine Form und Position nur geringfügig geändert hat.

Besonders zuverlässige Aussagen über die Wahrscheinlichkeit, dass zwei Punkte von Interesse verschiedenen Bilder denselben Punkt eines in den beiden Bildern abgebildeten Objektes darstellen, können getroffen werden, wenn der Zuverlässigkeitswert eines ersten Punktes von Interesse eines Feldes von Bildpunkten gemäß einer vorbestimmten Rechenregel unter Einbeziehung eines Zuverlässigkeitswertes eines als bildlich entsprechend erkannten zweiten Punktes von Interesse eines zweiten Feldes von Bildpunkten bestimmt wird. Auf diese Weise berechnet sich der Zuverlässigkeitswert eines Punktes von Interesse abhängig von Zuverlässigkeitswerten, die den Punkten von Interesse, die denselben Punkt eines abgebildeten Objektes repräsentieren, in vorhergehenden Bildern einer Sequenz von Bildern zugewiesen wurden.

Um den Einfluss von Ankerpunkten mit niedrigen zugeordneten Zuverlässigkeitswerten bei der Zuordnung zweiter Spinnen zueinander gering zu halten, wird bei einer Ausführungsvariante des Verfahrens der Abstand eines Ankerpunktes zu seinem Zentralpunkt durch mathematische Verknüpfung mit dem dem Ankerpunkt zugeordneten Zuverlässigkeitswert gewichtet.

Ein zweiter Aspekt der Erfindung betrifft ein Programm zur Ausführung durch eine Datenverarbeitungsanlage, das in Ausführung das erfindungsgemäße Verfahren durchführt.

Ein dritter Aspekt der Erfindung betrifft einen Datenträger, auf dem das Programm zur Ausführung durch eine Datenverarbeitungsanlage gespeichert ist.

Ein vierter Aspekt der Erfindung betrifft eine Vorrichtung, die ausgebildet ist, das erfindungsgemäße Verfahren auszuführen.

Im Folgenden wird die Erfindung anhand von Abbildungen näher erläutert. Es zeigen:
1 die Gewichtungsfunktion des „Mexican-Hat"-Operators in drei Teilbildern 1a, 1b und 1c;
2 eine optische Illustration von Zwischen- und Endergebnissen einer Durchführung des erfindungsgemäßen Verfahrens zur Objekterkennung anhand von vier Teilabbildungen 2a, 2b, 2c und 2d;
3 ein Flussdiagramm eines Ausführungsbeispieles des erfindungsgemäßen Verfahrens;
4 eine grafische Illustration für eine Zuordnung zweier aus unterschiedlichen Abbildungen desselben Objektes gewonnener Spinnen unter Berechnung einer Transformationsmatrix;
5 ein Flussdiagramm für die Zuordnung zweier Spinnen zueinander als Teil eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
Die 2 und 4 sind dem bisher unveröffentlichten geplanten Aufsatz Stanski, A. und Hellwich, O.: "Spiders as Robust Point Descriptors", Springer Lecture Notes in Computer Science, Vol. 3663, DAGM 2005 entnommen; die urheberrechtlichen Nutzungsrechte liegen beim veröffentlichenden Springer Verlag.
1 zeigt die Gewichtungsfunktion des „Mexican-Hat"-Operators in drei Teilbildern 1a, 1b und 1c. Die Teilabbildung 1a zeigt ein Koordinatensystem, in dem die Funktionswerte zweier um den Ursprung symmetrischer Gaußglocken f₁(x,y) und f₂(x,y) über den Koordinaten x und y aufgetragen sind. f₁(x,y) weist eine höhere Amplitude A₁ auf als die Amplitude A₂ von f₂(x,y), dafür jedoch einen im Zentralbereich der Gaußglocke steileren Abfall ihrer Flanken. Die zwei Schnittpunkte der beiden Gaußglocken f₁(x,y) und f₂(x,y) sind durch gestrichelte Linien mit den Nullpunkten der in Teilabbildung 1b dargestellten Differenz der beiden Gaußglocken f₁(x,y) – f₂(x,y) verbunden.
Die in Teilabbildung 1b dargestellte Differenzfunktion ist wiederum über den Koordinaten x und y aufgetragen und in der dargestellten Querschnittszeichnung in drei Zonen unterteilt, von denen jedoch die beiden diagonal gestreiften Zonen räumlich zusammenhängen. Die diagonal gestreiften Zonen bilden den Außenbereich der Gewichtungsfunktion und weisen ausnahmslos negative Funktionswerte auf. Der vertikal gestreifte Zentralbereich der Differenzfunktion weist positive Funktionswerte und in seinem Mittelpunkt die Amplitude der Gewichtungsfunktion mit dem Wert A₁ – A₂ auf. Der Funktionsverlauf der Differenzfunktion erinnert entfernt an einen Sombrero, weshalb der Interest-point-Operator mit dieser Gewichtungsfunktion als „Mexican-Hat"-Operator bezeichnet wird. Die Verläufe der beiden Gaußglocken f₁(x,y) und f₂(x,y) sind dabei so gewählt, dass sich die Volumina V₁ des positiven Zentralbereiches und V₂ des negativen Außenbereiches der Differenzfunktion in der Summe zu 0 ergeben.
Die Teilabbildung 1c zeigt eine Draufsicht der um den Ursprung rotationssymmetrischen Differenzfunktion, wobei der positive Innenbereich und der negative Außenbereich in der Darstellung durch entsprechende Vorzeichen + und – gekennzeichnet wurden. Die Grenzlinie zwischen dem positiven Innenbereich und dem negativen Außenbereich ist kreisförmig und durch die Vorschrift f₁(x,y) – f₂(x,y) = 0 bestimmt. Theoretisch besitzt die Differenzfunktion einen unendlichen Durchmesser, da der negative Außenbereich für |x|,|y| → ∞ dem Grenzwert 0 zustrebt.
Um bei der Anwendung des „Mexican-Hat"-Operators auf ein Bild nur eine begrenzte Anzahl von Bildpunkten im Umfeld des zu beurteilenden Bildpunktes einbeziehen zu müssen, wird in der Praxis der Durchmesser des negativen Außenbereiches auf einen Durchmesser begrenzt, für den die Differenzfunktion betragsmäßig hinreichend kleine Funktionswerte aufweist. Diese äußere Begrenzung ist in der Teilabbildung 1c durch eine kreisförmige Linie dargestellt, die der Vorschrift f₁(x,y) – f₂(x,y) ≈ 0 folgt.
2 zeigt eine optische Illustration von Zwischen- und Endergebnissen einer Durchführung des erfindungsgemäßen Verfahrens zur Objekterkennung anhand von vier Teilabbildungen 2a, 2b, 2c und 2d. Teilabbildung 2a zeigt ein Bild, auf das das erfindungsgemäße Verfahren angewendet wird. In einem ersten Teilabschnitt des Verfahrens werden Punkte von Interesse bestimmt und jedem bestimmten Punkt von Interesse ein Zuverlässigkeitswert zugewiesen. Der Punkt von Interesse mit dem höchsten Zuverlässigkeitswert wird als Zentralpunkt ausgewählt.
In der Teilabbildung 2a wurden sämtliche Punkte von Interesse durch weiße Punkte markiert. Der Zentralpunkt wurde zusätzlich durch einen weißen Kreis hervorgehoben. Von dem Zentralpunkt ausgehend wird in einem nächsten Teilabschnitt des erfindungsgemäßen Verfahrens ein visuell homogenes Segment um den Zentralpunkt herum bestimmt.
Die Teilabbildung 2c zeigt das Ursprungsbild, in dem sämtliche Bildpunkte, die dem bestimmten visuell homogenen Segment zugehören, weiß markiert wurden. In einem anschließenden Teilabschnitt des erfindungsgemäßen Verfahrens werden alle Punkte von Interesse bestimmt, die in dem visuell homogenen Segment liegen, und in einer Datenstruktur dem Zentralpunkt als Ankerpunkte zugeordnet werden.
Teilabbildung 2d zeigt eine visuelle Repräsentation dieser Datenstruktur in Form einer sogenannten Spinne, bei der jeder dem Zentralpunkt zugeordnete Ankerpunkt mit dem Zentralpunkt durch eine weiße Linie verbunden wurde. Die Datenstruktur repräsentiert als Ergebnis oder Zwischenergebnis des erfindungsgemäßen Verfahrens einen spinnenförmigen Disktriptor, der eine zuverlässigere Objekterkennung und -verfolgung ermöglicht.
3 zeigt ein Flussdiagramm eines Ausführungsbeispieles des erfindungsgemäßen Verfahrens. Das Verfahren beginnt beim Start 100. Im Schritt 101 wird ein erstes Bild für die Verarbeitung ausgewählt, auf das im Schritt 103 ein Interest-point-Operator angewendet und das dadurch auf einen Ergebnisraum abgebildet wird. Anschließend werden im Schritt 104 die Vektoren von Ergebniswerten im Ergebnisraum ausgewertet, was im Schritt 105 einen Schritt des Ermittelns lokaler Extrema umfasst. Daraufhin wird im Schritt 106 für jedes ermittelte lokale Extremum ein Zuverlässigkeitswert bestimmt, der sich in Abhängigkeit von der Differenz des Vektors des lokalen Extremums und des Ergebniswertes in einem Schachbrettabstand von zwei mit dem geringsten Abstand zum Ergebniswert des lokalen Extremums berechnet. Indem der Zuverlässigkeitswert von der relativen Höhe des lokalen Extremums abhängig ist, wird besonders markanten Bildpunkten ein besonders hoher Zuverlässigkeitswert zugewiesen. Im folgenden Verfahrensschritt 107 werden Punkte von Interesse bestimmt, wobei wahlweise alle im Schritt 105 ermittelten lokalen Extrema als Punkte von Interesse bestimmt oder aber eine vorbestimmte Zahl von Punkten von Interesse mit den höchsten Zuverlässigkeitswerten ausgewählt werden können. In Schritt 108 wird eine Liste der bestimmten Punkte von Interesse erstellt, die einen Eintrag für jeden der Punkte von Interesse enthält. Aus den in der Liste erfassten Punkten von Interesse wird in Schritt 109 derjenige als Zentralpunkt ausgewählt, der den höchsten Zuverlässigkeitswert aufweist. Daraufhin wird in Schritt 110 der Listeneintrag des Zentralpunktes von der Liste gelöscht oder als während der Durchführung des Verfahrens bereits berücksichtigt markiert. Im nachfolgenden Schritt 111 wird das Bild einer Schärfereduzierung unterzogen, um die im Schritt 112 nachfolgende Bestimmung eines visuell homogenen Segmentes robuster gegen durch Bildstörungen beeinflusste Bildpunkte zu machen. Die Bestimmung des visuell homogenen Segmentes erfolgt bevorzugt durch ein sogenanntes Region-growing-Verfahren, in dessen Verlauf ein Segment um den Zentralpunkt bestimmt wird, dessen Bildpunkte ähnliche oder gleiche visuelle Eigenschaften aufweisen wie der Zentralpunkt. Im Schritt 113 wird ein zweiter Punkt von Interesse ausgewählt, der innerhalb des visuell homogenen Segmentes liegt. Anschließend wird in Schritt 114 der dem bestimmten zweiten Punkt von Interesse zugeordnete Listeneintrag gelöscht oder markiert, und in Schritt 115 der zweite Punkt von Interesse dem Zentralpunkt in einer Datenstruktur – der sogenannten Spinne – zugeordnet. In Schritt 116 wird geprüft, ob in dem visuell homogenen Segment weitere Punkte von Interesse vorliegen. Ist dies der Fall, wird zum Schritt 113 zurückverzweigt, so dass im Resultat sämtliche in dem visuell homogenen Segment enthaltene zweite Punkte von Interesse dem Zentralpunkt in der Spinne zugeordnet werden. Ergibt die Prüfung in Schritt 116, dass in dem Segment keine weiteren zweiten Punkte von Interesse vorhanden sind, wird mit dem Schritt 117 weiterverfahren. In diesem Schritt wird ein erstes Abbruchkriterium überprüft. Im vorliegenden Ausführungsbeispiel ist das erste Abbruchkriterium erfüllt, wenn die Liste keine Listeneinträge oder keine unmarkierten Listeneinträge mehr enthält, sodass alle Punkte von Interesse in einer Datenstruktur erfasst sind. Im nachfolgenden Schritt 118 wird ein zweites Abbruchkriterium überprüft. Das zweite Abbruchkriterium ist erfüllt, wenn eine vorbestimmte Zahl von Datenstrukturen erstellt wurde. Ist das zweite Abbruchkriterium nicht erfüllt, verzweigt das Verfahren zum Schritt 109 zurück, in dem ein weiterer in der Liste erfasster Punkt von Interesse zum Zentralpunkt einer weiteren Datenstruktur bestimmt wird. Das Verfahren fährt im Schritt 119 fort, wenn eines der Abbruchkriterien erfüllt ist. In diesem Schritt wird geprüft, ob bereits ein zweites Bild ausgewertet wurde. Ist diese nicht der Fall, fährt das Verfahren mit dem Schritt 102 fort, in dem ein zweites Bild für die Auswertung ausgewählt wird. Auf das zweite Bild werden die Verfahrensschritte 103 bis 119 wie zuvor auf das erste Bild angewendet. Hat die Prüfung in Schritt 119 ergeben, dass bereits ein zweites Bild ausgewertet wurde, wird in einen Schritt 200 verzweigt, in dem eine Datenstruktur des ersten Bildes einer Datenstruktur des zweiten Bildes zugeordnet wird. Ein Ausführungsbeispiel für diese Zuordnung wird durch ein Flussdiagramm in der 5 näher erläutert.
4 zeigt eine grafische Illustration für eine Zuordnung zweier aus unterschiedlichen Abbildungen desselben Objektes gewonnener Spinnen unter Berechnung einer Transformationsmatrix. Auf der linken Seite der 4 sind zwei Bilder desselben Objektes zu sehen, wobei das untere der beiden eine rotierte und verzerrte Version des oberen Ursprungsbildes darstellt. In beiden Bildern wurde jeweils eine Spinne bestimmt, die in den Bildern weiß hervorgehoben sind. Jedem Fußpunkt der Spinnen wurde dabei ein Zuverlässigkeitswert zugewiesen, der in den Bildern als Prozentwert vermerkt wurde. In der Mitte der 4 sind die beiden Spinnen aus dem Bild extrahiert vor schwarzem Hintergrund zu sehen, wobei die Koordinaten der Ankerpunkte der beiden Spinnen durch den jedem Ankerpunkt zugeordneten Zuverlässigkeitswert skaliert oder gewichtet wurden. Die aus dem Bild 1 extrahierte Spinne wird durch Multiplikation mit einer 2,2-Transformationsmatrix auf die aus dem Bild 2 extrahierte abgebildet. Oben rechts in 4 ist dabei die berechnete Transformationsmatrix zu sehen, deren Anwendung auf die aus dem ersten Bild extrahierte Spinne die ganz rechts in 4 gezeigte Spinne ergibt. Der direkte Vergleich der durch Anwendung der Transformationsmatrix verzerrten aus dem ersten Bild extrahierten Spinne mit der aus dem zweiten Bild extrahierten zeigt, dass beide Spinnen nahezu äquivalent sind und damit mit hoher Wahrscheinlichkeit dieselben Punkte desselben abgebildeten Objektes repräsentieren. Die bestimmte Transformationsmatrix liefert als Ergebnis dieses Ausführungsbeispiels des erfindungsgemäßen Verfahrens Aufschlüsse darüber, wie sich ein Objekt von einem Bild zum nächsten einer Bildsequenz bewegt hat, oder über die dreidimensionale Struktur eines in zwei von zwei unterschiedlichen Gesichtspunkten aus aufgenommenen Bildern desselben Objektes.
5 zeigt ein Flussdiagramm für die Zuordnung zweier Spinnen zueinander als Teil eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. In Schritt 201 werden sämtliche Koordinaten der in den aus den beiden Bildern extrahierten Datenstrukturen auf die Koordinaten des Zentralpunktes bezogen, dem die in den Datenstrukturen erfassten Ankerpunkte zugeordnet sind. Dies geschieht durch einfache Vektorsubtraktion der Koordinaten des Zentralpunktes von den Koordinaten der dem Zentralpunkt zugeordneten Ankerpunkte. Im nachfolgenden Schritt 202 wird ein Paar von Spinnen ausgewählt, wobei jeweils eine der Spinnen aus dem ersten und eine aus dem zweiten Bild extrahiert wurden. Die Auswahl kann zufällig, gemäß den Zuverlässigkeitswerten der Zentralpunkte der beiden Spinnen oder nach einem anderen Kriterium vorgenommen werden. Ebenfalls ist es möglich, jede mögliche Kombination von Spinnen auszuprobieren und die Ergebnisse der Zuordnung anschließend einer Plausibilitätsprüfung zu unterziehen, die eine optimale Kombination von Spinnen als Ergebnis liefert. Ziel des in 5 dargestellten Teiles des Ausführungsbeispiels ist, eine Transformationsmatrix zu bestimmen, die die eine des Paares von Spinnen auf die andere Spinne des Paares von Spinnen abbildet. Als Gleichungssystem dargestellt folgt:
Hierbei stellen x₁, y₁ die Koordinaten eines Ankerpunktes der aus dem ersten Bild extrahierten Spinne und x₂, y₂ die Koordinaten eines Ankerpunktes einer aus dem zweiten Bild extrahierten Spinne dar. Die 2,2-Matrix mit den Komponenten m₁, m₂, m₃ und m₄ ist dabei die Transformationsmatrix, die den Ankerpunkt der ersten Spinne auf den Ankerpunkt der zweiten Spinne abbildet.
Im Schritt 203 wird eine Zuordnung der Ankerpunkte der Spinne zueinander bestimmt, wobei eine örtliche Abweichung der Koordinaten des Ankerpunktes der beiden Spinnen voneinander als Fehler angesehen wird. In einem ersten Teilschritt wird dabei eine Drehung der beiden Spinnen zueinander bestimmt. Dazu wird jeder Spinne ausgehend von ihrem Zentralpunkt eine Hauptrichtung zugewiesen. Die Hauptrichtung kann auf verschiedenen Wegen bestimmt werden. Im einfachsten Fall könnten die Koordinaten der Ankerpunkte der jeweiligen Spinne relativ zu deren Zentralpunkt vektoriell addiert werden, wobei der resultierende Summenvektor die Hauptrichtung der Spinne liefert. Verbessert werden kann diese Vorgehensweise, indem die Koordinaten jedes Ankerpunktes vor der Addierung mit dem dem jeweiligen Ankerpunkt zugeordneten Zuverlässigkeitswert gewichtet werden. Auf diese Weise kann der Einfluss von als weniger zuverlässig erkannten Ankerpunkten der Spinne bei der Bestimmung der Hauptrichtung reduziert werden. Ein alternatives Verfahren zur Bestimmung der Hauptrichtung sieht vor, die Umgebung des Zentralpunktes gleichmäßig in eine vorbestimmte Anzahl Sektoren zu unterteilen. Die Grenzen zwischen den Sektoren werden durch Geraden gebildet, die durch den Zentralpunkt verlaufen und vorzugsweise für jeden Sektor gleiche Winkel aufspannen. Anschließend werden die einzelnen Ankerpunkte der Spinne demjenigen Sektor zugeordnet, in dem sie liegen, und lediglich diejenigen Ankerpunkte für die Bestimmung der Hauptrichtung durch vektorielle Addierung berücksichtigt, die in dem Sektor liegen, dem die meisten Ankerpunkte zugeordnet wurden. Ist die Hauptrichtung zweier einander zuzuordnender Spinnen bekannt, kann eine der beiden Spinnen um die Differenz der Hauptrichtungen rotiert werden, so dass die Wahrscheinlichkeit erhöht wird, das diejenigen Ankerpunkte beider Spinnen einander zugeordnet werden, die dieselben Punkte eines abgebildeten Objektes repräsentieren.
Als nächstes werden die (rotierten) Koordinaten der Ankerpunkte beider Spinnen relativ zu ihren jeweiligen Zentralpunkten verglichen und derjenige Ankerpunkt der ersten und derjenige der zweiten Spinne einander zugeordnet, die zueinander den geringsten Abstand aufweisen. Aus den jeweils verbleibenden Ankerpunkten der beiden Spinnen wird solange wiederum jeweils das Paar von Ankerpunkten gesucht und einander zugeordnet, das den geringsten Abstand zueinander aufweist, bis jedem Ankerpunkt einer der beiden Spinnen ein Ankerpunkt der anderen Spinne zugeordnet ist. Anschließend wird im Schritt 204 für jeden Ankerpunkt ein Zuverlässigkeitswert bestimmt, der eine Wahrscheinlichkeit dafür angibt, dass ein Ankerpunkt der zweiten Spinne dem zugeordneten Ankerpunkt der ersten Spinne entspricht. Je geringer der Zuverlässigkeitswert eines Ankerpunktes ist, desto geringer soll sein Einfluss während des Zuordnens der beiden Spinnen zueinander sein. Deshalb wird im Schritt 205 jeder Ankerpunkt der beiden Spinnen skaliert, indem seine Koordinaten mit den kombinierten Zuverlässigkeitswerten r₁ und r₂ der beiden Ankerpunkte der beiden Spinnen gewichtet werden. Als Formel ausgedrückt ergeben sich skalierte Koordinaten x ' / 1 und y ' / 1 bzw. x ' / 2 und y ' / 2:
In Schritt 206 wird ein lineares Gleichungssystem aufgestellt, das sich aus den Formeln 1 und 2 ergibt:
Die Matrix und der Ergebnisvektor setzen sich dabei nach unten mit entsprechenden Einträgen für die skalierten Koordinaten weiterer einander zugeordneter Ankerpunkte der beiden Spinnen fort, was in der Formel durch Pünktchen angedeutet wurde. Dieses inhomogene lineare Gleichungssystem kann auch dargestellt werden: Ax = b
Die Vektor x, der direkt die 2,2-Transformationsmatrix liefert, wird im Schritt 207 bestimmt, indem die Moore-Penrose-Inverse der Matrix A bestimmt wird. Als Formel dargestellt: x = [ATA]+ATb
Die 2,2-Transformationsmatrix stellt das Ergebnis der Zuordnung der beiden Spinnen dar und erlaubt die bereits erläuterten Aussagen über ein in den beiden Bildern abgebildetes Objekt.
Zur Probe werden in Schritt 208 die 2,2 Transformationsmatrix auf die erste Spinnen angewendet und in Schritt 209 die in Schritt 208 gewonnene transformierte Spinne mit der zweiten Spinne verglichen. Der Vergleich liefert ein Maß dafür, wie gut die 2,2-Transformationsmatrix die erste Spinne auf die zweite abbildet, indem die Abweichungen der Koordinaten der einzelnen Ankerpunkte untersucht werden. Werden verschiedene Kombinationen von Spinnen durch die Verfahrensschritte 201ff. einander zugeordnet, erlaubt der Vergleich die Auswahl derjenigen Zuordnung zweier Spinnen zueinander, die die geringsten Abweichungen der Koordinaten der einzelnen Ankerpunkte aufweist. Auch hierbei können die Abweichungen der Koordinaten wiederum durch die den Ankerpunkte zugeordneten Zuverlässigkeitswerte gewichtet werden, um den Einfluss von als unzuverlässig erkannten Ankerpunkten gegenüber zuverlässigeren zu verringern.

Claims

Verfahren zur Objekterkennung in einem zweidimensionalen Feld von Bildpunkten, wobei jeder Bildpunkt des zweidimensionalen Feldes durch Koordinaten gekennzeichnet ist, mit den Schritten: – Abbilden (103) des Feldes von Bildpunkten auf einen Ergebnisraum, welcher für jeden Bildpunkt des Feldes einen zugehörigen Vektor von Ergebniswerten enthält, der sich jeweils durch Anwenden eines Interest-point-Operators auf jeden Bildpunkt des Feldes ergibt, – Auswerten (104) der Vektoren von Ergebniswerten, – Bestimmen (107) einer Vielzahl von Punkten von Interesse in dem Feld von Bildpunkten, – Erstellen (108) einer Liste, die für jeden Punkt von Interesse einen Eintrag enthält, – Zuordnen (106) eines ersten Zuverlässigkeitswertes zu jedem Eintrag der Liste, – Auswählen (109) eines Punktes von Interesse, dem der Eintrag der Liste mit dem größten zugeordneten ersten Zuverlässigkeitswert zugehört, als Zentralpunkt, – Bestimmen (112) eines visuell homogenen Segmentes innerhalb des zweidimensionalen Feldes, wobei das Segment den Zentralpunkt enthält, – Auswählen (113) eines weiteren Punktes von Interesse, der innerhalb des Segmentes liegt und für den in der Liste ein Eintrag vorhanden ist, – Bilden (115) einer Datenstruktur, in der der weitere Punkt von Interesse dem Zentralpunkt in einer Datenstruktur zugeordnet ist wobei die Schritte jeweils einmal für eine Vielzahl zweidimensionaler Felder von Bildpunkten durchgeführt werden und anschließend ein Schritt des Zuordnens einer ersten Datenstruktur eines ersten zweidimensionalen Feldes von Bildpunkten zu einer zweiten Datenstruktur eines zweiten zweidimensionalen Feldes von Bildpunkten durchgeführt wird, wobei der Schritt des Zuordnens der ersten Datenstruktur zur zweiten Datenstruktur eine Berechnung einer affinen Transformation beinhaltet, mit der die Koordinaten eines ersten Punktes von Interesse einer ersten Datenstruktur relativ zu einem ersten Zentralpunkt, dem der erste Punkt von Interesse zugeordnet ist, auf die Koordinaten eines zweiten Punktes von Interesse einer zweiten Datenstruktur relativ zu einem zweiten Zentralpunkt, dem der zweite Punkt von Interesse zugeordnet ist, abgebildet wird und anschließend ein Zuverlässigkeitswert bestimmt wird, der die Wahrscheinlichkeit dafür angibt, dass der erste Punkt von Interesse dem zweiten Punkt von Interesse bildlich entspricht.
Verfahren nach Anspruch 1, bei dem im Schritt (107) des Bestimmens von Punkten von Interesse Punkte von Interesse ausgewählt werden, die auf Enden von Kanten liegen.
Verfahren nach Anspruch 1 oder 2, bei dem im Schritt (107) des Bestimmens von Punkten von Interesse stabile Punkte von Interesse ausgewählt werden.
Verfahren nach Anspruch 1, bei dem der Interest-point-Operator ein Harris-Operator ist (1).
Verfahren nach Anspruch 1, bei dem der Interest-point-Operator ein „Mexican-Hat"-Operator mit einem vorbestimmten Durchmesser ist.
Verfahren nach einem der Ansprüche 1 bis 5, bei dem der Schritt des Abbildens das Anwenden mehrerer Interest-point-Operatoren beinhaltet.
Verfahren nach Anspruch 5 und Anspruch 6, bei dem der Schritt des Abbildens das Anwenden mehrerer „Mexican-Hat"-Operatoren mit jeweils verschiedenen vorbestimmten Durchmessern beinhaltet.
Verfahren nach einem der Ansprüche 1 bis 7, bei dem das Auswerten (104) der Vektoren des Ergebnisraumes einen Schritt des Ermittelns eines lokalen Extremums beinhaltet.
Verfahren nach Anspruch 8, bei dem die Punkte von Interesse lokale Extrema der Vektoren des Ergebnisraumes sind.
Verfahren nach einem der Ansprüche 1 bis 9, bei dem sich der erste Zuverlässigkeitswert eines Punktes von Interesse gemäß einer vorbestimmten Rechenvorschrift aus dem zugehörigen Vektor im Ergebnisraum ableitet.
Verfahren nach Anspruch 10, bei dem sich der erste Zuverlässigkeitswert eines Punktes von Interesse gemäß einer vorbestimmten Rechenvorschrift aus dem Betrag des zugehörigen Vektors im Ergebnisraum ableitet.
Verfahren nach einem der Ansprüche 10 oder 11, bei dem sich der erste Zuverlässigkeitswert eines Punktes von Interesse gemäß einer vorbestimmten Rechenvorschrift aus einem Quotienten eines Minimums und eines Maximums der den Bildpunkten innerhalb einer vorbestimmten Umgebung des Punktes von Interesse zugeordneten Vektoren im Ergebnisraum ableitet.
Verfahren nach einem der Ansprüche 10 bis 12, bei dem sich der erste Zuverlässigkeitswert eines Punktes von Interesse gemäß einer vorbestimmten Rechenvorschrift aus dem Betrag der Differenz des Vektors des lokalen Extremums und des Vektors eines Bildpunktes der Umgebung des dem lokalen Extremum zugeordneten Bildpunktes ableitet.
Verfahren nach Anspruch 13, bei dem der Bildpunkt der Umgebung der Bildpunkt mit dem höchsten Wert mit einem Schachbrettabstand von 2 zu dem lokalen Extremum ist, wenn das lokale Extremum ein lokales Maximum ist, und andernfalls der Bildpunkt mit dem niedrigsten Wert mit einem Schachbrettabstand von 2 zu dem lokalen Extremum ist.
Verfahren nach einem der Ansprüche 1 bis 14, bei dem eine Vielzahl weiterer Punkte von Interesse ausgewählt und dem Zentralpunkt einer Datenstruktur zugeordnet werden (113, 114, 115, 116).
Verfahren nach einem der Ansprüche 1 bis 15, mit einem den Schritten des Auswählens eines Zentralpunktes und des Auswählens eines weiteren Punktes von Interesse folgenden Schritt des Markierens bzw. des Löschens des Eintrags des Zentralpunktes bzw. des dem Zentralpunkt zugeordneten weiteren Punktes von Interesse aus der Liste, und bei dem im Schritt des Auswählens eines Zentralpunktes und im Schritt des Auswählens eines weiteren Punktes von Interesse nur Punkte von Interesse mit einem unmarkierten bzw. ungelöschten Eintrag berücksichtigt werden.
Verfahren nach Anspruch 16, bei dem nach dem Schritt des Zuordnens des weiteren Punktes von Interesse zum Zentralpunkt zum Schritt des Auswählens eines Punktes von Interesse mit dem höchsten Zuverlässigkeitswert solange zurückverzweigt wird, bis ein Abbruchkriterium erfüllt ist.
Verfahren nach Anspruch 17, bei dem das Abbruchkriterium bei Erreichen einer vorbestimmten Anzahl von Zentralpunkten erfüllt ist.
Verfahren nach Anspruch 17 oder Anspruch 18, bei dem das Abbruchkriterium erfüllt ist, wenn die Liste keinen Eintrag oder keinen unmarkierten Eintrag enthält.
Verfahren nach einem der Ansprüche 1 bis 19, bei dem dem Schritt des Bestimmens des Segmentes ein Schritt der Schärfereduzierung des zweidimensionalen Feldes von Bildpunkten vorausgeht.
Verfahren nach einem der Ansprüche 1 bis 20, bei dem der Schritt des Bestimmens des Segmentes das Abarbeiten eines Region-growing-Verfahrens beinhaltet.
Verfahren nach Anspruch 21, bei dem das Region-growing-Verfahren folgende Schritte umfasst: – Bestimmen des Zentralpunkts als Bildpunkt des Segmentes, – Prüfen von an den Bildpunkt des Segmentes angrenzenden Bildpunkten auf Zugehörigkeit zum Segment, wobei Bildpunkte verworfen werden, die bereits zum Segment gehören, – Prüfen des Wertes einer Eigenschaft von an den Bildpunkt des Segmentes angrenzenden Bildpunkten, wobei Bildpunkte verworfen werden, deren Wert der Eigenschaft mehr als einen vorbestimmten Differenzwert über oder unter dem Wert der Eigenschaft des Bildpunktes des Segmentes liegen, – Einbeziehen der verbliebenen an den Bildpunkt des Segmentes angrenzenden Bildpunkte in das Segment, – rekursives Ausführen der Schritte des Prüfens und Einbeziehens für jeden in das Segment einbezogenen Bildpunkt, bis keine Bildpunkte mehr in das Segment einbezogen werden.
Verfahren nach Anspruch 22, bei dem die Eigenschaft eine Helligkeit, ein Kontrast, eine Farbe oder ein Kontrast ist.
Verfahren nach einem der Ansprüche 1 bis 23, bei dem der Schritt des Bestimmens des Segmentes das Bestimmen eines Farbgradienten, eines Helligkeitsgradienten, eines Kontrastgradienten, einer Textur oder einer Kantenglätte beinhaltet.
Verfahren nach Anspruch 1, bei dem die Berechnung der affinen Transformation eine Bestimmung einer 2,2-Transformationsmatrix einschließt, wobei die 2,2-Transformationsmatrix die Koordinaten des ersten Punktes von Interesse der ersten Datenstruktur relativ zu dem ersten Zentralpunkt, dem der erste Punkt von Interesse zugeordnet ist, auf die Koordinaten des zweiten Punktes von Interesse der zweiten Datenstruktur relativ zu dem zweiten Zentralpunkt, dem der zweite Punkt von Interesse zugeordnet ist, abbildet.
Verfahren nach Anspruch 25, bei dem die Bestimmung der 2,2-Transformationsmatrix einen Schritt des Bestimmens einer Moore-Penrose-Inversen beinhaltet.
Verfahren nach Anspruch 26, bei dem ein Abstand der Koordinaten des ersten Punktes von Interesse relativ zu einem ersten Zentralpunkt, dem der erste Punkt von Interesse zugeordnet ist, und der Koordinaten des zweiten Punktes von Interesse zu einem zweiten Zentralpunkt, dem der zweite Punkt von Interesse zugeordnet ist, bestimmt wird und der zweite Zuverlässigkeitswert für einen ersten Abstand größer ist als für einen zweiten Abstand, wenn der erste Abstand kleiner ist als der zweite.
Verfahren nach einem der Ansprüche 27, bei dem der zweite Zuverlässigkeitswert eines ersten Punktes von Interesse eines ersten Feldes von Bildpunkten gemäß einer vorbestimmten Rechenregel unter Einbeziehung eines Zuverlässigkeitswertes eines als bildlich entsprechend erkannten zweiten Punktes von Interesse eines zweiten Feldes von Bildpunkten bestimmt wird.
Verfahren nach einem der Ansprüche 27 oder 28, bei dem der Abstand eines Punktes von Interesse zu einem zugeordneten Zentralpunkt, dem der Punkt von Interesse zu geordnet ist, durch mathematische Verknüpfung mit dem dem Punkt von Interesse zugeordneten Zuverlässigkeitswert gewichtet wird.
Programm zur Ausführung durch eine Datenverarbeitungsanlage, gekennzeichnet dadurch, dass das Programm in Ausführung in einem Computer ein Verfahren nach einem der Ansprüche 1 bis 29 durchführt.
Datenträger gekennzeichnet durch ein auf dem Datenträger gespeichertes Programm nach Anspruch 30.
Vorrichtung zur Objekterkennung in einem zweidimensionalen Feld von durch Koordinaten gekennzeichneten Bildpunkten mittels eines Verfahrens gemäß Anspruch 1, mit einem Bildspeicher zur Aufnahme eines zweidimensionalen Feldes von Bildpunkten und einem mit dem Bildspeicher verbundenen Interest-point-Generator, der ausgebildet ist, eine Liste von Punkten von Interesse innerhalb des zweidimensionalen Feldes von Bildpunkten zu erstellen und auszugeben, gekennzeichnet durch – einen Segmentierer, der mit dem Bildspeicher und dem Interest-point-Generator verbunden und ausgebildet ist, ausgehend von einem vorzugebenden Ausgangsbildpunkt ein visuell homogenes Segment von dem Ausgangsbildpunkt benachbarten Bildpunkten mit gleichen oder ähnlichen visuellen Eigenschaften wie denen des Ausgangsbildpunktes zu bestimmen und Koordinaten von Bildpunkten, die dem Segment zugehören, auszugeben, – einen Dateistrukturerzeuger, der mit dem Interest-point-Generator und dem Segmentierer verbunden und ausgebildet ist, die vom Interest-point-Generator erstellte Liste entgegenzunehmen, einen Punkt von Interesse der Liste als Zentralpunkt auszuwählen und an den Segmentierer zum Bestimmen des visuell homogenen Segmentes zu geben, die vom Segmentierer ausgegebenen Koordinaten von Bildpunkten mit den Koordinaten der Punkte von Interesse der Liste zu vergleichen und eine Datenstruktur zu erzeugen, in der Punkte von Interesse, deren Koordinaten innerhalb des Segmentes liegen, dem Zentralpunkt als Ankerpunkte zugeordnet sind.
Vorrichtung nach Anspruch 32, gekennzeichnet durch einen dem Segmentierer vorgeschalteten Schärfereduzierer, der ausgebildet ist, ein zweidimensionales Feld von Bildpunkten als Eingangsbild einzulesen und ein Ausgangsbild zu erzeugen und auszugeben, das eine schärfereduzierte Wiedergabe des Eingansbildes ist.
Vorrichtung nach einem der Ansprüche 32 oder 33, gekennzeichnet durch eine Zuordnungseinheit, die ausgebildet ist, eine für ein erstes Feld von Bildpunkten erzeugte erste Datenstruktur einer für ein zweites Feld von Bildpunkten erzeugten zweiten Datenstruktur zuzuordnen.
Vorrichtung nach einem der Ansprüche 32 bis 34, dadurch gekennzeichnet, dass der Interest-point-Generator ausgebildet ist, einen Interest-point-Operator auf das zweidimensionale Feld anzuwenden.
Vorrichtung nach Anspruch 35, bei der der Interest-point-Operator ein „Mexican-Hat"-Operator mit einem vorbestimmten Durchmesser ist.
Vorrichtung nach einem der Ansprüche 35 oder 36, dadurch gekennzeichnet, dass der Interest-point-Generator ausgebildet ist, eine Vielzahl von Interest-point-Operatoren anzuwenden.
Vorrichtung nach Anspruch 37, dadurch gekennzeichnet, dass die Vielzahl von Interest-point-Operatoren „Mexican-Hat"-Operatoren mit jeweils einem vorbestimmten Durchmesser sind, wobei sich der Durchmesser eines „Mexican-Hat"-Operators der Vielzahl von „Mexican-Hat"-Operatoren von den Durchmessern der anderen der Vielzahl von „Mexican-Hat"-Operatoren unterscheidet.
Vorrichtung nach einem der Ansprüche 35 bis 38, bei der der Interest-point-Generator ausgebildet ist, einen Bildpunkt des zweidimensionalen Feldes von Bildpunkten als Punkt von Interesse zu bestimmen, für den der Interest-point-Operator einen betragsmäßig höheren Ergebniswert liefert als für die dem Punkt von Interesse benachbarten Bildpunkte.