DE102004018174B4

DE102004018174B4 - Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern, Computer-Programm-Produkt und digitales Speichermedium zur Ausführung dieses Verfahrens

Info

Publication number: DE102004018174B4
Application number: DE102004018174A
Authority: DE
Inventors: Petra Perner
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-04-08
Filing date: 2004-04-08
Publication date: 2006-12-21
Anticipated expiration: 2024-04-09
Also published as: DE102004018174A1

Abstract

Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern,
– wobei zum einen zur Akquisition von Formen aus Bildern mit Fällen und zum Lernen von abstrakten Formmodellen aus diesen Fällen für eine Falldatenbank bei jedem Bild mit Fällen durch manuelles Abfahren von Kanten eines Bildes in Form sichtbarer äußerer und/oder innerer Konturen mit einem handführbaren und mit einem Computer verbundenen Eingabegerät diesen Kanten und damit Fällen zuordenbare Daten gewonnen werden, über eine Verschiebung und Skalierung jeden Falles jeweils mindestens zwei Fälle miteinander verglichen werden und
– wobei zum anderen zum Erkennen eines Objektes in einem digitalen Bild mit Objekten aus der Falldatenbank ein Fall als Fallbild mit einer Fallbeschreibung ausgewählt wird, wobei gleichzeitig eine Bildfolge als eine Pyramide mit Bildebenen des Fallbildes erzeugt wird, ein Gradientenbild des aktuellen digitalen Bildes erzeugt und in eine Bildfolge als eine Pyramide mit...

Description

Die Erfindung betrifft Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern, Computer-Programm-Produkte mit jeweils einem Programmcode zur Durchführung dieses Verfahrens, Computer-Programm-Produkte auf maschinenlesbaren Trägern zur Durchführung dieses Verfahrens und digitale Speichermedien, die so mit einem programmierbaren Computersystem zusammenwirken können, dass diese Verfahren ausgeführt werden.

Objekte in digitalen Bildern werden bekannterweise durch Wandlung des digitalen Bildes in ein Grauwertbild und einer Bestimmung der Grauwerte automatisch erkannt. Entsprechend des Grauwertes können Gebiete und Kanten der Objekte erkannt und als Datenfile gespeichert werden. Kanten zeichnen sich durch einen Sprung im Grauwert aus. Über die Einbeziehung von Richtungen durch Richtungsvektoren benachbarter Punkte kann der Verlauf der Kante als Datenfile ermittelt und gespeichert werden. Dadurch können aber nur Kanten mit einer bestimmten Änderung des Grauwertes ermittelt werden. Bei fließenden Übergängen oder sich überlappenden Objekten ergeben sich Schwierigkeiten oder derartige digitale Bilder müssen manuell geprüft werden, wobei die dadurch erkannten Objekte dargestellt nur akzeptiert oder verworfen werden können.

Besonders problematisch sind dabei die Auswertung von digitalen Bildern mit Objekten biologischer Art. Derartige Objekte sind luftgetragene Keime, Pollen oder Zellen in Zellschnitten. Anordnungen zur automatischen Untersuchung von Zellen, Zellkomplexen und anderen biologischen Proben sind unter anderem durch die DE 196 16 997 A1 (Verfahren zur automatisierten mikroskopunterstützten Untersuchung von Gewebeproben oder Körperflüssigkeitsproben), DE 42 11 904 A1 (Verfahren und Vorrichtung zum Erstellen einer Artenliste für eine flüssige Probe) und DE 196 39 884 A1 (Mustererkennungssystem) bekannt.

In der DE 196 16 997 A1 werden über die Anwendung von Neuronalen Netzen Gewebeproben oder Körperflüssigkeitsproben auf Zelltypen untersucht.

Kleinstlebewesen wie Würmer, Insekten oder Schnecken werden in der DE 42 11 904 A1 erfasst und identifiziert. Die Identifikation erfolgt über einen Vergleich mit in einem Referenzobjektspeicher enthaltenen Objekten. Gleichzeitig werden die identifizierten Objekte gezählt und in eine Artenliste eingetragen.

In der DE 196 39 884 A1 werden feste Bestandteile in einer Probenströmung nach ihrer Größe insbesondere entsprechend ihrer Projektionslänge im Bild entlang der X- und der Y-Achse, ihres Umfangs und ihrer mittleren Farbdichte erfasst.

Nachteilig ist die bisher fehlende vollständige Automatisierbarkeit.

Durch die Druckschrift P. Perner, Th. Guenther, and H. Perner „Airborne Fungi Identifikation by Case-Based Reasoning" in: L. McGinty (Ed.), 5th Intern. Conference on Case-Based Reasoning. Workshop Proceedings, Case-Based Reasoning in Health Science 2003, p. 73–79 ist ein Verfahren nur zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern bekannt. Das wird in dieser Druckschrift nicht näher beschrieben.

In der Druckschrift Petra Perner „Mining knowledge in medical image databases" Data Mining and Knowledge Discovery: Theory, Tools, and Technology II, Belur V. Dasarathy, Editor, April 2000, pp. 359–368 wird nur ein Verfahren zur Entwicklung eines Klassifikators basierend auf einem symbolischen und numerischen Merkmalssatz beschrieben, wobei nur für die Merkmalsselektion ein Single-Linkage Clusterverfahren verwendet wird, nicht aber zum Lernen von Prototypen.

Durch die Druckschrift „Content-Based Image Retrieval (CBIR) of Biomedical Images" A report to the Board of Scientific Counselors; September 26–27, 2002; Communications Engineering Branch; Lister Hill National Center for Biomedical Communnications; National Library of Medicine ist ein Verfahren bekannt, mit dem in Bilddatenbanken Bilder mit ähnlichen Bildinhalten aufgefunden werden können. Es dient nicht zum automatischen Erkennen von Objekten im Bild sondern lediglich dem Bilddatenbankretrieval.

Durch die Druckschrift Metzler, V.; Aach, T.; Thies, C. „A novel object-oriented approach to image analysis and retrieval" Image Analysis and Interpretation, 2002. Proceedings. Fifth IEEE Southwest Symposium on 7–9 April 2002; Pages: 14–18 ist ebenfalls ein Verfahren zum Bilddatenretrieval bekannt, das es erlaubt, basierend auf dem Texturmerkmal Bilder mit ähnlichen Bildinhalten aus einer Bilddatenbank zu ermitteln. Es dient ebenfalls nicht zur Erkennung von Objekten im Bild und kann in dieser Form auch nicht dazu eingesetzt werden.

Eine Vielzahl von CBIR-Systemen ist durch die Druckschrift Remco C; Velkamp, Mirela Tanase „Content-Based Image Retrieval Systems: A Survey" Technical Report UU-CS-2000-34, October 2000 bekannt.

Der im Patentanspruch 1, 13, 14 und 15 angegebenen Erfindung liegt die Aufgabe zugrunde, Formen aus Bildern mit Fällen zu gewinnen und aus digitalen Bildern mit Objekten automatisch Objekte durch Vergleich mit Fällen bestimmen zu können.

Diese Aufgabe wird mit den in den Patentansprüchen 1, 13, 14 und 15 aufgeführten Merkmalen gelöst.

Die Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern, die Computer-Programm-Produkte mit einem Programmcode zur Durchführung dieses Verfahrens, die Computer-Programm-Produkte auf einem maschinenlesbaren Träger zur Durchführung dieses Verfahrens und die digitalen Speichermedien mit diesen Verfahren zeichnen sich insbesondere dadurch aus, dass semiautomatisch Einzelformen von Fällen in Bildern erhoben, dass automatisch aus diesen Einzelformen abstrakte Formmodelle in verschiedenen Abstraktionsniveaus gewonnen und dass automatisch Objekte bestimmt werden können.

Die gelernten abstrakten Formmodelle sind entweder gemittelte Formen aus Gruppen von Fällen oder Mediane als Einzelformen von Gruppen von Fällen. Der Median ist der Fall, von dem alle anderen Fälle den geringsten Abstand haben. Der Median stellt damit eine natürliche Form dar, während die gemittelte Form ein künstlicher in der Natur nicht vorkommender Fall ist.

Vorteilhafterweise können die Kontur oder die Form digital erfasst und in einem Datenfile abgelegt werden. Mit diesen Daten können folgend Manipulationen ausgeführt werden, wobei zum Beispiel Ähnlichkeitsmaße bestimmbar und die Ähnlichkeit beschreibbar ist.

Damit eignen sich diese Verfahren für das Erstellen von Falldatenbanken mit Formmodellen insbesondere biologischer und/oder medizinischer Art mit verschiedenen Erscheinungsformen in der Art und damit der Fälle, die unterschiedliche geometrische Formen aufweisen. Es können vorteilhafterweise Gruppen von Formen automatisch gebildet und die Ähnlichkeiten untereinander hierarchisch dargestellt werden. Aus den Gruppen können weiterhin Modelle auf verschiedenen Abstraktionsebenen erstellt werden.

Grundlage sind Bilder bekannter Fälle mit unterschiedlichen Erscheinungsformen in der Kontur und/oder Textur. Durch ein manuelles Abfahren der die Konturen und/oder Texturen bildenden Kanten in Form sichtbarer äußerer und/oder innerer Konturen mit einem handführbaren und mit einem Computer verbundenen Eingabegerät werden diesen Kanten zuordenbare Daten gewonnen.

Aus diesen Daten können Formmodelle gewonnen werden, um damit zum einen unbekannte Objekte durch Vergleich mit den Formmodellen der Falldatenbank zuordnen und bestimmen und/oder zum anderen Wissen über die Fälle akquirieren zu können. Die letztgenannte Möglichkeit kann vorteilhafterweise dazu genutzt werden, die Falldatenbank zu erweitern. Es können sowohl Gruppen mit ähnlichen Formmodellen gelernt als auch ähnliche Gruppen zusammengelegt werden, wobei Ähnlichkeitsrelationen als Vergleich zwischen diesen Gruppen auch mit unbekannten Fällen und/oder Objekten erstellbar sind.

Ein weiterer Vorteil besteht darin, dass mit der Anwendung des Verfahrens ständig auch neue Formmodelle bekannter Fälle in Bildern der Falldatenbank zugeordnet werden können. Damit ist eine Erweiterung der Falldatenbank gegeben.

Mit dem Einsatz des Verfahrens können dadurch eine Vielzahl von Falldatenbanken mit Formmodellen der unterschiedlichsten Art erstellt werden. Die Falldatenbanken können dabei unter anderem vorteilhafterweise Fälle biologischer und/oder medizinischer und/oder technischer Art beinhalten. Damit können Nutzern Falldatenbanken unterschiedlichster Art sowohl zur automatischen Bestimmung von Objekten in Bildern als auch zur Wissensakquisitation zur Verfügung gestellt werden.

Diese Falldatenbanken bilden die Grundlage zum automatischen fallbasierten Erkennen und Bestimmen von Objekten in digitalen Bildern mit Objekten.

Das ausgewählte Fallbild und das erzeugte Gradientenbild des digitalen Bildes mit Objekten werden in Pyramiden mit Bildebenen überführt. Die einzelnen Bildebenen werden nacheinander miteinander verglichen, wobei mit den höchsten Bildebenen begonnen wird. Die höchsten Bildebenen sind die unschärfsten Bildebenen mit jeweils der geringsten Datenmenge, so dass beginnend mit dem geringsten Rechenaufwand der Vergleich durchgeführt wird. Weiterhin wird das ausgewählte Fallbild mit jedem Objekt des digitalen Bildes mit Objekten sukzessive verglichen. Während des Vergleichs zwischen jedem der Objektbilder und des Fallbildes erfolgt eine Ausrichtung und eine Skalierung und/oder Rotation des Fallbildes, wobei dabei gleichzeitig die Ähnlichkeit berechnet wird.

Der besondere Vorteil besteht darin, dass entweder die Kontur oder die Form digital erfasst und in einem Datenfile abgelegt werden können. Mit diesen Daten können folgend Manipulationen ausgeführt werden, wobei zum Beispiel Ähnlichkeitsmaße bestimmbar und die Ähnlichkeit und/oder die Ähnlichkeit als Grad der Übereinstimmung zwischen Fallbild und Objektbild durch das Ähnlichkeitsmaß beschreibbar sind. Mit sinkendem Ähnlichkeitsmaß ist das Objektbild ungleicher vom Fallbild.

Dazu werden bei der Akquisition von Formen jeweils mindestens zwei Fälle miteinander verglichen, wobei die Fälle aufeinander ausgerichtet werden und eine Skalierung und/oder Rotation erfolgt. Vorteilhafterweise wird dabei gleichzeitig die Ähnlichkeit berechnet, wobei Ähnlichkeitsmaße entweder als Distanz- oder als Ähnlichkeitswerte jeweils zwischen den Fällen so lange ermittelt werden, bis entweder ein Minimum der Distanzwerte oder ein Maximum der Ähnlichkeitswerte vorhanden ist.

Zum Erkennen eines Objektes werden jeweils mindestens ein Fall und ein Objekt miteinander verglichen, wobei diese aufeinander ausgerichtet werden und eine Skalierung und/oder Rotation erfolgt. Gleichzeitig wird wird die Ähnlichkeit berechnet, wobei Ähnlichkeitsmaße entweder als Distanz- oder als Ähnlichkeitswerte jeweils zwischen dem Fall und dem Objekt so lange ermittelt werden, bis entweder ein Minimum der Distanzwerte oder ein Maximum der Ähnlichkeitswerte vorhanden ist.

Damit eignen sich diese Verfahren für das Erkennen von Objekten in digitalen Bildern mit Objekten insbesondere biologischer und/oder medizinischer Art auch mit verschiedenen Erscheinungsformen in der Art und damit der Objekte, die auch unterschiedliche geometrische Formen aufweisen. Auch aus Gruppen von Fällen können automatisch die Ähnlichkeiten untereinander bestimmt werden.

Ein weiterer Vorteil besteht darin, dass dieses Verfahren in sich nicht abgeschlossen sein kann, so dass neue Objekte der digitalen Bilder bestimmt als Fälle der Falldatenbank ständig zugeordnet werden können. Damit ist eine ständig Erweiterung gegeben.

Die Falldatenbanken können unter anderem vorteilhafterweise Fälle biologischer und/oder medizinischer und/oder technischer Art beinhalten.

Die erfindungsgemäßen Verfahren können den Nutzern vorteilhafterweise als Computer-Programm-Produkte mit jeweils einem Programmcode zur Durchführung dieser Verfahren, als Computer-Programm-Produkte auf maschinenlesbaren Trägern zur Durchführung dieser Verfahren und als digitale Speichermedien, die so mit einem programmierbaren Computersystem zusammenwirken können, dass ein Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern zur Verfügung gestellt werden.

Vorteilhafte Ausgestaltungen der Erfindung sind in den Patentansprüchen 2 bis 12 angegeben.

Das Abfahren der Konturen erfolgt manuell mit einem handführbaren Eingabegerät von auf einem Datensichtgerät dargestelltem digitalem Bild. Die abgefahrenen Konturen können nach der Weiterbildung des Patentanspruchs 2 auch gelabelt mit dem Datensichtgerät dargestellt werden, wobei das wenigstens teilweise durch die abgefahrene Kontur und/oder Kante auf dem Datensichtgerät als Gebiet dargestellt wird. Dadurch ist eine leichte Kontrolle der abgefahrenen Kanten auf dem Datensichtgerät möglich. Fehler hervorgerufen durch zum Beispiel mangelnde Konzentration, Störungen, Ablenkungen oder Ermüdung der die Konturen und/oder Kanten der Fälle abfahrenden Personen werden vermieden.

Vorteilhafterweise wird nach der Weiterbildung des Patentanspruchs 3 das Dendogramm auf der Ähnlichkeitsskala entsprechend entweder festgelegter und damit automatisch oder nutzerspezifischer Schwellen wenigstens einmal geschnitten, so dass Gruppen entstehen. Den Gruppen werden die Einzelformen zugeordnet und in den Gruppen wird jeweils ein Prototyp gewählt, wobei der Prototyp entweder eine aus den Einzelformen der Gruppe gemittelte Form oder der Median der Gruppe der Einzelformen ist. Damit ist eine visuelle Kontrolle der einzelnen Gruppen und/oder der einzelnen Objekte gegeben. Die gemittelte Form oder der Median der Gruppe wird sowohl auf dem Datensichtgerät abgebildet als auch dessen Konturpunkte als Datenmenge im Computer gespeichert.

Nach der Weiterbildung des Patentanspruchs 4 erfolgt vorteilhafterweise eine Reduzierung der mit dem Abfahren der Kanten gewonnenen Daten und damit der Punkte als den sichtbaren äußeren und/oder inneren Konturen durch Interpolation mit einem Polynom.

Die den abgefahrenen Kanten zugeordneten Fälle werden vorteilhafterweise nach der Weiterbildung des Patentanspruchs 5 so transformiert, dass jeweils der Mittelpunkt eines Falles dem Koordinatenursprung 0, 0 entspricht. Die Fälle werden jeweils in einem Koordinatensystem ausgerichtet, so dass ein Vergleich in ihren Ähnlichkeiten zueinander leicht möglich ist.

Vorteilhafterweise wird über eine Kantendetektion der Objekte des digitalen Bildes nach der Weiterbildung des Patentanspruchs 6 das Gradientenbild erzeugt, wobei große Änderungen des Grauwertes sowohl in vertikaler als auch in horizontaler Richtung jeweils Gradienten und homogenen Flächen kein Gradient zugeordnet werden. Die homogenen Flächen sind schwarz. Ergebnis ist ein Bild mit weißen Kanten der Objekte, während die durch die Kanten der Objekte eingeschlossenen Flächen und die an die Kanten der Objekte angrenzenden Flächen schwarz sind. Die Datenmenge des digitalen Bildes ist dadurch wesentlich geringer als bei einem Grauwertbild des digitalen Bildes. Gleichzeitig verringert sich der Rechenaufwand beim Vergleich jedes Objektes mit einem ausgesuchten Fall durch die Berechnung der Ähnlichkeiten mit der Bestimmung von Ähnlichkeitsmaßen. Weiterhin sind auch übereinanderliegende und sich teilweise überdeckende Objekte im digitalen Bild mit einem Vergleich eines ausgesuchten Falles leichter bestimmbar.

Sowohl aus dem Fall- als auch dem Objektbild wird nach der Weiterbildung des Patentanspruchs 7 jeweils ein Gradientenbild gebildet, die jeweils in eine Bildfolge als eine Pyramide mit Bildebenen überführt und wobei sukzessive die Richtungsvektoren in den Bildebenen jeweils des Fall- und des Objektbildes durch Produktbildung miteinander verglichen werden. Das Prinzip der Pyramiden verringert den Rechenaufwand wesentlich. Die jeweils nachfolgenden Bildebenen der Pyramiden sind Darstellungen mit jeweils einem doppelt so groben Raster. Dazu wird nur jeder zweiter Punkt einer Zeile und nur jede zweite Zeile herausgegriffen und zu einem Neuen Bild als Bildebene zusammengesetzt. Das verwendete Abtasttheorem stellt zugleich sicher, dass das ursprünglich feinere Raster aus dem gröberen Raster exakt rekonstruierbar ist. Bei einem Vergleich des Falles und des Objektes wird vorteilhafterweise mit dem gröbsten Raster der obersten Bildebenen begonnen. Je nach dem Ergebnis des Vergleichs der Ähnlichkeit werden sukzessive Bildebenen mit dem jeweils feineren Raster miteinander verglichen. Der Vergleich kann jederzeit abgebrochen werden, so dass der Rechenaufwand beim Vergleich wesentlich eingeschränkt werden kann.

Eine vorteilhafte Einteilung von Einzelfällen stellt nach der Weiterbildung des Patentanspruchs 8 ein Dendogramm dar, wobei Gruppen von Einzelfällen hierarchisch geordnet sind. Das Fallbild ist dabei ein Prototyp einer Gruppe von Einzelfällen, wobei die Gruppen Mengen ähnlicher Einzelfälle mit bestimmten Distanz- oder Ähnlichkeitswerten sind. Der ähnlichste Fall bestimmt den Zweig des Dendogramms mit ähnlichen Fällen zur Bestimmung des Objektes. Der Prototyp ist entweder eine aus den Einzelformen der Gruppe gemittelte Form oder der Median der Gruppe der Einzelformen. Der Median ist der Fall, von dem alle anderen Fälle den geringsten Abstand haben. Der Median stellt damit eine natürliche Form dar, während die gemittelte Form ein künstlicher in der Natur nicht vorkommender Fall ist. Das Fallbild kann aber auch ein Einzelbild eines Objektes sein.

Über die Ermittlung des Richtungsvektors zwischen entweder zwei Punkten oder benachbarten Punkten der Kanten entweder bei dem Fall- oder bei dem Objektbild nach der Weiterbildung des Patentanspruchs 9 wird die Richtung der Kante als lokale Orientierung bestimmt, so dass die Komponenten des Verlaufs der Richtung der lokalen Orientierung und der Ausprägung gemessen zum Beispiel an der Höhe oder der Steigung der Kante in die Beschreibung der Kante mit einfließen. Dadurch wird vorteilhafterweise auch die Umgebung der vorhandenen komplexen Struktur der Bildinformation bei der Berechnung der Ähnlichkeit mit einbezogen. Die Ähnlichkeitsmaße bei der Berechnung der Ähnlichkeit werden damit als sowohl Richtungsvektoren als auch entweder als Distanz- oder als Ähnlichkeitswerte jeweils zwischen dem Fallbild und dem Objektbild ermittelt. Weitere Informationen des digitalen Bildes werden damit vorteilhafterweise bei dem Vergleich durch die Berechnung der Ähnlichkeit mit berücksichtigt.

Über einen Index sind nach der Weiterbildung des Patentanspruchs 10 entweder die Prototypen oder die Fälle entsprechend der Ähnlichkeitsrelationen in der Falldatenbank geordnet. Der Index kennzeichnet ein Indexregister mit den Prototypen und/oder den Fällen einzeln oder in Gruppen womit aus einer Menge von Prototypen und/oder Fällen der ähnlichste Prototyp oder Fall schnell zum Objekt im Bild gefunden werden kann.

Die Berechnung der Ähnlichkeit erfolgt vorteilhafterweise nach der Formel der Weiterbildung des Patentanspruchs 11.

Die Weiterbildung des Patentanspruchs 12 führt vorteilhafterweise dazu, dass ein ungleiches Objekt als Fall manuell bestimmbar ist und dem Dendogramm mit den bestimmten Fällen zugeordnet werden kann. Damit kann die Falldatenbank ständig erweitert werden.

Ausführungsbeispiele der Erfindung werden im folgenden näher beschrieben.
Ein Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern wird als ein Beispiel der Erfindung in einem ersten Ausführungsbeispiel näher ausgeführt.
Auf einem Datensichtgerät in Form eines bekannten mit einem Rechner zum Beispiel als Computer zusammengeschalteten Bildschirmes wird ein digitales Bild mit Fällen dargestellt. Dieses zeigt bekannte Fälle, deren Konturen unterschiedlich sein können, aber einer Gruppe zugehören. Durch ein manuelles Abfahren von Kanten des digitalen Bildes mit Fällen mit einem handführbaren Eingabegerät im Zusammenhang mit dem Datensichtgerät werden den abgefahrenen Kanten zuordenbare Daten gewonnen. Kanten sind dabei sichtbare äußere und/oder innere Konturen von Fällen.
Mit dem handführbaren Eingabegeräten als

– der mit einer Tastatur oder einer Maus geführte Cursor des Bildschirms,
– ein Lichtstift mit einem Photodetektor,
– ein Scanner und/oder
– ein Stift und Scanner,

Jeder der durch die abgefahrenen Kanten bestimmten Fälle wird in einem Koordinatensystem skaliert, wobei jeweils der Mittelpunkt des Falles dem Koordinatenursprung x = 0 und y = 0 entspricht.
Die Ähnlichkeit von Fällen wird jeweils durch aneinander paarweises Ausrichten so bestimmt, bis sich das Ähnlichkeitsmaß nicht mehr ändert. Es wird eine Skalierung und/oder Rotation ausgeführt, wobei gleichzeitig die Ähnlichkeit berechnet wird. Während der Berechnung der Ähnlichkeit werden die Ähnlichkeitsmaße entweder als Distanzwerte oder als Ähnlichkeitswerte jeweils zwischen den Fällen so lange ermittelt, bis entweder ein Minimum der Distanzwerte oder ein Maximum der Ähnlichkeitswerte vorhanden ist. Die Berechnung der Ähnlichkeit erfolgt mit

P und O: – die Objekte,
Θ: – die Rotationsmatrix,
μ_p und μ_o: – die Mittelpunkte der Objekte P und O und
δ_p und δ_o: – Summen der Quadrate der Abstände jedes Punktes von den Mittelpunkten sind.

Die Distanz- oder die Ähnlichkeitswerte spannen eine Distanz- oder Ähnlichkeitsmatrix auf. Aus den bestimmten Ähnlichkeitswerten werden Mengen ähnlicher Fälle gebildet und hierarchisch als Dendogramm geordnet. Das Dendogramm wird auf der Ähnlichkeitsskala entsprechend entweder festgelegter oder nutzerspezifischer Schwellen geschnitten, so dass Gruppen entstehen. Bei festgelegten Schwellen wird das Dendogramm automatisch geschnitten. Den Gruppen werden die Einzelformen zugeordnet und in den Gruppen jeweils ein Proto typ gewählt. Der Prototyp ist entweder eine aus den Einzelformen der Gruppe gemittelte Form oder der Median der Gruppe der Einzelformen. Der Prototyp der Gruppe wird auf dem Datensichtgerät abgebildet und die Konturpunkte des Prototypen werden als Datenmenge im Computer gespeichert.
Dieses Verfahren wird auf weitere digitale Bilder mit Fällen angewandt, so dass eine Falldatenbank mit Formmodellen als Prototypen mit gemittelten Formen von Gruppen von Einzelformen und/oder mit Medianen von Gruppen von Einzelformen entstehen.
In einer Ausführungsform des Ausführungsbeispiels können die durch die Eingabegeräte im Zusammenhang mit dem Datensichtgerät gewonnenen Daten von Kanten sichtbarer äußerer und/oder innerer Konturen im digitalen Bild durch eine Interpolation reduziert werden. Bei dieser Interpolation wird

– in einem ersten Schritt einem ersten durch das Koordinatensystem bestimmten und damit skalierten Punkt einer Kante des Falles der Ausgangspunkt zugeordnet,
– in einem zweiten Schritt eine virtuelle Linie zu einem benachbarten Punkt als zweiten Punkt gezogen,
– in einem dritten Schritt der Abstand zwischen dieser virtuellen Linie und dem korrespondierenden Segment der Kontur eines Vorläuferfalles ermittelt,
– in einem viertem Schritt dieser Abstand als Wert mit einem vorgegebenen Wert verglichen und
– in einem fünften Schritt dem zweiten Punkt der Ausgangspunkt für eine virtuelle Linie zum nächsten Punkt zugeordnet.

Die Schritte drei, vier und fünf werden über die gesamte Kontur des Falles wiederholt.
In einer weiteren Ausführungsform des Ausführungsbeispiels kann das jeweils wenigstens teilweise abgefahrene Gebiet als Fall gelabelt oder nicht gelabelt mit dem Datensichtgerät dargestellt werden, wobei die abgefahrene Kontur und/oder Kante auf dem Datensichtgerät dargestellt ist.
Die Distanz- oder die Ähnlichkeitswerte können vorteilhafterweise mittels des Single-Linkage-Verfahrens und einem Dendogramm hierarchisch dargestellt werden.
Die Falldatenbank mit Fällen als Fallbilder bilden die Grundlage zum fallbasierten Erkennen von Objekten in digitalen Bildern mit Objekten. Fälle als Fallbilder und Objekte als Objektbilder sind Abbildungen von zwei- oder dreidimensionalen Fällen und Objekten.
Aus der Falldatenbank wird ein Fallbild mit einer Fallbeschreibung ausgewählt wird. Das Fallbild ist entweder ein Prototyp einer Gruppe von Einzelfällen oder ein Einzelbild eines Falles. Die Gruppe von Einzelfällen stellen Mengen ähnlicher Einzelfälle mit bestimmten Distanz- oder Ähnlichkeitswerten dar, die hierarchisch als Dendogramm geordnet sind. Der ähnlichste Fall bestimmt den Zweig des Dendogramms. Der Prototyp selbst ist entweder eine aus den Einzelformen der Gruppe gemittelte Form oder der Median der Gruppe der Einzelformen. Das Fallbild wird in eine Bildfolge als eine Pyramide mit Bildebenen des Fallbildes gewandelt. Eine Bildfolge als eine Pyramide mit Bildebenen verhindert ein explosionsartiges Anwachsen des Rechenaufwands. Das Fallbild ist durch Anwenden von Glättungsoperationen, wobei alle Wellenzahlen unter der halben Grenzwellenzahl bleiben, und aufgrund des Abtasttheorems nacheinander auf einem doppelt so groben Raster ohne jeglichen Informationsverlust darstellbar. Dabei wird nur jeder zweiter Punkt einer Zeile und nur jede zweite Zeile herausgegriffen und zu einem neuen Bild zusammengesetzt, wobei sichergestellt ist, dass das ursprünglich feinere Raster aus dem gröberen Raster exakt rekonstruierbar ist. Die Anwendung der Glättungoperationen erfolgt iterativ, so dass daraus eine Folge von Bildern resultiert, wobei die Bilder flächenmäßig jeweils um den Faktor vier kleiner werden. Die immer kleiner werdenden Bildebenen ergeben übereinandergeschichtet die Form einer Pyramide.
Aus dem aktuellen digitalen Bild mit Objekten wird ein Gradientenbild gebildet. Über eine Kantendetektion der Objekte des digitalen Bildes mit Objekten wird das Gradientenbild erzeugt, wobei große Änderungen des Grauwertes sowohl in vertikaler als auch in horizontaler Richtung jeweils Gradienten und homogenen Flächen kein Gradient zugeordnet werden. Die homogenen Flächen sind damit schwarz.
Das Gradientenbild wird gleichfalls in eine Bildfolge als eine Pyramide mit Bildebenen überführt.
Das Fallbild wird nachfolgend sukzessive auf jedes Objektbild des Gradientenbildes beginnend mit jeweils den höchsten Bildebenen des Fall- und des Objektbildes verschoben, wobei das Fallbild mit jedem Objektbild des Gradientenbildes verglichen wird. Während des Vergleichs wird das Fallbild auf das Objektbild ausgerichtet, wobei dabei eine Skalierung und/oder Rotation des Fallbildes ausgeführt wird. Während des Vergleichs des Fallbildes mit dem Objektbild wird gleichzeitig die Ähnlichkeit zwischen dem Fall- und Objektbild berechnet. Bei der Berechnung der Ähnlichkeit werden die Ähnlichkeitsmaße entweder als Distanz- oder als Ähnlichkeitswerte jeweils zwischen dem Fall- und dem Objektbild so lange ermittelt, bis entweder ein Minimum der Distanzwerte oder ein Maximum der Ähnlichkeitswerte vorhanden ist. Die Ähnlichkeitsmaße bestimmen den Grad der Übereinstimmung zwischen Fall- und Objektbild, wobei der Grad der Übereinstimmung mit sinkendem Ähnlichkeitsmaß abnimmt und das Objektbild ungleicher vom Fallbild wird.
In einer weiteren Ausführungsform kann der Richtungsvektor zwischen entweder zwei Punkten oder benachbarten Punkten der Kanten entweder bei dem Fallbild berechnet sein oder bei dem Objektbild berechnet werden. Bei der Berechnung der Ähnlichkeit werden die Ähnlichkeitsmaße als sowohl Richtungsvektoren als auch entweder als Distanz- oder als Ähnlichkeitswerte jeweils zwischen dem Fallbild und dem Objektbild ermittelt.
Die Fälle sind über einen Index entsprechend der Ähnlichkeitsrelationen so in der Falldatenbank geordnet, dass aus einer Menge entweder von Prototypen der ähnlichste Prototyp oder von Fällen der ähnlichste Fall schnell zum Objekt im Bild gefunden werden kann.
Der Prototyp als entweder gemittelte Form oder Median der Gruppe oder das Einzelbild wird auf einem mit einem Computer, in dem das Verfahren abläuft, verbundenen Datensichtgerät als Bildschirm abgebildet. Weiterhin werden die Konturpunkte entweder der gemittelten Form oder des Medians oder des Einzelbildes als Datenmenge in dem Computer gespeichert.
In einer weiteren Ausführungsform des Ausführungsbeispiels wird aus dem Fall- und dem Objektbild jeweils ein Gradientenbild gebildet. Diese Gradientenbilder werden jeweils in eine Bildfolge als eine Pyramide mit Bildebenen überführt und sukzessive die Richtungsvektoren in den Bildebenen jeweils des Fall- und des Objektbildes durch Produktbildung miteinander verglichen.
Ein zweites Ausführungsbeispiel stellt ein Computer-Programm-Produkt mit einem Programmcode zur Durchführung eines im ersten Ausführungsbeispiel beschriebenen Verfahrens zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern dar, wenn das Programm auf einem Rechner abläuft.
Ein drittes Ausführungsbeispiel ist ein Computer-Programm-Produkt auf einem maschinenlesbaren Träger zur Durchführung eines im ersten Ausführungsbeispiel beschriebenen Verfahrens zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern, wenn das Programm auf einem Rechner abläuft.
Ein viertes Ausführungsbeispiel ist ein digitales Speichermedium, das so mit einem programmierbaren Computersystem zusammenwirken kann, dass ein im ersten Ausführungsbeispiel beschriebenes Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern ausgeführt wird.

Claims

Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern, – wobei zum einen zur Akquisition von Formen aus Bildern mit Fällen und zum Lernen von abstrakten Formmodellen aus diesen Fällen für eine Falldatenbank bei jedem Bild mit Fällen durch manuelles Abfahren von Kanten eines Bildes in Form sichtbarer äußerer und/oder innerer Konturen mit einem handführbaren und mit einem Computer verbundenen Eingabegerät diesen Kanten und damit Fällen zuordenbare Daten gewonnen werden, über eine Verschiebung und Skalierung jeden Falles jeweils mindestens zwei Fälle miteinander verglichen werden und – wobei zum anderen zum Erkennen eines Objektes in einem digitalen Bild mit Objekten aus der Falldatenbank ein Fall als Fallbild mit einer Fallbeschreibung ausgewählt wird, wobei gleichzeitig eine Bildfolge als eine Pyramide mit Bildebenen des Fallbildes erzeugt wird, ein Gradientenbild des aktuellen digitalen Bildes erzeugt und in eine Bildfolge als eine Pyramide mit Bildebenen überführt wird, dadurch gekennzeichnet, – dass bei der Akquisition von Formen die Translation jedes Falles so eleminiert wird, dass jeder Fall in den Ursprung eines Koordinatensystems verschoben wird, – dass jeder Fall entsprechend der zugeordneten Daten in dem Koordinatensystem skaliert wird, – dass jeweils mindestens zwei Fälle miteinander verglichen werden, – dass die Fälle aufeinander ausgerichtet werden, wobei dabei eine Skalierung und/oder Rotation ausgeführt wird, – dass dabei gleichzeitig die Ähnlichkeit berechnet wird, – dass während der Berechnung der Ähnlichkeit die Ähnlichkeitsmaße entweder als Distanz- oder als Ähnlichkeitswerte jeweils zwischen den Fällen so lange ermittelt werden, bis entweder ein Minimum der Distanzwerte oder ein Maximum der Ähnlichkeitswerte vorhanden ist, – dass aus den bestimmten Distanz- oder Ähnlichkeitswerten Mengen ähnlicher Fälle gebildet und hierarchisch als Dendogramm geordnet werden und – dass das Dendogramm durch eine Vorgabe von Distanz- oder Ähnlichkeitswerten in Gruppen zerfällt und in den Gruppen jeweils ein Prototyp gewählt wird, wobei der Prototyp entweder eine aus den Einzelformen der Gruppe gemittelte Form oder der Median der Gruppe der Einzelformen ist, und – dass zum Erkennen eines Objektes das Fallbild sukzessive auf jedes Objektbild des Gradientenbildes beginnend mit den höchsten Bildebenen verschoben wird, wobei das Fallbild mit jedem Objektbild des Gradientenbildes verglichen wird, – dass das Fallbild auf das Objektbild ausgerichtet wird, wobei dabei eine Skalierung und/oder Rotation des Fallbildes ausgeführt wird, – dass dabei gleichzeitig die Ähnlichkeit berechnet wird, – dass während der Berechnung der Ähnlichkeit die Ähnlichkeitsmaße entweder als Distanz- oder als Ähnlichkeitswerte jeweils zwischen dem Fallbild und dem Objektbild so lange ermittelt werden, bis entweder ein Minimum der Distanzwerte oder ein Maximum der Ähnlichkeitswerte vorhanden ist, und – dass der Grad der Übereinstimmung zwischen Fallbild und Objektbild durch das Ähnlichkeitsmaß so bestimmt ist, dass der Grad der Übereinstimmung mit sinkendem Ähnlichkeitsmaß abnimmt und das Objektbild ungleicher vom Fallbild wird.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass jeweils die abgefahrene Kontur und/oder Kante des Falles im Bild auf einem oder dem Datensichtgerät dargestellt wird und dass eingeschlossene oder teilweise begrenzte Gebiete als Fälle gelabelt und/oder nicht gelabelt mit dem Datensichtgerät dargestellt sind.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass das Dendogramm auf der Ähnlichkeitsskala entsprechend entweder wenigstens einer festgelegten und damit automatisch oder mindestens einer nutzerspezifischen Schwelle einmal geschnitten wird, so dass Gruppen entstehen, dass den Gruppen die Einzelformen zugeordnet werden, dass in den Gruppen jeweils ein Prototyp gewählt wird, wobei der Prototyp entweder eine aus den Einzelformen der Gruppe gemittelte Form oder der Median der Gruppe der Einzelformen ist, dass die gemittelte Form oder der Median der Gruppe auf einem oder dem Datensichtgerät abgebildet wird und dass die Konturpunkte der gemittelten Form oder des Medians als Datenmenge im Computer gespeichert werden.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass eine Reduzierung der mit dem Abfahren der Kanten gewonnenen Daten und damit der Punkte als den sichtbaren äußeren und/oder inneren Konturen durch Interpolation mit einem Polynom erfolgt.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass die Daten des Objektes so normiert werden, dass der Mittelpunkt des Objektes dem Koordinatenursprung 0, 0 entspricht.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass über eine Kantendetektion der Objekte des digitalen Bildes das Gradientenbild erzeugt wird, dass große Änderungen des Grauwertes sowohl in vertikaler als auch in horizontaler Richtung jeweils Gradienten zugeordnet werden und dass homogenen Flächen kein Gradient zugeordnet wird, so dass die homogenen Flächen schwarz sind.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass aus sowohl dem Fall- als auch dem Objektbild jeweils ein Gradientenbild gebildet wird, dass diese Gradientenbilder jeweils in eine Bildfolge als eine Pyramide mit Bildebenen überführt werden und dass sukzessive die Richtungsvektoren in den Bildebenen jeweils des Fall- und des Objektbildes durch Produktbildung miteinander verglichen werden.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass das Fallbild ein Prototyp aus den Einzelformen einer Gruppe entweder gemittelte Form oder der Median der Gruppe von Einzelfällen ist, wobei Gruppen Mengen ähnlicher als Dendogramm geordnete Einzelfälle mit bestimmten Distanz- oder Ähnlichkeitswerten sind, und der ähnlichste Fall den Zweig des Dendogramms bestimmt, oder dass das Fallbild ein Einzelbild eines Falles ist.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass der Richtungsvektor zwischen entweder zwei Punkten oder benachbarten Punkten der Kanten entweder bei dem Fallbild berechnet sind oder bei dem Objektbild berechnet werden und dass während der Berechnung der Ähnlichkeit die Ähnlichkeitsmaße als sowohl Richtungsvektoren als auch entweder als Distanz- oder als Ähnlichkeitswerte jeweils zwischen dem Fallbild und dem Objektbild ermittelt werden.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass über einen Index die Fälle entsprechend der Ähnlichkeitsrelationen so in der Falldatenbank geordnet sind, dass aus einer Menge entweder von Prototypen der ähnlichste Prototyp oder von Fällen der ähnlichste Fall schnell zum Objekt im Bild gefunden werden kann.
Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass die Berechnung der Ähnlichkeit
P, O – Objekte Θ – Rotationsmatrix μ_p und μ_o – Mittelpunkte der Objekte P und O δ_p und δ_o – Summen der Quadrate der Abstände jedes Punktes von den Mittelpunkten erfolgt.
Verfahren nach den Patentansprüchen 1 und 2, dadurch gekennzeichnet, dass der Grad der Übereinstimmung und damit die Gleichheit zwischen Fallbild und Objektbild durch das Ähnlichkeitsmaß bestimmt ist und einen Schwellwert darstellt, dass ein vom Fall ungleiches Objekt entweder abgelehnt oder als ein Fall mit dem Datensichtgerät dargestellt wird, so dass über eine manuelle Bestimmung und durch manuelles Abfahren von Kanten in Form sichtbarer äußerer und/oder innerer Konturen mit dem handführbaren und mit dem Computer verbundenen Eingabegerät diesen Kanten und damit dem Fall zuordenbare Daten gewonnen werden und dem Dendogramm mit den bestimmten Fällen zugeordnet wird.
Computer-Programm-Produkt mit einem Programmcode zur Durchführung des Verfahrens zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern nach einem der Ansprüche 1 bis 12, wenn das Programm auf einem Rechner abläuft.
Computer-Programm-Produkt auf einem maschinenlesbaren Träger zur Durchführung des Verfahrens zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern nach einem der Ansprüche 1 bis 12, wenn das Programm auf einem Rechner abläuft.
Digitales Speichermedium nach einem der Ansprüche 1 bis 12, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren zur Akquisition von Formen aus Bildern mit Fällen und zum fallbasierten Erkennen von Objekten in digitalen Bildern nach Anspruch 1 ausgeführt wird.