-
Die
Erfindung betrifft fallbasierte Erkennungsverfahren für Objekte
in digitalen Bildern mit in einer Falldatenbank abgelegten Fällen, Computer-Programm-Produkte
mit jeweils einem Programmcode zur Durchführung dieses Verfahrens, Computer-Programm-Produkte
auf maschinenlesbaren Trägern
zur Durchführung
dieses Verfahrens und digitale Speichermedien, die so mit einem
programmierbaren Computersystem zusammenwirken können, dass diese Verfahren
ausgeführt
werden.
-
Objekte
in digitalen Bildern werden bekannterweise durch Wandlung des digitalen
Bildes in ein Grauwertbild und einer Bestimmung der Grauwerte automatisch
erkannt. Entsprechend des Grauwertes können Gebiete und Kanten der
Objekte erkannt und als Datenfile gespeichert werden. Kanten zeichnen sich
durch einen Sprung im Grauwert aus. Über die Einbeziehung von Richtungen
durch Richtungsvektoren benachbarter Punkte kann der Verlauf der
Kante als Datenfile ermittelt und gespeichert werden. Dadurch können aber
nur Kanten mit einer bestimmten Änderung
des Grauwertes ermittelt werden. Bei fließenden Übergängen oder sich überlappenden
Objekten ergeben sich Schwierigkeiten oder derartige digitale Bilder
müssen
manuell geprüft
werden, wobei die dadurch erkannten Objekte dargestellt nur akzeptiert
oder verworfen werden können.
-
Besonders
problematisch sind dabei die Auswertung von digitalen Bildern mit
Objekten biologischer Art. Derartige Objekte sind luftgetragene
Keime, Pollen oder Zellen in Zellschnitten. Anordnungen zur automatischen
Untersuchung von Zellen, Zellkomplexen und anderen biologischen
Proben sind unter anderem durch die
DE 196 16 997 A1 (Verfahren zur automatisierten
mikroskopunterstützten
Untersuchung von Gewebeproben oder Körperflüssigkeitsproben),
DE 42 11 904 A1 (Verfahren
und Vorrichtung zum Erstellen einer Artenliste für eine flüssige Probe) und
DE 196 39 884 A1 (Mustererkennungssystem)
bekannt.
-
In
der
DE 196 16 997
A1 werden über
die Anwendung von Neuronalen Netzen Gewebeproben oder Körperflüssigkeitsproben
auf Zelltypen untersucht.
-
Kleinstlebewesen
wie Würmer,
Insekten oder Schnecken werden in der
DE 42 11 904 A1 erfasst und identifiziert.
Die Identifikation erfolgt über einen
Vergleich mit in einem Referenzobjektspeicher enthaltenen Objekten.
Gleichzeitig werden die identifizierten Objekte gezählt und
in eine Artenliste eingetragen.
-
In
der
DE 196 39 884
A1 werden feste Bestandteile in einer Probenströmung nach
ihrer Größe insbesondere
entsprechend ihrer Projektionslänge im
Bild entlang der X- und der Y-Achse, ihres Umfangs und ihrer mittleren
Farbdichte erfasst.
-
Nachteilig
ist die bisher fehlende vollständige Automatisierbarkeit.
-
Der
im Patentanspruch 1 angegebenen Erfindung liegt die Aufgabe zugrunde,
aus digitalen Bildern mit Objekten automatisch Objekte bestimmen zu
können.
-
Diese
Aufgabe wird mit den im Patentanspruch 1 aufgeführten Merkmalen gelöst.
-
Die
fallbasierten Erkennungsverfahren für Objekte in digitalen Bildern
mit in einer Falldatenbank abgelegten Fällen, die Computer-Programm-Produkte
und digitalen Speichermedien zur Ausführung dieses Verfahrens zeichnen
sich insbesondere dadurch aus, dass Objekte in digitalen Bildern
automatisch über
ein fallbasiertes Erkennungsverfahren aus in einer Falldatenbank
abgelegten Fällen
erkannt und bestimmt werden können.
-
Das
ausgewählte
Fallbild und das erzeugte Gradientenbild des digitalen Bildes werden
in Pyramiden mit Bildebenen überführt. Die
einzelnen Bildebenen werden nacheinander miteinander verglichen, wobei
mit den höchsten
Bildebenen begonnen wird. Die höchsten
Bildebenen sind die unschärfsten
Bildebenen mit jeweils der geringsten Datenmenge, so dass beginnend
mit dem geringsten Rechenaufwand der Vergleich durchgeführt wird.
Weiterhin wird das ausgewählte
Fallbild mit jedem Objekt des digitalen Bildes sukzessive verglichen.
-
Während des
Vergleichs zwischen jedem der Objektbilder und des Fallbildes erfolgt
eine Ausrichtung und eine Skalierung und/oder Rotation des Fallbildes,
wobei dabei gleichzeitig die Ähnlichkeit
berechnet wird.
-
Der
besondere Vorteil besteht darin, dass entweder die Kontur oder die
Form digital erfasst und in einem Datenfile abgelegt werden können. Mit
diesen Daten können
folgend Manipulationen ausgeführt
werden, wobei zum Beispiel Ähnlichkeitsmaße bestimmbar
und die Ähnlichkeit
und/oder die Ähnlichkeit
als Grad der Übereinstimmung
zwischen Fallbild und Objektbild durch das Ähnlichkeitsmaß beschreibbar
sind. Mit sinkendem Ähnlichkeitsmaß ist das
Objektbild ungleicher vom Fallbild.
-
Damit
eignen sich diese Verfahren für
das Erkennen von Objekten in digitalen Bildern insbesondere biologischer
und/oder medizinischer Art auch mit verschiedenen Erscheinungsformen
in der Art und damit der Objekte, die auch unterschiedliche geometrische
Formen aufweisen. Auch aus Gruppen von Fällen können automatisch die Ähnlichkeiten
untereinander bestimmt werden.
-
Die
Berechnung der Ähnlichkeiten
basiert auf der Bestimmung von Ähnlichkeitsmaßen. Dabei werden
jeweils mindestens ein Fall und ein Objekt miteinander verglichen,
wobei diese aufeinander ausgerichtet werden und eine Skalierung
und/oder Rotation erfolgt. Gleichzeitig wird die Ähnlichkeit
berechnet, wobei Ähnlichkeitsmaße entweder
als Distanz- oder als Ähnlichkeitswerte
jeweils zwischen dem Fall und dem Objekt so lange ermittelt werden, bis
entweder ein Minimum der Distanzwerte oder ein Maximum der Ähnlichkeitswerte
vorhanden ist.
-
Ein
weiterer Vorteil besteht darin, dass dieses Verfahren in sich nicht
abgeschlossen sein kann, so dass neue Objekte der digitalen Bilder
bestimmt als Fälle
der Falldatenbank ständig
zugeordnet werden können.
Damit ist eine ständig
Erweiterung gegeben.
-
Die
Falldatenbanken können
unter anderem vorteilhafterweise Fälle biologischer und/oder medizinischer
und/oder technischer Art beinhalten.
-
Die
Verfahren können
den Nutzern vorteilhafterweise als Computer-Programm-Produkte mit jeweils
einem Programmcode zur Durchführung
des fallbasierten Erkennungsverfahrens für Objekte in digitalen Bildern
mit in wenigstens einer Falldatenbank abgelegten Fällen, als
Computer-Programm-Produkte auf maschinenlesbaren Trägern zur
Durchführung der
fallbasierten Erkennungsverfahren für Objekte in digitalen Bildern
mit in wenigstens einer Fall datenbank abgelegten Fällen und
als digitale Speichermedien, die so mit einem programmierbaren Computersystem
zusammenwirken können,
dass ein fallbasiertes Erkennungsverfahren für Objekte in digitalen Bildern
mit in wenigstens einer Falldatenbank abgelegten Fällen zur
Verfügung
gestellt werden.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind in den Patentansprüchen 2 bis
10 angegeben.
-
Das
Verfahren kann vorteilhafterweise nach der Weiterbildung des Patentanspruchs
2 sowohl auf digitale Bilder und Fälle mit Abbildungen zweidimensionaler
Art als auch auf digitale Bilder und Fälle mit Abbildungen dreidimensionaler
Art als Tiefenbilder angewandt werden. Beim Grauwertbild gibt jeder Bildpunkt
die von einer Kamera aufgenommene Lichtintensität wieder. Dagegen repräsentieren
die in einem Tiefenbild enthaltenen Daten den Abstand einzelner
Punkte auf der Oberfläche
der abgebildeten Objekte oder Fälle.
-
Vorteilhafterweise
wird über
eine Kantendetektion der Objekte des digitalen Bildes nach der Weiterbildung
des Patentanspruchs 3 das Gradientenbild erzeugt, wobei große Änderungen
des Grauwertes sowohl in vertikaler als auch in horizontaler Richtung jeweils
Gradienten und homogenen Flächen
kein Gradient zugeordnet werden. Die homogenen Flächen sind
schwarz. Ergebnis ist ein Bild mit weißen Kanten der Objekte, während die
durch die Kanten der Objekte eingeschlossenen Flächen und die an die Kanten
der Objekte angrenzenden Flächen schwarz
sind. Die Datenmenge des digitalen Bildes ist dadurch wesentlich
geringer als bei einem Grauwertbild des digitalen Bildes. Gleichzeitig
verringert sich der Rechenaufwand beim Vergleich jedes Objektes
mit einem ausgesuchten Fall durch die Berechnung der Ähnlichkeiten
mit der Bestimmung von Ähnlichkeitsmaßen. Weiterhin
sind auch übereinanderliegende
und sich teilweise überdeckende
Objekte im digitalen Bild mit einem Vergleich eines ausgesuchten
Falles leichter bestimmbar.
-
Sowohl
aus dem Fall- als auch dem Objektbild wird nach der Weiterbildung
des Patentanspruchs 4 jeweils ein Gradientenbild gebildet, die jeweils
in eine Bildfolge als eine Pyramide mit Bildebenen überführt und
wobei sukzessive die Richtungsvektoren in den Bildebenen jeweils des
Fall- und des Objektbildes durch Produktbildung miteinander verglichen
werden. Das Prinzip der Pyramiden verringert den Rechenaufwand wesentlich.
Die jeweils nachfolgenden Bildebenen der Pyramiden sind Darstellungen
mit jeweils einem doppelt so groben Raster. Dazu wird nur jeder
zweiter Punkt einer Zeile und nur jede zweite Zeile herausgegriffen
und zu einem Neuen Bild als Bildebene zusammengesetzt. Das verwendete
Abtasttheorem stellt zugleich sicher, dass das ursprünglich feinere
Raster aus dem gröberen
Raster exakt rekonstruierbar ist. Bei einem Vergleich des Falles
und des Objektes wird vorteilhafterweise mit dem gröbsten Raster
der obersten Bildebenen begonnen. Je nach dem Ergebnis des Vergleichs der Ähnlichkeit
werden sukzessive Bildebenen mit dem jeweils feineren Raster miteinander
verglichen. Der Vergleich kann jederzeit abgebrochen werden, so
dass der Rechenaufwand beim Vergleich wesentlich eingeschränkt werden
kann.
-
Eine
vorteilhafte Einteilung von Einzelfällen stellt nach der Weiterbildung
des Patentanspruchs 5 ein Dendogramm dar, wobei Gruppen von Einzelfällen hierarchisch
geordnet sind. Das Fallbild ist dabei ein Prototyp einer Gruppe
von Einzelfällen,
wobei die Gruppen Mengen ähnlicher
Einzelfälle
mit bestimmten Distanz- oder Ähnlichkeitswerten
sind. Der ähnlichste
Fall bestimmt den Zweig des Dendogramms mit ähnlichen Fällen zur Bestimmung des Objektes.
-
Nach
der Weiterbildung des Patentanspruchs 6 ist der Prototyp entweder
eine aus den Einzelformen der Gruppe gemittelte Form oder der Median
der Gruppe der Einzelformen. Der Median ist der Fall, von dem alle
anderen Fälle
den geringsten Abstand haben. Der Median stellt damit eine natürliche Form
dar, während
die gemittelte Form ein künstlicher
in der Natur nicht vorkommender Fall ist. Das Fallbild kann aber
auch nach der Weiterbildung des Patentanspruchs 7 ein Einzelbild
eines Objektes sein.
-
Über die
Ermittlung des Richtungsvektors zwischen entweder zwei Punkten oder
benachbarten Punkten der Kanten entweder bei dem Fall- oder bei dem
Objektbild nach der Weiterbildung des Patentanspruchs 8 wird die
Richtung der Kante als lokale Orientierung bestimmt, so dass die
Komponenten des Verlaufs der Richtung der lokalen Orientierung und
der Ausprägung
gemessen zum Beispiel an der Höhe
oder der Steigung der Kante in die Beschreibung der Kante mit einfließen. Dadurch
wird vorteilhafterweise auch die Umgebung der vorhandenen komplexen
Struktur der Bildinformation bei der Berechnung der Ähnlichkeit
mit einbezogen. Die Ähnlichkeitsmaße bei der
Berechnung der Ähnlichkeit werden
damit als sowohl Richtungsvektoren als auch entweder als Distanz-
oder als Ähnlichkeitswerte
jeweils zwischen dem Fallbild und dem Objektbild ermittelt. Weitere
Informationen des digitalen Bildes werden damit vorteilhafterweise
bei dem Vergleich durch die Berechnung der Ähnlichkeit mit berücksichtigt.
-
Die
gemittelte Form oder der Median der Gruppe wird nach der Weiterbildung
des Patentanspruchs 9 sowohl auf dem Datensichtgerät abgebildet
als auch dessen Konturpunkte als Datenmenge im Computer gespeichert.
Mit der Darstellung kann ein manueller Vergleich oder eine manuelle
Einordnung in die Falldatenbank erfolgen.
-
Über einen
Index sind nach der Weiterbildung des Patentanspruchs 10 entweder
die Prototypen oder die Fälle
entsprechend der Ähnlichkeitsrelationen
in der Falldatenbank geordnet. Der Index kennzeichnet ein Indexregister
mit den Prototypen und/oder den Fällen einzeln oder in Gruppen
womit aus einer Menge von Prototypen und/oder Fällen der ähnlichste Prototyp oder Fall
schnell zum Objekt im Bild gefunden werden kann.
-
Ausführungsbeispiele
der Erfindung werden im folgenden näher beschrieben.
-
Grundlage
eines fallbasierten Erkennungsverfahren für Objekte in digitalen Bildern
des ersten Ausführungsbeispiels
ist eine Falldatenbank mit abgelegten Fällen als Fallbilder. Die Fallbilder
und die digitalen Bilder sind Abbildungen von zwei- oder dreidimensionalen
Fällen
und Objekten.
-
Aus
der Falldatenbank wird ein Fallbild mit einer Fallbeschreibung ausgewählt wird.
Das Fallbild ist entweder ein Prototyp einer Gruppe von Einzelfällen oder
ein Einzelbild eines Objektes. Die Gruppe von Einzelfällen stellen
Mengen ähnlicher
Einzelfälle mit
bestimmten Distanz- oder Ähnlichkeitswerten
dar, die hierarchisch als Dendogramm geordnet sind. Der ähnlichste
Fall bestimmt den Zweig des Dendogramms. Der Prototyp selbst ist
entweder eine aus den Einzelformen der Gruppe gemittelte Form oder der
Median der Gruppe der Einzelformen. Das Fallbild wird in eine Bildfolge
als eine Pyramide mit Bildebenen des Fallbildes gewandelt. Eine
Bildfolge als eine Pyramide mit Bildebenen verhindert ein explosionsartiges
Anwachsen des Rechenaufwands. Das Fallbild ist durch Anwenden von
Glättungsoperationen,
wobei alle Wellenzahlen unter der halben Grenzwellenzahl bleiben,
und aufgrund des Abtasttheorems nacheinander auf einem doppelt so
groben Raster ohne jeglichen Informationsverlust darstellbar. Dabei
wird nur jeder zweiter Punkt einer Zeile und nur jede zweite Zeile
herausgegriffen und zu einem neuen Bild zusammengesetzt, wobei sichergestellt
ist, dass das ursprünglich
feinere Raster aus dem gröberen
Raster exakt rekonstruierbar ist. Die Anwendung der Glättungoperationen
erfolgt iterativ, so dass daraus eine Folge von Bildern resultiert,
wobei die Bilder flächenmäßig jeweils
um den Faktor vier kleiner werden. Die immer kleiner werdenden Bildebenen
ergeben übereinandergeschichtet
die Form einer Pyramide.
-
Aus
dem aktuellen digitalen Bild mit Objekten wird ein Gradientenbild
gebildet. Über
eine Kantendetektion der Objekte des digitalen Bildes wird das Gradientenbild
erzeugt, wobei große Änderungen des
Grauwertes sowohl in vertikaler als auch in horizontaler Richtung
jeweils Gradienten und homogenen Flächen kein Gradient zugeordnet
werden. Die homogenen Flächen
sind damit schwarz.
-
Das
Gradientenbild wird gleichfalls in eine Bildfolge als eine Pyramide
mit Bildebenen überführt.
-
Das
Fallbild wird nachfolgend sukzessive auf jedes Objektbild des Gradientenbildes
beginnend mit jeweils den höchsten
Bildebenen des Fall- und des Objektbildes verschoben, wobei das
Fallbild mit jedem Objektbild des Gradientenbildes verglichen wird.
Während
des Vergleichs wird das Fallbild auf das Objektbild ausgerichtet,
wobei dabei eine Skalierung und/oder Rotation des Fallbildes ausgeführt wird.
Während
des Vergleichs des Fallbildes mit dem Objektbild wird gleichzeitig
die Ähnlichkeit
zwischen dem Fall- und Objektbild berechnet. Bei der Berechnung
der Ähnlichkeit
werden die Ähnlichkeitsmaße entweder
als Distanz- oder als Ähnlichkeitswerte
jeweils zwischen dem Fall- und dem Objektbild so lange ermittelt,
bis entweder ein Minimum der Distanzwerte oder ein Maximum der Ähnlichkeitswerte
vorhanden ist. Die Ähnlichkeitsmaße bestimmen
den Grad der Übereinstimmung
zwischen Fall- und Objektbild, wobei der Grad der Übereinstimmung
mit sinkendem Ähnlichkeitsmaß abnimmt
und das Objektbild ungleicher vom Fallbild wird.
-
In
einer Ausführungsform
kann der Richtungsvektor zwischen entweder zwei Punkten oder benachbarten
Punkten der Kanten entweder bei dem Fallbild berechnet sein oder
bei dem Objektbild berechnet werden. Bei der Berechnung der Ähnlichkeit werden
die Ähnlichkeitsmaße als sowohl
Richtungsvektoren als auch entweder als Distanz- oder als Ähnlichkeitswerte
jeweils zwischen dem Fallbild und dem Objektbild ermittelt.
-
Die
Fälle sind über einen
Index entsprechend der Ähnlichkeitsrelationen
so in der Falldatenbank geordnet, dass aus einer Menge entweder
von Prototypen der ähnlichste
Prototyp oder von Fällen der ähnlichste
Fall schnell zum Objekt im Bild gefunden werden kann.
-
Der
Prototyp als entweder gemittelte Form oder Median der Gruppe oder
das Einzelbild wird auf einem mit einem Computer, in dem das Verfahren
abläuft,
verbundenen Datensichtgerät
als Bildschirm abgebildet. Weiterhin werden die Konturpunkte entweder
der gemittelten Form oder des Medians oder des Einzelbildes als
Datenmenge in dem Computer gespeichert.
-
In
einer Ausführungsform
des Ausführungsbeispiels
wird aus dem Fall- und dem Objektbild jeweils ein Gradientenbild
gebildet. Diese Gradientenbilder werden jeweils in eine Bildfolge
als eine Pyramide mit Bildebenen überführt und sukzessive die Richtungsvektoren
in den Bildebenen jeweils des Fall- und des Objektbildes durch Produktbildung
miteinander verglichen.
-
Ein
zweites Ausführungsbeispiel
stellt ein Computer-Programm-Produkt mit einem Programmcode zur
Durchführung
eines im ersten Ausführungsbeispiel
beschriebenen fallbasierten Erkennungsverfahrens für Objekte
in digitalen Bildern mit in wenigstens einer Falldatenbank abgelegten
Fällen
dar, wenn das Programm auf einem Rechner abläuft.
-
Ein
drittes Ausführungsbeispiel
ist ein Computer-Programm-Produkt auf einem maschinenlesbaren Träger zur
Durchführung
eines im ersten Ausführungsbeispiel
beschriebenen fallbasierten Erkennungsverfahrens für Objekte
in digitalen Bildern mit in wenigstens einer Falldatenbank abgelegten
Fällen, wenn
das Programm auf einem Rechner abläuft.
-
Ein
viertes Ausführungsbeispiel
ist ein digitales Speichermedium, das so mit einem program mierbaren
Computersystem zusammenwirken kann, dass ein im ersten Ausführungsbeispiel
beschriebenes fallbasiertes Erkennungsverfahren für Objekte
in digitalen Bildern mit in wenigstens einer Falldatenbank abgelegten
Fällen
ausgeführt
wird.