-
Die
Erfindung betrifft ein vollautomatisches Verfahren zur lokal-adaptiven
Erkennung von Objekten in digitalem Bildmaterial.
-
Leistungsfähige Geräte der Video-
und Computertechnik ermöglichen
den Einsatz digitaler Bildverarbeitung in nahezu allen wissenschaftlichen
Bereichen und Ingenieurdisziplinen. Dabei ist eine häufig gestellte
Aufgabe die Erkennung von Objekten. Bei der Objekterkennung werden üblicherweise
in einem ersten Schritt interessierende Objekte von anderen Objekten
und dem Bildhintergrund separiert. Dazu werden mittels Segmentierverfahren
Merkmale aus Bildern segmentiert. Anschließend werden die segmentierten
Merkmale in einem weiteren Schritt mittels Klassifikationsverfahren
erkannt und eindeutig einer Objektklasse zugeordnet. Die Objekterkennung
wird beispielsweise bei der Qualitätskontrolle für industrielle
Zwecke mit großem
Erfolg eingesetzt. Gleichermaßen
eignet sich die Objekterkennung mittels digitaler Bildverarbeitung
auch beim Einsatz zur Umgebungserfassung in Fahrzeugen.
-
In
der europäischen
Patentschrift
EP 0493855
B1 wird ein Verfahren zur binären Segmentierung von Infrarotbildern
beweglicher Objekte bei der Überwachung
des Straßenverkehrs
beschrieben. Die binäre
Segmentierung erfolgt dabei basierend auf einer Histogramm-Schwellwertbestimmung.
Wobei mittels einer Binarisierungsschwelle automatisch die Grenze
zwischen einem Objektbereich des Bildes und dem Hintergrund des
Bildes mit potentiell verrauschter Intensität bestimmt wird. Da es sich
bei den Objekten um bewegte Objekte handelt, arbeitet das binäre Segmentierverfahren
lokal. Wobei im Rahmen der Vorverarbeitung anhand des dem Fachmann
bekannten Differenzverfahrens grob ein Bildausschnitt (Region Of
Interest = ROI) gewählt
wird, worin ein oder mehrere Objekte enthalten sind. Innerhalb einer ROI
wird zur Bestimmung der Binarisierungsschwelle üblicherweise das Grauwerthistogramm
herangezogen. Im Grauwerthistogramm ist die Anzahl der Pixel im
Bild über
dem Grauwert aufgetragen, bei einer 8Bit-Codierung [0, 255]. Der
Grauwert 0 entspricht dabei einem schwarzen Pixel und der Grauwert
255 einem weißen
Pixel, dazwischen liegen die Graustufen. Zur Bestimmung der Binarisierungsschwelle werden
zunächst
die links- und rechtsseitigen Ableitungen der Intensitäten an Punkten
der Histogrammkurve berechnet. Anschließend wird die Intensität eines
Punktes auf der Histogrammkurve berechnet, von dem aus die in Richtung
der einen Seite berechnete Ableitung der Intensität gegen
Null geht und die Richtung der anderen Seite berechnete Ableitung
der Intensität
gegen unendlich geht. Das beschriebene Verfahren setzt voraus, dass
ein Objekt und der Hintergrund im Hinblick auf die Graustufen voneinander getrennt
sind. Bei der Arbeit mit Teilbildern ist diese Hypothese im allgemeinen
richtig. Da das Grauwerthistogramm jedoch die geographische Verteilung oder
Topologie der Pixel nicht berücksichtigt,
verwendet dieses Verfahren im Histogramm anstelle der Anzahl der
Pixel die Anzahl der Objekte. Wobei ein Objekt eine Menge von verbundenen
Pixeln ist und zwei Pixel als Verbunden bezeichnet werden, wenn
ihr gegenseitiger Abstand geringer ist als ein Bezugsabstand. Damit
werden bei diesem Verfahren auch morphologische Informationen im
Bild berücksichtigt.
-
Aus
der
DE 4404775 C1 ist
ein Verfahren zum Betrieb eines hybriden neuronalen Netzwerks zur
automatischen Objekterkennung bekannt. Das hybride neuronale Netzwerk
ist dabei aus einer Reihenschaltung eines Segmentierers, Merkmalsextrakors
und Klassifikators aufgebaut. Mittels des Segmentierers werden in
einem Eingangsbild Objekte vom Hintergrund getrennt. Bei dem dabei
verwendeten Segmentierverfahren handelt es sich insbesondere um
ein mehrstufiges Pixelbasiertes Segmentierverfahren, bei welchem
mittels eines Clusterprozess für
jedes einzelne Pixel im Eingangsbild entschieden wird, ob das jeweilige
Pixel einem Objekt zuzuordnen ist und überhaupt den Segmentierer durchlaufen
soll. Aus den segmentierten Bildern von Objekten (Subcluster) werden
mittels des Merkmalsextraktors sodann Klassifikationsrelevante Merkmale
extrahiert. Der Klassifikator dient dabei zur Zuordnung von extrahierten
Merkmalen zu Objektklassen aufgrund von Klassenzugehörigkeitswahrscheinlichkeiten
und fasst somit segmentierte Subcluster zu sog. Objekt-Superclustern
zusammen. Der Ausgang des Klassifikators ist hierbei auf den Eingang
des Segmentierers rückgekoppelt
und steuert somit adaptiv die Vorverarbeitung beim unüberwachten
Lernen mittels des künstlichen
neuronalen Netzwerks. Mit diesem Verfahren können in Klassen eingeteilte
Objekte im Bildmaterial erkannt werden, wobei sich selbst bei gestörten Objekten,
d.h. verzerrten oder teilweise verdeckten oder durch Rauschen überlagerte
Objekte, eine besonders hohe Güte
im segmentierten Bild ergibt.
-
Aus
der Schrift "Ein
single-pass Algorithmus für
die schnelle Konturcodierung von Binärbildern" von E. Mandler und M. Oberländer, Mustererkennung 1990,
Springer-Verlag, Berlin, ist ein Verfahren zur Zusammenhangsanalyse
für digitales
Bildma terial bekannt. Die Zusammenhangsanalyse unterscheidet sich
von bekannten Methoden durch eine inkrementelle Vorgehensweise.
In einem Durchlauf (single-pass) wird die Transformation eines Rasterbildes in
eine Konturbeschreibung erreicht. Wobei für die Transformation lediglich
ein Zwischenspeicher von zwei Bildzeilen benötigt wird. Nach Abarbeiten
der letzten Bildzeile ist die symbolische Beschreibung bereits komplett,
welche neben den Konturcodes auch Informationen über die Verschachtelung der Gebiete
umfasst. Neben der Information über
die Verschachtelung können
optional weitere Merkmale wie Fläche
und Umfang berechnet werden. Das Verfahren ist nicht nur auf binäre Bilddaten
beschränkt, sondern
lässt sich
systematisch auf die Zusammenhangsanalyse von mehrwertigen Rasterbildern
erweitern. Wobei der Rechenzeitaufwand für die Konturverfolgung im Wesentlichen
durch die Anzahl der Ecken im Bild bestimmt ist.
-
Aus
der Veröffentlichung "Ein Bildsegmentierer
für die
echtzeitnahe Verarbeitung",
von C.Anderer, U.Thönnessen,
M.F.Carlsohn und A.Klonz, Mustererkennung 1989, Springer-Verlag, Berlin, ist
ein Bildverarbeitungsverfahren zur echtzeitnahen Segmentierung interessierender
Objekte bekannt. Dabei handelt es sich um ein regionenbasiertes,
zeilenorientiertes Segmentierungsverfahren, dessen Basis eine Binarisierung
des Bildes mit einer Vielzahl von Grauwertschwellen ist. Insbesondere
wird ein Bild mit einer einstellbaren Anzahl von Grauwertintervallen
binarisiert, wobei ein Grauwertintervall im Intensitätsbereich
zwischen [0, 255] liegt und durch eine untere sowie eine obere Schwelle
definiert ist. Ein Grauwertintervall wird dabei derart gewählt, dass
das vorhergehende Grauwertintervall eine Teilmenge des Nachfolgenden
ist. Für
die extrahierte(n) Binärfläche(n) des
Objektes wird eine ikonisch/symbolische Beschreibung in Form eines
Merkmalsvektors angelegt. Wird bei diesem Verfahren im Rahmen der
Binarisierung der Abstand der Binarisierungsschwellen klein genug
gewählt,
so ist in der Regel gewährleistet,
dass alle interessierenden Objekte durch die Binarisierung separiert
werden.
-
Was
jedoch bei Objekten mit starkem Kontrast dazu führt, dass diese mehrfach als
nahezu gleiche Fläche
mit einem ähnlichen
Merkmalsvektor extrahiert werden (Mehrfachhypothesen). Diese Redundanz
wird verfahrensmäßig dadurch
verringert, dass Flächen
eines Objektes mit nahezu "gleichem Aussehen" zusammengefasst
werden und abschließend
nur ein Merkmalsvektor als Ergebnis ausgegeben wird. Dies ist nur über einen
mehrstufigen Zuordnungsprozess der Flächen aus benachbarten Grauwertintervallen
und der Überprüfung des
Kontextes "ähnlich" möglich. Der
Kontext "Ähnlichkeit" ist dabei vom Benutzer über Regeln
frei programmierbar, wobei sich die Regeln anhand einfacher Sprache
formulieren lassen. Der mehrstufige Zuordnungsprozess lässt sich
an das Datenmaterial verschiedenster Aufgabenstellungen adaptieren.
Da das Verfahren durch den komplexen mehrstufigen Zuordnungsprozess
erheblichen Verarbeitungsaufwand erfordert, wurde es für den echtzeitnahen
Einsatz parallelisiert und als spezielle Hardware realisiert.
-
Der
Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren zur lokal-adaptiven
Segmentierung von Objekten in digitalem Bildmaterial zu schaffen,
wobei das Verfahren ohne Parallelisierung mittels Standard Hardware
betreibbar ist und sich durch hohe Robustheit bei gleichzeitig geringem
Verarbeitungsaufwand auszeichnet.
-
Die
Aufgabe wird gemäß der Erfindung
durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte
Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus
den Unteransprüchen.
-
Gemäß der Erfindung
wird ein Verfahren zur lokal-adaptiven Objektsegmentierung für digitales Bildmaterial
bereitgestellt. Wobei das Verfahren darauf basiert, dass ein digitales
Bild mittels mehrerer unterschiedlicher Binarisierungsschwellen
binarisiert wird, so dass entsprechend mehrere Binärbilder
entstehen. Innerhalb dieser einzelnen Binärbilder wird sodann eine Zusammenhangsanalyse
durchgeführt, um
binär zusammenhängende Gebiete
als Objekthypothesen zu segmentieren. In einer erfinderischen weise
werden bei dem Verfahren zur lokal-adaptiven Objektsegmentierung
für digitales
Bildmaterial zu allen segmentierten Objekthypothesen Merkmale in der
Form von Grauwertvektoren sowie die dazugehörigen ROIs zwischengespeichert.
Die Grauwertvektoren umfassen dabei die Intensitätswerte von Objekthypothesen
in Graustufen, wobei die einzelnen Graustufen beispielsweise in
der Form eines Zeilenvektors abgespeichert werden. Die ROIs werden
ebenfalls als Vektoren abgespeichert, in welchen beispielweise die
Position der linken oberen Ecke im Bild sowie die Höhe und Breite
der ROI eingetragen sind. In Abhängigkeit
der Schrittweite einzelner Binarisierungsschwellen kann es vorkommen,
dass Mehrfachhypothesen segmentiert werden. Zur Beseitigung von
Mehrfachhypothesen werden die zwischengespeicherten ROIs mit einem
Clusterverfahren zusammengefasst. Im Anschluss an die Clusterung
erfolgt innerhalb jedes Clusters eine Selektion einer einzigen ROI.
Wobei sodann die dieser ROI zugeordnete Objekthypothese das zu segmentierende Objekt
repräsentiert.
Beim Einsatz des erfindungsgemäßen Verfahrens
werden Objekte somit robust erkannt und segmentiert, wobei Schwankungen
der Hintergrundbeleuchtung aufgrund der adaptiven Gestaltung der
Binarisierungsschwelle ausgeglichen werden. Der Rechenaufwand wird
dabei durch den Clusterprozess so gering gehalten, dass das Verfahren
unter Verwendung von Standard-Hardware
betreibbar ist.
-
In
einer gewinnbringenden Ausführungsform der
Erfindung wird die Schrittweite zwischen den einzelnen Binarisierungsschwellen
adaptiv gestaltet. Um den Verarbeitungsaufwand zu verringern, ist
es dabei von großem
Vorteil, den zu betrachtenden Grauwertebereich in Abhängigkeit
der jeweiligen Anwendung einzuschränken. Bei den meisten Anwendungen
ist es insbesondere nicht erforderlich die Randbereiche des Grauwertbereichs
zu betrachten, so dass beispielsweise bei einer 8Bit Codierung der gesamte
Grauwertebereich [0, 255] auf ein zu betrachtendes Grauwertintervall
von z.B. [100, 200] eingeschränkt werden
kann. Auch ist es denkbar, nicht nur die Randbereiche von der Betrachtung
auszuschließen,
und mehr als zwei Grauwertintervalle fest vorzugeben. Wobei die
Binarisierungsschwelle ausgehend von der unteren Grenze des Grauwertebereichs
beispielsweise mit einer fest vorgegebenen Schrittweite variiert
wird, bis die obere Grenze des Grauwertebereichs erreicht ist. In
einer weiteren gewinnbringenden Ausführungsform der Erfindung kann
die Schrittweite der Binarisierungsschwelle auch derart gewählt sein,
dass diese dynamisch angepasst wird. Dabei ist es beispielsweise
denkbar, die Schrittweite in Abhängigkeit
der Anzahl der segmentierten Objekthypothesen zu erhöhen bzw.
zu verringern.
-
Die
Segmentierung von Objekthypothesen erfolgt anhand der mittels der
Binarisierungsschwellen erzeugten Binärbilder. Wobei beispielsweise
eine Zusammenhangsanalyse mit dem Eingangs erwähnten single-pass Algorithmus
für die
schnelle Konturcodierung von Binärbildern
durchgeführt
wird. Zur Verringerung des Verarbeitungsaufwand ist es im Rahmen
der Segmentierung von großem
Vorteil, ein auf geometrischen Merkmalen basierendes Objektfilter
heranzuziehen. Das geometrische Objektfilter bezieht sich dabei
auf die Gestaltungsparameter der ROIs von zu segmentierenden Objekthypothesen. Beispielsweise
werden als Parameter die minimale Breite/Höhe sowie die maximale Breite/Höhe für die ROIs
von zu segmentierenden Objekthypothesen in Bildpunkten angegeben.
Bei runden Objekten hingegen bietet es sich in vorteilhafter Weise
an, den minimalen/maximalen Umfang sowie das minimale/maximale Höhen/Breitenverhältnis für die ROI
von zu segmentierenden Objekten in Bildpunkten anzugeben. Ein weiterer
großer
Vorteil hinsichtlich der Reduzierung des Verarbeitungsaufwands besteht
darin, im Rahmen der Zusammenhangsanalyse zusätzliche Auswahlparameter zu
definieren, beispielsweise dahingehend ob ausschließlich helle
oder dunkle Gebiete segmentiert werden sollen.
-
In
besonders vorteilhafter Weise schließt sich der Segmentierung von
Objekthypothesen eine Klassifikation an. Segmentierte Objekthypothesen werden
dabei mittels eines Klassifikationsverfahrens verifiziert, um Falschhypothesen
zu verwerfen. Hierzu werden wenigstens zwei Klassen definiert, eine Objektklasse
für zu
segmentierende Objekte und eine Klasse für zu verwerfende Falschhypothesen.
In Abhängigkeit
der jeweiligen Anwendung sind auch mehrere Objektklassen denkbar,
wodurch mehrere Objekttypen unterschieden werden können. Klassifikationsverfahren
wie beispielsweise die Polynomklassifikation oder die Support-Vektor-Machine
(nach V. Vapnik), welche mit einer geringen Anzahl von Lernbeispielen
auskommen, sind aus dem Stand der Technik bekannt. Bei Klassifikationsverfahren,
welche auf dem Lernen aus Beispielen beruhen, wird zunächst für jede Klasse
ein Satz von Lernbeispielen (Lernset) hinterlegt, wobei jedes Beispiel
als Merkmalsvektor hinterlegt wird, beispielsweise in Form eines
Grauwertvektors. Auf Grundlage des Lernsets erlernt der Klassifikator
bei der Adaption die Abbildungsvorschrift, wie ein Merkmalsvektor
auf einen Zielvektor einer Klasse abzubilden ist. Bei der Klassifikation
wird der Merkmalsvektor, der die Objekthypothese beschreibt, anhand
der zuvor adaptierten Abbildungsvorschrift sodann einer Klasse zugeordnet. Damit
die Ergebnisse der Klassifikation vergleichbar sind bedarf es einer
Normierung der Merkmalsvektoren. Deshalb ist es bei solchen Klassifikationsverfahren
erforderlich die Objekthypothesen bevor diese in der Form eines
Merkmalsvektors zwischengespeichert werden einer Größennormierung
zu unterziehen. Die Größennormierung
basiert dabei auf der Rasterung der Merkmalsvektoren, wobei dem
Fachmann auf dem Gebiet der Bildverarbeitung die dazu nötigen Verfahren
bekannt sind.
-
Wie
bereits erwähnt
werden bei dem erfindungsgemäßen Verfahren
die ROIs der Objekthypothesen mit einem Clusterverfahren zusammengefasst,
um Mehrfachhypothesen beseitigen zu können. In der Schrift "Automatische Klassifikation" von Hans Herrmann
Bock, veröffentlicht
von "Vandenhoeck & Ruprecht, Göt tingen,
1974" werden hierfür geeignete
theoretische und praktische Methoden zur Gruppierung und Strukturierung
von Daten (Cluster-Analyse) beschrieben. Dort werden auch Agglomerative-Verfahren
wie beispielsweise die Complete-Linkage-Methode beschrieben. Für die mit
der Complete-Linkage-Methode zu betrachtenden Objekte wird eine
Distanzmatrix vorgegeben, wobei es sich bei den Distanzen um die
quadrierten euklidischen Distanzen zwischen einzelnen Objekten handelt.
-
In
einer gewinnbringenden Ausführungsform der
Erfindung wird für
den Abstand zweier ROIs ein maximales Distanzmaß vorgegeben. Dabei entspricht
die Dimension des maximalen Distanzmaßes der Dimension der ROIs.
Beispielsweise wird ein mehrdimensionaler Vektor aufgespannt, indem
als Parameter für
die ROI die horizontale Lage des Schwerpunkts der ROI, die vertikale
Lage des Schwerpunkts der ROI, die Höhe der ROI sowie deren Breite
eingetragen sind.
-
Bei
dem Verfahren werden sodann jeweils zwei ROIs miteinander verglichen.
Sind zwischen beiden ROIs die Abstände im Bezug auf die einzelnen
Dimensionen unterhalb der durch das maximale Distanzmaß vorgegebenen
Schranken, so werden beide ROIs einem gemeinsamen Cluster zugeordnet. Es
werden solange ROIs miteinander verglichen, bis alle ROIs Clustern
zugeordnet sind. Einzelne ROIs können
auch eigene Cluster bilden, falls diese mit keiner anderen ROI gemeinsam
die für
das Distanzmaß vorgegebene
Schranken einhalten. Zur Verringerung des Verarbeitungsaufwands
ist es vorteilhaft, die ROIs vor der Verarbeitung mit dem Clusterverfahren
auf Grundlage einer ihrer Parameter vorher der Größe nach
zu sortieren. Dies kann beispielsweise anhand des die horizontale
Lage der Schwerpunkte der ROIs beschreibenden Parameters erfolgen.
-
Zur
Beseitigung von Mehrfachhypothesen erfolgt im Anschluss an die Clusterung
der ROIs innerhalb jedes Clusters eine Selektion einer einzigen ROI.
Wobei der dieser ROI zugeordnete Grauwertvektor einer Objekthypothese
entspricht und diese Ob jekthypothese sodann das zu segmentierende Objekt
repräsentiert.
Zur Selektion einer einzigen ROI innerhalb jedes Clusters wird hierbei
nur ein Parameter der ROI, beispielsweise die horizontale Lage des
Schwerpunkts der ROI, ausgewählt.
Es wird diejenige ROI selektiert, deren ausgewählter Parameter dem Medianwert
entspricht. Der dieser ROI zugeordnete Grauwertvektor repräsentiert
sodann das zu erkennende Objekt. Auch ist es denkbar mehrere Parameter
der ROI innerhalb desselben Clusters gleichzeitig zu betrachten.
Vorzugsweise wird dann für
jeden dieser Parameter zunächst
der Mittelwert gebildet. Im Anschluss wird sodann für die Parameter
der ROI nach der Least-Mean-Squares(LMS) Methode die Abweichung
vom Mittelwert berechnet. Wobei diejenige Objekthypothese die derjenigen
ROI, welche die geringste Abweichung vom Mittelwert aufweist, das
zu erkennende Objekt repräsentiert.
-
In
besonders vorteilhafter Weise kann das erfindungsgemäße Verfahren
bei industriellen Anwendungen eingesetzt werden. Beispielsweise
gibt es im Rahmen der Qualitätskontrolle
von Fertigungsprozessen eine große Anzahl an Prüfaufgaben,
bei denen eine Objekterkennung oder eine Vollständigkeitskontrolle erforderlich
ist. Eine weitere Einsatzmöglichkeit
des erfindungsgemäßen Verfahrens
besteht bei der Umgebungserfassung in Fahrzeugen. Wobei im Rahmen
der Umgebungserfassung beispielsweise eine automatische Verkehrszeichenerkennung
erfolgt. Auch ist die Erfassung von vorausfahrenden oder nachfolgenden
Fahrzeugen anhand eindeutiger Merkmale, wie beispielsweise deren
Beleuchtungseinrichtung, denkbar. Wobei das erfindungsgemäße Verfahren
deshalb besonders gut geeignet ist, da es Objektbezogen und mit
adaptiver Binarisierungsschwelle arbeitet, wodurch es besonders robust
gegen Schwankungen bei der Hintergrundbeleuchtung ist.