DE102006044595B4

DE102006044595B4 - Bildverarbeitungsvorrichtung zur Segmentierung anhand von Konturpunkten

Info

Publication number: DE102006044595B4
Application number: DE102006044595A
Authority: DE
Inventors: Lars 01796 Beikirch; Joachim Dr. 01067 Ihlefeld; Oliver Dr. Vietze
Original assignee: Baumer Optronic GmbH
Current assignee: Baumer Optronic GmbH
Priority date: 2006-09-19
Filing date: 2006-09-19
Publication date: 2011-06-22
Anticipated expiration: 2026-09-20
Also published as: WO2008034599A3; DE102006044595A1; EP2064672A2; US20100021058A1; WO2008034599A2; JP2010503936A; US8326045B2

Abstract

Bildverarbeitungsvorrichtung (1) zur Segmentierung anhand von Konturpunkten mit – einer Einrichtung (13) zur Segmentierung von Bilddaten und – einer Einrichtung (5, 7, 9) zur Bestimmung und Verarbeitung von Konturpunkten (26), wobei die Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten (26) – zumindest eine integrierte Hardwareeinheit (5) umfasst, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte (26) mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher (9) abzulegen, und wobei die Bildverarbeitungsvorrichtung (1) – einen statistical nearest neighborhood classifier mit einer Recheneinheit aufweist, welche eingerichtet ist, aus den im Speicher (9) abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten (26) unter Berücksichtigung des Abstands der Punkte zueinander zu ermitteln, und wobei der statistical nearest neighborhood classifier – zumindest einen Klassifikator aufweist, welcher – aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei...

Description

Die Erfindung betrifft allgemein Vorrichtungen und Verfahren zur Bildverarbeitung. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung zur Bildverarbeitung, bei welcher aus den Bilddaten Konturpunkte ermittelt und anhand der Konturpunkte eine Segmentierung vorgenommen wird, bei welcher zusammengehörende Konturpunkte für die Weiterverarbeitung zu Objekten zusammengefasst werden.
Für verschiedenste technische Anwendungen werden heutzutage Bildverarbeitungssysteme eingesetzt, um eine automatische Objekterkennung zu realisieren. Beispielsweise orientieren sich Industrieroboter vielfach anhand von verarbeiteten Bilddaten, welche es einem Roboter ermöglichen, ein Objekt und dessen Lage und Position zu erkennen. Um eine zuverlässige Erkennung von Objekten zu gewährleisten, wird jedoch bisher eine große Menge an ”a priori”-Wissen über die zu erkennenden Objekte benötigt. Damit geht auch oft einher, dass für das jeweilige technische Einsatzgebiet speziell zugeschnittene Software-Lösungen erstellt werden. Es ist offensichtlich, dass eine derartige Herangehensweise sehr aufwendig und entsprechend teuer ist. Vielfach schließen sich dabei auch an eine technische Umsetzung auch noch langwierige Lernprozesse an, mit welchen das System für die Erkennung ausgewählter Objekte trainiert wird. Noch ein weiteres Manko ist, dass für die Bilderkennung speicherintensive und komplizierte Berechnungen erforderlich sind. Eine Echtzeit-Erkennung ist auf diese Weise daher kaum zu realisieren.
So beschreibt der Fachartikel ”Scale-invariant Contour Completion using Conditional Random Fields” von R. Xiaofeng et al. (Proceedings of the Tenth International Conference on Computer Vision, IEEE 2005,) ein Modell zur kurvenförmigen Gruppierung unter Verwendung stückweise linearer Darstellungen von Konturen und eines bedingten Zufallsfeldes, um die Stetigkeit und die Frequenz verschiedener Typen von Anschlussstellen zu erfassen. Maximum Likelihood Parameter für das Modell werden aus von Menschen markierten Grunddaten.
Der Fachartikel ”Efficient Closed Contour Extraction from Range Image's Edge Points” von Angel D. Sappa (Proceedings of the 2005 IEEE International Conference on Robotics and Auotmation, S. 4333 ff.) schlägt einen verbesserten Algorithmus zum Schließen von Konturen vor. Unter der Annahme, dass Eckpunkte gegeben sind, wird in einem ersten Schritt der minimale Spannbaum eines teilweise verbundenen Graphen berechnet. Anschließend entfernt ein morphologischer Filter Verbindung aus dem Rauschen. Dann werden offene Konturen durch Minimierung einer Verbindungskostenfunktion geschlossen.
Der Fachartikel ”Vectorized Image Segmentation via Trixel Agglomeration” von Lakshman Prasad et al. beschreibt ein algorithmisches System um ein aus Pixeln bestehendes Bild in ein vektorisiertes Bild umzuwandeln, das in Polygone unterteilt ist, die anschließend zur Bildverarbeitung und -erkennung verwendet werden können. Ein digitales Bild wird verarbeitet, um Ketten von Kantenpixeln zu extrahieren. Eine Delaunay Triangulation der Menge der Kantenkontur wird durchgeführt, um Dreiecke zu erhalten, die das Pixelbild ohne sich überschneidende Kantenkonturen überdecken. Jedem Dreieck wird eine Farbe zugeordnet. Eine Kombination von Regeln bestimmt, welche Dreiecke zusammengefasst werden sollen. Ein Gruppierungsgraph wird gebildet, der benachbarte Dreiecke, die zusammengefasst werden sollen, beschreibt. Abschließend wird dieser Graph analysiert, um das vektorisierte Bild zu erhalten.
Der Fachartikel ”Template Based Method of Edge Linking Using a Weighted Decision” von Frednick L. Miller et al. (GbRPR 2005, LNCS 3434, S. 12–22) beschreibt ein Verfahren zum Schließen von Zwischenräumen bei der automatisierten Erkennung von Kanten. Dieses Verfahren nutzt ein Gewichtungssystem, das auf der Position von Kantensegmenten, Ausrichtung und Größe basiert, um zu entscheiden, welche Kantensegmente miteinander verbunden werden sollen.
Der Fachartikel ”Curve Segmentation by Continous Smoothing at multiple Scales” von Carlos Orrite et al. (Proceedings of the 1993 IEEE/RSJ International Conference on Intelligent Robots and Systems, 1993, S. 1808 ff.) zeigt ein Verfahren zur Abschätzung von Ecken. Deren Position wird bestimmt, indem die Krümmung einer Kurve bei verschiedenen Glätten abgeschätzt wird.
Ferner zeigt der Fachartikel ”On the Detection of Dominant Points on Digital Curves” von Cho-Huak Teh et al. (IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. II, No. 8, August 1989) einen parallelen Algorithmus zur Bestimmung dominanter Punkte geschlossener Kurven. Das verfahren benötigt keine Inputparameter. Für jeden Punkt wird zunächst auf Basis seiner lokalen Eigenschaften der Unterstützungsbereich bestimmt. Anschließend werden Maßzahlen zur relativen Signifikanz jeden Punktes, wie z. B. die Krümmung, berechnet. Abschließend werden die dominanten Punkte mittels eines Prozesses zur Unterdrückung von Nicht-Maxima bestimmt.
Der Erfindung liegt die Aufgabe zugrunde, eine technische Lösung bereitzustellen, mit der eine Konturenerkennung in Echtzeit erfolgen kann und die mit nur sehr wenig oder sogar keinerlei a-priori-Information in der Lage ist, eine zutreffende und zuverlässige Erkennung von Objekten durchzuführen. Diese Aufgabe wird bereits in höchst überraschend einfacher Weise durch eine Vorrichtung und ein Verfahren, wie sie in den unabhängigen Ansprüchen angegeben sind, gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den jeweiligen abhängigen Ansprüchen angegeben.
Dazu ist eine Bildverarbeitungsvorrichtung zur Segmentierung anhand von Konturpunkten vorgesehen mit
einer Einrichtung zur Segmentierung von Bilddaten und
einer Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten,
wobei die Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten zumindest eine integrierte Hardwareeinheit umfasst, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen, und
wobei die Bildverarbeitungsvorrichtung einen statistical nearest neighborhood classifier mit einer Recheneinheit aufweist, welche eingerichtet ist, aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander zu ermitteln, und
wobei der statistical nearest neighborhood classifier zumindest einen Klassifikator aufweist, welcher aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und für jede Teilmenge denjenigen zum zentralen Konturpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aus der Menge der zumindest drei benachbarten Konturpunkte aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet und im Anschluß daran in eine Konturpunktliste die nicht aussortierten Konturpunkte mit Konnektoren einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen,
wobei die Bildverarbeitungseinrichtung eingerichtet ist, die Konturpunkte anhand der Konnektoren zu Kontursegmenten zusammenzufassen.
Ferner ist eine Bildverarbeitungsvorrichtung zur Segmentierung anhand von Konturpunkten mit einer Einrichtung zur Segmentierung von Bilddaten und einer Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten, dadurch gekennzeichnet, dass die Einrichtung zur Segmentierung von Bilddaten eine Einrichtung zur Bestimmung von Eckpunkten von Konturen aus der Konturpunktliste, wobei die Einrichtung zur Bestimmung von Eckpunkten von Konturen eine Einrichtung zur Durchführung des folgenden Algorithmus umfasst:

– zu jedem Punkt p einer Menge aufeinanderfolgender Konturpunkte einer Kontur werden Tripel mit Punkten (p^–, p, p⁺) gebildet, wobei die Punkte p^–, p⁺ Konturpunkte darstellen, die in beiden Richtungen entlang der Kontur vom Punkt p beabstandet sind,
– zu diesen Punkten wird getestet, ob die Bedingungen d² _min ≤ |p – p⁺|² ≤ d² _max, (i) d² _min ≤ |p – p^–|² ≤ d² _max (ii) und α ≤ α_max (iii) erfüllt sind, wobei d² _min, d² _max und α_max gesetzte vorbestimmte Parameter sind, und wobei für den Öffnungswinkel α gilt:
wobei a den Abstand der Punkte p und p⁺, b den Abstand der Punkte p und p^–, und c den Abstand der Punkte p⁺ und p^– bezeichnen, und wobei die Bedingungen (i), (ii) und (iii) für eine Reihe von zu p beiderseits benachbarten Punkten getestet werden,
– der kleinste Öffnungswinkel α oder eine daraus abgeleitete Größe aus der Menge der getesteten Tripel mit Punkten (p^–, p, p⁺), welche alle Bedingungen (i), (ii) und (iii) erfüllen, wird ausgewählt und dem Punkt p zugeordnet,
– ein Punkt p wird aussortiert, wenn zu diesem dieser ein benachbarter Punkt p' existiert, für welchen die Bedingungen (i), (ii) und (iii) erfüllt sind und einen kleineren Öffnungswinkel α aufweist.

Unter einem benachbarten Punkt p' wird dabei ein Punkt verstanden, welcher innerhalb einer vorbestimmten Umgebung um den Punkt p entlang der Kontur angeordnet ist.
Beispielsweise kann als Bedingung gesetzt werden |p² – p'²| ≤ d² _max.
Durch Setzen des Parameters d² _max wird vermieden, dass vermeintlich kleine Öffnungswinkel zwischen weit entfernten Punkten bei stark gekrümmten Konturen zugeordnet werden. Der Parameter d² _min gibt die Auflösung an, mit welcher die Kontur, beziehungsweise die Konturpunkte abgetastet wird.
Ein günstiger zulässiger Bereich für |p – p⁺|² zur Erzielung einer effektiven Abtastung wird weiterhin erreicht, wenn d_max ≥ d_min + 1, etwa zum Beispiel d_max = d_min + 2 gesetzt wird. Die Parameter d_max, d_min und α_max müssen nicht fest durch die Hardware vorgegeben sein, vielmehr kann die Bildverarbeitungsvorrichtung auch dazu ausgebildet sein, wenigstens einen dieser Parameter wählbar oder variierbar zu setzen.
In Kapitel II des Fachartikels ”On the Detection of Dominant Points on Digital Curves”, C-H. Teh und R. T. Chin, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. II, No. 8, August 1989 werden entsprechende Verfahren zur Ermittlung wesentlicher Konturpunkte beschrieben.
Es hat sich gezeigt, dass der vorstehend beschriebene Algorithmus besonders einfach und effektiv in Hardware, vorzugsweise in FPGA- oder ASIC-Bausteine implementiert werden kann. Insbesondere ist auch der benötigte Speicher vergleichsweise klein. Dies zusammengenommen führt zu einer sehr schnellen Erkennung von Eckpunkten von Objekten zwischen geradlinigen Segmenten und einer unter Verwendung dieser Punkte möglichen weitergehenden Segmentierung. Insbesondere können dann auch schnell Verbindungen zwischen den Eckpunkten gebildet und weiterverarbeitet werden.
Für die Auswahl der Tripel, beziehungsweise der Punkte p⁺, p^– können verschiedene Auswahlvorschriften eingesetzt werden. Besonders effektiv, insbesondere auch hinsichtlich der Anzahl der benötigten Addierer und Multiplexer ist es jedoch, wenn Tripel (p, p⁺, p^–) nacheinander mit Konturpunkten p⁺, p^– gebildet und auf Erfüllung der Bedingungen (i), (ii), und (iii) getestet werden, die entlang der Kontur fortschreitend weiter vom Konturpunkt p entfernt sind. Dabei ist es weiterhin günstig für die Rechengeschwindigkeit bei ausreichender Genauigkeit der Bestimmung von Eckpunkten, wenn der Test der Bedingungen (i), (ii), und (iii) für einen gegebenen Konturpunkt p abgebrochen wird, sobald eine der Bedingungen (i), (ii), und (iii) für ein Tripel (p, p⁺, p^–) nicht mehr erfüllt ist.
Als vorteilhaft für eine fehlerarme Segmentierung für eine Vielzahl von Bedingungen hinsichtlich der Bildauflösung und des Bildkontrasts hat es sich weiterhin erwiesen, wenn in der Einrichtung zur Bestimmung von Eckpunkten von Konturen der Parameter d² _min auf einen Wert von d² _min ≥ 4 gesetzt ist. Für den Parameter α_max sind weiterhin Werte von α_max ≤ 160° günstig.
Wenn die Bedingungen (i) bis (iii) für eine große Anzahl benachbarter Konturpunkte erfüllt bleibt, steigt der Rechenaufwand zur Bestimmung des minimalen Öffnungswinkel für den Konturpunkt p. Es ist daher von Vorteil für den Rechenaufwand und die Geschwindigkeit der Analyse der Eckpunkte, wenn die Einrichtung zur Bestimmung von Eckpunkten von Konturen ausgebildet ist, für einen gegebenen Konturpunkt p zu jeder Seite entlang einer Kontur höchstens 7 Konturpunkte für die Tests der Bedingungen (i), (ii) und (iii) einzubeziehen. Mit anderen Worten wird der Test abgebrochen, wenn die Konturpunkte p⁺, p^– jeweils sieben Konturpunkte vom Punkt p entfernt sind.
Die Erfindung sieht außerdem ein Verfahren zur Ermittlung zusammenhängender Konturen in Bilddaten vor, welches insbesondere in einer wie vorstehend beschriebenen Bildverarbeitungsvorrichtung durchführbar ist, bei welchem aus den Bilddaten Konturpunkte ermittelt und die Verbindungswahrscheinlichkeiten möglicher Verbindungen von Konturpunkten zu benachbarten Konturpunkten errechnet werden, und wobei aus einer Menge von solchen Verbindungswahrscheinlichkeiten ein oder mehrere Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest zwei Konturpunkten und einem benachbarten ausgewählten zentralen Konturpunkt analysiert und jeweils derjenige der zentralen Konturpunkt benachbarten Konturpunkte aussortiert wird, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem der anderen Punkte aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet, und nach Abschluß dieser Analyse der Teilmengen in eine Liste in einem elektronischen Speicher Konturpunktdaten einträgt, welche Konnektoren umfassen, die zu einer Kontur gehörende Verbindungen zum Zentralpunkt kennzeichnen. Diese Konnektoren können dann weiterverarbeitet werden, indem anhand der Konnektoren die Konturpunkte zu Kontursegmenten zusammengefasst werden, die für die Objektverarbeitung und Objekterkennung dienen.
Unter benachbarten Konturpunkten werden im Sinne der Erfindung nicht etwa Konturpunkte zu direkt aneinandergrenzenden Pixeln verstanden, sondern vielmehr alle Konturpunkte innerhalb einer vorgegebenen Umgebung um den Zentralpunkt. Beispielsweise kann dies eine 5 × 5-Umgebung mit dem jeweiligen betrachteten Zentralpunkt in dessen Zentrum sein. Diese Menge an Konturpunkten wird dann auch als Nachbarschaft bezeichnet.
Die Ermittlung der Lage von Konturpunkten mit Subpixel-Genauigkeit zu einem Bildpunkt erfolgt dabei durch Berechnung aus der Lage des Bildpunktes und weiterer umgebender Bildpunkte.
Der erfindungsgemäße Auswahlvorgang, bei welchem jeweils Konturpunkte aus einer Menge aussortiert werden, welche die geringste Verbindungswahrscheinlichkeit zum Zentralpunkt aufweisen, bietet den Vorteil, sehr wenig Speicher zu benötigen. Insbesondere kann die Verarbeitung anhand von fortlaufenden Listendaten erfolgen. Der hierfür benötigte geringe Speicherbedarf ermöglicht mit geringem Aufwand an einzusetzender Hardware sogar eine Verarbeitung in Echtzeit. Zudem lassen sich die oben beschriebenen Prozesse aufgrund ihrer Einfachheit leicht in Hardware-Bausteinen ohne aufwendige Software und periphere Beschaltung implementieren. Die erfindungsgemäße Vorrichtung kann daher sehr einfach als sehr kompakte integrierte Hardware-Bildverarbeitungsvorrichtung ausgeführt werden. Um den benötigten Speicher zu reduzieren, ist insbesondere auch die Weiterverarbeitung der Konturpunkte in Form von fortlaufenden Listendaten besonders vorteilhaft. Diese Listendaten enthalten vorzugsweise nur die Bildpunktkoordinaten von relevanten Konturpunkten sowie Attributen der Umgebung und somit lediglich die für die Konturerkennung relevanten Daten. Demgemäß wird die Datenmenge auf diese Weise gegenüber den Originaldaten des Bildes auf ein Minimum reduziert. Das Aussortieren hat das Ziel, diejenigen Konturpunkte zu ermitteln, die zusammen mit dem jeweils betrachteten Zentralpunkt zur gleichen Kontur gehören.
Der Schritt des Auswählens von Konturpunkten für die Weiterverarbeitung durch Aussortieren von Konturpunkten mit der geringsten Verbindungswahrscheinlichkeit zum Zentralpunkt kann auch folgendermassen veranschaulicht werden: Die Menge der um einen Zentralpunkt gruppierten Konturpunkte (= Nachbarschaftskandidaten) kann in einer Ebene bildhaft veranschaulicht werden, indem die Verbindungswahrscheinlichkeiten zwischen Konturpunkten durch Strecken dargestellt werden, wobei die Länge einer Strecke indirekt proportional zur Verbindungswahrscheinlichkeit ist. Es werden nun Polygone gebildet, welche als Eckpunkte den Zentralpunkt und zumindest zwei zum Zentralpunkt benachbarte weitere Konturpunkte enthalten. Anschließend wird derjenige der zum Zentralpunkt benachbarten Punkte entfernt, von welchem die längste Verbindung zu einem weiteren Punkt des Polygons ausgeht. Dieses Verfahren kann dann je nach Anzahl der benachbarten Konturpunkte für alle zum Zentralpunkt benachbarten Konturpunkte wiederholt werden, bis eine gewisse Anzahl von Konturpunkten, je nach Anordnung der Punkte unter Umständen auch nur zwei Punkte inklusive des Zentralpunkts übrigbleibt und es sich keine Polygone mehr bilden lassen, in denen weitere Streichungen von Elementen stattfinden.
Dieser Auswahlvorgang des Klassifikators läßt sich besonders effektiv mit wenigen Rechenoperationen und geringem Aufwand an Hardware durchführen, wenn aus der Menge der Konturpunkte der Nachbarschaft des Zentralpunkts, beziehungsweise der zum Zentralpunkt benachbarten Konturpunkte jeweils eine Teilmenge als Tripel mit dem Zentralpunkt und zwei weiteren Konturpunkten mit den zugeordneten Verbindungswahrscheinlichkeiten gebildet wird und vorzugsweise von drei Komparatoren für die Verbindungswahrscheinlichkeiten die geringste Wahrscheinlichkeit ermittelt und jeweils der zum Zentralpunkt benachbarte Konturpunkt, von welchem die Verbindung mit der geringsten Verbindungswahrscheinlichkeit innerhalb des Tripels ausgeht, aus einer Nachbarschaftsmenge der zum Zentralpunkt benachbarten Konturpunkte aussortiert wird, sofern die zugehörige Verbindung nicht zwei zum zentralen Konturpunkt benachbarte Konturpunkte verbindet.
Die Konnektoren, die der Klassifikator nach dem Aussortieren in der Nachbarschaft belässt, werden in eine Konturpunktliste eingetragen und können dann die Indizes benachbarter Konturpunkte und die Verbindungswahrscheinlichkeiten zu benachbarten Konturpunkten sowie weitere Nachbarschaftsinformationen (Richtung DIR, Kontrast cont, Farbe) enthalten. Werden die Konturpunkte wieder als auf einer Ebene mit durch die Verbindungswahrscheinlichkeiten modifizierten Koordinaten angeordnet betrachtet, so entspricht diese Vorgehensweise dem Bilden von Tripeln von Konturpunkten, deren Verbindungen dementsprechend ein Dreieck bilden. Es wird in diesem Dreieck nun die längste Seite bestimmt und derjenige zum Zentralpunkt benachbarte Konturpunkt gestrichen, von welchem die längste Seite ausgeht.
Der Vorgang des Aussortierens, beziehungsweise des Auswählens der verbleibenden Konturpunkte wird vorzugsweise zumindest einmal für die Menge der nicht aussortierten Konturpunkte wiederholt. Die Bildverarbeitungsvorrichtung, insbesondere der Klassifikator, der aus zumindest drei Elementen für Verbindungen von zumindest zwei Konturpunkten zu einem ausgewählten zentralen Konturpunkt jeweils die Verbindung mit der geringsten Verbindungswahrscheinlichkeit aussortiert, kann insbesondere dazu eingerichtet sein, den Auswahl-Vorgang, bei welchem Konturpunkte mit möglichen Verbindungen mit der geringsten Verbindungswahrscheinlichkeit aussortiert werden für jeden ausgewählten zentralen Konturpunkt zu wiederholen, bis keine weiteren zum zentralen Konturpunkt benachbarten Konturpunkte gestrichen, beziehungsweise aussortiert werden können.
Werden, wie es besonders bevorzugt ist, jeweils Tripel von Konturpunkten, beziehungsweise zugehörigen Verbindungswahrscheinlichkeiten für mögliche Verbindungen gebildet und eine geeignete Auslesereihenfolge der Konturpunkte beachtet, bei welcher die Teilmengen so gebildet werden, dass nur nächste Nachbarn von Konturpunkten, beziehungsweise die Verbindungswahrscheinlichkeiten zwischen diesen Punkten enthalten sind, hat es sich im übrigen gezeigt, dass genau eine einmalige Wiederholung des Aussortierens für alle Tripel von Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen nächst benachbarten Konturpunkten ausreicht, um zumindest in den allermeisten Fällen alle diejenigen Konturpunkte auszusortieren, die nicht zur selben Kontur wie der jeweils betrachtete Zentralpunkt gehören.
Beim Auswählen von Konturpunkten durch Aussortieren von Konturpunkten mit geringer Verbindungswahrscheinlichkeit können sich unter Umständen Mehrdeutigkeiten ergeben, die dazu führen, dass beispielsweise bei einem Tripel von Konturpunkten, der Klassifikator für die Verbindungswahrscheinlichkeiten keinen Konturpunkt aussortiert, obwohl die jeweils längsten Verbindungen, beziehungsweise die geringsten Verbindungswahrscheinlichkeiten jeweils für Verbindungen zum Zentralpunkt bestehen. Dies ist insbesondere dann der Fall, wenn die Punkte mit durch die Verbindungswahrscheinlichkeiten modifizierten Koordinaten ein gleichschenkliges Dreieck oder sogar ein gleichseitiges Dreieck bilden. Hier könnten zwar alle Konturpunkte übernommen werden, allerdings hat sich überraschend gezeigt, dass eine wesentlich bessere, um Artefakte verminderte Nachbarschaftsdefinition erfolgt, wenn eine Modulation auf die Verbindungswahrscheinlichkeit aufgeprägt wird, die einer Positionsverschiebung von Konturpunkten entspricht, die kleiner als der Pixelabstand ist.
Zwar werden hier die Daten für die Verbindungswahrscheinlichkeiten verändert, was auch zu falschen Pfadentscheidungen über tatsächlich zu einer zusammenhängenden Kontur gehörenden Konturpunkten führen kann, allerdings hat es sich gezeigt, dass dies unschädlich ist, da sich mögliche falsche Entscheidungen im Mittelneutralisieren. Eine einfache, bevorzugte Realisierung einer Modulation ist dabei die Veränderung der Pixel-Koordinaten von Konturpunkten. Ebenso möglich wäre es aber auch, innerhalb des Klassifikators die Verbindungswahrscheinlichkeiten zu berechnen und dann diesen Verbindungswahrscheinlichkeiten eine Modulation aufzuprägen.
Im einfachsten Fall können Verbindungswahrscheinlichkeiten von Konturpunkten anhand des Abstands dieser Punkte zueinander ermittelt werden. Je weiter zwei Konturpunkte voneinander entfernt sind, desto geringer ist ihre Verbindungswahrscheinlichkeit. Es wird aber bevorzugt, weitere Attribute der Konturpunkte zu erfassen und in die Berechnung der Verbindungswahrscheinlichkeit mit einfließen zu lassen.
Als günstig hat es sich dabei insbesondere erwiesen, wenn das Rechenwerk für die Verbindungswahrscheinlichkeiten zwischen Konturpunkten anhand des Abstands zwischen den Konturpunkten und zumindest einem der Attribute Kontrast, Farbe und Richtung errechnet werden. Dazu ist gemäß einer Weiterbildung der Erfindung vorgesehen, dass die Recheneinheit, die eingerichtet ist, aus den im Speicher abgelegten Listendaten die Verbindungswahrscheinlichkeiten zwischen Konturpunkten zu ermitteln, die Verbindungswahrscheinlichkeiten zwischen Konturpunkten anhand des Abstands zwischen den Konturpunkten und zumindest einem der Attribute Kontrast, Farbe und Richtung errechnet. Eine Möglichkeit ist beispielsweise, anhand eines oder mehrerer Attribute den Wert einer Funktion der Werte dieses Attribute zu errechnen und eine Verbindungswahrscheinlichkeit nur dann zu berechnen, wenn der Wert der Funktion einen Schwellwert je nach Art der Funktion über- oder unterschreitet. Ein Attribut kann dabei beispielsweise die mittlere Punktrichtung, die vom Konturpunktprozessor ausgegeben wird (der maximale Grauwertkontrats liegt in einer Antastrichtung), sein. Die mittlere Punktrichtung ist als Summe der Richtungsvektoren beider zu einem Konnektor gehörenden Konturpunkte definiert und steht in der Regel in guter Näherung senkrecht zur Richtung des Konnektors selbst. Weisen zwei Konturpunkte eine ähnliche Richtung der Kontur auf, steigt entsprechend die Verbindungswahrscheinlichkeit, also die Wahrscheinlichkeit, dass die beiden Punkte tatsächlich zu einer gemeinsamen Kontur gehören. Ein weiteres Merkmal ist der Winkel zwischen der mittleren Punktrichtung und der Richtung des Konnektors. Dieser Winkel kann in besonders einfacher Weise über das Skalarprodukt der beiden Vektoren berechnet und in die Verbindungswahrscheinlichkeit einbezogen werden.
Der Kontrast kann insbesondere der Helligkeitsunterschied von zum Konturpunkt benachbarten Bereichen sein, die durch die Konturlinie getrennt sind. Weisen zwei Konturpunkte einen solchen ähnlichen Kontrast auf, steigt entsprechend die Wahrscheinlichkeit, dass die beiden Konturpunkte auf einer gemeinsamen Konturlinie liegen. Ist der Kontrast invers, dann handelt es sich zumeist um eine dünne Linie, deren in der Regel parallel in geringem Abstand laufende Konturen nicht verbunden werden dürfen, d. h. dass in diesem Fall die Verbindungswahrscheinlichkeit auf null gesetzt wird.
Gemäß dieser Ausführungsform der Erfindung kann daher die integrierte Recheneinheit, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen, dazu eingerichtet sein, neben der Position eines Konturpunktes zumindest ein weiteres Attribut des Konturpunktes zu berechnen und in den fortlaufenden Listendaten abzuspeichern. Vorzugsweise wird mittels der integrierten Recheneinheit für einen Konturpunkt einen Attribut-Vektor mit zumindest 24 Bit Länge, vorzugsweise zumindest 36 Bit Länge erzeugt und in den fortlaufenden Listendaten abgespeichert. Die Recheneinheit, die dazu eingerichtet ist, aus den im Speicher abgelegten Listendaten Verbindungswahrscheinlichkeiten zwischen Konturpunkten zu ermitteln, kann dann Verbindungswahrscheinlichkeiten zwischen Konturpunkten anhand des Abstands zwischen den Konturpunkten und zumindest einem weiteren Attribut errechnen.
Um die Bilddaten schnell mit nur wenig benötigtem Speicher verarbeiten zu können, insbesondere um aus den Bilddaten Konturpunkte und Konnektoren zu ermitteln, ist weiterhin bevorzugt, dass die Bilddaten in mehreren Streifen ausgelesen werden, die jeweils eine Breite von mehr als 1 Pixel, vorzugsweise zumindest 16 Pixel, besonders bevorzugt 26 oder 32 Pixel aufweisen. Vorzugsweise werden dabei die Bilddaten nacheinander in Streifen ausgelesen, die um mehr als einen Pixel, vorzugsweise um zumindest 4 Pixel, besonders bevorzugt um zumindest 8 Pixel überlappen. Aufgrund dieses Überlapps werden zwar unter Umständen Konnektoren im Überlappbereich doppelt berechnet, dieser zusätzliche Mehraufwand wird aber dadurch überkompensiert, dass sich die einzelnen ermittelten Konturen leichter und fehlerfreier wieder zusammensetzen lassen.
Die Bildverarbeitungsvorrichtung ist weiterhin bevorzugt für eine Echtzeit-Bildverarbeitung eingerichtet. Dies bedeutet, dass innerhalb des Bildtransfers eine vollständige Ermittlung von Objekten, welche die Konturen beschreiben, erfolgt. Diese Echtzeit-Verarbeitung wird insbesondere auch durch die sehr einfache Berechnung der Konnektoren für die Konturpunkte ermöglicht.
Um eine solche Echtzeit-Verarbeitung zu ermöglichen, ist es weiterhin besonders bevorzugt, dass die Vorrichtung Dual-Port-RAM-Speicher und eine Einrichtung zum gleichzeitigen Ablegen und Auslesen von Listendaten aus dem Dual-Port-RAM-Speicher aufweist. Dieser Speicher ermöglicht nicht nur sehr kurze Zugriffszeiten, insbesondere können die verschiedenen Prozesse zur Bildverarbeitung auch gleichzeitig auf die Daten im selben Speicher zugreifen. Während ein erster Prozess Listendaten in den Speicher schreibt, kann bereits ein anderer Prozess Listendaten gleichzeitig wieder aus dem Speicher entnehmen. Allerdings sind solche Speicher, beispielsweise auf einem FPGA im allgemeinen sehr klein. Typischerweise stehen Speicher im Bereich von 4 kByte zur Verfügung. Erst die Verarbeitung von Listendaten anstelle der Abbildung ganzer Bilder oder Bildbereiche im Speicher ermöglicht dabei auch die Beschränkung auf derartige kleine Speicher.
Als ein der Bildung von Listendaten mit den Konnektoren nachgeschalteter Prozess ist vorzugsweise ein Morphologiefilter vorgesehen. Der Begriff Morphologiefilter wird in diesem Zusammenhang zur Kennzeichnung der glättenden Wirkung der Filteroperation verwendet, obwohl in diesem Grenzbereich auch topologische Eigenschaften ausgenutzt werden.
So weist gemäß dieser Ausführungsform der Erfindung die Bildverarbeitungsvorrichtung eine Morphologiefilter-Recheneinrichtung auf, welche dazu eingerichtet ist, die Konturpunktliste mit Konnektoren hinsichtlich zumindest einer der Eigenschaften zu filtern:

– Konturpunkte zu Ketten von höchstens drei Konturpunkten werden gelöscht,
– Konturpunkte, welche nur zu einer einseitig mit einer längeren Kette verbundenen Kette mit höchstens drei Konturpunkten gehören, werden gelöscht,
– Konturpunkte, welche Start- und Endpunkte von Ketten zusammengehörender Konturpunkte bilden, werden in der Konturpunktliste gekennzeichnet,
– Konturpunkte, welche Verzweigungspunkte zumindest zweier Ketten bilden, werden in der Konturpunktliste gekennzeichnet.

Um die Verkettung der Konnektoren zu Objektsegmenten zu erleichtern, ist gemäß noch einer Weiterbildung der Erfindung außerdem eine Einrichtung zum Erzeugen von Rangvektoren für Konturpunkte vorgesehen, welche die Konturpunktliste mit Konnektorstruktur ausliest und jeweils ausgehend von einem Zentralpunkt über die Konnektoren die Konnektorstruktur sämtlicher Nachbarpunkte einliest und einen Rangvektor erzeugt, der die Anzahl der Verzweigungen der Nachbarpunkte und des Zentralpunkts selbst beinhaltet. Dabei wird die Konnektorstruktur in zeitlicher Verzögerung zum Eintragen von Konnektoren in die Konturpunktliste abgetastet. Die zeitliche Verzögerung ist vorgesehen, damit bereits Daten im betreffenden Dual-Port-RAM vorhanden sind, in welchen sowohl die Listendaten mit den Konnektoren eingetragen, als auch zur Bildung von Rangvektoren ausgelesen werden. Anschließend kann der Rangvektor über eine Tabelle oder Boolesche Funktionen auf eine vorzugsweise skalare Potentialfunktion abgebildet und Artefakte mittels der Potentialfunktion aussortiert werden. Um die spätere Segmentierung zu erleichtern, kann eine Einrichtung zum Auslesen der Konturpunktliste in geordneter Reihenfolge als geordnete Reihe von Konturpunkten vorgesehen sein, wobei aufeinanderfolgende Listeneinträge zu aufeinanderfolgenden Konturpunkten entlang einer Kontur gehören. Diese Einrichtung kann zusammengehörende Konturpunkte insbesondere anhand der jeweiligen in der Konturpunktliste abgespeicherten Konnektoren ermitteln.
Es hat sich gezeigt, dass eine artefaktarme Ermittlung von Verbindungen zwischen Konturpunkten bereits mit einer kleinen Umgebung eines ausgewählten zentralen Konturpunkts funktioniert. So kann eine zuverlässige Ermittlung von Verbindungen zwischen Konturpunkten erfolgen, wenn Verbindungswahrscheinlichkeiten für mögliche Verbindungen von Konturpunkten jeweils nur zu solchen weiteren Konturpunkten einschließlich des zentralen Konturpunkts errechnet werden, die maximal 2 bis 2,5 Pixel bezogen auf das Raster des Digitalbildes von einem Konturpunkt entfernt sind.
Für die Berechnung der Konnektoren sind fast ausschließlich nur die jeweils nächst benachbarten Konturpunkte relevant. Daher können Rechenschritte gespart werden, wenn bereits die Bildung der Mengen von Konturpunkten, insbesondere von Tripeln für das Aussortieren geschickt vorgenommen wird. Dazu ist gemäß einer Weiterbildung der Erfindung eine der Recheneinheit zur Berechnung von Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen Konturpunkten vorgeschaltete Sortiereinrichtung vorgesehen, welche Listendaten von zu einem ausgewählten zentralen Konturpunkt benachbarten Konturpunkten jeweils entsprechend einer Reihenfolge ausgibt, die beim Abtasten einer Umgebung des zentralen Konturpunkts erhalten wird, indem sukzessive ausschließlich benachbarte Punkte der Umgebung ausgelesen werden. Dies ist beispielsweise ein Unterschied zu Bilddaten in üblichen Bildformaten. Hier sind die Daten zeilenweise geordnet. Innerhalb einer Zeile gehören zwar aufeinanderfolgende Daten der Bilddatei dann zwar zu aufeinanderfolgenden, also auch benachbarten Bildpunkten, dies gilt jedoch nicht mehr am Zeilenende. Hier erfolgt ein Sprung vom letzen Punkt der Zeile zum ersten, weit entfernten Punkt der nächsten Zeile.
Auf den ersten Blick erscheint die eingesetzte Ermittlung von Konturpunkten mit Subpixel-Genauigkeit, beziehungsweise das eingesetzte Subpixel-Raster redundante oder überflüssige Information zu enthalten und damit die nachfolgenden Berechnungen zu verlangsamen oder komplizierter zu machen. Allerdings werden nicht etwa zusätzliche Punkte berechnet, sondern es wird vielmehr vorzugsweise für jeden Konturpunkt im Raster der Bilddaten höchstens einen Konturpunkt mit Subpixel-Genauigkeit ermittelt.
Wie bereits oben diskutiert, ermöglicht die Erfindung einen äußerst sparsamen Speichereinsatz. Gemäß einem weiteren Aspekt der Erfindung kann daher eine erfindungsgemäße Vorrichtung auch als integrierte Bildverarbeitungsvorrichtung realisiert werden, welche einen oder mehrere Bildspeicher und zumindest eine integrierten Hardwareeinheit zur Ermittlung von Konturpunkten aus Bilddaten, einer der integrierten Hardwareeinheit zur Ermittlung von Konturpunkten nachgeschalteten Hardwareeinheit zur Ermittlung von zu einer Kontur gehörenden Verbindungen zwischen Konturpunkten, einen der Hardwareeinheit zur Ermittlung von Verbindungen nachgeschalteten Morphologieprozessor zur Bestimmung der Anzahl der von Konturpunkten ausgehenden Verbindungen von Konturen zu benachbarten Konturpunkten, sowie eine Einrichtung zur Segmentierung aufweist, mittels welcher aus den Daten über die Konturpunkte und deren Verbindungen zu weiteren Konturpunkten Objekte erstellt werden, welche die Konturen der Bilddaten beschreiben, wobei der Hardwareeinheit zur Ermittlung von zu einer Kontur gehörenden Verbindungen zwischen Konturpunkten ein Speicher oder Speicherbereich zugeordnet ist, dessen Größe höchstens 20 Prozent des gesamten Speichers für die Verarbeitung der Bilddaten zu die Konturen beschreibenden Objekten ausgenommen des oder der Bildspeicher beträgt.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und unter Bezugnahme auf die beigeschlossenen Zeichnungen näher erläutert. Dabei verweisen gleiche Bezugszeichen auf gleiche oder ähnliche Teile.
Es zeigen
1 die Architektur eines integrierten Echtzeitbildverarbeitungssystems (IEBVS),
2 eine grafische Darstellung der Konturpunktliste,
3 schematisch ein Bereich einer Kontur mit Konturpunkten, Konnektoren und Punktrichtungen,
4 ein Ordnungsprinzip für das Auslesen der Konturpunkte,
5 ein Schaltbild einer Sortiereinrichtung,
6 eine beispielhafte Verteilung von Konturpunkten in einer 5 × 5-Umgebung eines Konturpunkts,
7, 8, 9A bis 9C ein Berechnungsbeispiel, wobei 7 eine Anordnung von benachbarten Konturpunkten im Subpixel-Raster, 8 die Lage der Konturpunkte im Originalraster, und die 9A bis 9C Tabellen mit Koordinatenwerten und Abständen von Konturpunkten zeigen,
10 eine Darstellung eines SNNC (”Statistical Nearest Neighbourhood Classifier”) zur Ermittlung von Konnektoren,
11 eine weitere Anordnung von benachbarten Konturpunkten im Subpixel-Raster,
12 eine Darstellung eines größeren Bildausschnitts mit Konturpunkten und durch Aussortieren ermittelten Verbindungen,
13 die Datenstruktur der vom SNNC für die Weiterverarbeitung gespeicherten Daten.
14 ein Blockschaltbild einer Einrichtung eines morphologischen Filters zur Erzeugung von Rangvektoren,
15 ein Beispiel einer Datenstruktur einer Konturpunktliste nach einer morphologischen Filterung,
16 ein Beispiel einer Datenstruktur einer Konturpunktliste zur Speicherung der Daten singulärer Punkte mit einem Rang größer gleich 3,
17 eine Einrichtung zum Auslesen einer Konturpunktliste in geordneter Reihenfolge als geordnete Reihe von Konturpunkten,
18 die Phasenlage und den Speicherbedarf der Prozesse zur Bildverarbeitung,
19 und 20 Ausschnitte einer Kontur mit Konturpunkten, sowie Parametern zur Bestimmung von Eckpunkten.
1 zeigt die Struktur oder Architektur einer erfindungsgemäßen Vorrichtung 1 in Form eines integrierten Echtzeitbildverarbeitungssystems IEBVS. Dieses IEBVS umfasst ein Bildinterface, an das eine oder mehrere Bildquellen 3, z. B. CCD-Kameras, angeschlossen werden können und das die Bilddaten als Digitalbild in einem Bildspeicher 4 ablegt. Auf diesen Bildspeicher 4 greift ein Konturpunktprozessor 5 in Form einer integrierten Hardwareeinheit zu, die eingerichtet ist, die im Bildspeicher 4 abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen. Der Konturpunktprozessor 5 liefert die Koordinaten und ausgewählte Merkmale von Konturpunkten in Listenform. Merkmale sind z. B. Grauwerte oder Farben der angrenzenden Regionen, Kontraste oder Richtungen.
Die Koordinaten werden subpixelgenau innerhalb von ”Regions of Interest”, z. B. von waagerecht angeordneten Streifen ausgegeben. Um allgemeingültig Bilder zu verarbeiten, ist vorzugsweise zunächst die Segmentierung, d. h. die Aufteilung des Bildes in Regionen mit homogenen Merkmalen vorteilhaft, anschließend die Interpretation dieser Merkmale.
2 zeigt eine grafische Darstellung der Konturpunktliste. Neben klaren Konturen, im Beispiel die eines gestörten Datamatrixcodes, finden sich viele Punkte mit meist geringem Kontrast, die aufgrund verschiedener Oberflächenstörungen oder infolge Rauschen entstehen können. Aufgabe der nachfolgenden Verarbeitungseinheiten ist es nun, die Struktur der zwischen den einzelnen Regionen liegenden Konturen in geordneter Reihenfolge als verkettete Folge von Punkten durch Hardware in Echtzeit zu beschreiben, um diese in einem weiteren Schritt mit Hilfe von Software oder weiterer Hardware durch digitale geometrische Objekte, insbesondere Strecken, Kreise, Polynome etc., zu approximieren und dann zu erkennen.
Die Aufgabe der Erfindung wird nun insbesondere dadurch gelöst, dass zunächst die Nachbarschaft von Konturpunkten in einem Statistical Nearest Neighbourhood Classifier 7 (SNNC) festgestellt wird. Dieser SNNC 7 umfasst eine Recheneinheit, welche aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander ermittelt, und einen Klassifikator, welcher aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und für jede Teilmenge denjenigen zum zentralen Konturpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet, und im Anschluss daran in eine Konturpunktliste die nicht aussortierten Konturpunkte mit Konnektoren einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen Diese Daten werden dann in einen Speicher 9 eingetragen. Dieser Speicher 9 ist besonders bevorzugt ein Dual-Port-RAM.
Anschließend erfolgt mit einem morphologischen Filter 11, welcher den Speicher 9 ausliest, die Auswahl der relevanten Konturen und die Unterdrückung nicht relevanter Störungen. In einem dritten Schritt werden die Konturen in geordneter Reihenfolge als verkettete Objekte oder ”Chains” ausgelesen. Anhand dieser Ketten wird dann von einer weiteren Hardwareeinheit eine Segmentierung vorgenommen. Mittels eines Mikrocontrollers 15 wird der Prozeßablauf in der Vorrichtung 1 gesteuert.
Um eine derart komplexe Struktur unter Echtzeitbedingungen in einen Schaltkreis zu integrieren, ist vorzugsweise eine strenge Pipelineverarbeitung vorgesehen. Im Gegensatz zu bekannten Softwarelösungen, die auf Hardwareplattformen mit ausreichender L2-Cache-Unterstützung arbeiten und zeitnah Zugriffe auf unterschiedliche Datenstrukturen ausführen können, ist es vorteilhaft, bei einer komplexen Integration Beschränkungen hinsichtlich der Speichergröße in Kauf zu nehmen, da andererseits auf diese Weise kleine schnelle SRAM-Bereiche, beispielsweise in Form von DualPortRAMs, wie dem in 1 gezeigten Speicher 1 verwendet werden können. Ferner bestehen dann erweiterte Anforderungen an die Verarbeitungsqualität der einzelnen Teilschritte, da das Pipelinekonzept Beschränkungen bei aufwendigen Such- und Ordnungs- oder Korrekturprozessen auferlegt. Eine typische Speichergröße von schnellen internen SRAM's liegt vorzugsweise bei 4 bis 16 kByte.
Der erreichbare Integrationsgrad wird ferner insbesondere von der Verlustleistung bestimmt, die wiederum von der Anzahl der zu realisierenden Verarbeitungsschritte abhängt. Eine besonders günstige Lösung mit einem minimalen Datenstrom im jeweiligen Prozeß ergibt sich dann, wenn ein kompaktes Listenformat für die Darstellung von Konturpunkten verwendet wird, da für die hierarchisch aufgebaute Signalverarbeitung jeweils nur streng determinierte Zugriffe auf Teilstrukturen erforderlich sind, so dass aufwendige Zugriffe auf Bildarrays mit Grauwert- oder Farbdaten vermieden werden können.
Aufgabe des Statistical Nearest Neighbourhood Processor 7 (SNNC) ist die Verbindung von Konturpunkten zu Konturen. Um die Nachbarschaft von Punkten P[j] bezüglich eines Zentralpunkts P[i] festzustellen, wird zunächst die Verbindungswahrscheinlichkeit P_conn[i, j] der Punktmenge berechnet und dann klassifiziert.
Ein einfacher und bewährter Klassifikator ist der Abstand
Ein Punkt gehört zur Nachbarschaft NBD, wenn p_conn[i, j] einen Schwellwert überschreitet. Weitere Nachbarschaftsmaße können gebildet werden, indem p_conn[i, j] mit aus den Abtastrichtungen DIR und/oder Kontrasten cont gebildeten Maßen ergänzt werden. Dadurch können z. B. zutreffend weiter entfernt liegende Punkte mit der gleichen Richtung verbunden werden, senkrecht stehende Rauschpunkte jedoch nicht.
Da durch einen vorgeschalteten Konturpunktprozessor weitere Informationen, darunter der lokale Kontrast cont, als auch eine Richtungsinformation DIR bereitstehen, kann die Entscheidung deutlich verbessert werden, indem der Schwellwert für die Verbindungsentscheidung P als Funktion dieser Parameter ausgeprägt und als Tabelle und/oder ALU gemäß der nachstehenden Funktion ausgeführt wird:
In der oben angegebenen Beziehung bezeichnen Δx, Δy die Komponenten der Vektordarstellung einer Verbindung und x_DIR, y_DIR- die Komponenten der mittleren Punktrichtung. Das Argument der Funktion f wird dann maximal, wenn der Winkel α 90° beträgt.
3 zeigt zur Verdeutlichung einen Bereich einer Kontur 16, auf der Konturpunkte 26 liegen. Die Verbindungen 24 zwischen nächst benachbarten Konturpunkten 26 sind als gestrichelte Linien eingezeichnet. Die mittleren Punktrichtungen 22 der Konturpunkte 26 sind als Pfeile dargestellt. Die mittleren Punktrichtungen können beispielsweise durch die an den Pfeilen angegebenen Ziffern charakterisiert werden. Bei dem in 3 gezeigten Beispiel weisen die Konturpunkte 26 drei der hier verwendeten acht möglichen Punktrichtungen, entsprechend den Ziffern 0 bis 7 auf. Wie anhand von 3 ersichtlich ist, ist der Winkel α jeweils der zwischen der mittleren Punktrichtung 22 und der Verbindung 24 zwischen zwei Konturpunkten 26 eingeschlossene Winkel.
Wenn die so berechnete Wahrscheinlichkeit P_conn[i, j] größer als ein Schwellwert ”Threshold” ist, wird eine Verbindung hergestellt.
In einer fortlaufenden Kontur hat jeder Zentralpunkt in der Regel nur einen Vorgänger und einen Nachfolger mit einem Abstandsmaß, das sich aus dem Pitch des verwendeten Rasters ergibt. Diese relativ enge Definition führt in Praxis jedoch dazu, dass Konturen aufreißen und als getrennte Objekte gespeichert werden und somit einen nicht unerheblichen Aufwand bei der nachfolgenden Verarbeitung erzeugen. Deshalb besteht die Aufgabe des SNNC u. a. auch darin, Konturpunkte zu verbinden, die ein Abstandsmaß ausweisen, das größer als der Bildpunktabstand des Abtastrasters ist.
Das optimale Maß ist abhängig von den konkreten Bedingungen, es hat sich jedoch erwiesen, dass ein Wert von 2 bis 2.5 des Pixelabstands eine erhebliche Verbesserung der Konturqualität ergibt. Der Preis hierfür ist allerdings ein Ansteigen der Anzahl der möglichen Kandidaten für eine Nachbarschaft, die in Echtzeit verarbeitet werden.
Der SNNC 7 hat nun die Aufgabe, innerhalb der Nachbarschaft NBD die topologisch relevanten Nachbarn zu ermitteln. Erfindungsgemäß wird diese Aufgabe nun dadurch gelöst, dass aus der Menge NBD Tripel bestehend aus dem Zentralpunkt P_i und einer beliebigen Kombination von zwei weiteren Punkten P_j1 und P_j2 aus NBD gebildet werden und dass die Verbindungswahrscheinlichkeiten, p_triplet = {p_conn[i, j1], p_conn[j1, j2], p_conn[i, j2]} berechnet werden. Das oben angegebene Tripel oder Triplett stellt also einen Vektor mit den Verbindungswahrscheinlichkeiten zwischen allen Verbindungen zwischen einem ausgewählten zentralen Konturpunkt und jeweils zwei benachbarten Punkten dar, wobei als benachbarte Punkte alle Punkte innerhalb eines höchstens 2 bis 2.5-fachen Pixelabstands in Betracht kommen.
Wenn festgestellt wird, dass die Verbindungswahrscheinlichkeit p_conn[j1, j2] oberhalb einer vorgegebenen Schwelle ”Threshold” liegt, dann wird das Tripel analysiert und die Verbindung mit der kleinsten Wahrscheinlichkeit gestrichen. Die Hardwarerealisierung sieht außerdem eine effiziente Sortiermaschine vor, die zunächst Dreiecke ermittelt. Wegen der Testbedingung sind jedoch nur die Dreiecke mit den jeweils kürzesten Abständen auf dem äußeren Polygon, beziehungsweise die nächsten Nachbarn der Konturpunkte relevant. Deshalb können durch Anwendung von Ordnungsprinzipien Operationen gespart werden.
4 zeigt ein Schema, wie mittels einer geeigneten Sortiereinrichtung Listendaten von zu einem ausgewählten zentralen Konturpunkt benachbarten Konturpunkten ausgelesen werden. Der momentan ausgewählte zentrale Konturpunkt ist mit ”CP” bezeichnet. Die Konturpunkte sind mit Subpixelgenauigkeit abgelegt, es existiert pro Bildpunkt maximal ein Eintrag. Deshalb können die oben beschriebenen Dreiecke durch kontinuierliche Abtastung der Nachbarpunkte, beispielsweise im Uhrzeigersinn erzeugt werden. Die Zahlen 1 bis 24 geben die Reihenfolge des Auslesens von Konturpunkten innerhalb einer 5 × 5 Umgebung mit Listendaten wider. Die Konturpunkte, beziehungsweise deren Listendaten werden also in der Reihenfolge aus dem Bildbereich einer Umgebung mit maximal 2 Pixeln Abstand zum Zentralpunkt ausgelesen, wie sie durch die Zahlen, die in den Pixeln angegeben sind und Listendaten von Konturpunkten werden entsprechend dieser Reihenfolge ausgegeben. Dementsprechend wird zunächst der mit ”1” bezeichnete Pixel ausgelesen, dann der mit ”2” bezeichnete Pixel, und so weiter, bis zum letzten Pixel ”24” dieser Umgebung. Es werden also sukzessive ausschließlich benachbarte Punkte der Umgebung des Zentralpunkts ausgelesen.
Eine Ausgestaltung einer solchen Sortiereinrichtung 17 ist in 5 dargestellt. Zur Adressierung wird z. B. ein Schieberegister für die Indizes (Adressen) der Konturpunkte in einem DualportRAM verwendet. Immer dann, wenn für ein Pixel eine positive Entscheidung als Konturpunkt vergeben wird, erhält dieser Konturpunkt die nächstfolgende Adresse im DualportRAM, die wiederum als Index (Teil der Adresse) in ein Schieberegister eingeschoben wird. Falls der nächstfolgende Bildpunkt kein Konturpunkt ist, wird eine Null im Schieberegister eingetragen. Dieses Schieberegister mit einer Länge von n × m z. B. 5 × 24 kann damit 120 Indizes speichern. Dadurch, dass Konturpunkte selten sind, genügen wenige Bit, z. B. 6–8 bit Wortbreite.
Ein Beispiel für eine Verteilung von Konturpunkten in der 5 × 5-Umgebung eines zentralen Konturpunkts zeigt 6. Die Einträge mit der Bezeichnung ”Index” zeigen an, dass der betreffende Pixel ein Konturpunkt ist. Eine lokale 5 × 5 Umgebung wird in bekannter Weise durch Abgriffe an den entsprechenden Registern hergestellt. Diese Register werden nun über Eingänge 20 eines geeignet angeschlossenen Multiplexers 19 so ausgelesen, dass die in 4 dargestellte Reihenfolge am Ausgang des Registers 23 entsteht. Dieser Prozess wird genau dann gestartet, wenn der Zentralpunkt CP ungleich null ist, d. h. wenn eine zu analysierende Nachbarschaft im Registersatz dargestellt wird und der Punkt CP ein Konturpunkt ist.
Immer dann, wenn der Ausgangswert des Multiplexers 19 ungleich null ist, wird der Index in ein Ausgangsregister 23 geschoben, das direkt Daten aus dem DualportRAM adressiert. Ob der Ausgangswert des Multiplexers 19 ungleich null ist, wird mittels eines auf das Ausgangsregister 23 wirkenden Komparators 21 ermittelt.
Zur Entkopplung der Sortierprozesse vom kontinuierlich laufenden Konturdetektionsprozeß können weitere FIFO-Puffer oder Register, typisch für 8 bis 12 Konturpunkte in den Ausgangsdatenstrom eingefügt werden, die dann die zu einer Nachbarschaft gehörenden Konturpunkte auch mehrfach repetitierend auslesen können, so dass sämtliche für den Sortierprozess benötigten Konturpunktkombinationen bereitgestellt werden können. Es ist weiterhin grundsätzlich möglich, diesen Sortierprozess durch Parallelisierung zu beschleunigen, beispielsweise indem zwei oder mehr Multiplexer parallel geschaltet werden.
Die im Beispiel der 6 dargestellte Belegung mit Indizes entspricht den Umgebungen des nachfolgend anhand der 7, 8, 9A bis 9C beschriebenen Berechnungsbeispiels zur Berechnung von Konnektoren zwischen zu einer gemeinsamen Kontur gehörenden Konturpunkten.
In 7 ist zunächst die Lage eines zentralen Konturpunkt 25 und benachbarter Konturpunkte 26 mit möglichen Verbindungen 27 einer Kontur im Subpixel-Raster dargestellt. An den Achsen des Diagramms sind dabei die Indizes der Bildpunkte aufgetragen. 8 zeigt die gleichen Punkte im Originalraster der Bilddaten. Anhand der 8 wird deutlich, dass sich die relevanten, gemeinsam mit dem Zentralpunkt zu einer Kontur gehörenden benachbarten Konturpunkte im Originalraster deutlich schlechter erkennen und Graphen bilden lassen.
Im Beispiel wurden die Konnektoren mit einer Subpixelgenauigkeit von 1/4 Pixel berechnet. Dieses Beispiel wird aus Gründen der Einfachheit mit Abständen als Maß für die reziproke Verbindungswahrscheinlichkeit veranschaulicht. In der linken Tabelle (9A) sind die Subpixelkoordinaten (Spalten X, Y) der im oberen Teil gezeigten Konturpunktanordnung dargestellt. Die Tabelle beginnt mit dem Zentralpunkt CP. In der mit ”Field” bezeichneten Spalte sind die Subpixel-Koordinaten der Konturpunkte eingetragen, wie sie sich aus der Abtastung gemäß 4 für die in 6 gezeigte Umgebung ergeben. Im DualPort RAM wird im Beispiel also folgende Konturpunktreihenfolge adressiert: CP, 7, 9, 13, 18, 19, 22, 24, 7. Zusätzlich eingezeichnet sind die Hauptrichtung 29 aller Konturpunkte der Umgebung des Zentralpunkts, sowie die Punktrichtungen 30.
Aus den Subpixelkoordinaten werden die relativen Abstände [Xrel, Yrel] zum Zentralpunkt berechnet, wie sie in der Tabellen der 9B aufgelistet sind. Daraus wird wiederum der Abstand p zum Zentralpunkt. Die Pixel mit den Indizes 7, 9, 13, 18, 19, 22, 24, 7 bilden ein Polygon, in dessen Mitte der Zentralpunkt CP steht. Die Seiten des Polygons [X_Poly, Y_Poly] bilden mit den Verbindungen zum Zentralpunkt Dreiecke, so z. B. das Dreieck <CP, ”Field” 7, ”Field” 9>. In diesem Dreieck ist die längste Seite 8,602 Subpixel lang und damit länger als die beiden anderen Seiten mit Längen 5,385 und 3,606, so dass diese längste Seite die niedrigste Verbindungswahrscheinlichkeit zwischen den drei Konturpunkten repräsentiert. Damit wird die längste Seite aus der Liste der zu verbindenden Konturpunkte gestrichen. Diese Operation wird für sämtliche Dreiecke ausgeführt. Dabei werden zwei weitere, also insgesamt drei Punkte gestrichen. Von diesem Aussortierprozess sind speziell die Konturpunkte mit den Indizes 9, 18 und 24 betroffen. Es verbleiben vier nicht aussortierte Konnektoren, wobei ein Konnektor Anfang und Ende des Polygons verbindet. Die verbleibenden Konturpunkte sind in der Tabelle der 9C aufgelistet. Der Aussortier-Vorgang wird für die verbleibenden Konnektoren oder Konturpunkte nun wiederholt. Beim wiederholten Aussortieren entfällt außerdem noch der Konturpunkt mit dem Index 12, beziehungsweise der erste in der Tabelle der 9C aufgelistete Konturpunkt.
Dieser Konnektor ist am Ende der Analyse zu untersuchen, hierbei entfällt ein weiterer Konnektor. Es verbleiben dann die drei Konnektoren 28 in 7, die in den Listendaten gespeichert werden. Demgemäß ergibt sich als Ergebnis der Berechnung in diesem Beispiel, dass die Konnektoren vom Zentralpunkt als Konturpunkt zu den drei weiteren übriggebliebenen Punkten die eine oder mehreren Konturen repräsentieren, zu denen der Zentralpunkt gehört. Der SNNC 7 verfügt demgemäß nach Durchlaufen dieses oben anhand der 7, 9A bis 9C beschriebenen Filters, beziehungsweise Aussortier-Vorgangs über die Information, welche Konturpunkte aus der Konturpunktliste mit dem Zentralpunkt verbunden sind.
Bei dem in den 7, 9A bis 9C gezeigten Beispiel wurde das Verfahren des Aussortierens anhand eines sehr einfachen Klassifikators für die Verbindungswahrscheinlichkeit, nämlich ein Klassifikator, der lediglich vom Abstand der Konturpunkte zueinander abhängt, beschrieben. Die Erkennung der relevanten Verbindungen zwischen Konturpunkten kann aber noch wesentlich verbessert werden, wenn für die Berechnung der Klassifikatoren zusätzliche Attribute der Konturpunkte eingesetzt werden. Insbesondere ist hier daran gedacht, die Richtung und/oder den Kontrast der Konturpunkte zu verwenden. Die Richtung kann beispielsweise ein Richtungsvektor sein, welcher senkrecht zur Kante in den Bilddaten, dessen Kontur zu bestimmen ist, liegt. Vereinfacht kann dabei auch eine Richtungsinformation mit einer reduzierten Anzahl möglicher Richtungen, beispielsweise 8 mögliche Richtungen als Attribut vom Konturpunktprozessor 5 ermittelt und abgespeichert werden. Die Richtung eines Konnektors ergibt sich dann aus dem Verbindungsvektor zwischen dem Zentralpunkt i und einem der äußeren Punkte j der Nachbarschaft. Anhand dieser beiden Richtungsangaben kann dann der Winkel α zwischen der abgespeicherten mittleren Punktrichtung und dem Konnektor ermittelt werden. Als Klassifikator für die Verbindungswahrscheinlichkeit kann dann beispielsweise eine Funktion des Winkels α, z. B. dessen sinus oder cosinus, und des Abstands der Punkte angesetzt werden.
Die Verbindungswahrscheinlichkeit kann ferner mit einem Kontrastmaß verknüpft werden, um kontrastreiche Konturen gegenüber kontrastarmen zu bevorzugen, indem z. B. eine Multiplikation mit dem Betrag des mittleren Punktkontrasts des Verbindungselements zur Klassifikation der Verbindungswahrscheinlichkeit verwendet wird. Dies ist besonders bei insgesamt kontrastarmen Szenen oder dünnen Linien von Vorteil.
10 zeigt ein Schaltbild eines SNNC 7 zur Ermittlung von Konnektoren. Anhand dieser Figur kann die Funktionsweise des SNNC 7 näher erläutert werden. Durch die Sortiereinrichtung können die Konturpunkte in der benötigten Reihenfolge adressiert werden. Am Dateneingang 71 des SNNC liegt die Information über die Koordinaten, einen Kontrast sowie die Punktrichtung [x, y, cont, DIR] vor, die Daten werden in Register 72, 73, 74 mit 32 bit Wortbreite eingelesen.
Eine weiter unten noch genauer beschriebene Recheneinheit 75, die im folgenden als ”Calc Pconn” bezeichnet wird, berechnet nun die Verbindungswahrscheinlichkeit zwischen den drei Konturpunkten eines Dreiecks. Hierzu wird ein Zentralpunkt durch Adressdecodierung ausgewählt. Bei dem in 10 gezeigten Beispiel sind die Daten des Zentralpunkts in das Register 74 geladen. Neu einlaufende Konturpunkte werden in die beiden Register 72 und 73 eingelesen. Die drei möglichen Kombinationen der Verbindungswahrscheinlichkeiten werden mittels der Komparatoren 761, 762, 763 und des nachgeschalteten Decoders 77 analysiert. Wenn die geringste Verbindungswahrscheinlichkeit zwischen dem Zentralpunkt und einem der beiden Punkte auf dem Polygon liegt, beziehungsweise keine Verbindung zum Zentralpunkt ist, so wird die betreffende Verbindung gelöscht, indem je nachdem, von welchem der beiden zum Zentralpunkt benachbarten Konturpunkten entweder das Bit EN_CLK_RG1 oder das Bit EN_CLK_RG2 an den Ausgängen 78, beziehungsweise 79 gesetzt wird. Die Indizes der betrachteten drei Punkte werden parallel zu den Daten gespeichert. Der Index des nicht gelöschten Punktes wird in ein Schieberegister übertragen, hierzu wird die Indexdifferenz zum Zentralpunkt berechnet und mit dem nächstfolgenden Takt gespeichert.
Die Recheneinheiten Calc Pconn 751, 752, 753 erhalten die Folge der mit dem Registerausgang 23 5 adressierten Konturpunkte mit ihren Attributen und berechnen die Verbindungswahrscheinlichkeiten und vergleichen diese untereinander in Verbindung mit den Komparatoren 761, 762, 763 und entscheiden im Decoder 77 für jedes analysierte Tripel die zu streichenden Verbindungen. Am Ausgang werden die Signale EN CLK RG1 und EN CLK RG2 für die Konturpunkte P1 und P2 geliefert, die das Streichen von Verbindungen steuern. Anschließend werden weitere Tripel analysiert. Nach einer ausreichenden Zahl von verarbeiteten Tripeln verbleiben nicht markierte Verbindungen, die als Ergebnis Konnektoren, welche die Indizes benachbarter Konturpunkte und die Verbindungswahrscheinlichkeit des Konturpunkts i mit dem Zentralpunkt CP sowie mit dem nächstfolgenden Nachbarn i + 1 enthalten.
Bei der Berechnung der Verbindungswahrscheinlichkeiten kann es allerdings zu Mehrdeutigkeiten kommen, die durch gleichschenklige bzw. gleichseitige Dreiecke zum Ausdruck kommen. Um Morphologiestörungen ohne komplizierte Logik zu vermeiden (z. B. kleine Dreiecke in den Konturen) kann vorteilhaft eine Recheneinrichtung zum Aufprägen einer Modulation auf die Komparatoren des Klassifikators, beispielsweise einer Modulation in Form eines pseudostochastischen geometrischen Rauschens addiert werden, das den Eindruck eines nicht ganz regulären Rasters erzeugt. Hierzu addiert man über eine Tabelle einen marginalen Rauschanteil, z. B. mit 10% des Pixelabstands zur Koordinatendifferenz für die relativen Abstände Δx und/oder Δy zum Zentralpunkt.
11 zeigt eine weitere Anordnung von benachbarten Konturpunkten im Subpixel-Raster, welche von Bilddaten einer anderen Stelle des Digitalbilds gewonnen wurden. Bei diesem Beispiel wurden im Unterschied zu der in 7 gezeigten Umgebung nur zwei relevante Konnektoren 28 durch Aussortieren aus den möglichen Verbindungen 27 ermittelt.
12 zeigt eine Darstellung mit Konturpunkten und durch Aussortieren ermittelten Verbindungen, die einen größeren Bildausschnitt repräsentiert. Zur Übersichtlichkeit sind nur die Verbindungen 28 dargestellt. Wie anhand dieser Figur ersichtlich wird, ergeben die aneinandergereihten Konnektoren 28 den Verlauf von Konturen im Digitalbild. In 12 sind zwei Ausschnitte 31, 32 mit Kreisen markiert. Der Ausschnitt 31 kennzeichnet die drei aus der in 7 gezeigten Umgebung ermittelten Konnektoren 28 mit einer vom Zentralpunkt ausgehenden Verzweigung. Der Ausschnitt 32 kennzeichnet die Konnektoren 28 der in 11 gezeigten Umgebung. Der gestrichelte Kreis zeigt den Bereich mit der Umgebung aller in 7 eingezeichneten Konturpunkte an. Anhand von 12 wird dabei deutlich, dass der in 11 gezeigte Fall einer durchlaufenden Kontur häufiger ist, als das Auftreten einer Verzweigung.
Anhand von 12 wird außerdem deutlich, dass dieses einfache Verfahren des Aussortierens zu einer Erkennung von Konturlinien mit nur wenigen Artefakten führt. Ansonsten würde man beispielsweise zusätzlich noch kurze Linien erwarten, die isoliert sind oder von den Konturlinien ausgehen. Im in 12 gezeigten Bild ist lediglich eine solche kurze Linie 33 zu erkennen.
13 zeigt die Datenstruktur der vom SNNC 7 für die Weiterverarbeitung vorzugsweise in einem weiteren DualPort-RAM gespeicherten Daten mit Konnektoren, beziehungsweise Informationen über die Verbindungen des jeweiligen Punks zu weiteren Konturpunkten. Die Information über die Verbindungen mit Nachbarpunkten wird im folgenden auch als ”LinkInfo” bezeichnet.
Der Index des Zentralpunkts i bildet die Adresse unter der die LinkInfo in einem DualPort RAM gespeichert wird (siehe weiter unten). Jeder erlaubte Konturpunkt (EN = 1) liefert einen weiteren Index j (Pointer), die Differenz LINK[n] = j_n – i wird als LINK bezeichnet. Unter Kenntnis der LINKs können von einem Zentralpunkt aus sämtliche Nachbarn in der Konturpunktliste adressiert werden. Aufgrund der Struktur des SNNC können maximal 4 LINKs pro Zentralpunkt entstehen, fünf und mehr Nachbarn werden in mehrere Nachbarschaften aufgelöst. Die Maske MASK gibt an, ob der betreffende LINK gesetzt ist oder nicht. Parallel dazu wurden im gleichen Speicher die Attribute durch den Konturpunktprozessor gespeichert, so dass die Koordinaten sowie Grauwert und bei Bedarf Farbinformationen bereit stehen.
Nachfolgend wird der in 1 schematisch dargestellte morphologische Filter 11 genauer beschrieben.
Die so eindeutig verbundenen Konturpunkte können noch nicht als Objekte ausgelesen werden, weil zwei Voraussetzungen fehlen. Erstens sind Anfangs- und Endpunkte der Konturen noch nicht definiert, zweitens existieren noch eine Vielzahl von Artefakten, die Ressourcen für die Objektsegmentierung unnötig belasten würden. Deshalb wird die Morphologie von benachbarten Punkten mittels des morphologischen Filters 11 untersucht, bevor die Punkte anhand der Konnektoren zu Objekten vereinigt werden. Der morphologische Filter 11 ist nun dazu eingerichtet, die Konturpunktliste mit Konnektoren hinsichtlich zumindest einer der Eigenschaften zu filtern:

– Konturpunkte zu Ketten von höchstens drei Konturpunkten werden gelöscht,
– Konturpunkte, welche nur zu einer einseitig mit einer längeren Kette verbundenen Kette mit höchstens drei Konturpunkten gehören, werden gelöscht,
– Konturpunkte, welche Start- und Endpunkte von Ketten zusammengehörender Konturpunkte bilden, werden in der Konturpunktliste gekennzeichnet,
– Konturpunkte, welche Verzweigungspunkte zumindest zweier Ketten bilden, werden in der Konturpunktliste gekennzeichnet,
– Koinzidenzen werden korrigiert, und
– es wird eine doppelte Verlinkung durchgeführt.

Zur Ausführung dieser Funktionen wird zunächst eine im Filter 11 implementierte, nachfolgend als ”RankFilter” bezeichnete Funktion eingesetzt. Mittels dieser Funktion werden Rangvektoren für Konturpunkte gebildet. Dazu wird die Konturpunktliste der in 13 gezeigten Datenstruktur mit Konnektorstruktur ausgelesen und jeweils ausgehend von einem Zentralpunkt über die Konnektoren die Konnektorstruktur sämtlicher Nachbarpunkte eingelesen und einen Rangvektor erzeugt, der die Anzahl der Verzweigungen der Nachbarpunkte und des Zentralpunkts selbst beinhaltet. Der RankFilter bestimmt also die Anzahl der von einem Konturpunkt ausgehenden Verbindungen, hier durch Bildung der Summe der gesetzten Bits der Maske MASK. Eine vierfache Verzweigung hätte damit den Rang 4, MASK = 1111 B, ein Kettenelement, wie etwa der in 11 gezeigte Zentralpunkt Rang 2 und in der Regel MASK = 0011 B.
Das RankFilter adressiert die benachbarten über MASK zugelassenen LINKs und bestimmt damit für jeden Konturpunkt der Nachbarschaft den Rang. Aus den so ermittelten Rängen wird ein Rangvektor gebildet, der die Strukturinformation über die Anzahl der Verzweigungen der Nachbarpunkte enthält.
Da die Verkettung der Punkte aus allen Richtungen aufgerufen werden kann, ist eine doppelte Verlinkung mit einer Markierung für bereits gelesene Punkte sinnvoll. Deshalb wird eine Linkadresse LinkAdr generiert, die angibt, auf welcher der vier möglichen Positionen des adressierten Nachbarpunkts der inverse Link auf den Ausgangspunkt gespeichert ist. Die LinkAdr wird nach Ausführung der morphologischen Filterung gespeichert.
Da die sequentielle Abfolge eines Links auf einen Nachbarpunkt und des inversen Links auf den Zentralpunkt zurück immer die Pointerdifferenz Null ergibt, kann relativ einfach über Komparatoren diese Adresse gefunden werden. Im Ergebnis erhält man eine Struktur, die es mit nur einem Zugriff gestattet, den Index des benachbarten, verbundenen Konturpunkts zu finden und verkettete Konturpunkte mit hoher Geschwindigkeit auszulesen.
Eine besonders vorteilhafte Realisierung eines Rangfilters 35, vorzugsweise als Bestandteil des morphologischen Filters 11 ist in 14 dargestellt. Vom Rangfilter 35 wird aus der Datenstruktur 37 aus dem DualportRAM 9, wie sie auch in 13 gezeigt ist, zunächst die LinkInfo des Zentralpunkts mit der Adresse Ptr[0] im DualportRAM in das Eingangsregister des Rangfilters gelesen. Anschließend werden die LINKs 1–4 über einen Multiplexer 39 adressiert, die Adressen Ptr[1..4] durch Addition berechnet und der Reihe nach aufgerufen. Nicht benötigte LINKs, gekennzeichnet durch eine Null auf dem zugeordneten Bit der Maske MASK können übersprungen werden. Zu den relativ abgespeicherten LINKs wird die Pointeradresse des Zentralpunkts mittels des Addierers 45 addiert, anschließend kann direkt die Liste adressiert werden. Auf diese Weise werden die LinkInfos eingelesen. Die angeschlossenen Komparatoren 40, 41, 42, 43 des morphologischen Filters 11, beziehungsweise des implementierten Rangfilters 35 vergleichen die LINKs des mit Ptr[i] adressierten Konturpunkts mit dem LINK[i] des Zentralpunkts. Vier (3) Komparatoren vergleichen die betreffenden LINK's. Wenn eines der Paare komplementär zueinander ist, generiert der betreffende Komparator 40, 41, 42, 43 ein Signal CMP_LINK[1..4], so dass hieraus mittels des Decoders 44 die LinkAdr decodiert werden kann.
Im gleichen Prozess kann auch der Rang RANK[1..4] ermittelt und zu einem Rangvektor <RANK[1], RANK[2], RANK[3], RANK[4]> zusammengestellt werden, indem die Maskenbits mittels des Addierers 46 addiert werden. Der Rangvektor wird innerhalb des morphologischen Filter zu einer binären Entscheidung über die weitere Zulassung einer bisher als gültig erklärten Verbindung verarbeitet und im der Struktur MASK gespeichert.
Außerdem werden mit dem morphologischen Filter Störungen in den wie oben beschrieben verbundenen Konturen beseitigt, die insbesondere bei hoher Auflösung und/oder Empfindlichkeit zu einer Reihe von kleinen Artefakten führen, die aufgrund ihrer Anordnung zu Objekten segmentiert würden. Dies ist für die Effizienz der nachfolgenden Verarbeitungsschritte nachteilig. Mit dem morphologischen Filter werden daher bereits vor der Objektsegmentierung kleinere Störungen beseitigt.
Nachfolgend soll die Arbeitsweise einer Funktion des morphologischen Filters 11 beschrieben werden. Diese Funktion wird im folgenden als ”MorphFilter” bezeichnet. Nachdem Rang und LinkAdr berechnet wurden, kann ein einfaches Filter realisiert werden. Hierzu werden zunächst störende kleine Strukturen, ”Appendices” mit 1 bis 2 Konturpunkten gelöscht. Ein solcher Appendix ist beispielsweise die kurze Linie 33 in 12. Man erkennt derartige Strukturen an der Anzahl der Verzweigungen ihrer Nachbarn (in Klammern), z. B. an folgendem Rangvektor: <1,3,0,0>. Der Konturpunkt mit diesem Rangvektor ist mit der Hauptkontur über einen singulären Punkt vom Rang 3 verbunden. Der Punkt soll gelöscht, die Singularität der Hauptkontur, beziehungsweise die Verzweigungsstelle auf den Rang 2 zurückgestellt werden. Die Operation kann mit folgendem Maple-Programmcode veranschaulicht werden:
Der Zentralpunkt hat den Rang 1 und steht im RankVector an erster Stelle. LINK[1] des Zentralpunkts verweist auf einen Konturpunkt mit dem Rang 3. Die LinkAdr[Ptr[0],1] gibt in diesem Fall an, wo auf dem Konturpunkt mit dem Rang 3 der inverse LINK auf den Zentralpunkts zu finden ist. Ptr[1] adressiert den Konturpunkt mit dem Rang 3, also löscht die Operation
den LINK auf den einzelnen Konturpunkt, der Rang wird von 3 auf 2 reduziert. Deshalb verhält sich der singulärer Punkt anschließend wie ein normaler Bestandteil einer verketten Liste, d. h. es tritt keine Verzweigung auf. Für die nachfolgende Verarbeitung werden zwei Objekte weniger generiert, die Vereinigung von zwei gültigen längeren Objekten zu einem Objekt entfällt.
Ein weiteres Beispiel ist ein Konturpunkt mit einem Rangvektor <2,3,1,0>. Dieser ist ein Appendix mit zwei Konturpunkten. Die beiden Konturpunkte sind mit der Hauptkontur über eine Verbindung vom Rang 2 und einen singulären Punkt, beziehungsweise einer Verzweigung des Rangs 3 verbunden. Ein solcher Appendix kann mit einem Filter gelöscht werden, der eine zum nachstehenden Maple-Code analoge Funktion ausführt.
Der Randpunkt mit dem Rang 1 steht auf LINK[2], LinkAdr[Ptr[2],1] zeigt auf den inversen LINK auf Ptr[0] dies ist vom Rand gesehen der nächste Punkt). Da Ptr[0] den Rang 2 hat, muss der andere LINK (L) auf den singulären Punkt Ptr[1] der Hauptkontur mit dem Rang 3 zeigen. Folglich löscht die Funktion MASK[Ptr[1], LinkAdr [Ptr[0],L]]:=0: den LINK von Ptr[1] auf Ptr[0] und reduziert den Rang von 3 auf 2, die Verbindung ist gelöscht.
Analog kann auch die Vertauschung <2,1,3,0> gefiltert werden.
Die Funktion ”MorphFilter” kann durch Analyse des Rangvektors noch weitere für die Segmentierung wichtige Informationen liefern:

– Klassifikation von Start- und Endpunkten von Chains
– Klassifikation von verbundenen singulären Punkten,
– Klassifikation von singulären Punkten des Rangs 3 und höher.

Hierzu wird der Rangvektor über eine Tabelle oder Boolesche Logik auf die Zielfunktion abgebildet. In der LinkInfo der Konturpunktliste wird dies durch Setzen entsprechender Bits markiert. Besonders vorteilhaft hat sich hierbei die in 15 dargestellte Datenstruktur für Konnektoren nach der Filterung durch MorphFilter erwiesen. Für Konturpunkte vom Rang 2 werden maximal 3 LINKs benötigt, da das Abtrennen von Appendizes nur für Punkte vom Rang 3 zugelassen ist.
Die gegenüber der in 13 enthaltenen zusätzlichen Bits bedeuten:
C: continue (1 Bit zur Segmentierung),
S: Start/Endpunkt (1 Bit),
MASK1: entspricht den Bits 0 bis 2 von MASK,
LinkAdr: entspricht der oben beschriebenen LinkAdr[0–2], die vierte wird nicht benötigt
Beim späteren Lesen der Information wird durch Dekodierung des Rangs von MASK (Rang gleich 2) das in 15 gezeigte Format erkannt.
Singuläre Punkte mit einem Rang größer gleich 3 können mit der in 16 dargestellten Datenstruktur codiert werden. Hierbei bezeichnet der Eintrag CONN33 eine Konnektormatrix für die Verbindung von singulären Punkten des Rangs 3 oder 4. Beim späteren Lesen der Information wird durch Dekodierung des Rangs von MASK (Rang größer 2) das in 16 dargestellte Format erkannt.
Die zusätzlichen Information werden zum Zeitpunkt der Segmentierung verwendet. Deshalb speichert MorphFilter die Struktur in einem RAM ab.
Die so vorbereiteten Informationen der Konturpunktliste können direkt aus dem Speicher in geordneter Reihenfolge als geordnete Reihe von Konturpunkten, die nachfolgend auch als ”Chain” bezeichnet wird, ausgelesen werden, so dass aufeinanderfolgende Listeneinträge zu aufeinanderfolgenden Konturpunkten entlang einer Kontur gehören.
Die Chains werden dabei mithilfe einer nachfolgend als GetNextCP bezeichneten Struktur ermittelt. GetNextCP liest die LinkInfo des Zentralpunkts in einem zum MorphFilter verzögerten Prozeß. Die Verzögerung beträgt typisch 8 Spalten, kann aber bei größeren Speichern auch größer gewählt werden. ChainReadOut scannt die einlaufenden Konturpunkte auf Start- und Endpunkte. Diese weisen bei der in 15 gezeigten Datenstruktur die Merkmale Rang (MASK) = 2 und S = 1 auf.
Wenn ein solcher Punkt entdeckt wurde, wird die LinkInfo der beiden Nachbarpunkte ausgewertet, es wird nach dem singulären Punkt gesucht (Rang 1 oder 3, 4). Wenn nur ein Nachbar mit S = 1 gefunden wird, dann wird dieser als Startpunkt erklärt. Er bildet den ersten Vertreter einer Chain. Ferner wird der Link auf den nächsten Punkt generiert. Sämtliche Elementen der Chain erhalten eine neue Segmentnummer, die auch an sämtliche weitere Vertreter der verbundenen Punktmenge vererbt wird. Falls zwei singuläre Punkte benachbart sind, wird der erste gefundene verwendet, der Rest ergibt sich automatisch. Falls das ”Continue” – Bit gesetzt wurde, wird der Aufbau von Chains fortgesetzt.
GetNextCP ermittelt zunächst anhand von MASK die Zutändigkeit, die nach einer in einem Decoder hinterlegten Tabelle definiert ist. Die Tabelle liefert die Anzahl der Nachbarn sowie die Positionen, auf die zugegriffen werden kann. Aus der LinkInfo in der Konturpunktliste werden die Pointer auf die Nachbarn und die Adressen der beiden LINKs berechnet.
Ein möglicher Aufbau der GetNextCP-Struktur 50 ist in 17 dargestellt. Die Datenstruktur 51 mit den Einträgen MASK, C, MASK1, S und LinkAdr, entsprechend der genauer in 15 dargestellten Datenstruktur, steuert die Verlinkung zu Chains. Im Decoder 52 ist die oben genannte Tabelle hinterlegt.
Wenn ein Startpunkt (S = 1) adressiert wurde, so hat dieser den Rang 2 und somit zwei Nachbarn. In diesem Fall wählt der Decoder 52 beide mögliche Links aus, decodiert den Link mit einem nicht dem Rang 2 entsprechenden Nachbarn und setzt den Startpunkt eines Chains auf diesen Konturpunkt, indem der Wert PTR_Start generiert wird. Der andere Link wird über den Multiplexer 53 und den Addierer 54 als neuer Pointer PTR_new weitergegeben.
Wenn S = 0 gefunden wird, d. h. wenn der Konturpunkt kein Start- oder Endpunkt ist, wird nur ein Link ausgewählt. Die Auswahl wird über die Maskenbits MASK1 gesteuert. Indem ein neuer Pointer PTR_new generiert wird, wird automatisch das zugehörige Maskenbit rückgesetzt, sodass eine wiederholte Adressierung desselben Konturpunkts ausgeschlossen wird. Verlinkten Konturpunkten wird eine Segmentnummer zugewiesen. Da ab diesem Zustand keine LinkInfo mehr benötigt wird, kann hierzu der Low-Teil des Datenworts verwendet werden.
Während des Prozesses werden die Pointeradressen ständig überwacht. Wenn ein Signal out_of_range kommt, d. h. wenn der zulässige Index die vorgegebene untere oder obere Grenze verlässt, wird der Prozess abgebrochen. Auf dem entsprechenden Konturpunkt wird das C-bit (continue) gesetzt und die Segmentnummer gespeichert. Wenn bei wiederholtem Auslesen der Pointer innerhalb des erlaubten Bereichs liegt, kann der Prozess fortgesetzt werden. Am Ausgang des Prozesses entsteht eine für jedes Segment geordnete Folge von Pointern. Da die entsprechenden Konturpunktattribute zu diesen Pointern korreliert gespeichert wurden, können die Attribute direkt ausgelesen werden.
Bei der Verarbeitung der Chains können außerdem folgende Ausnahmefälle auftreten:

1. beide Startpunkte eines Chains werden verarbeitet, so dass zwei verschieden indizierte Segmente aufeinander stoßen (Koinzidenz)
2. keiner der Startpunkte wird verarbeitet, weil entweder das Objekt keine hat (etwa bei einem Kreis oder einer geschlossenen Kontur) oder weil die Startpunkte weit vor der aktuellen Abtastposition liegen, so dass sie nicht erfasst werden können,
3. Die Kontur schneidet die Bildbegrenzung (Randpunkte).

Im ersten Fall treffen die Chains mit zwei verschiedenen Segmentnummern aufeinander, sie laufen jedoch nicht ineinander, weil die Maskenbits dies verhindern. Durch den Test, dass ein Abbruch bei einem Rang ungleich 2 entsteht, kann die Vorrichtung erkennen, dass es sich um eine sogenannte Koinzidenz handelt. Der betreffende Rang 2 des Koinzidenzpunkts wird wie ein singulärer Punkt behandelt, der Segmente miteinander verbindet, nur hier mit dem Unterschied, dass nur ein Objekt vorhanden ist.
Im zweiten Fall wird nach dem Auslesen der Chains ein weiterer Test durchgeführt, der bisher nicht verarbeitete Nachbarschaften des Typs <2,2,2,x> analysiert und dann einen Startpunkt generiert. Die weitere Verarbeitung erfolgt wie oben beschrieben.
Randpunkte, die zwischen aufeinanderfolgenden Streifen auftreten können, werden wie Koinzidenzpunkte mit Rang 2 behandelt und anschließend aufeinander referenziert.
Der Konturpunktprozessor liefert über einen ersten Port einen laufenden Datenstrom von attributierten Konturpunkten, im schlechtesten Fall sind bei sehr fein aufgelösten Grauwertbildern ca. 20 bis 25% der Pixel als Konturpunkte abgespeichert.
Nachfolgend soll eine Realisierung für einen üblicherweise kleinen DualPortRAM von 1k × 36 bit beschrieben werden, welche auch eine solche Menge an Konturpunkten verarbeiten kann. Mit diesem DualPortRAM kann ein Bildauszug mit 512 Konturpunkten inklusive der Zusatzinformation und Attribute zwischengespeichert werden, dies entspricht im Beispiel einem minimalen Pixelblock der Größe 70×26 Pixel. Der Konturpunktprozessor liest die Bilddaten in mehreren Streifen aus, die jeweils eine Breite von mehr als 1 Pixel, vorzugsweise zumindest 16 Pixel, besonders bevorzugt 26 oder 32 Pixel aufweisen. Beim nachfolgenden Beispiel werden Streifen von 26 Pixel Höhe mäanderförmig über die gesamte Bildbreite ausgelesen, anschließend folgt der nächste Streifen. Die Daten werden als Liste gespeichert, im Attribut werden die Koordinaten gehalten.
Der Konturpunktprozessor 5 beginnt mit dem Speichern der Konturpunkte. Nachdem 5 Spalten eingelaufen sind, kann der SNNC 7 beginnen zu arbeiten, der Konturpunktprozessor 5 läuft währenddessen weiter.
Die maximale Pointeradresse kann exakt berechnet werden. Hierzu wird bei jedem Spaltensprung der Adressindex gespeichert und um 5 Spalten verzögert ausgelesen, praktisch genügt auch ein konstanter Offset, z. B. –32, da der Speicher genügend groß ist. Der SNNC 7 liest aus dem DualPortRAM zunächst 5 × 5 Nachbarschaften aus, und speichert Attribute der betreffenden Konturpunkte in einem Registersatz ab.
Der Prozess MorphFilter des morphologischen Filters 11 benötigt fertig abgespeicherte und gefilterte Links, deshalb wird ein Sicherheitsabstand von 3 Spalten zur Verarbeitung der Daten durch den SNNC 7 eingehalten.
Der Segmentierungsprozess hingegen benötigt einen noch größeren Abstand. Grund hierfür ist das rechenintensivere Konturfolgeverfahren. Um ein umständliches Zusammensetzen von Konturen zu vermeiden, sollte die Konturen auf einer möglichst großen Länge ungestört verfolgt werden können. Ein typischer Wert hierfür beträgt 8 Spalten. Immer dann wenn ein Startpunkt oder ein gesetztes Continue-bit aus einer vorangegangenen Operation gefunden wurde, wird die GetNextCP-Struktur 50 angestoßen.
Die Steuerung hierfür wird man zweckmäßig nicht über den DualPortRAM sondern eine getrennte einfache Schieberegisterstruktur realisieren, um Speicherbandbreite zu sparen.
Der SNNC ist nach der Verarbeitung von ca. 3 Spalten nachdem der Konturpunktprozessor 5 abgespeichert hat, mit seinem Prozess fertig. Folglich steht die für MorphFilter benötigte Information ca. nach der Verarbeitung von 6 Spalten durch den Konturpunktprozessor 5 zur Verfügung.
Die so vorverarbeiteten Konturdaten können in den Hauptspeicher des IEBVS 1 zurückgeschrieben werden und anschließend vom Mikrocontroller formatiert und für die nachfolgenden Verarbeitungsprozesse übernommen werden.
18 zeigt die Phasenlage und den Speicherbedarf der vorstehend beschriebenen Prozesse zur Bildverarbeitung bis zur Segmentierung der Bilddaten. Der Gesamtspeicher 60 ist aufgeteilt in einen Speicherbereich 61 für die Ermittlung von Konturpunkten, einen Speicherbereich 62, welcher vom SNNC 7 verwendet wird, einen Speicherbereich 63 für den morphologischen Filter 11 und einen deutlich größeren Speicherbereich 64 für die Segmentierung. Dem SNNC 7 als Hardwareeinheit zur Ermittlung von zu einer Kontur gehörenden Verbindungen zwischen Konturpunkten ist dabei ein Speicher oder Speicherbereich zugeordnet, dessen Größe höchstens 20 Prozent des gesamten Speichers für die Verarbeitung der Bilddaten zu die Konturen beschreibenden Objekten ausgenommen des oder der Bildspeicher beträgt.
Anhand der 19 und 20, die Ausschnitte einer Kontur mit Konturpunkten zeigen, wird nachfolgend beschrieben, wie anhand der ermittelten Konturpunktdaten als Bestandteil der Objektsegmentierung Eckpunkte der Konturen bestimmt werden. Dargestellt ist ein Ausschnitt einer Kontur 16 mit Konturpunkten 26. Das von der Segmentierungseinheit 13 der in 1 dargestellten Grundkonfiguration durchgeführte Verfahren zur Bestimmung von Krümmungen, insbesondere von Eckpunkten von Konturen 16 basiert darauf, dass zu einem Punkt p der Konturpunkte 26 einer Kontur 16 Tripel mit Punkten (p^–, p, p⁺) gebildet werden, wobei die Punkte p^–, p⁺ Konturpunkte darstellen, die in beiden Richtungen entlang der Kontur vom Punkt p beabstandet sind.
Bei einer gekrümmt verlaufenden Kontur 16, wie bei dem in 19 gezeigten Beispiel bilden diese Punkte (p^–, p, p⁺) dann ein Dreieck mit Seiten der Längen a, b, c.
Zu diesen Punkten wird getestet, ob die Bedingungen d² _min ≤ |p – p⁺|² ≤ d² _max, (i) d² _min ≤ |p – p^–|² ≤ d² _max (ii) und α ≤ α_max (iii) erfüllt sind, mit d² _min, d² _max und α_max als vorgegebenen Parametern. Der Öffnungswinkel α ist gegeben durch:
wobei a den Abstand der Punkte p und p⁺, b den Abstand der Punkte p und p^–, und c den Abstand der Punkte p⁺ und p^– bezeichnen. Anhand der 19 wird klar, dass bei einem sehr großen Winkel α, der sich an 180° annähert, eher nicht zu erwarten ist, dass es sich bei Punkt p um einen Eckpunkt zwischen zwei geradlinigen Segmenten handelt. Um zu vermeiden, dass bereits sehr kleine Krümmungen an einer Kontur als Ecken interpretiert werden, kann dazu der Winkel α_max entsprechend gewählt werden. In der Praxis eignen sich oft Winkel kleiner 160°, beispielsweise α_max = 150°.
Die Bedingungen (i) bis (iii) nacheinander für die nächsten Nachbarn des Punkts p, dann die übernächsten Nachbarn des Punkts p, usw. getestet. Wird eine der Bedingungen (i), (ii), (iii) dabei für ein Tripel der Punkte (p^–, p, p⁺) nicht erfüllt, wird der Test abgebrochen. Von den Öffnungswinkeln α der Tripel mit Konturpunkt p, welche die Bedingungen (i)–(iii) erfüllen, wird der kleinste Öffnungswinkel ausgewählt und dem Punkt p zugeordnet.
Wird der Test der Bedingungen (i)–(iii) abgebrochen, so wird der nächste Konturpunkt entlang der Kontur 16 als Punkt p ausgewählt und das Verfahren wiederholt. Der Abbruch kann einerseits erfolgen, wenn die Bedingungen (i)–(iii) für ein Tripel nicht erfüllt sind, oder, wenn eine vorbestimmte Anzahl von benachbarten Konturpunkten 26 untersucht wurde. Vorzugsweise wird im letzteren Fall der Test abgebrochen, nachdem Tripel mit sieben Punkten 26 beiderseits des Punkts p untersucht wurden. Je nach Anforderung kann auch eine geringere Anzahl maximal zu untersuchender Tripel festgelegt sein.
Kann für einen gegebenen Konturpunkt p kein Tripel ermittelt werden, welches die Bedingungen (i) bis (iii) erfüllt, so wird dieser Punkt von vorneherein aussortiert und nicht mehr bei der Bestimmung eines Eckpunkts berücksichtigt.
In einem zweiten Durchlauf erfolgt eine weitere Aussortierung, wenn zu einem Punkt p ein benachbarter Punkt p' existiert, für welchen die Bedingungen (i), (ii) und (iii) erfüllt sind und der einen kleineren Öffnungswinkel α' aufweist. Dies ist in 20 gezeigt. Bei dem gezeigten Beispiel ist im speziellen der Öffnungswinkel α' des Tripels mit Punkt p' kleiner als der Öffnungswinkel α des Tripels mit Punkt p. Mit diesem zweiten Durchlauf wird vermieden, dass einem stark gekrümmten Konturbereich, der eine Ecke eines Objekts wiedergibt, mehrere eng benachbarte Eckpunkte ermittelt werden.
Die Erfindung wie vorstehend beschrieben, kann beispielsweise in einer kompakten Vorrichtung implementiert werden, um die Erkennung vom Mustern zu realisieren. Unter anderem können auf diese Weise Raster oder Formularfelder in Bilddaten unabhängig von Deformationen erkannt und zugeordnet werden. Dies ermöglicht eine schnelle Erkennung und Auswertung von Formularen, wie etwa von ausgefüllten Lotteriescheinen mit einer handlichen Vorrichtung. Die Erkennung gelingt so auch selbst wenn das Formular Knicke oder Wölbungen aufweist, auch wenn das Bild, etwa mittels eines Handscanners unter einem Winkel aufgenommen und entsprechend verzerrt ist. Die Erkennung von ausgefüllten Formularen ist besonders für die Erfindung geeignet, da die Formulardaten an vorgegebenen Stellen eingetragen werden, so dass eine einfache Erkennung, sogar ohne aufwendige, softwaregestützte Auswertung erfolgen kann. Die ansonsten sehr komplexe Zuordnung und Identifizierung von Mustern, wie etwa dem einem Raster auf einem Lotterieschein kann hier vollständig in Form von Hardware mittels einer Pipeline-Verarbeitung und Objektsegmentierung realisiert werden.
Es ist dem Fachmann ersichtlich, dass die Erfindung nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt ist, sondern vielmehr in vielfältiger Weise variiert werden kann. Insbesondere können die Merkmale der Ausführungsbeispiele auch miteinander kombiniert werden.

Claims

Bildverarbeitungsvorrichtung (1) zur Segmentierung anhand von Konturpunkten mit – einer Einrichtung (13) zur Segmentierung von Bilddaten und – einer Einrichtung (5, 7, 9) zur Bestimmung und Verarbeitung von Konturpunkten (26), wobei die Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten (26) – zumindest eine integrierte Hardwareeinheit (5) umfasst, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte (26) mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher (9) abzulegen, und wobei die Bildverarbeitungsvorrichtung (1) – einen statistical nearest neighborhood classifier mit einer Recheneinheit aufweist, welche eingerichtet ist, aus den im Speicher (9) abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten (26) unter Berücksichtigung des Abstands der Punkte zueinander zu ermitteln, und wobei der statistical nearest neighborhood classifier – zumindest einen Klassifikator aufweist, welcher – aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten (26), wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und – für jede Teilmenge denjenigen zum zentralen Konturpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aus der Menge der zumindest drei benachbarten Konturpunkte aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet und – im Anschluß daran in eine Konturpunktliste die nicht aussortierten Konturpunkte (26) mit Konnektoren (28) einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen, wobei die Bildverarbeitungseinrichtung eingerichtet ist, – die Konturpunkte anhand der Konnektoren zu Kontursegmenten zusammenzufassen.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, dadurch gekennzeichnet, dass die Einrichtung (13) zur Segmentierung von Bilddaten eine Einrichtung zur Bestimmung von Eckpunkten von Konturen aus der Konturpunktliste, wobei die Einrichtung zur Bestimmung von Eckpunkten von Konturen eine Einrichtung zur Durchführung des folgenden Algorithmus umfasst: – zu jedem Punkt p einer Menge aufeinanderfolgender Konturpunkte (26) einer Kontur (16) werden Tripel mit Punkten (p^–, p, p⁺) gebildet, wobei die Punkte p^–, p⁺ Konturpunkte (26) darstellen, die in beiden Richtungen entlang der Kontur (16) vom Punkt p beabstandet sind, – zu diesen Punkten wird getestet, ob die Bedingungen d² _min ≤ |p – p⁺|² ≤ d² _max, (i) d² _min ≤ |p – p^–|² ≤ d² _max (ii) und α ≤ α_max (iii) erfüllt sind, wobei d² _min, d² _max und α_max gesetzte vorbestimmte Parameter sind, und wobei für den Öffnungswinkel α gilt:
wobei a den Abstand der Punkte p und p⁺, b den Abstand der Punkte p und p^–, und c den Abstand der Punkte p⁺ und p^– bezeichnen, und wobei die Bedingungen (i), (ii) und (iii) für eine Reihe von zu p beiderseits benachbarten Punkten getestet werden, – der kleinste Öffnungswinkel α oder eine daraus abgeleitete Größe aus der Menge der getesteten Tripel mit Punkten (p^–, p, p⁺), welche alle Bedingungen (i), (ii) und (iii) erfüllen, wird ausgewählt und dem Punkt p zugeordnet, – ein Punkt p wird aussortiert, wenn zu diesem ein benachbarter Punkt p' existiert, für welchen die Bedingungen (i), (ii) und (iii) erfüllt sind und der einen kleineren Öffnungswinkel α aufweist.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 2, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung von Eckpunkten von Konturen (16) ausgebildet ist, Tripel (p, p⁺, p^–) nacheinander mit Konturpunkten p⁺, p^– zu bilden und auf Erfüllung der Bedingungen (i), (ii), und (iii) zu testen, die entlang der Kontur (16) fortschreitend weiter vom Konturpunkt p entfernt sind.
Bildverarbeitungsvorrichtung (1) gemäß einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung von Eckpunkten von Konturen ausgebildet ist, den Test der Bedingungen (i), (ii), und (iii) für einen gegebenen Konturpunkt p abzubrechen, sobald eine der Bedingungen (i), (ii), und (iii) für ein Tripel (p, p⁺, p^–) nicht mehr erfüllt ist.
Bildverarbeitungsvorrichtung (1) gemäß einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass in der Einrichtung zur Bestimmung von Eckpunkten von Konturen der Parameter d² _min auf einen Wert von d² _min ≥ 4 gesetzt ist.
Bildverarbeitungsvorrichtung (1) gemäß einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass in der Einrichtung zur Bestimmung von Eckpunkten von Konturen der Parameter α_max auf einen Wert von α_max ≤ 160° gesetzt ist.
Bildverarbeitungsvorrichtung (1) gemäß einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung von Eckpunkten von Konturen ausgebildet ist, für einen gegebenen Konturpunkt p zu jeder Seite entlang einer Kontur (16) höchstens 7 Konturpunkte (26) für die Tests der Bedingungen (i), (ii) und (iii) einzubeziehen.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, dadurch gekennzeichnet, dass als Teilmengen Tripel verwendet werden.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, umfassend eine Recheneinrichtung zum Aufprägen einer Modulation auf die Verbindungswahrscheinlichkeiten, wobei die Modulation einer Positionsverschiebung von Konturpunkten entspricht, die kleiner als der Pixelabstand ist.
Bildverarbeitungsvorrichtung (1) gemäß dem vorstehenden Anspruch, wobei mittels einer Recheneinrichtung vor der Berechnung der Verbindungswahrscheinlichkeiten zum Aufprägen einer Modulation jeweils Pixel-Koordinaten verändert werden.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, bei welcher die integrierte Recheneinheit, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher (9) abzulegen, dazu eingerichtet ist, neben der Position eines Konturpunktes zumindest eines der weiteren Attribute Kontrast, Farbe und Richtung des Konturpunktes zu berechnen und in den fortlaufenden Listendaten abzuspeichern, und wobei die Recheneinheit des statistical nearest neighborhood classifiers dazu eingerichtet ist, Verbindungswahrscheinlichkeiten zwischen Konturpunkten anhand des Abstands zwischen den Konturpunkten und zumindest einem der Attribute Kontrast, Farbe und Richtung zu errechnen.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 11, bei welcher die integrierte Recheneinheit dazu eingerichtet ist, für einen Konturpunkt einen Attribut-Vektor mit zumindest 24 Bit Länge, vorzugsweise zumindest 36 Bit Länge zu erzeugen und in den fortlaufenden Listendaten abzuspeichern.
Bildverarbeitungsvorrichtung (1) gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Bildverarbeitungsvorrichtung (1) für eine Echtzeit-Bildverarbeitung eingerichtet ist.
Bildverarbeitungsvorrichtung (1) gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung Dual-Port-RAM-Speicher und eine Einrichtung zum gleichzeitigen Ablegen und Auslesen von Listendaten aus dem Dual-Port-RAM-Speicher aufweist.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, umfassend eine Morphologiefilter-Recheneinrichtung (11), welche dazu eingerichtet ist, die Konturpunktliste mit Konnektoren (28) hinsichtlich zumindest einer der Eigenschaften zu filtern: – Konturpunkte zu Ketten von höchstens drei Konturpunkten werden gelöscht, – Konturpunkte, welche nur zu einer einseitig mit einer längeren Kette verbundenen Kette mit höchstens drei Konturpunkten gehören, werden gelöscht, – Konturpunkte, welche Start- und Endpunkte von Ketten zusammengehörender Konturpunkte bilden, werden in der Konturpunktliste gekennzeichnet, – Konturpunkte, welche Verzweigungspunkte zumindest zweier Ketten bilden, werden in der Konturpunktliste gekennzeichnet.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, gekennzeichnet durch eine Einrichtung zum Erzeugen von Rangvektoren für Konturpunkte, welche die Konturpunktliste mit Konnektorstruktur ausliest und jeweils ausgehend von einem Zentralpunkt über die Konnektoren (28) die Konnektorstruktur sämtlicher Nachbarpunkte einliest und einen Rangvektor erzeugt, der die Anzahl der Verzweigungen der Nachbarpunkte und des Zentralpunkts selbst beinhaltet.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, bei welcher die Recheneinheit des statistical nearest neighborhood classifers dazu eingerichtet ist, jeweils zu einem zentralen Konturpunkt Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen Konturpunkten einschließlich des zentralen Konturpunkts zu ermitteln, die maximal 2 bis 2,5 Pixel bezogen auf das Raster des Digitalbildes vom Zentralpunkt entfernt sind.
Bildverarbeitungsvorrichtung (1) gemäß einem der vorstehenden Ansprüche, bei welcher der Klassifikator des statistical nearest neighborhood classifiers eingerichtet ist, das Aussortieren für jeden ausgewählten zentralen Konturpunkt zumindest einmal für die Menge der nicht aussortierten zum Zentralpunkt benachbarten Konturpunkte zu wiederholen.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, bei welcher der Klassifikator des statistical nearest neighborhood classifiers dazu eingerichtet ist, den Auswahl-Vorgang, bei welchem jeweils derjenige zum zentralen Konturpunkt benachbarte Konturpunkt aussortiert wird, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet für jeden ausgewählten zentralen Konturpunkt zu wiederholen, bis keine weiteren Konturpunkte aussortiert werden können.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, umfassend eine der Recheneinheit des statistical nearest neighborhood classifiers vorgeschaltete Sortiereinrichtung (17), welche Listendaten von zu einem ausgewählten zentralen Konturpunkt benachbarten Konturpunkten jeweils entsprechend einer Reihenfolge ausgibt, die beim Abtasten einer Umgebung des zentralen Konturpunkts erhalten wird, indem sukzessive ausschließlich benachbarte Punkte der Umgebung ausgelesen werden.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, wobei der Klassifikator des statistical nearest neighborhood classifiers in eine Konturpunktliste Konnektoren (28) einträgt, welche die Indizes benachbarter Konturpunkte und die Verbindungswahrscheinlichkeiten zu benachbarten Konturpunkten enthalten.
Bildverarbeitungsvorrichtung (1) gemäß Anspruch 1, umfassend eine Einrichtung zum Auslesen der Konturpunktliste in geordneter Reihenfolge als geordnete Reihe von Konturpunkten anhand der in der Konturpunktliste abgespeicherten Konnektoren, wobei aufeinanderfolgende Listeneinträge zu aufeinanderfolgenden Konturpunkten entlang einer Kontur (16) gehören.
Bildverarbeitungsvorrichtung (1) gemäß einem der vorstehenden Ansprüche, ausgebildet zur Formularerkennung.