DE3735935C2 - Verfahren zur Bestimmung von Clustern im Hough-Raum - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur schnellen Bestimmung von Clustern (Geradenbündel) im Hough-Raum nach dem Oberbegriff des Anspruchs 1.

Die Hough-Transformation, die beispielsweise in der US Patentschrift 3,069,654 mit dem Titel "Method And Means For Recognizing Complex Patterns" oder in dem Buch "Computer Vision", Prentice Hall, Eaglewood Cliffs, NJ, 1982 von D.H. Ballard und C.M. Brown beschrieben ist, stellt eine wichtige Funktion in der digitalen Bildverarbeitung dar. Eine sehr bedeutsame Anwendung ist das Erkennen von Kantenverläufen von Objekten, die z. B. zur Lagebestimmung von Objekten bei automatischen Handhabungsautomaten (Industrierobotern) Verwendung findet. Auch bei der automatischen Beschriftung von elektronischen Bauelementen, wie z. B. Halbleiterchips mit Teile-, Typen-, Serien-, Produktionsdaten- und dergleichen Nummern spielt die Lagebestimmung der Chipkante eine wichtige Rolle.

EP-A-0 205 628 beschreibt ein Verfahren zur Identifizierung von dreidimensionalen Objekten mit Hilfe von zweidimensionalen Bildern. Dazu wird eine Hough-Transformation des Bildes generiert und spezifische Konfigurationen bzw. Strukturen der Clusterpunkte, die die Hough-Transformation darstellen, bestimmt. Die Information über diese spezifischen Konfigurationen wird dann mit ähnlichen Informationen bekannter Objekte verglichen.

Aufgrund der Tatsache, daß einer Geraden im Bildraum ein sich schneidendes Geradenbündel im Hough-Raum entspricht, kommt es für eine schnelle Auswertung, möglichst in Echtzeit, beispielsweise in einer Bild­ zeit nach der Fernsehnorm, darauf an, dieses Geraden­ bündel oder Cluster möglichst schnell aufzufinden. Ein Vorschlag, der allerdings auf einer Projektionsmethode beruht, ist im IBM Technical Disclosure Bulletin Vol. 28 No. 8 January 1986, Seiten 3667 und 3668 beschrieben. Bei dieser Methode werden die Cluster dadurch gefunden, daß Projektionsvektoren erzeugt werden und dann die Maxima dieser Projektionsvektoren bestimmt werden. Für schnelle Anwendungen erfordert diese Methode eigens dazu entwickelte Schaltkreisan­ ordnungen, die sich von der normalen und handels­ üblichen Bildverarbeitungs-Hardware beträchtlich unterscheiden. Hieraus ergeben sich Nachteile auf der Kostenseite, so daß bestimmte Anwendungen aus Wirt­ schaftlichkeitsüberlegungen heraus unterbleiben müssen.

Es ist daher die Aufgabe der vorliegenden Erfindung ein Verfahren und eine Einrichtung anzugeben, die mit wirtschaftlich vertretbarem Aufwand das Auffinden von Clustern im Hough-Raum in Echtzeit (z. B. innerhalb von 40 ms, entsprechend einer Bildzeit nach Fernsehnorm) ermöglicht.

Gelöst wird diese Aufgabe der Erfindung durch die im Hauptanspruch angegebenen Merkmale.

Vorteilhafte Weiterbildungen und Ausgestaltungen des Gegenstandes der Erfindung sind den übrigen Ansprüchen zu entnehmen.

Die Erfindung bietet auf diese Weise die Möglichkeit mit handelsüblicher Bildverarbeitungs-Hardware Anwen­ dungen auf dem Gebiete der Handhabungsautomaten (Roboter) auf wirtschaftliche und äußerst zuverlässige Weise durchführen zu können.

Im folgenden wird die Erfindung anhand eines durch Zeichnungen erläuterten Ausführungsbeispieles näher beschrieben. Es zeigen:

Fig. 1 eine Darstellung der prinzipiellen Struktur einer Einrichtung zur schnellen Bestimmung von Clustern im Hough-Raum mittels eines konventionellen digitalen Bildverarbeitungs­ systems,

Fig. 2 die Darstellung einer Chipkante im Bildraum (X/Y),

Fig. 3 eine Darstellung eines Hough-Raumes (A/B) mit eingeschriebenen Geraden und

Fig. 4 eine Prinzipdarstellung einer Pipeline zur Cluster-Feststellung.

Bei der nun folgenden Erläuterung eines Ausführungs­ beispieles wird für die schnelle Bestimmung von Clustern im Hough-Raum, beispielsweise für die Lage­ ermittlung einer Kante, die in Fig. 1 dargestellte Bildverarbeitungseinrichtung verwendet. Sie besteht, wie Fig. 1 zeigt, aus einer Steuereinheit 1, an die ein Monitor 2 und eine Fernsehbildkamera (TV Kamera) 3 angeschlossen sind.

Das abzutastende Objekt 7, beispielsweise ein Chip dessen Kantenlage zu bestimmen ist, findet sich auf einem Objektträger 6. Mittels einer geeigneten Beleuchtung 5 und einer Vorschaltoptik 4 wird das Bild des Objektes auf dem Target der TV Kamera abgebildet.

Die Abtastsignale der TV Kamera werden in der Steuereinheit 1 in einem Analog-/Digitalwandler 11 digitalisiert und in einen ersten Bildspeicher 12 eingespeichert.

Zur optischen Überwachung des von der TV Kamera gelieferten Bildes werden die digitalisierten Abtast­ signale mittels eines Digital-/Analogwandlers 10 in analoge Bildsignale gewandelt, die in einem Monitor, zur Bildkontrolle und gegebenenfalls Justierung des Objekts auf dem Objektträger, sichtbar gemacht werden.

Die Steuereinheit 1 verfügt des weiteren über einen (Bildverarbeitungs-) Steuerprozessor 8, der digitale Bilddaten über eine bidirektionale Datenleitung 17 empfängt und nach Verarbeitung rücküberträgt, Steuer­ signale für einen Minimum-/Maximumdetektor 9 erzeugt und über eine Steuerleitung 18 sowie weitere Steuer­ signale über eine Leitung 19 zu einem Adreßgenerator 14 und einer Faltungseinheit 15 überträgt. Sowohl die Adressenerzeugung, als auch die Arbeitsweise der Faltungseinheit werden im Zusammenhang mit Fig. 4 noch näher erläutert.

Zur Ermittlung der Lage einer Chipkante wird von dem in Fig. 1 dargestellten System zuerst der folgende Schritt ausgeführt: Für die Bildaufnahme wird zunächst die Beleuchtung in geeigneter Weise eingestellt (Helligkeit, Beleuchtungswinkel) und eine Grob­ justierung des Objektes vorgenommen. Dann kann die Aufnahme des Objektes mittels der TV Kamera 3 er­ folgen. Nach der Digitalisierung des Bildes im Analog-/Digitalwandler 11 erfolgt die Abspeicherung des digitalen Bildes in einem ersten Bildspeicher 12 mit 512×512 Bildelementen mit jeweils 256 Grauwert­ stufen je Pixel.

Nachdem das elektronische Abbild des Objektes oder eines Teiles desselben, je nach Einstellung der Vorschaltoptik 4, im ersten Bildspeicher gespeichert ist, kann mit der Bestimmung einzelner Kantenpunkte begonnen werden.

Zu einem zweiten Schritt wird hierzu eine Faltung des Bildes mit einem geeigneten Kantenoperator vorgenommen. Es kann z. B. der bekannte SOBEL Operator verwendet werden, mit dessen Hilfe Grauwertdifferenzen zwischen benachbarten Bildpunkten in bestimmten Richtungen bestimmt werden. Durch die Feststellung lokaler Maxima mittels des Minimum-/Maximumdetektors 9 des gefalteten Bildes ergeben sich die Kantenpunkte (Punkte mit großer Grauwertdifferenz), die zu einer Liste zusammenstellbar sind. Sowohl die Faltung des Bildes als auch die Bestimmung der lokalen Maxima des gefalteten Bildes zur Erstellung der Liste von Kantenpunkten kann in einer Hardware-Pipeline wahrgenommen werden, wie sie in Fig. 4 dargestellt und weiter unten bei der Bestimmung der Cluster im Hough-Raum beschrieben wird.

Die Kantenkoordinaten werden danach vom Bildverar­ beitungs-Steuerprozessor 8 gelesen. Es erfolgt im dritten Schritt dann schließlich die Bestimmung von Ort und Orientierung der Objektkante durch Hough-Transformation mit den im vorgehenden Schritt ge­ fundenen Kantenpunkten.

Die gesuchte Kante 20 des Objekts 7 im Bildraum (X/Y) 21, dargestellt in Fig. 2, hat die Gleichung

• (1) Y = A×X + B;

(Gleichung der Geraden im Bildraum)

wobei die Parameter A und B gesucht sind. Durch Umformung ergibt sich:

• (2) B = -X×A + Y;

(Gleichung der Geraden im Hough-Raum)

Setzt man nun die zuvor im zweiten Schritt gefundenen Koordinatenpaare der einzelnen Kantenpunkte in diese Gleichung (2) ein, so erhält man für jeden Kantenpunkt Pi (Xi/Yi) im Bildraum eine Gerade im Hough-Raum (A/B).

Es ist eine Eigenart der Hough-Transformation, daß Punkte 22, die im Bildraum 21 auf einer Geraden (z. B. Objektkante) 20 liegen, im Hough-Raum 30 zu Geraden 32 führen (für jeden betrachteten Punkt Pi eine Gerade), die sich in einem Punkt (Ac/Bc, z. B. 33/34) (vgl. Fig. 3) schneiden. Bei realen Bildern ist dieser Schnittpunkt 31 "verschmiert". Es kommt nun sehr wesentlich darauf an, diese sogenannten Cluster im Hough-Raum sehr schnell zu ermitteln. In vielen Anwendungen, z. B. bei der Lageerkennung von bewegten Teilen, muß die Cluster-Ermittlung in Bruchteilen einer Sekunde erfolgen, möglichst innerhalb einer Bildzeit d. h. innerhalb der Zeit, die eine Fernsehkamera zur vollständigen Abtastung eines Bildes benötigt. Nach der CCIR-Norm sind dies 40 ms.

Diese Anforderung kann erfüllt werden, wenn für die Bearbeitung des Hough-Raumes schnelle Bildverar­ beitungssysteme nach Fig. 1 verwendet werden. Dabei wird der zweidimensionale Hough-Raum (A/B) in einem zweiten Bildspeicher 13, unter Verwendung schneller Adreßgeneratoren 14, als Datenfeld angelegt. Die Elemente des Hough-Raums, d. h. die Speicherstellen des zweiten Bildspeichers, müssen zunächst mit "0" vor­ besetzt werden. Im schnellen Bildverarbeitungssystem nach Fig. 1 geschieht dies in einer Bildzeit (= 40 ms) für den gesamten zweiten Bildspeicher 13, der in typischer Weise eine Anordnung von 512×512 Bild­ elementen realisiert. Diese Operation der Voreinstellung des zweiten Bildspeichers mit lauter Nullen in seinen 262 144 Speicherstellen kann gleichzeitig, d. h. überlappt, mit dem Einlesen der digitalisierten Daten des Kamerabildes in den ersten Bildspeicher 12 oder aber während der Ermittlung der Kantenpunkte nach Verfahrensschritt 2 erfolgen.

Für jeden Kantenpunkt Pi (Xi/Yi) werden die Speicher­ stellen der Bildpunkte entlang der Geraden B = -Xi×A + Yi im Hough-Raum gelesen, der gelesene Wert um 1 erhöht und der neue Wert in die gelesenen Speicher­ stellen abgespeichert. Es stellt sich dann eine Speicherbelegung ein, wie sie ein Beispiel in Fig. 3 zeigt.

Zur schnellen Adressierung von Geraden mit beliebiger Steigung (Richtung) in Bildspeichern können entweder schnelle Algorithmen, wie beispielsweise der bekannte Bresenham Algorithmus, der von J.E. Bresenham im IBM Systems Journal 4 (1965) in dem Aufsatz "Algorithm For Computer Control Of A Digital Plotter" beschrieben ist, oder es können auch Hardware-Adressengeneratoren verwendet werden.

Nachdem alle Geraden im Hough-Raum, d. h. im zweiten Bildspeicher 13 eingeschrieben sind, müssen in einem nächsten Schritt die Cluster gefunden werden. Da sich durch Digitalisierungsfehler, Rauschen im Analogsignal und auch durch nicht ideale Kantenverläufe bei realen Bildern die Geraden nicht in einem Punkt schneiden, darf also nicht der größte Wert im Hough-Raum sondern der Ort mit einer Häufung der größten Werte innerhalb einer bestimmten Nachbarschaft gesucht werden.

Bereits auf dem Markt befindliche Bildverarbeitungs­ systeme bieten mit ihrer Möglichkeit der Durchführung von Faltungsoperation hinsichtlich der Bilddaten ein ideales Werkzeug, um sehr schnell gewichtete Mittelungen von Werten innerhalb einer lokalen Nachbarschaft, beispielsweise Flächenbereichen oder Fenstern der Größe 3×3 oder 5×5 Flächenelementen, zu berechnen. Im vorliegenden Falle ist eine Faltungsoperation auf den Hough-Raum mit einem Faltungskern vorteilhaft, der beispielsweise folgende Koeffizienten aufweisen kann:

• a) für gewichtete Mittelung 1 2 1
  2 4 2
  1 2 1oder
• b) für reine Mittelung 1 1 1
  1 1 1
  1 1 1

Die Cluster können nun einfach durch Auffinden von Punkten, die hohe Werte repräsentieren, ermittelt werden. Die hierzu erforderliche Einrichtung zeigt Fig. 4 in der eine Pipeline mit schneller Bildver­ arbeitungshardware dargestellt ist.

Die Bildpunkte werden aus dem zweiten Bildspeicher 13 zeilenweise ausgelesen und über den schnellen Bild­ datenbus 16 zur Faltungseinheit 15, auch Konvolver genannt, übertragen. Dort wird das Bild in Form digitaler Bilddaten mit einem der oben dargestellten Faltungskerne a) oder b) gefaltet, um eine Mittelung über eine lokale Nachbarschaft im Hough-Raum zu erzeugen. Durch Anwendung des Faltungskernes a) wird eine gewichtet Mittelung erreicht. Die nachgeschaltete Hardware der Pipeline kann nun die Cluster-Koordinaten auf folgende Weise bestimmen:

• 1. Wird im Hough-Raum nur ein einziges Cluster erwartet, dann genügt es, wenn nur ein Maximum­ detektor (vgl. 9; Fig. 1) eingesetzt wird. Die Steuereinheit 1 sorgt dann dafür, daß die Ko­ ordinaten des Punktes, der den Maximalwert ergab, im digitalen Bildverarbeitungssystem abge­ speichert wird.
• 2. Ist die Aufgabe zu lösen, daß mehrere Cluster gefunden werden müssen, so kann man durch Fest­ legen eines Minimalwertes und einer Schwellen­ schaltung, das sind in Fig. 4 die Komponenten 41 und 42, alle Koordinaten ermitteln, an denen der Schwellwert überschritten wird. Diese Erzeugung von Koordinatenlisten wird bei der digitalen Bildverarbeitung als "Enumeration" 4 bezeichnet und in vielen Bildverarbeitungssystemen in Hardware realisiert.

Die in Fig. 4 dargestellte Schaltungsanordnung wird von einem Zeitgeber 48 gesteuert, der sowohl auf den Adreßgenerator 14 für den zweiten Bildspeicher 13 als auch auf die Adreßzähler 46 und 47 über die Leitungen 49 und 50 einwirkt, welche die Koordinatendaten erzeugen, die im Clusterkoordinatenspeicher 45 gespeichert und zu einer Liste zusammengestellt werden. Der Adreß­ zähler 43 dient zur Adressierung des Cluster­ koordinatenspeichers 45 über die Leitung 44. Ein Schreibsignal wird vom Vergleicher 42 jeweils dann erzeugt, wenn der von der Faltungseinheit 15 festgestellte Wert größer oder gleich einem Minimalwert ist, der in einem Register 41 ge­ speichert ist. Es wird dann ein Schreibsignal erzeugt, das zu dem Clusterkoordinatenspeicher 45 übertragen wird, der die Koordinatendaten, die von den Adreßzählern 46 und 47 erzeugt worden sind, unter der augenblicklich vom Adreßzähler 43 bereitgestellten Adresse speichert.

Claims (9)

1. Verfahren zur Bestimmung von Clustern im Hough-Raum für die Echtzeit-Lagebestimmung von Objekt­ kanten mit einer elektronischen Abtasteinrichtung und einem digitalen Bildverarbeitungssystem mit Bildverarbeitungs-Steuerprozessor (8) sowie mindestens zwei digitalen Bildspeichern (12, 13), gekennzeichnet durch folgende Verfahrensschritte:

• 1. Das abgetastete und digitalisierte Bild des zu bestimmenden Objektes wird in einem ersten Bildspeicher (12) mit einer be­ stimmten Anzahl von Grauwerten je Bildpunkt (Pixel) gespeichert;
• 2. Bestimmung einzelner Kantenpunkte des Objektes durch
  • a. Faltung des digitalen Bildes mittels eines geeigneten Kantenoperators, der die Grauwertdifferenzen zwischen benach­ barten Bildpunkten in bestimmten Richtungen bestimmt,
  • b. Bestimmung lokaler Maxima des gefalteten Bildes sowie
  • c. Erstellung einer Liste von Kantenpunkten, die sich als Punkte mit großer Grauwert­ differenz darstellen;
• 3. Bestimmung von Ort und Orientierung der Objektkante durch eine Hough-Transformation mit den im Schritt 2. gefundenen Kantenpunkten.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur Durchführung der Verfahrensschritte 2.a. bis 2.c. folgender Schritt ausgeführt wird:

• 4. Zur Faltung wird der bekannte SOBEL Operator auf die digitalen Bilddaten angewendet, wobei die Kantenkoordinaten über eine zeilen- und spaltenweise durchgeführte Minimum-/Maximumfeststellung ermittelt werden, die dann vom digitalen Bildverar­ beitungssystem eingelesen werden.

3. Verfahren nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, daß zur Durchführung des Verfahrensschrittes 3. folgende Verfahrensschritte ausgeführt werden:

• 5. Der zweidimensionale Hough-Raum (A/B; Fig. 3) wird in dem zweiten digitalen Bildspeicher (13) mittels schneller Adreßgeneratoren (14) als Datenfeld angelegt;
• 6. Die Elemente des Hough-Raumes werden mit dem Binärwert 0 vorbesetzt, indem die Speicher­ stellen des zweiten digitalen Bildspeichers auf 0 gesetzt werden;
• 7. Für jedes nach Schritt 2. oder 4. gefundene Koordinatenpaar (Xi/Yi) im Bildraum (X/Y, Fig. 2), werden die Elemente des Hough-Raumes entlang der Geraden (B = -Xi×A + Y: in Fig. 3) im Hough-Raum vom Bildverarbeitungssystem gelesen, um den Wert 1 erhöht und der erhöhte Wert abgespeichert;
• 8. Nach Einschreiben aller Geraden (32) werden im Hough-Raum die Cluster gesucht, indem die Koordinaten des Ortes mit einer Häufung hoher Werte innerhalb einer bestimmten Nachbarschaft ermittelt werden;
• 9. Die gefundenen Koordinaten (Aj/Bj) im Hough-Raum werden in den Bildraum als Geraden retransformiert, welche die Kanten des untersuchten Objektes darstellen, indem die Koordinaten vom Bildverarbeitungssystem in die Geradengleichung des Bildraumes (X/Y) eingesetzt werden.

4. Verfahren nach einem oder mehreren der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß zur Durchführung der Verfahrensschritte 3. oder 7. folgender Schritt ausgeführt wird:

• 10. Zur schnellen Adressierung von Geraden mit beliebiger Richtung in digitalen Bildspeichern wird der bekannte Bresenham Algorithmus verwendet.

5. Verfahren nach einem oder mehreren der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß zur Durchführung der Verfahrensschritte 3. oder 7. folgender Schritt ausgeführt wird:

• 11. Zur schnellen Adressierung von Geraden mit beliebiger Richtung in digitalen Bildspeichern werden schnelle Adressengeneratoren verwendet.

6. Verfahren nach einem oder mehreren der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß zur Durchführung der Verfahrensschritte 2.a., 3. oder 8. folgende Schritte ausgeführt werden:

• 12. Es werden zur Feststellung der höchsten Werte innerhalb einer lokalen Nachbarschaft Faltungskerne gebildet, die für a) eine gewichtete und b) eine reine Mittelung folgende Koeffizienten haben: oder
• 12a. Es werden für größere lokale Nachbarschaften größere, angepaßte Faltungskerne (4×4, 4×3, . . . , n×n, n×m) gebildet;
• 13. Die Werte in den Speicherstellen des zweiten digitalen Bildspeichers (13) werden zeilenweise ausgelesen und über einen schnellen Bilddatenbus (16) zu einer Faltungseinheit (15) übertragen, welche das Abbild (Werteverteilung) im Hough-Raum mit einem der obigen Faltungskerne faltet, um eine Mittelung über eine lokale Nachbarschaft im Hough-Raum zu erzeugen;
• 14. Es werden aus den Positionen der Punkte größter Häufung im Hough-Raum die Clusterko­ ordinaten bestimmt.

7. Verfahren nach einem oder mehreren der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß zur Durchführung der Verfahrensschritte 2.a., 3., 8. oder 14. für nur ein erwartetes Cluster im Hough-Raum ein Maximumdetektor (9; Fig. 1) verwendet wird, der die Abspeicherung der Ko­ ordinaten des Punktes größter Wertigkeit bewirkt.

8. Verfahren nach einem oder mehreren der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß zur Durchführung der Verfahrensschritte 2.a., 3., 8. oder 14. für mehrere erwartete Cluster im Hough-Raum folgende Schritte ausgeführt werden:

• 15. Es werden nach Festlegen eines Minimalwertes mittels einer Schwellenschaltung (41, 42; Fig. 4) alle Koordinaten ermittelt, an denen der Minimalwert überschritten wurde;
• 16. Diese gefundene Koordinatenpaare (Aj/Bj) werden für die anschließende Retransformation zu Geraden im Bildraum, die Objektkanten darstellen, zu Listen zusammengestellt.

9. Verfahren nach einem oder mehreren der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß zur Geschwindigkeitserhöhung der Objektkanten-Be­ stimmung das Einlesen des Kamerabildes in den ersten digitalen Bildspeicher (12) nach Verfahrensschritt 1 überlappt mit den Operationen zur Kantenpunktbestimmung nach Verfahrensschritt 2. vorgenommen wird.