DE19821800A1

DE19821800A1 - Verfahren und Vorrichtung zum Prüfen von Seitensichten und Draufsicht von Objekten aus einer Sichtposition

Info

Publication number: DE19821800A1
Application number: DE19821800A
Authority: DE
Inventors: Gerd Stanke; Tim Woehrle
Original assignee: FOERDERUNG ANGEWANDTER INFORMA
Current assignee: FOERDERUNG ANGEWANDTER INFORMA
Priority date: 1998-05-15
Filing date: 1998-05-15
Publication date: 1999-12-02

Abstract

Die Erfindung betrifft ein Verfahren zum Prüfen von Objekten aus Seitensichten und Draufsicht von Objekten aus einer Sichtposition unter Nutzung einer Aufnahmeeinrichtung (2) sowie einer Auswerte- und Speichereinheit (6) mit Bildverarbeitung und Bildauswertung. Erfindungsgemäß werden gemäß Figur 1 von den Objekten (1) mit den sich auf ihnen befindlichen Symbolen und Strukturen strukturellen und texturellen Charakteristika durch eine Aufnahmeeinrichtung (2) aus einer Sichtposition gleichzeitig Bilder, die die Draufsicht und die Seitensichten des Objektes (1) enthalten, erstellt und an die Auswerte- und Speichereinheit (6), die z. B. ein PC sein kann, weitergeleitet. Diese Auswerte- und Speichereinheit (6) bestimmt in dem Bild Bereiche, die der Draufsicht bzw. den Seitensichten entsprechen und wertet diese für einen Vergleich mit vorgegebenen Parametern aus.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Prüfen von Seitensichten und Draufsicht von Objekten aus einer Sichtposition.

Die Erfindung liegt im Bereich des Prüfen von Seitensichten und Draufsicht von Objekten aus einer Sichtposition, so wie es z. B. im Prozeß der Schaltkreisfertigung und -konfektionierung, aber auch bei anderen Objektkontrollen durchzuführen ist. Hierbei ist es insbesondere notwendig, die sich auf der Oberseite von Schaltkreisen befindlichen Aufdrucke auf ihr Vorhandensein und auf ihre Qualität sowie ihre Erkennbarkeit hin zu prüfen, um Verwechslungen auszuschließen. Gleichzeitig ist es notwendig, die sich an der Unterseite der Schaltkreise befindlichen Beinchen in ihrer wechselseitigen Lage dahingehend zu vermessen, ob sie alle in einer Ebene liegen oder nicht um mehr als ein gegebenes Maß von dieser Ebenheit abweichen, damit sie z. B. in einem nachfolgenden Lötprozeß vom Lot gleichzeitig und sicher erfaßt werden können. Die Erfassung dieses Maßes, also die Abweichung der Beinchen von einer ebenen Auflagefläche, wird als Koplanaritätsprüfung bezeichnet. Diese Koplanaritätsprüfung kann dabei aus der Seitensicht auf die Beinchenreihen an den einzelnen Seiten des Schaltkreises erfolgen.

Bekannt im Stand der Technik ist, daß in mit Durchlicht erzeugten Bildern, die im Grundsatz binären Charakter, der nur in Kantenbereichen durchbrochen wird, haben, d. h. von ihren eigentlichen physikalisch zu erwartenden Gegebenheiten nur zwei Helligkeitsniveaus aufweisen, geometrische Größen wie Abstände in diesen Bildern vermessen und auf die realen Größenverhältnisse umgerechnet werden können (Stand und Trends der Bildverarbeitung in NRW, S. 64-65 u. S. 94-95, Ministerium für Wirtschaft, Mittelstand und Technologie des Landes Nordrhein-Westfalen, Düsseldorf 1955; R. Mende, Messende Bildverarbeitung in der Automati sierungstechnik, in Symposium Aktuelle Entwicklungen und Realisierungen der Bildverarbeitung, 5. u. 6. September 1996, Aachen, Ministerium für Wirtschaft, Mittelstand und Technologie des Landes Nordrhein-Westfalen). In mit Durchlicht aufgenommenen Bildern können bekanntermaßen Subpixelverfahren angesetzt werden. Durchlichtverfahren mit Subpixelvermessungen werden gleichfalls in der von Qtec angegebenen Lösung (in: Industrielle Bildverarbeitung/Machine Vision, VDMA, Fachgemeinschaft Robotik+Automation, Maschinenbau Verlag GmbH, Frankfurt/M. 1997) beschrieben, allerdings nur aus einem direkt von der Oberfläche aufge nommenen Bild und ohne integrierte Schriftqualitätskontrolle. Subpixelverfahren nutzen gängigerweise die Bestimmung eines Kantenüberganges zwischen einem unteren und einem oberen Intensitätswert zur Ableitung eines präzisen geometrischen Ortes. Der Einsatz des Lesens von auf Produkten aufgebrachter Klarschrift ist Stand der Technik (R. Koy-Oberthür, Übersicht industrieller Anwendungen der Klarschrift- und Barcode-Identifikation, Symposium, Aktuelle Entwicklungen und Realisierungen der Bildverarbeitung, 11. u. 12. September 1997, Aachen, Ministerium für Wirtschaft, Mittelstand und Technologie des Landes Nordrhein-Westfalen. In T. Schroeter, Einsatz der Bildverarbeitung zur Druckvollständigkeitskontrolle, Symposium, Aktuelle Entwicklungen und Reali sierungen der Bildverarbeitung, 11. u. 12. September 1997, Aachen, Ministerium für Wirtschaft, Mittelstand und Technologie des Landes Nordrhein-Westfalen), ist gleichfalls ein Verfahren beschrieben, das die Vollständigkeit eines Aufdruckes feststellt, d. h. diesen auf fehlende Zeichen hin kontrolliert. Dieses Verfahren nutzt die sogenannte Histogramminformation aus. Bekannt aus dem Stand der Technik (ICOS-Produktbeschreibung) ist, daß die Koplanaritätsprüfung mit Hilfe optischer Verfahren, die Spaltbreiten vermessen können, durchgeführt wird. In der von QTec beschriebenen Lösung wird hierbei aus der Untersicht des zu kontrollierenden Schaltkreises ein Bild, das die Sichten auf Schattenwürfe der Beinchenreihen zuläßt, aufgenommen. Das von der Trigon Adcotech beschriebene Koplanaritätskontrollgerät SMD9000 verwendet fünf CCD-Kameras zur Aufnahme der auszuwertenden Bilder zur Kontrolle der Koplanarität, eine für jede Seitensicht und eine für die Draufsicht. Nachteilig ist die Anzahl der benötigten Kameras sowie das Nichtaneinandergebundensein der einzelnen Sichten.

In der von Qtec angegebenen Lösung (in: Industrielle Bildverarbeitung/Machine Vision, VDMA, Fachgemeinschaft Robotik+Automation, Maschinenbau Verlag GmbH, Frankfurt/M. 1997) ist nachteilig, daß die Auswertung nur aus einem direkt von einer einzelnen Seite des zu kontrollierenden Objektes aufgenommenen Bild heraus erfolgt und daß so auch keine Schriftqualitätskontrolle integriert ist. Nachteilig an Subpixelverfahren, die die Bestimmung eines Kantenüberganges zwischen unterem und oberem Intensitätsniveau für die Angabe eines präzisen geometrischen Ortes nutzen, ist, daß sich diese beiden Intensitätsniveaus insbesondere bei sehr kleinen Spalten nur ungenügend ausbilden, so daß z. B. das obere Intensitätsniveau sich bei Spalten unterschiedlicher Breite voneinander unterscheidet.

Nachteilig bei den zum Stand der Technik angegebenen Lösungen zur Schriftdetektion (R. Koy-Oberthür, Übersicht industrieller Anwendungen der Klarschrift- und Barcode-Identifikation, Symposium, Aktuelle Entwicklungen und Realisierungen der Bildverarbeitung, 11. u. 12. September 1997, Aachen, Ministerium für Wirtschaft, Mittelstand und Technologie des Landes Nordrhein- Westfalen) ist, daß sie das Ziel anstreben, die einzelnen in der Schrift enthaltenen Symbole zu erkennen, nicht aber ein bewertendes Maß für deren überhaupt gegebene Lesbarkeit ableiten. Gerade dies ist aber in solchen Fällen notwendig und vernünftig, wenn der Inhalt des Aufdruckes an sich bekannt ist, aber dessen potentielle Lesbarkeit, z. B. für Haftungs- und Kontrollfälle garantiert sein muß. Nachteilig bei dem in T. Schroeter, Einsatz der Bildverarbeitung zur Druckvollständigkeitskontrolle, Symposium, Aktuelle Entwicklungen und Realisierungen der Bildverarbeitung, 11. u. 12. September 1997, Aachen, Ministerium für Wirtschaft, Mittelstand und Technologie des Landes Nordrhein-Westfalen genannten Verfahren ist, daß es die gesamte bedruckte Fläche abschätzt, nicht aber ein bewertendes Maß für deren überhaupt gegebene Lesbarkeit, das sich an den Kontrastübergängen von Aufdruck und Nichtaufdruck, die letztendlich die Lesbarkeit bestimmen, festhält, ableitet. Nachteilig ist bei der ICOS-Produktbeschreibung, daß die beschriebene Einrichtung nicht direkt einen in der Aufnahme zu sehenden Spalt, der letztendlich zur Beurteilung der Koplanarität dient, auf dessen Breite hin vermißt, sondern den Ort eines erzeugten Schattens zu Vermessung benutzt. Der Ort des Schattens eines zu vermessenen Beinchens auf einer Grundfläche wird aber nicht nur durch dessen Abstand von dieser Grundfläche, auf der sich der Schatten abbildet, sondern auch von dem Ort des Beinchens über dieser Grundfläche sowie von der konkreten Form des Beinchens beeinflußt. Nachteilig an der beschriebenen Einrichtung ist gleichfalls, daß sie a-priori nicht die gleichfalls zu kontrollierende Schrift auf der Oberfläche des Objektes sieht und daß sie darüber hinaus mehrere einzelne Lichtquellen benötigt, um das für die Auswertung benötigte Schattenbild zu erzeugen. Das von der Trigon Adcotech beschriebene Koplanaritätskontrollgerät SMD9000 verwendet fünf CCD-Kameras zur Aufnahme der auszuwertenden Bilder zur Kontrolle der Koplanarität, wenigstens eine für jede Seitensicht. Nachteilig ist die Anzahl der benötigten Kameras sowie deren nicht aneinander gebundene Sichten.

Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zu schaffen, die es gestatten, strukturelle und/oder texturelle Inhalte in der Draufsicht und den Seitensichten von Objekten aus einer Sichtposition heraus zu prüfen.

Die Lösung dieser Aufgabe erfolgt erfindungsgemäß durch ein Verfahren und eine Vorrichtung mit den in Anspruch 1 bzw. 5 angegebenen Merkmalen.

Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den jeweiligen Unteransprüchen.

Weitere Einzelheiten und Vorteile von Ausführungsbeispielen der Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Verweis auf die angefügten Zeich nungen.

Fig. 1: Teilweise vereinfachter Gesamtaufbau einer Ausführungsform einer erfin dungsgemäßen Vorrichtung zum Prüfen von strukturellen und/oder texturellen Inhalten in Seitensichten und der Draufsicht von Objekten aus einer Sicht position unter Nutzung einer Aufnahmeeinrichtung sowie Auswerte- und Speichereinrichtung mit Bildverarbeitung und Bildauswertung.

Fig. 2: Beispiel eines Objektes mit aus einer Sichtposition aufgenommenen Seiten sichten und Draufsicht.

Fig. 3: Ein Ausschnitt einer Ausführungsform der Vorrichtung mit in den über die Strahlumlenkeinrichtungen auf die Seitensichten zwischen Aufnahmeeinrich tung und Strahlumlenkeinrichtungen in den Strahlengang eingebrachten Lin sensystemen zur Änderung des Detailliertheitsgrades in den Seitenan sichten.

Fig. 4: Ein Ausschnitt einer Ausführungsform der Vorrichtung mit vorteilhaft ange ordneten Beleuchtungseinrichtungen zur Erzeugung von Drauflicht und relativem Durchlicht.

Fig. 5: Draufsicht einer Ausführungsform einer Lichtstreueinrichtung mit Durchbruch.

Fig. 6: Darstellung des Intensitätsprofiles eines Spaltenschnittes zwischen einem Beinchen des Objektes und der Auflage.

Fig. 1 zeigt den Gesamtaufbau einer Ausführungsform einer erfindungsgemäßen Vorrichtung zum Prüfen von strukturellen und/oder texturellen Inhalten in den Seiten sichten und der Draufsicht von Objekten (1) aus einer Sichtposition unter Nutzung einer Aufnahmeeinrichtung (2) sowie Bildverarbeitung und Bildauswertung in einer nicht näher beschriebenen Auswerte- und Speichereinheit (6). Die Aufnahme einrichtung (2) nimmt ein Bild des Objektes (1) auf und leitet dieses Bild an eine nicht weiter ausgeführte Auswerte- und Speichereinrichtung (6), die ein Personalcomputer sein kann, weiter. Die Auswerte- und Speichereinrichtung (6) extrahiert mit an sich bekannten Methoden der Bildverarbeitung und Bildauswertung relevante Informa tionen und Parameter aus dem Bild und stellt diese für eine vergleichende Aus wertung bereit.

Eine typische Darstellung der durch die Aufnahmeeinrichtung (1) aufgenommenen und an die an die Auswerte- und Speichereinheit (6) weitergeleiteten Bilder zeigt das Bild im Sichtfeld (4) der Fig. 2, wobei in den Überlagerungsstrukturen (12) die Kennzeichnungen der für die Draufsicht (12a) bzw. für die Seitensichten (12b) ge nutzten Bereiche zu sehen sind. Zwischen den Beinchen des Objektes und der Auflage treten Spalten unterschiedlicher Breite auf (13). Der sich auf dem Objekt befindliche Aufdruck (14) hebt sich in seiner Intensität von der Intensität der Umgebung ab.

Die Fig. 3 zeigt ein Detail der Ausführungsform der Anordnung aus Fig. 1, bei der in den Strahlengang (9) zwischen der Aufnahmeeinrichtung (2) und den Bereichen der Seitensichten des Objektes (1) Linsensysteme (7), hier eine Linse, für die Änderung der Detailliertheit der Aufnahme in diesen Bereichen des Strahlenganges eingebracht sind.

Die Fig. 4 zeigt ein Detail der Ausführungsform der Anordnung aus Fig. 1, bei der vorteilhaft Beleuchtungseinrichtungen (8) zur Erzeugung von Drauflicht (8a) an der Oberfläche des Objektes (1) und zur Erzeugung von Durchlicht (8b) über eine Lichtstreueinrichtung (11) für die Seitensichten angeordnet sind.

Die Fig. 5 zeigt ein Detail der Ausführungsform Lichtstreueinrichtung (11) aus Fig. 4, bei der diese vorteilhaft durchbrochen ist.

Fig. 6 zeigt eine Splinekurve (15) für den Intensitätsverlauf in den Pixeln für einen der Spalte (13) zwischen Beinchen und Auflage, sowie die Fläche (16) unter der Splinekurve begrenzt durch die Anstiegspunkte (17), die zur Berechnung der Spaltbreite genutzt wird.

Bezugszeichenliste

1

Objekt

2

Aufnahmeeinrichtung

3

Sichtwinkel

4

Sichtfeld

5

Strahlumlenkeinrichtungen

6

Auswerte- und Speichereinrichtung

7

Linsensysteme

8

a Beleuchtungseinrichtung für Drauflicht

8

b Beleuchtungseinrichtung für relatives Durchlicht

9

Strahlengang

10

Objektteil (Beinchen)

11

Lichtstreueinrichtung

12

a Überlagerungsstruktur für die Draufsicht

12

b Überlagerungsstruktur für die Seitensichten

13

Spalte zwischen Objektbeinchen und Auflage

14

Schriftaufdruck auf einem Objekt

15

Splinekurve

16

Fläche

17

Anstiegspunkte

Claims

1. Verfahren zur gleichzeitigen Prüfung von geometrischen und/oder texturellen Erscheinungsstrukturen in den Seitensichten und in der Draufsicht von Objekten unter Nutzung einer Bildaufnahmeeinrichtung sowie Auswerte- und Speicherein heit, Bildverarbeitung und Bildauswertung mit den weiteren Merkmalen, daß

- von der Struktur und/oder von der Textur in den Seitensichten sowie in der Draufsicht Informationen aufgenommen werden und damit bildlich gleichzeitig zur Verfügung stehen, die zur einer Aussage über den Zustand des Objektes herangezogen werden können,
- von dem Objekt mindestens ein Bild, in dem gleichzeitig sowohl die Seiten sichten als auch die Draufsicht enthalten sind, aufgenommen wird,
- das aufgenommene Bild verarbeitet und ausgewertet wird derart, daß die sichtbaren strukturellen und texturellen Charakteristika des Objektes sichtbe zogen abgeleitet und zu einem Vergleich mit vorgegebenen Parametern und damit zu einer Qualitätsbeurteilung des Objektes herangezogen werden kön nen.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß in dem durch die Bildaufnahmeeinrichtung aufgenommenen Bild Bereiche durch die Auswerte- und Speichereinheit so positioniert und gekennzeichnet werden, daß sie den einzelnen Sichten auf das Objekt zugeordnet werden können.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Szene aus Sicht der Aufnahmeeinrichtung ohne Objekt aufgenommen und in der Auswerte- und Speichereinrichtung zu Vergleichs- und Kalibrier zwecken ausgewertet und abgelegt wird.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Szene aus Sicht der Aufnahmeeinrichtung mit einem vorgegebenen, in seinen Erscheinungsparametern bekannten Objekt aufgenommen und in der Auswerte- und Speichereinrichtung zu Vergleichs- und Kalibrierzwecken ausge wertet und abgelegt wird.

5. Verfahren nach den Ansprüchen 1, 2 und 4, dadurch gekennzeichnet, daß in den einzelnen Bereichen, die den Seitensichten auf das Objekt zugeord net sind, in den verfügbaren Bildinformationen durch Analyse der Grauwertver teilungen die Orte (Beinchen), an denen das Objekt der Unterlage sehr nahe kommt, gesucht werden und nachfolgend die Lichtmenge, die zwischen Objekt und Unterlage hindurchtritt und sich in den Bildpunkten als Intensitätswert nie derschlägt, unter Nutzung dieser Intensitätswerte, der die Spaltweite charakteri sierende Lichtmengenverlauf, der nach einer mathematischen Vorschrift unter Nutzung von Kalibrierinformation in eine Spaltweite umgerechnet wird, bestimmt wird.

6. Verfahren nach den Ansprüchen 1 und 5, dadurch gekennzeichnet, daß die Vorschrift für die Umrechnung eines Intensitätsverlaufes zwischen Objekt und Auflage auf Basis einer Splineapproximation, der Bestimmung von Anstiegs werten sowie der Kalibrierung so erfolgt, daß ein Flächenanteil unter der Spline kurve den Wert der Spaltweite zwischen Objekt und Auflagefläche bestimmt.

7. Verfahren nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, daß in dem gekennzeichneten Objektbereich, der die Draufsicht auf das Objekt betrifft, über an sich bekannte Faltungsfilter der Bildverarbeitung, Bereiche mit starken lokalen Intensitätsunterschieden hervorgehoben, gesucht und in ihren geometrischen Abmaßen quantifiziert werden.

8. Verfahren nach den Ansprüchen 1, 2 und 7, dadurch gekennzeichnet, daß die Quantifizierung der Information in den geometrischen Bereichen mit ge gebenen Werten verglichen und nachfolgend Qualitätsaussagen für die beob achteten Objekte abgeleitet werden.

9. Vorrichtung zur gleichzeitigen Prüfung von strukturellen, geometrischen und/oder texturellen Erscheinungsstrukturen in den Seitensichten und in der Draufsicht von Objekten unter Nutzung einer Aufnahmeeinrichtung sowie Auswerte- und Speichereinheit, Bildverarbeitung und Bildauswertung mit den weiteren Merkma len, daß das Objekt (1) derart unter einer Aufnahmeeinrichtung (2) positioniert wird, daß das Objekt (1) nur einen Teilbereich des durch den Sichtwinkel (3) be stimmten Sichtfeldes (4) der Aufnahmeeinrichtung (2) ausfüllt, so daß in den ver bleibenden Bereichen des Sichtfeldes (4) Strahlumlenkeinrichtungen (5) ange ordnet sind, die Seitensichten auf das Objekt (1) zulassen, daß die Aufnahme einrichtung (2) ein Bild des Sichtfeldes (4), in dem die strukturellen und texturel len Informationen der Sichten des Objektes (1) enthalten sind, aufnimmt und an die Auswerte- und Speichereinrichtung (6) weiterleitet, in der die enthaltenen In formationen so in ihrer Eigenschaften bestimmt werden, daß sie zu einer Beur teilung des Zustandes des Objektes (1) dienen können.

10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß im Sichtfeld (4) der Aufnahmeeinrichtung (2) Strahlumlenkeinrichtungen (5) so positioniert sind, daß sie die Draufsicht auf das Objekt (1) nicht beeinflussen, aber die Seitensichten auf das Objekt (1) zulassen.

11. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die im Sichtfeld (4) der Aufnahmeeinrichtung (2) angeordneten Strahlum lenkeinrichtungen (5) durch Spiegel, die fest angeordnet oder auch verstellbar sein können, realisiert sind.

12. Vorrichtung nach Anspruch 9 und Anspruch 11, dadurch gekennzeichnet, daß die die Strahlumlenkeinrichtung (5) realisierenden Spiegel gekrümmte Ober flächen haben.

13. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Strahlumlenkeinrichtungen (5) mit Hilfe von Glasfaserbündeln realisiert sind.

14. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Strahlumlenkeinrichtungen (5) durch Prismen in Höhe der Objektauf lageebene realisiert sind.

15. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß in den Strahlengang (9) der Aufnahmeeinrichtung (2), der auf die Strahlum lenkeinrichtungen (5) gerichtet ist, vor oder hinter den Strahlumlenkeinrichtungen (5) Linsensysteme (7) eingebracht sind, die Teile der Seitensichten in ihrer De tailliertheit aus Sicht der Aufnahmeeinrichtung (2) ändern.

16. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Aufnahme der Seitensichten durch genau eine einzige geeignete Be leuchtungseinrichtung (8a) unterstützt wird, die vorteilhaft Freiräume in der Geo metrie des Objektes (1) so nutzt, daß sie aus Sicht der Strahlumlenkeinheiten (5) hinter Objektteilen angeordnet ist.

17. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die die Aufnahmen der Seitensichten unterstützende Beleuchtungseinrichtung (7) vorteilhaft mit einer Lichtstreueinrichtung (11), die einen gleichmäßigen Licht fluß unter dem Objekt (1) hervorruft, ergänzt ist.

18. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Lichtstreueinrichtung (11) so durchbrochen ist, daß die Freiräume die Sicht auf die Unterseite des Objektes zulassen.

19. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß für die Aufnahme der Draufsicht eine weitere geeignete Beleuchtungsein richtung (8b), die geeignet über dem Objekt angeordnet ist und damit eine vor teilhafte Beleuchtung für die Draufsicht erzeugt, angeordnet wird.

20. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Strahlumlenkungseinrichtungen so in der Höhe der Objektauflageebene angeordnet sind, daß eine Sicht parallel zur Auflageebene gegeben ist und die Vorrichtung dadurch für Koplanaritätsmessungen eingesetzt werden kann.