DE10128722C1 - Vorrichtung zur Kontrolle von Objekten - Google Patents

Abstract

Die Erfindung betrifft eine Vorrichtung zur Kontrolle von Objekten (1), die in einer Vorzugsrichtung (3) bewegt werden. Eine Bildverarbeitungseinrichtung (13) ist derart ausgebildet, dass aufgenommene Bilder zunächst einer groben Bildauswertung unterzogen werden, in welcher der jeweilige Versatz gegenüber dem zuletzt genauer ausgewerteten Bild ermittelt wird, und dass dasjenige Bild als nächstes zur Kontrolle eines Objekts (1) genauer ausgewertet wird, dessen Versatz einen vorgegebenen Maximalwert überschreitet. Dadurch entfällt ein externer Trigger, beispielsweise eine Lichtschranke, zum Starten der Bildverarbeitung.

Description

Die Erfindung betrifft eine Vorrichtung zur Kontrolle von Objekten, die in einer Vorzugsrichtung, insbesondere auf einem Fließband, bewegt werden, nach dem Oberbegriff des Anspruchs 1. Eine solche Vorrichtung ist aus der WO 99/63484 A1 bekannt.

Aus der DE 197 40 050 A1 ist eine Vorrichtung zur Kontrolle von länglichen Objekten, insbesondere der Endbereiche von elektrischen Leitern, die mit großer Geschwindigkeit quer zu ihrer Längserstreckung bewegt werden, bekannt. Bei dieser Vorrichtung wird mit einer Bildaufnahmeeinrichtung eine Bild­ aufnahme von einem zu kontrollierenden Bereich des Objekts gemacht. Da die Bildaufnahme genau dann erfolgen muss, wenn das zu kontrollierende Objekt sich gerade im Bildaufnahme­ bereich befindet, wird aufgrund der Geschwindigkeit des zu kontrollierenden Objektes eine relativ genaue Zeitsteuerung des Auslösezeitpunktes der Bildaufnahmeeinrichtung benötigt. Zur Auslösung der Bildaufnahme wird eine Lichtschranke ver­ wendet, deren Lichtstrahl bei Durchtreten eines zu kontrol­ lierenden Objekts unterbrochen wird. Damit bei unterschied­ lichen Ausführungsformen zu kontrollierender Objekte keine Umjustierung der Lichtschranke erfolgen muss, ist diese Lichtschranke mit der Bildaufnahmeeinrichtung mechanisch gekoppelt. Die optischen Achsen der Bildaufnahmeeinrichtung und der Positionserkennungseinrichtung sind gleich. Die Ver­ wendung einer Lichtschranke zur Positionserkennung hat jedoch den Nachteil, dass Teile der Lichtschranke auf beiden Seiten des zu kontrollierenden Objekts angeordnet werden müssen. Beispielsweise wird auf der einen Seite ein Lichtsender und auf der gegenüberliegenden Seite ein Lichtempfänger be­ festigt, um zu detektieren, zu welchem Zeitpunkt ein Objekt den Lichtpfad zwischen den beiden Teilen unterbricht und die Aufnahme eines Bildes ausgelöst werden muss. Ein weiterer Nachteil ist darin zu sehen, dass der Lichtpfad zwischen Sender und Empfänger vor einer Unterbrechung durch das zu kontrollierende Objekt frei sein muss. Das ist jedoch nur der Fall, wenn zwischen den zu kontrollierenden Objekten ein aus­ reichender Abstand eingehalten wird und es durch eine geeig­ nete Anordnung der Lichtschranke zur Lage der sich bewegenden Objekte sichergestellt werden kann, dass der Lichtpfad zwi­ schen Lichtsender und -empfänger zumindest kurzzeitig zwi­ schen zwei aufeinander folgenden Objekten geschlossen wird. Diese Bedingung kann beispielsweise nicht eingehalten werden, wenn auf einem Förderband zu kontrollierende Objekte wechsel­ weise gegeneinander versetzt transportiert werden.

Aus der o. g. WO 99/63484 A1 ist eine Vorrichtung zur Kontrolle von Objekten, die auf einem Fließband bewegt werden, bekannt. Die Vorrichtung weist eine Einrichtung zur Aufnahme eines Bildes eines zu kontrollierenden Objekts und eine Bildverarbeitungs­ einrichtung auf, in welcher die aufgenommenen Bilder zunächst einer groben Bildauswertung unterzogen werden.

Auch aus der DE 44 07 376 A1 ist eine Vorrichtung gemäß dem Oberbegriff des Anspruchs 1 bekannt. Es handelt sich um ein Echtzeit-Bildverarbeitungs­ system, bei welchem zusätzlich Anfang und Ende eines Objekts erkannt werden.

Aus der EP 0 619 551 A2 sind ein Verfahren und eine Vorrich­ tung zum Bestimmen des Versatzes zwischen zwei Bildern be­ kannt.

Aus der DE 37 40 066 C1 ist eine Einrichtung zur Auffindung und Lokalisierung eines Bildausschnittes in einem Gesamtbild mittels adaptiver Vorverarbeitung bekannt.

Aus der EP 0 217 456 A1 ist es bekannt, in einer Vorrichtung zur Kontrolle von Objekten eine Bildaufnahmeeinrichtung mit einem CCD-Sensor zu verwenden.

Aus der DE 32 25 061 C2 ist eine Röntgendiagnostikeinrichtung mit einer Matrix von Fotosensoren bekannt, deren Summensignal ermittelt wird. Beliebige Anordnungen der Fotosensoren, also auch Zeilen, können ausgewertet werden.

Aus der DE 199 14 115 A1 sind ein Verfahren und ein System zur Fehleranalyse bei Wafern bekannt, in welchem vor einer Bilderkennung eine Bildvorverarbeitung durchgeführt wird.

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung zur Kontrolle von Objekten zu schaffen, die sich durch eine verbesserte Sicherheit der Auslösung einer Bildaufnahme bei größerer Unabhängigkeit von der jeweiligen Anordnung zu kon­ trollierender Objekte auszeichnet.

Zur Lösung dieser Aufgabe weist die neue Vorrichtung der ein­ gangs genannten Art die im kennzeichnenden Teil des An­ spruchs 1 angegebenen Merkmale auf. In den Unteransprüchen sind vorteilhafte Weiterbildungen der Erfindung beschrieben.

Die Erfindung hat den Vorteil, dass für die Auslösung einer Bildaufnahme keine externe, d. h. außerhalb der Bildaufnahme­ einrichtung angeordnete, Auslöseeinrichtung erforderlich ist. Die optischen Geräte der Vorrichtung zur Kontrolle von Ob­ jekten können ausschließlich auf einer Seite der Linie, ent­ lang welcher die Objekte an der Kontrollvorrichtung vorbei­ bewegt werden, montiert werden. Eine Anordnung verschiedener Teile auf einander gegenüberliegenden Seiten, wie es bei einer Lichtschranke der Fall wäre, ist nicht erforderlich. Entsprechend entfällt auch die Justage derartiger Komponen­ ten. Somit reduzieren sich die Kosten für die Anschaffung und Inbetriebnahme der neuen Vorrichtung zur Kontrolle von Ob­ jekten. Aufgrund der genauen Kenntnis des Versatzes zwischen zwei aufeinander folgenden, zur Objektkontrolle ausgewerteten Bildern ist die neue Vorrichtung zudem sehr gut zum Zählen von Objekten geeignet, da mit der Kenntnis des Versatzes auch der Überlappungsbereich der Bilder bekannt ist. Die Objekt­ kontrolle ist unabhängig von der Anzahl der sich gleichzeitig in einem aufgenommenen Bild befindenden Objekte anwendbar. Die Auslösung der Bildverarbeitung erfordert keinerlei Ab­ stand zwischen den Objekten und keinerlei besondere Anordnung der Objekte auf einem Fließband. Die neue Vorrichtung ist somit vielseitig einsetzbar.

Für die Berechnung der eindimensionalen Korrelation ergibt sich in vorteilhafter Weise ein geringer Rechenaufwand, wenn die Bildaufnahmeeinrichtung einen CCD-Sensor mit in einem rechtwinkligen Feld angeordneten CCD-Zellen enthält und eine Achse des CCD-Zellenfeldes zumindest näherungsweise parallel zur Vorzugsrichtung der Objektbewegung ausgerichtet ist. Mit einer eindimensionalen Korrelation im Bildüberlappungsbereich ist eine genaue und funktionssichere Ermittlung des Versatzes zwischen zwei Bildern möglich. Die Ermittlung des Versatzes mit Korrelation stellt keinerlei Anforderungen an die Anord­ nung der Objekte auf dem Fließband; Voraussetzung ist ledig­ lich eine sich beim Vorbeibewegen der Objekte ändernde Helligkeit, damit ein Maximum in der Korrelationsfunktion bestimmbar ist. Dies stellt aber eine für den Einsatz einer Bildverarbeitung zur Objektkontrolle häufig erfüllte Be­ dingung dar.

Zur Ermittlung des Versatzes zweier Bilder kann die Korre­ lation der Verteilung der Summenhelligkeiten jeweils der senkrecht zur Vorzugsrichtung verlaufenden Spalten des CCD- Zellenfeldes im einen Bild und der Verteilung der Summen­ helligkeiten jeweils der senkrecht zur Vorzugsrichtung ver­ laufenden Spalten des CCD-Zellenfeldes im anderen Bild be­ rechnet werden. Das hat den Vorteil, dass eine Verbesserung der Genauigkeit bei der Berechnung des Versatzes erreicht wird, da auf diese Weise ein markantes Maximum in der ein­ dimensionalen Korrelation erhalten wird.

Der Versatz kann in vorteilhafter Weise so bestimmt werden, dass sich ein zu kontrollierendes Objekt in dem zur Kontrolle des Objekts verwendeten Bild in einer für die Kontrolle be­ vorzugten Lage, beispielsweise an einem im Wesentlichen glei­ chen Ort wie beim Lernen eines Referenzobjektes, befindet. Dadurch können perspektivische Fehler vermieden werden, die andernfalls entstehen könnten, wenn die perspektivischen An­ sichten beim Lernen der Sollmerkmale eines Objekts und beim Kontrollieren dieser Merkmale voneinander abweichen. Dazu kann in einfacher Weise in dem Fall, dass in dem zuletzt aus­ gewerteten Bild die Lage eines spezifischen Merkmals eines Objekts, insbesondere die Lage einer Kante eines das Objekt umschreibenden Rechtecks, bestimmt wurde, als Maximalwert des Versatzes der Wert vorgegeben werden, der dem Abstand zwi­ schen der erkannten Lage des Merkmals und einer vorgegebenen, zur Kontrolle des Objekts bevorzugten Lage des Merkmals ent­ spricht.

Weniger als die halbe Bildbreite als den Maximalwert des Ver­ satzes vorzugeben hat den Vorteil, dass für die Berechnung der eindimensionalen Korrelation ein ausreichender Über­ lappungsbereich zweier Bilder gewährleistet ist. Damit ist zudem die Sicherheit der eindeutigen Identifizierbarkeit und der Kontrollierbarkeit der Objekte verbessert, da Objekte bis zu einer gewissen Größe zumindest auf einem zur Kontrolle des Objekts ausgewerteten Bild vollständig abgebildet werden.

Anhand der Zeichnungen, in denen Ausführungsbeispiele der Erfindung dargestellt sind, werden im Folgenden die Erfindung sowie Ausgestaltungen und Vorteile näher erläutert.

Es zeigen:

Fig. 1 ein Blockschaltbild einer Vorrichtung zur Kontrolle von Objekten und

Fig. 2 eine Draufsicht auf ein Fließband mit verschiedenen Bildausschnitten.

In Fig. 1 ist ein Blockschaltbild einer Vorrichtung zur Kontrolle von Objekten 1 dargestellt, die mit Hilfe einer Bildverarbeitung erfolgt. Durch ein Fließband 2 werden die Objekte 1 in Laufrichtung des Fließbands 2, die durch einen Pfeil 3 angedeutet ist, an einer Bildaufnahmeeinrichtung 4, die zur Aufnahme zumindest jeweils eines Bildes der zu kon­ trollierenden Objekte dient, vorbeigeführt. Die Bildaufnahme­ einrichtung 4 besteht im Wesentlichen aus einem Objektiv 5 und einem CCD-Sensor 6, auf welchem die Objekte 1 abgebildet werden. Der CCD-Sensor 6 liefert dem aufgenommenen Bild ent­ sprechende Signale 7, die in einem Bildspeicher 8 abgelegt werden. Das im Bildspeicher 8 hinterlegte Bild wird sowohl einer groben Bildauswertung 9 als auch einer genaueren Bild­ auswertung 10 zur Kontrolle der Objekte zugeführt. Bei der groben Bildauswertung 9 wird der jeweilige Versatz eines im Bildspeicher 8 hinterlegten Bildes gegenüber dem zuletzt zur Kontrolle eines Objekts ausgewerteten Bild, von welchem zu­ mindest die hierzu erforderlichen Informationen in der groben Bildauswertung 9 hinterlegt sind, ermittelt. In der genaueren Bildauswertung 10 wird dasjenige Bild als nächstes zur Kon­ trolle eines Objekts ausgewertet, dessen Versatz gegenüber dem zuletzt zur Kontrolle eines Objekts ausgewerteten Bild einen vorgegebenen Maximalwert 11 des Versatzes gerade über­ schreitet. Dies wird in der groben Bildauswertung 9 fest­ gestellt, die ein Signal 12 erzeugt, das zur Auslösung einer genaueren Bildauswertung 10 dient. Die genauere Bildauswer­ tung 10 liefert ein Signal 17, das eine Information über die jeweilige Qualität der zu kontrollierenden Objekte 1 enthält. Anhand dieses Signals 17 können weitere Maßnahmen in einer fertigungstechnischen Anlage abgeleitet werden, beispiels­ weise das Aussortieren defekter Objekte. Weiterhin wird durch die genauere Bildauswertung 10 der Maximalwert 11 des Ver­ satzes berechnet, um welchen das als nächstes einer genaueren Bildauswertung zu unterziehende Bild gegenüber dem zuletzt ausgewerteten verschoben sein darf. Dieser Versatz kann der­ art bestimmt werden, damit sich Objekte 1 auf dem im Bild­ speicher 8 abgelegten Bild möglichst in einer für die genaue­ re Bildauswertung 10 bevorzugten Lage befinden. Die bevor­ zugte Lage kann beispielsweise durch die Lage eines Referenz­ objektes beim Lernen der Sollmerkmale der Objekte 1 bestimmt sein.

Alternativ zu der beschriebenen Ausgabe eines Signals, das eine Information über die Qualität der Objekte liefert, oder ergänzend zu dessen Ausgabe kann selbstverständlich auch die mit der Kontrollvorrichtung erfasste Anzahl bereits vorbei­ bewegter Objekte ausgegeben werden.

Bildspeicher 8, grobe Bildauswertung 9 sowie genauere Bild­ auswertung 10 können insgesamt als Bildverarbeitungseinrich­ tung 13 bezeichnet werden, wie es in Fig. 1 mit durchbroche­ nen Linien angedeutet ist. Die praktische Realisierung einer derartigen Bildverarbeitungseinrichtung kann beispielsweise mit einer Recheneinheit, einem zugeordneten Speicher zur Ab­ speicherung aufgenommener Bilder und einem Speicher für ein geeignetes Bildverarbeitungsprogramm erfolgen.

In Fig. 2 sind drei Draufsichten 22, 23 und 24 auf ein Förderband mit einer oberen Kante 20 und einer unteren Kante 21 dargestellt. Die Lage zu aufeinander folgenden Zeitpunkten aufgenommener Bilder B1, B2 und B3 ist jeweils durch ein Rechteck markiert. Auf dem abgebildeten Ausschnitt des Fließ­ bands befinden sich kleinere zylinderförmige Objekte 26 . . . 30, ein kleineres hohlzylinderförmiges Objekt 31 sowie drei größere hohlzylinderförmige Objekte 32, 33 und 34, die in der praktischen Realisierung in einer durch den Lauf des Fließ­ bands bestimmten Vorzugsrichtung am Aufnahmebereich einer in Fig. 2 nicht dargestellten Bildaufnahmeeinrichtung vorbei­ bewegt werden. Diese Relativbewegung ist zur besseren Ver­ ständlichkeit als eine Bewegung des Bildaufnahmebereichs von rechts nach links dargestellt. Tatsächlich werden jedoch die Objekte 26 . . . 34 auf dem Fließband von links nach rechts bewegt, während die Bildaufnahmeeinrichtung feststeht. Dar­ gestellt sind in Fig. 2 lediglich die Bilder B1, B2 und B3, die zur Kontrolle der Objekte einer genaueren Bildauswertung unterzogen werden. Zwischen der Aufnahme dieser Bilder werden selbstverständlich weitere Bilder aufgenommen. Diese werden jedoch lediglich einer groben Bildauswertung unterzogen, in welcher der jeweilige Versatz gegenüber dem zuletzt zur Kontrolle eines Objekts ausgewerteten Bild ermittelt wird. Zur Verdeutlichung ist in Fig. 2 ein Versatz X12 zwischen den Bildern B1 und B2 sowie ein Versatz X23 zwischen den Bildern B2 und B3 eingezeichnet.

Im Folgenden soll beschrieben werden, auf welche Weise der Versatz zwischen zwei Bildern bestimmt werden kann. Die Bild­ aufnahmeeinrichtung enthält einen CCD-Sensor mit einem recht­ winkligen Feld von CCD-Zellen, dessen Zeilen entsprechend einer Achse A1 im Wesentlichen parallel zur Vorzugsrichtung der Objektbewegung angeordnet ist. In einem Überlappungs­ bereich U12, der in den beiden Bildern B1 und B2 enthalten ist und dessen Breite sich aus dem Maximalwert des vorgegebe­ nen Versatzes X12 zwischen den beiden Bildern B1 und B2 er­ gibt, werden die Helligkeitswerte der Zellen, die in der­ selben rechtwinklig zur Vorzugsrichtung verlaufenden Spalte des CCD-Zellenfeldes angeordnet sind, aufsummiert. Auf diese Weise erhält man eine Verteilung der Summenhelligkeiten ent­ lang der parallel zur Vorzugsrichtung verlaufenden Zeile über dem Überlappungsbereich U12. Zwischen der Verteilung der Summenhelligkeiten im gerade aufgenommenen Bild und der Ver­ teilung der Summenhelligkeiten in dem Bild, das zuletzt zur Kontrolle von Objekten ausgewertet wurde, wird eine eindimen­ sionale Korrelationsfunktion entlang der Zeile berechnet. Die Lage des Maximums in dieser Korrelationsfunktion bestimmt die Größe des aktuellen Versatzes zwischen dem gerade aufgenomme­ nen Bild und dem letzten Bild, das einer genaueren Bild­ auswertung unterzogen wurde. Ist der Versatz größer oder gleich einem vorgegebenen Maximalwert, beispielsweise gleich dem Versatz X12, so wird das gerade aufgenommene Bild, bei­ spielsweise das Bild B2, als nächstes zur Kontrolle eines Objekts einer genaueren Bildauswertung unterzogen.

Bei der genaueren Auswertung des Bildes B2 wird das Objekt 31 als ein Objekt erkannt, dessen Merkmale mit den zuvor erlern­ ten Merkmalen eines Referenzobjekts verglichen werden sollen. Damit dieser Vergleich nicht durch Änderungen der Perspektive verfälscht wird, soll er anhand eines Bildes durchgeführt werden, dessen Perspektivansicht des Objekts 31 möglichst nicht von der zum Erlernen der Merkmale verwendeten abweicht. Um dies zu erreichen, wird bei der genaueren Auswertung des Bildes B2 die Lage einer linken Kante 39 eines das Objekt 31 umschreibenden Rechtecks 40 bestimmt. Der Maximalwert des Versatzes X23 zwischen dem nächsten Bild B3, das zur Kon­ trolle des Objekts 31 genauer ausgewertet wird, und dem Bild B2 wird nun so vorgegeben, dass sich in dem Bild B3 die linke Kante 39 in demselben Bildbereich befindet, in welchem auch die Sollmerkmale des Referenzobjekts erlernt wurden. Perspek­ tivische Fehler werden somit vermieden.

Anhand des gezeigten Ausführungsbeispiels wird deutlich, dass es die Vorrichtung zur Kontrolle von Objekten erlaubt, auch dann objektsynchron zu arbeiten, wenn mehr als ein Objekt im Bild sichtbar sind. Es kann zudem in einfacher Weise ver­ mieden werden, dass ein und dasselbe Objekt mehrfach aus­ gewertet wird. Damit wird eine Zählfunktion am Fließband realisierbar, die eine Doppelzählung oder Auslassung von Objekten zuverlässig vermeidet.

Claims (5)

1. Vorrichtung zur Kontrolle von Objekten, die in einer Vor­ zugsrichtung, insbesondere auf einem Fließband (2), bewegt werden,
mit einer Bildaufnahmeeinrichtung (4) zur Aufnahme eines Bildes eines zu kontrollierenden Objekts (1) und
mit einer Bildverarbeitungseinrichtung (13), die derart ausgebildet ist, dass die mit der Bildaufnahme­ einrichtung (4) aufgenommenen Bilder (B1, B2, B3) zunächst einer groben Bildauswertung (9) unterzogen werden,
dadurch gekennzeichnet,
dass in der groben Bildauswertung (9) der jeweilige Versatz (X12, X23) gegenüber dem zuletzt zur Kontrolle eines Objekts ausgewerteten Bild (B1, B2) ermittelt wird und
dass dasjenige Bild (B2, B3) als nächstes zur Kontrolle eines Objekts (1) genauer ausgewertet wird, dessen Versatz gegenüber dem zuletzt zur Kontrolle eines Objekts aus­ gewerteten Bild (B1, B2) einen vorgegebenen Maximalwert des Versatzes (X12, X23) gerade überschreitet.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeich­ net,
dass die Bildaufnahmeeinrichtung (4) einen CCD-Sensor (6) mit in einem rechtwinkligen Feld angeordneten CCD-Zellen enthält,
dass eine Achse (A1) des CCD-Zellenfeldes zumindest nähe­ rungsweise parallel zur Vorzugsrichtung (3) der Objekt­ bewegung ausgerichtet ist und
dass zur Ermittlung des Versatzes zweier Bilder eine ein­ dimensionale Korrelation im Bildüberlappungsbereich (U12, U23) berechnet wird.

3. Vorrichtung nach Anspruch 2, dadurch gekennzeich­ net, dass zur Ermittlung des Versatzes zweier Bilder die Korrelation der Verteilung der Summenhelligkeiten jeweils der senkrecht zur Vorzugsrichtung verlaufenden Spalten des CCD- Zellenfeldes im einen Bild und der Verteilung der Summen­ helligkeiten jeweils der senkrecht zur Vorzugsrichtung ver­ laufenden Spalten des CCD-Zellenfeldes im anderen Bild be­ rechnet wird.

4. Vorrichtung nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, dass in dem Fall, dass in dem zuletzt ausgewerteten Bild (B2) die Lage eines spezifischen Merkmals eines Objekts (31), insbesondere die Lage einer Kante (39) eines das Objekt (31) umschreibenden Rechtecks (40), bestimmt wurde, als Maximalwert des Versatzes (X23) der Wert vorgegeben wird, der dem Abstand zwischen der erkannten Lage des Merkmals und einer vorgegebenen Lage des Merkmals entspricht.

5. Vorrichtung nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, dass der vorgegebene Maximalwert des Versatzes weniger als die halbe Bildbreite beträgt.