DE4343058A1 - Multisensorielle Kamera für die Qualitätssicherung - Google Patents

Description

Zahlreiche bahnförmig produzierte Produkte wie Holz, Textilbahnen, im Schüttstrom produzierte Lebensmittel aber auch Plastikabfälle etc. werden mit Hilfe von Kameras und angeschlossenen Bildverarbeitungsrechner auf ihre Qualität hin untersucht und sortiert. Hierbei werden oft Zeilen- oder Matrixkameras angewandt, wobei die Bildverarbeitung sich auf die Verarbeitung der Signale von s/w Kameras oder von Farbkameras beschränkt. Es gibt aber zahlreiche Situationen, wo die Information, welche lediglich aus einem Grauwert oder aus einem Farbbild gewonnen werden kann, nicht ausreicht, um eine deutliche Qualitätsaussage zu treffen. So ist es z. B. nötig, zur Kontrolle von körnigen Lebens- und Futtermitteln, von Kunststoffgranulaten oder ähnlichen auf einem Band oder auf einer Rutsche geführten Produkte diese mit Hilfe der Bildverarbeitung vom Hintergrund zu segmentieren, um ihre Sollgröße ausmessen zu können. Solange sich die Produkte nicht berühren und der Hintergrund sich in einem Grauwert- oder Farbkontrast zu dem Produkt selber unterscheidet, sind Methoden der Bildverarbeitung bekannt, welche in der Lage sind automatisch den Rand dieser Produkte zu ermitteln und anhand dieser Kontur und der eingeschlossenen Fläche Qualitätsmerkmale wie Größe, ungestörte Oberfläche usw. automatisch zu ermitteln. MASSEN hat in der Patentanmeldung P 43 37 125.6 "Optische Inspektion von Schüttstrom-Produk­ ten" ein System vorgestellt, bei welchem zusätzlich zu einer s/w- oder Farbkamera ein besonderer bildgebender 3D Sensor verwendet wird, mit dem ein Höhenbild aus den Schüttstromprodukten gewonnen wird, aus welchem auch dann noch die Ränder der Produkte zu ermitteln sind, wenn sie sich so berühren, daß der Hintergrund nicht mehr sichtbar ist.

In anderen Fällen wie z. B. bei der Untersuchung von Kunststoffabfällen, welche im Schüttstrom transportiert werden, muß das Vorhandensein von Restinhalten detektiert werden. Es ist z. B. zwingend nötig zu erkennen, ob sich in Mineralölflaschen noch Ölreste befinden, da diese getrennt entsorgt werden müssen und nicht zusammen mit den anderen Kunststoffen granuliert werden dürfen. Hierzu können durchdringende Verfahren wie z. B. die bildgebende Röntgensysteme oder durchstrahlende Mikrowellensysteme mit einer bildgebenden Detektion der lokalen Transmissionsverluste eingesetzt werden. Wichtig ist besonders bei der optischen Sortierung von Kunststoffabfällen, daß die Kunststoffe nach Farbe und Stoffsorte sortiert werden. Hierzu können z. B. neben Farbkameras bildgebende NIR-Spektroskopiesensoren oder ähnlich, auf die Materialeigenschaften ansprechende bildgebende Sensoren eingesetzt wer­ den.

In der Regel sind solche unterschiedlichen Sensoren getrennt voneinander auf­ gebaut, so daß es schwierig ist die einzelnen Signale der einzelnen Sensoren so miteinander zu verknüpfen, daß die überlagerten Bildpunkte aller eingesetzten Sensoren den gleichen Stellen des beobachteten Gutes entsprechen. Dies ist insbesondere dann kaum möglich, wenn das zu beobachtende Gut z. B. in Form eines Schüttstromes mit einer variablen und wenig bekannten Geschwindigkeit auf einer Rutsche beobachtet werden muß. Nur bei einer entsprechenden Zuord­ nung der sich entsprechenden Bildpunkte aller unterschiedlichen Sensoren ist es möglich, durch eine Klassifikation der von jedem Sensor pro Bildpunkt geliefer­ ten Signalen in einem mehrdimensionalen Bildpunktklassifikator eine robuste Segmentierung und Identifikation durchzuführen. Dies trifft umso stärker zu, je kleiner die zu beobachtenden Produkte und je weniger bekannt ihre Geschwin­ digkeit und aktuelle Raumlage ist.

Als typisches Anwendungsbeispiel sei die automatische Sortierung von Abfall in geshredderter Form genannt. In einem solchen Schüttstrom befinden sich Metall und Kunststoffabfälle gemischt; diese sind nur durch die Kombination von Farbbildverarbeitung, bildgebender Metalldetektion (z. B. durch Röntgen­ kameras) und bildgebender NIR-Spektroskopie (zur Erkennung der Kunststoff­ sorte) zu erreichen. Da solche Abfälle ungeordnet als Schüttstrom über Rutschen oder Förderbänder geführt werden, ist derzeit die optische Sortierung durch gleichzeitigen Einsatz vieler bildgebender Sensoren mit unterschiedlichem physi­ kalischen Meßprinzip noch nicht möglich.

Erfindungsgemäß wird diese Aufgabe dadurch gelöst, daß in einem gemeinsamen Strahlengang alle oder eine Untermenge von bildgebenden Sensoren mit unter­ schiedlichem Meßprinzip wie schwarz/weiß Kamera, Farbkamera, bildgebende 3D-Sensor, bildgebender durchdringender Sensor, bildgebender Stoffsensor alle zusammen so angeordnet sind, daß sie gleiche Bildpunkte des zu erfassenden Produktes beobachten. Ein weiterer Erfindungsgedanke ist es, die einzelnen Sensoren mechanisch und optisch zueinander so zu verankern, daß die von jedem Sensor beobachteten Bildpunkte in einem wohlbekannten geometrischem Abstand zu den Bildpunkten der anderen Sensoren liegen und durch zeitlich ver­ setztes Auslesen synchronisiert werden.

Ein weiterer Erfindungsgedanke ist es, die Bildsignale dieser Sensoren bildpunktweise mit Hilfe eines multisensoriellen Klassifikators zu einem Klassenbild zu verdichten. Unter einem Klassenbild versteht man ein Bild, bei welchem jedem Bildpunkt ein Klassencode zugeordnet ist, d. h. die Zugehörigkeit zu einer vorher gelernten Klasse bezeichnet.

Es sind aus der Patentanmeldung von MASSEN DE 36 39 636 A1 "Automatische Inspektion von Textilbahnen" Verfahren bekannt wie Klassenbilder mit Hilfe von lernfähigen Tabellen erzeugt werden, so daß in Video-Echtzeit aus einem mehrdimensionalen Signal z. B. einem Farbsignal ein Farbklassensignal in Echtzeit erzeugt wird. Diese Farbklassensignale sind im Gegensatz zu den Farbsignalen keine vektoriellen Signale mehr, sondern skalare Signale und können daher leicht mit bekannten Verfahren der binären Bildverarbeitung wie z. B. der Blob-Analyse weiterverarbeitet werden.

Erfindungsgemäß werden die Signale der unterschiedlichen bildgebenden Senso­ ren mit einem solchen mehrdimensionalen Klassifikator zu einem skalaren Farbklassenbild verdichtet und dann mit bekannten Methoden der Bildverarbeitung weiter verarbeitet.

Oft sind die Bildpunktgrößen der unterschiedlichen Sensoren ebenfalls unter­ schiedlich groß. So sind z. B. hochauflösende Farbkameras verfügbar, während die Herstellung von bildgebenden NIR-Spektroskopiesensoren nur für relativ grobe Bildpunkte möglich ist. Erfindungsgemäß erfolgt eine Anpassung der Bild­ punkte dadurch, daß alle kleineren Bildpunkte zu einem größeren zusammengefaßt werden, welcher dem gröberten entspricht. Diese Zusammen­ fassung kann sowohl durch Wahl entsprechender optischer Abbildungselement geschehen als auch durch elektronische Verfahren wie lokale Mittelwertbildung. Insbesondere bei digitalisierten Bildpunktsignalen ist es bekannt, Gruppen von Bildpunkten zu einem Makro-Bildpunkt zusammenzufassen.

Auch der umgekehrte Weg kann je nach Aufgabenstellung sinnvoll sein, nämlich die Aufteilung eines groben Bildpunktes auf ein feineres Bildpunktraster. Auch sind insbesondere auf der elektronischen Seite solche Verfahren dem Fach­ mann der Bildverarbeitung wohl bekannt.

In allen Fällen wird es daher möglich sein, bildpunktweise aufgeteilte Signale von allen Sensoren zu erhalten, welche dem gleichen Ort des beobachteten Pro­ duktes entsprechen.

Claims (9)

1. Verfahren zur optischen Qualitätskontrolle von Produkten, dadurch gekennzeichnet, daß mit Hilfe einer Anzahl von bildgebenden Sensoren, welche auf physikalisch verschiedenen Meßprinzipien beruhen, in einem gemeinsa­ men Bildfeld gleiche Stellen des Produktes bildhaft so erfaßt werden daß die sich entsprechenden Bildpunkte aller Sensoren gleiche Punkte der Produktoberfläche erfassen.

2. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die verschiedenen Sensoren aus der gesamten Aufzählung oder einer Untermenge folgender bildgebenden Sensoren bestehen, nämlich schwarz/weiß-Bildsensor, Farbbildsensor, 3D-Bildsensor, NIR- Spektroskopie-Bildsensor, mit durchdringender Strahlung arbeitender Bildsensor, Thermographie-Bildsensor, Fluoreszenz-Bildsensor.

3. Verfahren nach Anspruch 1 bis 2 dadurch gekennzeichnet, daß bei Sensoren mit unterschiedlicher Bildpunktgröße eine einheitliche Bildpunktgröße dadurch geschaffen wird, daß die Bildpunkte von Sensoren mit kleineren Bildpunkten so zusammengefaßt werden, daß sie denjenigen Bildpunkten der Sensoren mit gröberer Bildauflösung entsprechen.

4. Verfahren nach Anspruch 1 bis 2 dadurch gekennzeichnet, daß bei Sensoren mit unterschiedlicher Bildpunktgröße eine einheitliche Bildpunktgröße dadurch geschaffen wird, daß die Bildpunkte von Sensoren mitgrößeren Bildpunkten so aufgeteilt werden, daß sie denjenigen Bildpunkten der Sensoren mit feinerer Bildauflösung entsprechen.

5. Verfahren nach Anspruch 1 bis 2, dadurch gekennzeichnet, daß die Signale aller oder einer Untermenge dieser Sensoren bildpunkt­ weise mit Hilfe eines Klassifikators so ausgewertet werden, daß ein Klassenbild erzeugt wird, bei welchem für jeden Bildpunkt ein Code ermittelt wird, welcher die Zugehörigkeit dieses Bildpunktes zu einer Klasse aus einer Anzahl vorher gelernten Klasse angibt.

6. Verfahren nach Anspruch 1 bis 5, dadurch gekennzeichnet, daß das Klassenbild mit Verfahren der Bildverarbeitung weiter verarbeitet wird um Qualitäts- und Sortierkriterien für die erfaßten Produkte abzuleiten.

7. Verfahren nach 1 bis 6 dadurch gekennzeichnet, daß die einzelnen Sensoren mechanisch starr zueinander angeordnet sind und so zu unterschiedlichen Zeitpunkten abgefragt werden, daß die Bildpunktsignale aller Sensoren sich nach dieser Abfrage auf örtlich gleiche Bildpunkte des erfaßten Pro­ duktes beziehen.

8. Verfahren nach Anspruch 1 bis 7, dadurch gekennzeichnet daß die bildgebenden Sensoren die Produkte matrix- und/oder zeilenförmig erfassen.

9. Anordnung zur Durchführung des Verfahrens nach Anspruch 1 bis 2, dadurch gekennzeichnet, daß unterschiedliche bildgebende Sensoren in einer mechanisch und optisch festen Halterung angebracht sind, daß über Strahlführungselemente die optische Abbildung aller Sensoren auf ein gemeinsames, bildpunktmäßig ausgerichtetes Bildfeld gelenkt wird und daß die elektrischen Signale bild­ punktweise an einen Rechner abgegeben werden.