DE10144388B4

DE10144388B4 - Verfahren und Vorrichtung zur Kontrolle von Objekten

Info

Publication number: DE10144388B4
Application number: DE10144388A
Authority: DE
Inventors: Oliver Beil
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2001-09-10
Filing date: 2001-09-10
Publication date: 2004-11-18
Anticipated expiration: 2021-09-11
Also published as: DE10144388A1

Abstract

Verfahren zur Kontrolle von Objekten, bei welchem mit einer Bildaufnahmeeinrichtung (5) ein Bild eines zu kontrollierenden Objekts (2) aufgenommen und Bilddaten erzeugt werden,
bei welchem mit einer Bildverarbeitungseinrichtung (9, 10, 11) die mit der Bildaufnahmeeinrichtung (5) erzeugten Bilddaten einer Wavelet-Transformation, die mit einer Unterabtastung des Bildes verbunden ist, unterzogen werden und bei welchem anhand der transformierten Bilddaten die Objektkontrolle durchgeführt wird,
dadurch gekennzeichnet , dass zur Objektkontrolle die Korrelation der transformierten Bilddaten des aufgenommenen Bildes mit geschätzten transformierten Bilddaten zumindest eines Musterbildes berechnet wird,
wobei die geschätzten transformierten Bilddaten des Musterbildes folgendermaßen ermittelt werden
– Aufnehmen von zumindest vier um zumindest ein Pixel gegeneinander verschobenen Bildern des Musters,
– Wavelet-Transformieren der Bilddaten und
– Berechnen der geschätzten transformierten Bilddaten, die bei einer Korrelation mit den transformierten Bilddaten der aufgenommenen Musterbilder jeweils einen zumindest näherungsweise gleich großen Korrelationskoeffizienten ergeben, durch ein Schätzverfahren.

Description

Die Erfindung betrifft ein Verfahren zur Kontrolle von Objekten nach dem Oberbegriff des Anspruchs 1 sowie eine Vorrichtung zur Durchführung des Verfahrens nach dem Oberbegriff des Anspruchs 7.
Die optische Suche, Lagebestimmung und Klassifikation von Objekten, die im Folgenden unter dem Begriff Objektkontrolle zusammengefasst werden, sind in der Automatisierungstechnik, insbesondere in der industriellen Bildauswertung, häufig wiederkehrende Aufgaben. Bevor zu einem Objekt seine exakte Lage in einem Bildausschnitt bestimmt wird, muss zuerst das Objekt klassifiziert werden. Unter Klassifikation versteht man in diesem Zusammenhang, eine Entscheidung zu treffen, ob ein Bildausschnitt ein bestimmtes Objekt enthält oder nicht. Üblicherweise wird dazu geprüft, inwiefern sich der jeweilige Bildausschnitt und der Ausschnitt eines Musterbildes ähnlich sind.

Die automatische optische Detektion und Lagebestimmung von Objekten für industrielle Anwendungen ist trotz schneller werdender Prozessoren immer noch problematisch. Eines der Probleme bei der Echtzeitverarbeitung von Bilddaten liegt in der großen Datenmenge. Ein einfaches quadratisches Grauwertbild mit 512 × 512 Pixeln und mit einer 8-Bit-Quantisierung der Grauwerte umfasst bereits eine Datenmenge von 256 Kilobyte. Aus diesem Grund ist es wünschenswert, die zu verarbeitende Datenmenge auf ein geringeres Maß zu reduzieren, um so wertvolle Rechenzeit einzusparen.

Ein weiteres Problem stellen die Störeinflüsse in der industriellen Umgebung dar. Diese Störeinflüsse werden überwiegend durch unterschiedliche Lichtverhältnisse verursacht, die beispielsweise zu verschiedenen Tageszeiten vorherrschen.

Weiterhin kann der Bildhintergrund bei der optischen Objektkontrolle zu Problemen führen, da nicht immer für einen gleich bleibenden Hintergrund gesorgt werden und dieser sich dynamisch verändern kann. Zusätzliche Schwierigkeiten können entstehen, wenn sich im Bildaufnahmebereich verschiedene Objekte einander überlappen.

Aus der DE 101 28 722 C1 ist eine Vorrichtung zur Kontrolle von Objekten bekannt, die in einer Vorzugsrichtung bewegt werden. Die Bildauswertung ist in eine Grob- und Feinauswertung untergliedert. In der Grobauswertung wird der jeweilige Versatz des aktuell aufgenommenen Bildes gegenüber dem zuletzt einer Feinauswertung unterzogenen Bild ermittelt. Überschreitet der Versatz einen vorgegebenen Maximalwert, so wird das aktuell aufgenommene Bild einer Feinauswertung unterzogen. Dadurch entfällt ein externer Trigger, beispielsweise eine Lichtschranke, zum Starten der Bildverarbeitung.

Aus der DE 199 54 088 A1 ist ein Verfahren zur Filterung einer digitalen Eingangssignalfolge bekannt, bei welchem unter Einsatz einer Wavelet-Transformation die Ausgangssignalfolge möglichst optimal einer Referenzfolge angepasst wird.

Aus der WO 01/04055 A2 sind ein Verfahren und eine Einrichtung zum Abschätzen einer Eigenbewegung einer Kamera durch eine Szene sowie einer Szenenstruktur anhand mehrerer Bilder der Szene mittels Korrelation bekannt.

Aus der US 6 266 452 B1 ist ein Bildverarbeitungsverfahren bekannt, mit welchem ein aufgenommenes Musterbild mit einem Referenzbild in Deckung gebracht wird.

Aus der DE 199 47 557 A1 ist es bekannt, bei der Bildverarbeitung und dort insbesondere zur Erfassung der Neigung einer Kante eine zweidimensionale Wavelet-Transformation einzusetzen. Anhand einer komplizierten Bewertung der Energien der drei Hochpass-Komponenten, die bei der zweidimensionalen Wavelet-Transformation entstehen, wird die Neigung bestimmt.

Eine theoretische Abhandlung über die Mehrfach-Auflösungs-Analyse ist in dem Aufsatz "A Theory for Multiresolution Signal Decomposition: The Wavelet-Representation" von Stephane G. Mallat, veröffentlicht in IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 11, No. 7, Juli 1989, Seiten 674 bis 693 zu finden.

In dem Buch "Schnelle digitale Signalverarbeitung" von Uwe Meyer-Bäse, Springer Verlag Berlin, 2000, Seiten 237 bis 251 und 294 bis 313 sind die Wavelet-Transformation und insbesondere der Aufbau zur Wavelet-Transformation geeigneter Filterbänke beschrieben.

Eine Abhandlung über zeitinvariante, orthonormale Wavelet-Darstellungen ist in dem Aufsatz "Time Invariant Orthonormal Wavelet Representations" von J.- C. Pesquet et al., Submitted to IEEE Transactions on Signal Processing in Aug. 1996, pp. 1964–1970, first revision in May. 1995, second revision in Sept. 1995, enthalten.

Durch die Wavelet-Transformation kann eine zeitliche Aussage über die Frequenzverteilung eines Signals getroffen werden.

Dabei betrachtet man das Signal mit Fensterfunktionen unterschiedlicher Breite, so genannten "Skalierungen". Kleine Skalierungen dienen dabei zur Darstellung hoher Frequenzen, hohe Skalierungen zur Darstellung tiefer Frequenzen.

Die Wavelet-Transformation von Bilddaten auf der Basis des in dem Aufsatz von Mallat beschriebenen Algorithmus hat den Nachteil, dass sie anisotrop und rotationsvariant ist. Bei der Transformation durch den Mallat-Algorithmus entstehen neben einem Bild mit der so genannten Approximation drei Bilder mit jeweils so genannten diskreten Detailsignalen in horizontaler, vertikaler bzw. diagonaler Richtung. Bestimmte Raumrichtungen werden dabei durch die kartesische Darstellung bevorzugt. Anschaulich bedeutet dies, dass vertikale, horizontale und diagonale Kanten in jeweils einem Detailsignal hervorgehoben werden. Dies bringt zwar Vorteile, wenn man ein Bild bezüglich dieser Kanten beschreiben will. Wird das Bild aber gedreht, so erscheinen in den Detailsignalen völlig andere Kanten. Die zweidimensionale Mehrfach-Auflösungs-Analyse ist somit rotationsvariant. Bei der Anwendung dieser Transformation in der Bildauswertung kann dies zu erheblichen Schwierigkeiten insbesondere bei der Erfassung der Drehlage eines zu kontrollierenden Objekts führen. Diese Transformation hat zudem den Nachteil, dass bei einer Bildauswertung anhand der transformierten Bilddaten immer die drei Detailsignale in horizontaler, vertikaler und diagonaler Richtung neben der Approximation untersucht werden müssen.

Bei der Mehrfach-Auflösungs-Analyse nach Mallat erfolgt bei jeder Wavelet-Transformation der Bilddaten eine Unterabtastung. Unterabtastung bedeutet in diesem Zusammenhang, dass von den Bilddaten bzw. von den transformierten Bilddaten bestimmte Pixelwerte beispielsweise jeder zweite Pixelwert, nicht weiterverarbeitet werden. Dadurch geht in einem gewissen Umfang die Translationsinvarianz der kontinuierlichen Wavelet-Transformation verloren. Insbesondere für die Klassifikation von Objekten durch Mustervergleich kann diese Eigenschaft der Wavelet-Transformation problematisch sein. Soll ein Objekt bei einer großen Skalierung gesucht werden, so ist es durch die schlechtere Pixelauflösung, die aus der Unterabtastung resultiert, nicht mehr möglich, die Objektposition pixelgenau zu ermitteln. Zudem kann sich die lokale Grauwertverteilung des Objekts bei einer kleinen Objektverschiebung in den Detailsignalen völlig verändern. Befindet sich nun ein zu kontrollierendes Objekt nicht im selben Abtastraster wie das Musterobjekt im Musterbild, so wird die Objektkontrolle dadurch erheblich erschwert. Wird beispielsweise von einer 16fachen Unterabtastung ausgegangen, so wird nur jeder vierte Pixelwert in horizontaler und jeder vierte Pixelwert in vertikaler Richtung in die Verarbeitung einbezogen. Wenn sich Objekt und Muster bei der Bildaufnahme im selben Pixelraster befinden, tritt kein Fehler auf. Ist jedoch das Objekt im Bildausschnitt gegenüber dem Musterobjekt beispielsweise um 2 Pixel verschoben, so werden unterschiedliche Punkte der beiden Objekte abgetastet, wodurch sich der Korrelationskoeffizient, der zur Objektklassifikation herangezogen werden kann, möglicherweise erheblich verringert.

Eine Möglichkeit zur Verringerung der Fehler durch Unterabtastung könnte darin gesehen werden, auf die Unterabtastung bei der Wavelet-Transformation gänzlich zu verzichten und eine stationäre Wavelet-Transformation anzuwenden. Das wäre jedoch mit dem Nachteil verbunden, dass eine wesentlich höhere Datenmenge bei der Bildverarbeitung zu bewältigen wäre. Für viele Echtzeitanwendungen käme diese Möglichkeit somit nicht in Betracht.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Kontrolle von Objekten zu schaffen, die sich bei einer Signalvorverarbeitung durch eine mit Unterabtastung verbundene Wavelet-Transformation durch eine verbesserte Objektklassifikation auszeichnen.

Zur Lösung dieser Aufgabe weist das neue Verfahren der eingangs genannten Art die im kennzeichnenden Teil des Anspruchs 1 und die neue Vorrichtung die im kennzeichnenden Teil des Anspruchs 7 angegebenen Merkmale auf. In den abhängigen Ansprüchen sind vorteilhafte Weiterbildungen der Erfindung beschrieben.

Die Erfindung hat den Vorteil, dass Fehler bei der Objektklassifikation, die sich bei Verschiebungen des zu kontrollierenden Objekts gegenüber einem Musterobjekt um die Größenordnung der Pixelweite aufgrund der Unterabtastung ergeben würden, weitgehend vermieden werden. Dazu werden die transformierten Bilddaten des Musters so verändert, dass die Korrelation unabhängig von Verschiebungen des Objekts in dieser Größenordnung einen etwa gleichmäßig hohen Wert liefert. Dies wird dadurch erreicht, dass ein transformiertes Bild zum Mustervergleich ermittelt wird, welches den transformierten Bilddaten eines im Bereich der Unterabtastung verschobenen Musters gleich ähnlich ist, d. h. bei der Korrelation mit diesen Bilddaten einen möglichst gleich großen Korrelationskoeffizienten ergibt.

Wenn die Anzahl der zur Ermittlung der transformierten Bilddaten des Musterbildes aufgenommenen, um jeweils ein Pixel verschobenen Bilder des Musters dem Grad der Unterabtastung der Wavelet-Transformation entspricht, hat dies den Vorteil, dass die Objektklassifikation unabhängig von der jeweiligen Objektverschiebung eine korrekte Zuordnung des kontrollierten Objekts zum jeweiligen Objekttyp liefert.

Bei einer 16fachen Unterabtastung werden daher vorteilhaft 16 jeweils um zumindest ein Pixel gegeneinander verschobene Bilder des Musters zur Ermittlung der transformierten Bilddaten des Musterbildes aufgenommen.

Ein Schätzverfahren auf der Basis eines Kalman-Filters zur Ermittlung der geschätzten transformierten Bilddaten des Musterbildes anhand mehrerer, jeweils um einzelne Pixel gegeneinander verschobener Musterbilder zu verwenden hat den Vorteil, dass das Problem, dass es sich bei der Berechnung des Korrelationskoeffizienten um eine nichtlineare Funktion handelt, da die Wurzel der Varianz in die Berechnung einfließt, bei den Schätzungen in einfacher Weise umgangen werden kann. Zudem hat sich die Verwendung von Kalman-Filtern zur Schätzung in der Praxis vielfach bewährt und Kalman-Filter zeichnen sich durch hohe Robustheit aus.

Dabei werden in vorteilhafter Weise weitgehend ähnliche Korrelationskoeffizienten bei der Korrelation der transformierten Bilddaten gegeneinander verschobener Musterbilder erreicht, wenn die Messfehlerkovarianzmatrix des Kalman-Filter-Entwurfs als Diagonalmatrix gewählt ist, deren Diagonalelemente jeweils zumindest näherungsweise den Wert 10 haben.

Bei der neuen, in der Bildverarbeitung eingesetzten Wavelet-Transformation können die drei Detailsignale, die üblicherweise bei der Anwendung des Mallat-Algorithmus entstehen, zu einem einzigen Bild zusammengefügt werden. Dazu können bereits bekannte, symmetrische Wavelets benutzt werden. Ein Vorteil, der sich daraus ergibt, ist darin zu sehen, dass zur Bildverarbeitung bereits am Markt verfügbare Softwarepakete, z. B. MATLAB, eingesetzt werden können, die den Mallat-Algorithmus nutzen. Ein Design eines neuen Wavelets ist nicht erforderlich. Zur Berechnung der zur Wavelet-Transformation nötigen Filterkoeffizienten werden bereits vorhandene Koeffizienten eines FIR-Filters nach Mallat fouriertransformiert, addiert und anschließend rücktransformiert. Mit den neuen Filterkoeffizienten werden in einer rotationsinvarianten Transformation transformierte Bilddaten berechnet. Die stationäre Form der neuen isotropen Mehrfach-Auflösungs-Analyse auf der Basis symmetrischer Wavelets hat außerdem den Vorteil, dass sich die zu verarbeitende Datenmenge der transformierten Bilddaten aufgrund der Auswertung von nur einem Detailsignal um 50% gegenüber der konventionellen stationären Form reduziert, die aus der eingangs genannten Abhandlung von J.- C. Pesquet bekannt ist. Um eine effiziente Bildverarbeitung in Echtzeit durchführen zu können, ist diese Reduktion der anfangs erwähnten großen Datenmenge von Bildern sehr vorteilhaft. Die Größe der Datenmenge eines digitalisierten Bildes wird einerseits durch die räumliche Auflösung, andererseits durch die Anzahl der Quantisierungsstufen der Farbwerte bestimmt. Die Anzahl der Rechenoperationen und somit die Rechenzeit für die Verarbeitung der Bilddaten hängt zu einem großen Teil von diesen Parametern ab. Wollte man alle Pixel des in der Einleitung beschriebenen Bildes der Größe 512 × 512 Pixel nur addieren, so entspräche dies ca. 260.000 Operationen. Bei einer Rechenzeit von 10 ns pro Operation benötigte man insgesamt 2,6 ms. Bildverarbeitungsalgorithmen sind jedoch wesentlich komplizierter als dieses sehr einfache Beispiel, so dass ein Suchalgorithmus auf einem derart großen Bild mehrere Sekunden in Anspruch nehmen würde. Dies ist natürlich für eine Anwendung z. B. bei einer optischen Sortiereinrichtung ein meist zu hoher Zeitbedarf. Durch die Wavelet-Transformation werden aus den originären Bilddaten transformierte Bilddaten mit reduzierter Datenmenge erzeugt, so dass sich der Rechenaufwand zur Objektkontrolle anhand der transformierten Bilddaten verringert.

Weiterhin hat die neue Wavelet-Transformation den Vorteil, dass sie die Eigenschaften Rotationsinvarianz und weitgehende Translationsinvarianz besitzt. Da ein m-dimensionaler stochastischer Prozess als stationär bezeichnet wird, wenn seine statistischen Eigenschaften invariant gegenüber beliebigen Verschiebungen der Zeit oder – übertragen auf den vorliegenden Zusammenhang – der Position des Objekts sind, wird die neue Transformation auch als weitgehend stationäre Wavelet-Transformation bezeichnet. Zudem ist die neue Wavelet-Transformation richtungsunabhängig und damit isotrop oder rotationsinvariant.

Aufgrund dieser Eigenschaften kann mit Vorteil zur Objektkontrolle anhand der transformierten Bilddaten eine Korrelation dieser Daten mit den transformierten Bilddaten eines Musters bekannter Eigenschaften angewendet und eine Klassifikation des Objekts durch Bewerten eines dabei ermittelten Korrelationskoeffizienten gewonnen werden. Durch Ermitteln eines Maximums einer Korrelationsfunktion entlang einer im Wesentlichen tangential auf dem Objekt verlaufenden Linie kann die Drehlage des Objekts mit hoher Genauigkeit bestimmt werden. Dazu kann beispielsweise eine weitere Transformation der transformierten Bilddaten in Polarkoordinaten durchgeführt werden, so dass die Korrelationsfunktion in einfacher Weise über den Polarkoordinatenwinkel berechnet werden kann.

Anhand der Zeichnungen, in denen ein Ausführungsbeispiel der Erfindung dargestellt ist, werden im Folgenden die Erfindung sowie Ausgestaltungen und Vorteile näher erläutert.
Es zeigen:
1 ein Blockschaltbild einer Vorrichtung zur Kontrolle von Objekten,
2 ein Flussdiagramm des prinzipiellen Ablaufs einer Objektkontrolle,
3 eine Tabelle mit berechneten Filterkoeffizienten zur isotropen Wavelet-Transformation für ein Wavelet nach Daubechies,
4 einen prinzipiellen Ablauf der Ermittlung transformierter Bilddaten von Musterbildern,
5 Tabelle mit Korrelationskoeffizienten ohne Schätzverfahren durch Kalman-Filterung,
6 Tabelle mit Korrelationskoeffizienten bei 16facher Unterabtastung mit Kalman-Filterung und
7 Tabelle mit Korrelationskoeffizienten bei 16facher Unterabtastung mit Kalman-Filterung, jedoch bei ungeeigneter Wahl der Messfehlerkovarianzmatrix.
In 1 ist ein Blockschaltbild einer Vorrichtung zur Kontrolle von Objekten 1 und 2 dargestellt. Durch ein Förderband 3 werden die Objekte 1 und 2 in Laufrichtung des Förderbandes 3, die durch einen Pfeil 4 angedeutet ist, an einer Bildaufnahmeeinrichtung 5, die zur Aufnahme zumindest jeweils eines Bildes der zu kontrollierenden Objekte 1 und 2 dient, vorbeigeführt. Die Bildaufnahmeeinrichtung 5 besteht im Wesentlichen aus einem Objektiv 6 und einem CCD-Sensor 7, auf welchem die Objekte 1 und 2 abgebildet werden. Der CCD-Sensor 7 liefert dem aufgenommenen Bild entsprechende Signale 8, die in einem Bildspeicher 9 abgelegt werden. Die Bilddaten sind durch eine Recheneinheit 10 auslesbar, welche zur Durchführung der bei der Bildverarbeitung erfolgenden Berechnungen vorgesehen ist. Eine Tastatur als Eingabeeinrichtung und ein Bildschirm als Anzeigeeinrichtung, die in üblicher Weise zur Bedienung der Recheneinheit 10 vorhanden sind, sind in der Zeichnung der Übersichtlichkeit wegen nicht dargestellt. Zur Hinterlegung der Bilddaten eines aufgenommenen Musters ist ein Speicher 11 vorhanden, auf welchen ebenfalls durch die Recheneinheit 10 zugegriffen werden kann. Transformierte Bilddaten des jeweils zu kontrollierenden Objekts und eines zum Vergleich aufgenommenen Musters werden in einem Speicher 14 bzw. 13 abgelegt. Die Recheneinheit 10 liefert ein Signal 12 zur Anzeige des Ergebnisses der Objektkontrolle. Dieses Signal 12 kann beispielsweise Informationen über den jeweiligen Typ der zu kontrollierenden Objekte 1 und 2, über deren Qualität, über deren Position, beispielsweise als Lage des Objektschwerpunkts in einem kartesischen Koordinatensystem mit Achsen x und y, oder über deren Drehlage enthalten. Anhand dieses Signals 12 können weitere Maßnahmen in einer fertigungstechnischen Anlage abgeleitet werden, beispielsweise das Aussortieren defekter Objekte.
Bei dem zur Objektkontrolle durchgeführten Verfahren, dessen prinzipieller Ablauf in 2 dargestellt ist, werden nach dem Start in einem Schritt 20 insgesamt 16 Einzelbilder eines Musters, das zuvor als fehlerfrei beurteilt wurde, aufgenom men. Die Bilddaten des Musterbildes werden in dem Speicher 11 (1) hinterlegt. Die Bilder zeigen das Muster jeweils um ein Pixel gegeneinander verschoben, so dass sich bei einer maximalen Verschiebung um 4 Pixel in x- und in y-Richtung eine Gesamtzahl von 16 Bildern ergibt. In einem Schritt 21 werden die Musterbilddaten einer Wavelet-Transformation unterzogen, die rotationsinvariant und zumindest weitgehend translationsinvariant ist. Aus den Bilddaten des Musters werden auf eine unten anhand 4 noch näher erläuterte Weise transformierte Bilddaten erzeugt und in einem Speicher 13 (1) in der Recheneinheit 10 (1) abgespeichert. In einem Schritt 22 wird nun ein Bild eines zu kontrollierenden Objekts aufgenommen. Die Bildaufnahme kann beispielsweise durch eine Lichtschranke, die oberhalb des Förderbandes 3 (1) mit einem quer zur Förderrichtung verlaufenden Lichtpfad angeordnet sein kann, bei Erreichen einer durch Justage der Lichtschranke voreingestellten Objektposition ausgelöst werden. Die gewonnenen Bilddaten werden in dem Speicher 9 (1) abgelegt. Mit diesen Bilddaten wird in einem Schritt 23 ebenfalls eine Wavelet-Transformation mit Filterkoeffizienten vorgenommen, die den bereits bei der Wavelet-Transformation in Schritt 21 verwendete Koeffizienten entsprechen. Die so erzeugten transformierten Bilddaten werden in einem Speicher 14 in der Recheneinheit 10 (1) gespeichert. Da die Wavelet-Transformation rotations- und zumindest weitgehend translationsinvariant ist, kann die Objektkontrolle in einfacher Weise durch Mustervergleich in einem Schritt 24 anhand der transformierten Bilddaten mittels Korrelation erfolgen. Die Musterklassifikation kann beispielsweise durch Berechnen eines normierten Korrelationskoeffizienten durchgeführt werden, dessen Wertebereich zwischen –1 und 1 liegt. Wenn das Ergebnis der Berechnung eine Schwelle nahe dem Wert 1 überschreitet, so wird als Ergebnis ausgegeben, dass das zu kontrollierende Objekt der jeweiligen Objektklasse des im Musterbild enthaltenen Objekts angehört. Durch Berechnen verschiedener Korrelationsfunktionen und Bestimmen der Lagen der jeweiligen Maxima können zusätzlich Informationen über die geometrische Lage des Objekts im aufgenommenen Bildbereich gewonnen werden. Die Ausgabe des berechneten Ergebnisses ist in 2 durch einen Pfeil 25 angedeutet. Bei einer Abfrage in einem Schritt 26 wird überprüft; ob noch ein weiteres Objekt zu kontrollieren ist. Falls "ja", verzweigt das Verfahren zum Schritt 22, in welchem ein Bild des nächsten zu kontrollierenden Objekts aufgenommen wird. Die Schritte 23 und 24 der Wavelet-Transformation und des Mustervergleichs werden nun anhand der neu aufgezeichneten Bilddaten durchgeführt. Falls "nein", endet das Verfahren.
Die Wavelet-Transformation wird in den Schritten 21 und 23 als isotrope Mehrfach-Auflösungs-Analyse mittels einer zweidimensionalen Zweikanal-Filterbank ausgeführt. Sie wurde auf der Basis des Mallat-Algorithmus entwickelt. Aus den Filterkoeffizienten g(k) und h(k) des Mallat-Algorithmus werden Filterkoeffizienten w(k) zur isotropen Mehrfach-Auflösungs-Analyse berechnet. Dazu kann sowohl die Mehrfach-Auflösungs-Analyse (MRA) als auch eine leicht veränderte Form der stationären Wavelet-Transformation verwendet werden. Zunächst wird die Signalrekonstruktion nach Mallat leicht modifiziert. Das Ersetzen von redundanten Werten durch Null in den Detailkoeffizienten, d. h. den Koeffizienten des Filters zur Erzeugung der Detailsignale, unterbleibt. Statt dessen werden die Koeffizienten eines Filters nach Mallat entsprechend der folgenden Vorschrift verändert:
mit

– Koeffizienten der zweidimensionalen Zweikanal-Filterbank nach Mallat in Matrixschreibweise zur Rekonstruktion (Rücktransformation),
k_x, k_y – Laufvariablen der zweidimensionalen Bilddaten,

- modifizierte Synthese-Koeffizienten.
Zu beachten ist dabei, dass in dem eingangs genannten Aufsatz von Mallat abweichend von einem Großteil der Fachliteratur die Analyse-Koeffizienten mit g ~ und h ~ und die Synthese-Koeffizienten mit g und h bezeichnet werden.
In der vorliegenden Patentanmeldung wird jedoch der in der Fachliteratur verbreiteten Darstellung gefolgt und die Synthese-Koeffizienten werden mit g ~ und h ~, die Analyse-Koeffizienten dagegen mit g und h bezeichnet.
Die modifizierte Signalsynthese lautet nun:
mit
– Approximationswerte des Bildes in der Auflösung 2 ^m–1,
n_x, n_y – Laufvariablen der zweidimensionalen Bilddaten,

– Approximation des Bildes in der Auflösung 2^m,

– vertikale Detailwerte des transformierten Bildes in der Auflösung 2^m,

– horizontale Detailwerte des transformierten Bildes in der Auflösung 2^m und

- diagonale Detailwerte des transformierten Bildes in der Auflösung 2^m.
Da das Approximationssignal in der Auflösung 2^m– ¹ mit den Approximationswerten
in nicht redundanter Form vorliegt, lässt sich die redundante Zerlegung in Detailkoeffizienten schreiben mit
Durch Einsetzen dieser Ausdrücke in die obige Gleichung der modifizierten Signalsynthese und Übergang in den Frequenzbereich ergibt sich für die Rekonstruktion:
Darin werden die Fouriertransformierten der jeweiligen Koeffizienten in der Zeitdarstellung mit Großbuchstaben geschrieben.
Der Operator ⊗ steht für das Tensorprodukt.
Darin wird nun gewählt:
Durch Rücktransformation in den Zeitbereich erhält man daraus die Gleichung für die Werte des isotropen Detailsignals:
Die Werte w in dieser Gleichung sind die gesuchten Analysekoeffizienten des Hochpassteils der zweidimensionalen Zweikanal-Filterbank für die isotrope Wavelet-Transformation. Die Filterkoeffizienten w(k_x, k_y) lassen sich also in einfacher Weise aus den Filterkoeffizienten g(k_x, k_y) und h (k_x, k_y) durch FFT und IFFT bestimmen. Bei geeigneter Wahl von Skalierungsfunktion und Wavelet ergibt sich ein symmetrisches Filter. Bei den so genannten "Coiflets" handelt es sich beispielsweise um Wavelets, die nahezu symmetrisch sind und somit auch symmetrische Filterkoeffizienten liefern.
Bei einer stationären, isotropen Mehrfach-Auflösungs-Analyse erfolgt die Signalanalyse gemäß den Formeln:
Die Rekonstruktion des Signales vereinfacht sich, da keine Filterung und kein Zeropadding, d. h. kein gezieltes Nullsetzen von Koeffizienten zur Verringerung einer Signalredundanz des Detailbildes, mehr vorgenommen werden muss. Die Rekonstruktionsgleichung lautet dann:
3 zeigt in einer tabellarischen Darstellung ein Beispiel von in der beschriebenen Weise berechneten Koeffizienten einer zweidimensionalen Zweikanal-Filterbank zur isotropen Wavelet-Transformation. Als Basis diente ein Daubechies-Wavelet. Eine mit diesen Koeffizienten gebildete zweidimensionale Zweikanal-Filterbank liefert bei der Wavelet-Transformation ein rotationsinvariantes Verhalten.
Die anschließende Objektklassifikation anhand der transformierten Bilddaten erfolgt mit Hilfe der Berechnung eines Korrelationskoeffizienten anhand der transformierten Bilddaten des zu kontrollierenden Objekts und der transformierten Bilddaten eines zuvor aufgenommenen Musters. Es wird geprüft, ob das Maximum des Korrelationskoeffizienten über einer vorgebbaren Entscheidungsschwelle liegt. Der Aufwand für die Berechnung des Korrelationskoeffizienten ist größer als derjenige für die Ermittlung eines minimalen Fehlerquadrates, da die Varianz und die Mittelwerte der Bilder mit in die Berechnung einfließen. Vorteilhaft bei der Verwendung des Korrelationskoeffizienten zur Objektklassifizierung ist jedoch, dass dieser weniger empfindlich ist, z. B. bei einer Änderung der Grauwerte eines Bildes durch Störeinflüsse wie Lichteinfall, da das Ergebnis durch die Varianz normiert ist.
In praktischen Versuchen hat sich gezeigt, dass die Korrelation der Detailbilder in der zweiten und dritten Skalierungsebene die besten Ergebnisse liefert, da dieses Frequenzband offensichtlich am wenigsten durch schwankende Lichtverhältnisse beeinflusst wird. Die Korrelation stellt in diesem Zusammenhang eine zwar einfache aber sehr gute Methode zur Klassifikation dar, die sich leicht auf einem Signalprozessor implementieren lässt. Zudem wird die Eigenschaft der Mittelwertfreiheit der Detailbilder ausgenutzt. Zum einen entfällt die Erwartungswertberechnung, da dieser a priori bekannt ist. Da der Erwartungswert gleich Null ist, entfallen die diesbezüglichen Subtraktionen bei der Berechnung des Korrelationskoeffizienten.
4 zeigt ein Beispiel eines detaillierten Ablaufs der Ermittlung verschiedener transformierter Bilddaten aus insgesamt 16 aufgenommenen Bildern desselben Musters. Das anhand 4 verdeutlichte Verfahren wird in dem in 2 dargestellten Schritt 21 durchgeführt. Die Aufnahme der Bilder findet wiederum in einem Schritt 20 statt. Das zu lernende Muster wird in einem Schritt 43 auf zweierlei Weise einer Wavelet-Transformation unterzogen. Zum einen werden durch eine isotrope, stationäre Mehrfach-Auflösungs-Analyse erste transformierte Bilddaten 42 ohne Unterabtastung erzeugt. Zum anderen werden bei einer Wavelet-Transformation durch eine isotrope, dyadische Mehrfach-Auflösungs-Analyse, die aufgrund der Verwendung der dritten Skalierung mit einer 16fachen Unterabtastung behaftet ist, anhand der 16 aufgenommenen Bilder mit 16 verschiedenen Positionen des Musters 16 verschiedene zweite transformierte Bilddaten 52 berechnet, aus denen mit Hilfe eines Kalman-Filters in einem Schritt 45 dritte transformierte Bilddaten 46 durch Schätzen berechnet werden, die bei einer Korrelation mit den zweiten transformierten Bilddaten der aufgenommenen Musterbilder jeweils zumindest einen näherungsweise gleich großen Korrelationskoeffizienten ergeben. Die dritten transformierten Bilddaten 46 eines Musterbildes, die dieser Forderung genügen, werden unter Einbeziehung aller 16 Sätze zweiter transformierter Bilddaten in dem Schritt 45 durch ein Schätzverfahren nach Art eines Kalman-Filters berechnet. Somit werden die 16 Sätze zweiter transformierter Bilddaten 52 zu einem Satz 46 dritter transformierter Bilddaten zusammengefasst, der zum Mustervergleich herangezogen werden kann. Zusätzlich werden jeweils vier der zweiten transformierten Bilddaten 52, vorzugsweise jeweils die der vier im Eckbereich des Verschiebefeldes der 16 aufgenommenen Bilder einander benachbarten Bilder, jeweils durch weitere Kalman-Filterungen zu vierten, fünften, sechsten und siebten transformierten Bilddaten 47, 48, 49 bzw. 50 vereinigt, um Position und Muster des zu kontrollierenden Objekts gegebenenfalls noch genauer klassifizieren zu können. Anhand der transformierten Bilddaten 42, die durch stationäre, isotrope Mehrfach-Auflösungs-Analyse gewonnen wurden, kann eine pixelgenaue Ermittlung der Position des Objekts erfolgen. Diese Berechnung anhand einer vergleichsweise großen Datenmenge wird jedoch erst dann durchgeführt, wenn die vorherige Objektklassifikation anhand einer wesentlich geringeren Datenmenge einen bestimmten Objekttyp ergeben hat.
5 dient zur Verdeutlichung des Problems, das beispielsweise in der dritten Skalierung einer Wavelet-Transformation durch 16fache Unterabtastung entstehen kann. Aufgenommen wurden 16 Bilder eines Musters, wobei die Pixellage eines bestimmten Punktes durch Bildverschiebung in kartesichen x/y-Koordinaten von x = 1 bis x = 4 und y = 1 bis y = 4 variiert wird. In 5 sind in die jeweiligen Zeilen und Spalten die Korrelationskoeffizienten eingetragen, die sich bei einer Korrelation der zweiter transformierten Bilddaten des an der Position x = 1 und y = 1 aufgenommenen Bildes mit den zweiten transformierten Bilddaten desjenigen Bildes ergeben, dessen Bildverschiebung der Anordnung der Zelle in der Tabelle entspricht. Bei der Position x = 1 und y = 1, d. h. einer Korrelation zweiter transformierter Bilddaten mit sich selbst, besitzt der berechnete Korrelationskoeffizient selbstverständlich den Wert 1. Die Werte des Korrelationskoeffizienten sinken mit zunehmender Verschiebung gegenüber dieser Position, bis sie bei der maximalen Verschiebung um 3 Pixel in jeder Richtung, also bei der Position x = 4 und y = 4, nahezu den Wert Null erreichen. An diesem Beispiel wird deutlich, dass durch eine geringfügige Verschiebung des zu kontrollierenden Objekts gegenüber dem Musterobjekt aufgrund der mit einer Wavelet-Transformation verbundenen Unterabtastung der Bilddaten eine Objektklassifikation anhand des aus den transformierten Bilddaten berechneten Korrelationskoeffizienten ohne weitergehende Maßnahmen mit erheblichen Schwierigkeiten verbunden sein kann.
Im Folgenden soll ein Schätzverfahren nach Art eines Kalman-Filters hergeleitet werden, das zu einer Verbesserung der Objektklassifikation anhand von transformierten Bilddaten führt, die mit einer Unterabtastung behaftet sind.
Der Korrelationskoeffizient r kann für mittelwertfreie Signale – die Detailsignale der Wavelet-Transformation sind mittelwertfrei – berechnet werden nach der Formel
mit
Suchbild(i) – i-ter Pixelwert der transformierten Bilddaten des Objekts,
Musterbild(i) – i-ter Pixelwert der transformierten Bilddaten des Musterbildes,
σ_Suchbild – Wurzel der Varianz der Bilddaten Suchbild(i),
σ_Musterbild – Wurzel der Varianz der Bilddaten Musterbild(i) und
Größe – Anzahl der Pixelwerte in den Bilddaten.
Ein Problem liegt darin, dass es sich bei der Berechnung des Korrelationskoeffizienten um eine nichtlineare Funktion handelt, da die Wurzel der Varianz in die Berechnung einfließt. Wäre die Varianz des zu schätzenden Bildes näherungsweise konstant, so könnte der Korrelationskoeffizient bei beliebigen aber festen Bildern als eine lineare Funktion angesehen werden. Für eine Modellbildung wird zunächst angenommen, dass diese Bedingung erfüllt sei. Weiter wird angenommen, dass die Bilddaten zweier Musterbilder als eindimen sionale Vektoren b ₁ und b ₂ vorliegen. Der Korrelationskoeffizient r zweier mittelwertfreier Bilder wird also berechnet zu
mit

– transponierter Vektor der Bilddaten b ₁,

– Wurzel der Varianz der Bilddaten b ₁ und

– Wurzel der Varianz der Bilddaten b ₂.
Das zu suchende Musterbild sei nun ein Vektor x, dessen Varianz
. Das Bild soll nun mit n Bildern korreliert werden. Dazu werden die n Bildvektoren b der verschobenen Muster sowie alle Varianzen zu einer Matrix
zusammengefasst. Das Ergebnis der Korrelation ist nun ein Vektor der Korrelationskoeffizienten r = M·x.
Nun wird ein Korrelationskoeffizient
vorgegeben. Dieser sei im Signalmodell der "Messvektor". Mit Hilfe dieses Messvektors und der obigen Gleichung für den Vektor der Korrelationskoeffizienten wird das Signalmodell x(k + 1) = x(k) r = M(k)x(k) + e(k)erstellt. Daraus soll nun das Musterbild x iterativ berechnet werden. Aufgrund der Zustandsgleichungen des Signalmodells ist die Matrix M eigentlich konstant, da sich die Zustände nicht ändern. Da M über die Varianz
von x abhängt, ist M dennoch streng genommen zeitvariant und deshalb auch von k abhängig. Dies spielt für die spätere Signalschätzung eine Rolle und wird aus diesem Grund hier berücksichtigt.
Zusätzlich wird in das Modell ein "Messfehler" e(k) eingeführt. Dieser lässt eine gewisse Abweichung des über das geschätzte Signal berechneten Korrelationskoeffizienten vom vorgegebenen Korrelationskoeffizienten zu. Es erweist sich später als vorteilhaft, wenn das zu schätzende Signal nicht so stark an den vorgegebenen Messvektor angepasst werden muss. Bei einem Kalman-Filter wird der Zustand x(k + 1) rekursiv aus dem vorhergehenden Zustand und der Differenz von tatsächlichem Messvektor und geschätztem Messvektor bestimmt. Die Schätzgleichung lautet für das obige Signalmodell:
mit

– Schätzwerte des gesuchten Musterbildes und K(k) – Wichtungsmatrix.
Die Wichtungsmatrix K(k) wird berechnet zu
Zur Berechnung von K(k) fehlen nun noch die Schätzfehlerkovarianzmatrix
und die Messfehlerkovarianzmatrix C _ee(k).
Die Schätzfehlerkovarianz wird ebenfalls rekursiv bestimmt mit
Darin muss die Messfehlerkovarianzmatrix C _ee(k) bekannt sein.
Da es sich in diesem Modell nur um angenommene Messwerte und damit um einen hypothetischen Messfehler handelt, wird die Messfehlerkovarianzmatrix gewählt zu: C ee(k) = σe·I = 10·I mit I – diagonale Einheitsmatrix.
Die Messfehler seien also zueinander unkorelliert, die Matrix C _ee(k) somit diagonal. Der Wert von σ_e wurde empirisch ermittelt.
Zuletzt werden für die Rekursion noch die Anfangswerte
und x(0) benötigt. Als Startwert für x wird ein Satz der zweiten transformierten Bilddaten gewählt. Der Startwert für
wird als ein hohes Vielfaches der Einheitsmatrix auf
gesetzt.
Der Wert c, der die Größe der vorgegebenen Korrelationskoeffizienten festlegt, sollte möglichst groß gewählt werden, damit das geschätzte Musterbild eine gute Klassifikation erlaubt. Es ist jedoch nicht möglich, ein Musterbild zu erhalten, das einen idealen Korrelationskoeffizienten von 1 oder einen nur geringfügig kleineren Korrelationskoeffizienten liefert. Wird c jedoch zu groß gewählt, so wird die Signalenergie von x bei der Filterung in jeder Rekursion erhöht. Die zuvor angenommene Linearität der Berechnung des Korrelationskoeffizienten ist somit nicht mehr erfüllt. Um den bei ungeeigneter Wahl von c entstehenden Fehler zu begrenzen, wurde die Matrix M(k) als zeitvariante Ausgangsmatrix modelliert. Nach jeder Rekursion wird die Varianz
neu bestimmt und M(k) damit modifiziert.
In 6 sind die Korrelationskoeffizienten der mit Hilfe des beschriebenen Kalman-Filters geschätzten dritten transformierten Bilddaten mit denselben transformierten Bilddaten tabellarisch dargestellt, die bereits zur Berechnung der Korrelationskoeffizienten in 5 verwendet wurden. Für die Berechnung der geschätzten dritten transformierten Bilddaten wurde die Konstante c = 0,8 gesetzt. Insgesamt wurden 20 Rekursionen berechnet. An den Einträgen in der Tabelle in 6 ist zu erkennen, dass mit Hilfe des Kalman-Filters dritte transformierte Bilddaten geschätzt werden konnten, die bei einer Korrelation mit den zweiten transformierten Bilddaten der aufgenommenen Musterbilder jeweils einen vergleichszweise hohen zumindest näherungsweise gleich großen Korrelationskoeffizienten ergeben. Die einzelnen Werte weichen zwar noch voneinander ab, liegen aber alle über 0,7 und sind somit relativ hoch. Damit kann eine gute Objektklassifikation auch bei leichter Translationsvarianz der Wavelet-Transformation erreicht werden.
Zuvor wurde bereits eingehend die Notwendigkeit der Einführung eines Messfehlers mit Hilfe einer Messfehlerkovarianzmatrix C _ee(k) in das Signalmodell erläutert. In der in 7 dargestellten Tabelle sind Werte von Korrelationskoeffizienten eingetragen, die mit Hilfe geschätzter transformierter Bilddaten berechnet wurden, bei welchen abweichend von dem zuvor beschriebenen Schätzverfahren die Messfehlerkovarianzmatrix gewählt wurde zu C ee(k) = 10–6·I.
An den Werten der Korrelationskoeffizienten ist deutlich erkennbar, dass hier die Messfehlerkovarianzmatrix zu klein gewählt wurde. Die Korrelationskoeffizienten sind zwar besser aneinander angeglichen, ihr Mittelwert wird aber erheblich kleiner. Eine gute Objektklassifikation ist mit diesen geschätzten transformierten Bilddaten eines Musterbildes kaum möglich. An den Schätzwerten der transformierten Bilddaten, die hier der Übersichtlichkeit wegen nicht mehr dargestellt sind, ist zudem zu erkennen, dass der Effekt einer Signalenergieerhöhung bei einer derartigen Wahl der Messfehlerkovarianzmatrix auftritt. Dies äußert sich in einem stärkeren Kontrast des geschätzten Musterbildes.
Die beschriebene Objektkontrolle hat den Vorteil, dass das Schätzverfahren anhand transformierter Bilddaten von Musterbildern offline durchgeführt werden kann. Online muss lediglich die Transformation der Bilddaten des aufgenommenen Objektbildes und die Korrelation der transformierten Bilddaten mit den geschätzten transformierten Bilddaten des Musterbildes erfolgen. Daraus ergibt sich eine gute Anwendbarkeit der beschriebenen Objektkontrolle bei Echtzeitbedingungen.
Insgesamt zeichnet sich das Verfahren zur Kontrolle von Objekten durch seine Robustheit bei gleichzeitig geringem Rechenaufwand aus. Selbst unter großen Störeinflüssen ist eine gute Klassifikation möglich.

Claims

Verfahren zur Kontrolle von Objekten, bei welchem mit einer Bildaufnahmeeinrichtung (5) ein Bild eines zu kontrollierenden Objekts (2) aufgenommen und Bilddaten erzeugt werden, bei welchem mit einer Bildverarbeitungseinrichtung (9, 10, 11) die mit der Bildaufnahmeeinrichtung (5) erzeugten Bilddaten einer Wavelet-Transformation, die mit einer Unterabtastung des Bildes verbunden ist, unterzogen werden und bei welchem anhand der transformierten Bilddaten die Objektkontrolle durchgeführt wird, dadurch gekennzeichnet , dass zur Objektkontrolle die Korrelation der transformierten Bilddaten des aufgenommenen Bildes mit geschätzten transformierten Bilddaten zumindest eines Musterbildes berechnet wird, wobei die geschätzten transformierten Bilddaten des Musterbildes folgendermaßen ermittelt werden – Aufnehmen von zumindest vier um zumindest ein Pixel gegeneinander verschobenen Bildern des Musters, – Wavelet-Transformieren der Bilddaten und – Berechnen der geschätzten transformierten Bilddaten, die bei einer Korrelation mit den transformierten Bilddaten der aufgenommenen Musterbilder jeweils einen zumindest näherungsweise gleich großen Korrelationskoeffizienten ergeben, durch ein Schätzverfahren.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Anzahl der zur Ermittlung der geschätzten transformierten Bilddaten des Musterbildes aufgenommenen, um zumindest ein Pixel verschobenen Bilder des Musters dem Grad der Unterabtastung der Wavelet-Transformation entspricht.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass bei einer 16fachen Unterabtastung der Wavelet-Transformation 16 Bilder des Musters zur Ermittlung der geschätzten transformierten Bilddaten des Musterbildes aufgenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Schätzverfahren auf der Basis eines Kalman-Filters verwendet wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Messfehlerkovarianzmatrix des Kalman-Filter-Entwurfs als Diagonalmatrix gewählt wird, deren Diagonalelemente jeweils zumindest näherungsweise den Wert 10 haben.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wavelet-Transformation mit einer zwedimensionalen Zweikanal-Filterbank durchgeführt wird, deren Koeffizienten auf der Basis der Koeffizienten g ~ und h ~ einer zweidimensionalen Zweikanal-Filterbank nach Mallat zur Signalrekonstruktion und der Koeffizienten g und h eines zweidimensionalen Zweikanal-Filters nach Mallat zur Signalanalyse berechnet sind.
Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, mit einer Bildaufnahmeeinrichtung (5) zur Aufnahme eines Bildes eines zu kontrollierenden Objekts (2) und zur Bilddatenerzeugung, mit einer Bildverarbeitungseinrichtung (9, 10, 11), die derart ausgebildet ist, dass die mit der Bildaufnahmeeinrichtung (5) erzeugten Bilddaten einer Wavelet-Transformation, die mit einer Unterabtastung des Bildes verbunden ist, unterzogen werden und dass anhand der transformierten Bilddaten die Objektkontrolle durchgeführt wird, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung weiterhin derart ausgebildet ist, dass zur Objektkontrolle die Korrelation der transformierten Bilddaten des aufgenommenen Bildes mit geschätzten transformierten Bilddaten zumindest eines Musterbildes berechnet wird, wobei die geschätzten transformierten Bilddaten des Musterbildes folgendermaßen ermittelt sind: – Aufnehmen von zumindest vier um zumindest ein Pixel gegeneinander verschobenen Bildern des Musters, – Wavelet-Transformieren der Bilddaten und – Berechnen der geschätzten transformierten Bilddaten, die bei einer Korrelation mit den transformierten Bilddaten der aufgenommenen Musterbilder jeweils einen zumindest näherungsweise gleich großen Korrelationskoeffizienten ergeben, durch ein Schätzverfahren.