DE69110012T2

DE69110012T2 - Linienerkennungsverfahren.

Info

Publication number: DE69110012T2
Application number: DE69110012T
Authority: DE
Inventors: Kiyoshi Hirakawa; Tatsumi Nakazato; Seigo Nishikawa; Shinji Okumura
Original assignee: Yaskawa Electric Manufacturing Co Ltd
Current assignee: Yaskawa Electric Corp
Priority date: 1990-06-13
Filing date: 1991-06-10
Publication date: 1995-11-23
Anticipated expiration: 2011-06-11
Also published as: DE69110012D1; US5359672A; EP0486701B1; EP0486701A1; JPH04117578A; EP0486701A4; WO1991020049A1

Description

Die vorliegende Erfindung betrifft ein Liniennachweisverfahren zur Verwendung in der Bildverarbeitung zum Nachweisen der Position eines geradlinigen Objekts, zum Beispiel einer Schweißlinie oder einer Kante eines Gegenstands. Genauer betrifft die Erfindung ein Verfahren, das den Nachweis mit hoher Genauigkeit ermöglicht, selbst in einem Fall, in dem das Eingabebild wegen einer Umgebung minderer Qualität nicht konstant ist oder in einem Fall, in dem das Nachweisobjekt fleckig ist.
Als bekannte Verfahren zum Nachweisen einer Linie durch Verwendung eines Bildverarbeitungsverfahrens, wie oben beschrieben, gibt es ein Verfahren, bei dem ein aufgenommenes Bild binärisiert wird und eine Position, die von schwarz auf weiß oder von weiß auf schwarz wechselt, nachgewiesen wird, und ein Verfahren, bei dem eine Differentiation durch Verwendung einer Matrix von in 3 Reihen und 3 Spalten angeordneten Pixeln durchgeführt wird.
Das Verfahren, bei dem eine Linie oder eine Kante durch Binärisieren des Bildes nachgewiesen wird, muß die Umgebungshelligkeit und die Arbeitsbedingungen festlegen, da sich das Binärbild mit einer Änderung in der Umgebungshelligkeit ändert.
Das Verfahren, das eine 3 x 3-Matrix verwendet, wird durch eine lokale Änderung der Helligkeit beeinflußt und kann daher kein klares Bild liefern, so daß, falls sich die Helligkeit des Bildes leicht ändert, Punkte, bei denen sich die Helligkeit ändert, das heißt die Peripherie des Bildes, nicht gefunden werden können. Falls außerdem das Bild neben einer nachzuweisenden geraden Linie einen Fleck oder ähnliches hat, ist eine große Wahrscheinlichkeit vorhanden, daß dies zu einem fehlerhaften Nachweis führt. Obendrein ist, da die Menge benötigter arithmetischer Operation groß ist, die Verarbeitungsgeschwindigkeit klein.
Entsprechend können diese Verfahren in einem Fall angewendet werden, in dem das Eingabebild konstant und klar ist, aber nicht in einer Umgebung minderer Qualität, wie derjenigen, in der ein gelenkiger Industrieroboter einen Arbeitsvorgang, zum Beispiel Schweißen, ausführt.
Angesichts der oben beschriebenen Probleme ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Nachweisen einer Linie oder einer Kante als Nachweisobjekt mit hoher Zuverlässigkeit, selbst in einem in einer Umgebung ausgeführten Arbeitsvorgang, in der die Bedingungen nicht konstant sind und das Werkstück äußerst fleckig ist, bereitzustellen.
Gemäß der vorliegenden Erfindung wird diese Aufgabe durch Bereitstellen des in Anspruch 1 definierten Verfahrens gelöst. Eine bevorzugte Ausführungsform ist in Anspruch 2 definiert.
Gemäß der vorliegenden Erfindung wird in der Vorbereitungsstufe unter allen möglichen Linien in zwei rechteckigen Fenstern, wobei man annimmt, daß Staub, eine Fehlerstelle oder ähnliches ein Teil einer Linie ist, die gültigste als eine Linie erkannt, und die Neigung und die charakteristischen Werte der Linie werden erhalten, und dann wird jedes rechteckige Fenster in ein parallelogrammförmiges Fenster längs dieser Neigung deformiert.
In der Nachweisstufe werden die Neigung und die charakteristischen Werte der nachzuweisenden Linie durch Verwendung der parallelogrammförmigen Fenster erhalten. Auf diese Art ist es, selbst wenn Bilddaten minderer Quälität sind, möglich, einen Nachweis zu erzielen, welcher für den praktischen Gebrauch ausreichend tauglich ist.
Die Fig. 1A bis 1E veranschaulichen eine Ausführungsform der vorliegenden Erfindung; Fig. 2 zeigt eine zum Ausführen der vorliegenden Erfindung benötigte Vorrichtung; Fig. 3 zeigt Pixel in einem Bild bei der vorliegenden Erfindung; und Fig. 4 veranschaulicht die Linienerkennung gemäß der vorliegenden Erfindung.
Ein Blockdiagramm einer zum Ausführen der vorliegenden Erfindung benötigten Vorrichtung ist in Fig. 2 gezeigt.
Ein analoges Videosignal, das von einer CCD-Kamera 201 gebildet wird, besteht im allgemeinen aus 525 Bildzeilen. Bei der Ausführungsform der vorliegenden Erfindung sind jedoch 481 Bildzeilen im Mittelteil des Bildes als effektive Bildzeilen definiert, da es wahrscheinlich ist, daß Rauschen dem Außenrandteil des Bildes überlagert wird.
Ein A/D-Umsetzer 202 wandelt das analoge Videosignal in 8-Bit-Digitalwerte (Helligkeitspegel von 0 bis 255, d.h. Bilddichtewerte) um, und die Ausgangsgröße des A/D-Umsetzers 202 wird einer Abtastschaltung 203 eingegeben, wo die effektive Bildperiode des oben beschriebenen Videosignals für eine Zeile (1 Bildzeile) in 512 geteilt wird. Als Ergebnis umfaßt jedes Bild eine Datenmatrix mit 481 Reihen und 512 Spalten (siehe Fig. 3), und diese Daten werden über eine Speicherdirektzugriffsschaltung 204 an einen Bildspeicher 205 übertragen.
Eine CPU 206 liest die Daten aus dem Bildspeicher 205 aus und führt eine Bildverarbeitung durch. Die Daten für die Bildverarbeitung werden vorübergehend entweder in einem internen Speicher der CPU 206 oder in einem (nicht gezeigten) externen Arbeitsspeicher gespeichert. In Fig. 2 bezeichnet Bezugszahl 207 ein CRT-Display, und 208 eine Tastatur.
Unter Verwendung der beschriebenen Vorrichtung wird unten eine Ausführungsform der vorliegenden Erfindung in der Verarbeitungsreihenfolge erläutert:
(a) Die Bedienungsperson setzt auf dem CRT-Display zwei parallele rechteckige Fenster 12 und 14, die eine Linie 10 als Nachweisobjekt an ihren langen Seiten kreuzen, wie in Fig. 1A gezeigt ist. Die Längen der langen Seiten des ersten und zweiten rechteckigen Fensters 12 und 14 werden so gesetzt, daß die Linie 10 innerhalb der gesetzten Längen liegt, wohingegen die Längen der kurzen Seiten jeweils auf mehrere zehn Pixel gesetzt werden, in der Absicht, einen guten Ausgleich zwischen der erforderlichen Zuverlässigkeit des Nachweises und der Länge der Verarbeitungszeit zu finden. Um das Verständnis zu erleichtern, ist in Fig. 1A die Anzahl von Pixeln, die jede kurze Seite bilden, auf 5 gesetzt.
(b) Nachdem die rechteckigen Fenster 12 und 14 auf diese Weise gesetzt sind, addiert die CPU Bilddichtewerte in jeder der Pixelspalten in der Richtung der kurzen Seiten der rechteckigen Fenster 12 und 14, um zu erhalten (siehe Fig. 1B).
Folglich sind die addierten Daten eindimensionale Datensätze. Diese Datensätze werden vorübergehend entweder in dem internen Speicher der CPU oder in dem (nicht gezeigten) externen Arbeitsspeicher gespeichert.
Fig. 4(a) zeigt ein Bild einer Linie 401 als Nachweisobjekt und Staubteilchen oder Fehlerstellen 402, Fig. 4(b1) zeigt einen eindimensionalen Datensatz in dem ersten rechteckigen Fenster 12, und Fig. 4(b2) zeigt einen eindimensionalen Datensatz in dem zweiten rechteckigen Fenster 14.
(c) Wenigstens ein Merkmalspunkt des eindimensionalen Datensatzes in dem ersten rechteckigen Fenster 12 wird gefunden. In dieser Ausführungsform werden unter dem eindimensionalen Datensatz vier Werte, und zwar der größte Wert und der zweit-, dritt- und viertgrößte Wert, gefunden. Die Bezugszeichen A bis D in Fig. 4(b1) zeigen die vier Werte. In ähnlicher Weise werden vier Merkmaispunkte in dem zweiten rechteckigen Fenster 14 gefunden. Die Bezugszeichen a bis d in Fig. 4(b2) zeigen die vier Merkmalspunkte.
(d) Als nächstes werden die Merkmalspunkte A bis D in dem ersten rechteckigen Fenster 12 und die Merkmalspunkte a bis d in dem zweiten rechteckigen Fenster 14 miteinander kombiniert, und eine Kombination, die als Summe den maximalen Wert hat, wird erhalten. Das heißt, unter 15 Kombinationen, d.h. A-a, A-b, A-c, A-d, B-a, B-b,...., D-d, wird eine Kombination, die den maximalen Wert hat,
ausgewählt.
In dem in den Fig. 4(b1) und 4(b2) gezeigten Beispiel ist die Kombination von C und b am größten. In anderen Worten wird die Linie, die durch die Punkte C und b geht, als die nachzuweisende Linie erkannt.
Betreffend die Art und Weise, wie man Merkmalspunkte erhält, können, obwohl in dieser Ausführungsform ein einfacher Größenvergleich gemacht wird, auch die folgenden Verfahren verwendet werden, abhängig von den Eigenschaften des Nachweisobjekts:
(i) Für jeden eindimensionalen Datensatz wird der Absolutwert einer Differenz für jede zwei Pixel, die voneinander eine vorbestimmte Anzahl von Pixel n entfernt sind, erhalten, und eine Position, die einen maximalen Absolutwert der Differenz annimmt, wird als ein Merkmalspunkt definiert.
(ii) Für jeden eindimensionalen Datensatz wird der Absolutwert einer Differenz für jede zwei Pixel, die voneinander eine vorbestimmte Anzahl von Pixeln entfernt sind, erhalten, und nur wenn der Absolutwert des Differenzwerts sich in der Folge: groß klein groß oder klein groß klein ändert, wird der Differenzwert erhalten, und eine Position, wo der Differenzwert ein Maximum erreicht, wird als ein Merkmalspunkt definiert.
Obwohl es ein anderes Verfahren gibt, das eine Standardabweichung eines eindimensionalen Datensatzes verwendet, wird zur Vermeidung einer Komplizierung dessen Beschreibung hier weggelassen.
Der Grund, warum eine Differenz jede vorbestimmte Anzahl von Pixeln erhalten wird, ist folgender: Wenn das Eingabebild unklar ist, wird die Differenz, falls die Differenz zwischen einem Paar benachbarter Pixel erhalten wird, unzureichend klein. Daher wird eine Differenz zwischen zwei Pixeln, die voneinander einige Pixel entfernt sind, erhalten. Die Anzahl von Pixeln, die übersprungen werden, wird in Abhängigkeit vom Grad der Klarheit des Bildes eingestellt.
(e) Die Summe der charakteristischen Werte der Kombination und deren Neigung werden im Speicher gespeichert.
(f) Jedes der rechteckigen Fenster wird längs der Neigung geneigt, so daß die kurzen Seiten parallel zur Richtung der Neigung sind, wodurch ein parallelogrammförmiges Fenster (Fig. 1C) gebildet wird. In diesem Fall müssen, da die in Fig. 3 gezeigte Pixelmatrix selbst nicht deformiert werden kann, Pixeldaten, die aufzunehmen sind, bestimmt werden. Fig. 1D zeigt ein Beispiel, bei dem der Neigungswinkel 45 Grad ist, und Fig. 1E zeigt ein Beispiel, bei dem der Neigungswinkel 7 Grad ist.
(g) Die Verarbeitungsschritte (b) bis (e) werden in Bezug auf die parallelogrammförmigen Fenster ausgeführt, wobei die Neigung und der Wert der Summe gespeichert werden.
Es sei bemerkt, daß, obwohl der Schritt (g) notwendig ist, wenn ein höherer Genauigkeitsgrad gewünscht wird, er für eine einfache Verarbeitung weggelassen werden kann.
Das Vorangehende ist das Verarbeiten in der Vorbereitungsstufe, die eine zum Eintreten in einen tatsächlichen Arbeitsvorgang nötige Vorbereitung ist. Insbesondere wird, wenn die gegenwärtige Erfindung auf Bildverarbeitung für einen Industrieroboter angewendet wird, diese Operation zum Zeitpunkt des Einlernens des Roboters ausgeführt.
Das Folgende ist eine Verarbeitung in der Nachweisstufe.
(h) In Bezug auf die in der Vorbereitungsstufe erhaltenen parallelogrammförmigen Fenster werden die Verarbeitungsschritte (b) bis (e) ausgeführt, und die Neigung und der Wert der Summe der charakteristischen Werte, die so erhalten werden, werden mit den in der Vorbereitungsstufe erhaltenen verglichen, wodurch die Position der zu erhaltenden Linie nachgewiesen wird.
Durch Ausführen des oben beschriebenen Verfahrens, bei dem Bilddichtewerte in Richtung der kurzen Seiten der Fenster addiert werden, wird die Dichteeigenschaft des Abschnitts 401, welcher der nachzuweisenden Linie entspricht, mehr betont als die des Flecks, Staubs oder ähnlichen 402, welcher kurz in der Länge in Richtung der kurzen Seiten ist.
Wie oben beschrieben wurde, ermöglicht die vorliegende Erfindung das Ausführen von Bildverarbeitung mit hoher Genauigkeit, selbst an industriellen Orten zum Beispiel eines Schweißvorgangs, eines Vorgangs des Zusammenbaus großformatiger Maschinen, usw., wo das Eingabebildsignal aufgrund eines Flecks auf dem Objekt oder einer Umgebung minderer Qualität nicht stabil ist.
Außerdem kann selbst in einem Arbeitsbereich, in dem es bisher unmöglich war, einen Roboter einzuführen, weil kein gutes Bild erhalten werden konnte, ein Roboter mit Fähigkeit zur visuellen Wahrnehmung durch Verwendung dieser Bildverarbeitung eingeführt werden. Daher wird die vorliegende Erfindung einen großen Beitrag zum Einsparen von Arbeitskräften leisten.
Die vorliegende Erfindung kann angewendet werden zur Bildverarbeitung, zum Beispiel in einem Schweißroboter, der eine Schweißung ausführt, während er die Schweißlinie überwacht.

Claims

1. Verfahren zum Nachweisen der Position eines geradlinigen Nachweisobjekts durch Bildverarbeitung unter Verwendung einer Bilderzeugungsvorrichtung (201-208), umfassend die Schritte (a) bis (f), welche als Verarbeitung in einer Vorbereitungsstufe ausgeführt werden, und den schritt (g), welcher in einer Stufe, in der ein geradliniges Nachweisobjekt tatsächlich nachgewiesen wird, ausgeführt wird:

(a) Setzen zweier paralleler rechtwinkliger Fenster (12, 14), die eine nachzuweisende Linie (10) an ihren langen Seiten kreuzen;

(b) Addieren von Bilddichtewerten in jeder der Pixelfolgen, die parallel zu den kurzen Seiten der Fenster orientiert sind, um einen eindimensionalen Datensatz, umfassend eine Reihe der resultierenden addierten Werte, für jedes Fenster zu erhalten;

c) Erhalten wenigstens eines Merkmalspunkts für jeden der eindimensionalen Datensätze, welcher einen charakteristischen Wert hat, der auf der Größe, dem Gradienten, der Änderung im Gradienten oder einer Standardabweichung des eindimensionalen Datensatzes beruht;

(d) Kombinieren der charakteristischen Werte an den Merkmalspunkten in einem der eindimensionalen Datensätze mit den charakteristischen Werten an den Merkmalspunkten in dem anderen eindimensionalen Datensatz, und Erhalten einer Kombination, die als die Summe der charakteristischen Werte den maximalen Wert hat;

(e) Speichern der Neigung einer Linie, welche die beiden Merkmalspunkte, die den Maximalwert zeigen, verbindet, zusammen mit dem Wert der Summe im Speicher;

(f) Neigen jedes der rechtwinkligen Fenster, so daß dessen kurze Seiten parallel zu der die Merkmalspunkte verbindenden Linie sind, wodurch ein parallelogrammförmiges Fenster gebildet wird; und

(g) Ausführen der Schritte (b) bis (e) in Bezug auf die parallelogrammförmigen Fenster, die in der Vorbereitungsstufe erhalten werden, und Vergleichen der Neigung und des Wertes der Summe, die so erhalten werden, mit den in der Vorbereitungsstufe erhaltenen, wodurch die Position der nachzuweisenden Linie nachgewiesen wird.

2. Verfahren zum Nachweisen der Position eines geradlinigen Nachweisobjekts durch Bildverarbeitung unter Verwendung einer Bilderzeugungsvorrichtung, wie definiert in Anspruch 1, umfassend den weiteren Schritt (h) zwischen den Schritten (f) und (g):

(h) Ausführen der Schritte (b) bis (e) in Bezug auf die parallelogrammförmigen Fenster, wobei die Neigung und der Wert der Summe gespelchert wird.