DE19525561C2

DE19525561C2 - 3D-Meßvorrichtung

Info

Publication number: DE19525561C2
Application number: DE19525561A
Authority: DE
Inventors: Tatsuo Hayashi; Kikuo Hori
Original assignee: Murata Machinery Ltd
Current assignee: Murata Machinery Ltd
Priority date: 1994-07-13
Filing date: 1995-07-13
Publication date: 2003-10-16
Anticipated expiration: 2015-07-14
Also published as: JPH0829136A; DE19525561A1; JP2692603B2

Description

Die Erfindung betrifft eine 3D-Meßvorrichtung, die eine 3D-Form sowie insbesondere die Position und Orientierung zur Umgebung eines Objekts, insbesondere eines Objektes mit geraden Begrenzungsflächen und Kanten, insbesondere eines Quaders, mißt, und insbesondere eine 3D- Meßvorrichtung, bei der ein binokulares stereoskopisches Betrachtungsverfahren mit einem aktiven stereoskopischen Verfahren kombiniert wird.

Die Verfahren zur Messung einer 3D-Form eines Objekts werden in das binokulare stereoskopische Betrachtungsverfahren (stereoskopisches Bildverfahren), das Trimetrogon-Betrachtungsverfahren, das Ocellus- Betrachtungsverfahren, das Dauerbildverfahren, das Linsenbrennpunktverfahren u. dgl. klassifiziert, die vom passiven Typ (= keine zusätzliche Bestrahlung des Objektes) sind, sowie das Radarstrahlverfahren, das aktive stereoskopische Verfahren, das Moireverfahren u. dgl., die vom aktivem (= aktive Bestrahlung des Objektes) Typ sind. Beim binokularen stereoskopischen Betrachtungsverfahren, das ein repräsentatives Beispiel des passiven Typs ist, werden die Positionen zweier Punkte (entsprechende Punkte), die dem gleichen Punkt in einer Szene entsprechen, auf den jeweiligen Bildern dadurch berechnet, daß sie durch eine linke und eine rechte Kamera aufgenommen werden, und ein Abstand wird durch das Triangulationsprinzip gebildet. Bei dem aktiven stereoskopischen Verfahren, das ein repräsentatives Beispiel des aktiven Typs ist, wird ein Spaltstrahl oder ein Musterstrahl, z. B. mit einem Projektor, auf ein Objekt abgestrahlt, und ein Abstand wird aus einem Bild erzeugt, das durch eine einzige Kamera aus einem anderem Winkel ähnlich dem Triangulationsprinzip aufgenommen wurde.

Der Abstand ist der Abstand des Objekts von der Kamera bzw. vom Projektor, wobei die Richtung der Verbindungslinie zwischen dem Objekt und dem Projektor bzw. der Kamera ebenfalls bekannt ist.

Es ist nicht möglich, Punkte mit den binokularen stereoskopischen Betrachtungsverfahren (Fig. 13) direkt in Übereinstimmung zu bringen, und es wird ein Verfahren durchgeführt, bei dem eine Kante bezüglich des linken und rechten Bildes abgetastet werden, und linke und rechte Punkte entsprechen einander nach Durchführung einer Berechnung einer Koordinate an einem Schnittpunkt bzw. einer Unterbrechung oder einem Versatz der Kante. Daher kann ein Fehler verstärkt werden. Insbesondere besteht das Bestreben, daß ein Meßfehler in der Tiefenrichtung, d. h., einer Komponente in z-Richtung aufweisenden Bildaufnahmerichtung, im Vergleich zu den Fehlern in der Auf- und Abwärtsrichtung und der linken und rechten Richtung erheblich groß wird. Die beiden Bilddaten, die von der linken und rechten Kamera empfangen werden, umfassen jeweils einen Kameraebenen-Koordinatenwert u, v, und eine 3D-Weltkoordinate, die tatsächlich gemessen wird, wird durch x, y, z angegeben. Wenn hierbei die Bildaufnahme von oben durchgeführt wird, wirkt sich die Abweichung jeder Richtung von u und v auf den Bilddaten am meisten in der Höhenrichtung aus. Wenn als spezielles Beispiel in einer bestimmten 3D-Meßvorrichtung die Koordinate des entsprechenden Punktes um ein Pixel in der u- oder v- Richtung abweicht, wird, obwohl ein Fehler von 2 mm auf der x- und y-Ebene verursacht wird, ein Fehler von etwa 10 mm in der z-Richtung verursacht. Wenn die Koordinate um ein Pixel jeweils in der u- und der v-Richtung abweicht, gibt die Abweichung einen Fehler zweimal so groß wie der obige Fehler und mehr ab, d. h., von 20 mm und mehr.

Obwohl es mit dem aktiven stereoskopischen Verfahren (Fig. 14) möglich ist, eine Anzahl von entsprechenden Punkten auszuwählen, besteht das Problem der Eichung eines einen Strahl abgebenden Projektors. Die Eichung einer Kamera kann automatisch nur durch Aufnahme einer bekannten Gittertabelle durchgeführt werden. Bei der Eichung eines Projektors jedoch muß eine Bedienungsperson eine Position, auf die ein Strahl auftrifft, durch direkte Beobachtung und Einstellung messen. Es wird daher ein erheblicher Meßfehler verursacht, und es ist viel Zeit für die Operation notwendig. Bezüglich der Verzerrung eines optischen Systems können die entsprechenden Punkte in 2D-Koordinaten in einer Kamera beobachtet werden, und daher kann die Beseitigung dieser Verzerrung durch eine Anzahl entsprechender Punkte mit erheblicher Genauigkeit durchgeführt werden. Die Beseitigung der Verzerrung ist bei einem Projektor schwierig, da er nur eindimensionale Koordinaten hat.

Die nachveröffentlichte ältere Druckschrift der Anmelderin DE 44 05 849 A1 offenbart ein 3D-Meßverfahren zur Berechnung der Ebenengleichung einer Oberseite eines quaderförmigen Objekts unter Verwendung einer Kamera und eines Musterstrahlprojektors. Unter Verwendung der Lichtschnitt- oder Graycode-Projektionstechnik wird dabei ein Raumcodebild des Objekts in Form eines zweidimensionalen Werterasters erzeugt und schließlich zweidimensionale Oberseitendaten der Oberseite des Objekts aus den Raumcodewerten ermittelt. In einem weiteren Schritt werden die 3D- Koordinaten mehrerer an den Grenzen der Oberseite des Objekts liegender Punkte mit Hilfe des Triangulationsprinzips berechnet. Das Ausstrahlen eines Musterstrahls auf die Oberseite des Objekts zur Erzeugung mehrerer Schnittlinien erfolgt hierbei jedoch nicht.

In dem Artikel "Recognition and Localization of a cubically modular part with laser-stripe-based range data" von Wan Yangsheng und Chris Malcolm (robotics & computer-integrated manufacturing, volume 10, no. 5, pp 333 bis 338, 1993) ist ein 3D-Meßverfahren zur Berechnung der Oberfläche eines Objekts unter Verwendung zweier Kameras und eines Projektors beschrieben, bei dem zunächst für jede Kamera ein auf einen Objektpunkt gerichteter Vektor berechnet wird. Aus dem Schnittpunkt der beiden Vektoren ergeben sich dann die Raumkoordinaten des Objektpunktes. Zur Berechnung des Objektpunktes muß eine aufwändige mathematische Approximation durchgeführt werden, da sich die beiden Vektoren aufgrund von Rechenfehlern normalerweise nicht im dreidimensionalen Raum schneiden.

Die DE 41 15 445 C2 zeigt das allgemeine Prinzip der Graycode- Projektionstechnik zum Erzeugen eines Raumcodebildes eines Objekts in Form eines zweidimensionalen Werterasters. Weitere Hinweise auf das erfindungsgemäße Verfahren ergeben sich daraus nicht.

Es ist daher die Aufgabe der vorliegenden Erfindung, ein 3D-Meßverfahren zu schaffen, das einen geringen Meßfehler insbesondere in der in Bildaufnahmerichtung liegenden Raumkomponente aufweist und bei dem die Eichung eines Projektors nicht erforderlich ist.

Gelöst wird diese Aufgabe gemäß der Erfindung durch die im Anspruch 1 angegebenen Merkmale. Zweckmäßige Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.

Bei dem verwendeten Aufbau ergibt sich die folgende Arbeitsweise:
Beim 3D-Meßverfahren nach dem Anspruch 1 wird eine stereoskopische Bildaufnahme durchführt, während ein Musterstrahl, insbesondere ein Spaltstrahl, abgegeben wird. Wenn der Musterstrahl bei der Messung auf ein Objekt abgegeben wird, werden eine oder mehrere Schnittlinien auf einer Ebene des Objekts erzeugt, welche etwa in die stereoskopische Richtung weist, da die Abgaberichtung des Musterstrahls der stereoskopischen Bildaufnahmerichtung ähnlich ist. Bezüglich jeder Schnittlinie werden eine Beobachtungsebene einschließlich des Zentrums einer ersten Kamera und einer einzigen Schnittlinie und gerade Beobachtungslinien, von denen jede das Zentrum einer zweiten Kamera und Punkte auf der einzigen Schnittlinie erhalten. Insbesondere definiert eine einzige Schnittlinie auf dem Objekt zusammen mit dem Zentrum einer ersten Kamera eine erste Beobachtungsebene, die auch Beobachtungslinien enthält, welche von dieser ersten Kamera ausgehen, und die Schnittlinie treffen, und analog definiert dieselbe Schnittlinie zusammen mit dem Zentrum einer zweiten Kamera eine zweite Beobachtungsebene, die zweite Beobachtungslinien enthält, welche von der zweiten Kamera ausgehen und die Schnittlinie treffen. Auf der das Bild erzeugenden Ebene, insbesondere der u-v-Ebene der Fig. 2, ist die Beobachtungsebene als eine einzelne Linie (SP1, SP2) wiedergegeben, und die gerade Beobachtungslinie wird als ein einzelner Punkt wiedergegeben. Die Abbilder, insbesondere der Beobachtungsebenen und der Beobachtungslinien, können jedoch auf den Bilddaten als eine sich ausbreitende Ebene und eine verlängerte gerade Linie einschließlich ihrer eigenen Kamerazentren beobachtet werden. Diese beiden (Beobachtungslinie und Beobachtungsebene) schneiden sich miteinander auf einer Ebene, die zwei zu einer Linie zusammenfallende Schnittlinien zeigt. Da die Schnittpunkte von beiden in der Ebene enthalten sind, werden daher die Koordinaten mehrerer Schnittpunkte berechnet, und eine Ebenengleichung der Ebene wird aus den berechneten Koordinatenwerte erstellt.

Bei dem 3D-Meßverfahren nach Anspruch 2 hat das Meßobjekt die Form eines Quaders und ist auf einer im wesentlichen horizontalen Ebene angeordnet; dies ist auf einen Fall anwendbar, bei dem eine stereoskopische Bildaufnahme in der z-Komponenten enthaltenden Abwärtsrichtung von oben durchgeführt wird. In diesem Falle ist die Oberseite des Objekts im wesentlichen horizontal, und daher wird die Ebenengleichung der Oberseite als eine Gleichung berechnet, die eine horizontale Ebene angibt, die nur durch die Höhe spezifiziert ist.

Bei dem 3D-Meßverfahren nach Anspruch 3 wird die Ebenengleichung derart angewandt, daß zur Bestimmung des 3D-Koordinatenwertes des entsprechenden Punktes in den Bild-Daten, von dem erwartet wird, daß er in der Objekt-Ebene liegt, der entsprechende Punkt in der durch die Ebenengleichung angegebenen Ebene enthalten ist.

Die Erfindung wird nachstehend anhand der Fig. 1 bis 14 beispielsweise erläutert.

Es zeigt

Fig. 1 den Aufbau einer 3D-Meßvorrichtung zur Durchführung eines Beispiels des 3D- Meßverfahrens gemäß der Erfindung,

Fig. 2 ein Beispiel von Bildern einer linken und rechten Kamera in der 3D-Meßvorrichtung der Fig. 1,

Fig. 3 ein Blockschaltbild, aus dem der Aufbau einer Bildverarbeitungseinrichtung des Beispiels der Fig. 1 hervorgeht,

Fig. 4 ein Hauptflußdiagramm, aus dem das Verfahren der Verarbeitung beim Beispiel der Fig. 1 hervorgeht,

Fig. 5 die visuelle Darstellung eines Verfahrens zur Bildung einer Raumbild-Werteebene bei dem Beispiel der Fig. 1,

Fig. 6 eine visuelle Darstellung eines Verfahrens zur Abtastung und Zuordnung von Kantenin formationen im Beispiel der Fig. 1,

Fig. 7 eine visuelle Darstellung eines Verfahrens zum Erzeugen einer Koordinate eines entsprechenden Punktes im Beispiel der Fig. 1,

Fig. 8 ein Flußdiagramm, aus dem das Verfahren der Bildung von Oberseitendaten des Objekts im Beispiel der Fig. 1 hervorgeht,

Fig. 9 eine visuelle Darstellung, aus dem das Verfahren zur Bildung von Suchintervallen in der u-Richtung der Schnittlinien in Fig. 8 hervorgehen,

Fig. 10 eine visuelle Darstellung eines Verfahrens zum Aufsuchen von Koordinaten der Start- und Endpunkte einer linken Raumbild-Werteebene in Fig. 8,

Fig. 11 das Prinzip der Erkennung einer Schnittlinie der Oberseite bei einem Verfahren zur Bildung einer Beobachtungsebene in Fig. 8, und

Fig. 12 ein Flußdiagramm, aus dem das Verfahren zur Bildung eines 3D-Koordinatenwertes bei dem Beispiel der Fig. 1 hervorgeht.

Fig. 13 eine Prinzip-Darstellung des binokularen stereoskopischen Verfahrens und

Fig. 14 eine Prinzip-Darstellung des aktiven stereoskopischen Verfahrens.

In Fig. 1 wird ein Objekt O, das die Form eines rechteckigen Quaders hat, der auf einer im wesentlichen horizontalen Ebene angeordnet ist, von oben durch eine linke und eine rechte CCD- Kamera 1R und 1L photographiert, die an unterschiedlichen Stellen angeordnet sind. Dadurch werden zwei in Fig. 2 gezeigte Bilddaten erhalten. Ein Musterstrahlprojektor 2 ist so angeordnet, daß er Raumcode-Musterstrahlen in einer Richtung abstrahlt, die etwa die gleiche wie die Photographierrichtungen des Objekts O durch die CCD-Kameras 1R und 1L (d. h., von oben) ist. Wie Fig. 3 zeigt, wird eine in Fig. 1 nicht dargestellte Flüssigkristallblende des Musterstrahlprojektors 2 von einer Flüssigkristallblendensteuerung 3 gesteuert.

Die CCD-Kameras 1R und 1L werden jeweils mit einer Raumbild-Werteebene-Erzeugungseinheit 4 verbunden und übertragen Bilddaten zu dieser. Die Raumbild-Werteebene- Erzeugungseinheit 4 empfängt Bilddaten durch Änderung der Strahlenmuster aufgrund Steuerung der LCD-Steuerung 3. Die gebildete Raumbild-Werteebene wird zu einer Raumbildwert- Verarbeitungseinheit 5, einer Codewert-Zuordnungseinheit 6 und einer Oberseitendaten-Erzeugungseinheit 7 übertragen. Vor der Messung wird außerdem eine Eichung der Kameras bezüglich jeder CCD-Kamera 1R und 1L durch ein bekanntes Verfahren durchgeführt, bei dem ein Gittertisch mit bekannten dreidimensionalen Koordinatenwerten photographiert wird, eine Zuordnung zwischen den dreidimensionalen Koordinatenwerten und den Koordinaten des photographierten Bildes hergestellt wird, und wodurch die Kameraparameter berechnet werden. Dieses Verfahren wird nicht mehr erläutert.

Die Raumbildwert-Verarbeitungseinheit 5 führt Verarbeitungen wie eine M-Gradientenverarbeitung, eine Binärcodebildung, und eine Kanteninformationsabtastung und -zuordnung durch, so daß eine Koordinate eines entsprechenden Punktes oder eine Korrektur einer Verzerrung bei den Bilddaten erzeugt wird. Diese Verfahren sind etwa gleich denen bei einer üblichen dreidimensionalen Meßmethode. Die entsprechenden Punktdaten, die dadurch erhalten werden, werden einem Raumcodewert in einer Codewert-Zuordnungseinheit 6 zugeordnet. Die Oberseitendaten-Erzeugungseinheit 7 berechnet eine Ebenengleichung der Oberseite des Objekts O. Eine 3D-Koordinaten-Erzeugungseinheit 8 bildet die dreidimensionale Koordinate des entsprechenden Punktes durch den Raumcodewert, der dem entsprechenden Punkt zugeordnet ist, und die Ebenengleichung. Eine Bereich-Block-Teilereinheit 9 teilt Bereiche/Blöcke auf der Grundlage der dreidimensionalen Koordinate des entsprechenden Punktes. Die dreidimensionale Meßvorrichtung dieses Beispiels wird außerdem zur Ent- Palletierung verwendet, und das Objekt O ist ein auf Paletten gestapeltes Objekt, das die Form eines Quaders hat.

Das obige Verfahren wird nun näher erläutert. Wie Fig. 4 zeigt, besteht das Verfahren der dreidimensionalen Messung in diesem Beispiel darin, das Raumcodebild (Schritt 1) zu erzeugen, das Raumcodebild (Schritt 2) zu verarbeiten und eine Kanteninformation abzutasten und zuzuordnen, und die Koordinate des entsprechenden Punktes (Schritt 3) zu erzeugen, den Raumcode des entsprechenden Punktes (Schritt 4) zuzuordnen, die Oberseitendaten des Objekts (Schritt 5) zu bilden, den dreidimensionalen Koordinatenwert eines Objekts (Schritt 6) zu bilden und die Bereiche/Blöcke (Schritt 7) in dieser Reihenfolge zu teilen.

Zunächst wird die Erzeugung des Raumcodebildes (Schritt 1) durch Empfang der Bilddaten von den CCD-Kameras 1R und 1L und addieren durchgeführt, während die Raumbild-Werteebene- Erzeugungseinheit 4 die Flüssigkristall-Blendensteuerung 3 steuert.

Wie Fig. 5 zeigt, projiziert der Musterstrahlprojektor 2 acht Arten positiver Muster und acht Arten negativer Muster, durch die positive und negative Bilder von jedem Muster erhalten werden können. Der Photographiervorgang wird von der linken und rechten CCD-Kamera 1R und 1L durchgeführt, und die Anzahl der Photographiervorgänge beläuft sich daher auf insgesamt 32. Fig. 5 zeigt das Bild der CCD-Kamera 1L.

Jeweilige linke positive, rechte positive, linke negative und rechte negative Bilder werden durch ein 2°-Projektionsmuster (ein Muster, das das Bild durch eine Unterteilung in zwei Teile teilt), erzeugt, Differenzbilder werden durch Berechnung einer Differenz dazwischen für jedes linke und rechte Bild berechnet, und binärcodierte Bilder werden mittels eines geeigneten Schwellwertes erhalten. Insbesondere kann es sich bei dem Schwellenwert um einen Schwellenwert hinsichtlich einer mittleren Helligkeit bzw. eines mittleren Grauwertes handeln, und die binärkodierten Bilder liegen in Form einer Werteebene vor, indem jedem Punkt der rasterförmigen Werteebene ein Binärwert (schwarz oder weiß) zugeordnet ist. Die erhaltenen binärcodierten Bilder werden dann zu dem Raumcodebild gemacht, insbesondere indem die zweidimensionalen binärkodierten Bilder der linken und rechten Kamera zueinander in Beziehung gesetzt werden entsprechend der unterschiedlichen Betrachtungsrichtung der beiden Kameras, und dadurch ein räumlich aussagekräftiges Raumcodebild in Form eines zweidimensionalen Werterasters erhalten wird, wobei insbesondere der Wert eines Punktes, dessen Höhenlage entspricht. Danach wird ein binärcodiertes Bild in ähnlicher Weise durch ein 2¹ Projektionsmuster (ein Muster, das das Bild durch zwei Unterteilungen in vier Teile teilt) erzeugt, das mit dem doppelten Wert des Raumcodebildes addiert wird, der durch das 2⁰-Projektionsmuster erzeugt wurde, und der addierte Wert wird dann zum neuen Raumcodebild gemacht. Insbesondere sollte keine der Unterteilungen des nachfolgenden Projektionsmusters mit einer der Unterteilungen des vorangehenden Projektionsmusters zusammenfallen. Vielmehr verlaufen die Unterteilungen der einander nachfolgenden Projektionsmuster im wesentlichen parallel zueinander, die Unterteilung wird jedoch durch Verdoppeln jeweils um den Faktor zwei verfeinert.

Durch Wiederholung dieses Verfahrens unter Anwendung des 2², 2³, . . . 2⁷-Projektionsmusters, kann ein neues Raumcodebild erzeugt werden, das aus den acht binärcodierten Bildern addiert ist. Der Wert eines vorherigen Raumcodebildes wird jedoch bei der Addition verdoppelt, und daher ist das Raumcodebild in eine Anzahl codierter (gewichteter) Bereiche eingeteilt. Dies bedeutet, daß ein Bereich, der "1" in allen binärcodierten Bildern ist, einen Wert von 255 hat, und ein Bereich, der darin überall "0" hat, einen Wert von Null hat. Die anderen Bereiche werden durch Werte von 1 bis 254 unterschieden.

Außerdem sind bei diesem Beispiel die jeweiligen CCD- Kameras 1L und 1R und der Musterstrahlprojektor 2 so angeordnet, daß der Musterstrahl die Bilder der jeweiligen Kamera genau in der Auf- und Abwärtsrichtung teilt. Daher sind die Schnittlinien, die die Grenzen zwischen den Bereichen darstellen, also schneiden, mit der Richtung u bezüglich der Kamerakoordinate des Bildes parallel, wenn keine Verzerrung eines optischen Systems des Musterstrahlprojektors 2 auftritt, soweit die Oberseite des Objekts "O" eine horizontale Ebene ist. Selbst wenn eine optische Verzerrung des Musterstrahlprojektors 2 vorhanden ist, ist klar, daß, je paralleler die Schnittlinie zur Richtung "u" ist, desto höher ist die Genauigkeit der Ablesung in der Richtung "v".

Danach verarbeitet die Raumcodebild-Verarbeitungseinheit 5 das Raumcodebild (Schritt 2). Wie Fig. 6 zeigt, wird das Raumcodebild durch die M-Gradientenverarbeitung verarbeitet und zu einer kantenabgetasteten Bildebene des Gray-Code-Wertes gemacht, und binärcodiert, und Kettensuch-Koordinatenpunkte werden ausgewählt. Der Kettensuchvorgang bedeutet die Suche nach einer Verbindung einzelner Pixel, also Bildpunkte. Die Punkte für den Kettensuchvorgang werden nicht an den Ecken des Objekts O, sondern an einer Stelle in der Nähe ausgewählt. Dies ist darauf zurückzuführen, daß eine Ecke häufig verformt ist.

Die Abtastung der Kanteninformation (Schritt 3) ist ein Vorgang zur Bestimmung der Kanten des Objekts O durch Lesen und Verbinden der Daten nahe den Punkten für den Kettensuchvorgang und die Zuordnung der Kanteninformation (Schritt 3) ist ein Vorgang zur Beseitigung von Störungen durch Beseitigung von Seiten, deren Länge gleich der oder geringer als die Bezugslänge aus dem Kantenabtasten ist. Dadurch werden nur die Kanten der Oberseite des Objekts O erhalten. Gemäß Fig. 6 werden beispielsweise dabei die Werte an jedem Punkt des Raumcodebildes, die z. B. Gray-Code-Werte sind, durch die M-Gradientenverarbeitung nach bestimmten Regeln zu den Werten benachbarter Punkte in Beziehung gesetzt, beispielsweise Differenzen gebildet oder Ähnliches. Durch dieses Inbeziehungsetzen wird ersichtlich, zwischen welchen benachbarten Punkten, also Werten des Rasters, eine wie große z. B. Differenz zwischen den Gray-Code-Werten oder Ähnlichem, die durch die Punktwerte symbolisiert werden, gegeben ist.

Durch das anschließende Binärisieren, indem die Werte oberhalb eines Schwellenwertes gleich "1" und die unterhalb liegenden gleich "0" gesetzt werden, ergeben sich diejenigen Punkte bzw. Felder des Rasters, die die vermutliche Kante zwischen sich einschließen, wodurch der Kantenverlauf ersichtlich wird.

Außerdem wird bei dem Vorgang der Bildung der Koordinate (durch Einheit 5) des entsprechenden Punktes (Schritt 3) die Koordinate des Schnittpunktes auf der Kamerakoordinate gebildet, nachdem die Verzerrungen der abgetasteten Seiten auf der Grundlage der optischen Verzerrung der Kameras (z. B. ein horizontal liegendes Quadrat wird aufgrund der Beobachtungsrichtung der Kamera, die von der Z-Richtung abweicht, zu einem Trapez) gesammelt wurden. Die Koordinate des Schnittpunktes ist ein Punkt einer Ecke, von der angenommen wird, daß sie selbst dann nicht verformt ist, wenn sie tatsächlich verformt ist, und der zum entsprechenden Punkt gemacht wird. Aufgrund des Verlaufes der Kanten außerhalb des Bereiches der Ecken kann durch Verlängerung der Kantenrichtung der theoretische Schnittpunkt als theoretische Ecke des Objekts erzeugt und anstelle der tatsächlichen, in der Regel verformten Ecke, angenommen werden.

Außerdem sind die Schritte 1 bis 3 der Verarbeitungen nahezu gleich denen einer üblichen aktiven stereoskopischen Methode unter Anwendung einer einzigen Kamera und eines Musterstrahlprojektors. Der Schritt 3 wird entweder bezüglich der linken oder der rechten Datenbildebene (u-v-Ebene), bei diesem Beispiel der linken Datenbildebene durchgeführt, obwohl die Schritte 1 und 2 bezüglich des jeweiligen linken und rechten Bildes durchgeführt werden. Dies geschieht, da es ausreicht, den Vorgang des Schrittes 3 bezüglich einer der beiden Datenbilder durchzuführen, und es ist nicht notwendig, ihn an beiden Bildern durchzuführen, wie später erläutert wird.

Bei der üblichen aktiven stereoskopischen Methode wird danach eine Verarbeitung durchgeführt, bei der die obige Koordinate in die dreidimensionale Koordinate im Weltkoordinatensystem auf der Grundlage einer einzigen Kamera und Parametern des Musterstrahlprojektors umgewandelt wird. Jedoch wird bei diesem Beispiel eine Verarbeitung durchgeführt, die von der üblichen verschieden ist, wie folgt.

Wie Fig. 7 zeigt, wird danach der Raumcodewert des entsprechenden Punktes zugeordnet (Schritt 4), und die Daten des entsprechenden Punktes und das Raumcodebild werden kontrolliert, und ein Wert eines Bereichs, zu dem der entsprechende Punkt gehört, wird einem der aufgeteilten Bereiche des Raumcodebildes zugeordnet. Dies bedeutet, daß dem entsprechendem Punkt ein Wert von 0 bis 255 in Abhängigkeit von der Position, in der er sich befindet, zugeordnet wird. Die Verarbeitung wird nur bezüglich des linken Datenbildes durchgeführt.

Dies bedeutet, wie Fig. 7 zeigt, wenn das Raumcodebild beim Schritt 1 erhalten wird, und die entsprechenden Punktdaten zusammengesetzt werden, es bekannt ist, daß der entsprechende Punkt P in einem Bereich des Wertes "5" liegt, und es wird dieser Wert zugeordnet. Der Zuordnungsvorgang wird an jedem entsprechendem Punkt durchgeführt.

Danach erzeugt die Oberseitendaten-Formiereinheit 7 die Oberseitendaten des Objekts O (Schritt 6). Die Oberseitendaten bilden die Ebenengleichung, die die Oberseite des Objekts O angibt. Eine Erläuterung dieses Vorgangs wird anhand der Fig. 1, 2 und 8 bis 12 durchgeführt.

Fig. 8 ist ein Flußdiagramm, das den Vorgang der Berechnung der Ebenengleichung zeigt, die die Oberseite angibt. Zuerst berechnet der Vorgang die Raumcodewerte der beobachteten Schnittlinien (z. B. vier Linien) durch Verwendung des Raumcodebildes und der durch die Oberseiten- Erzeugungseinheit 7 gebildete Koordinate des entsprechenden Punktes (Schritt 51). Wie Fig. 9 zeigt, wählt der Vorgang einen Punkt Pmax mit einer maximalen v-Koordinate und einem Punkt Pmin mit einer minimalen v-Koordinate unter den vier in den Kanten enthaltenen Punkten, insbesondere den vier Ecken der sich schneidenden Kanten der rechteckigen Oberseite aus, und bestimmt vier insbesondere zur u-Richtung parallele Schnittlinien Sp1 bis Sp4 durch etwa gleiche Teilung des Abstandes dazwischen in Richtung der v-Koordinate durch fünf. Wie zuvor erwähnt, definieren die Schnittlinien Sp1 bis Sp4 Grenzlinien unter Raumcodebereichen mit unterschiedlichen Werten, die als gerade Linien unabhängig von der Neigung der Schnittlinien auf der Bildkoordinate beruhend auf der Verzerrung des optischen Systems des Musterstrahlprojektors 2 berechnet werden. Dies geschieht, da die Schnittlinien nahezu gerade Linien werden, da sie lokal bei Betrachtung des gesamten Bildes beobachtet werden, und es wird kein wesentlicher Fehler verursacht, selbst wenn sie als gerade Linien erkannt werden.

Danach erzeugt die Operation Suchintervalle der Schnittlinien in der u-Richtung (Schritt 52). Bei diesem Beispiel bestimmt die Operation willkürlich Abtastschrittintervalle zwischen dem Punkt Pmax mit der maximalen u-Koordinate und dem Punkt Pmin mit der minimalen u-Koordinate unter den vier entsprechenden Punkten. Fig. 10 zeigt einen Zustand, bei dem sieben u-Abtastkoordinaten, also Schnittlinien quer zur u- Richtung, alle 10 (Pixel)-Schritte gebildet werden.

Danach sucht die Operation Koordinaten eines Startpunktes und eines Endpunktes bezüglich insbesondere auf jeder der beobachteten Schnittlinien Sp1 bis Sp4 auf dem linken Raumcodebild (Schritt 53). Der minimale Koordinatenwert der v-Koordinate oder der v-Koordinatenwert des zuvor gesuchten Raumcodewertes wird zum Startpunkt des Suchvorgangs gemacht, der maximale Koordinatenwert wird zum Endpunkt des Suchvorgangs gemacht, und ein insbesondere extern vorgegebener Umschaltpunkt des gesuchten Raumcodes wird zur v-Koordinate gemacht. Hierbei wird eine Differenz in der Breite der gleichen Raumcodes nahe der Kante des Objekts O verursacht, und daher wird die Koordinate am Änderungspunkt oder Umschaltpunkt ohne Übernahme einer mittleren Koordinate bestimmt. Die Suche nach der u-Koordinate wird in ähnlicher Weise durchgeführt. Da die Anzahl der Schnittlinien Sp vier ist, sind acht Koordinaten der jeweiligen Start- und Endpunkte P11 bis P18 vorgesehen, die jedoch nicht auf den Kanten der Oberseite des Objekts liegen, sondern innerhalb der Oberseite des Objekts auf den den Kanten nächstliegenden Kreuzungspunkten der Schnittlinien in U-Richtung (Sp1 bis Sp4) und in V-Richtung (1, 2, 3, 4, 5, 6, 7).

Außerdem wird eine Neigung der Schnittlinien auf der Bildkoordinate aufgrund der Verzerrung des optischen Systems des Musterstrahlprojektors 2 verursacht und ein Fehler beim Lesen der Koordinate in einem bestimmten Ausmaß in den jeweiligen Schnittlinien Sp1 bis Sp4. Daher wird ein zulässiger Fehler derart vorgegeben, daß ein Punkt, dessen Koordinatenwert in der v-Richtung der Bildkoordinate einen bestimmten Bezugswert überschreitet, beseitigt wird. Wenn die Anzahl der Suchpunkte einen Bezugswert (z. B. 3) oder weniger erreicht, wird die Ermittlung der Suchpunkte als unwirksam ausgeschieden, da der Fehler vergrößert ist.

Weiterhin sucht die Operation die Koordinaten des Startpunktes und des Endpunktes bezüglich der beobachteten Schnittlinien Sp1 bis Sp4 auf dem rechten Raumcodebild (Schritt 54). Bezüglich des rechten Raumcodebildes können die Schnittlinien Sp1 bis Sp4 auf der Oberseite des Objekts O entsprechend dem linken Bild gut dadurch erfaßt werden, daß der Koordinatenwert v des Zentrums des Objekts auf dem linken Bild zu dem des Zentrums des rechten Bildes gemacht und ein Bereich abgetastet wird, der zweimal so groß wie der Abtastbereich des linken Bildes ist. Die Suchschritte sind gleich denen des linken Bildes. Die jeweiligen Schnittlinien Sp1 bis Sp4 werden als gerade Linien ähnlich denen des linken Bildes berechnet.

Die Koordinaten der Startpunkte und der Endpunkte auf dem rechten Bild können aus dem Raumcodebild erhalten werden.

Wie Fig. 11 zeigt, ist, wenn der Musterstrahl auf das Objekt O aus einer schrägen Richtung projiziert wird, ein Bereich der Schnittlinien Sp mit einem minimalen Wert v die Schnittlinie zum Schneiden der Oberfläche des Objekts O. Als Koordinaten der jeweiligen Start- und Endpunkte sind acht Punkte von P21 bis P28 vorgesehen, wie Fig. 2 (R) zeigt.

Wenn die Koordinaten der jeweiligen Start- und Endpunkte berechnet wurden, bildet die Operation jeweils Beobachtungsebenen zur Beobachtung der Schnittlinien Sp1 bis Sp4 (Schritt 55). Dieser Vorgang wird nun anhand der Fig. 1 erläutert.

Die Beobachtungsebene wird durch die Koordinatenwerte der Start- und Endpunkte der Kamerakoordinate der Kamera 1R und der Kameraparameter berechnet. Wenn die Beob achtungsebene bezüglich der Schnittlinie Sp2 berechnet ist, können Vektoren v23 und v24 von der Mitte der Kamera P20 bis zum Startpunkt P23 und dem Endpunkt P24 durch Einheits beobachtungsvektoren vc23 und Vc24 vom Startpunkt und vom Endpunkt der Kamerakoordinate bis zum Zentrum der Kamera ausgedrückt werden. Dies bedeutet, daß v23 = k23vc23, V24 = k24vc24, wobei k23 und k24 Koeffizienten und willkürliche Zahlen bei diesem Beispiel sind.

Danach wird ein normaler, insbesondere zur Beobachtungsebene normaler, Vektor Lco2 aus den beiden Einheitsbeobachtungsvektoren vc23 und vc24 gebildet. Eine Ebene senkrecht zum normalen Vektor Lco2 ist die Beobachtungsebene S2 einschließlich der Schnittlinie Sp2. In ähnlicher Weise werden normale Vektoren Lco1 bis Lco4 bezüglich der vier Schnittlinien Sp1 bis Sp4 berechnet.

Danach bildet die Operation Beobachtungsebenen bezüglich des linken Bildes (Schritt 56). Wie beim Schritt 55 können z. B. acht Beobachtungsvektoren v11 bis v18 jeweils durch Verwendung von Einheitsbeobachtungsvektoren vc11 bis vc18 ausgedrückt werden.

Danach berechnet die Operation Koordinaten von Schnittpunkten bezüglich der Beobachtungsebenen S1 bis S4 und der Beobachtungsvektoren v11 bis v18, die dieselben Schnittlinien Sp haben.

Z. B. können bei der Berechnung der Koordinaten der Schnittpunkte bezüglich der Schnittlinie Sp2 die Vektoren vp13 und vp14 insbesondere vom Nullpunkt des x-y-z- Weltkoordinatensystems aus, nach P13 und P14 auf der Weltkoordinate jeweils durch vp13 = v13 + vp10 = k13vc13 + vp10, vp14 = v14 + vp10 = k14vc14 + vp10 ausgedrückt werden, wobei vp10 ein Vektor zum Zentrum p10 der Kamera auf der Weltkoordinate ist.

An den Schnittpunkten, die durch die Beobachtungsebene S2 und die Beobachtungsvektoren v13 und v14 gebildet werden, stehen der Vektor Lco2 und die Beobachtungsvektoren v13 und v14 durch Lco2.(v13 - vp20) = 0, Lco2.(v14 - vp20) = 0, (vp20 ist ein Vektor zum Zentrum P20 der Kamera in der Weltkoordinate) in Beziehung. Daher können dreidimensionale Koordinaten von P13 und P14 durch jeweilige Berechnung von k13 und k14, die diese Gleichungen erfüllen, berechnet werden. In ähnlicher Weise werden die Koordinatenwerte der acht Schnittpunkte von P11 bis P18 berechnet.

Wenn die Koordinatenwerte der acht Schnittpunkte (also insbesondere der Schnittpunkte der Beobachtungsebene der einen Kamera mit den Beobachtungsvektoren der anderen Kamera, die eine einzige Schnittlinie gemeinsam haben) berechnet wurden, berechnet die Operation die Ebenengleichung der Oberseite des Objekts O aus diesen Koordinatenwerten der Schnittpunkte (Schritt 58). Obwohl eine Ebene theoretisch durch Berechnung der Lage von drei Punkten in einem dreidimensionalen Raum bestimmt wird, wird bei diesem Beispiel die Genauigkeit durch Verwendung der Daten von acht Punkten erhöht. Insbesondere wird die Ebenengleichung durch die Methode der kleinsten Quadrate unter Verwendung der acht Koordinatenwerte berechnet. Obwohl eine Ebene durch eine allgemeine Gleichung ax + by + cz = d ausgedrückt wird, wird sie bei diesem Beispiel als eine horizontale Ebene z = h0 berechnet, da die Oberseite des Objekts O im wesentlichen eine horizontale Ebene ist.

Wenn die Ebenengleichung berechnet ist, bildet die 3D- Koordinatenerzeugungseinheit 8 3D-Koordinatenwerte (X-Y-Z- System) der jeweiligen entsprechenden Punkte P (Schritt 6). Die 3D-Koordinaten der entsprechenden Punkte P werden derart bestimmt, daß die entsprechenden Punkte P in der Oberseite des Objekts O enthalten sind. Wie Fig. 12 zeigt, liest die Operation zuerst die Oberseitendaten aus der Ober seitendaten-Erzeugungseinheit 7 (Schritt 61), bilden Beobachtungsvektoren der entsprechenden Punkte P auf dem linken Bild (Schritt 62) und berechnet die Koordinaten (x, y, z) der Schnittpunkte auf der Oberseite des Objekts O, ausgedrückt durch die Ebenengleichung und die Beobachtungs vektoren (Schritt 63). Die Oberseite des Objekts O kann als die Koordinate in der Tiefenrichtung, die Z-Komponenten enthält, bezüglich der Photographierrichtung durch eine Kamera angesehen werden, und daher kann die Koordinate in der Tiefenrichtung (Z-Richtung) dadurch genau erzeugt werden, daß die 3D-Koordinate derart gebildet wird, daß die entsprechenden Punkte darin enthalten sind. Auf diese Weise kann die Größe des Objekts O bestimmt werden.

Die Bereich/Block-Teilereinheit 9 teilt Bereiche und Blöcke ein, beseitigt Bereiche und teilt Blöcke auf der Grundlage von Palletierungsdaten und Objektgrößendaten. Die erhaltenen Daten werden zu einem Palletierungsroboter übertragen, der die Ent-Palletierung bewirkt.

Wie zuvor erläutert, wird bei der 3D-Meßmethode gemäß diesem Beispiel die Ebenengleichung aus den Koordi natenwerten der Schnittpunkte der Betrachtungsebene und der geraden Beobachtungslinien der linken und rechten CCD- Kamera 1R und 1L bezüglich der mehreren Schnittlinien der Oberseite des lokalen Objekts O berechnet, die durch räumliche Musterbildung durch den Musterstrahlprojektor 2 erzeugt wurden, und die Koordinatenwerte der entsprechenden Punkte werden als in der durch diese Ebenengleichung ausgedrückten Ebene enthalten berechnet.

Entsprechend ist die Eichung des Musterstrahlprojektors 2, deren Genauigkeit gering ist und die erhebliche Arbeit bei der aktiven Methode wie der üblichen aktiven Stereoskopmethode erfordert, nicht notwendig. Außerdem können im Vergleich zur passiven Methode wie der üblichen binokularen Stereoskop- Beobachtungsmethode, bei der Koordinaten entsprechend den Punkten nach Abtastung und Zuordnung der Kanteninformation bezüglich der linken und rechten Bilder und jeweiliger Bildung der Koordinaten der entsprechenden Punkte in Übereinstimmung gebracht werden, die Beobachtungskoordinaten können für die linke und rechte Übereinstimmung verwendet werden, und daher kann der 3D- Meßfehler minimiert werden.

In Abwandlung von dem beschriebenen Ausführungsbeispiel, kann, obwohl die Schnittlinie die Grenzlinie zwischen den räumlich gemusterten Bereichen bei dem gezeigten Beispiel ist, dies ein Schneidstrahl unter Verwendung eines Spaltstrahls sein, wie er unter Verwendung einer Spaltblende auf das Objekt aufgestrahlt wird.

Wie oben erläutert, kann entsprechend der 3D-Meßmethode die Ebenengleichung einer Ebene eines Objekts dadurch gebildet werden, daß die Beobachtungskoordinaten der linken und rechten Kamera so wie sie sind, verwendet werden, ohne daß die Projektoreichung der aktiven Methode wie der üblichen aktiven Stereoskopmethode notwendig ist. Es ist daher bei der aktiven Methode möglich, die Projektoreichung wegzulassen, bei der die Korrektur der Verzerrung schwierig ist, und die erhebliche Arbeit erfordert, und es ist möglich, den 3D- Meßfehler im Gegensatz zur passiven Methode wie der binokularen Stereoskopbeobachtungsmethode zu minimieren, bei der die Koordinaten der entsprechenden Punkte nach der Abtastung und Zuordnung der Kanteninformation bezüglich der linken und rechten Bilder und der jeweiligen Berechnung der Koordinaten der entsprechenden Punkte in Übereinstimmung gebracht werden.

Außerdem ist entsprechend der 3D-Meßmethode die Ebene, die durch die Koordinatenwerte der Schnittpunkte berechnet wird, die Oberseite des Objekts, das die Form eines Quaders hat, der auf der im wesentlichen horizontalen Ebene angeordnet ist, und die Ebenengleichung, ausgedrückt in der horizontalen Ebene, die nur durch die Höhe spezifiziert ist, wird berechnet. Daher ist die Berechnung der Ebenengleichung leicht, und die Berechnung unter Verwendung der Ebenengleichung kann leicht durchgeführt werden. Außerdem werden die 3D-Koordinatenwerte der entsprechenden Punkte derart bestimmt, daß die entsprechenden Punkte in der durch die Ebenengleichung ausgedrückten Ebene enthalten sind. Daher kann der Fehler in der Tiefendimension, insbesondere bezüglich der Photographierrichtung, durch eine Kamera minimiert werden.

Claims

1. 3D-Meßverfahren zur Berechnung der Ebenengleichung einer Oberseite eines quaderförmigen Objekts (O) unter Verwendung einer ersten und einer zweiten Kamera (1L, 1R) und eines Musterstrahlprojektors (2), gekennzeichnet durch folgende Schritte:

- Erzeugen eines Raumcodebildes des Objekts (O) in Form eines zweidimensionalen Werterasters,
- Ermitteln von zweidimensionalen Oberseitendaten der Oberseite des Objekts (O) aus den Raumcodewerten,
- Ausstrahlen eines Musterstrahls auf die Oberseite des Objekts (O) zur Erzeugung mehrerer Schnittlinien (Sp1-Sp4),
- Bestimmen mehrerer auf den Schnittlinien (Sp1-Sp4) und innerhalb der Grenzen der Oberseite liegender Punkte (P11-P18; P21-P28),
- Bilden mehrerer Beobachtungsebenen (S1-S4), von denen jede das Zentrum der ersten Kamera (P20) und eine der Schnittlinien (Sp1-Sp4) enthält,
- Bilden mehrerer Beobachtungslinien (V11-V18; V21-V28), von denen jede das Zentrum der zweiten Kamera (P10) und einen der Punkte (P11-P18; P21-P28) umfaßt, die auf einer der Schnittlinien (Sp1-Sp4) liegen,
- Berechnen von Koordinatenwerten mehrerer Schnittpunkte der Beobachtungsebenen (S1-S4) mit den Beobachtungslinien (V11-V18; V21-V28), und
- Berechnen der Ebenengleichung der Oberseite des Objekts (O) aus den Koordinatenwerten der Schnittpunkte.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Aufnahmerichtung eine Abwärtsrichtung ist und die Ebenengleichung der Oberseite (O) als eine Gleichung berechnet wird, die eine horizontale Ebene mit einer bestimmten Höhe angibt.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Schnittpunkte der Beobachtungsebenen (S1-S4) mit den Beobachtungslinien (V11-V18, V21-V28) in 3D-Koordinaten berechnet werden.