DE102019217430A1

DE102019217430A1 - Kamerakalibrierungsvorrichtung und Kamerakalibrierungsverfahren

Info

Publication number: DE102019217430A1
Application number: DE102019217430.2A
Authority: DE
Inventors: Yuuki SUGITA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-11-14
Filing date: 2019-11-12
Publication date: 2020-05-14
Also published as: JP2020080105A; US20200151907A1; CN111193862B; JP6863954B2; CN111193862A; US11403780B2

Abstract

Eine Aufgabe ist die Bereitstellung einer Kamerakalibriervorrichtung und eines Kamerakalibrierungsverfahrens, das eine Beziehung zwischen einem Maschinenkoordinatensystem einer Werkzeugmaschine und einem Kamerakoordinatensystem einer Kamera leicht kalibrieren kann. Eine Kamerakalibriervorrichtung 100 ist eine Kamerakalibriervorrichtung, die ein Abbildungsmittel einer Werkzeugmaschine kalibriert, wobei die Werkzeugmaschine beinhaltet: ein Tastsystem 240, das einen Punkt erfasst, dessen Maschinenkoordinaten bekannt sind; eine Kamera 230, die den einen Punkt, dessen Maschinenkoordinaten bekannt sind, und ein Muster mit einer zur Kalibrierung verwendetes Merkmal abbildet; und einen Antriebsmechanismus, der einen Tisch oder eine Spindel linear in zwei orthogonalen Richtungen in einem Maschinenkoordinatensystem bewegt, und ein Bild, das durch Abbilden des einen Punktes, dessen Maschinenkoordinaten bekannt sind, und des Musters, das das Merkmal enthält, erhalten wird, und Bilder, die durch Abbilden des Musters mit dem Merkmal oder/und des einen Punktes, dessen Maschinenkoordinaten bekannt sind, erhalten werden, wenn der Tisch 220 oder eine Bearbeitungsmaschine 210 linear in den beiden orthogonalen Richtungen im Maschinenkoordinatensystem bewegt wird, erhalten werden, um eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem und dem Muster zu berechnen, sodass ein äußerer Parameter berechnet wird.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Kamerakalibrierungsvorrichtung und ein Kamerakalibrierungsverfahren zum Kalibrieren einer Beziehung zwischen einem auf einer Werkzeugmaschine eingestellten Maschinenkoordinatensystem und einem Kamerakoordinatensystem einer Kamera, die in der Werkzeugmaschine installierten ist.
Verwandter Stand der Technik
Als ein Verfahren zum Kalibrieren einer Beziehung zwischen einem Maschinenkoordinatensystem, das auf einer Werkzeugmaschine eingestellt ist, und einem Bildkoordinatensystem einer Kamera, die in der Werkzeugmaschine installiert ist, ist herkömmlicherweise ein Verfahren bekannt, das als Kalibrierungsinstrument ein Schachbrettmuster, ein Punktmuster oder etwas Ähnliches verwendet. Beispielsweise wird bei dem oben beschriebenen Verfahren das Kalibrierungsinstrument an einem bestimmten vorbestimmten Ort installiert, der in Bezug auf die Kamera stationär ist und dessen Maschinenkoordinaten bekannt sind, um beispielsweise einen Schnittpunkt des Schachbrettmusters, einen Punkt und den Mittelpunkt eines Markers zu erfassen, diese auf entsprechende Punkte einzustellen und somit wird eine große Anzahl von sich entsprechenden Punkten durch eine Runde in der Bildgebung erhalten. Bei diesem Verfahren wird jedoch für jede der Werkzeugmaschinen eine spezielle Vorrichtung zur Installation des Kalibrierinstruments an einer bestimmten vorbestimmten Stelle, dessen Maschinenkoordinaten bekannt sind, benötigt. Darüber hinaus ist der Arbeitsaufwand für die Verwendung der Vorrichtung zur Installation des Kalibrierinstruments an der angegebenen Stelle erforderlich.
Dementsprechend schlägt beispielsweise das Patentdokument 1 eine Technologie vor, bei der eine Vielzahl von Bildern durch Durchführen einer Bildgebung, während ein Tisch einer Werkzeugmaschine mit einer Markierung, die an einer beliebigen Position vorgesehen ist, von einer Referenzposition parallel zu den Richtungen X und Y-Achsen bewegt wird, erhalten wird und einer zweiten Vielzahl von Bildern, die durch Durchführen einer Bildgebung, während der Tisch rotierend um die Referenzposition innerhalb einer XY-Ebene bewegt werden, erhalten wird und diese erste und zweite Vielzahl von Bildern verwendet werden, um eine Kalibrierung an einer Kamera durchzuführen.
Das Patentdokument 2 schlägt eine Technologie vor, bei der ein Bildgebungszielelement eines Kalibrierungsmusters mit einem Merkmalspunkt an der Spindel einer Werkzeugmaschine angebracht ist und bei der mehrere Bilder des Bildgebungszielelements, die durch eine Bildgebung erhalten werden, während die Spindel in jede der Richtungen der X-, Y- und Z-Achsen bewegt wird, verwendet werden, um eine Kalibrierung an einer Kamera auf der Grundlage einer Vielzahl von Datensätzen, bei denen Positionen in Bildern, die dieseleben Merkmalspunkt anzeigen, Positionen in einer Maschinenkoordinatensystem zugeordnet sind.

Patentdokument 1: Japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer 2003-050106
Patentdokument 2: Japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer 2010-276603

ZUSAMMENFASSUNG DER ERFINDUNG
Da der Grad der Flexibilität in dem Betrieb, bei dem der Tisch der Werkzeugmaschine zusammen mit parallelen Bewegungen in Richtung der X- und Y-Achse auch um die Referenzposition in der XY-Ebene rotierend bewegt werden kann, hoch ist, ist in Patentschrift 1 eine Markierung auf dem Tisch vorgesehen, so dass die Kalibrierung an der Kamera durchgeführt werden kann.
Wenn ein Tisch jedoch nur parallel zu den Richtungen der X- und Y-Achse bewegt werden kann oder an einer Werkzeugmaschine befestigt ist, d.h. wenn der Grad der Flexibilität im Betrieb gering ist, ist es schwierig, die Technologie des Patentdokuments 1 auf derartige Tische anzuwenden. Ein Verfahren zur Ausrichtung einer Z-Achse in einem Maschinenkoordinatensystem ist nicht eindeutig. Andererseits, obwohl das Patentschrift 2 auf Werkzeugmaschinen wie eine bewegliche Dreiachsentischmaschine (einen Tischmaschine mit drei beweglichen Achsen) oder bewegliche Dreiachsenmaschine, bei der nur eine Spindel bewegt werden kann, angewendet werden kann, wird ein Kalibrierinstrument des bildgebenden Zielelements oder dergleichen zur Kalibrierung und eine Vorrichtung zur Befestigung des Kalibrierinstruments an einem Tisch oder dergleichen benötigt, so dass erheblicher Arbeitsaufwand und Kosten entstehen.
Ein Ziel der vorliegenden Erfindung ist es, eine Kamerakalibrierungseinrichtung und ein Kamerakalibrierungsverfahren bereitzustellen, bei dem ein Kalibrierinstrument in einer beliebigen Position einer Werkzeugmaschine in einer beliebigen Lage (engl. „Pose“, dieser Begriff wird im Sinne dieser Anmeldung als Lage übersetzt, hat also die Bedeutung von Stellung oder Pose) angeordnet ist und bei dem es somit möglich ist, eine Beziehung zwischen einem auf der Werkzeugmaschine eingestellten Maschinenkoordinatensystem und einem Kamerakoordinatensystem einer in der Werkzeugmaschine installierten Kamera leicht zu kalibrieren.

(1) Eine Kamerakalibrierungsvorrichtung (ein „Kamerakalibrierungsvorrichtung 100“, die später beschrieben wird), der vorliegenden Erfindung ist eine Kamerakalibrierungsvorrichtung die ein Abbildungsmittel aufgenommen in einer Werkzeugmaschine (eine „Werkzeugmaschine 200“, die später beschrieben wird) kalibriert, wobei die Werkzeugmaschine umfasst: ein Erfassungsmittel (ein „Tastsystem 240“, das später beschrieben wird), das einen Punkt erfasst, wobei Maschinenkoordinaten des einen Punkts bekannt sind; das Abbildungsmittel (eine „Kamera 230“, die später beschrieben wird), das den einen Punkt (ein „Berührungspunkt TP“, der später beschrieben wird), dessen Maschinenkoordinaten bekannt sind, und ein Muster, das ein zur Kalibrierung verwendetes Merkmal enthält, abbildet; und einen Antriebsmechanismus, der einen Tisch (einen „Tisch 220“, der später beschrieben wird) oder eine Spindel (eine „Bearbeitungsmaschine 210“, die später beschrieben wird) in zwei orthogonalen Richtungen in einem Maschinenkoordinatensystem linear bewegt, und ein Bild, das durch Abbilden des einen Punktes, dessen Maschinenkoordinaten bekannt sind, und des Musters, welches das zur Kalibrierung verwendete Merkmal enthält, erhalten wird, und Bilder, die Abbilden des Musters, welches das zur Kalibrierung verwendete Merkmal enthält, oder / und des einen Punktes, dessen Maschinenkoordinaten bekannt sind, erhalten wird, sobald der Antriebsmechanismus den Tisch oder die Spindel in zwei orthogonalen Richtungen in dem Maschinenkoordinatensystem linear bewegt, wobei die Bilder verwendet werden, um eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem und dem Muster, welches das zur Kalibrierung verwendete Merkmal enthält, zu berechnen, so dass ein äußerer Parameter berechnet (auch als externer Parameter bezeichnet) wird, wobei der äußere Parameter eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem und einem Kamerakoordinatensystem beinhaltet.
(2) In der Kamerakalibrierungsvorrichtung beschrieben in (1), können als Muster, welches das zur Kalibrierung verwendete Merkmal enthält, Kalibrierungsinstrumente mit einem Schachbrettmuster und einem Punktmuster, die in Bezug auf das Maschinenkoordinatensystem in einer beliebigen Positionslagebeziehung angeordnet sind, enthalten sein.
(3) In der Kamerakalibrierungsvorrichtung beschrieben in (1), können als Muster, welches das zur Kalibrierung verwendete Merkmal enthält, ein Kratzer, ein Eckpunkt und ein Muster auf dem Tisch, enthalten sein.
(4) In der Kamerakalibrierungsvorrichtung beschrieben in jedem von (1) bis (3), kann, wenn eine mit einem Muster gebildete Ebene, wobei das Muster eine Vielzahl von zur Kalibrierung verwendeten Merkmalen enthält, parallel zum Maschinenkoordinatensystem ist, der äußere Parameter der Abbildungseinrichtung durch einen Betrieb des Antriebsmechanismus in eine Richtung berechnet werden
(5.) Ein Kamerakalibrierungsverfahren der vorliegenden Erfindung ist ein Kamerakalibrierungsverfahren zum Kalibrieren eines Abbildungsmittels, das durch einen Computer ausgeführt wird und das ein Abbildungsmittel, das in einer Werkzeugmaschine aufgenommen ist, kalibriert, wobei die Werkzeugmaschine umfasst: ein Erfassungsmittel, das einen Punkt erfasst, wobei Maschinenkoordinaten des einen Punkts bekannt sind; das Abbildungsmittel, das den einen Punkt, dessen Maschinenkoordinaten bekannt sind, und ein Muster, das ein zur Kalibrierung verwendetes Merkmal enthält, abbildet; und einen Antriebsmechanismus, der einen Tisch oder eine Spindel in zwei orthogonalen Richtungen in einem Maschinenkoordinatensystem linear bewegt, und ein Bild, das dadurch erhalten wird, dass der eine Punkte, dessen Maschinenkoordinaten bekannt sind, und das Muster, welches das zur Kalibrierung verwendete Merkmal enthält, abgebildet wird, und Bilder, die dadurch erhalten werden, dass das Muster, welches das zur Kalibrierung verwendete Merkmal enthält, oder / und der eine Punkt, dessen Maschinenkoordinaten bekannt sind, abgebildet werden, wenn der Antriebsmechanismus den Tisch oder die Spindel in zwei orthogonalen Richtungen in dem Maschinenkoordinatensystem linear bewegt, wobei die Bilder verwendet werden um eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem (Σ m) und dem Muster, welches das zur Kalibrierung verwendete Merkmal enthält, zu berechnen so dass ein äußerer Parameter berechnet wird, wobei der äußere Parameter eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem und einem Kamerakoordinatensystem beinhaltet.
Gemäß der vorliegenden Erfindung ist ein Kalibrierungsinstrument in einer beliebigen Position einer Werkzeugmaschine in einer beliebigen Lage angeordnet, und somit ist es möglich, eine Beziehung zwischen einem auf der Werkzeugmaschine eingestellten Maschinenkoordinatensystem und einem Kamerakoordinatensystem einer in der Werkzeugmaschine installierten Kamera leicht zu kalibrieren.

Figurenliste

ist eine schematische Zeichnung, die ein Beispiel eines Kamerakoordinatensystems und eines Bildkoordinatensystems zeigt;
ist eine schematische Zeichnung, die ein Beispiel eines Schachbrettkoordinatensystems zeigt;
ist eine schematische Zeichnung, die ein Beispiel eines Maschinenkoordinatensystems zeigt;
ist eine schematische Zeichnung, die ein Beispiel einer Kamerakalibrierungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt;
ist eine schematische Zeichnung, die ein Beispiel des Zustands eines Tisches und eines Schachbrettmusters zeigt, wenn ein Tastsystem das Schachbrettmuster berührt;
ist eine schematische Zeichnung, die ein Beispiel eines Bildes des Schachbrettmusters zeigt, wenn das Tastsystem das Schachbrett berührt;
ist eine schematische Zeichnung, die ein Beispiel des Zustands des Tisches und des Schachbrettmusters, das jeweils in Richtung einer Xm- Achse und einer Ym-Achse bewegt wurde, zeigt;
ist eine schematische Zeichnung, die ein Beispiel einer Positionslagebeziehung zwischen Schachbrettmustern in drei Bildern zeigt;
ist ein Flussdiagramm, das ein Beispiel einer Kamerakalibrierungsverarbeitung in der Kamerakalibrierungsvorrichtung gemäß der ersten Ausführungsform zeigt;
ist eine schematische Zeichnung, die ein Beispiel einer Kamerakalibrierungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt;
ist eine schematische Zeichnung, die ein Beispiel eines Tisches, der jeweils in Richtung einer Xm- Achse und einer Ym- Achse bewegt wurde, zeigt;
ist ein Flussdiagramm, das ein Beispiel einer Kamerakalibrierungsverarbeitung in der Kamerakalibrierungsvorrichtung gemäß der zweiten Ausführungsform zeigt;
ist eine schematische Zeichnung, die ein Beispiel einer Kamerakalibrierungsvorrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt;
ist ein Flussdiagramm, das ein Beispiel einer Kamerakalibrierungsverarbeitung in einer numerischen Steuerung gemäß der dritten Ausführungsform zeigt;
ist eine schematische Zeichnung, die ein Beispiel einer Kamerakalibrierungsvorrichtung gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt;
ist eine schematische Zeichnung, die ein Beispiel des Betriebs einer Bearbeitungsmaschine bei der Kamerakalibrierungsverarbeitung zeigt;
ist eine schematische Zeichnung, die ein Beispiel einer Positionslagebeziehung zwischen Berührungspunkten in dem Bildkoordinatensystem zeigt, das von vier Bildern erfasst werden;
ist ein Flussdiagramm, das ein Beispiel der Kamerakalibrierungsverarbeitung in der Kamerakalibrierungsvorrichtung gemäß der vierten Ausführungsform zeigt;
ist eine schematische Zeichnung, die ein Beispiel einer Kamerakalibrierungsvorrichtung gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt;
ist eine schematische Zeichnung, die ein Beispiel des Betriebs einer Bearbeitungsmaschine bei der Kamerakalibrierungsverarbeitung zeigt; und
ist ein Flussdiagramm, das ein Beispiel der Kamerakalibrierungsverarbeitung in der Kamerakalibrierungsvorrichtung gemäß der fünften Ausführungsform zeigt.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Im Folgenden werden Ausführungsformen der vorliegenden Erfindung beschrieben.
[Erste Ausführungsformen]
Eine erste Ausführungsform wird im Folgenden beschrieben. Vor der Beschreibung der ersten Ausführungsform werden ein Kamerakoordinatensystem Σc, ein Bildkoordinatensystem Σi, ein Schachbrettkoordinatensystem Σb und ein Maschinenkoordinatensystem Σm mit Bezug auf die , und beschrieben. ist eine schematische Zeichnung, die einen Zusammenhang zwischen dem Kamerakoordinatensystem Σc und dem Bildkoordinatensystem Σi darstellt. ist eine schematische Zeichnung mit einem Beispiel für das Schachbrettkoordinatensystem Σb. 1C ist eine schematische Zeichnung mit einem Beispiel für das Maschinenkoordinatensystem Σm.
Wie in dargestellt, ist das Kamerakoordinatensystem Σc ein dreidimensionales Koordinatensystem, bei dem das optische Zentrum Oc einer Digitalkamera als Ursprung angenommen wird und bei dem eine Rechtsrichtung vom Ursprung Oc als Xc-Achse, eine Abwärtsrichtung als Yc-Achse und die Richtung der optischen Achse als Zc-Achse angenommen wird. Das Bildkoordinatensystem Σi ist ein zweidimensionales kartesisches Koordinatensystem, das parallel zum Kamerakoordinatensystem Σc ist, bei dem ein oberer linker Teil einer Bildebene, der durch eine Brennweite f vom Ursprung Oc beabstandet ist, als Ursprung angenommen wird und das eine x-Achse und eine y-Achse aufweist, wobei die x-Achse und y-Achse jeweils parallel zur Richtung der Xc-Achse und zur Richtung der Yc-Achse sind. Wie in dargestellt, wird im Schachbrettkoordinatensystem Σb beispielsweise ein unterer linker Teil eines Schachbrettmusters als Ursprung Ob angenommen. Das Schachbrettkoordinatensystem Σb ist ein dreidimensionales Koordinatensystem, in dem eine Richtung senkrecht zur Oberfläche des Schachbretts vom Ursprung Ob als Zb-Achse angenommen wird, in dem eine nach rechts gerichtete Richtung auf der Oberfläche des Schachbretts vom Ursprung Ob als Xb-Achse angenommen wird und in dem eine nach oben gerichtete Richtung auf der Oberfläche des Schachbretts vom Ursprung Ob als Yb-Achse angenommen wird.
Wie in dargestellt, ist das Maschinenkoordinatensystem Σm ein dreidimensionales Koordinatensystem, in dem ein Maschinenursprung Om ein Zentrum ist und das eine Xm-Achse, eine Ym-Achse und eine Zm-Achse aufweist, die vom Ursprung Om entspringen.
Es ist bekannt, dass bei einer idealen Linse ohne Verzerrungsfehler (auch bezeichnet als Aberrationen der Verzerrung) ein Punkt in einem Raum, der durch Koordinaten (Xm, Ym, Zm) im Maschinenkoordinatensystem Σm einer Werkzeugmaschine dargestellt wird, durch lineare Transformation, wie in Formel (1) angegeben, auf (x, y) im Bildkoordinatensystem Σi projiziert wird.
[Math. 1] $α (\begin{matrix} x \\ y \\ 1 \end{matrix}) = (\begin{matrix} f & s & c_{x} \\ 0 & f & c_{y} \\ 0 & 0 & 1 \end{matrix}) (\begin{array}{l} r 11 & r 12 & r 13 & t_{x} \\ r 21 & r 22 & r 23 & t_{y} \\ r 31 & r 32 & r 33 & t_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{matrix} X_{m} \\ Y_{m} \\ Z_{m} \\ 1 \end{matrix})$
Hier stellt s einen Scherkoeffizienten eines Pixels dar. (cx, cy) stellen die Koordinaten des Mittelpunkts eines Bildes dar. Die erste Matrix auf der rechten Seite der Gleichung (1), d.h. die 3x3-Matrix, ist ein interner Parameter K und zeigt eine Beziehung zwischen dem Kamerakoordinatensystem Σc und dem Bildkoordinatensystem Σi an. Die zweite Matrix auf der rechten Seite Gleichung (1), d.h. die 3×4-Matrix, ist ein äußerer Parameter und zeigt eine Lage R und eine Positionslagebeziehung t des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm an.
Eine nicht ideale Linse weist Verzerrungsfehler in radialer Richtung und Verzerrungsfehler in tangentialer Richtung auf. Wenn beispielsweise die Verzerrungsfehler in radialer Richtung des Objektivs (radiale Verzerrung) berücksichtigt werden, werden die Bildkoordinaten (x, y) durch nichtlineare Transformation verzerrt, wie in Formel (2) angegeben.
[Mathe. 2] $\begin{array}{l} x_{d i s t o r s e d} = (x - c_{x}) (1 + κ_{1} r + κ_{2} r^{2}) + c_{x} \\ y_{d i s t o r s e d} = (y - c_{y}) (1 + κ_{1} r + κ_{2} r^{2}) + c_{y} \end{array}$
k1 und k2 stellen Koeffizienten der Verzerrungsfehler dar. Außerdem gilt weiterhin r = ((x-cx)2 + (y-cy)2)1/2. Bei der Kamerakalibrierung ist es nach einem dem Fachmann bekannten Verfahren möglich, zusätzlich zum internen Parameter K einer Kamera die Koeffizienten der Verzerrungsfehler k1 und k2 vorher zu bestimmen. In der folgenden Beschreibung wird davon ausgegangen, dass eine Kamerakalibrierungsvorrichtung 100 eine Kalibrierungsverarbeitung basierend auf einem Bild durchführt, wobei das Bild durch eine Aufnahme mit einer Kamera 230 erhalten wird und dessen Verzerrung mit den zuvor berechneten Verzerrungsaberrationskoeffizienten k1 und k2 ausgeglichen werden.
In der ersten Ausführungsform, bestimmt die Kamerakalibrierungsvorrichtung 100 in einer ersten Stufe, durch eine Methode, die einem Fachmann bekannt ist (z.B. eine Methode von Tsai (Tsai, Roger Y. (1987) „A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses“, IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, pp. 323-344, August 1987))), einen internen Parameter der Kamera und eine Lage Rc und eine Positionslagebeziehung tc des Kamerakoordinatensystems Σc in Bezug auf das Schachbrettkoordinatensystem Σb basierend auf einem Bild, das durch eine Aufnahme mit der Kamera erhalten wird, wenn ein Punkt auf einem Schachbrettmuster, wobei das Schachbrettmuster in einer beliebigen Position auf einem Tisch 220 aufgenommen ist, als der eine Punkt erhalten wird, dessen Maschinenkoordinaten im Maschinenkoordinatensystem Σm bekannt sind.
Auf diese Weise ist es möglich, eine Beziehung zwischen dem Schachbrettkoordinatensystem Σb und dem Kamerakoordinatensystem Σc herzustellen. Insbesondere wird ein Punkt, der durch Koordinaten (Xb, Yb, Zb) in einem Raum des Schachbrettkoordinatensystems Σb dargestellt wird, durch Verwendung der Formel (3) linear transformiert und kann somit durch Koordinaten (Xc, Yc, Zc) im Kamerakoordinatensystem Σc dargestellt werden.
[Mathe. 3] $(\begin{matrix} X_{c} \\ Y_{c} \\ Z_{c} \end{matrix}) = R_{c} (\begin{matrix} X_{b} \\ Y_{b} \\ Z_{b} \end{matrix}) + t_{c}$
Dann verwendet die Kamerakalibrierungsvorrichtung 100 in einer zweiten Stufe, die später beschrieben wird, ein Bild, welches durch die Abbildung eines Punktes, dessen Maschinenkoordinaten bekannt sind, und des einen bereits bekannten Punktes erhalten wird. Ferner verwendet die Kamerakalibrierungsvorrichtung 100 ein Bild, dass durch eine Abbildung erhalten wird, wenn die Werkzeugmaschine lineare Achsenbewegungen in zwei Richtungen macht, um die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu bestimmen.
Darüber hinaus berechnet die Kamerakalibrierungsvorrichtung 100 in einer dritten Stufe aus dem Bild, welches durch die Abbildung des einen Punktes, dessen Maschinenkoordinaten bekannt sind, basierend auf dem internen Parameter der Kamera und der Formel (3), die Koordinaten (Xtb, Ytb, Ztb) des einen Punktes, dessen Maschinenkoordinaten im Schachbrettkoordinatensystem Σb bekannt sind. Andernfalls, wenn die Maschinenkoordinaten als Koordinaten (Xtm, Ytm, Ztm) eines bekannten Punktes im Maschinenkoordinatensystem Σm angenommen werden, bestimmt die Kamerakalibrierungsvorrichtung 100 die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm.
Auf diese Weise kann die Kamerakalibrierungsvorrichtung 100 eine Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der in der Werkzeugmaschine installierten Kamera kalibrieren.
Wie vorstehend beschrieben, werden in der ersten Ausführungsform die Lage und das Lageverhältnis des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm durch das im Schachbrettmuster eingestellte Schachbrettkoordinatensystem Σb berechnet.
Die erste Ausführungsform wird im Folgenden ausführlich beschrieben.
ist ein Flussdiagramm, das ein Beispiel für die Kamerakalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
Die Kamerakalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform ist ein Computer, der eine Steuereinheit 10, beispielsweise einen Prozessor, und eine Speichereinheit 20, beispielsweise eine Festplattenvorrichtung, beinhaltet. Die Kamerakalibrierungsvorrichtung 100 hat die Funktion einer Schnittstelle mit einer externen Vorrichtung, beispielsweise eine Ein-/Ausgabevorrichtung oder eine Kommunikationsschnittstelle. Auf diese Weise wird die Kamerakalibrierungsvorrichtung 100 über eine drahtgebundene oder drahtlose Verbindung mit einer externen numerischen Steuerung 150 verbunden. Die Kamerakalibrierungsvorrichtung 100 kann über ein Netzwerk mit der numerischen Steuerung 150 verbunden werden.
Die numerische Steuerung 150 ist eine dem Fachmann bekannte Steuerung und steuert den Betrieb der Werkzeugmaschine 200.
Die Werkzeugmaschine 200 ist beispielsweise eine bewegliche Dreiachsenmaschine und beinhaltet eine Bearbeitungsmaschine (Werkzeugspindelvorrichtung) 210, den Tisch 220 und die Kamera 230. Die Werkzeugmaschine 200 ist mit der numerischen Steuerung 150 verbunden.
Die Bearbeitungsmaschine 210 ist beispielsweise eine Spindeleinheit und wird im Maschinenkoordinatensystem Σm basierend auf einem Befehl der numerischen Steuerung 150 in Richtung der Zm-Achse bewegt.
In der Bearbeitungsmaschine 210 ist am Spitzenende (auch als Kopfende bezeichnet) der Bearbeitungsmaschine 210 ein Tastsystem 240, das die Maschinenkoordinaten einer beliebigen Position in der Kamerakalibrierbearbeitung misst, angeordnet. Der Tastsystem 240 erfasst die Maschinenkoordinaten eines Punktes, der von einer Tastspitze, beispielsweise einer Tasthalbkugel, am Spitzenende des Tasters berührt wird. Diese beispielhafte Konfiguration ist nicht einschränkend zu sehen und eine Laserlichtquelle oder dergleichen kann am Spitzenende der Bearbeitungsmaschine 210 angeordnet sein.
So wird beispielsweise ein Bewegungsmechanismus basierend auf einem Befehl der numerischen Steuerung 150 ausgeführt, so dass der Tisch 220 im Maschinenkoordinatensystem Σm in jede der Richtungen der Xm-Achse und der Ym-Achse bewegt werden kann.
Auf der Oberseite des Tisches 220 ist ein Schachbrettmuster 250, beispielsweise ein Prüfbrett, das als Kalibrierinstrument dient, in einer beliebigen Position von der Kamera 230 aus gesehen in einer beliebigen Lage angeordnet, wobei dieses Schachbrettmuster 250 bei der Kamerakalibrierungsverarbeitung verwendet wird, also beispielsweise von der Kamera direkt, wie in gezeigt, sichtbar ist. Diese beispielhafte Konfiguration ist nicht einschränkend zu sehen und auf dem Tisch 220 kann ein Kalibrierinstrument mit einer Vielzahl von Merkmalspunkten, wie beispielsweise einem Punktmuster, angeordnet werden. Das Schachbrettmuster 250 ist vorzugsweise auf dem Tisch 220 so angeordnet, dass der am Spitzende der Bearbeitungsmaschine 210 angeordnete Tastsystem 240 bei der Kamerakalibrierungsverarbeitung eine beliebige Position auf dem Schachbrettmuster 250 berühren kann.
In ist das Schachbrettkoordinatensystem Σb im Schachbrettmuster 250 dargestellt. Ein unterer linker Teil des Schachbrettmusters 250 ist der Ursprung des Schachbrettkoordinatensystems Σb. Eine Vielzahl von Schnittpunkten (Merkmalspunkten) des Schachbrettmusters 250 werden vorab in der Speichereinheit 20 als Positionen im Schachbrettkoordinatensystems Σb gespeichert.
Die Kamera 230 ist eine monookulare Digitalkamera, die einen Bildsensor wie einen CCD (Charge Coupled Device) oder ein CMOS (Complementary Metal Oxide Semiconductor) beinhaltet. Die Kamera 230 ist in einer Position innerhalb der Werkzeugmaschine 200 angeordnet, wobei die Kamera 230 in dieser Position den Bearbeitungsvorgang der Bearbeitungsmaschine 210 nicht stört und in dieser Position ist es möglich, den Zustand eines Werkstücks zu überwachen, das mit dem Tisch 220 und der Bearbeitungsmaschine 210 bearbeitet wird. In ist das in der Kamera 230 eingestellte Kamerakoordinatensystem Σc dargestellt.
In der Kamerakalibrierungsvorrichtung 100 führt die Steuerung 10 zur Kalibrierung der Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der Kamera, die in der Maschine installierten ist, ein Programm für die im Speicher 20 gespeicherte Kamerakalibrierungsverarbeitung aus. Auf diese Weise dient die Steuereinheit 10 als Maschinenkoordinatenmesseinheit 11, Bildaufnahmeeinheit 12 und Kalibriereinheit 13.
Die Steuereinheit 10 ist beispielsweise ein Prozessor und steuert die Funktionen der einzelnen Einheiten der Kamerakalibrierungsvorrichtung 100. Die Steuereinheit 10 steuert auch den Betrieb der Werkzeugmaschine 200 basierend auf der Kamerakalibrierungsverarbeitung.
Die Maschinenkoordinatenmesseinheit 11 empfängt über die numerische Steuerung 150 Signale, die die Maschinenkoordinaten eines vom Tastsystem 240, das in der Bearbeitungsmaschine 210 angeordnet ist, berührten Berührungspunktes beinhalten, um den berührten Berührungspunkt zu erfassen. Die Maschinenkoordinatenmesseinheit 11 speichert die Maschinenkoordinaten des Berührungspunktes im Speicherbereich der Messwertdaten 22 in der Speichereinheit 20.
Die Bildaufnahmeeinheit 12 erfasst ein Bild durch Bildaufnahmen mit der Kamera 230. Die Bildaufnahmeeinheit 12 speichert das aufgenommene Bild im Speicherbereich der Bilddaten 21 in der Speichereinheit 20.
Die Kalibriereinheit 13 verwendet die erfassten Maschinenkoordinaten des Berührungspunktes und das Bild, um die Lage R und die Positionslagebeziehung t zwischen dem auf der Werkzeugmaschine 200 eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der Kamera 230, die in der Werkzeugmaschine installierten ist, zu berechnen.
Die Speichereinheit 20 ist eine Festplattenvorrichtung, ein Speicher oder dergleichen, und speichert das Programm für die Kamerakalibrierungsverarbeitung. Die Speichereinheit 20 beinhaltet den Speicherbereich der Bilddaten 21, in dem das durch die Aufnahme mit der Kamera 230 erhaltene Bild gespeichert wird, den Speicherbereich der Messwertdaten 22, in dem die Maschinenkoordinaten des Berührungspunktes gespeichert werden, und den Speicherbereich der Kalibrierdaten 23, in dem Kalibrierdaten wie die Lage R und die Positionslagebeziehung t gespeichert werden.
Die Details der Bedienung der Steuereinheit 10, der Maschinenkoordinatenmesseinheit 11, der Bildaufnahmeeinheit 12 und der Kalibriereinheit 13 werden im Folgenden beschrieben.
<Erste Stufe>
Wenn beispielsweise eine Anweisung von einem Bediener oder dergleichen über eine Eingabeeinheit, wie beispielsweise eine Tastatur, eingegeben wird, um die Kamerakalibrierungsverarbeitung durchzuführen, bewegt die Maschinenkoordinatenmesseinheit 11, wie in dargestellt, durch die numerische Steuerung 150, die Bearbeitungsmaschine 210 in die negative Richtung der Zm-Achse im Maschinenkoordinatensystem Σm (d.h. in die Richtung des Tisches 220). Die Maschinenkoordinatenmesseinheit 11 veranlasst das Tastsystem 240 eine beliebige Position auf dem Schachbrettmuster 250 zu berühren. Die Maschinenkoordinatenmesseinheit 11 empfängt vom Tastsystem 240 Signale, die die Maschinenkoordinaten eines vom Tastsystem 240 berührten Berührungspunktes TP beinhalten, um die Maschinenkoordinaten des Berührungspunktes TP zu erfassen. Die Maschinenkoordinatenmesseinheit 11 speichert die Maschinenkoordinaten (Xtm, Ytm, Ztm) des Berührungspunktes TP im Maschinenkoordinatensystem Σm als den einen Punkt, dessen Maschinenkoordinaten auf dem Schachbrettmuster 250 bekannt sind, im Speicherbereich der Messwertdaten 22 in der Speichereinheit 20.
ist eine schematische Zeichnung, die einen exemplarischen Zustand des Tisches 220 und des Schachbrettmusters 250 zeigt, wenn das Tastsystem 240 das Schachbrettmuster 250 berührt.
Die Bildaufnahmeeinheit 12 gibt an die Kamera 230 eine Bildgebungsanweisung aus, um das Schachbrettmuster 250 abzubilden, wenn das Tastsystem 240 den Tisch 220 berührt. Die Bildaufnahmeeinheit 12 erfasst von der Kamera 230 ein Bild 300-1 des Tastsystems 240 und des Schachbrettmusters 250, das durch eine Aufnahme mit der Kamera 230 erhalten wird, wenn das Tastsystem 240 das Schachbrettmuster 250 berührt. Die Bilderfassungseinheit 12 speichert das Bild 300-1 im Speicherbereich der Bilddaten 21 in der Speichereinheit 20 ab. Danach bewegt die Maschinenkoordinatenmesseinheit 11 die Bearbeitungsmaschine 210 in die positive der Zm-Achse Richtung (d.h. eine Richtung weg vom Tisch 220), um die Bearbeitungsmaschine 210 in die Ausgangsposition zurückzubringen.
ist eine schematische Zeichnung, die ein Beispiel für das Bild 300-1 des Schachbrettmusters 250 zeigt, wenn das Tastsystem 240 das Schachbrettmuster 250 berührt. Wie in dargestellt, wird in Bild 300-1 nicht nur das Schachbrettmuster 250, sondern auch das Spitzenende des Tastsystems 240 abgebildet.
Wie zuvor beschrieben, bestimmt die Kalibriereinheit 13 nach dem einem Fachmann bekannten Verfahren (z.B. dem Verfahren von Tsai) den internen Parameter K der Kamera und der Lage Rc und die Positionslagebeziehung tc zwischen dem Schachbrettkoordinatensystem Σb und dem Kamerakoordinatensystem Σc.
Auf diese Weise wird, wie in Formel (3) angegeben, der Punkt aus dem Raum, der durch Koordinaten (Xb, Yb, Zb) im Schachbrettkoordinatensystem Σb dargestellt wird, nach Formel (3) linear transformiert und kann dadurch durch die Koordinaten (Xc, Yc, Zc) im Kamerakoordinatensystem Σc dargestellt werden.
Es wird der interne Parameter K der Kamera verwendet, so dass es möglich ist, den Punkt, der durch die Koordinaten (Xb, Yb, Zb) im Schachbrettkoordinatensystem Σb dargestellt wird, auf (x, y) im Bildkoordinatensystem Σi durch lineare Transformation zu projizieren.
Ein Verfahren zum Berechnen der Lage Rc und der Positionslagebeziehung tc zwischen dem Schachbrettkoordinatensystem Σb und dem Kamerakoordinatensystem Σc ist nicht dadurch beschränkt, dass die Methode von Tsai verwendet wird.
Die Kalibriereinheit 13 kann beispielsweise eine Methode verwenden, die einem Fachmann bei einem PnP-Problem bekannt ist (Moreno-Noguer et al., „Accurate Non-Iterative O(n) Solution to the PnP Problem", Proceedings of the IEEE International Conference on Computer Vision (ICCV), Oct. 2007) (im Folgenden auch als „Moreno-Noguer-Methode“ bezeichnet), um aus dem Bild 300-1 die Lage Rc und die Positionslagebeziehung tc zwischen dem Schachbrettkoordinatensystem Σb und dem Kamerakoordinatensystem Σc zu berechnen.
<Zweite Stufe>
Bei der Kamerakalibrierungsverarbeitung, wie in dargestellt, bewegt die Steuereinheit 10 durch die numerische Steuerung 150 den Tisch 220 in jede der Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 gibt einen Bildgebungsbefehl aus, um den Zustand des Schachbrettmusters 250 abzubilden, das in jede der Richtungen bewegt wurde.
ist ein Diagramm, das ein Beispiel für den Zustand des Tisches 220 und des Schachbrettmusters 250 zeigt, wobei der Tisch 220 in jede Richtung der Xm-Achse und der Ym-Achse bewegt wurde. In ist der Tisch 220, so wie er sich in der Ausgangsposition befand und dessen Position als Referenz dient, durch gestrichelte Linien gekennzeichnet. In sind die Tische 220, die in die einzelnen Richtungen der Xm-Achse und der Ym-Achse um den Betrag d der Bewegung verschoben wurden, durch die Tische 220a und 220b dargestellt. In werden die in die einzelnen Richtungen der Xm-Achse und der Ym-Achse verschobenen Schachbrettmuster 250 durch die Schachbrettmuster 250a und 250b dargestellt. Der vom Tastsystem 240 berührte Berührungspunkt TP des Schachbrettmuster 250 wird durch einen schattierten Bereich, der sich innerhalb einer runden Begrenzungslinie befindet, angezeigt.
Genauer gesagt bewegt das Steuergerät 10 den Tisch 220, der sich in der ursprünglichen Position (im Folgenden auch als „Referenzposition“ bezeichnet) befindet, die durch gestrichelte Linien angezeigt ist, in Richtung der Xm-Achse um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 gibt einen Bildgebungsbefehl aus, um das bewegte Schachbrettmuster 250a abzubilden. Die Bildaufnahmeeinheit 12 erfasst von der Kamera 230 ein Bild 300-2 der Schachbrettmusters 250a, das durch eine Aufnahme mit der Kamera 230 erhalten wird, und speichert es im Speicherbereich der Bilddaten 21 in der Speichereinheit 20. Danach bewegt das Steuergerät 10 den Tisch 220 in Richtung der Xm-Achse um den Betrag der Bewegung (-d), um den Tisch in die Referenzposition zurückzubringen.
Anschließend bewegt das Steuergerät 10 den in der Referenzposition befindlichen Tisch 220 in Richtung der Ym-Achse um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 gibt an die Kamera 230 eine Bildgebungsanweisung aus, um das bewegte Schachbrettmuster 250b abzubilden. Die Bildaufnahmeeinheit 12 erfasst von der Kamera 230 ein Bild 300-3 des Schachbrettmusters 250b, das durch eine Aufnahme mit der Kamera 230 erhalten wird, und speichert es im Speicherbereich der Bilddaten 21 in der Speichereinheit 20. Danach bewegt die Kamerakalibrierungseinrichtung 100 den Tisch 220 in Richtung der Ym-Achse nur noch um die Bewegungsgröße (-d), um ihn auf die Referenzposition zurückzubringen.
In dem Bild 300-2 des in Richtung der Xm-Achse bewegten Schachbrettmusters 250a und dem in Richtung der Ym-Achse bewegten Bild 300-3 des Schachbrettmusters 250b muss das Spitzenende des Tastsystems 240 nicht abgebildet werden.
Um dann die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu berechnen, liest die Kalibriereinheit 13 das in Richtung der Xm-Achse bewegte Bild 300-2 des Schachbrettmusters 250a und das in Richtung der Ym-Achse bewegte Bild 300-3 des Schachbrettmusters 250b aus dem Speicherbereich der Bilddaten 21 in der Speichereinheit 20 aus.
ist eine schematische Zeichnung, die ein Beispiel für eine Positionslagebeziehung zwischen den Schachbrettmustern 250, 250a und 250b in den drei Bildern 300-1, 300-2 und 300-3 zeigt. In werden die Merkmalspunkte des Schachbrettmusters 250a, die den Merkmalspunkten A und B des Schachbrettmusters 250 entsprechen, durch A1 und B1 dargestellt und die Merkmalspunkte des Schachbrettmusters 250b, die den Merkmalspunkten A und B des Schachbrettmusters 250 entsprechen, durch A2 und B2 dargestellt.
Da das Schachbrettmuster 250a das Schachbrettmuster 250 ist, das in Richtung der Xm-Achse bewegt wurde, zeigt eine Gerade, die in als Pfeil dargestellt ist, zwischen dem Merkmalspunkt A und dem Merkmalspunkt A1 die Richtung der Xm-Achse im Maschinenkoordinatensystem Σm an. Ebenso zeigt eine Gerade zwischen dem Merkmalspunkt B und dem Merkmalspunkt B1 die Richtung der Xm-Achse im Maschinenkoordinatensystem Σm an. Die vier Merkmalspunkte A, A1, B und B1 sind ferner Pixel auf dem zweidimensionalen Bildkoordinatensystem Σi, und somit schneiden sich die Gerade zwischen dem Merkmalspunkt A und dem Merkmalspunkt A1 und die Gerade zwischen dem Merkmalspunkt B und dem Merkmalspunkt B1 an einem bestimmten Punkt, nämlich einem Fluchtpunkt Vx. Somit kann die Kalibriereinheit 13 aus den Koordinaten der Merkmalspunkte A, A1, B und B1 im Bildkoordinatensystem Σi den Fluchtpunkt Vx in Richtung der Xm-Achse im Maschinenkoordinatensystem Σm berechnen.
Da das Schachbrettmuster 250b das Schachbrettmuster 250 ist, das in Richtung der Ym-Achse bewegt wurde, zeigt eine Gerade, die in als Pfeil dargestellt ist, zwischen dem Merkmalspunkt A und dem Merkmalspunkt A2 die Richtung der Ym-Achse im Maschinenkoordinatensystem Σm an. Ebenso zeigt eine Gerade zwischen dem Merkmalspunkt B und einem Merkmalspunkt B2 die Richtung der Ym-Achse im Maschinenkoordinatensystem Σm an. Die vier Merkmalspunkte A, A2, B und B2 sind ferner Pixel auf dem zweidimensionalen Bildkoordinatensystem Σi, und somit schneiden sich die Gerade zwischen dem Merkmalspunkt A und dem Merkmalspunkt A2 und die Gerade zwischen dem Merkmalspunkt B und dem Merkmalspunkt B2 an einem bestimmten Punkt, nämlich einem Fluchtpunkt Vy. Somit kann die Kalibriereinheit 13 aus den Koordinaten der Merkmalspunkte A, A2, B und B2 im Bildkoordinatensystem Σi den Fluchtpunkt Vy in Richtung der Ym-Achse im Maschinenkoordinatensystem Σm berechnen.
So kann die Kalibriereinheit 13 mit einem Verfahren das Fluchtpunkten verwendet, das einem Fachmann bekannt ist, aus den berechneten Fluchtpunkten Vx und Vy und dem internen Parameter K unter Verwendung der Formel (4) die Zeilenvektoren rx, ry und rz, die die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm bestimmen, berechnen.
[Mathe. 4] $\begin{matrix} r_{x} = \frac{K^{- 1} V_{x}}{‖ K^{- 1} V_{x} ‖}, & r_{y} = \frac{K^{- 1} V_{y}}{‖ K^{- 1} V_{y} ‖}, & r_{z} = r_{x} \times r_{y} \end{matrix}$
Auf diese Weise verwendet die Kamerakalibrierungsvorrichtung 100 als zweite Stufe das Bild 300-1 und die Bilder 300-2 und 300-3, wobei die Bilder 300-2 und 300-3 durch die Durchführung von Bildgebung bei linearen Achsbewegungen der Werkzeugmaschine in zwei Richtungen erhalten werden, und kann dadurch die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm bestimmen.
Die Lage Rb des Schachbrettkoordinatensystems Σb in Bezug auf das Maschinenkoordinatensystem Σm kann aus einem Verhältnis von R = Rc * Rb berechnet werden.
<Dritte Stufe>
Um ferner die Positionslagebeziehung t zwischen dem Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc zu berechnen, liest die Kalibriereinheit 13 die Maschinenkoordinaten des Berührungspunktes TP im Maschinenkoordinatensystem Σm aus dem Speicherbereich der Messwertdaten 22 in der Speichereinheit 20 aus. Die Kalibriereinheit 13 verwendet die ausgelesenen Maschinenkoordinaten des Berührungspunktes TP, den internen Parameter K, die Lage Rc, die Positionslagebeziehung tc und die Lage R, um die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm zu berechnen.
Genauer gesagt, berechnet die Kalibriereinheit 13 zunächst, basierend auf dem Verhältnis von R = Rc * Rb, die Lage Rb des Schachbrettkoordinatensystems Σb in Bezug auf das Maschinenkoordinatensystem Σm.
Die Kalibriereinheit 13 verwendet ein in dargestelltes Bild 300, um aus einen Schnittpunkt einer Geraden, die durch die Mitte des Spitzenendes des Tastsystems 240 verläuft, die aus dem Bild 300-1 berechnet wird und durch eine gestrichelte Linie in axialer Richtung des Tastsystems 240 eingezeichnet ist, und der Umfangslinie des Spitzenendes des Tastsystems 240 die Koordinaten (xt, yt) des Berührpunktes TP im Bildkoordinatensystem Σi zu erfassen. Anschließend verwendet die Kalibriereinheit 13 die Formel (5), um die Koordinaten (xt, yt) des Berührungspunktes TP im Bildkoordinatensystem Σi in die Koordinaten (Xtb, Ytb, Ztb) des Berührungspunktes TP im Schachbrettkoordinatensystem Σb zu konvertieren.
[Mathe. 5] $(\begin{matrix} X_{t b} \\ Y_{t b} \\ Z_{t b} \end{matrix}) = α R_{c}^{T} K^{- 1} (\begin{matrix} x_{t} \\ y_{t} \\ 1 \end{matrix}) - R_{c}^{T} t_{c}$
Hier wird eine Skala α mit Ztb = 0 berechnet.
Die Kalibriereinheit 13 berechnet aus den umgerechneten Koordinaten (Xtb, Ytb, Ztb) des Berührungspunktes TP im Schachbrettkoordinatensystem Σb und den Maschinenkoordinaten (Xtm, Ytm, Ztm) im Maschinenkoordinatensystem Σm des im Speicherbereich der Messwertdaten 22 in der Speichereinheit 20 gespeicherten Berührungspunktes TP unter Verwendung der Formel (6) eine Positionslagebeziehung tb des Schachbrettkoordinatensystems Σb zum Maschinenkoordinatensystem Σm.
[Mathe. 6] $(\begin{matrix} X_{t b} \\ Y_{t b} \\ Z_{t b} \end{matrix}) = α R_{c}^{T} K^{- 1} (\begin{matrix} x_{t} \\ y_{t} \\ 1 \end{matrix}) - R_{c}^{T} t_{c}$
Anschließend verwendet die Kalibriereinheit 13 die Formel (7), um die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm zu berechnen. $T = Rc * tc + tc$
Die Kalibriereinheit 13 speichert die berechnete Positionslagebeziehung t im Speicherbereich der Kalibrierdaten 23 in der Speichereinheit 20 ab.
Auf diese Weise kann die Kamerakalibrierungseinrichtung 100 als dritte Stufe die Positionslagebeziehung t zwischen dem Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc bestimmen.
Die Konfiguration der Kamerakalibrierungseinrichtung 100 gemäß der ersten Ausführungsform wurde oben beschrieben.
Die Funktionsweise der Kamerakalibrierungseinrichtung 100 wird ferner anhand eines Flussdiagramms in beschrieben.
ist ein Flussdiagramm, das ein Beispiel für die Kamerakalibrierungsverarbeitung in der Kamerakalibrierungseinrichtung 100 gemäß der ersten Ausführungsform zeigt. Die in dargestellte Verarbeitung erfolgt beispielsweise durch die Bedienung der Eingabevorrichtung der Kamerakalibrierungseinrichtung 100 durch den Bediener oder dergleichen. Wenn die in dargestellte Verarbeitung durchgeführt wird, ordnet der Bediener oder dergleichen, wie in dargestellt, das Schachbrettmuster 250 in einer beliebigen Position des Tisches 220 in einer beliebigen Lage an.
In Schritt S1 bewegt die Maschinenkoordinatenmesseinheit 11, wie in dargestellt, die Bearbeitungsmaschine 210 in die negative Richtung der Zm-Achse im Maschinenkoordinatensystem Σm (d.h. die Richtung des Tisches 220), so dass das Tastsystem 240 das Schachbrettmuster 250 berührt. Die Maschinenkoordinatenmesseinheit 11 erfasst die Maschinenkoordinaten des vom Tastsystem 240 berührten Berührungspunktes TP.
In Schritt S2 erfasst die Bildaufnahmeeinheit 12 von der Kamera 230 das Bild 300-1 des Tastsystems 240 und des Schachbrettmusters 250, das durch die Aufnahme mit der Kamera 230 erhalten wurden.
In Schritt S3 berechnet die Kalibriereinheit 13 beispielsweise nach dem Verfahren von Tsai aus dem in Schritt S2 aufgenommenen Bild 300-1 den internen Parameter K und die Lage Rc und die Positionslagebeziehung tc des Kamerakoordinatensystems Σc in Bezug auf das Schachbrettkoordinatensystem Σb.
In Schritt S4 bewegt die Steuereinheit 10, wie in dargestellt, den in der Referenzposition befindlichen Tisch 220 in jede der Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst das Bild 300-2 des Schachbrettmusters 250a, das in Richtung der Xm-Achse bewegt wurde, und das Bild 300-3 des Schachbrettmusters 250b, das in Richtung der Ym-Achse bewegt wurde.
In Schritt S5 berechnet die Kalibriereinheit 13 aus den Bildern 300-2 und 300-3 die Fluchtpunkte Vx und Vy in Richtung der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm. Die Kalibriereinheit 13 verwendet die Formel (4), um aus den berechneten Fluchtpunkten Vx und Vy die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu berechnen.
In Schritt S6 verwendet die Kalibriereinheit 13 die Formeln (5) bis (7), um aus den Maschinenkoordinaten (Xtm, Ytm, Ztm) des Berührungspunktes TP im Maschinenkoordinatensystem Σm und den Koordinaten (xt, yt) des Berührungspunktes TP des Bildes 300-1 im Bildkoordinatensystem Σi die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm zu berechnen.
Wie vorstehend beschrieben, erfasst die Kamerakalibrierungseinrichtung 100 in der ersten Ausführungsform die Maschinenkoordinaten des Berührungspunktes TP an dem das Schachbrettmuster 250 in einer beliebigen Position des Tisches 220 in einer beliebigen Lage durch das in der Bearbeitungsmaschine 210 angeordnete Tastsystem 240 berührt wird. Ferner erfasst die Kamerakalibrierungseinrichtung 100 das Bild 300-1 des Tastsystems 240 und das Schachbrettmuster 250, wenn das Tastsystem 240 den Berührungspunkt TP berührt. Die Kamerakalibrierungseinrichtung 100 bewegt den Tisch 220 in jede der Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm, um die Bilder 300-2 und 300-3 des Schachbrettmusters 250 aufzunehmen, wenn der Tisch 220 in jede einzelne der Richtungen bewegt worden ist. Die Kamerakalibrierungseinrichtung 100 berechnet die Lage R und die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm basierend auf der Positionslagebeziehung zwischen einer Vielzahl von Merkmalspunkten aus dem Schachbrettmuster 250 in den aufgenommenen drei Bildern 300-1, 300-2 und 300-3 über das Schachbrettmusterkoordinatensystem Σb.
Auf diese Weise ordnet die Kamerakalibrierungseinrichtung 100 das Schachbrettmuster 250 in einer beliebigen Position des Tisches 220 in einer beliebigen Lage an, um sogar in einer Werkzeugmaschine, deren Freiheitgrade gering sind, das Verhältnis zwischen dem auf der Werkzeugmaschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der Kamera, die in der Werkzeugmaschine installier ist, leicht kalibrieren zu können. In der Kamerakalibrierungseinrichtung 100 ist es nicht erforderlich, ein dediziertes Kalibrierinstrument in einer bestimmten Position zu installieren und eine Vorrichtung zur Installation des Kalibrierinstruments zu verwenden, so dass es möglich ist, die Aufwendungen für Betrieb und Einrichtung der Kamerakalibrierung zu reduzieren.
Die erste Ausführungsform wurde oben beschrieben
[Variante 1 der ersten Ausführungsform]
Obwohl die Kamerakalibrierungseinrichtung 100 gemäß der ersten Ausführungsform drei Bilder verwendet, nämlich das Bilde 300-1 des Schachbrettmusters 250, das sich in der Referenzposition befindet, das Bild 300-2 des Schachbrettmusters 250a, das in Richtung der Xm-Achse bewegt wurde, und das Bild 300-3 des Schachbrettmusters 250b, das in Richtung der Ym-Achse bewegt wurde, um die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm aus Variationen in den Positionen einer Vielzahl von Merkmalspunkten wie den Merkmalspunkten A und B zu berechnen, gibt es keine Limitierung auf diese Konfiguration. So kann beispielsweise die Kamerakalibrierungseinrichtung 100 einer Variante 1 der ersten Ausführungsform die Lage R aus einer Variation der Position eines einzigen Merkmalspunktes berechnen.
In diesem Fall muss die Kamerakalibrierungseinrichtung 100 den Tisch 220 zusammen mit den Bildern 300-1, 300-2 und 300-3 in Richtung der Xm-Achse um den Betrag d der Bewegung bewegen und ein Bild 300-4 aufnehmen, das in Richtung der Ym-Achse um den Betrag d der Bewegung bewegt wurde. Mit anderen Worten, die Kamerakalibrierungseinrichtung 100 verwendet die vier Bilder, um die Lage R aus einer Variation der Position eines Merkmalspunktes berechnen zu können, ohne dass die Lösung unbestimmt ist.
[Variation 2 der ersten Ausführungsform]
Obwohl in der Kamerakalibrierungseinrichtung 100 gemäß der ersten Ausführungsform eine XmYm-Ebene im Maschinenkoordinatensystem Σm und eine XbYb-Ebene im Schachbrettkoordinatensystem Σb nicht unbedingt parallel zueinander sind und somit der Tisch 220 in jede der Richtungen der Xm-Achse und der Ym-Achse bewegt wird, gibt es keine Einschränkung auf diese Konfiguration. So kann beispielsweise als Variante 2 der ersten Ausführungsform in der Kamerakalibrierungseinrichtung 100, wenn die XmYm-Ebene im Maschinenkoordinatensystem Σm und die XbYb-Ebene im Schachbrettkoordinatensystem Σb parallel zueinander sind, der Tisch 220 nur in eine einzige der Richtungen der Xm-Achse und der Ym-Achse bewegt werden.
In diesem Fall kann die Kamerakalibrierungseinrichtung 100 direkt eine Gerade zwischen dem Merkmalspunkt A und dem Merkmalspunkt A1 auf einer Ebene bestimmen, die durch Rücktransformation des internen Parameters K und der Lage Rc in Bezug auf eine Bildebene und die Lage Rb in der Rotationsbewegung der Xb-Achse im Schachbrettkoordinatensystem Σb erhalten wird. Die Lage R wird in diesem Fall durch R = Rb * Rc berechnet.
[Zweite Ausführungsform]
Eine zweite Ausführungsform wird im Folgenden beschrieben. Die zweite Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass die Kamerakalibrierungseinrichtung anstelle des Schachbrettmusters eine Nut, einen Kratzer, ein Muster, einen Eckpunkt oder dergleichen auf dem Tisch als Muster verwendet, das eine Vielzahl von Merkmalspunkten beinhaltet, die zur Kalibrierung verwendet werden.
Auf diese Weise erfasst eine Kamerakalibrierungseinrichtung 100A in der ersten Stufe der zweiten Ausführungsform ein Bild, welches durch die Abbildung erhalten wird, wenn ein Punkt, dessen Maschinenkoordinaten bekannt sind, und eine Vielzahl von Merkmalspunkten, abgebildet werden.
Ferner verwendet die Kamerakalibrierungseinrichtung 100A als zweite Stufe, wie später beschrieben, die Koordinaten im Bildkoordinatensystem Σi von einer Vielzahl von Merkmalspunkten in jedem Bild, das durch die Abbildung eines Punktes, dessen Maschinenkoordinaten bekannt sind, und einer Vielzahl von Merkmalspunkten erhalten wird, und eines Bildes, das durch die Durchführung der Bildgebung erhalten wird, wenn die Werkzeugmaschine lineare Achsbewegungen in zwei Richtungen macht, um, wie in der ersten Ausführungsform, durch ein Verfahren unter Verwendung eines Fluchtpunktes die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu bestimmen.
Darüber hinaus verwendet die Kamerakalibrierungseinrichtung 100A als dritte Stufe, wie später beschrieben, einen Punkt, dessen Maschinenkoordinaten bekannt sind, ein Bild, das durch die Abbildung des einen bekannten Punktes erhalten wird, ein Bild, das durch die Durchführung der Bildgebung erhalten wird, wenn die Werkzeugmaschine lineare Achsenbewegungen in zwei Richtungen macht, und die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm, um die Lage Rt und eine Positionslagebeziehung tt eines Tischkoordinatensystems Σt in Bezug auf das Maschinenkoordinatensystem Σm zu berechnen. Auf diese Weise kann die Kamerakalibrierungseinrichtung 100A die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm bestimmen.
In der zweiten Ausführungsform berechnet die Kamerakalibrierungseinrichtung 100A zunächst, vor der Kamerakalibrierungsverarbeitung, nach einem bekannten Verfahren den internen Parameter K und die Koeffizienten der Verzerrungsfehler k1 und k2, um in der Speichereinheit 20 den internen Parameter K und die berechneten Koeffizienten der Verzerrungsfehler k1 und k2 zu speichern.
Auf diese Weise kann die Kamerakalibrierungseinrichtung 100A die Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der in der Werkzeugmaschine installierten Kamera kalibrieren. Die zweite Ausführungsform wird im Folgenden beschrieben.
ist eine schematische Zeichnung, die ein Beispiel für die Kamerakalibrierungseinrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt. In werden Elemente, die die gleichen Funktionen wie die Elemente der Kamerakalibrierungseinrichtung 100 gemäß der ersten Ausführungsform haben, mit den gleichen Referenzziffern identifiziert und auf deren detaillierte Beschreibungen wird verzichtet.
Die Kamerakalibrierungseinrichtung 100A gemäß der zweiten Ausführungsform hat die gleiche Konfiguration wie die Kamerakalibrierungseinrichtung 100 gemäß der ersten Ausführungsform.
Wie in dargestellt, ist in dem Tisch 220 das Tischkoordinatensystem Σt eingestellt.
In der Kamerakalibrierungseinrichtung 100A führt die Steuereinheit 10 zur Kalibrierung der Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem Σm und dem in der Maschine installierten Kamerakoordinatensystem Σc der Kamera das im Speicher 20 gespeicherte Programm für die Kamerakalibrierungsverarbeitung aus. Auf diese Weise arbeitet die Steuereinheit 10 als Maschinenkoordinatenmesseinheit 11, Bildaufnahmeeinheit 12 und Kalibriereinheit 13a.
Die Maschinenkoordinatenmesseinheit 11 und die Bilderfassungseinheit 12 haben die gleichen Funktionen wie die Maschinenkoordinatenmesseinheit 11 und die Bilderfassungseinheit 12 in der ersten Ausführungsform.
Die Kalibriereinheit 13a verwendet die Maschinenkoordinaten des Berührungspunktes TP und die aufgenommenen Bilder, um die Lage R und die Positionslagebeziehung t zwischen dem auf der Werkzeugmaschine 200 eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der in der Werkzeugmaschine installierten Kamera 230 zu berechnen.
<Erste Stufe>
Beispielsweise veranlasst die Maschinenkoordinatenmesseinheit 11, dass das Tastsystem 240 eine beliebige Position auf dem Tisch 220 berührt, um die Maschinenkoordinaten des vom Tastsystem 240 berührten Berührpunkts TP zu erfassen. Die Bildaufnahmeeinheit 12 erfasst ein Bild 300a-1 des Tisches 220, wenn das Tastsystem 240 den Tisch 220 berührt.
<Zweite Stufe>
Bei der Kamerakalibrierung, wie in dargestellt, bewegt die Steuereinheit 10 den Tisch 220 in jede der Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst ein Bild 300a-2 von einem Tisch 220a, der in Richtung der Xm-Achse bewegt wurde, und ein Bild 300a-3 von einem Tisch 220b, der in Richtung der Ym-Achse bewegt wurde.
ist eine schematische Zeichnung mit einem Beispiel für den Tisch 220, der in jede der Richtungen der Xm-Achse und der Ym-Achse bewegt wurde. In , wie schon in , wird der in der Referenzposition vorhandene Tisch 220 durch gestrichelte Linien dargestellt. In sind die in die einzelnen Richtungen der Xm-Achse und der Ym-Achse um den Betrag d der Bewegung verschobenen Tisches 220 durch die Tische 220a und 220b dargestellt. In werden die Merkmalspunkte D, E und F, die in die einzelnen Richtungen der Xm-Achse und der Ym-Achse verschoben wurden, durch die Merkmalspunkte D1, E1 und F1 und die Merkmalspunkte D2, E2 und F2 dargestellt.
Ferner führt die Kalibriereinheit 13a eine Bildverarbeitung für die Bilder 300a-1, 300a-2 und 300a-3 durch, wie beispielsweise eine Grenzerkennungsverarbeitung, die dem Fachmann bekannt ist, um aus dem Blickwinkel der Kamera 230 eine Vielzahl von Merkmalspunkten wie einen Kratzer, ein Muster oder einen Eckpunkt, zu erkennen. Die Kalibriereinheit 13a nimmt die Koordinaten im Bildkoordinatensystem Σi einer Vielzahl von Merkmalspunkten auf, die erkannt werden. So erfasst die Kalibriereinheit 13a beispielsweise aus dem Bild 300a-1 die Koordinaten der Merkmalspunkte D, E und F im Bildkoordinatensystem Σi. Ferner erfasst die Kalibriereinheit 13a aus dem Bild 300a-2 ebenso die Koordinaten der Merkmalspunkte D1, E1 und F1 im Bildkoordinatensystem Σi. Die Kalibriereinheit 13a erfasst aus dem Bild 300a-2 ebenso die Koordinaten der Merkmalspunkte D2, E2 und F2 im Bildkoordinatensystem Σi.
Da der Tisch 220a, wie in dargestellt, der Tisch 220 ist, der in Richtung der Xm-Achse bewegt wurde, zeigt eine gerade Linie zwischen dem Merkmalspunkt D und dem Merkmalspunkt D1 die Richtung der Xm-Achse im Maschinenkoordinatensystem Σm an. Ebenso zeigen eine Gerade zwischen dem Merkmalspunkt E und dem Merkmalspunkt E1 und eine Gerade zwischen dem Merkmalspunkt F und dem Merkmalspunkt F1 die Richtung der Xm-Achse im Maschinenkoordinatensystem Σm an. Ferner sind die sechs Merkmalspunkte D, E, F, D1, E1 und F1 Pixel auf dem zweidimensionalen Bildkoordinatensystem Σi, und somit schneiden sich die Gerade zwischen dem Merkmalspunkt D und dem Merkmalspunkt D1, die Gerade zwischen dem Merkmalspunkt E und dem Merkmalspunkt E1 und die Gerade zwischen dem Merkmalspunkt F und F1 an einem bestimmten Punkt, nämlich einem Fluchtpunkt Vx. Somit kann die Kalibriereinheit 13a aus den Koordinaten der Merkmalspunkte D, E und F und den Merkmalspunkten D1, E1 und F1 im Bildkoordinatensystem Σi den Fluchtpunkt Vx in Richtung der Xm-Achse im Maschinenkoordinatensystem Σm berechnen.
Da der Tisch 220b der Tisch 220 ist, der in Richtung der Ym-Achse bewegt wurde, zeigt eine Gerade zwischen dem Merkmalspunkt D und dem Merkmalspunkt D2 die Richtung der Ym-Achse im Maschinenkoordinatensystem Σm an. Ebenso zeigen eine Gerade zwischen dem Merkmalspunkt E und dem Merkmalspunkt E2 und eine Gerade zwischen dem Merkmalspunkt F und dem Merkmalspunkt F2 die Richtung der Ym-Achse im Maschinenkoordinatensystem Σm an. Ferner sind die sechs Merkmalspunkte D, E, F, D2, E2 und F2 Pixel auf dem zweidimensionalen Bildkoordinatensystem Σi, und somit schneiden sich die Gerade zwischen dem Merkmalspunkt D und dem Merkmalspunkt D2, die Gerade zwischen dem Merkmalspunkt E und dem Merkmalspunkt E2 und die Gerade zwischen dem Merkmalspunkt F und F2 an einem bestimmten Punkt, nämlich einem Fluchtpunkt Vy. Somit kann die Kalibriereinheit 13a aus den Koordinaten der Merkmalspunkte D, E und F und den Merkmalspunkten D2, E2 und F2 im Bildkoordinatensystem Σi den Fluchtpunkt Vy in Richtung der Ym-Achse im Maschinenkoordinatensystem Σm berechnen.
Somit kann die Kalibriereinheit 13a aus den berechneten Fluchtpunkten Vx und Vy und dem internen Parameter K unter Verwendung der Formel (4) die Zeilenvektoren rx, ry und rz berechnen, die die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm abbildet.
<Dritte Stufe>
Die Kalibriereinheit 13a berechnet die Positionslagebeziehungen tD, tE und tF zwischen dem Koordinatensystem der drei Ebenen bestehend aus der Ebene der Merkmalspunkte D, D1 und D2, der Ebene der Merkmalspunkte E, E1 und E2 und der Ebene der Merkmalspunkte F, F1 und F2, wie in dargestellten, und dem Kamerakoordinatensystem Σc. Obwohl im Folgenden ein Fall beschrieben wird, in dem die Positionslagebeziehung tD berechnet wird, werden die Positionslagebeziehungen tE und tF ebenfalls berechnet.
Die Merkmalspunkte D1, E1 und F1 sind hier die Merkmalspunkte D, E und F, die in Richtung der Xm-Achse verschoben wurden, und die Merkmalspunkte D2, E2 und F2 sind die Merkmalspunkte D, E und F, die in Richtung der Ym-Achse verschoben wurden. Die Ebene der Merkmalspunkte D, D1 und D2, die Ebene der Merkmalspunkte E, E1 und E2 und die Ebene der Merkmalspunkte F, F1 und F2 sind also Ebenen, die parallel zur XmYm-Ebene im Maschinenkoordinatensystem Σm liegen. Solange die Ebene auf dem Tisch 220 jedoch nicht parallel zur XmYm-Ebene im Maschinenkoordinatensystem Σm ist, unterscheiden sich die Ebene der Merkmalspunkte D, D1 und D2, die Ebene der Merkmalspunkte E, E1 und E2 und die Ebene der Merkmalspunkte F, F1 und F2 in der Position in Richtung der Zm-Achse.
Wenn also in der Kalibriereinheit 13a der Merkmalspunkt D als temporärer Ursprung (0, 0, 0) im Maschinenkoordinatensystem Σm angenommen wird, sind die Maschinenkoordinaten des Merkmalspunkts D1 (d, 0, 0) und die Maschinenkoordinaten des Merkmalspunkts D2 (0, d, 0). In diesem Fall sind die Maschinenkoordinaten (0, 0, 0), (d, 0, 0) und (0, d, 0) der Merkmalspunkte D, D1 und D2 und die Maschinenkoordinaten (xD, yD), (xD1, yD1) und (xD2, yD2) der Merkmalspunkte D, D1 und D2 im Bildkoordinatensystem Σi wie in Formel (8) angegeben miteinander verknüpft. Hier sind die Skalen α, β und γ und die Positionslagebeziehung tD unbekannte Größen. Die linke Seite der Formel (8) erhält man durch Umrechnung der Koordinaten der Merkmalspunkte D, D1 und D2 im Bildkoordinatensystem Σi in Koordinaten im Kamerakoordinatensystem Σc.
[Mathe. 7] $\begin{matrix} α K^{- 1} (\begin{matrix} x_{D} \\ y_{D} \\ 1 \end{matrix}) = R (\begin{matrix} 0 \\ 0 \\ 0 \end{matrix}) + t_{D} \\ β K^{- 1} (\begin{matrix} x_{D 1} \\ y_{D 1} \\ 1 \end{matrix}) = R (\begin{matrix} d \\ 0 \\ 0 \end{matrix}) + t_{D} \\ γ K^{- 1} (\begin{matrix} x_{D 2} \\ y_{D 2} \\ 1 \end{matrix}) = R (\begin{matrix} 0 \\ d \\ 0 \end{matrix}) + t_{D} \end{matrix}$
Die Kalibriereinheit 13a berechnet aus der Formel (8) die Positionslagebeziehung tD des Kamerakoordinatensystems Σc in Bezug auf die Ebene der Merkmalspunkte D, D1 und D2. Ebenso berechnet die Kalibriereinheit 13a die Positionslagebeziehung tE des Kamerakoordinatensystems Σc in Bezug auf die Ebene der Merkmalspunkte E, E1 und E2 und die Positionslagebeziehung tF des Kamerakoordinatensystems Σc in Bezug auf die Ebene der Merkmalspunkte F, F1 und F2. Ferner, wenn die Kalibriereinheit 13a davon ausgeht, dass der auf dem Tisch 220 eingestellte Koordinatenursprung des Tischkoordinatensystems Σt die Position des Merkmalspunktes D ist, und die Richtung einer Xt Achse als tX = tD - tE definiert ist, ist die Richtung einer Zt Achse tZ = (tD - tE) × (tD - tF). Hier ist die Richtung einer Yt-Achse tY = tZ × tX. Auf diese Weise kann die Kalibriereinheit 13a die Lage Rt des Tischkoordinatensystems Σt in Bezug auf das Maschinenkoordinatensystem Σm berechnen. Ferner kann die Kalibriereinheit 13a aus dem Verhältnis von R = Rc * Rt die Lage Rc des Kamerakoordinatensystems Σc in Bezug auf das Tischkoordinatensystem Σt berechnen.
Die Kalibriereinheit 13a verwendet ein Bild 330a-1, welches durch eine Bildgebung erhalten wird, wenn das Tastsystem 240 den Tisch 220 berührt, um, wie im Falle von , die Koordinaten (xt, yt) des Berührungspunktes TP im Bildkoordinatensystem Σi zu erfassen. Die Kalibriereinheit 13a verwendet die Formel (9), um die Koordinaten (xt, yt) des Berührungspunktes TP im Bildkoordinatensystem Σi in die Koordinaten (Xtb, Ytb, Ztb) des Berührungspunktes TP im Schachbrettkoordinatensystem Σb zu konvertieren.
[Mathe. 8] $(\begin{matrix} X_{t b} \\ Y_{t b} \\ Z_{t b} \end{matrix}) = α R_{c}^{T} K^{- 1} (\begin{matrix} x_{t} \\ y_{t} \\ 1 \end{matrix}) - R_{c}^{T} t_{D}$
Hier wird eine Skala α mit Ztb = 0 berechnet.
Die Kalibriereinheit 13a berechnet aus den umgerechneten Koordinaten (Xtb, Ytb, Ztb) des Berührungspunktes TP im Tischkoordinatensystem Σt und den Maschinenkoordinaten (Xtm, Ytm, Ztm) im Maschinenkoordinatensystem Σm des Berührungspunktes TP, die im Speicherbereich der Messwertdaten 22 im Speicher 20 gespeicherten sind, unter Verwendung der Formel (10) die Positionslagebeziehung tt des Tischkoordinatensystems Σt in Bezug auf das Maschinenkoordinatensystem Σm.
[Mathe. 9] $(\begin{matrix} X_{t b} \\ Y_{t b} \\ Z_{t b} \end{matrix}) = R_{t} (\begin{matrix} X_{t m} \\ Y_{t m} \\ Z_{t m} \end{matrix}) + t_{t}$
Ferner verwendet die Kalibriereinheit 13a die Formel (11), um die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm zu berechnen. $T = Rc * tt + tD$
Die Kalibriereinheit 13a speichert die berechnete Positionslagebeziehung t im Speicherbereich der Kalibrierdaten 23 in der Speichereinheit 20 ab. Auf diese Weise kann die Kamerakalibrierungseinrichtung 100A als dritte Stufe die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm bestimmen.
Die Konfiguration der Kamerakalibrierungseinrichtung 100A gemäß der zweiten Ausführungsform wurde oben beschrieben.
Der Betrieb der Kamerakalibrierungseinrichtung 100A wird ferner anhand eines Flussdiagramms in beschrieben.
ist ein Flussdiagramm, das ein Beispiel für die Kamerakalibrierungsverarbeitung in der Kamerakalibrierungseinrichtung 100A gemäß der zweiten Ausführungsform zeigt. Die in dargestellte Verarbeitung unterscheidet sich von der Verarbeitung der ersten in dargestellten Ausführungsform dadurch, dass eine Vielzahl von Merkmalspunkten D, E und F als Prüfbrett verwendet werden.
Die in dargestellte Verarbeitung erfolgt beispielsweise durch die Bedienung der Eingabevorrichtung der Kamerakalibrierungseinrichtung 100A durch den Bediener oder dergleichen.
Im Schritt S11 bewegt die Maschinenkoordinatenmesseinheit 11 die Bearbeitungsmaschine 210 in die negative Richtung (d.h. die Richtung des Tisches 220) der Zm-Achse im Maschinenkoordinatensystem Σm, so dass das Tastsystem 240 den Tisch 220 berührt. Die Maschinenkoordinatenmesseinheit 11 erfasst die Maschinenkoordinaten des vom Tastsystem 240 berührten Berührpunkts TP.
In Schritt S12 erfasst die Bildaufnahmeeinheit 12 von der Kamera 230 das Bild 300a-1 des Tastsystems 240 und des Tisches 220, wobei das Bild durch die Aufnahme mit der Kamera 230 erhalten wird.
In Schritt S13 bewegt die Steuereinheit 10, wie in dargestellt, den in der Referenzposition befindlichen Tisch 220 in jede der Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst das Bild 300a-2 des Tisches 220a, das in Richtung der Xm-Achse bewegt wurde, und das Bild 300a-3 des Tisches 220b, das in Richtung der Ym-Achse bewegt wurde.
In Schritt S14 verwendet die Kalibriereinheit 13a die Merkmalspunkte D, E und F des Bildes 300a-1, die Merkmalspunkte D1, E1 und F1 des Bildes 300a-2 und die Merkmalspunkte D2, E2 und F2 des Bildes 300a-3, um die Fluchtpunkte Vx und Vy in den Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm zu berechnen. Die Kalibriereinheit 13a verwendet die Formel (4), um aus den berechneten Fluchtpunkten Vx und Vy die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu berechnen.
In Schritt S15 verwendet die Kalibriereinheit 13a die Formeln (8) bis (11), um aus den Maschinenkoordinaten (Xtm, Ytm, Ztm) des Berührungspunktes TP im Maschinenkoordinatensystem Σm und den Koordinaten (xt, yt) des Berührungspunktes TP des Bildes 300a-1 im Bildkoordinatensystem Σi die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm zu berechnen. Die Kalibriereinheit 13a speichert die berechnete Positionslagebeziehung t im Speicherbereich der Kalibrierdaten 23 in der Speichereinheit 20 ab.
Wie vorstehend beschrieben, erfasst die Kamerakalibrierungseinrichtung 100A in der zweiten Ausführungsform die Maschinenkoordinaten des Berührpunktes TP, an dem das in der Bearbeitungsmaschine 210 angeordnete Tastsystem 240 den Tisch 220 berührt, und das Bild 300a-1 des Tisches 220, wenn das Tastsystem 240 den Tisch 220 berührt. Die Kamerakalibrierungseinrichtung 100A erfasst ferner die Bilder 300a-2 und 300a-3 des Tisches 220, wenn der Tisch 220 in jede der Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm bewegt wurde. Die Kamerakalibrierungseinrichtung 100A berechnet die Lage R und die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm basierend auf der Positionslagebeziehung zwischen einer Vielzahl von Merkmalspunkten auf dem Tisch 220 in den aufgenommenen drei Bildern 300a-1, 300a-2 und 300a-3 durch Verwendung das Tischkoordinatensystem Σt.
Auf diese Weise verwendet die Kamerakalibrierungseinrichtung 100A eine Vielzahl von Merkmalspunkten auf dem Tisch 220 als Kalibrierinstrument, um sogar in einer Werkzeugmaschine, deren Freiheitgrade gering sind, das Verhältnis zwischen dem auf der Werkzeugmaschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der Kamera, die in der Werkzeugmaschine installier ist, leicht kalibrieren zu können. In der Kamerakalibrierungseinrichtung 100A ist es nicht erforderlich, ein dediziertes Kalibrierinstrument in einer bestimmten Position zu installieren und eine Vorrichtung zur Installation des Kalibrierinstruments zu verwenden, so dass es möglich ist, die Aufwendungen für Betrieb und Einrichtung der Kamerakalibrierung zu reduzieren.
Die zweite Ausführungsform wurde oben beschrieben.
[Variation 1 der zweiten Ausführungsform]
Obwohl die Kamerakalibrierungseinrichtung 100A gemäß der zweiten Ausführungsform zuvor nach einem bekannten Verfahren den internen Parameter K und die Verzerrungsaberrationskoeffizienten k1 und k2 berechnet, um sie in der Speichereinheit 20 zu speichern, gibt es keine Einschränkung für diese Konfiguration. So kann beispielsweise die Kamerakalibrierungseinrichtung 100A der Variation 1 der zweiten Ausführungsform eine Vielzahl von Merkmalspunkten, wie beispielsweise einen Kratzer auf dem Tisch 220, als Prüffelder, bspw. Schachbrettmuster, annehmen, um den internen Parameter K und die Koeffizienten der Verzerrungsfehler k1 und k2 nach einem bekannten Verfahren zu berechnen.
In diesem Fall erfasst die Kamerakalibrierungseinrichtung 100A vorzugsweise drei oder mehr Bilder, die durch Verschieben des Tisches 220 an verschiedene Positionen auf der XmYm-Ebene im Maschinenkoordinatensystem Σm erhalten wurden.
[Variation 2 der zweiten Ausführungsform]
Obwohl die Kamerakalibrierungseinrichtung 100A gemäß der zweiten Ausführungsform eine Vielzahl von Merkmalspunkten D, E und F auf dem Tisch 220 erkennt, gibt es keine Einschränkung für diese Konfiguration. Beispielsweise, entsprechende der Variante 2 der zweiten Ausführungsform, wenn die XmYm-Ebene im Maschinenkoordinatensystem Σm und eine XtYt-Ebene im Tischkoordinatensystem Σt parallel zueinander sind, kann die Kamerakalibrierungseinrichtung 100A nur einen Merkmalspunkt verwenden.
[Dritte Ausführungsform]
Ferner wird eine dritte Ausführungsform beschrieben. Die dritte Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass die Kamerakalibrierungseinrichtung eine 3D-Kamera als Kamera in der Werkzeugmaschine verwendet. Da die Kamerakalibrierungseinrichtung direkt die Position des Spitzenendes des Tastsystems 240 vom Kamerakoordinatensystem Σc aus erfassen kann, entfällt bei Kenntnis der Maschinenkoordinaten des Spitzenendes des Tastsystems 240 in der dritten Ausführungsform die Bedienung der Kamerakalibrierungseinrichtung zur Berührung des Schachbrettmusters 250. Daher wird in der folgenden Beschreibung anstelle des Berührpunkts die Position des Spitzenendes des Tastsystems 240 auch als „Spitzenendlage“ bezeichnet.
Somit sind in der dritten Stufe der dritten Ausführungsform die Maschinenkoordinaten (Xtm, Ytm, Ztm) der Spitzenendlage im Maschinenkoordinatensystem Σm und die Koordinaten (Xtc, Ytc, Ztc) im Kamerakoordinatensystem Σc wie in Formel (12) angegeben miteinander verknüpft. Somit kann die Kamerakalibrierungseinrichtung 100B ohne Einbeziehung des Schachbrettkoordinatensystems Σb die Positionslagebeziehung t des KameraKoordinatensystems Σc zum Maschinenkoordinatensystem Σm bestimmen.
[Mathe. 10] $(\begin{matrix} X_{t c} \\ Y_{t c} \\ Z_{t c} \end{matrix}) = R (\begin{matrix} X_{t m} \\ Y_{t m} \\ Z_{t m} \end{matrix}) + t$
Als erste Stufe erfasst die Kamerakalibrierungseinrichtung 100B ein Bild 300b-1 des Schachbrettmusters 250, das in einer beliebigen Position auf dem Tisch 220 installiert ist, einschließlich des Tastsystems 240. Nach einem bekannten Verfahren bestimmt die Kamerakalibrierungseinrichtung 100B aus dem aufgenommenen Bild den internen Parameter der Kamera und die Lage Rc und die Positionslagebeziehung tc des Kamerakoordinatensystems Σc in Bezug auf das Schachbrettkoordinatensystem Σb.
Wie in der ersten Ausführungsform verwendet die Kamerakalibrierungseinrichtung 100B als zweite Stufe ein Bild 300b-2 des Schachbrettmusters 250a, das im Maschinenkoordinatensystem Σm in Richtung der Xm-Achse bewegt wurde, und ein Bild 300b-3 des Schachbrettmusters 250b, das in Richtung der Ym-Achse bewegt wurde, um die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu bestimmen.
Auf diese Weise kann die Kamerakalibrierungseinrichtung 100B die Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der in der Werkzeugmaschine installierten Kamera kalibrieren.
Die dritte Ausführungsform wird im Folgenden beschrieben.
ist eine schematische Darstellung, die ein Beispiel für die Kamerakalibrierungseinrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung zeigt. In werden Elemente, die die gleichen Funktionen wie die Elemente der Kamerakalibrierungseinrichtung 100 gemäß der ersten Ausführungsform haben, mit den gleichen Referenzziffern identifiziert und auf deren detaillierte Beschreibungen wird verzichtet.
Die Kamerakalibrierungseinrichtung 100B gemäß der dritten Ausführungsform hat die gleiche Konfiguration wie die Kamerakalibrierungseinrichtung 100 gemäß der ersten Ausführungsform.
Die Werkzeugmaschine 200 beinhaltet die Bearbeitungsmaschine 210, den Tisch 220 und eine Kamera 230a.
Die Kamera 230a ist eine 3D-Kamera (z.B. eine Stereokamera oder eine Tiefenkamera), die zwei Bildsensoren wie einen CCD und ein CMOS beinhaltet. Die Kamera 230a ist in einer Position innerhalb der Werkzeugmaschine 200 angeordnet, in der die Kamera 230a den Bearbeitungsvorgang der Bearbeitungsmaschine 210 nicht stört und in der es möglich ist, den Zustand eines Werkstücks zu beobachten, das mit dem Tisch 220 und der Bearbeitungsmaschine 210 bearbeitet wird. Eine Basislänge der Kamera 230a und weitere Größen der Kamera 230a werden zuvor kalibriert, und Kalibrierdaten der Basislänge und die weiteren Größen werden im Speicherbereich der Kalibrierdaten 23 in der Speichereinheit 20 gespeichert.
In der Kamerakalibrierungseinrichtung 100B führt die Steuerung 10 zur Kalibrierung der Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der Kamera, die in der Maschine installiert ist, das im Speicher 20 gespeicherte Programm für die Kamerakalibrierungsverarbeitung aus. Auf diese Weise fungiert die Steuereinheit 10 als Maschinenkoordinatenmesseinheit 11, Bildaufnahmeeinheit 12 und Kalibriereinheit 13b.
Die Maschinenkoordinatenmesseinheit 11 und die Bilderfassungseinheit 12 haben die gleichen Funktionen wie die Maschinenkoordinatenmesseinheit 11 und die Bilderfassungseinheit 12 in der ersten Ausführungsform.
Die Kalibriereinheit 13b hat die gleiche Funktion wie die Kalibriereinheit 13 in der ersten Ausführungsform. Die Kalibriereinheit 13b unterscheidet sich jedoch von der Kalibriereinheit 13 der ersten Ausführungsform dadurch, dass es möglich ist, die Koordinaten der Spitzenendlage SP des Tastsystems 240 im Kamerakoordinatensystem Σc direkt aus einem Bild zu erfassen, welches durch die Aufnahme mit der Kamera 230a erhalten wird.
Insbesondere verwendet die Kalibriereinheit 13b, wie vorstehend beschrieben, in der dritten Stufe die Formel (12), um aus den Maschinenkoordinaten (Xtm, Ytm, Ztm) der Spitzenendlage SP im Maschinenkoordinatensystem Σm und den Koordinaten (Xtc, Ytc, Ztc) der Spitzenendlage SP im Kamerakoordinatensystem Σc, die aus dem durch die Aufnahme mit der Kamera 230a erhaltenen Bild gewonnen wurde, die Positionslagebeziehung t des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu berechnen.
Die Konfiguration der Kamerakalibrierungseinrichtung 100B gemäß der dritten Ausführungsform wurde oben beschrieben.
Der Betrieb der Kamerakalibrierungseinrichtung 100B wird ferner anhand eines Flussdiagramms in beschrieben.
ist ein Diagramm, das ein Beispiel für die Kamerakalibrierungsverarbeitung in der Kamerakalibrierungseinrichtung 100B gemäß der dritten Ausführungsform zeigt. Bei der in dargestellten Verarbeitung werden die gleichen Verarbeitungen wie bei den in dargestellten Schritten mit den gleichen Schrittnummern gekennzeichnet und auf eine detaillierte Beschreibung davon wird auf oben verwiesen.
Die in dargestellte Verarbeitung erfolgt beispielsweise durch die Bedienung der Eingabevorrichtung der Kamerakalibrierungseinrichtung 100B durch den Bediener oder dergleichen. Wenn die in dargestellte Verarbeitung durchgeführt wird, ordnet der Bediener oder dergleichen, wie in dargestellt, das Schachbrettmuster 250 in einer beliebigen Position des Tisches 220 in einer beliebigen Lage an.
In Schritt S1a erfasst die Maschinenkoordinatenmesseinheit 11 die Maschinenkoordinaten der Spitzenendlage SP mit dem Tastsystem 240, das in der Bearbeitungsmaschine 210 angeordnet ist und sich in der Referenzposition befindet.
In Schritt S2a erfasst die Bildaufnahmeeinheit 12 das Bild 300b-1 des Tastsystems 240, das in der Bearbeitungsmaschine 210 angeordnet ist und sich in der Referenzposition befindet, und des Schachbrettmusters 250.
In Schritt S3 führt die Kalibriereinheit 13b die gleiche Verarbeitung durch wie die Verarbeitung im Schritt S3 der ersten Ausführungsform, wobei Schritt S2 durch Schritt S2a ersetzt wird und das Bild 300-1 durch das Bild 300b-1 ersetzt wird. Die Kalibriereinheit 13b berechnet den internen Parameter K und die Lage Rc und die Positionslagebeziehung tc des Kamerakoordinatensystems Σc in Bezug auf das Schachbrettkoordinatensystem Σb.
In Schritt S4 führt die Kamerakalibrierungseinrichtung 100B die gleiche Verarbeitung wie die Verarbeitung die in Schritt S4 in der ersten Ausführungsform beschrieben ist, wobei das Bild 300-2 durch das Bild 300b-2 ersetzt wird und das Bild 300-3 durch das Bild 300b-3 ersetzt wird, um so die Bilder 300b-2 und 300b-3 aufzunehmen.
In Schritt S5 führt die Kalibriereinheit 13b die gleiche Verarbeitung durch wie die Verarbeitung die in Schritt S5 in der ersten Ausführungsform beschriebenen, wobei das Bild 300-1 durch das Bild 300b-1 ersetzt wird, das Bild 300-2 durch das Bild 300b-2 ersetzt wird und das Bild 300-3 durch das Bild 300b-3 ersetzt wird. Die Kalibriereinheit 13b berechnet die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm, um die berechnete Lage R im Speicherbereich der Kalibrierdaten 23 in der Speichereinheit 20 zu speichern.
In Schritt S6a verwendet die Kalibriereinheit 13b die Formeln (12), um aus den Maschinenkoordinaten (Xtm, Ytm, Ztm) der Spitzenendlage SP im Maschinenkoordinatensystem Σm, den Koordinaten (Xtc, Ytc, Ztc) im Kamerakoordinatensystem Σc der Spitzenendlage SP, die aus dem Bild 300a-1 erfassten wurde, und der Lage R die Positionslagebeziehung t des Kamerakoordinatensystems Σc zum Maschinenkoordinatensystem Σm zu berechnen.
Wie vorstehend beschrieben, erfasst die Kamerakalibrierungseinrichtung 100B in der dritten Ausführungsform die Maschinenkoordinaten der Spitzenendlage SP des in der Bearbeitungsmaschine 210 angeordneten Tastsystems 240 und das Bild 300b-1 des Schachbrettmusters 250, das in einer beliebigen Position des Tisches 220 in einer beliebigen Lage angeordnet ist, und des Tastsystems 240. Die Kamerakalibrierungseinrichtung 100B erfasst auch die Bilder 300b-2 und 300b-3 des Schachbrettmuster 250, wenn der Tisch 220 in jede der Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm bewegt wurde. Die Kamerakalibrierungseinrichtung 100B berechnet die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm basierend auf der Positionslagebeziehung zwischen einer Vielzahl von Merkmalspunkten auf den Schachbrettmuster 250 in den aufgenommenen drei Bildern 300b-1, 300b-2 und 300b-3. Die Kamerakalibrierungseinrichtung 100B berechnet aus den erfassten Maschinenkoordinaten (Xtm, Ytm, Ztm) der Spitzenendlage SP im Maschinenkoordinatensystem Σm und den Koordinaten (Xtc, Ytc, Ztc) im Kamerakoordinatensystem Σc der aus dem Bild 300b-1 erfassten Spitzenendlage SP auch die Positionslagebeziehung t des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm.
Auf diese Weise ordnet die Kamerakalibrierungseinrichtung 100B das Schachbrettmuster 250 in einer beliebigen Position des Tisches 220 in einer beliebigen Lage an, um auch in der Werkzeugmaschine, deren Freiheitgrade gering sind, das Verhältnis zwischen dem auf der Werkzeugmaschine eingestellten Maschinenkoordinatensystem Σm und dem in der Werkzeugmaschine installierten Kamerakoordinatensystem Σc der Kamera leicht kalibrieren zu können. In der Kamerakalibrierungseinrichtung 100B ist es nicht erforderlich, ein dediziertes Kalibrierinstrument in einer bestimmten Position zu installieren und eine Vorrichtung zur Installation des Kalibrierinstruments zu verwenden, so dass es möglich ist, die Aufwendungen für Betrieb und Einrichtung der Kamerakalibrierung zu reduzieren.
Die dritte Ausführungsform wurde oben beschrieben.
[Vierte Ausführungsform]
Eine vierte Ausführungsform wird im Folgenden beschrieben. Die vierte Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass die Werkzeugmaschine eine bewegliche Dreiachsenmaschine ist (im Maschinenkoordinatensystem Σm kann eine Spindel in Richtung Xm, Ym und Zm bewegt werden), wobei ein Tisch fest angeordnet ist und in dem nur eine Werkzeugspindel bewegt werden kann. Die vierte Ausführungsform unterscheidet sich auch dadurch von der ersten Ausführungsform, dass das Spitzenende des in einer Bearbeitungsmaschine angeordneten Tastsystems als Merkmalspunkt angenommen wird und dass zur Bestimmung der Lage R und der Positionslagebeziehung t zwischen dem Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc vier Bilder benötigt werden.
Auf diese Weise verwendet eine Kamerakalibrierungsvorrichtung 100C als zweite Stufe, wie später beschrieben wird, vier Bilder, die durch eine Aufnahme erhalten werden bis die lineare Achsenbewegungen der Werkzeugmaschine in zwei Richtungen fertig ist, um die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu bestimmen.
Die erste Stufe und die dritte Stufe in der vierten Ausführungsform sind identisch zu denen der ersten Ausführungsform, so dass und auf deren detaillierte Beschreibungen verzichtet wird.
Auf diese Weise kann die Kamerakalibrierungsvorrichtung 100C die Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der Kamera, die in der Werkzeugmaschine installierten ist, kalibrieren.
Die vierte Ausführungsform wird im Folgenden beschrieben.
ist eine schematische Darstellung, die ein Beispiel für die Kamerakalibrierungsvorrichtung gemäß der vierten Ausführungsform der vorliegenden Erfindung zeigt. In werden Elemente, die die gleichen Funktionen wie die Elemente der Kamerakalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform haben, mit den gleichen Referenzziffern identifiziert und auf deren detaillierte Beschreibungen wird verzichtet.
Die Kamerakalibrierungsvorrichtung 100C gemäß der vierten Ausführungsform hat die gleiche Konfiguration wie die Kamerakalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform.
Andererseits ist die Werkzeugmaschine 200 beispielsweise eine bewegliche Dreiachsenmaschine, die nur die Werkzeugspindel bewegen kann, und beinhaltet die Bearbeitungsmaschine 210a (Werkzeugspindelvorrichtung), einen Tisch 220c und die Kamera 230.
Die Bearbeitungsmaschine 210a ist beispielsweise eine Spindeleinheit und wird im Maschinenkoordinatensystem Σm basierend auf einem Befehl der numerischen Steuerung 150 in jede der Richtungen der Xm-Achse, der Ym-Achse und der Zm-Achse bewegt.
In der Bearbeitungsmaschine 210a ist das Tastsystem 240, das die Maschinenkoordinaten einer beliebigen Position in der Kamerakalibrierbearbeitung misst, am Spitzenende der Bearbeitungsmaschine 210a angeordnet. Es gibt keine Einschränkung dieser Konfiguration, und eine Laserlichtquelle oder dergleichen kann am Spitzenende der Bearbeitungsmaschine 210a angeordnet sein.
So ist beispielsweise der Tisch 220c so angeordnet, dass er an der Werkzeugmaschine 200 befestigt wird, und ein zu bearbeitendes Werkstück ist auf dessen Oberseite angeordnet.
Auf der Oberseite des Tisches 220c ist in der Kamerakalibrierungsverarbeitung das Schachbrettmuster 250 als Kalibrierinstrument in einer beliebigen Position in einer beliebigen Lage angeordnet. Es gibt keine Einschränkung dieser Konfiguration, und auf dem Tisch 220c kann ein Kalibriergerät mit einem Punktmuster oder dergleichen angeordnet werden. Das Prüfbrett 250 ist vorzugsweise auf dem Tisch 220c so angeordnet, dass das am Spitzenende der Bearbeitungsmaschine 210a angeordnete Tastsystem 240 bei der Kamerakalibrierungsbearbeitung eine beliebige Position auf dem Schachbrettmuster 250 berühren kann.
In der Kamerakalibrierungsvorrichtung 100C führt die Steuerung 10 zur Kalibrierung der Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem Σm und dem Kamerakoordinatensystem Σc der in der Maschine installierten Kamera das im Speicher 20 gespeicherte Programm für die Kamerakalibrierungsverarbeitung aus. Auf diese Weise fungiert die Steuereinheit 10 als Maschinenkoordinatenmesseinheit 11, Bildaufnahmeeinheit 12 und Kalibriereinheit 13c.
Die Maschinenkoordinatenmesseinheit 11 und die Bilderfassungseinheit 12 haben die gleichen Funktionen wie die Maschinenkoordinatenmesseinheit 11 und die Bilderfassungseinheit 12 in der ersten Ausführungsform.
Die Kalibriereinheit 13c hat die gleiche Funktion wie die Kalibriereinheit 13 in der ersten Ausführungsform. Wie vorstehend beschrieben, geht die Kalibriereinheit 13c jedoch davon aus, dass die Spitzenendlage SP des in der Bearbeitungsmaschine 210a angeordneten Tastsystems 240 ein Merkmalspunkt ist. Die Kalibriereinheit 13c unterscheidet sich daher von der Kalibriereinheit 13 in der ersten Ausführungsform dadurch, dass in der zweiten Stufe vier Bilder, die durch die Aufnahme in vier verschiedenen Positionen erhalten werden, verwendet werden, um die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu berechnen.
<Zweite Stufe>
Wie in dargestellt, erfasst die Bildaufnahmeeinheit 12 von der Kamera 230 die vier Bilder, wobei die Bildaufnahme das Tastsystems 240 der Bearbeitungsmaschine 210a einschließen, die durch die Aufnahme erhalten werden, wobei die Aufnahme die Referenzposition der Bearbeitungsmaschine 210a, die durch gestrichelte Linien gekennzeichneten eingezeichnet ist, und die drei Positionen, in denen die Bearbeitungsmaschine 210a bei konstanter Höhe, nämlich in Richtung der Zm-Achse im Maschinenkoordinatensystem Σm, auf der XmYm-Ebene bewegt wurde, enthalten.
ist eine schematische Abbildung, die ein Beispiel für den Betrieb der Bearbeitungsmaschine 210a in der Kamerakalibrierungsverarbeitung zeigt. In wird die in der Referenzposition befindliche Bearbeitungsmaschine 210a durch die gestrichelten Linien angezeigt. Die Bildaufnahmeeinheit 12 erfasst ein Bild 300c-2 des Tastsystems 240 in der Referenzposition, die durch die Aufnahme mit der Kamera 230 erhalten wird. Anschließend bewegt die Steuerung 10, wie in dargestellt, die in der Referenzposition vorhandene Bearbeitungsmaschine 210a in Richtung der Xm-Achse im Maschinenkoordinatensystem Σm in Bezug auf den Tisch 220c um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst ein Bild 300c-3 des Tastsystems 240, das durch die Aufnahme mit der Kamera 230 erhalten wird.
Ferner bewegt die Steuerung 10 die Bearbeitungsmaschine 210a von der aktuellen Position in Richtung der Ym-Achse um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst ein Bild 300c-4 des Tastsystems 240, das durch die Aufnahme mit der Kamera 230 erhalten wird. Anschließend bewegt die Steuerung 10 die Bearbeitungsmaschine 210a von der aktuellen Position in Richtung der Xm-Achse um den Betrag (-d) der Bewegung. Die Bildaufnahmeeinheit 12 erfasst ein Bild 300c-5 des Tastsystems 240, das durch die Aufnahme mit der Kamera 230 erhalten wird.
Wie in dargestellt, erfasst die Kalibriereinheit 13c, wie im Falle von , aus den durch die Aufnahme in den vier Positionen erhaltenen Bildern 300c-2, 300c-3, 300c-4 und 300c-5 die Koordinaten der Spitzenendlagen SP des Tastsystems 240 im Bildkoordinatensystem Σi.
ist eine schematische Zeichnung, die ein Beispiel für eine Positionslagebeziehung zwischen den Spitzenendlagen SP1 bis SP4 im Bildkoordinatensystem Σi zeigt, die aus den vier Bildern 300c-2, 300c-3, 300c-4 und 300c-5 gewonnen werden. Die Spitzenendlage SP1 zeigt die Pixelposition des Bildes 300c-2 an. Die Spitzenendlage SP2 zeigt die Pixelposition des Bildes 300c-3 an. Die Spitzenendlage SP3 zeigt die Pixelposition des Bildes 300c-4 an. Die Spitzenendlage SP4 zeigt die Pixelposition des Bildes 300c-5 an.
Eine gerade Linie zwischen der Spitzenendlage SP1 und der Spitzenendlage SP2 zeigt, wie im Falle von , die Richtung der Xm-Achse im Maschinenkoordinatensystem Σm an. Ebenso zeigt eine gerade Linie zwischen der Spitzenendlage SP3 und der Spitzenendlage SP4 die Richtung der Xm-Achse im Maschinenkoordinatensystem Σm an. Die vier Punkte der Spitzenendlagen SP1 bis SP4 sind ferner Pixel auf dem zweidimensionalen Bildkoordinatensystem Σi zuordenbar, und damit schneiden sich die Gerade zwischen der Spitzenendposition SP1 und der Spitzenendposition SP2 und die Gerade zwischen der Spitzenendposition SP3 und der Spitzenendposition SP4 an einem bestimmten Punkt, also einem Fluchtpunkt Vx. Somit kann die Kalibriereinheit 13c aus den Koordinaten der Spitzenendlagen SP1 bis SP4 im Bildkoordinatensystem Σi den Fluchtpunkt Vx in Richtung der Xm-Achse im Maschinenkoordinatensystem Σm berechnen.
Eine gerade Linie zwischen der Spitzenendlage SP1 und der Spitzenendlage SP4 zeigt, wie im Falle von , die Richtung der Ym-Achse im Maschinenkoordinatensystem Σm an. Ebenso zeigt eine gerade Linie zwischen der Spitzenendlage SP2 und der Spitzenendlage SP3 die Richtung der Ym-Achse im Maschinenkoordinatensystem Σm an. Die vier Punkte der Spitzenendlagen SP1 bis SP4 sind dann Pixel auf dem zweidimensionalen Bildkoordinatensystem Σi zuordenbar, und damit schneiden sich die Gerade zwischen der Spitzenendlage SP1 und der Spitzenendlage SP4 und die Gerade zwischen der Spitzenendlage SP2 und der Spitzenendlage SP3 an einem bestimmten Punkt, also einem Fluchtpunkt Vy. Somit kann die Kalibriereinheit 13c aus den Koordinaten der Spitzenendlagen SP1 bis SP4 im Bildkoordinatensystem Σi den Fluchtpunkt Vy in Richtung der Ym-Achse im Maschinenkoordinatensystem Σm berechnen.
Somit kann die Kalibriereinheit 13c aus den berechneten Fluchtpunkten Vx und Vy und dem internen Parameter K unter Verwendung der Formel (4) die Zeilenvektoren rx, ry und rz berechnen, die die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm abbilden.
Die Konfiguration der Kamerakalibrierungsvorrichtung 100C gemäß der vierten Ausführungsform wurde oben beschrieben.
Der Betrieb der Kamerakalibrierungsvorrichtung 100C wird ferner anhand eines Flussdiagramms in beschrieben.
ist ein Flussdiagramm, das ein Beispiel für die Kamerakalibrierungsverarbeitung in der Kamerakalibrierungsvorrichtung 100C gemäß der vierten Ausführungsform zeigt. Bei der in dargestellten Verarbeitung werden die gleichen Verarbeitungen wie bei den in dargestellten Schritten mit den gleichen Schrittnummern gekennzeichnet und auf deren detaillierte Beschreibungen wird verzichtet.
Die in dargestellte Verarbeitung erfolgt beispielsweise durch die Bedienung der Eingabevorrichtung der Kamerakalibrierungsvorrichtung 100C durch den Bediener oder dergleichen. Wenn die in dargestellte Verarbeitung durchgeführt wird, ordnet der Bediener oder dergleichen, wie in dargestellt, das Schachbrettmuster 250 in einer beliebigen Position des Tisches 220c in einer beliebigen Lage an.
In Schritt S1 führt die Maschinenkoordinaten-Messeinheit 11 die gleiche Verarbeitung wie in Schritt 1 der ersten Ausführungsform durch, um die Maschinenkoordinaten des Berührungspunktes TP im Maschinenkoordinatensystem Σm zu erfassen.
In Schritt S2 führt die Bildaufnahmeeinheit 12 die gleiche Verarbeitung wie in Schritt 2 der ersten Ausführungsform durch, um von der Kamera 230 das Bild 300-1 des Tastsystems 240 und des Schachbrettmusters 250 durch die Aufnahme mit der Kamera 230 zu erhalten.
In Schritt S3 führt die Kalibriereinheit 13c die gleiche Verarbeitung wie in Schritt 3 der ersten Ausführungsform durch, um nach einem bekannten Verfahren aus dem Bild 300-1 den internen Parameter K und die Lage Rc und die Positionslagebeziehung tc des Kamerakoordinatensystems Σc in Bezug auf das Schachbrettkoordinatensystem Σb zu berechnen.
In Schritt S4b bewegt die Steuerung 10, wie in dargestellt, die sich in der Referenzposition befindende Bearbeitungsmaschine 210a in jede der Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem Σm um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst die Bilder 300c-2, 300c-3, 300c-4 und 300c-5.
In Schritt S5b verwendet die Kalibriereinheit 13c die Koordinaten im Bildkoordinatensystem Σi der Spitzenendlagen SP1 bis SP4 in den erfassten vier Bildern 300c-2, 300c-3, 300c-4 und 300c-5, um die Fluchtpunkte Vx und Vy in Richtung Xm-Achse und Ym-Achse im Maschinenkoordinatensystem Σm zu berechnen. Die Kalibriereinheit 13c berechnet aus den berechneten Fluchtpunkten Vx und Vy und dem internen Parameter K unter Verwendung der Formel (4) die Lage R des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm.
In Schritt S6 führt die Kalibriereinheit 13c die gleiche Verarbeitung wie in Schritt S6 der ersten Ausführungsform durch, um die Positionslagebeziehung t des KameraKoordinatensystems Σc zum Maschinenkoordinatensystem Σm zu berechnen. Die Kalibriereinheit 13c speichert die berechnete Positionslagebeziehung t im Speicherbereich der Kalibrierdaten 23 in der Speichereinheit 20 ab.
Wie vorstehend beschrieben, erfasst die Kamerakalibrierungsvorrichtung 100C in der vierten Ausführungsform die Maschinenkoordinaten des vom Tastsystem 240, das in der Bearbeitungsmaschine 210a angeordnet ist, des auf dem Schachbrettmusters 250, das in einer beliebigen Position des Tisches 220c in einer beliebigen Lage angeordnet ist, berührten Berührungspunkts TP. Ferner erfasst die Kamerakalibrierungsvorrichtung 100C das Bild 300-1 des Tastsystems 240 und des Schachbrettmusters 250, wenn das Tastsystem 240 den Berührungspunkt TP berührt. Die Kamerakalibrierungsvorrichtung 100C erfasst auch die vier Bilder 300c-2, 300c-3, 300c-4 und 300c-5 des Tastsystems 240, wenn die Bearbeitungsmaschine 210a im Maschinenkoordinatensystem Σm in jede der Richtungen der Xm-Achse und der Ym-Achse bewegt wurde. Die Kamerakalibrierungsvorrichtung 100C verwendet die Koordinaten im Bildkoordinatensystem Σi des Berührungspunktes TP im erfassten Bild 300-1, die Koordinaten im Bildkoordinatensystem Σi der Spitzenendlagen SP in den erfassten vier Bildern 300c-2, 300c-3, 300c-4 und 300c-5 und die Maschinenkoordinaten des Berührungspunktes TP im Maschinenkoordinatensystem Σm, um über das Schachbrettkoordinatensystem Σb die Lage R und die Positionslagebeziehung t des Kamerakoordinatensystems Σc in Bezug auf das Maschinenkoordinatensystem Σm zu berechnen.
Auf diese Weise ordnet die Kamerakalibrierungsvorrichtung 100C das Schachbrettmuster 250 in einer beliebigen Position des Tisches 220c in einer beliebigen Lage an, um auch in der Werkzeugmaschine, deren Freiheitsgrade gering sind, die Beziehung zwischen dem auf der Werkzeugmaschine eingestellten Maschinenkoordinatensystem Σm und dem in der Werkzeugmaschine installierten Kamerakoordinatensystem Σc der Kamera leicht kalibrieren zu können. In der Kamerakalibrierungseinrichtung 100C ist es nicht erforderlich, ein dediziertes Kalibrierinstrument in einer bestimmten Position zu installieren und eine Vorrichtung zur Installation des Kalibrierinstruments zu verwenden, so dass es möglich ist, die Aufwendungen für Betrieb und Einrichtung der Kamerakalibrierung zu reduzieren.
Die vierte Ausführungsform wurde vorstehend beschrieben.
[Fünfte Ausführungsform]
Ferner wird eine fünfte Ausführungsform beschrieben. Die fünfte Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass die Werkzeugmaschine eine bewegliche Dreiachsenmaschine ist, in der ein Tisch fest angeordnet ist und in der nur eine Werkzeugspindel bewegt werden kann, und dass das Schachbrettmuster anstelle der Anordnung auf dem Tisch in einer, von der Kamera aus gesehen, beliebigen Position der Seitenfläche der Bearbeitungsmaschine in einer beliebigen Lage angeordnet ist.
Die fünfte Ausführungsform unterscheidet sich daher von der ersten Ausführungsform dadurch, dass eine Kamerakalibrierungsvorrichtung 100D in der ersten Stufe einen Punkt, dessen Maschinenkoordinaten bekannt sind und der die Spitzenendlage des Tastsystems 240 ist, erfasst wird und ein Bild erfasst wird, wobei durch das Bild die Spitzenendlage und des Schachbrettmuster 250 erfasst werden.
Die fünfte Ausführungsform unterscheidet sich auch dadurch von der ersten Ausführungsform, dass in der zweiten Stufe die zwei Richtungen in der Werkzeugmaschine die Richtungen der Ym-Achse und der Zm-Achse im Maschinenkoordinatensystem ∑m sind. Allerdings werden die Xm-Achse und die Ym-Achse im Maschinenkoordinatensystem ∑m in der ersten Ausführungsform durch die Ym-Achse und die Zm-Achse ersetzt. Auf diese Weise verwendet die Kamerakalibrierungsvorrichtung 100D, wie später beschrieben, wie in der ersten Ausführungsform, den einen Punkt, dessen Maschinenkoordinaten bekannt sind, ein Bild, das durch Abbildung des einen bekannten Punktes erhalten wird, und ein Bild, das durch Durchführung einer Bildgebung erhalten wird, wenn die Werkzeugmaschine lineare Achsenbewegungen in zwei Richtungen macht, um die Lage R des Kamerakoordinatensystems ∑c in Bezug auf das Maschinenkoordinatensystem ∑m zu bestimmen.
Darüber hinaus verwendet die Kamerakalibrierungsvorrichtung 100D als dritte Stufe, wie später beschrieben, den einen Punkt, dessen Maschinenkoordinaten bekannt sind, das Bild, das durch die Abbildung des einen bekannten Punktes erhalten wird, das Bild, das durch die Durchführung der Bildgebung erhalten wird, wenn die Werkzeugmaschine lineare Achsenbewegungen in zwei Richtungen macht, und die Lage R des Kamerakoordinatensystems ∑c in Bezug auf das Maschinenkoordinatensystem ∑m. Auf diese Weise kann die Kamerakalibrierungsvorrichtung 100D die Positionslagebeziehung t des Kamerakoordinatensystems ∑c zum Maschinenkoordinatensystem ∑m bestimmen.
Auf diese Weise kann die Kamerakalibrierungsvorrichtung 100D die Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem ∑m und dem Kamerakoordinatensystem ∑c der Kamera, die in der Werkzeugmaschine installierten ist, kalibrieren.
Wie vorstehend beschrieben, werden in der fünften Ausführungsform die Lage und die Position des Kamerakoordinatensystems ∑c in Bezug auf das Maschinenkoordinatensystem ∑m über das in dem Tisch eingestellte Tischkoordinatensystem ∑t berechnet.
Die fünfte Ausführungsform wird im Folgenden beschrieben.
ist eine schematische Abbildung, die ein Beispiel für die Kamerakalibrierungsvorrichtung gemäß der fünften Ausführungsform der vorliegenden Erfindung zeigt. In werden Elemente, die die gleichen Funktionen wie die Elemente der Kamerakalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform haben, mit den gleichen Referenzziffern identifiziert und auf deren detaillierte Beschreibungen wird verzichtet.
Die Kamerakalibrierungsvorrichtung 100D gemäß der fünften Ausführungsform hat die gleiche Konfiguration wie die Kamerakalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform.
Andererseits hat die Werkzeugmaschine 200 die gleiche Konfiguration wie die Werkzeugmaschine 200 gemäß der vierten Ausführungsform. So ist beispielsweise das Schachbrettmuster 250 in einer beliebigen Position der Seitenfläche der Bearbeitungsmaschine 210a, die von der Kamera 230 aus sichtbar ist, in einer beliebigen Haltung angeordnet. Auf diese Weise wird das Schachbrettkoordinatensystem ∑b auf die Seitenfläche der Bearbeitungsmaschine 210a gesetzt. Es gibt keine Einschränkung dieser Konfiguration, und auf der Bearbeitungsmaschine 210a kann ein Kalibrierinstrument mit einem Punktmuster oder dergleichen angeordnet werden.
In der Kamerakalibrierungsvorrichtung 100D führt die Steuereinheit 10 zur Kalibrierung der Beziehung zwischen dem auf der Maschine eingestellten Maschinenkoordinatensystem ∑m und dem Kamerakoordinatensystem ∑c der in der Maschine installierten Kamera das im Speicher 20 gespeicherte Programm für die Kamerakalibrierungsverarbeitung aus. Auf diese Weise fungiert die Steuereinheit 10 als Maschinenkoordinatenmesseinheit 11, Bildaufnahmeeinheit 12 und Kalibriereinheit 13d.
Die Maschinenkoordinatenmesseinheit 11 und die Bilderfassungseinheit 12 haben die gleichen Funktionen wie die Maschinenkoordinatenmesseinheit 11 und die Bilderfassungseinheit 12 in der ersten Ausführungsform.
<Erste Stufe>
Beispielsweise erfasst die Maschinenkoordinatenmesseinheit 11 die Maschinenkoordinaten der Spitzenendlage SP, die mit dem Tastsystem 240 der Bearbeitungsmaschine 210a, das sich in der Referenzposition befindet, detektiert werden. Die Bildaufnahmeeinheit 12 erfasst ein Bild 300d-1 des Tastsystems 240 und des Schachbrettmusters 250, wenn die Maschinenkoordinaten der Spitzenendlage SP erfasst werden.
<Zweite Stufe>
Bei der Kamerakalibrierungsverarbeitung, wie in dargestellt, bewegt die Steuerung 10 die in der Referenzposition vorhandene Bearbeitungsmaschine 210a in jede der Richtungen der Ym-Achse und der Zm-Achse im Maschinenkoordinatensystem ∑m um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst ein Bild 300d-2 und ein Bild 300d-3 des Schachbrettmusters 250 in der Bearbeitungsmaschine 210a, welches in die einzelnen Richtungen bewegt wurde.
ist eine schematische Abbildung, die ein Beispiel für den Betrieb der Bearbeitungsmaschine 210a in der Kamerakalibrierungsverarbeitung zeigt. In wird die in der Referenzposition befindliche Bearbeitungsmaschine 210a durch gestrichelte Linien dargestellt.
In dem Bild 300d-2 des in Richtung der Ym-Achse bewegten Schachbrettmusters 250 und dem in Richtung der Zm-Achse bewegten Bild 300d-3 des Schachbrettmusters 250 muss das Spitzenende des Tastsystems 240 nicht abgebildet werden.
Wie in der ersten Ausführungsform berechnet die Kalibriereinheit 13d basierend auf den Merkmalspunkten der Schachbrettmusters 250 in den Bildern 300d-1, 300d-2 und 300d-3 die Fluchtpunkte Vx und Vy in den einzelnen Richtungen der Xm-Achse und der Ym-Achse im Maschinenkoordinatensystem ∑m. Die Kalibriereinheit 13d kann aus den berechneten Fluchtpunkten Vx und Vy und dem internen Parameter K unter Verwendung der Formel (4) die Zeilenvektoren rx, ry und rz berechnen, die die Haltung R des Kamerakoordinatensystems ∑c in Bezug auf das Maschinenkoordinatensystem ∑m bilden.
<Dritte Stufe>
Anschließend erfasst die Kalibriereinheit 13d basierend auf den Maschinenkoordinaten (Xtm, Ytm, Ztm) im Maschinenkoordinatensystem ∑m der im ersten Schritt erfassten Spitzenendlage SP die Maschinenkoordinaten (Xtm, Ytm+d, Ztm) und (Xtm, Ytm, Ztm+d) der Spitzenendlagen SP, wenn die Bilder 300d-2 und 300d-3 durch Bildgebung erhalten werden. Wie im Falle von erfasst die Kalibriereinheit 13d aus den drei erfassten Bildern 300d-1, 300d-2 und 300d-3 auch die Koordinaten (xto, yto), (xt1, yt1) und (xt2, yt2) der Spitzenendlagen SP im Bildkoordinatensystem ∑i. Hier zeigt (xto, yto) die Koordinaten der Spitzenendlage SP im Bild 300d-1 an. Außerdem zeigt (xt1, yt1) die Koordinaten der Spitzenendlage SP im Bild 300d-1 an. Außerdem zeigt (xt2, yt2) die Koordinaten der Spitzenendlage SP im Bild 300d-3 an.
Anschließend ordnet die Kalibriereinheit 13d, wie in Formel (13) angegeben, die Maschinenkoordinaten (Xtm, Ytm, Ztm), (Xtm, Ytm+d, Ztm) und (Xtm, Ytm, Ztm+d) den einzelnen Spitzenendlagen im Maschinenkoordinatensystem ∑m den Koordinaten (xto, yto), (xt1, yt1) und (xt2, yt2) der Spitzenendlagen SP im Bildkoordinatensystem ∑i zu. Die Kalibriereinheit 13d löst die Formel (13) und kann dadurch die Positionslagebeziehung t des Kamerakoordinatensystems ∑c zum Maschinenkoordinatensystem ∑m berechnen.
[Mathe. 11] $\begin{matrix} α K^{- 1} (\begin{matrix} x_{t 0} \\ y_{t 0} \\ 1 \end{matrix}) = R (\begin{matrix} X_{t m} \\ Y_{t m} \\ Z_{t m} \end{matrix}) + t \\ β K^{- 1} (\begin{matrix} x_{t 1} \\ y_{t 1} \\ 1 \end{matrix}) = R (\begin{matrix} X_{t m} \\ Y_{t m} + d \\ Z_{t m} \end{matrix}) + t \\ γ K^{- 1} (\begin{matrix} x_{t 2} \\ y_{t 2} \\ 1 \end{matrix}) = R (\begin{matrix} X_{t m} \\ Y_{t m} \\ Z_{t m} + d \end{matrix}) + t \end{matrix}$
Auf diese Weise kann die Kamerakalibrierungsvorrichtung 100D als dritte Stufe die Positionslagebeziehung t des Kamerakoordinatensystems ∑c zum Maschinenkoordinatensystem ∑m bestimmen.
Die Konfiguration der Kamerakalibrierungsvorrichtung 100D gemäß der fünften Ausführungsform wurde oben beschrieben.
Die Funktionsweise der Kamerakalibrierungsvorrichtung 100D wird ferner anhand eines Flussdiagramms in beschrieben.
ist ein Flussdiagramm, das ein Beispiel für die Kamerakalibrierungsverarbeitung in der Kamerakalibrierungsvorrichtung 100D gemäß der fünften Ausführungsform zeigt. Bei der in dargestellten Verarbeitung werden die gleichen Verarbeitungen wie bei den in dargestellten Schritten mit den gleichen Schrittnummern gekennzeichnet und auf deren detaillierte Beschreibungen wird verzichtet.
Die in dargestellte Verarbeitung erfolgt beispielsweise durch die Bedienung der Eingabevorrichtung der Kamerakalibrierungsvorrichtung 100D durch den Bediener oder dergleichen. Wenn die in dargestellte Bearbeitung durchgeführt wird, ordnet der Bediener oder dergleichen, wie in dargestellt, das Schachbrettmuster 250 in einer beliebigen Position der Seitenfläche der Bearbeitungsmaschine 210a in einer beliebigen Lage an.
In Schritt S1c erfasst die Maschinenkoordinatenmesseinheit 11 die Maschinenkoordinaten der Spitzenendlage SP, die mit dem Tastsystem 240 der Bearbeitungsmaschine 210a, das sich in der Referenzposition befindet, erfasst werden.
In Schritt S2c erfasst die Bildaufnahmeeinheit 12 das Bild 300d-1 des Tastsystems 240 und das Schachbrettmuster 250, das durch die Durchführung der Bildgebung erhalten wird, wenn die Maschinenkoordinaten der Spitzenendlage SP erfasst werden.
In Schritt S3 führt die Kalibriereinheit 13d die gleiche Verarbeitung durch wie in Schritt 3 der ersten Ausführungsform, um beispielsweise nach dem Verfahren von Tsai aus dem in Schritt S2 aufgenommenen Bild 300d-1, dem internen Parameter K und der Lage Rc und der Positionslagebeziehung tc des Kamerakoordinatensystems ∑c in Bezug auf das Schachbrettkoordinatensystem ∑b zu berechnen.
In Schritt S4c, wie in dargestellt, bewegt die Steuerung 10 die in der Referenzposition befindliche Bearbeitungsmaschine 210a in Richtung der Ym-Achse um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst das Bild 300d-2 des Schachbrettmusters 250, das bewegt wurde. Ferner bewegt die Steuerung 10 die sich in der Referenzposition befindende Bearbeitungsmaschine 210a in Richtung der Zm-Achse um den Betrag d der Bewegung. Die Bildaufnahmeeinheit 12 erfasst das Bild 300d-3 der Schachbrettmusters 250, das bewegt wurde.
In Schritt S5 führt die Kalibriereinheit 13d die gleiche Verarbeitung durch wie die Verarbeitung, die durch das Ersetzen der Xm-Achse durch die Ym-Achse und das Ersetzen der Ym-Achse durch die Zm-Achse bei der in Schritt S4 in der ersten Ausführungsform beschriebenen Verarbeitung erhalten wird. Die Kalibriereinheit 13d berechnet die Lage R des Kamerakoordinatensystems ∑c in Bezug auf das Maschinenkoordinatensystem ∑m.
In Schritt S6c berechnet die Kalibriereinheit 13d aus den Maschinenkoordinaten (Xtm, Ytm, Ztm), (Xtm, Ytm+d, Ztm) und (Xtm, Ytm, Ztm+d) der Spitzenendlagen SP im Maschinenkoordinatensystem ∑m und den Koordinaten (xto, yto), (xt1, yt1) und (xt2, yt2) der Spitzenendlagen SP im Bildkoordinatensystem ∑i, unter Verwendung der Formel (13) die Positionslagebeziehung t des Kamerakoordinatensystems ∑c zum Maschinenkoordinatensystem ∑m.
Wie vorstehend beschrieben, erfasst die Kamerakalibrierungsvorrichtung 100D in der fünften Ausführungsform die Maschinenkoordinaten der Spitzenendlage SP, die mit dem in der Referenzposition befindlichen Tastsystem 240 der Bearbeitungsmaschine 210a detektiert werden, und das Bild 300d-1 des Tastsystems 240 und des Schachbrettmusters 250. Die Kamerakalibrierungsvorrichtung 100D erfasst ferner die Bilder 300d-2 und 300d-3 des Tastsystems 240 und des Schachbrettmusters 250 auf der Bearbeitungsmaschine 210a, die in jede der Richtungen der Ym-Achse und der Zm-Achse bewegt wurde. Die Kamerakalibrierungsvorrichtung 100D verwendet die erfassten drei Bilder 300d-1, 300d-2 und 300d-3 und die Maschinenkoordinaten der Spitzenendlagen SP im Maschinenkoordinatensystem ∑m, um die Lage R und die Positionslagebeziehung t des Kamerakoordinatensystems ∑c zum Maschinenkoordinatensystem ∑m zu berechnen.
Auf diese Weise ordnet die Kamerakalibrierungsvorrichtung 100D das Schachbrett 250 in einer beliebigen Position auf der Seitenfläche der Bearbeitungsmaschine 210a in einer beliebigen Lage an, um auch in der Werkzeugmaschine, deren Freiheitsgrade gering sind, die Beziehung zwischen dem auf der Werkzeugmaschine eingestellten Maschinenkoordinatensystem ∑m und dem in der Werkzeugmaschine installierten Kamerakoordinatensystem ∑c der Kamera leicht kalibrieren zu können. In der Kamerakalibrierungseinrichtung 100D ist es nicht erforderlich, ein dediziertes Kalibrierinstrument in einer bestimmten Position zu installieren und eine Vorrichtung zur Installation des Kalibrierinstruments zu verwenden, so dass es möglich ist, die Aufwendungen für Betrieb und Einrichtung der Kamerakalibrierung zu reduzieren.
Die fünfte Ausführungsform wurde vorstehend beschrieben.
[Variation der fünften Ausführungsform]
Obwohl in der Kamerakalibrierungsvorrichtung 100D gemäß der fünften Ausführungsform das Schachbrettmuster 250 auf der Seitenfläche der Bearbeitungsmaschine 210a angeordnet ist, gibt es keine Einschränkung auf diese Konfiguration. So kann beispielsweise als Variation der fünften Ausführungsform das Schachbrettmuster 250 in einer Position angeordnet werden, an der ein Werkzeug für die Bearbeitungsmaschine 210a befestigt ist.
In diesem Fall geht die Kamerakalibrierungsvorrichtung 100D davon aus, dass die Maschinenkoordinaten des einen Punktes (Schnittpunkt zwischen einer Werkzeugspindellinie und der XbYb-Ebene des Schachbrettkoordinatensystems ∑b) auf der Schachbrettmuster 250 bekannt sind, um die Lage der XbYb-Ebene des Schachbrettmusters 250 zu berechnen.
Obwohl die ersten bis fünften Ausführungsformen der vorliegenden Erfindung beschrieben wurden, ist die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt. Die in den oben beschriebenen Ausführungsformen beschriebenen Effekte sind lediglich eine Auflistung der bevorzugten Effekte, die sich aus der vorliegenden Erfindung ergeben, und die Auswirkungen der vorliegenden Erfindung sind nicht auf die in den Ausführungsformen beschriebenen Effekte beschränkt.
<Flexibilität der Systemkonfiguration>
Obwohl in der Beschreibung der oben beschriebenen Ausführungsformen der Fall dargestellt ist, in dem die Kamerakalibrierungsvorrichtung 100 unabhängig von der numerischen Steuerung 150 angeordnet ist, gibt es keine Einschränkung auf diesen Fall. Die Kamerakalibrierungsvorrichtung 100 kann ein verteiltes Verarbeitungssystem sein, in dem die Funktionen der Kamerakalibrierungsvorrichtung 100 auf eine Vielzahl von Server verteilt sind, falls erforderlich. Durch die Nutzung einer virtuellen Serverfunktion und dergleichen in einer Cloud können die einzelnen Funktionen der Kamerakalibrierungsvorrichtung 100 realisiert werden. Die numerische Steuerung 150 kann die Funktionen eines Teils der Kamerakalibrierungsvorrichtung 100 aufweisen.
[Variante 1 der Ausführungsformen]
Obwohl in den ersten bis vierten Ausführungsformen die Kamera 230 in der festen Position innerhalb der Werkzeugmaschine 200 angeordnet ist, die sich von der Bearbeitungsmaschine 210 (210a) unterscheidet, gibt es keine Einschränkung dieser Konfiguration. So kann beispielsweise die Kamera 230 in der Bearbeitungsmaschine 210 (210a) angeordnet sein. In diesem Fall ist die Kamera 230 vorzugsweise in der Position der Bearbeitungsmaschine 210 (210a) angeordnet, in der die Kamera 230 das Spitzenende des Tastsystems 240 zusammen mit dem Tisch 220 und dem Schachbrett 250 abbilden kann.
Auf diese Weise bildet die Kamera 230 das Schachbrett 250 aus der Richtung der Zm-Achse ab, und somit kann die Kamerakalibriervorrichtung 100 (100C) eine Vielzahl von Merkmalspunkten im Schachbrett 250 hochgenau berechnen.
[Variante 2 der Ausführungsformen]
Obwohl die Kamerakalibriervorrichtung 100 (100B, 100C, 100D) in der ersten und dritten bis fünften Ausführungsform den internen Parameter und die Lage Rc und die Positionslagebeziehung tc des Kamerakoordinatensystems ∑c in Bezug auf das Schachbrettkoordinatensystem ∑b berechnet, gibt es keine Einschränkung dieser Konfiguration. Vor der Kamerakalibrierung kann die Kamerakalibriervorrichtung 100 (100B, 100C, 100D) nach einem bekannten Verfahren aus Bildern des Schachbrettmusters oder ähnlichen Mustern, das Muster ist auf dem Tisch 220 angeordnet, oder der Bearbeitungsmaschine 210a den internen Parameter K und die Lage Rc und die Positionslagebeziehung tc des Kamerakoordinatensystems ∑c in Bezug auf das Schachbrettmassensystem ∑b berechnen.
Auf diese Weise kann die Kamerakalibriervorrichtung 100 (100B, 100C, 100D) die Verarbeitungszeit der Kamerakalibrierungsverarbeitung reduzieren.
Bezugszeichenliste

10: Steuereinheit
20: Speichereinheit
11: Maschinenkoordinatenmesseinheit
12: Bildaufnahmeeinheit
13: Kalibrierungseinheit
100: Kamerakalibrierungsvorrichtung
150: numerische Steuereinheit
200: Werkzeugmaschine

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Moreno-Noguer et al., „Accurate Non-Iterative O(n) Solution to the PnP Problem“, Proceedings of the IEEE International Conference on Computer Vision (ICCV), Oct. 2007) [0046]

Claims

Eine Kamerakalibrierungsvorrichtung (100), die ein Abbildungsmittel (230), welches in einer Werkzeugmaschine (200) aufgenommen ist, kalibriert, wobei die Werkzeugmaschine (200) umfasst: ein Erfassungsmittel (11), das einen Punkt erfasst, wobei Maschinenkoordinaten des einen Punkts bekannt sind; das Abbildungsmittel (230), das den einen Punkt, dessen Maschinenkoordinaten bekannt sind, und ein Muster, das ein zur Kalibrierung verwendetes Merkmal enthält, abbildet; und einen Antriebsmechanismus, der einen Tisch (220) oder eine Spindel (210) in zwei orthogonalen Richtungen in einem Maschinenkoordinatensystem linear bewegt, und ein Bild (300-1), das dadurch erhalten wird, dass der eine Punkte, dessen Maschinenkoordinaten bekannt sind, und das Muster, welches das zur Kalibrierung verwendete Merkmal enthält, abgebildet wird, und Bilder (300-2, 300-3), die dadurch erhalten werden, dass das Muster, welches das zur Kalibrierung verwendete Merkmal enthält, oder / und der eine Punkt, dessen Maschinenkoordinaten (∑ m) bekannt sind, abgebildet werden, wenn der Antriebsmechanismus den Tisch (220) oder die Spindel (210) in zwei orthogonalen Richtungen in dem Maschinenkoordinatensystem (∑ m) linear bewegt, wobei die Bilder verwendet werden um eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem (∑ m) und dem Muster, welches das zur Kalibrierung verwendete Merkmal enthält, zu berechnen so dass ein äußerer Parameter berechnet wird, wobei der äußere Parameter eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem (∑ m) und einem Kamerakoordinatensystem (∑ c) beinhaltet.
Kamerakalibrierungsvorrichtung nach Anspruch 1, wobei das Muster, welches das zur Kalibrierung verwendete Merkmal enthält, ein Kalibrierungsinstrument (250), das in Bezug auf das Maschinenkoordinatensystem (∑ m) in einer beliebigen Positionslagebeziehung angeordnet ist, ein Schachbrettmuster oder ein Punktmuster enthält.
Kamerakalibrierungsvorrichtung nach Anspruch 1, wobei das Muster, welches das zur Kalibrierung verwendete Merkmal enthält, ein Kratzer, ein Eckpunkt oder ein Muster auf dem Tisch (220) enthält.
Kamerakalibrierungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei, wenn eine mit einem Muster gebildete Ebene, wobei das Muster eine Vielzahl von zur Kalibrierung verwendeten Merkmalen enthält, parallel zum Maschinenkoordinatensystem (Σ m) ist, wird der äußere Parameter der Abbildungseinrichtung (230) dadurch berechnet, dass der Antriebsmechanismus in eine Richtung bewegt wird.
Ein Kamerakalibrierungsverfahren, welches durch einen Computer ausgeführt wird und welches ein Abbildungsmittel (230), das in einer Werkzeugmaschine (200) aufgenommen ist, kalibriert, wobei die Werkzeugmaschine (200) umfasst: ein Erfassungsmittel (11), das einen Punkt erfasst, wobei Maschinenkoordinaten des einen Punkts bekannt sind; das Abbildungsmittel (230), das den einen Punkt, dessen Maschinenkoordinaten bekannt sind, und ein Muster, das ein zur Kalibrierung verwendetes Merkmal enthält, abbildet; und einen Antriebsmechanismus, der einen Tisch (220) oder eine Spindel (210) in zwei orthogonalen Richtungen in einem Maschinenkoordinatensystem linear bewegt, und ein Bild (300-1), das dadurch erhalten wird, dass der eine Punkte, dessen Maschinenkoordinaten bekannt sind, und das Muster, welches das zur Kalibrierung verwendete Merkmal enthält, abgebildet wird, und Bilder (300-2, 300-3), die dadurch erhalten werden, dass das Muster, welches das zur Kalibrierung verwendete Merkmal enthält, oder / und der eine Punkt, dessen Maschinenkoordinaten (∑ m) bekannt sind, abgebildet werden, wenn der Antriebsmechanismus den Tisch (220) oder die Spindel (210) in zwei orthogonalen Richtungen in dem Maschinenkoordinatensystem (∑ m) linear bewegt, wobei die Bilder verwendet werden um eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem (∑ m) und dem Muster, welches das zur Kalibrierung verwendete Merkmal enthält, zu berechnen so dass ein äußerer Parameter berechnet wird, wobei der äußere Parameter eine Positionslagebeziehung zwischen dem Maschinenkoordinatensystem (∑ m) und einem Kamerakoordinatensystem (∑ c) beinhaltet.