DE69637413T2 - Kompositdetektionssystem for robot - Google Patents

Kompositdetektionssystem for robot

Info

Publication number
DE69637413T2
DE69637413T2 DE1996637413 DE69637413T DE69637413T2 DE 69637413 T2 DE69637413 T2 DE 69637413T2 DE 1996637413 DE1996637413 DE 1996637413 DE 69637413 T DE69637413 T DE 69637413T DE 69637413 T2 DE69637413 T2 DE 69637413T2
Authority
DE
Grant status
Grant
Patent type
Prior art keywords
sensor
position
robot
means
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE1996637413
Other languages
German (de)
Other versions
DE69637413D1 (en )
Inventor
Takashi Jyumonji
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36427Jog feed to a command position, if close enough robot takes over positioning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39391Visual servoing, track end effector with camera image feedback
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40607Fixed camera to observe workspace, object, workpiece, global
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40613Camera, laser scanner on end effector, hand eye manipulator, local
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45123Electrogoniometer, neuronavigator, medical robot used by surgeon to operate

Description

  • Die Erfindung betrifft ein Mehrfachsensor-Robotersystem, das zur Fabrik-Automation eingesetzt werden kann, und insbesondere eine Kombination von einem Roboter und einem Mehrfachsensor. The invention relates to a multiple-sensor robot system can be used for factory automation, and more particularly to a combination of a robot and a multiple sensor.
  • Bei Zusammensetz- und Bearbeitungsschritten an Produktionsstrecken ist es allgemein üblich, dass die Position und Gestalt verschiedener Objekte jeweils durch unterschiedliche Sensorarten ermittelt werden. In Zusammensetz- and processing steps on production lines, it is common that the position and shape of various objects are determined in each case by different types of sensors. In der Regel misst ein Sensor zum Aufnehmen eines zweidimensionalen Bildes (z. B. ein visueller Sensor, der eine CCD-Kamera einsetzt) die allgemeine Position des Objekts. In general, a sensor for capturing a two dimensional image measures (z. B. a visual sensor employing a CCD camera) the general location of the object. Andererseits misst ein Lasersensor die Position und Gestalt von einem örtlich eingeschränkten Abschnitt des Objekts. On the other hand, a laser sensor measures the position and shape of a locally limited portion of the object.
  • Ein Lasersensor lässt sich leicht am Armende eines Roboters anbringen. A laser sensor is easy to mount on the end of the arm of a robot. Wird die Ausgabe des Lasersensors in die Robotersteuerung übermittelt, können die Position und die Gestalt von einem örtlich eingeschränkten Abschnitt des Objekts detailliert und akkurat in Echtzeit gemessen werden, indem ein Laserstrahl von einer nahe gelegenen Position auf das Objekt projiziert wird. The output of the laser sensor transmitted to the robot controller, the position and the shape of a locally limited portion of the object in detail and accurately can be measured in real time by a laser beam from a nearby position is projected onto the object. Die Messdaten können zudem zur Korrektur der Roboterposition verwendet werden. Measurement data can also be used to correct the robot position.
  • Deshalb ist ein Robotersystem mit einem Lasersensor auf dem Gebiet der Bogenschweißroboter, Versiegelungsroboter, Messroboter usw. sehr populär. Therefore, a robot system with a laser sensor in the field of arc welding robots, sealing robots, measuring robots, etc. is very popular.
  • Lasersensoren werden in zwei große Typen eingeteilt: einen Punktlichtprojektionstyp und einen Lichtschnittprojektionstyp. Laser sensors are divided into two major types: a point light projection type and a light-projecting type. Bei diesen beiden Typen müssen ein Punktlicht bzw. ein Lichtschnitt akkurat auf die Oberfläche eines Objekts projiziert werden. In these two types, a spot light or a light section to be accurately projected onto the surface of an object. Solange das Objekt sich mit einem gewissen Grad der Genauigkeit an einer festen Position befindet, lässt sich dieser Zustand, nämlich dass ein Punktstrahl oder Lichtschnitt auf das Objekt projiziert wird, leicht erzielen, indem zuvor eine nahe gelegene Position der festen Position als Annäherungsposition in den Roboter eingelernt wird. As long as the object is located with a certain degree of accuracy at a fixed position, can be this condition, namely that a spot beam or slit light is projected onto the object easily achieve by previously a nearby position of the fixed position as approach position to the robot is taught.
  • Je nach der Anwendung ist aber möglicherweise die Position des Objekts oft unpräzise oder nicht sehr verlässlich. Depending on the application but the position of the object may often imprecise or not very reliable. Dann muss nach dem Objekt gesucht werden, indem ein Punktlicht- oder Lichtschnittstrahl des Lasersensors als Sonde verwendet wird, wobei der Roboter entlang eines geeigneten eingelernten Pfades bewegt wird. Then must be sought by a point light or slit light beam of the laser sensor is used as the probe, the robot along a suitable taught path is moved to the object. Wenn das Objekt nicht gefunden werden kann, kann die Hauptmessung (z. B. die Gestaltsmessung) mit dem Lasersensor nicht gestartet werden. If the object can not be found, the main measurement (eg. As the shape measurement) can not be started with the laser sensor.
  • Weil der Lasersensor an sich für die Messung eines großen Bereichs ungeeignet ist, sind die Suche nach dem Objekt und die anschließende Annäherung an das Objekt zeitraubend. Because the laser sensor is unsuitable for the measurement of a wide range per se, the search for the object and the subsequent approach to the object are time-consuming. In einigen Fällen ist eine zuverlässige Suche selbst schwierig. In some cases, a reliable search itself is difficult. Sogar wenn das Objekt erfolgreich gefunden werden kann, kann dies möglicherweise nicht für eine direkte Korrektur der Roboterposition genutzt werden. Even if the object can be successfully found, this may not be used for direct correction of the robot position. Zum Beispiel ist es nicht immer einfach, eine Position und eine Richtung (z. B. die Position von dem Anfang der Schweißstrecke und die Verlängerungsrichtung), die je nach der Haltung des Objekts vorgegeben ist, anhand der Laserausgabe auseinander zu halten, die für das Objekt in einer unbekannten Haltung erhalten wird. For example, it is not always easy to keep a position and a direction (z. B. the position of the start of the welding line and the extension direction), which is determined depending on the attitude of the subject, based on the laser output apart, for object is obtained in an unknown position.
  • Ein Beispiel für ein Mehrfachsensor-Robotersystem mit den Merkmalen der Präambel von Anspruch 1 ist in An example of a multiple-sensor robot system having the features of the preamble of claim 1 is in JP UM 52666/1993 JP UM 52666/1993 zu finden. to find.
  • Eine Aufgabe der Erfindung ist die Bereitstellung eines Mehrfachsensor-Robotersystems, das mit der Messung eines Objekts beginnen kann, wobei der Roboter sich schnell an das Objekt annähern kann, obwohl die Position und die Haltung des Objekts zu Beginn unbekannt sind. An object of the invention is to provide a multiple-sensor robot system capable of starting the measurement of an object, the robot may approach quickly to the object, although the position and the attitude of the object are initially unknown.
  • Eine weitere Aufgabe der Erfindung ist eine bessere Zuverlässigkeit bei der Durchführung verschiedener Arbeitsschritte unter Verwendung eines Roboters und eine Verringerung der Zyklusdauer. Another object of the invention is to improve reliability in performing various operations using a robot and a reduction in cycle time.
  • Erfindungsgemäß wird ein Mehrfachsensor-Robotersystem mit den in Anspruch 1 dargelegten Merkmalen bereitgestellt. According to the invention, a multiple-sensor robot system is provided with the set forth in claim 1.
  • Vorzugsweise haben die Einrichtung zur Verarbeitung des Bildsignals, das von der ersten Sensoreinrichtung erhalten wird, und die Einrichtung zum Verarbeiten des Messausgabesignals von der zweiten Sensoreinrichtung die Form eines gemeinsamen Bildprozessors. Preferably, the means for processing is obtained from the first sensor means of the image signal, and the means for processing the measurement output signal from said second sensor means in the form of a common image processor.
  • Die Verarbeitung zum Ermitteln der Position von dem Objekt aus dem Ausgabesignal der zweiten Sensoreinrichtung beinhaltet vorzugsweise eine Verarbeitung, bei der das Ausmaß der Abweichung von einer Bezugsposition des Objekts erhalten wird. The processing for determining the position of the object from the output signal of the second sensor means preferably includes a processing in which the amount of deviation is obtained from a reference position of the object. Die Annäherungsposition wird bestimmt als eine Position, die durch Korrigieren einer eingelernten Annäherungsposition anhand des erhaltenen Ausmaßes der Abweichung erhalten wird. The approach position is determined which is obtained by correcting a taught approach position based on the obtained degree of the deviation than a position.
  • Bei einer modifizierten Ausführungsform der Erfindung enthält das Mehrfachsensor-Robotersystem eine Bildanzeigeeinrichtung zum Anzeigen des zweidimensionalen Bildes, das durch die erste Sensoreinrichtung erhalten wird, und eine Einrichtung zum Eingeben der Annäherungsposition auf dem zweidimensionalen Bild, das von der Bildanzeigeeinrichtung angezeigt wird. In a modified embodiment of the invention, the multiple-sensor robot system includes image display means for displaying the two-dimensional image, which is obtained by said first sensor means, and means for inputting the approach position on the two-dimensional image which is displayed by the image display device. Bei dieser Ausführungsform kann ein Bediener die Annäherungsposition auf dem zweidimensionalen Bild kennzeichnen, das von der Bildanzeigeeinrichtung angezeigt wird. In this embodiment, an operator can the approach position on the two-dimensional image feature that is displayed by the image display device.
  • Gemäß einem Merkmal der Erfindung wird mit einem Roboter ein Mehrfachsensor kombiniert, wobei der Nachteil des zweiten Sensors (z. B. des Lasersensors), der eine Position und Haltung des Objekts in einem vergleichsweise großen Bereich nur schlecht suchen und ermitteln kann, kompensiert wird durch eine Fähigkeit des ersten Sensors (z. B. eines zweidimensionalen visuellen Sensors, der eine CCD-Kamera verwendet. According to a feature of the invention, a multiple sensor is combined with a robot, wherein the disadvantage of the second sensor (z. B. of the laser sensor) capable of searching for a position and attitude of the object in a relatively large area, only bad and thereby is compensated by an ability of the first sensor (z. B. a two-dimensional visual sensor using a CCD camera.
  • Also kann die Zeit, die bis zum Starten der Messung in einem vergleichsweise kleinen Bereich durch den zweiten Sensor benötigt wird, sogar dann verringert werden, wenn man nicht die genaue Position und Haltung von einem Objekt kennt, das gemessen werden soll. So can be even reduced the time taken to start the measurement required in a relatively small area by the second sensor, if one does not know the exact position and attitude of an object to be measured. Indem ein Bildprozessor verwendet wird, der als Verarbeitungseinrichtung für die Verarbeitung des von der ersten Sensoreinrichtung erhaltenen Bildsignals und zudem als Verarbeitungseinrichtung zum Verarbeiten des Messausgabesignals von der zweiten Sensoreinrichtung dient, und indem der erste Sensor und der zweite Sensor ein Element gemeinsam haben, können die Anzahl der Hardware-Komponenten und die Produktionskosten gesenkt werden. By an image processor is used, by having an element common to the first sensor and the second sensor as a processing device for processing received from the first sensor means image signal and also serves as a processing means for processing the measurement output signal from the second sensor means, and can the number the hardware components and production costs.
  • Kurze Beschreibung der Zeichnungen Brief Description of Drawings
  • Es zeigt: It shows:
  • 1 1 ein Diagramm der allgemeinen Anordnung von einem Mehrfachsensor-Robotersystem nach einer Ausführungsform I, das zudem ein Beispiel für eine Messung unter Verwendung des Robotersystems darstellt; a diagram of the general arrangement of a multiple-sensor robot system according to an embodiment I, which also represents an example of measurement using the robot system;
  • 3 3 ein Diagramm von der allgemeinen Struktur eines Lasersensors für die Verwendung bei der Ausführungsform I; a diagram of the general structure of a laser sensor for use in the embodiment I;
  • 3 3 ein Diagramm, das ein Verfahren zum Messen einer dreidimensionalen Position von einem Punktstrahl-Reflexionspunkt durch den in a diagram showing a method for measuring a three-dimensional position of a spot beam reflecting point by the in 2 2 dargestellten Lasersensor veranschaulicht; Laser sensor shown illustrated;
  • 4 4 ein Blockdiagramm einer Anordnung von einem Bildprozessor für die Verwendung bei den Ausführungsformen I und II und der Beziehung zu den zugehörigen Elementen; a block diagram of an arrangement of an image processor for use in the embodiments I and II, and the relationship to the associated elements;
  • 5 5 ein Fließdiagramm von einem Verfahren, das in einer Robotersteuerung ausgeführt werden soll, für die Durchführung der Schrittverteilungsmessung mit der in a flow diagram of a process to be executed in a robot controller for performing a step distribution measurement with the in 1 1 gezeigten Anordnung; Arrangement shown;
  • 6 6 ein Fließdiagramm von einem Verfahren, das in einem Bildprozessor ausgeführt werden soll, zur Durchführung der Schrittverteilungsmessung mit der in a flow diagram of a process to be executed in an image processor for performing a step distribution measurement with the in 1 1 gezeigten Anordnung; Arrangement shown;
  • 7 7 ein Diagramm der allgemeinen Anordnung von einem Mehrfachsensor-Robotersystem nach einer erfindungsgemäßen Ausführungsform II und ein Beispiel für eine Messung unter Verwendung des Robotersystems; a diagram of the general arrangement of a multiple-sensor robot system according to an embodiment of the invention II and an example of measurement using the robot system;
  • 8 8th ein Diagramm der Struktur und des Messprinzips von einem Lichtschnittprojektions-Lasersensor; a diagram of the structure and the principle of measurement by a slit light projecting-type laser sensor;
  • 9 9 ein Fließdiagramm von einem Verfahren, das in einer Robotersteuerung ausgeführt werden soll, für die Durchführung der Schrittverteilungsmessung mit der in a flow diagram of a process to be executed in a robot controller for performing a step distribution measurement with the in 7 7 gezeigten Anordnung; Arrangement shown;
  • 10 10 ein Fließdiagramm von einem Verfahren, das in einem Bildprozessor ausgeführt werden soll, zur Durchführung der Schrittverteilungsmessung mit der in a flow diagram of a process to be executed in an image processor for performing a step distribution measurement with the in 7 7 gezeigten Anordnung; Arrangement shown;
  • 11 11 ein Diagramm der allgemeinen Anordnung von einem Mehrfachsensor-Robotersystem nach einer Ausführungsform III und ein Beispiel für eine Messung unter Verwendung des Robotersystems; a diagram of the general arrangement of a multiple-sensor robot system according to an embodiment III and an example of measurement using the robot system; und and
  • 12 12 ein Fließschema von dem Verfahren für eine Annäherungsbewegung, das in einer Roboter-Steuerung ausgeführt werden soll, zur Durchführung der Schrittverteilungsmessung mit der in a flow chart of the method for an approaching movement to be executed in a robot controller for performing a step distribution measurement with the in 11 11 gezeigten Anordnung. Arrangement shown.
  • 1 1 zeigt ein Diagramm der allgemeinen Anordnung von einem Mehrfachsensor-Robotersystem nach einer ersten Ausführungsform (Ausführungsform I) und ein Beispiel für eine Messung unter Verwendung des Systems. shows a diagram of the general arrangement of a multiple-sensor robot system according to a first embodiment (embodiment I) and an example of measurement using the system. Als Beispiel wird das System auf eine Anwendung angewendet, bei der die Schritte eines Werkstücks gemessen werden. the system is applied to an application in which the steps of a workpiece to be measured as an example. Ein Großbereichssensor von einem Mehrfachsensor ermittelt ein Werkstück, das an einer ungewissen Position und in ungewisser Haltung in einem vergleichsweise großen Bereich bereitgestellt wird. A large-area sensor of a multiple sensor detects a workpiece, which is provided at an uncertain position and in an uncertain posture within a relatively wide range. Ein Kleinbereichssensor von dem Mehrfachsensor misst eine Schrittverteilung nach der Annäherung an das Werkstück. A small-area sensor of the multiple sensor measures a step distribution after approaching the workpiece. Es sollte beachtet werden, dass die Ausführungsform I zur Erläuterung bereitgestellt wird und nicht erfindungsgemäß ist, weil der Groß- und der Kleinbereichssensor keinen gemeinsamen Lichtempfangsabschnitt haben. It should be noted that the embodiment is provided to illustrate and I is not inventive, because the wholesale and the retail area sensor have no common light receiving portion.
  • Siehe Please refer 1 1 : Das gesamte System umfasst eine Robotersteuerung : The whole system comprises a robot controller 1 1 , einen Bildprozessor , An image processor 2 2 , einen Lasersensor , A laser sensor 10 10 , einen Lasersensorsteuerabschnitt , A laser sensor control section 20 20 , eine CCD-Kamera , A CCD camera 30 30 und einen Roboter and a robot 40 40 . , Der Lasersensor The laser sensor 10 10 ist an einem Armende (nahe dem Tool Center Point (TCP)) des Roboters is on an arm end (near the tool center point (TCP)) of the robot 40 40 montiert. assembled. Die CCD-Kamera The CCD camera 30 30 befindet sich außerhalb des Roboters is located outside of the robot 40 40 . ,
  • Die CCD-Kamera The CCD camera 30 30 , die zusammen mit dem Bildprozessor Which together with the image processor 2 2 den Großbereichssensor (die erste Sensoreinrichtung) bildet, ist derart angebracht, dass ihr Bildfeld the large-area sensor (first sensing means) which is mounted such that its image field 31 31 einen Zufuhrbereich a supply area 50 50 , dem das Werkstück W zugeführt wird, mit einem Seitenbereich abdeckt. , Where the workpiece W is supplied with a covering side portion.
  • Der Lasersensor The laser sensor 10 10 , der als Kleinbereichssensor (zweite Sensoreinrichtung) dient, kann entweder zu dem bekannten Punktlichtprojektionstyp oder zu dem bekannten Lichtschnittprojektionstyp gehören; , As the small-area sensor (second sensor means) is used, can be either belong to the well-known point-light projection type or the well-known-light-projecting type; bei dieser Ausführungsform wird ersterer eingesetzt. In this embodiment, the former is used.
  • Die Abtastlaserstrahlen LB1, LB2, LB3 werden von einem Laserstrahlemissionsabschnitt The scanning laser beams LB1, LB2, LB3 be from a laser beam emitting portion 13 13 je nach der Position des Roboters emittiert. emitted depending on the position of the robot. Der von dem Roboter reflektierte Laserstrahl wird von einem Lichtermittlungsabschnitt The reflected laser beam from the robot is controlled by a light-detecting section 14 14 empfangen. receive. Das Bildfeld der Kamera The image field of the camera 30 30 ist genügend groß, während der Abtastbereich (Messbereich) des Laserstrahls LB1, LB2, LB3 von dem Lasersensor is sufficiently large, while the scanning range (measuring range) of the laser beam LB1, LB2, LB3 by the laser sensor 10 10 recht klein ist verglichen mit dem Bereich, den das Bildfeld is quite small compared to the area that the image field 31 31 der Kamera the camera 30 30 abdeckt. covers.
  • Der Lasersensor The laser sensor 10 10 ist mit dem Bildprozessor is connected to the image processor 2 2 über den Lasersensorsteuerabschnitt on the laser sensor control section 20 20 verbunden. connected. Die CCD-Kamera The CCD camera 30 30 ist ebenfalls mit dem Bildprozessor is also connected to the image processor 2 2 verbunden. connected. Somit teilen sich der Lasersensor (der Hauptabschnitt Thus, the laser sensor (the main section share 10 10 und der Steuerabschnitt and the control section 20 20 ) und die CCD-Kamera ) And the CCD camera 30 30 den Bildprozessor the image processor 2 2 . ,
  • Die CCD-Kamera The CCD camera 30 30 nimmt ein Foto auf, wenn das Werkstück W zugeführt wird. records a still picture, if the workpiece W is supplied. Ein zweidimensionales Bild, das mittels Fotografieren erhalten wird, wird an den Bildprozessor A two-dimensional image that is obtained by photographing, it is to the image processor 2 2 übertragen. transfer. Der Bildprozessor The image processor 2 2 analysiert das Bild und ermittelt die Position und Haltung des Werkstücks W. Auf Basis des Ergebnisses dieser Ermittlung lässt die Robotersteuerung analyzes the image and determines the position and posture of the workpiece W. Based on the result of this determination allows the robot controller 1 1 den Roboter the robot 40 40 sich an das Werkstück W annähern. converge to the workpiece W.
  • In In 1 1 ist die Position 1 eine Startposition für die Annäherung. is the 1-position, a start position for the approach. Eine Position 2 ist eine Annäherungsposition. A position 2 is an approach position. Die Annäherungsposition 2 ist eine geeignete Position für den Beginn der Schrittmessung, wobei der Laserstrahl LB2 auf das Werkstück W projiziert wird. The approach position 2 is a position suitable for the start of the measurement step, wherein the laser beam LB2 is projected onto the workpiece W. Sie wird je nach der Zufuhrposition des Werkstücks W festgelegt. It is determined depending on the supply position of the workpiece W.
  • Unter praktischen Gesichtspunkten variiert die Zufuhrposition für ein einzelnes Werkstück W wahrscheinlich in einem Zufuhrbereich From a practical point the feed position varied for a single workpiece W likely in an infeed area 50 50 . , Bei dieser Ausführungsform wird in den Roboter im Vorhinein die optimale Annäherungsposition (die einzulernende Annäherungsposition) eingelernt, wenn sich das Werkstück W an einer geeigneten Bezugsposition befindet. In this embodiment, in the robot in advance the optimum approach position (the approach position reader to learn) taught when the workpiece W is in a suitable reference position. Eine Abweichung eines einzelnen Werkstücks von der Bezugsposition (einschließlich der Haltung) wird von der CCD-Kamera is a deviation of an individual workpiece from the reference position (including the posture) of the CCD camera 30 30 und dem Bildprozessor and the image processor 2 2 ermittelt. determined. Es erfolgt eine Berechnung, in deren Folge der Roboter verlagert (Positions- und Haltungskorrektur), die Abweichung in Bezug auf die eingelernte Annäherungsposition kompensiert und die Annäherungsposition 2 erreicht wird. A calculation is made, displaced in consequence of the robot (the position and posture correction) to compensate the deviation with respect to the taught approach position and the approach position is achieved. 2
  • Nachdem die Annäherung beendet ist, misst der Roboter After completion of the approaching, the robot measures 40 40 stetig einen Schritt d, während er sich von der Position 2 auf eine Position 3 (Messungsendposition) bewegt. continuously while moving a step d from the position 2 to a position 3 (measuring-terminating position). Die Position 3 ist der Endpunkt von einem Pfadabschnitt, der bei der Position 2 beginnt. The position 3 is the end point of a path section starting at the position of the second Sie wird in den Roboter im Vorhinein eingelernt, wobei angenommen wird, dass sich das Werkstück W an der Bezugsposition befindet. It is taught to the robot in advance assuming that the workpiece W is located at the reference position. Beim tatsächlichen Betrieb wird die Messungsendposition in der Robotersteuerung In actual operation, the measurement end position in the robot control 1 1 als die Position 3 berechnet, indem der Roboter verlagert wird (Positions- und Haltungskorrektur), wodurch die Abweichung des ermittelten Werkstückes W in Bezug auf die gelehrte Bezugsposition kompensiert wird. calculated as the position 3 by the robot is moved (position and posture correction), whereby the deviation of the detected workpiece W is compensated with respect to the taught reference position.
  • Die Struktur und die Messprinzipien des Punktlichtprojektions-Lasersensors sind bekannt und werden deshalb hier nur kurz anhand von The structure and measurement principles of point light projection laser sensor are known and are therefore only briefly here by 2 2 beschrieben. described. Der Laserstrahlemissionsabschnitt The laser beam emitting section 13 13 von dem Lasersensor (Hauptabschnitt) of the laser sensor (main section) 10 10 verfügt über einen Laseroszillator has a laser oscillator 11 11 und einen Schwenkspiegel (ein Galvanometer) and a pivotal mirror (galvanometer) 12 12 zum Abtasten mit dem Laserstrahl. for scanning with the laser beam. Der Lichtermittlungsabschnitt The light detection section 14 14 hat ein Lichtempfangselement has a light receiving element 14a 14a und ein fokussierendes optisches System and a focusing optical system 14b 14b . ,
  • Der Lasersensorsteuerabschnitt The laser sensor control section 20 20 ist verbunden mit einem Spiegelantrieb is connected to a mirror drive 21 21 zum schwenkbaren Bewegen des Schwenkspiegels for pivotally moving the pivotal mirror 12 12 , einem Laserantrieb , A laser drive 22 22 zum Antreiben des Laseroszillators for driving the laser oscillator 11 11 , so dass Laserstrahlen erzeugt werden, und einem Signaldetektor So that laser beams are generated and a signal detector 23 23 zum Ermitteln der Position aus einer Position, an der der Laserstrahl durch das Lichtempfangselement for determining the position of a position at which the laser beam by the light receiving element 14a 14a empfangen wird. Will be received. Der Spiegelantrieb The mirror driving 21 21 , der Laserantrieb , The laser drive 22 22 und der Signaldetektor and the signal detector 23 23 sind mit einer (nachstehend beschriebenen) Lasersensorschnittstelle des Bildprozessors are a (described below) laser sensor interface of the image processor 2 2 über eine Schaltung a circuit 24 24 verbunden. connected.
  • Wird ein Betriebsbefehl für den Lasersensor von dem Bildprozessor If an operation command for the laser sensor from the image processor 2 2 über die Schaltung empfangen, treibt der Laserantrieb den Laseroszillator received via the circuit, the laser driver drives the laser oscillator 11 11 an, so dass der Laserstrahl LB erzeugt wird. , so that the laser beam LB is generated. Parallel dazu wird die schwenkbare Bewegung des Schwenkspiegels In parallel, the pivoting movement of the pivoting mirror 12 12 durch den Spiegelantrieb by the mirror drive 21 21 gestartet, so dass der von dem Laseroszillator started so that the from the laser oscillator 11 11 erzeugte Laserstrahl über die Oberflächen eines Objekts bewegt wird. Generated laser beam is moved over the surfaces of an object.
  • Der zerstreute und an einem Reflexionspunkt S auf der Oberfläche des Objekts reflektierte Laserstrahl bildet je nach der Position des Reflexionspunktes S ein Bild auf dem Lichtempfangselement The scattered and reflected at a reflecting point S on the surface of the object laser beam forms depending on the position of the reflection point S an image on the light-receiving element 14a 14a durch das optische System by the optical system 14b 14b ab. from. Das Lichtempfangselement The light receiving element 14a 14a kann ein CCD oder PSD (positionssensitiver Detektor) usw. sein. may be a CCD or PSD, etc. be (position sensitive detector).
  • Bei dieser Ausführungsform wird eine eindimensionale CCD-Anordnung als Lichtempfangselement In this embodiment, a one-dimensional CCD array as the light-receiving element 14a 14a verwendet. used. Das Licht (das Bild des reflektierten Lichts), das auf die Lichtempfangsoberfläche des Lichtempfangselementes The light (the image of the reflected light) formed on the light receiving surface of the light receiving element 14a 14a trifft, wird in Fotoelektronen umgewandelt. meets, is converted into photoelectrons. Diese werden in Zellen des Lichtempfangselementes These are cells in the light-receiving element 14a 14a gespeichert. saved. In den Zellen gespeicherte Ladungen werden in jedem zuvor festgelegten Zyklus gemäß einem CCD-Abtastsignal von dem Signaldetektor In the cells of stored charges in each predetermined cycle according to a CCD scanning signal from the signal detector 23 23 nacheinander vom Ende der Anordnung her ausgegeben und über den Signaldetektor successively outputted from the end of the arrangement to the signal detector and 23 23 und die Schaltung and circuit 24 24 an den Bildprozessor gesendet. sent to the image processor.
  • Der Abtastzyklus des CCD wird derart eingestellt, dass er angemessen (zum Beispiel Hundertstel) kürzer ist als der Abtastzyklus des Schwenkspiegels The scanning cycle of the CCD is adjusted such that it is adequately shorter (for example, hundredths) than the scanning cycle of the pivotal mirror 12 12 . , Eine Änderung im Schwenkwinkel des Schwenkspiegels A change in the rotation of the rotary mirror 12 12 und eine Änderung im Ausgabestatus des CCD-Elements können stetig durchgeführt werden. and a change in the output status of the CCD element can be steadily performed. Auf den Ausgabezustand des CCD-Elements wird in Form der Zellenposition mit maximaler Ausgabe (Zellennummer) und der Zellenposition zugegriffen, an welcher der Einfall von reflektiertem Licht ermittelt wird. On the output state of the CCD element (cell number) and the cell location being accessed in the form of the cell position of maximum output, at which the incidence of reflected light is determined. Anhand der ermittelten Zellenposition wird die Position von dem Reflexionspunkt S des Laserstrahls LB berechnet. the position of the reflecting point S of the laser beam LB is calculated on the basis of the determined cell location. Eine Software-Verarbeitung für diese Positionsermittlung erfolgt im Bildprozessor Software processing for this position determination is made in the image processor 2 2 . ,
  • 3 3 zeigt ein Diagramm, das veranschaulicht, wie eine Koordinatenposition (X, Y) von dem Reflexionspunkt S des Sensors auf Basis der Position xa erhalten wird, die vom Lichtempfangselement is a diagram illustrating how a coordinate position (X, Y) is obtained from the reflection point S of the sensor based on the position xa, from the light-receiving element 14a 14a ermittelt wird. is determined. Es wird angenommen, dass der Sensorursprung (0, 0) sich auf einer Geraden befindet, die durch den Mittelpunkt des optischen Systems It is assumed that the sensor origin (0, 0) is located on a straight line passing through the center of the optical system 14b 14b und den Mittelpunkt des Lichtempfangselements and the center of the light-receiving element 14a 14a geht. goes. Die Gerade ist als die Y-Achse definiert. The straight line as the Y-axis is defined. Die Achse senkrecht zur Y-Achse ist als die X-Achse definiert. The axis perpendicular to the Y-axis is defined as the X-axis.
  • Die Koordinatenposition (X, Y) von dem Reflexionspunkt S, an dem der Laserstrahl LB auf das Objekt trifft, von dem reflektiert werden soll, ist durch folgende Gleichungen gegeben: The coordinate position (X, Y) of the reflecting point S, at which the laser beam LB strikes the object of which is to be reflected, is given by the following equations: X = xa·[(L1 – L0) ·tanθ + D]/(xa + L2·tanθ) (1) X = xa * [(L1 - L0) · tanθ + D] / (x a + L 2 · tanθ) (1) Y = [L1·xa + L2·(L0·tanθ – D)]/(xa + L2·tanθ) (2) Y = [L1 + L2 · xa · (L0 · tanθ - D)] / (x a + L 2 · tanθ) (2) wobei L1 ein Abstand vom Ursprung zur Mitte des optischen Systems ist, L2 ein Abstand von der Mitte des optischen Systems zum Mittelpunkt des Lichtempfangselements wherein L1 is a distance from the origin to the center of the optical system, L2 is a distance from the center of the optical system to the center of the light receiving element 14b 14b ist, D ein Abstand vom Sensorursprung zur Mitte der Schwenkbewegung des Schwenkspiegels , D is a distance from the sensor origin to the center of the pivotal movement of the pivotal mirror 12 12 in X-Achsenrichtung ist, L0 ein Abstand auf der Y-Achse vom Sensorursprung zur Mitte der Schwenkbewegung des Schwenkspiegels is in the X-axis direction, L0 is a distance on the Y-axis from the sensor origin to the center of the pivotal movement of the pivotal mirror 12 12 ist, θ ein Winkel des reflektierten Laserstrahls in Bezug auf die Y-Achse ist und xa eine Position auf der Lichtempfangsoberfläche des Lichtempfangselementes is an angle θ of the reflected laser beam with respect to the Y axis, and xa is a position on the light receiving surface of the light-receiving element 14a 14a ist, an der das reflektierte Licht empfangen wird. is where the reflected light is received.
  • Der Bildprozessor The image processor 2 2 wird im Einzelnen anhand des Blockdiagramms in is in in detail with reference to the block diagram 4 4 beschrieben, das eine Hardware-Architektur des Bildprozessors describes a hardware architecture of the image processor 2 2 und die Beziehung zwischen der Hardware-Architektur des Bildprozessors and the relationship between the hardware architecture of the image processor 2 2 und seinen zugehörigen Elementen darstellt. represents and its associated elements. Siehe Please refer 4 4 : Der Bildprozessor The image processor 2 2 hat eine CPU (Central Processing Unit) has a CPU (Central Processing Unit) 201 201 , die über einen Bus BS verbunden ist mit einer Lasersensor-schnittstelle Which is connected via a bus BS with a laser sensor interface 202 202 , einer Kameraschnittstelle , A camera interface 203 203 , einem Bildspeicher , An image memory 204 204 , einem Programmspeicher , A program memory 205 205 , einer Bildver arbeitungseinrichtung , A Bildver processing device 206 206 , einem Datenspeicher , A data memory 207 207 , einer Monitorschnittstelle , A monitor interface 208 208 und einer Konsolenschnittstelle and a console interface 209 209 . ,
  • Die Lasersensorschnittstelle The laser sensor interface 202 202 dient als Eingabe-Ausgabe-Einrichtung für den Lasersensorsteuerabschnitt serves as an input-output device for the laser sensor controlling section 20 20 , der mit dem Hauptabschnitt des Lasersensors Connected to the main portion of the laser sensor 10 10 verbunden ist und den Betrieb des Lasersensors is connected and the operation of the laser sensor 10 10 über den Spiegelantrieb via the mirror drive 21 21 und den Laserantrieb and the laser drive 22 22 auf die oben beschriebene Weise steuert. controls in the manner described above. Die Lasersensorschnittstelle The laser sensor interface 202 202 wandelt die über den Signaldetektor converts the signal detector 23 23 empfangenen Ermittlungssignale von analog nach digital um und speichert die digitalen Ermittlungssignale im Datenspeicher received detection signals from analog to digital and stores the digital detection signals in the data memory 207 207 . , Die im Datenspeicher In the data storage 207 207 gespeicherten Daten werden verwendet, wenn ein im Programmspeicher stored data is used when a program memory 205 205 gespeichertes Schrittberechnungsprogramm gestartet wird. stored pitch calculation program is started. Die Verbindung zu einem Lichtschnittprojektionsabschnitt The connection to a light-projecting section 131 131 ist mit einer gestrichelten Linie dargestellt. is shown with a dashed line. Er wird mit einem Lichtschnittprojektions-Lasersensor verwendet und in Verbindung mit einer zweiten Ausführungsform (Ausführungsform II) noch eingehend beschrieben. It is used with a light-projection laser sensor and in connection with a second embodiment (embodiment II) described in detail.
  • Die Kameraschnittstelle The camera interface 203 203 dient als Eingabe-Ausgabe-Einrichtung für die CCD-Kamera serves as an input-output device for the CCD camera 30 30 und sendet ein Fotografiersignal an die CCD-Kamera and sends a Fotografiersignal to the CCD camera 30 30 , nachdem sie einen Fotografierbefehl von der CPU After a photographing command from the CPU 201 201 empfangen hat. has received. Ein mittels Fotografieren aufgenommenes Bild wird in eine Grauskala umgewandelt und im Bildspeicher A recorded by means of photographing image is converted into a gray scale in the image memory, and 204 204 gespeichert. saved. Das gespeicherte Bild wird ausgelesen, wenn ein Positionsermittlungsprogramm gestartet wird, das im Programmspeicher The stored image when a position detection program is started is read, which in the program memory 205 205 gespeichert ist. is stored. Das Bild wird zur Bildanalyse durch die Bildverarbeitungseinrichtung The image is the image analysis by the image processing device 206 206 verwendet. used. Bei dieser Ausführungsform werden die Positionen von zwei Merkmalspunkten P, Q von dem Werkstück W mittels Bildanalyse unter Verwendung der Bildverarbeitungseinrichtung In this embodiment, the positions of two feature points P, Q of the workpiece W by means of image analysis using the image processing device are 206 206 ermittelt. determined.
  • Die Monitorschnittstelle The monitor interface 208 208 ist mit einem TV-Monitor verbunden. is connected to a TV monitor. Nach Empfangen eines Monitor-Bildanzeigebefehls von der CPU After receiving a monitor image display command from the CPU 201 201 werden das derzeitige mit der CCD-Kamera are the current with the CCD camera 30 30 aufgenommene oder das im Bildspeicher recorded or the image memory 204 204 gespeicherte Bild auf dem Bildschirm des TV-Monitors angezeigt. stored image on the screen of the TV monitor display.
  • Eine Konsole a console 211 211 , die an die Konsolenschnittstelle That to the console interface 209 209 angeschlossen ist, wird zum Ausgeben verschiedener Betriebsbefehle für den Bildprozessor is connected, for outputting various operating commands for the image processor 2 2 von der CPU from the CPU 201 201 durch manuelle Eingabe verwendet. used by manual input. So werden verschiedene Programme und Stellparameter registriert, editiert und gestartet. Thus, various programs and setting parameters are recorded, edited and started. Eine Kommunikationsschnittstelle A communication interface 210 210 dient zum Übermitteln von Befehlen und Daten an die Robotersteuerung is used for transmitting commands and data to the robot controller 1 1 . , Diese ist herkömmlich und umfasst eine CPU, einen ROM, einen RAM, eine Achsenregeleinrichtung, eine Servoschaltung, eine Kommunikationsschnittstelle usw. Deshalb entfällt hier die Beschreibung ihrer Bauweise und Funktion. This is conventional and includes a CPU, ROM, RAM, an axis controller, a servo circuit, a communication interface, etc. Therefore omitted here describing their design and function.
  • Die allgemeinen Prozesse, die in der Robotersteuerung The general processes involved in the robot controller 1 1 und im Bildprozessor and image processor 2 2 ausgeführt werden müssen, so dass die Schrittverteilungsmessung mit der in must be carried out so that the step distribution measurement with the in 1 1 dargestellten Anordnung durchgeführt wird, werden anhand der Fließdiagramme in Arrangement shown is performed, with reference to the flow charts in 5 5 (das in der Robotersteuerung (Which in the robot controller 1 1 ausgeführte Verfahren) und running process), and 6 6 (das im Bildprozessor (Which in the image processor 2 2 ausgeführte Verfahren) erläutert. running process) is explained. Zuvor werden Kalibrierungen des Lasersensors Prior to calibration of the laser sensor 10 10 und der CCD-Kamera and the CCD camera 30 30 abgeschlossen. completed. Die Bilddaten von der Bezugsposition des Werkstücks W, der Annäherungsstartposition (der Position 1), der eingelernten Annäherungsposition und der Position der eingelernten Messungsendposition sind bereits in die Robotersteuerung The image data from the reference position of the workpiece W, the approach start position (the position 1), the taught approach position and the position of taught measuring-terminating position are already in the robot controller 1 1 eingelernt worden. been taught.
  • Zunächst liest die Robotersteuerung First reads the robot controller 1 1 einen Block von dem Betriebsprogramm, der einen Befehl zum Bewegen des Roboters a block of the operating program describing a command for moving the robot 40 40 auf die Position 1 (Annäherungsstartposition) beschreibt (Schritt R1). at the position 1 (approach-starting position) describes (step R1). Sie führt ein übliches Verfahren zum Bewegen des Roboters She leads a common method for moving the robot 40 40 auf die Position 1 aus (Schritt R2). at the position 1 (step R2). Die Bewegung erfolgt in Form einer Bewegung der jeweiligen Achsen oder einer linearen Bewegung. The movement takes place in the form of a movement of the respective axes, or a linear movement.
  • Nach Beendigung der Bewegung auf die Position 1 sendet die Robotersteuerung After completion of the movement to position 1, the robot controller sends 1 1 einen Werkstückpositionsermittlungsbefehl an den Bildprozessor a workpiece position determining command to the image processor 2 2 (Schritt R3). (Step R3). Sie tritt in den Standby-Status ein, in dem sie das Ergebnis der Ermittlung von den Positionen des Werkstücks (die Positionen P, Q) empfangen kann (Schritt R4). It enters into the standby status in which it can receive the positions (P, Q) the result of the determination of the positions of the workpiece (step R4). Nach Empfang der Sensordaten, die das Ergebnis der Ermittlung wiedergeben, berechnet die Robotersteuerung Upon receipt of the sensor data representing the result of determination, calculates the robot control 1 1 Daten, die eine Abweichung des Werkstücks W in Bezug auf die Bezugsposition im Roboter-Koordinatensystem wiedergeben. Data representing a deviation of the workpiece W with respect to the reference position in the robot coordinate system. Dann berechnet sie das notwendige Ausmaß für die Korrektur der Roboterposition (Schritt R5). Then, it calculates the necessary amount for correcting the robot position (step R5). Die Daten, die das Ausmaß der Korrektur der Roboterposition wiedergeben, können berechnet werden in Form von Daten einer homogenen 4-x-4-Translationsmatrix, die einen Vektor PQ von P nach Q und die Abweichung von P von der Bezugsposition darstellt. The data representing the amount of correcting the robot position may be calculated in the form of data of a homogeneous 4-x-4-translation matrix representing a vector PQ from P to Q and deviation of P from the reference position.
  • Dann liest die Robotersteuerung Then reads the robot control 1 1 einen Block, der einen Befehl zum Bewegen des Roboters an die Position 2 (Annäherungsposition) beschreibt, (Schritt R6) und bewegt den Roboter one block describing a command for moving the robot to the position 2 (approach position) (step R6) and moves the robot 40 40 auf die Annäherungsposition 2 (Schritt R7). to the approach position 2 (step R7). Die Annäherungsposition 2 wird erhalten, indem die eingelernte Annäherungsposition um das in Bezug auf das Werkstück W erhaltene Ausmaß für die Korrektur der Roboterposition verschoben wird. The approach position 2 is obtained by the taught approach position is shifted by the resulting relative to the workpiece W amount for correcting the robot position. Die Bewegung bei der Annäherung hat die Form einer Bewegung der jeweiligen Achsen oder einer linearen Bewegung. The movement in approaching is in the form of a movement of the respective axes, or a linear movement.
  • Nachdem die Annäherung beendet ist, sendet die Robotersteuerung After completion of the approaching, sends the robot control 1 1 einen Lasersensorstartbefehl an den Bildprozessor a laser sensor start command to the image processor 2 2 (Schritt R8). (Step R8). Dann liest die Robotersteuerung Then reads the robot control 1 1 einen Block, der einen Befehl zum Bewegen des Roboters an die Position 3 (Mes sungsendposition) beschreibt, (Schritt R9). one block describing a command for moving the robot to the position 3 (Mes sungsendposition) (step R9). Sie bewegt den Roboter It moves the robot 40 40 an die Position 3 (Schritt R10). to the position 3 (step R10). Die Position 3 wird erhalten, indem die eingelernte Messungsendposition um das oben genannte Ausmaß zur Korrektur der Roboterposition verschoben wird. The position 3 is obtained by the taught measuring-terminating position is shifted by the above-mentioned amount for correcting the robot position. Die Bewegung während der Messung hat die Form einer linearen Bewegung in Richtung der Verlängerung von dem Schritt des Werkstücks The movement during measuring is in the form of a linear movement in the direction of extension of the step of the workpiece 40 40 . , Ist die Bewegung an die Position 3 abgeschlossen, sendet die Robotersteuerung If the movement is completed at the position 3, sends the robot control 1 1 einen Lasersensorendbefehl (Schritt R11) und beendet das Verfahren. a Lasersensorendbefehl (step R11) and terminates the process.
  • In der Zwischenzeit tritt der Bildprozessor In the meantime, the image processor occurs 2 2 in einen Status ein, in dem er einen Werkstückpositionsermittlungsbefehl von der Robotersteuerung in a state one in which he a workpiece position detection command from the robot control 1 1 empfangen kann (Schritt S1). can receive (step S1). Nachdem er den Werkstückpositionsermittlungsbefehl empfangen hat, gibt der Bildprozessor After receiving the workpiece position detection command is the image processor 2 2 einen Fotografierbefehl an die CCD-Kamera a photographing command to the CCD camera 30 30 aus (Schritt SS2). (Step SS2). Er ruft ein Bild von dem Werkstück W im Bildfeld He calls an image of the workpiece W in the image field 31 31 ab und speichert das Bild im Bildspeicher and stores the image in the image memory 204 204 (Schritt S3). (Step S3).
  • Dann startet der Bildprozessor Then, the image processor starts 2 2 das im Programmspeicher the program memory 205 205 gespeicherte Positionsermittlungsprogramm und liest die gespeicherten Bilddaten, so dass das Bild von der Bildverarbeitungseinrichtung stored position detecting program, and reads the stored image data so that the image of the image processing device 206 206 analysiert wird, Dadurch werden die Positionen von zwei Merkmalspunkten P, Q von dem Werkstück ermittelt (Schritt S4). is analyzed result, the positions of two feature points P, Q of the workpiece is determined (step S4).
  • Der Bildprozessor The image processor 2 2 sendet das Ergebnis der Ermittlung sofort an die Robotersteuerung the result of the determination immediately sends to the robot controller 1 1 (Schritt S5) und tritt in einen Status ein, in dem er einen Lasersensorstartbefehl von der Robotersteuerung (Step S5) and enters a state in which it comprises a laser-sensor-starting command from the robot controller 1 1 empfangen kann (Schritt S6). can receive (step S6). Nach dem Empfangen des Lasersensorstartbefehls sendet der Bildprozessor After receiving the laser-sensor-starting command, the image processor sends 2 2 einen Lasersensorstartbefehl an den Lasersensorsteuerabschnitt a laser sensor start command to the laser sensor control section 20 20 und beginnt mit der Messung von dem Schritt des Werkstücks, wobei mit dem Speichern der Messergebnisse begonnen wird (Schritt S7). and starts measuring the step of the workpiece, starting with the storage of the measurement results (step S7). Das Speichern der Messergebnisse erfolgt, indem im Datenspeicher The saving of the measurement results by the data store 207 207 alle Messdaten oder abgefragten Daten gespeichert werden, die durch Abfragen der Messdaten in einem geeigneten Abtastzyklus erhalten werden. all measured data or sampled data are stored which are obtained by sampling the measured data at an appropriate sampling cycle.
  • Die Messung durch den Lasersensor The measurement by the laser sensor 10 10 wird fortgesetzt, bis ein Lasersensorendbefehl empfangen wird, unmittelbar nachdem der Roboter is continued until a Lasersensorendbefehl is received, immediately after the robot 40 40 an der Messendposition 3 eingetroffen ist (Schritt S8). has arrived at the metering completion position 3 (step S8). Nachdem er den Lasersensorendbefehl von der Robotersteuerung After the Lasersensorendbefehl by the robot controller 1 1 empfangen hat, sendet der Bildprozessor has received, sends the image processor 2 2 an den Lasersensorsteuerabschnitt to the laser sensor control section 20 20 den Lasersensorendbefehl, so dass die Messung von dem Schritt des Werkstücks beendet wird und die Ergebnisse dieser Messung gespeichert werden (Schritt S9). the Lasersensorendbefehl, so that the measurement of the step of the workpiece is completed and the results of this measurement are stored (step S9). Damit ist der im Bildprozessor So is the image processor 2 2 ausgeführte Prozess abgeschlossen. Running process completed.
  • Das Diagramm in The diagram in 7 7 zeigt eine allgemeine Anordnung von einem Mehrfachsensor-Robotersystem nach einer zweiten Ausführungsform (Ausführungsform II) und ein Beispiel für ein Messverfahren unter Verwendung des Systems. shows a general arrangement of a multiple-sensor robot system according to a second embodiment (embodiment II) and an example of a measurement method using the system. Die zweite Anordnung (Ausführungsform II) in The second arrangement (embodiment II) in 7 7 unterscheidet sich von der Anordnung (Ausführungsform I) in differs from the arrangement (embodiment I) in 1 1 in folgenden Punkten: in the following ways:
    • (1) Es wird ein Lichtschnittprojektions-Lasersensor verwendet. (1) There is used a light-projection laser sensor.
    • (2) Die Kamera ist zusammen mit dem Lasersensor am Armende des Roboters montiert. (2) The camera is mounted together with the laser sensor on the arm end of the robot.
    • (3) Die Kamera dient erfindungsgemäß als Großbereichssensor und zudem als Lichtempfangsabschnitt für den Lasersensor (Kleinbereichssensor). (3) The camera is used according to the invention as a large-area sensor and also as a light receiving portion for the laser sensor (small-area sensor).
  • Bei dieser Ausführungsform wird das System ebenfalls auf eine Anwendung angewendet, bei der Schritte von einem Werkstück gemessen werden. In this embodiment, the system is also applied to an application are measured at the steps of a workpiece. Ein Großbereichssensor eines Mehrfachsensors ermittelt ein Werkstück, das in einer ungewissen Haltung und an einer ungewissen Position innerhalb eines vergleichsweise breiten Bereichs zugeführt wird. A large-area sensor of a multiple sensor detects a workpiece supplied in an uncertain posture and at an uncertain position within a relatively wide range. Ein Kleinbereichssensor des Mehrfachsensors misst eine Schrittverteilung nach Annäherung an das Werkstück. A small-area sensor of the multiple sensor measures a step distribution after approaching the workpiece.
  • Siehe Please refer 7 7 : Das System umfasst eine Robotersteuerung The system comprises a robot controller 1 1 , einen Bildprozessor , An image processor 2 2 , einen Lichtschnittprojektionsabschnitt , A light-projecting section 131 131 , einen Lasersensorsteuerabschnitt , A laser sensor control section 20 20 , eine CCD-Kamera , A CCD camera 30 30 und einen Roboter and a robot 40 40 . , Der Lichtschnittprojektionsabschnitt The light-projecting section 131 131 und die Kamera and the camera 30 30 sind an einem Armende (nahe dem Tool Center Point, TOP) des Roboters are at an arm end (near the Tool Center Point, TOP) of the robot 40 40 montiert und bilden zusammen den Lichtschnittprojektionslaser assembled and together form the laser-light-projecting 101 101 . ,
  • Wie oben unter (3) beschrieben, dient nämlich die Kamera as described above under (3), namely the camera is 30 30 gleichzeitig als Großbereichssensor und zudem als Lichtempfangsabschnitt für den Lichtschnittprojektions-Lasersensor (Kleinbereichssensor) at the same time as large-area sensor and also as a light receiving portion for the light-projection laser sensor (small-area sensor) 101 101 . ,
  • Wird die Kamera If the camera 30 30 als Großbereichssensor (erste Sensoreinrichtung) mit dem Bildprozessor as a large-area sensor (first sensing means) with the image processor 2 2 verwendet, wird sie automatisch oder manuell an einer geeigneten Position angebracht, an der das Bildfeld used, it is automatically or manually attached to a suitable position at which the image field 31 31 der Kamera the camera 30 30 einen Zufuhrbereich a supply area 50 50 abdeckt, dem das Werkstück W zugeführt werden soll. covers the workpiece W to be fed.
  • Lichtschnittstrahlen SB1, SB2, SB3 werden vom Lichtschnittprojektionsabschnitt Light slit beams SB1, SB2, SB3 are the light-projecting section 131 131 emittiert. emitted. Das Bild einer hellen Linie auf dem Werkstück W wird von der Kamera The image of a bright line on the workpiece W is supported by the camera 30 30 fotografiert. photographed.
  • Das Bildfeld der Kamera The image field of the camera 30 30 wird derart eingestellt, dass es genügend groß ist, während der Projektionsbereich (Messbereich) der Lichtschnittstrahlen SB1, SB2, SB3 verglichen mit dem Bildfeld is set such that it is sufficiently large, while the projection range (measuring range) of the slit light beams SB1, SB2, SB3 compared with the image field 31 31 recht schmal ist, wenn die Kamera is quite narrow when the camera 30 30 als Großbereichssensor verwendet wird. is used as a large-area sensor.
  • Der Lichtschnittprojektionsabschnitt The light-projecting section 131 131 von dem Lasersensor of the laser sensor 101 101 ist mit dem Bildprozessor is connected to the image processor 2 2 über den Lasersensorsteuerabschnitt on the laser sensor control section 20 20 verbunden. connected. Die CCD-Kamera The CCD camera 30 30 ist ebenfalls mit dem Bildprozessor is also connected to the image processor 2 2 verbunden. connected.
  • Die CCD-Kamera The CCD camera 30 30 wird zunächst als Großbereichssensor verwendet, wenn das Werkstück W zugeführt wird, und nimmt eine Fotografie von dem Werkstück W von einer vergleichsweise entfernten Position (Prä-Annäherungsposition) auf. is first used as a large-area sensor when the workpiece W is supplied and takes a photograph on of the workpiece W from a relatively far position (pre-approach position). Ein mittels Fotografieren erhaltenes zweidimensionales Bild wird an den Bildprozessor An image obtained by photographing a two-dimensional image to the image processor 2 2 gesendet. Posted. Der Bildprozessor The image processor 2 2 analysiert das Bild und ermittelt die Position und die Haltung des Werkstücks W. Auf Basis des Ermittlungsergebnisses lässt die Robotersteuerung analyzes the image and determines the position and attitude of the workpiece W. Based on the detection result leaves the robot control 1 1 den Roboter the robot 40 40 sich an das Werkstück W annähern. converge to the workpiece W.
  • In In 7 7 ist die Position 1 eine Annäherungsstartposition. is the 1-position an approach start position. Die Position 2 ist eine Annäherungsposition. Position 2 is an approximation position. Die Annäherungsposition 2 ist dazu geeignet, die Messung von dem Schritt des Werkstücks W durch Projizieren des Laserstrahls LB2 auf das Werkstück W zu starten. The approach position 2 is adapted to start the measurement of the step of the workpiece W by projecting the laser beam LB2 on the workpiece W. Sie wird in Abhängigkeit von einer Zufuhrposition des Werkstücks W bestimmt. It is determined in response to a supply position of the workpiece W.
  • Praktisch gesehen variiert die Zufuhrposition des einzelnen Werkstücks W wahrscheinlich in einem Zufuhrbereich Practically, the supply position of the individual workpiece W presumably varies in a supply range 50 50 . , Bei dieser Ausführungsform wird zuvor die optimale Annäherungsposition (die einzulernende Annäherungsposition) in den Roboter eingelernt, während sich das Werkstück W an einer geeigneten Bezugsposition befindet. In this embodiment, the optimum approach position is above (the reader to learn approach position) taught to the robot while the workpiece W is located at an appropriate reference position. Eine Abweichung eines einzelnen Werkstücks von der Bezugsposition (einschließlich der Haltung) wird von der CCD-Kamera is a deviation of an individual workpiece from the reference position (including the posture) of the CCD camera 30 30 und dem Bildprozessor and the image processor 2 2 ermittelt. determined. Dann führt die Robotersteuerung eine Berechnung des Verschiebens (Positions- und Haltungskorrektur) durch, womit die Abweichung in Bezug auf die eingelernte Annäherungsposition kompensiert wird, so dass die Annäherungsposition Then, the robot controller performs a calculation of shifting (position and posture correction) through which the deviation is compensated with respect to the taught approach position so that the approach position 2 2 erreicht wird. is achieved.
  • Nachdem die Annäherung beendet ist, misst der Roboter After completion of the approaching, the robot measures 40 40 stetig ein oder mehr Schritte d, während er sich von der Position 2 zu einer Position 3 (nicht dargestellt) bewegt. continuously or while moving (not shown) from the position 2 to a position 3 moves more steps d.
  • Wenn die Messung an der Position 3 durchgeführt wird, wird die Position 3 zuvor in den Roboter eingelernt. When the measurement is performed at the position 3, the position 3 is previously taught to the robot. Dabei wird angenommen, dass sich das Werkstück W an der Bezugsposition befindet. It is assumed that the workpiece W is located at the reference position. Beim tatsächlichen Betrieb wird in der Robotersteuerung In actual operation, is in the robot controller 1 1 eine Messungsendposition als Position 3 berechnet, indem man ein Verschieben (Positions- und Haltungskorrektur) zum Kompensieren der Abweichung des ermittelten Werkstücks W von der gelehrten Bezugsposition durchführt. calculates a measurement end position as the position 3, by carrying out a displacement (position and posture correction) for compensating the deviation of the detected workpiece W from the taught reference position.
  • Die Struktur und die Messprinzipien des Lichtschnittprojektions-Lasersensors sind bekannt und werden deshalb hier nur kurz anhand von The structure and principles of measurement of the light-projecting laser sensor are known and are therefore only briefly here by 8 8th beschrieben. described.
  • Der Lichtschnittprojektionsabschnitt The light-projecting section 131 131 hat ein oder mehr (in diesem Beispiel zwei) Laseroszillatoren LS1, LS2, jeweils mit eingebauter zylindrischer Linse, und einen an ein Galvanometer angeschlossenen Deflektionsspiegel MR, der von einem Stepper-Motor SM angetrieben wird. has one or more (two in this example) laser oscillators LS1, LS2, each with built-in cylindrical lens, and a deflection mirror MR attached to a galvanometer, which is driven by a stepper motor SM. Nachdem sie einen Lichtemissionsbefehl vom Bildprozessor 2 empfangen haben, emittieren die Laseroszillatoren LS1, LS2 im Lichtschnittprojektionsabschnitt After receiving a light emitting command from the image processor 2, LS2 emit the laser oscillators LS1, in the light-projecting section 131 131 zwei Laserstrahlen (Lichtschnitt), die durch zylindrische Linsen abgeflacht werden. two laser beams (slit light), which are flattened by cylindrical lenses. Jeder Lichtemissionsbefehl enthält einen Positionsbefehl für den Stepper-Motor SM, wodurch der Winkel des Deflektionsspiegels MR geregelt wird. Each light emitting command includes a position command for the stepping motor SM, whereby the angle of the Deflektionsspiegels MR is controlled.
  • Die beiden Laserstrahlen (Lichtschnitt) werden auf das Werkstück (Objekt) W von einem Projektionsfenster (nicht dargestellt) projiziert, während sie durch den Stepper-Motor SM je nach den Werten der Positionsbefehle in eine festgelegte Richtung deflektiert werden. The two laser beams (slit light) are projected on the workpiece (object) W from a projection window (not shown) while they are being deflected by the stepper motor SM according to the values ​​of the position commands in a predetermined direction. Bei dieser Ausführungsform werden zwei Schnittstrahlen SB1, SB2 auf das Werkstück (Objekt) W projiziert, wodurch die hellen Linien b1–b5 und b6–b10 erzeugt werden. In this embodiment, two slit beams SB1, SB2 on the workpiece (object) W to be projected, whereby the bright lines b1-b5 are created and b6-b10.
  • Nachdem sie einen Fotografierbefehl vom Bildprozessor After a photographing command from the image processor 2 2 empfangen hat, nimmt die CCD-Kamera has received, accepts the CCD camera 30 30 ein Bild auf, das die hellen Linien b1–b5 und b6–b10 enthält, und sendet das Bild an den Bildprozessor an image on which includes the bright lines b1-b5 and b6-b10 and sends the image to the image processor 2 2 . ,
  • Der Bildprozessor The image processor 2 2 analysiert das Bild, das die hellen Linien b1–b5 und b6–b10 enthält, und ermittelt unter Verwendung seiner Bildverarbeitungsfunktion dreidimensionale Positionen, wie Endpunkte und Krümmungspunkte b1, b2, ..., b10, von den hellen Linien. analyzes the image including the bright lines b1-b5 and b6-b10, and determines using its image processing function three-dimensional positions, such as end points and bending points b1, b2, ..., b10, of the bright lines. Der Schritt D wird aus den dreidimensionalen Positionsdaten berechnet. The step D is calculated from the three-dimensional position data.
  • Die Prinzipien für die Ermittlung dreidimensionaler Positionen von Krümmungspunkten und Endpunkten und das Kalibrierungsverfahren sowie die Einzelheiten der zugehörigen Berechnungsverfahren sind bekannt, weshalb ihre Beschreibung hier entfällt. The principles for the determination of three-dimensional positions of bending points and end points and the calibration process and the details of the relevant calculation methods are known, and therefore their description is omitted here.
  • Die Hardware-Architektur des Bildprozessors The hardware architecture of the image processor 2 2 bei der Ausführungsform II und die Beziehung zwischen der Hardware-Architektur des Bildprozessors in the embodiment II and the relationship between the hardware architecture of the image processor 2 2 und dessen zugehörigen Elementen sind mit Ausnahme des Lasersensors und seiner zugehörigen Elemente identisch zur Ausführungsform I. Deshalb konzentriert sich die folgende Beschreibung zur Vermeidung von Wiederholungen auf den Lasersensor und seine zugehörigen Elemente, wobei wiederum auf and its associated elements, with the exception of the laser sensor and its associated elements are identical to the embodiment I. Therefore, the following description to avoid repetition, in turn, focused on the laser sensor and its associated elements, to 4 4 Bezug genommen wird. Reference.
  • Bei der Ausführungsform II dient die Lasersensorschnittstelle In the embodiment II, the laser sensor interface is used 202 202 als Eingabe-Ausgabe-Einrichtung für den Lasersensorsteuerabschnitt as an input-output device for the laser sensor controlling section 20 20 , der mit dem Projektionsabschnitt für zerlegtes Licht Coupled to the projecting section for dispersed light 131 131 verbunden ist. connected is. Die CPU the CPU 201 201 erteilt Betriebsbefehle (Befehle zum Energetisieren und Deenergetisieren der Laseroszillatoren LS1, LS2 und einen Be fehl zum Drehen des Stepper-Motors SM), wodurch der Lichtschnittprojektionsabschnitt issues operating commands (commands for energizing and Deenergetisieren of the laser oscillators LS1, LS2 and a Be fail to rotate the stepper motor SM), whereby the light-projecting section 131 131 geregelt wird. is controlled.
  • Die Kameraschnittstelle The camera interface 203 203 dient als Eingabe-Ausgabe-Einrichtung für die CCD-Kamera. serves as an input-output device for the CCD camera. Nachdem sie einen Fotografierbefehl von der CPU After a photographing command from the CPU 201 201 empfangen hat, sendet sie ein Fotografiersignal an die CCD-Kamera has received, it sends a Fotografiersignal to the CCD camera 30 30 . , Ein mittels Fotografieren aufgenommenes Bild wird in eine Grauskala umgewandelt und im Bildspeicher A recorded by means of photographing image is converted into a gray scale in the image memory, and 204 204 gespeichert. saved.
  • Das gespeicherte Bild wird ausgelesen, wenn ein Positionsermittlungsprogramm gestartet wird, das im Programmspeicher The stored image when a position detection program is started is read, which in the program memory 205 205 gespeichert ist. is stored. Es wird zur Analyse des Bildes durch die Bildverarbeitungseinrichtung It is to analyze the image by the image processing device 206 206 verwendet. used. Bei dieser Ausführungsform werden zwei verschiedene Bildanalysen durchgeführt. In this embodiment, two different image analyzes are carried out. Wird die Kamera If the camera 30 30 als Großbereichssensor verwendet, wird kein Lichtschnittstrahl emittiert, und es wird ein gewöhnliches Bild von dem Werkstück W aufgenommen. used as a large-area sensor, no slit light beam is emitted, and it is added an ordinary image of the workpiece W. Ebenso wie bei der Ausführungsform I werden die Positionen der zwei Merkmalspunkte P, Q ermittelt. Similarly as in the embodiment I, the positions of the two feature points P, Q are determined.
  • Wird die Kamera If the camera 30 30 als Kleinbereichssensor verwendet, werden Lichtschnittstrahlen emittiert. used as a small-area sensor, slit light beams are emitted. Ein Bild der hellen Linien b1–b5, b6–b10 auf dem Werkstück W wird erhalten, so dass dreidimensionale Positionen der in dem Bild enthaltenen Endpunkte/Krümmungspunkte b1–b5, b6–b10 ermittelt werden ( An image of bright lines b1-b5, b6-b10 on the workpiece W is obtained so that three-dimensional positions of the detected end points / bending points b1-b5 included in the image, b6-b10 ( 8 8th ). ).
  • Bei dieser Ausführungsform ist wie bei der Ausführungsform I die Robotersteuerung von üblicher Art und umfasst eine CPU, einen ROM, einen RAM, eine Achsenregelvorrichtung, eine Servoschaltung, eine Kommunikationsschnittstelle usw. Deshalb entfällt hier ihre ausführliche Beschreibung. In this embodiment, as in the embodiment I, the robot controller of conventional type and includes a CPU, ROM, RAM, an axis control device, a servo circuit, a communication interface, etc. Therefore omitted here detailed description.
  • Die allgemeinen Verfahren, die in der Robotersteuerung The general methods described in the robot controller 1 1 und im Bildprozessor and image processor 2 2 zur Messung der Schrittverteilung mit der Anordnung der step for measuring the distribution with the arrangement of the 7 7 ausgeführt werden müssen, werden anhand der Fließdiagramme der must be executed, with reference to the flow charts of 9 9 (Verarbeitung in der Robotersteuerung (Processing in the robot controller 1 1 ) und ) and 10 10 (Verarbeitung im Bildprozessor (Processing in the image processor 2 2 ) erläutert. ) Explained.
  • Zuvor werden die Kalibrierungen des Lasersensors Previously, the calibration of the laser sensor 10 10 und der CCD-Kamera and the CCD camera 30 30 beendet. completed. Die Bilddaten von der Bezugsposition des Werkstücks W, der Annäherungsstartposition (Position 1), der eingelernten Annäherungsposition und der Position der eingelernten Messungsendposition sind bereits in den Roboter eingelernt worden. The image data from the reference position of the workpiece W, the approach start position (position 1), the taught approach position and the position of taught measuring-terminating position are already taught to the robot.
  • In der folgenden Beschreibung wird Lichtschnitt nur an die Annäherungsposition (Position 2) projiziert. In the following description, slit light is projected only at the approach position (position 2). Zur Messung der Schritte des Roboters wird der Roboter nicht bewegt. For measuring the steps of the robot, the robot is not moved. Beim Lichtschnittprojektions-Lasersensor kann der Lichtschnitt durch Schwenken des Deflektionsspiegels MR in einem bestimmten Winkelbereich emittiert werden. When light-projection laser sensor, the slit light can be emitted in a certain angular range by pivoting the Deflektionsspiegels MR.
  • Zunächst liest die Robotersteuerung 1 einen Block von dem Betriebsprogramm, der einen Befehl zum Bewegen des Roboters First, the robot controller 1 reads one block of the operating program describing a command for moving the robot 40 40 an die Position 1 (Annäherungsstartposition) beschreibt (Schritt RR1). to the position 1 (approach-starting position) describes (step RR1).
  • Sie führt eine übliche Verarbeitung zum Bewegen des Roboters She performs conventional processing for moving the robot 40 40 an die Position 1 durch (Schritt RR2). to the position 1 (step RR2). Die Bewegung hat die Form einer Bewegung der jeweiligen Achsen oder einer linearen Bewegung. The movement has the shape of a movement of the respective axes, or a linear movement.
  • Nachdem die Bewegung auf die Position 1 beendet ist, sendet die Robotersteuerung After the movement is completed at the position 1, sends the robot control 1 1 einen Werkstückermittlungsbefehl an den Bildprozessor a workpiece determination command to the image processor 2 2 (Schritt RR3) und tritt in einen Standby-Zustand ein, in dem sie das Ergebnis der Ermittlung von den Positionen des Werkstücks (den Positionen P, Q) empfangen kann (Schritt RR4). (Step RR3) and enters a standby state in which it can receive (the positions of P, Q) the result of the determination of the positions of the workpiece (step RR4). Nach Empfang von Sensordaten, die das Ergebnis der Ermittlung wiedergeben, berechnet die Robotersteuerung Upon receipt of sensor data representing the result of determination, calculates the robot control 1 1 Daten, die die Abweichung des Werkstücks W von der Bezugsposition im Roboter-Koordinatensystem wiedergeben. Data representing the deviation of the workpiece W from the reference position in the robot coordinate system. Dann berechnet sie das zur Korrektur der Roboterposition benötigte Ausmaß (Schritt RR5). Then, it calculates the amount required for correcting the robot position (step RR5). Die Daten, die aus Ausmaß für die Korrektur der Roboterposition wiedergeben, können berechnet werden als Daten einer homogenen 4 × 4 Translationsmatrix, die den Vektor PQ von P nach Q und eine Abweichung P von der Bezugsposition darstellt. The data representative of the extent of the correction of the robot position may be calculated as the data of a 4 × 4 homogeneous translation matrix representing the vector PQ from P to Q and a deviation of P from the reference position.
  • Dann liest die Robotersteuerung Then reads the robot control 1 1 einen Block, der einen Befehl zum Bewegen des Roboters auf die Position 2 (Annäherungsposition) beschreibt, (Schritt RR6) und bewegt den Roboter describes one block describing a command for moving the robot to the position 2 (approach position) (step RR6) and moves the robot 40 40 auf die Annäherungsposition 2 (Schritt RR7). to the approach position 2 (step RR7). Die Annäherungsposition 2 wird erhalten durch Verschieben der eingelernten Annäherungsposition um das Ausmaß zur Korrektur der Roboterposition, das in Bezug auf das Werkstück W erhalten wird. The approach position 2 is obtained by shifting the taught approach position by the amount for correcting the robot position, which is obtained with respect to the workpiece W. Die Bewegung bei der Annäherung hat die Form einer Bewegung der jeweiligen Achsen oder einer linearen Bewegung. The movement in approaching is in the form of a movement of the respective axes, or a linear movement.
  • Nachdem die Annäherung beendet ist, sendet die Robotersteuerung After completion of the approaching, sends the robot control 1 1 einen Lasersensorstartbefehl an den Bildprozessor a laser sensor start command to the image processor 2 2 (Schritt RR8). (Step RR8). Dann wartet die Robotersteuerung Then waiting for the robot control 1 1 (Schritt RR9) auf ein Signal von dem Bildprozessor (Step RR9) for a signal from the image processor 2 2 , dass die Messung des Roboterschrittes beendet ist. That the measuring of the robot step has been completed. Nach Empfangen dieses Signals sendet die Robotersteuerung After receiving this signal, the robot controller sends 1 1 einen Lasersenorendbefehl an den Bildprozessor a Lasersenorendbefehl to the image processor 2 2 , wodurch das Messverfahren beendet wird. Whereby the measuring process is terminated.
  • Inzwischen tritt der Bildprozessor Meanwhile, the image processor occurs 2 2 zunächst in einen Status ein, in dem er zum Empfangen eines Werkstückpositionsermittlungsbefehls von der Robotersteuerung initially in a state A, in which it for receiving a work piece position detection command from the robot controller 1 1 bereit ist (Schritt SS1). is prepared (step SS1). Nachdem der den Werkstückpositionsermittlungsbefehl empfangen hat, gibt der Bildprozessor After having received the workpiece position detection command is the image processor 2 2 einen Fotografierbefehl an die CCD-Kamera a photographing command to the CCD camera 30 30 aus (Schritt SS2) und ruft ein Bild von dem Werkstück W im Bildfeld (step SS2) and retrieves an image of the workpiece W in the image field 31 31 ab, das im Bildspeicher from which the image memory 204 204 gespeichert wird (Schritt SS3). is stored (step SS3). Dann startet der Bildprozessor Then, the image processor starts 2 2 das Positionsermittlungsprogramm, das im Programmspeicher the position detection program in the program memory 205 205 gespeichert ist. is stored. Er liest die gespeicherten Bilddaten und analysiert das Bild mittels It reads the stored image data and analyzes the image by 205 205 . , Er liest die gespeicherten Bilddaten und analysiert das Bild mit der Bildverarbeitungseinrichtung It reads the stored image data and analyzes the image to the image processing device 206 206 , so dass die Positionen zweier Merkmalspunkte P, Q von dem Werkstück W ermittelt werden (Schritt SS4). So that the positions of two feature points P, Q are determined by the workpiece W (step SS4).
  • Der Bildprozessor The image processor 2 2 sendet das Ergebnis der Ermittlung sofort an die Robotersteuerung the result of the determination immediately sends to the robot controller 1 1 (Schritt SS5) und tritt in einen Status ein, in dem er zum Empfangen eines Lasersensorstartbefehls von der Robotersteuerung (Step SS5) and enters a state where it for receiving a laser-sensor-starting command from the robot controller 1 1 bereit ist (Schritt SS6). is prepared (step SS6). Nachdem er den Lasersensorstartbefehl empfangen hat, sendet der Bildprozessor After receiving the laser sensor start command sends the image processor 2 2 einen Lasersensorstartbefehl an den Lasersensorsteuerabschnitt a laser sensor start command to the laser sensor control section 20 20 . , Die Messung von dem Schritt des Werkstücks wird gestartet, so dass mit dem Speichern der Ergebnisse dieser Messung begonnen wird (Schritt SS7). The measurement of the step of the workpiece is such that starting with the storage of the results of this measurement (step SS7) is started.
  • Dann gibt der Bildprozessor Then, the image processor is 2 2 einen Fotografierbefehl an die CCD-Kamera aus (Schritt SS8) und ruft das Bild von den hellen Linien b1–b5, b6–b10, die sich auf dem Werkstück W bilden, in den Bildprozessor a photographing command to the CCD camera (step SS8) and fetches the image of the bright lines b1-b5, b6-b10, which are formed on the workpiece W, in the image processor 2 2 ab. from. Die Bilddaten werden im Bildspeicher The image data in the image memory 204 204 gespeichert (Schritt SS9). stored (step SS9).
  • Man kennt verschiedene Berechnungsverfahren, mit denen ein Schritt aus den dreidimensionalen Positionen der Endpunkte/Krümmungspunkte b1, b2, ..., b10 erhalten werden kann. One knows various calculation methods by which a step from the three-dimensional positions of the end points / bending points b1, b2, ..., b10 can be obtained. Siehe Please refer 8 8th : Zum Beispiel wird eine Gerade b1b6 aus den Krümmungspunkten b1, b6 erhalten. : For example, a straight line b1b6 obtained from the bending points b1, b6. Ebenso wird eine Gerade b3b8 aus den Krümmungspunkten b3, b8 erhalten. Similarly, a straight line b3b8 is obtained from the curvature points b3, b8. Danach kann ein Schritt d aus dem Abstand zwischen den beiden Geraden erhalten werden. Thereafter, a step d from the distance between the two straight lines can be obtained. Weil dreidimensionale Positionen im Sensor-Koordinatensystem erhalten werden können, muss bei diesem Verfahren keine Koordinatenumwandlungsverarbeitung zwischen dem Sensor- und dem Roboter-Koordinatensystem durchgeführt werden, und die Haltung des Roboters muss nicht berücksichtigt werden. Because three-dimensional positions in the sensor coordinate system can be obtained with this method no coordinate conversion processing between the sensor and the robot coordinate system must be carried out, and the posture of the robot does not need to be considered.
  • Damit die Messgenauigkeit besser wird, sendet der Bildprozessor The measuring accuracy is better to send the image processor 2 2 vorzugsweise Roboterbewegungsbefehle an den Stepper-Motor SM und wiederholt die Schritte SS7–SS9 unter verschiedenen Bedingungen, wobei die Lichtschnittemissionsrichtung verändert wird. preferably robot motion commands to the stepper motor SM and repeats steps SS7 SS9 under various conditions, wherein the light-sectional emission direction is changed. Dadurch wird der Schritt d erhalten. Characterized the step d is obtained.
  • Nachdem er den Lasersensorendbefehl von der Robotersteuerung After the Lasersensorendbefehl by the robot controller 1 1 erhalten hat (Schritt SS11), deenergetisiert der Bildprozessor received (step SS11), the image processor deenergized 2 2 den Lasersensor (die Lichtschnittprojektionseinrichtung the laser sensor (the slit light projecting means 131 131 ) (Schritt SS12), so dass das Messverfahren beendet wird. ) (Step SS12), so that the measuring process is terminated.
  • Bei den vorhergehenden Ausführungsformen 1 und II wird von dem Bildprozessor ein Bild analysiert, das von der Kamera In the foregoing embodiments 1 and II, an image is analyzed by the image processor by the camera 30 30 als Großbereichssensor aufgenommen wurde. was accepted as a large-area sensor. Somit nähert sich der Roboter Thus, the robot approaches 40 40 automatisch an. automatically. Die Annäherungsposition wird ermittelt, indem eine zuvor eingelernte Annäherungsposition anhand von Abweichungsdaten korrigiert wird, die durch die Bildanalyse erhalten werden. The approach position by a previously taught approach position is corrected based on deviation data obtained by the image analysis is determined.
  • Bei der im Folgenden beschriebenen Ausführungsform III wird ein Bild, das von der Kamera In the embodiment described below III is an image from the camera 30 30 als Großbereichssensor aufgenommen wird, auf dem Schirm der Anzeigeeinrichtung angezeigt. is recorded as a large-area sensor is displayed on the screen of the display device. Ein manueller Vorschub auf dem Anzeigeschirm wird in die Annäherungsbewegung des Roboters integriert. A manual feed on the display screen is integrated in the approach movement of the robot. Die allgemeine Anordnung des Systems ist in The general arrangement of the system is in 11 11 dargestellt. shown. Bei dieser Ausführungsform wird wie bei den Ausführungsformen I und II das System auf die Messung von einem Schritt eines Werkstücks angewendet. In this embodiment the system is applied to the measurement of a step of a workpiece, such as in the embodiments I and II. Es sollte jedoch beachtet werden, dass Ausführungsform III wie Ausführungsform I nur zur Erläuterung bereitgestellt wird und nicht erfindungsgemäß ist. It should be noted, however, that embodiment is provided III as Embodiment I of illustration only and not of the invention.
  • Siehe Please refer 11 11 : Das System umfasst eine Robotersteuerung The system comprises a robot controller 1 1 , einen Lasersensor (Punktlichtprojektionstyp oder Lichtschnittprojektionstyp) , A laser sensor (spot light projection type or slit light projection type) 10 10 , einen Lasersensorsteuerabschnitt , A laser sensor control section 20 20 , eine CCD-Kamera , A CCD camera 30 30 , einen Roboter A robot 40 40 und eine Einlern-Steuerkonsole TP mit einer Anzeige DP. and a teaching control panel TP with a display DP.
  • Der Lasersensor The laser sensor 10 10 ist an einem Armende (nahe des Tool Center Point, TOP) an dem Roboter is on an arm end (near the Tool Center Point, TOP) on the robot 40 40 montiert. assembled. Die CCD-Kamera The CCD camera 30 30 befindet sich außerhalb des Roboters is located outside of the robot 40 40 . ,
  • Die als Großbereichssensor dienende CCD-Kamera Which serves as a large-area sensor CCD camera 30 30 befindet sich über einem Tisch TB und dem Roboter is located above a table TB and the robot 40 40 , so dass das Bildfeld So that the image field 31 31 den Tisch mit einem Bereich, der zu dem Werkstückzufuhrbereich äquivalent ist, sowie den Roboterannäherungsbereich abdeckt. covering the table with a region which is towards the workpiece supply area equivalent to the robot as well as the closing region. Eine optische Achse der Kamera An optical axis of the camera 30 30 erstreckt sich vertikal nach unten (in Richtung der Z-Achse eines Roboter-Koordinatensystems). extends vertically downward (in the direction of Z-axis of a robot coordinate system).
  • Der Typ der Robotersteuerung The type of robot control 1 1 ist bekannt. is known. Sie hat einen eingebauten Bildprozessor und weist folgende Funktionen auf: Erteilen eines Fotografierbefehls an die Kamera It has a built-in image processor and has the following functions: issuing a Fotografierbefehls to the camera 30 30 , so dass ein Bild aufgenommen wird, Anzeigen des Bildes auf der Anzeige DP sowie Berechnen einer Position (X, Y) im Roboter-Koordinatensystem anhand der Position, die auf dem Bildschirm mit einem Cursor oder dergleichen angezeigt wird. So that an image is captured, displaying the image on the display DP and calculating a position (X, Y) in the robot coordinate system based on the position that is displayed on the screen with a cursor or the like. Auf Basis der Ausgabesignale des Lasersensors Based on the output signals of the laser sensor 10 10 , die über den Steuerabschnitt That via the control section 20 20 empfangen werden, wird das Schrittmessungsverfahren auf die oben genannte Weise durchgeführt. are received, the step measuring process is performed in the above manner.
  • Die Einlern-Steuerkonsole TP mit den Bedientasten- oder -knopfgruppen K1, K2, K3 hat die Funktion, dass sie auf dem Anzeigeschirm eine manuelle Bewegungszielposition zuweist, und zudem die Funktion einer üblichen Einlernbedienkonsole. The teaching control panel TP with the Bedientasten- or -knopfgruppen K1, K2, K3 has a function that assigns them on the display screen manual movement target position and also the function of a conventional Einlernbedienkonsole.
  • Zum Beispiel wird die Gruppe K1, K2 bei einem üblichen manuellen Vorschub in die XYZ-Richtungen um die XYZ-Achsen und um die Roboterachse verwendet. For example, the group K1, K2 is used in a conventional manual feed in the XYZ directions, about XYZ axes and about the robot axis. Die Gruppe K3 dient als Cursor-Tastengruppe zum Bewegen des Cursors (nicht dargestellt) in XY-Richtung auf dem Anzeigeschirm. The group K3 is used as a cursor key group for moving the cursor (not shown) in the XY direction on the display screen.
  • Eine Kamera A camera 30 30 kann mit ihrem Bildfeld mindestens das Armende des Roboters can with their image field at least the arm end of the robot 40 40 in der Standby-Position und den Tisch TB abdecken. cover in the standby position and the table TB. Deshalb werden Bilder von dem Roboter Therefore, images of the robot 40 40 in Prä-Annäherungsposition (Position 1), dem Lasersensor in the pre-approach position (position 1), the laser sensor 10 10 (hintere Seite) und dem Werkstück W als Bilder (Rear side) and the workpiece W as images 40' 40 ' , . 10' 10 ' , W' angezeigt. , W 'appears.
  • Wenn ein Bediener, der den Bildschirm beobachtet, die Cursor-Taste der Gruppe K3 benutzt, so dass ein nicht dargestellter Cursor an einer als Annäherungsposition 2 geeigneten Position platziert wird, und eine Bestätigung ausführt (z. B. Drücken einer einzelnen Taste der Gruppe K3), wird die Cursor-Position an die Robotersteuerung 1 übermittelt. When an operator who observes the screen, the cursor key of the group K3 is used, that a non-illustrated cursor at a suitable as an approach position 2 position is placed and a confirmation executes (z. B. pressing a single key of the group K3 ), the cursor position is transmitted to the robot controller. 1 So wird eine XY-Positon (im Roboter-Koordinatensystem) erhalten, der die Cursorposition entspricht. Thus, an XY position (of the robot coordinate system) is obtained, which corresponds to the cursor position.
  • Führt der Bediener zudem einen Annäherungsstartschritt aus (z. B. Drücken einer einzelnen Taste der Gruppe K3 zweimal hintereinander), bewegt sich der Roboter Leads the operator also an approach start step of (z. B. pressing a single key of the group K3 twice), the robot moves 40 40 auf die erhaltene XY-Position. to the obtained XY position. Der Roboter The robot 40 40 kann nach der Bewegung in XY-Richtung auf eine geeignete Z-Position bewegt werden. can be moved to an appropriate Z position after moving in the XY direction. Vorzugsweise wird jedoch der Z-Achsen-Vorschub durch einen geeigneten Schritt (z. B. Drücken einer einzelnen Taste der Gruppe K1) während des manuellen Vorschubs auf dem Schirm befohlen. Preferably, however, the Z-axis feed is commanded by an appropriate step (z. B. pressing a single key of the group K1) during the manual feed on the screen.
  • In dem Fließschema in In the flow chart in 12 12 ist das allgemeine Verfahren dargestellt, das in der Robotersteuerung 1 ausgeführt werden muss. The general procedure is shown, which must be executed in the robot controller. 1 Diese Ausführungsform ist durch die Annäherungsbewegung gekennzeichnet und ähnelt den Ausführungsformen I oder II in der Messung von dem Schritt des Werkstücks W durch den Lasersensor (in der Regel ein Sensor für dreidimensionale Positionen), nachdem die Annäherung abgeschlossen ist. This embodiment is characterized by the approach movement and is similar to the embodiments I or II in measuring the step of the workpiece W by the laser sensor (usually, a sensor for three-dimensional positions) after the convergence has been completed. Deshalb wird das Verfahren bei zum Abschluss der Annäherung beschrieben. Therefore, the method is described at the end of the approach.
  • Ein Fotografierbefehl wird an die CCD-Kamera A photographing command is sent to the CCD camera 30 30 gesendet, so dass ein Bild, einschließlich Bildern von dem Roboterarm und dem Werkstück, abgerufen wird (Schritt T1). transmitted, so that an image including images of the robot arm and the workpiece is retrieved (step T1). Dann werden die Bilder Then the images are 40' 40 ' , . 10' 10 ' , W' auf dem Monitorschirm (dh der Anzeige DP, die zur Einlern-Steuerkonsole TP gehört) angezeigt (Schritt T2). , W 'is displayed on the monitor screen (ie, the display DP, which belongs to the teaching control panel TP) (step T2).
  • Durch eine Cursor-Tastenbedienung durch den Bediener wird die Annäherungsposition 2 zugewiesen, indem der Cursor an einer gewünschten Annäherungsposition auf dem Schirm platziert wird (Schritt T3). By a cursor key operation by the operator, the approach position 2 is assigned to by the cursor is placed at a desired approach position on the screen (step T3). Anschließend wird die von dem Cursor zugewiesene Position in eine Position (X, Y) im Roboterkoordinatensystem umgewandelt (Schritt T4). Then assigned by the cursor position to a position (X, Y) is converted in the robot coordinate system (step T4).
  • Nachdem sie den Annäherungsstart erhalten hat, lässt zudem die Robotersteuerung After receiving the Start Approach, also lets the robot control 1 1 den Tool Center Point des Roboters the robot tool center point 40 40 sich auf die angegebene Position 2 (X, Y) bewegen. move to the specified position 2 (X, Y). Im Hinblick auf die Z-Position wird der Roboter In view of the Z-position of the robot is 40 40 justiert, indem der vertikale Abstand zwischen dem Lasersensor adjusted by the vertical distance between the laser sensor 10 10 und dem Werkstück W mit dem unbewaffneten Auge gemessen wird. and the workpiece W is measured with the unaided eye. Nach Empfang eines manuellen Vorschub-Befehls auf der Z-Achse beim manuellen Vorschub auf dem Schirm erzeugt zu diesem Zweck die Robotersteue rung After receiving a manual feed command to the Z axis when manual feed on the screen of the Robotersteue generated for this purpose tion 1 1 einen Befehl, mit dem eine Z-Achsenbewegung angewiesen wird, und übermittelt den Befehl an ein Servosystem, das dann den Tool Center Point TCP des Roboters with a Z-axis movement is instructed a command, and transmits the command to a servo system that then the tool center point TCP of the robot 40 40 in Z-Achsenrichtung bewegt (Schritt T). in Z-axis direction (step T). Damit ist die Annäherungsbewegung abgeschlossen. Thus the approach movement is complete. Zudem muss die Roboterhaltung am Ende des Prozesses justiert werden. In addition, the robot posture must be adjusted at the end of the process. Hinsichtlich der Roboterposition um die Z-Achse kann man die Annäherungsposition 2 auch derart zuweisen, dass sie eine bestimmte Haltung um die Z-Achse enthält, indem man dem Cursor eine Haltungszuweisungsfunktion gibt. With respect to the robot position around the Z-axis can also assign the approach position 2 such that it contains a certain posture about the Z axis by giving the cursor a posture assignment function.
  • Bei den vorhergehenden Ausführungsformen wird zur Schrittmessung ein Mehrfachsensor mit einem Messroboter kombiniert. In the foregoing embodiments, a multiple sensor is combined with a measuring robot for measuring the step. Für die Verwendung bei einer anderen Anwendung kann der Mehrfachsensor mit einem anderen Roboter kombiniert werden. the multiple sensor may be combined with another robot for use in another application.
  • Erfindungsgemäß wird der Nachteil eines Kleinbereichssensors, z. According to the invention the drawback of a small-area sensor, z. B. eines Lasersensors, durch einen Großbereichssensor kompensiert, beispielsweise eine CCD-Kamera, die ein zweidimensionales Bild aufnehmen kann. For example, a laser sensor is compensated by a large-area sensor such as a CCD camera that can take a two-dimensional image. Deshalb kann man sogar bei einer Anwendung, bei der die Detailposition und -haltung von einem Gegenstand gemessen werden müssen, den Roboter sich schnell an das Objekt annähern und das Messverfahren akkurat durch den Kleinbereichssensor beginnen lassen. Therefore, one can even in an application in which the detail position and posture to be measured of an object, the robot approach the object quickly and can start the measurement process accurately by the small-area sensor.
  • Infolgedessen lässt sich bei verschiedenen Anwendungen die Zyklusdauer verringern. As a result, the cycle time can be reduced in various applications. Durch gemeinsame Verwendung eines Bildprozessors, einer Lichtermittlungseinrichtung usw. in dem System kann man vereinfachte Hardware einsetzen und die Produktionskosten senken. By sharing an image processor, a light detecting means, etc. in the system can be employed simplified hardware and reduce production costs.

Claims (5)

  1. Mehrfachsensor-Robotersystem als Kombination aus einem Roboter ( Multiple-sensor robot system (a combination of a robot 40 40 ) und einem Mehrfachsensor ( ) And a multiple sensor ( 101 101 ) mit einer ersten Sensoreinrichtung ( ) (With a first sensor means 30 30 ) zum Erhalten eines zweidimensionalen Bildes innerhalb eines vergleichsweise großen Bereichs ( () For obtaining a two-dimensional image within a relatively large range 50 50 ), wobei die erste Sensoreinrichtung ( ), Wherein said first sensor means ( 30 30 ) einen visuellen Sensor umfasst, der eine Kamera verwendet, und einer zweiten Sensoreinrichtung ( ) Comprises a visual sensor using a camera, and (a second sensor means 30 30 , . 131 131 ) zum Messen einer dreidimensionalen Position innerhalb eines vergleichsweise kleinen Bereichs durch Projizieren von Licht auf den vergleichsweise kleinen Bereich, wobei die zweite Sensoreinrichtung einen Lasersensor umfasst, der ein Laser-Punktlicht oder einen Laser-Lichtschnitt verwendet, wobei das System umfasst: eine Einrichtung zum Ausgeben eines Betriebsbefehls für die erste Sensoreinrichtung ( ) Wherein the system comprises for measuring a three-dimensional position within a relatively small area by projecting light on the relatively small area, wherein the second sensor means comprises a laser sensor using a laser spot light or a laser light section: means for outputting an operation command for said first sensor means ( 30 30 ); ); eine Einrichtung zum Ausgeben eines Betriebsbefehls für die zweite Sensoreinrichtung ( (A device for outputting an operation command for said second sensor means 30 30 , . 131 131 ); ); eine Einrichtung ( An institution ( 2 2 ) zum Verarbeiten eines Bildsignals, das von der ersten Sensoreinrichtung ( ) For processing an image signal (of the first sensor device 30 30 ) erhalten wird; ) Is obtained; eine Einrichtung zum Verarbeiten eines Messausgabesignals, das von der zweiten Sensoreinrichtung ( means for processing a measurement output signal (from the second sensor means 30 30 , . 131 131 ) ausgegeben wird, und eine Robotersteuereinrichtung ( ) Is output, and a robot control device ( 1 1 ) zum Steuern des Roboters ( ) (For controlling the robot 40 40 ); ); wobei die Bildsignalverarbeitungseinrichtung ( wherein said image signal processing means ( 2 2 ) derart betrieben werden kann, dass die Verarbeitung des Bildsignals von der ersten Sensoreinrichtung ( ) Can be operated such that the processing of the image signal (from the first sensor means 30 30 ) eine Verarbeitung enthält zum Ermitteln einer Position von einem Objekt (W), die in dem vergleichsweise großen Bereich ( ) Contains a processing for determining a position of an object (W) (in the comparatively large area 50 50 ) gemessen werden soll; ) To be measured; wobei die Robotersteuereinrichtung ( wherein the robot controller ( 1 1 ) eine Einrichtung enthält, mit der man den Roboter ( ) Includes means with which one (the robot 40 40 ) eine Annäherungsbewegung an das Objekt (W) auf Basis der ermittelten Position des Objekts (W) ausführen lassen kann; ) An approach movement (to the object W) W can be run) (on the basis of the determined position of the object; und die Messausgabesignal-Verarbeitungseinrichtung derart betrieben werden kann, dass die Verarbeitung des Messausgabesignals von der zweiten Sensoreinrichtung ( and the measurement output signal processing means is operable such that the processing of the measurement output signal (from the second sensor means 30 30 , . 131 131 ) eine Verarbeitung des Messausgabesignals beinhaltet, das ausgegeben wird, nachdem die zweite Sensoreinrichtung ( ) Includes processing the measurement output signal outputted after said second sensor means ( 30 30 , . 131 131 ) durch die Annäherungsbewegung an eine Annäherungsposition bewegt worden ist; ) Has been moved by the movement of approach to an approach position; dadurch gekennzeichnet , dass der Mehrfachsensor ( characterized in that the multiple sensor ( 101 101 ) einen Lichtempfangsabschnitt ( ) A light receiving portion ( 30 30 ) enthält, den die erste Sensoreinrichtung ( ) Which the said first sensor means ( 30 30 ) und die zweite Sensoreinrichtung ( ) And the second sensor means ( 30 30 , . 131 131 ) gemeinsam haben, wobei der gemeinsame Lichtempfangsabschnitt die Kamera ( have) together, wherein the common light receiving section (the camera 30 30 ) ist, die der visuelle Sensor in der ersten Sensoreinrich tung verwendet, und die Kamera ( ), The visual sensor used in the first Sensoreinrich tung, and the camera ( 30 30 ) des visuellen Sensors in der ersten Sensoreinrichtung auch als Lichtempfangsabschnitt des Lasersensors ( () Of the visual sensor in said first sensor means as a light receiving section of the laser sensor 131 131 ) der zweiten Sensoreinrichtung verwendet wird. ) Is used the second sensor means.
  2. Mehrfachsensor-Robotersystem nach Anspruch 1, umfassend einen Bildprozessor, der als Bildsignalverarbeitungseinrichtung ( Multiple-sensor robot system according to claim 1, comprising an image processor (an image signal processing device 2 2 ) und zudem als Messausgabesignal-Verarbeitungseinrichtung dient. ) And also serves as a measuring output signal processing means.
  3. Mehrfachsensor-Robotersystem nach Anspruch 1 oder 2, wobei die Bildsignalverarbeitungseinrichtung derart betrieben werden kann, dass die Verarbeitung zum Ermitteln einer Position von dem Objekt (W), die gemessen werden soll, eine Verarbeitung enthält zum Erhalten eines Ausmaßes an Abweichung von einer Bezugsposition des Objekts (W) und die Annäherungsposition ( Multiple-sensor robot system according to claim 1 or 2, wherein said image signal processing means is operable such that said processing for determining a position of the object (W) to be measured, processing includes, for obtaining an amount of deviation from a reference position of the object (W) and the approach position ( 2 2 ) bestimmt wird als eine Position, die erhalten wird durch Korrigieren einer angelernten Annäherungsposition je nach dem erhalten Ausmaß an Abweichung. ) Is determined as a position which is obtained by correcting a taught approach position according to the obtained amount of deviation.
  4. Mehrfachsensor-Robotersystem nach einem der Ansprüche 1 bis 3, das zudem umfasst: eine Bildanzeigeeinrichtung zum Anzeigen des zweidimensionalen Bildes, das durch die erste Sensoreinrichtung erhalten wird, und eine Einrichtung zum Eingeben der Annäherungsposition auf dem zweidimensionalen Bild, das von der Bildanzeigeeinrichtung angezeigt wird. Multiple-sensor robot system according to one of claims 1 to 3, which further comprises: image display means for displaying the two-dimensional image, which is obtained by said first sensor means, and means for inputting the approach position on the two-dimensional image which is displayed by the image display device.
  5. Mehrfachsensor-Robotersystem nach einem vorhergehenden Anspruch, wobei die erste ( Multiple-sensor robot system according to any preceding claim, wherein the first ( 30 30 ) und die zweite ( ) and the second ( 30 30 , . 131 131 ) Sensoreinrichtung zusammen an einem Armende des Roboters ( ) Sensor means together (at one end of the arm of the robot 40 40 ) montiert sind. ) Are mounted.
DE1996637413 1995-12-27 1996-12-24 Kompositdetektionssystem for robot Expired - Lifetime DE69637413T2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP35118095 1995-12-27
JP35118095 1995-12-27
PCT/JP1996/003765 WO1997024206A1 (en) 1995-12-27 1996-12-24 Composite sensor robot system

Publications (1)

Publication Number Publication Date
DE69637413T2 true DE69637413T2 (en) 2009-01-22

Family

ID=18415599

Family Applications (2)

Application Number Title Priority Date Filing Date
DE1996637413 Expired - Lifetime DE69637413D1 (en) 1995-12-27 1996-12-24 Kompositdetektionssystem for robot
DE1996637413 Expired - Lifetime DE69637413T2 (en) 1995-12-27 1996-12-24 Kompositdetektionssystem for robot

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE1996637413 Expired - Lifetime DE69637413D1 (en) 1995-12-27 1996-12-24 Kompositdetektionssystem for robot

Country Status (5)

Country Link
US (1) US5987591A (en)
EP (1) EP0812662B1 (en)
JP (1) JP3904605B2 (en)
DE (2) DE69637413D1 (en)
WO (1) WO1997024206A1 (en)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0970780A (en) * 1995-09-06 1997-03-18 Fanuc Ltd Tool shape correcting method of robot
US7065462B2 (en) * 1998-07-24 2006-06-20 Merilab, Inc. Vehicle wheel alignment by rotating vision sensor
US6195620B1 (en) * 1998-08-05 2001-02-27 Ford Global Technologies, Inc. Method for determining a geometry of a raw cylinder head casting and device for carrying out same
JP2000135689A (en) * 1998-10-30 2000-05-16 Fanuc Ltd Image processor for robot
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
JP3421608B2 (en) * 1999-04-08 2003-06-30 ファナック株式会社 Teaching model generating device
US6415051B1 (en) * 1999-06-24 2002-07-02 Geometrix, Inc. Generating 3-D models using a manually operated structured light source
JP3556589B2 (en) 2000-09-20 2004-08-18 ファナック株式会社 Position and orientation recognition device
DE20019096U1 (en) * 2000-11-10 2001-01-18 Dual M Tech Ag A device for the targeted moving of electronic components with a pivoting mirror
JP3703411B2 (en) * 2001-07-19 2005-10-05 ファナック株式会社 Workpiece picking apparatus
US6730926B2 (en) * 2001-09-05 2004-05-04 Servo-Robot Inc. Sensing head and apparatus for determining the position and orientation of a target object
EP1436126A2 (en) * 2001-10-15 2004-07-14 Tropf, Hermann, Dr.-Ing. Correction of the relative motion between gripping or machining tools and work pieces
GB0125079D0 (en) * 2001-10-18 2001-12-12 Cimac Automation Ltd Auto motion:robot guidance for manufacturing
US7099796B2 (en) * 2001-10-22 2006-08-29 Honeywell International Inc. Multi-sensor information fusion technique
JP2003148914A (en) * 2001-11-08 2003-05-21 Fanuc Ltd Position detector and taking-out device using position detection
JP3806342B2 (en) 2001-11-26 2006-08-09 三菱重工業株式会社 3-dimensional shape was a welding method and apparatus
EP1314510B1 (en) * 2001-11-26 2008-03-19 Mitsubishi Heavy Industries, Ltd. Method of welding three-dimensional structure and apparatus for use in such method
JP3859571B2 (en) * 2002-10-17 2006-12-20 ファナック株式会社 Three-dimensional visual sensor
DE20218352U1 (en) * 2002-11-26 2003-01-23 Reishauer Ag Einzentriervorrichtung for aligning vorverzahnten workpieces on processing machines fine toothing
JP3950805B2 (en) * 2003-02-27 2007-08-01 ファナック株式会社 Teaching position correcting device
JP2005108144A (en) * 2003-10-02 2005-04-21 Fanuc Ltd Device for confirming correction data of robot
DE102004024378B4 (en) * 2004-05-17 2009-05-20 Kuka Roboter Gmbh A process for the robot-supported measurement of objects
DE102004026185A1 (en) * 2004-05-28 2005-12-22 Kuka Roboter Gmbh Method and apparatus for operating a machine, such as a multi-axis industrial robot
CA2570030C (en) * 2004-06-11 2013-05-28 Avalon Engineering Limited Deployment apparatus and method
JP4087841B2 (en) * 2004-12-21 2008-05-21 ファナック株式会社 Robot controller
US7830561B2 (en) * 2005-03-16 2010-11-09 The Trustees Of Columbia University In The City Of New York Lensless imaging with controllable apertures
JP2007101197A (en) * 2005-09-30 2007-04-19 Nachi Fujikoshi Corp Object search system, robot system equipped with object searchsystem and object search method
CN101346800B (en) * 2005-12-20 2011-09-14 株式会社半导体能源研究所 Laser irradiation apparatus and method for manufacturing semiconductor device
JP4199264B2 (en) * 2006-05-29 2008-12-17 ファナック株式会社 Workpiece picking device and method
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
CN104688349B (en) 2006-06-13 2017-05-10 直观外科手术操作公司 Minimally invasive surgery system
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US7590680B2 (en) * 2006-06-29 2009-09-15 Microsoft Corporation Extensible robotic framework and robot modeling
JP2009000782A (en) * 2007-06-21 2009-01-08 Idec Corp System for controlling robot, and robot hand
WO2009119510A1 (en) 2008-03-28 2009-10-01 本田技研工業株式会社 Work measuring method, method for attaching suspension assembly and apparatus for attaching suspension assembly
DE102008023264B4 (en) * 2008-05-13 2017-01-05 Smart Optics Sensortechnik Gmbh A process for the flexible detection of the geometric shape of objects with optical 3D measurement technology
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
JP5333344B2 (en) * 2009-06-19 2013-11-06 株式会社安川電機 Shape detection apparatus and the robot system
JP2011033497A (en) * 2009-08-03 2011-02-17 Honda Motor Co Ltd Environmental recognition system, environmental recognition method, and robot
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9084623B2 (en) * 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
JP4837116B2 (en) 2010-03-05 2011-12-14 ファナック株式会社 Robotic system equipped with visual sensors
JP4938115B2 (en) * 2010-07-27 2012-05-23 ファナック株式会社 Workpiece pickup device and a work unloading METHOD
CN102909728B (en) * 2011-08-05 2015-11-25 鸿富锦精密工业(深圳)有限公司 Vision correction method robot tool center point
JP6052871B2 (en) * 2012-11-30 2016-12-27 国立大学法人横浜国立大学 Object moving apparatus, method, program, and recording medium
CN103213136B (en) * 2013-03-22 2016-06-15 南通航运职业技术学院 An apparatus for teaching an industrial robot traction systems and methods
CN104765380B (en) * 2014-01-03 2017-04-19 科沃斯商用机器人有限公司 And instructs the robot spot light spot indication method
DE102015204867A1 (en) * 2015-03-18 2016-09-22 Kuka Roboter Gmbh Robotic system and method for operating a tele operating process
US9757859B1 (en) * 2016-01-21 2017-09-12 X Development Llc Tooltip stabilization
US9815204B2 (en) * 2016-01-22 2017-11-14 The Boeing Company Apparatus and method to optically locate workpiece for robotic operations
US10059003B1 (en) 2016-01-28 2018-08-28 X Development Llc Multi-resolution localization system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58114892A (en) * 1981-12-26 1983-07-08 Nissan Motor Visual device for robot
DE3635076C2 (en) * 1986-10-15 1988-07-28 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2716052B2 (en) * 1987-01-13 1998-02-18 日立京葉エンジニアリング 株式会社 Processing method and apparatus and processing quality control method
FR2630957B1 (en) * 1988-05-05 1994-08-19 Peugeot
JPH041505A (en) * 1990-04-18 1992-01-07 Matsushita Electric Ind Co Ltd Three-dimensional position measuring method and acquiring method for work
JPH04261789A (en) * 1991-02-18 1992-09-17 Matsushita Electric Ind Co Ltd Parts transfer device
US5321353A (en) * 1992-05-13 1994-06-14 Storage Technolgy Corporation System and method for precisely positioning a robotic tool
JPH0724585A (en) * 1993-07-09 1995-01-27 Tomoe Corp Method for welding structure member
JPH0724585U (en) * 1993-09-29 1995-05-09 株式会社明電舎 Workpiece handling device
JPH07266272A (en) * 1994-03-29 1995-10-17 Nippon Telegr & Teleph Corp <Ntt> Follow-up method and device for manipulator
JP3418456B2 (en) * 1994-06-23 2003-06-23 ファナック株式会社 Robot position teaching tool and a robot position teaching method

Also Published As

Publication number Publication date Type
WO1997024206A1 (en) 1997-07-10 application
EP0812662A1 (en) 1997-12-17 application
EP0812662B1 (en) 2008-01-23 grant
JP3904605B2 (en) 2007-04-11 grant
US5987591A (en) 1999-11-16 grant
DE69637413D1 (en) 2008-03-13 grant
EP0812662A4 (en) 2000-11-15 application

Similar Documents

Publication Publication Date Title
US5329597A (en) Device and method for measuring angles of a work
DE19930087A1 (en) Control of the positioning of a robot type handling device with optical sensors is improved by storage of future movement points in memory to enable the robot to follow a path more quickly with no loss of positioning accuracy
DE102008039838A1 (en) Measuring object&#39;s three dimensional surface scanning method, involves executing scanning movement of laser light beam by beam deflecting unit, and utilizing laser light beam for measuring and displaying data of scanning points
DE102005060967A1 (en) Method and apparatus for setting a trajectory of a robot apparatus
US5987591A (en) Multiple-sensor robot system for obtaining two-dimensional image and three-dimensional position information
DE10229336A1 (en) Method and apparatus for calibration of image sensor systems
DE3613096A1 (en) Method for machining workpieces
DE19615069A1 (en) Procedure for panning machine tool esp. laser beam cutter using edge tracking on workpiece
DE19543299A1 (en) Measuring of objects especially static objects such as buildings and machines or similar
EP0963816A2 (en) Method for measuring and compensating kinematic modifications of a robot
EP0481278A1 (en) Method and measuring device for locating points in space
DE19518978C2 (en) The obstacle detection system for motor vehicles
DE10335501A1 (en) Process, for welding or cutting workpieces along a predetermined edge, comprises optically acquiring and evaluating a process site using a dynamic screening unit
EP0482240A1 (en) Method of accurate processing of flat or light curved workpieces
DE102007027377A1 (en) Device for processing a workpiece used in laser welding comprises a lens, an optical measuring system, a signal processing unit and a control unit
DE102006004919A1 (en) Laser beam welding head
DE10242710A1 (en) A method for producing a connecting portion on a workpiece
DE19618283A1 (en) Image pickup device and method for three-dimensional non-contact measurement
DE10351669A1 (en) Automated handling device e.g. multi-axial industrial robot, controlling method, involves sending output signal from comparator to control device of handling device based on detection of positional deviation of handling device
DE102008027008A1 (en) Method and apparatus for controlling a manipulator
DE4117008A1 (en) Measuring device for detecting an aggregation image
DE19849720A1 (en) Precision positioning of component in assembly position in grip-feed system makes position correction using coarse and fine positioning devices
DE102010005896A1 (en) Laser welding robot for connecting components by a welding seam, comprises a laser welding device arranged on an arm of the robot, a coupling device for laser radiation, a laser head and an electronic control
DE19854011A1 (en) Apparatus and method for measuring mechanisms and their position
EP1152212A2 (en) Device and procedure to calibrate the actuating arm of a robot