DE112021000229T5 - Roboter-System - Google Patents

Roboter-System Download PDF

Info

Publication number
DE112021000229T5
DE112021000229T5 DE112021000229.5T DE112021000229T DE112021000229T5 DE 112021000229 T5 DE112021000229 T5 DE 112021000229T5 DE 112021000229 T DE112021000229 T DE 112021000229T DE 112021000229 T5 DE112021000229 T5 DE 112021000229T5
Authority
DE
Germany
Prior art keywords
robot
target
image
coordinate system
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021000229.5T
Other languages
English (en)
Inventor
Yuta Namiki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE112021000229T5 publication Critical patent/DE112021000229T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39057Hand eye calibration, eye, camera on hand, end effector

Abstract

Es wird ein Robotersystem bereitgestellt, das in geeigneter Weise eine Korrektur von Roboterbewegungen durchführen kann. Das Robotersystem ist ausgestattet mit: einem visuellen Sensor, der ein erstes Bild eines Ziels aufnimmt, wenn sich der Roboter in einer vorgeschriebenen Position befindet, und der ein zweites Bild des Ziels aufnimmt, wenn sich der Roboter in der Position befindet, die sich aus der Bewegung des Roboters um eine vorgeschriebene Entfernung von der vorgenannten vorgeschriebenen Position ergibt; einer Kalibrierungsdatenspeichereinheit, die Kalibrierungsdaten speichert, die das Roboterkoordinatensystem des Roboters und das Bildkoordinatensystem des visuellen Sensors assoziieren; eine erste Erfassungseinheit, die auf der Grundlage des ersten Bildes und der Kalibrierungsdaten eine erste Position des Ziels in dem Roboterkoordinatensystem erfasst; eine zweite Erfassungseinheit, die auf Basis des ersten Bildes und des zweiten Bildes eine zweite Position des Ziels in dem Roboterkoordinatensystem erfasst; und eine Bestimmungseinheit, die bestimmt, ob die Differenz zwischen der ersten Position und der zweiten Position innerhalb eines vorgeschriebenen Bereichs liegt oder nicht.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung bezieht sich auf ein Robotersystem.
  • HINTERGRUNDKUNST
  • Herkömmliche Robotersysteme verfügen über einen visuellen Sensor, z. B. eine Bildgebungsvorrichtung, und erkennen die Position eines Ziels mit Hilfe des visuellen Sensors und führen Vorgänge wie die Handhabung und Verarbeitung des Ziels durch. Der visuelle Sensor erfasst Bilder des Ziels durch eine Bildgebungsvorrichtung, die an einem Roboter in der Nähe der Hand des Roboters installiert ist, oder durch eine Bildgebungsvorrichtung, die in einem Bereich um den Roboter herum installiert ist.
  • Ein solches Robotersystem erkennt das Ziel anhand des aufgenommenen Bildes und steuert die Bewegung des Roboters so, dass der Roboter in Abhängigkeit von der Position des erkannten Ziels arbeitet.
  • Das Robotersystem transformiert die Position des erkannten Ziels (Position in einem Bildkoordinatensystem oder in einem Sensorkoordinatensystem aus Sicht des visuellen Sensors) in die Position eines Werkstücks aus Sicht des Roboters (Position in einem Roboterkoordinatensystem), indem es Kalibrierungsdaten der Bildgebungsvorrichtung verwendet (siehe z. B. Patentdokument 1). Dies erlaubt dem Robotersystem, die Bewegung des Roboters so zu kompensieren, dass der Roboter den Betrieb in Bezug auf die Position des detektierten Ziels durchführt.
  • Patentdokument 1: Unbeanstandete japanische Patentanmeldung, Veröffentlichung Nr. JP H4-35885 A
  • OFFENBARUNG DER ERFINDUNG
  • Durch die Erfindung zu lösende Probleme
  • Es gelingt dem oben erwähnten Robotersystem manchmal nicht, die visuelle sensorgestützte Bewegungskompensation des Roboters aufgrund verschiedener Einstellungsfehler korrekt zu implementieren. In solchen Fällen führt der Roboter unbeabsichtigte Bewegungen aus. Daher besteht ein Bedarf an Mitteln zur korrekten Implementierung der Bewegungskompensation von Robotern.
  • Mittel zur Lösung der Probleme
  • Ein Robotersystem gemäß der vorliegenden Offenbarung umfasst: einen visuellen Sensor, der ein erstes Bild eines Ziels an einem Ort aufnimmt, die einer vorbestimmten Position eines Roboters entspricht, und ein zweites Bild des Ziels an einem Ort aufnimmt, die sich aus der Bewegung des Roboters ab der vorbestimmten Position um eine vorbestimmte Distanz ergibt; eine Kalibrierungsdatenspeichereinheit, die Kalibrierungsdaten zum Zuordnen eines Roboterkoordinatensystems des Roboters zu einem Bildkoordinatensystem des visuellen Sensors speichert; eine erste Erfassungseinheit, die eine erste Position des Ziels in dem Roboterkoordinatensystem auf Basis des ersten Bildes und der Kalibrierungsdaten erfasst; eine zweite Erfassungseinheit, die eine zweite Position des Ziels in dem Roboterkoordinatensystem auf Basis des ersten Bildes und des zweiten Bildes erfasst; und eine Bestimmungseinheit, die bestimmt, ob eine Differenz zwischen der ersten Position und der zweiten Position innerhalb eines vorgegebenen Bereichs liegt.
  • Ein Robotersystem gemäß der vorliegenden Offenbarung umfasst: einen visuellen Sensor, der eine Vielzahl von Bildern eines Ziels an einer Vielzahl von Orten als Ergebnis der Bewegung eines Roboters um eine vorbestimmte Distanz aufnimmt; eine Kalibrierungsdatenspeichereinheit, die Kalibrierungsdaten zum Zuordnen eines Roboterkoordinatensystems zu einem Bildkoordinatensystem speichert, wobei das Roboterkoordinatensystem als Referenz dient, auf deren Basis die Bewegung des Roboters gesteuert wird, wobei das Bildkoordinatensystem als Referenz dient, auf deren Basis der visuelle Sensor eine Messverarbeitung durchführt; eine erste Erfassungseinheit, die eine erste Position des Ziels in dem Roboterkoordinatensystem auf Basis der Vielzahl von Bildern und der Kalibrierungsdaten aufnimmt; eine zweite Erfassungseinheit, die eine zweite Position des Ziels in dem Roboterkoordinatensystem auf der Grundlage der Vielzahl von Bildern erfasst; und eine Bestimmungseinheit, die bestimmt, ob eine Differenz zwischen der ersten Position und der zweiten Position innerhalb eines vorbestimmten Bereichs liegt.
  • Ein Robotersteuerungsverfahren gemäß der vorliegenden Offenbarung umfasst: Bestimmen der Einstellung der Bewegungskompensation eines Roboters; Aufnehmen eines ersten Bildes eines Ziels an einem Ort, der einer ersten Position des Roboters entspricht; Aufnehmen eines zweiten Bildes des Ziels an einem Ort, der einer zweiten Position als Ergebnis einer Bewegung des Roboters ab der ersten Position um eine vorbestimmte Strecke entspricht; Erfassen einer ersten Position des Ziels in einem Roboterkoordinatensystem auf Basis des ersten Bildes und von Kalibrierungsdaten; Erfassen einer zweiten Position des Ziels in dem Roboterkoordinatensystem auf Basis des ersten Bildes und des zweiten Bildes; Bestimmen, ob eine Differenz zwischen der ersten Position und der zweiten Position innerhalb eines vorbestimmten Bereichs liegt; in einem Fall, in dem bestimmt wird, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, Schätzen einer Ursache einer Abnormalität in der Bewegungskompensation des Roboters, basierend auf der ersten Position, der zweiten Position und Positionen des Roboters, die der ersten Position und der zweiten Position entsprechen; und Ändern der Einstellung der Bewegungskompensation des Roboters, basierend auf der geschätzten Ursache der Abnormalität in der Bewegungskompensation des Roboters.
  • Ein Robotersteuerungsverfahren gemäß der vorliegenden Offenbarung umfasst: einen visuellen Sensor, der ein erstes Bild eines Ziels an einem Ort aufnimmt, der einer vorbestimmten Position eines Roboters entspricht, und ein zweites Bild des Ziels an einem Ort als Ergebnis einer Bewegung des Roboters von der vorbestimmten Position um eine vorbestimmte Distanz aufnimmt; eine Kalibrierungsdatenspeichereinheit, die Kalibrierungsdaten zum Zuordnen eines Roboterkoordinatensystems des Roboters zu einem Bildkoordinatensystem des visuellen Sensors speichert; eine erste Erfassungseinheit, die eine erste Position des Ziels in dem Roboterkoordinatensystem auf der Grundlage des ersten Bildes und der Kalibrierungsdaten erfasst; eine zweite Erfassungseinheit, die eine zweite Position des Ziels in dem Roboterkoordinatensystem auf der Grundlage des ersten Bildes und des zweiten Bildes erfasst; und eine Bestimmungseinheit, die auf Basis der ersten Position und der zweiten Position bestimmt, ob eine Beziehung zwischen der ersten Position und der zweiten Position innerhalb eines vorgegebenen Bereichs liegt.
  • Ein Robotersteuerungsverfahren gemäß der vorliegenden Offenbarung umfasst: einen visuellen Sensor, der ein erstes Bild eines Ziels an einem Ort aufnimmt, die einer vorbestimmten Position eines Roboters entspricht, und eine Vielzahl von Bildern des Ziels an einer Vielzahl von Orten als Ergebnis einer Bewegung des Roboters von der vorbestimmten Position um eine vorbestimmte Entfernung aufnimmt; eine Kalibrierungsdaten-Speichereinheit, die Kalibrierungsdaten zum Zuordnen eines Roboterkoordinatensystems des Roboters zu einem Bildkoordinatensystem des visuellen Sensors speichert eine erste Erfassungseinheit, die eine erste Position des Ziels in dem Roboterkoordinatensystem auf Basis des ersten Bildes des Ziels und der Kalibrierungsdaten erfasst; eine zweite Erfassungseinheit, die eine zweite Position des Ziels in dem Roboterkoordinatensystem auf Basis des ersten Bildes und der Vielzahl von Bildern erfasst; und eine Bestimmungseinheit, die auf der Grundlage der ersten Position und der Vielzahl von Orten bestimmt, ob eine Beziehung zwischen der ersten Position und der Vielzahl von Orten innerhalb eines vorgegebenen Bereichs liegt.
  • Auswirkungen der Erfindung
  • Die vorliegende Erfindung ermöglicht es, die Bewegungskompensation des Roboters sachgerecht umzusetzen.
  • Figurenliste
    • 1 ist ein Diagramm, das die Konfiguration eines Robotersystems zeigt;
    • 2 ist ein Diagramm, das die Konfiguration einer visuellen Sensorsteuerung und die Konfiguration einer Robotersteuerung zeigt;
    • 3 ist ein Diagramm zur Veranschaulichung der Bewegung des visuellen Sensors;
    • 4 ist ein Diagramm, das eine zweite Position Ps zeigt;
    • 5 ist ein Diagramm, das die Beziehung zwischen einer ersten Position Pw und einer zweiten Position Ps zeigt;
    • 6 ist ein Diagramm zur Veranschaulichung der Bewegung des visuellen Sensors;
    • 7 ist ein Diagramm, das eine Kalibrierschablone für die Kalibrierung zeigt;
    • 8 ist ein Diagramm, das die Kalibrierung mit Hilfe der Kalibrierschablone zeigt; und
    • 9 ist ein Flussdiagramm, das die von der visuellen Sensor-Steuerung durchgeführte Verarbeitung veranschaulicht.
  • BEVORZUGTER MODUS ZUM AUSFÜHREN DER ERFINDUNG
  • Eine Ausführungsform der vorliegenden Erfindung wird im Folgenden beschrieben. 1 ist ein Diagramm, das eine Konfiguration eines Robotersystems 1 zeigt. Wie in 1 dargestellt, umfasst das Robotersystem 1 einen Roboter 2, einen Arm 3, einen visuellen Sensor 4, eine visuelle Sensorsteuerung 5 und eine Robotersteuerung 6. Das Robotersystem 1 erkennt beispielsweise die Position eines Ziels W auf der Grundlage eines Bildes des Ziels W, das von dem visuellen Sensor 4 aufgenommen wird, und führt Vorgänge wie die Handhabung des Ziels W und die Verarbeitung des Ziels W durch.
  • Der Arm 3 des Roboters 2 hat eine Hand oder ein Werkzeug, das am distalen Ende des Arms 3 befestigt ist. Der Roboter 2 führt unter der Kontrolle der Robotersteuerung 6 Vorgänge wie die Handhabung oder Bearbeitung des Zielobjekts W durch. Der visuelle Sensor 4 ist am distalen Ende des Arms 3 des Roboters 2 angebracht.
  • Der visuelle Sensor 4 nimmt Bilder des Ziels W unter Steuerung der visuellen Sensor-Steuerung 5 auf. Der visuelle Sensor 4 kann als eine zweidimensionale Kamera konfiguriert werden, die ein Bildgebungselement aufweist, das aus einem ladungsgekoppelten Bildsensor (CCD) und einem optischen System mit einem Objektiv besteht. Alternativ kann der visuelle Sensor 4 als Stereokamera oder dergleichen konfiguriert sein, die in der Lage ist, eine dreidimensionale Messung durchzuführen.
  • Die Robotersteuerung 6 führt ein Bewegungsprogramm des Roboters 2 aus, um die Bewegung des Roboters 2 zu steuern. Bei der Steuerung der Bewegung des Roboters 2 kompensiert die Robotersteuerung 6 die Bewegung des Roboters 2, um den Roboter 2 zu veranlassen, eine vorbestimmte Operation in Bezug auf die Position des von der visuellen Sensorsteuerung 5 detektierten Ziels W durchzuführen.
  • 2 ist ein Diagramm, das die Konfiguration der visuellen Sensorsteuerung 5 und die Konfiguration der Robotersteuerung 6 zeigt. Die visuelle Sensorsteuerung 5 umfasst eine Speichereinheit 51 und eine Steuereinheit 52. Bei der Speichereinheit 51 handelt es sich um eine Speichervorrichtung, z. B. einen Festwertspeicher (ROM), der ein Betriebssystem (OS), Anwendungsprogramme usw. speichert, einen Arbeitsspeicher (RAM), ein Festplattenlaufwerk oder ein Solid-State-Laufwerk (SSD), das verschiedene andere Informationen speichert, usw.
  • Die Speichereinheit 51 beinhaltet eine Modellmuster-Speichereinheit 511 und eine Kalibrierdaten-Speichereinheit 512. Die Modellmuster-Speichereinheit 511 speichert ein Modellmuster, das durch Modellierung eines Bildes des Ziels W erzeugt wurde. Das Modellmuster stellt beispielsweise die Eigenschaften des Bildes des Ziels W dar.
  • Die Kalibrierungsdaten-Speichereinheit 512 speichert Kalibrierungsdaten, um ein Roboterkoordinatensystem mit einem Bildkoordinatensystem zu assoziieren. Das Roboterkoordinatensystem dient als Referenz, auf deren Grundlage die Bewegung des Roboters 2 gesteuert wird. Das Bildkoordinatensystem dient als Referenz, basierend auf der der visuelle Sensor 4 eine Messverarbeitung durchführt. Für die Kalibrierungsdaten sind verschiedene Formate und verschiedene Methoden zur Bestimmung der Formate vorgeschlagen worden. Jedes der vorgeschlagenen Formate und Verfahren kann verwendet werden.
  • Die Steuereinheit 52 ist ein Prozessor, z.B. eine Zentraleinheit (CPU), und führt in der Speichereinheit 51 gespeicherte Programme aus, um als erste Erfassungseinheit 521, zweite Erfassungseinheit 522, Bestimmungseinheit 523, Schätzeinheit 524, Kalibriereinheit 525 und Meldeeinheit 526 zu fungieren.
  • Die erste Erfassungseinheit 521 erfasst eine erste Position Pw des Ziels W im Roboterkoordinatensystem auf Basis eines ersten Bildes des Ziels W, das von dem visuellen Sensor 4 erfasst wurde, und der Kalibrierungsdaten.
  • Die zweite Erfassungseinheit 522 erfasst eine zweite Position Ps des Ziels W im Roboterkoordinatensystem, basierend auf dem ersten Bild und einem zweiten Bild des Ziels W.
  • Die Bestimmungseinheit 523 ermittelt, ob eine Differenz zwischen der ersten Position Pw und der zweiten Position Ps innerhalb eines vorgegebenen Bereichs liegt.
  • In einem Fall, in dem die Bestimmungseinheit 523 feststellt, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, schätzt die Abschätzeinheit 524 eine Ursache für eine Anomalie in der Bewegungskompensation des Roboters 2, basierend auf der ersten Position Pw, der zweiten Position Ps und Positionen des Roboters 2, die der ersten Position Pw und der zweiten Position Ps entsprechen.
  • Alternativ, in dem Fall, wenn die Bestimmungseinheit 523 feststellt, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, nimmt der visuelle Sensor 4 an einer Vielzahl von Orten eine Vielzahl von Bildern des Ziels W auf. Die Schätzeinheit 524 schätzt dann auf Basis der Vielzahl von Bildern und der Vielzahl von Orten eine Ursache für die Anomalie im Bewegungsausgleich des Roboters 2 ab.
  • Die Kalibrierungseinheit 525 führt die Kalibrierung des visuellen Sensors 4 durch. Einzelheiten zur Kalibrierung des visuellen Sensors 4 werden später beschrieben. Stellt die Bestimmungseinheit 523 fest, dass die Differenz außerhalb des vorgegebenen Bereichs liegt, meldet die Meldeeinheit 526 das Vorliegen einer Anomalie im Bewegungsausgleich des Roboters 2. Ferner meldet die Meldeeinheit 526 die Ursache der von der Schätzeinheit 524 geschätzten Anomalie. Beispielsweise gibt die Meldeeinheit 526 die Meldung so aus, dass eine Anomaliennachricht auf einer Anzeige (nicht dargestellt) oder dergleichen angezeigt wird.
  • Die Robotersteuerung 6 beinhaltet eine Bewegungssteuerungseinheit 61. Die Bewegungssteuerungseinheit 61 führt das Bewegungsprogramm des Roboters 2 aus, um die Bewegung des Roboters 2 zu steuern.
  • Nachfolgend werden die Einzelheiten der von der visuellen Sensorsteuerung 5 durchgeführten Operation unter Bezugnahme auf die 3 bis 8 beschrieben. Zunächst kalibriert die Kalibrierungseinheit 525 den visuellen Sensor 4 beispielsweise auf die folgende Weise. 7 ist eine schematische Darstellung einer Kalibrierschablone 7 für die Kalibrierung. 8 ist ein Diagramm, das die Kalibrierung mit der Kalibrierschablone 7 zeigt. Die Kalibrierschablone 7 hat ein in 7 dargestelltes Punktmuster, das für den visuellen Sensor 4 erkennbar ist. Das Punktmuster setzt sich aus großen und kleinen Punkten zusammen, die in einem Gittermuster angeordnet sind. Die großen Punkte sind L-förmig angeordnet und stellen ein Koordinatensystem der Kalibrierschablone 7 dar.
  • Die Kalibriereinheit 525 gibt eine Position der Kalibrierschablone 7 vom Roboterkoordinatensystem aus gesehen vor. Die Abstände zwischen den Punkten der Kalibrierschablone 7 sind im Voraus bekannt, z. B. aus der Konstruktionszeichnung der Kalibrierschablone 7. Dementsprechend spezifiziert die Kalibriereinheit 525 die bekannten Werte als die Abstände zwischen den Punkten und speichert Daten bezüglich der Abstände zwischen den Punkten als Teil der Kalibrierdaten in der Kalibrierdatenspeichereinheit 512.
  • Der visuelle Sensor 4 nimmt ein Bild der Kalibrierschablone 7 auf. Die Kalibrierungseinheit 525 erfasst die Position, an der sich der Roboter befand, als das Bild der Kalibrierschablone 7 aufgenommen wurde. Die Bewegungssteuerungseinheit 61 veranlasst den Roboter 2, eine vertikale Bewegung in Bezug auf die Kalibrierschablone 7 auszuführen, und der visuelle Sensor 4 nimmt dann ein Bild der Kalibrierschablone 7 auf. Die Kalibriereinheit erfasst eine Position, an der sich der Roboter befand, als das Bild der Kalibrierschablone 7 aufgenommen wurde.
  • Die Kalibrierungseinheit 525 kalibriert den visuellen Sensor 4 unter Verwendung von Informationen bezüglich der Positionen der Vielzahl von Punkten der Kalibrierschablone 7 im Bildkoordinatensystem und Informationen bezüglich der Positionen der Vielzahl von Punkten der Kalibrierschablone 7 im Roboterkoordinatensystem, wobei beide Informationen auf den aufgenommenen Bildern der Kalibrierschablone 7 basieren.
  • Durch die Kalibrierung des visuellen Sensors 4 können externe Parameter und interne Parameter des visuellen Sensors 4 bestimmt werden. Bei den externen Parametern handelt es sich um Informationen über die Position und die Haltung des visuellen Sensors, während die internen Parameter Informationen über die Bedingungen des optischen Systems des visuellen Sensors sind, wie z. B. die Brennweite eines Objektivs, die Verzeichnung des Objektivs und die Größe eines lichtempfangenden Elements. 3 ist ein Diagramm zur Veranschaulichung der Bewegung des visuellen Sensors 4. Zunächst bewegt die Bewegungssteuerungseinheit 61 der Robotersteuerung 6 den Roboter 2 so, dass sich das Ziel W in einem Bildgebungsbereich befindet. Der visuelle Sensor 4 nimmt dann ein erstes Bild des Ziels W auf. Zu diesem Zeitpunkt speichert die erste Erfassungseinheit 521 die Position, an der sich der Roboter 2 zum Zeitpunkt der Aufnahme des Bildes befand.
  • Die erste Erfassungseinheit 521 detektiert das Ziel W aus einem vorbestimmten Bereich des aufgenommenen ersten Bildes, indem sie sich auf das in der Modellmuster-Speichereinheit 511 gespeicherte Modellmuster bezieht. Auf diese Weise erfasst die erste Erfassungseinheit 521 die Position und Stellung des Ziels W im Bildkoordinatensystem.
  • Die erste Erfassungseinheit 521 transformiert die Position des Ziels W im Bildkoordinatensystem in eine dreidimensionale Position Pw im Roboterkoordinatensystem (Weltkoordinatensystem), basierend auf den in der Kalibrierungsdatenspeichereinheit 512 gespeicherten Kalibrierungsdaten und der Position des Roboters 2 zum Zeitpunkt der Bildaufnahme. Auf diese Weise ermittelt die erste Erfassungseinheit 521 die erste Position Pw des Ziels W im Roboterkoordinatensystem.
  • Wenn eine zweidimensionale Kamera zur Detektion des Ziels W verwendet wird, erfasst die erste Erfassungseinheit 521 die erste Position Pw als dreidimensionale Position, wobei angenommen wird, dass der Ort, an dem das Ziel W erfasst wird, auf einer bestimmten Ebene (Kompensationsebene) liegt. Diese Kompensationsebene wird typischerweise von einem Benutzer über ein Bedienfeld (nicht dargestellt) oder ähnliches eingestellt, das mit der visuellen Sensorsteuerung 5 verbunden ist.
  • Normalerweise wird die Bewegungskompensation des Roboters 2 anhand der ersten Position Pw des Zielobjekts W durchgeführt. Zu diesem Zeitpunkt werden als Bewegungskompensationsmethoden die absolute Positionskompensation und die relative Positionskompensation verwendet. Gemäß der absoluten Positionskompensation bewegt die Bewegungssteuerungseinheit 61 einen Werkzeugmittelpunkt (TCP) 8 (siehe 8) des Roboters 2 auf die erste Position Pw. Gemäß der relativen Positionskompensation ermittelt die Steuereinheit 52 im Voraus eine Position als Referenz (Bezugsposition) des Ziels und berechnet als Kompensationswert eine Differenz zwischen der Referenzposition und der ersten Position Pw. Die Robotersteuerung 6 implementiert dann eine Bewegungskompensation des Roboters 2, indem sie den berechneten Kompensationswert zu einer voreingestellten Bewegung des Roboters 2 addiert.
  • In einigen Fällen werden die oben beschriebenen Einstellungen der Bewegungskompensation aufgrund verschiedener Einstellungsfehler falsch ermittelt. Um einen Fehler bei der Bewegungskompensation des Roboters 2 zu identifizieren, führt das Robotersystem 1 gemäß der vorliegenden Ausführungsform die folgende Verarbeitung durch.
  • Wie in 3 illustriert, bewegt die Bewegungssteuerungseinheit 61 der Robotersteuerung 6 den Roboter 2 von der Referenzposition um eine vorbestimmte Distanz D in eine Richtung orthogonal zu einer optischen Achse des visuellen Sensors 4. Der visuelle Sensor 4 nimmt ein zweites Bild des Ziels W an einem Ort auf, der sich aus der Bewegung des Roboters 2 aus der Referenzposition um die vorbestimmten Distanz D ergibt. Dabei bezieht sich die vorbestimmte Distanz D auf eine Distanz von der Referenzposition zu einer Position, an der sich das Ziel W befindet, nachdem es ausreichend bewegt wurde, und an der das Ziel W durch den visuellen Sensor 4 detektiert werden kann.
  • 4 ist ein Diagramm, das die zweite Position Ps veranschaulicht. 5 ist ein Diagramm, das die Beziehung zwischen der ersten Position Pw und der zweiten Position Ps veranschaulicht. Die zweite Erfassungseinheit 522 detektiert das Ziel W aus dem ersten Bild des Ziels W, das an dem Ort aufgenommen wurde, der der Bezugsposition entspricht, und aus dem zweiten Bild des Ziels W, das an dem Ort aufgenommen wurde, der das Ergebnis der Bewegung des Roboters 2 um die vorbestimmte Entfernung D ist. Als Ergebnis wird die Position des Ziels im Bildkoordinatensystem und bei Sicht von den zwei Sichtpunkten A und B bestimmt.
  • Die zweite Erfassungseinheit 522 errechnet dann aus der Position des Ziels W im Bildkoordinatensystem zwei Sichtlinien. Die zweite Erfassungseinheit 522 bestimmt einen Schnittpunkt der beiden Sichtlinien oder einen Punkt, an dem die Distanz zwischen den beiden Sichtlinien am geringsten ist, als die zweite Position Ps des Ziels W.
  • In dem in dargestellten Beispiel schneiden sich die beiden Sichtlinien nicht. Dementsprechend erfasst die zweite Erfassungseinheit 522 als zweite Position Ps des Ziels W den Punkt, an dem die Distanz zwischen den beiden Sichtlinien am geringsten ist. Eine Bildaufnahmeeinheit kann eine Vielzahl von Bildern als zweite Bilder aufnehmen. In diesem Fall nimmt die Bildaufnahmeeinheit ein Bild des Ziels W an einem Ort als Ergebnis der Bewegung des Roboters 2 um die vorbestimmte Distanz D auf und nimmt dann ein weiteres Bild des Ziels W an einem anderen Ort als Ergebnis einer weiteren Bewegung des Roboters 2 um die vorbestimmte Distanz D von der vorherigen Bildaufnahmeposition auf. Dieser Prozess wird wiederholt.
  • In dem Fall, in dem die Bildaufnahmeeinheit eine Vielzahl von Bildern (z.B. drei oder mehr Bilder) als zweite Bilder aufnimmt, berechnet die zweite Erfassungseinheit 522 drei oder mehr Blickpunkte aus der Position des Ziels W im Bildkoordinatensystem. In diesem Fall berechnet die zweite Erfassungseinheit 522 als zweite Position Ps des Ziels W den Schnittpunkt der drei oder mehr Sichtlinien oder die Position, an der die Distanz zwischen den drei oder mehr Sichtlinien am geringsten ist, unter Verwendung der Methode der kleinsten Quadrate.
  • Da das Ziel W unbewegt bleibt, während die Position des Ziels W in den Bildern variiert, sollte eine Positionsabweichung (Differenz) zwischen der ersten Position Pw und der zweiten Position Ps innerhalb einer Toleranz liegen. Daher bestimmt die Bestimmungseinheit 523, ob die Differenz zwischen der ersten Position Pw und der zweiten Position Ps innerhalb eines vorgegebenen Bereichs liegt.
  • Falls die Bestimmungseinheit 523 feststellt, dass die Differenz innerhalb des vorbestimmten Bereichs liegt, bestimmt die Abschätzeinheit 524, dass der Bewegungsausgleich des Roboters 2 normal ausgeführt wird. Wenn die Bestimmungseinheit 523 bestimmt, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, bestimmt die Schätzeinheit 524, dass es eine Anomalie in der Bewegungskompensation des Roboters 2 gibt, und schätzt eine Ursache der Anomalie in der Bewegungskompensation des Roboters 2, basierend auf der ersten Position Pw, der zweiten Position Ps, den Positionen des Roboters 2 entsprechend der ersten Position Pw und der zweiten Position Ps ab.
  • Spezifisch schätzt in dem Fall, in dem die Bestimmungseinheit 523 feststellt, dass die Differenz außerhalb des vorgegebenen Bereichs liegt und sich die beiden Sichtlinien nicht schneiden (z. B. wie in 4), die Schätzeinheit 524 ab, dass die in der Kalibrierdatenspeichereinheit 512 gespeicherten Kalibrierdaten falsch sind.
  • Falls die Bestimmungseinheit 523 feststellt, dass die Differenz außerhalb des vorgegebenen Bereichs liegt und sich die beiden Sichtlinien schneiden, schätzt die Schätzeinheit 524, dass eine Kompensationsebene falsch ist, wie in dargestellt.
  • Wenn die Kalibrierungsdaten als falsch eingeschätzt werden, wird die Kalibrierung nach einer anderen Kalibrierungsmethode durchgeführt, wodurch der fehlerhafte Punkt der Kalibrierungsdaten geschätzt werden kann. 6 illustriert die Bewegung des visuellen Sensors 4. Wie in 6 dargestellt, bewegt die Bewegungssteuerungseinheit 61 den Roboter 2 von der Referenzposition entlang eines Gittermusters in Richtungen orthogonal zur optischen Achse des visuellen Sensors 4. Der visuelle Sensor 4 nimmt infolge der Bewegung des Roboters 2 an einer Vielzahl von Orten Bilder des Ziels W auf. Auf diese Weise wird die Vielzahl von Bildern des Ziels W vom visuellen Sensor 4 erfasst.
  • Die Kalibrierungseinheit 525 detektiert das Ziel W auf jedem der mehreren aufgenommenen Bilder und erfasst eine Position Pci des Ziels W im Bildkoordinatensystem. Ferner bestimmt die Kalibrierungseinheit 525 eine Position Psi des Ziels W aus der Sicht der Position eines Flansches des Roboters 2 zum Zeitpunkt der Aufnahme jedes der Bilder. Wie man sieht, bewegt die Bewegungssteuerungseinheit 61 den Roboter 2 n-mal (i = 1, 2, 3, ... n), und der visuelle Sensor 4 nimmt n-mal Bilder des Ziels W auf. Auf diese Weise erfasst die Kalibrierungseinheit 525 n Paare von (Pci, Psi) und kalibriert den visuellen Sensor 4 anhand der n Paare von (Pci, Psi).
  • Die Schätzeinheit 524 vergleicht die so ermittelten externen Parameter und internen Parameter des visuellen Sensors 4 mit den zuvor von der Kalibriereinheit 525 ermittelten externen Parametern und internen Parametern (siehe 7 und 8) und kann so eine Anomalie der externen Parameter und internen Parameter feststellen.
  • Wenn beispielsweise die externen Parameter falsch sind, schätzt die Schätzeinheit 524, dass die durch die Kalibrierung bestimmten internen Parameter falsch sind oder dass die Position der Kalibrierschablone 7 falsch ist. Wenn die internen Parameter falsch sind, schätzt die Schätzeinheit 524, dass die angegebenen Abstände zwischen den Punkten falsch sind oder dass bei der Kalibrierung ungeeignete Punkte verwendet wurden.
  • 9 ist ein Flussdiagramm, das die von der visuellen Sensorsteuerung 5 durchgeführte Verarbeitung veranschaulicht. In Schritt S1 bewegt die Bewegungssteuerungseinheit 61 den Roboter 2 so, dass sich das Ziel W innerhalb des Abbildungsbereichs befindet, und der visuelle Sensor 4 nimmt ein erstes Bild des Ziels W auf. Zu diesem Zeitpunkt speichert die erste Erfassungseinheit 521 die Position, an der sich der Roboter 2 zum Zeitpunkt der Aufnahme des Bildes befand.
  • In Schritt S2 erkennt die erste Erfassungseinheit 521 das Ziel W aus einem vorbestimmten Bereich des aufgenommenen ersten Bildes, indem sie das in der Modellmuster-Speichereinheit 511 gespeicherte Modellmuster verwendet. Die erste Erfassungseinheit 521 transformiert die Position des Ziels W im Bildkoordinatensystem in eine erste Position Pw im Roboterkoordinatensystem, basierend auf den in der Kalibrierungsdatenspeichereinheit 512 gespeicherten Kalibrierungsdaten und der Position, an der sich der Roboter 2 zum Zeitpunkt der Bildaufnahme befand.
  • In Schritt S3 bewegt die Bewegungssteuerungseinheit 61 der Robotersteuerung 6 den Roboter 2 von der Referenzposition um eine vorbestimmte Distanz D in einer Richtung orthogonal zur optischen Achse des visuellen Sensors 4. Der visuelle Sensor 4 nimmt ein zweites Bild des Ziels W an einem Ort auf, die sich aus der Bewegung des Roboters 2 um die vorbestimmte Distanz D ergibt.
  • In Schritt S4 detektiert die zweite Erfassungseinheit 522 das Ziel W aus dem ersten Bild des Ziels W, das an dem Ort aufgenommen wurde, der der Referenzposition entspricht, und aus dem zweiten Bild des Ziels W, das an dem Ort aufgenommen wurde, der sich aus der Bewegung des Roboters 2 um die vorbestimmte Distanz D ergibt.
  • Die zweite Erfassungseinheit 522 errechnet aus der Position des Ziels W im Bildkoordinatensystem zwei Sichtlinien. Die zweite Erfassungseinheit 522 erfasst einen Schnittpunkt der beiden Sichtlinien oder einen Punkt, an dem die Distanz zwischen den beiden Sichtlinien am geringsten ist, als zweite Position Ps des Ziels W.
  • In Schritt S5 wird ermittelt, ob die Differenz zwischen der ersten Position Pw und der zweiten Position Ps innerhalb eines vorgegebenen Bereichs liegt. Wenn die Differenz innerhalb des vorbestimmten Bereichs liegt (JA), wird mit Schritt S6 fortgefahren. Liegt die Differenz außerhalb des vorgegebenen Bereichs (NEIN), schreitet der Prozess zu Schritt S7 fort.
  • In Schritt S6 stellt die Schätzeinheit 524 fest, dass die Bewegungskompensation des Roboters 2 normal ausgeführt wird, und beendet dann die Verarbeitung.
  • In Schritt S7 stellt die Schätzeinheit fest, dass eine Abnormalität in der Bewegungskompensation des Roboters 2 vorliegt, und schätzt eine Ursache der Abnormalität in der Bewegungskompensation des Roboters 2, basierend auf der ersten Position Pw, der zweiten Position Ps und den Positionen des Roboters 2, die der ersten Position Pw und der zweiten Position Ps entsprechen, ab. In Schritt S8 meldet die Meldeeinheit 526 das Vorhandensein der Abnormalität in der Bewegungskompensation des Roboters. Ferner meldet die Meldeeinheit 526 die von der Schätzeinheit 524 geschätzte Ursache der Anomalie.
  • In Schritt S9 bewegt die Bewegungssteuerungseinheit 61 den Roboter 2 von der Referenzposition entlang eines Gittermusters in Richtungen orthogonal zur optischen Achse des visuellen Sensors 4. Der visuelle Sensor 4 erfasst ein Bild des Ziels W an jedem von mehreren Orten als Ergebnis der Bewegung des Roboters 2. Auf diese Weise nimmt der visuelle Sensor 4 eine Vielzahl von Bildern des Ziels W auf.
  • In Schritt S10 detektiert die Kalibrierungseinheit 525 das Ziel W aus jedem der mehreren aufgenommenen Bilder und erfasst eine Position Pci des Ziels W im Bildkoordinatensystem. Ferner bestimmt die Kalibrierungseinheit 525 eine Position Psi des Ziels W aus der Sicht der Position des Flanschs des Roboters 2 zum Zeitpunkt der Aufnahme jedes Bildes. Die Kalibrierungseinheit 525 kalibriert den visuellen Sensor 4 unter Verwendung von n Paaren (Pci, Psi), die auf die oben beschriebene Weise erfasst wurden.
  • Gemäß der vorliegenden Ausführungsform beinhaltet das Robotersystem 1: den visuellen Sensor 4, der das erste Bild des Ziels W an einem Ort aufnimmt, der der Bezugsposition des Roboters 2 entspricht, und das zweite Bild des Ziels W an einem Ort aufnimmt, die sich aus der Bewegung des Roboters 2 von der Bezugsposition um die vorbestimmte Distanz D ergibt; die Kalibrierungsdatenspeichereinheit 512, die die Kalibrierungsdaten speichert, um das Roboterkoordinatensystem dem Bildkoordinatensystem zuzuordnen, wobei das Roboterkoordinatensystem als Bezug dient, auf dessen Grundlage die Bewegung des Roboters 2 gesteuert wird, und das Bildkoordinatensystem als Bezug dient, auf dessen Grundlage der visuelle Sensor 4 eine Messverarbeitung durchführt; die erste Erfassungseinheit 521, die die erste Position Pw des Ziels W in dem Roboterkoordinatensystem auf der Grundlage des ersten Bildes und der Kalibrierungsdaten erfasst; die zweite Erfassungseinheit 522, die die zweite Position Ps des Ziels W in dem Roboterkoordinatensystem auf der Grundlage des ersten Bildes und des zweiten Bildes erfasst; und die Bestimmungseinheit 523, die bestimmt, ob die Differenz zwischen der ersten Position Pw und der zweiten Position Ps innerhalb des vorgegebenen Bereichs liegt. Aufgrund dieses Merkmals kann das Robotersystem 1 eine Anomalie in der Bewegungskompensation des Roboters 2 auf der Grundlage der Differenz zwischen der ersten Position Pw und der zweiten Position Ps feststellen.
  • Das Robotersystem 1 enthält ferner die Schätzeinheit 524, die in dem Fall, in dem die Bestimmungseinheit 523 feststellt, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, eine Ursache für die Anomalie im Bewegungsausgleich des Roboters 2 auf der Grundlage der ersten Position, der zweiten Position und der Positionen des Roboters 2, die der ersten Position und der zweiten Position entsprechen, schätzt. Wenn es eine Anomalie in der Bewegungskompensation des Roboters 2 gibt, erlaubt dieses Merkmal dem Robotersystem 1, eine Ursache der Anomalie zu schätzen. So kann das Robotersystem 1 die Bewegungskompensation des Roboters 2 auf der Grundlage der geschätzten Ursache für die Anomalie in der Bewegungskompensation des Roboters 2 ordnungsgemäß durchführen.
  • Im Robotersystem 1 nimmt der visuelle Sensor 4 in dem Fall, in dem die Bestimmungseinheit 523 feststellt, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, an einer Vielzahl von Orten eine Vielzahl von Bildern des Ziels W auf, und die Schätzeinheit 524 schätzt eine Ursache der Anomalie bei der Bewegungskompensation des Roboters 2 auf der Grundlage der Vielzahl von Bildern und der Vielzahl von Positionen ab. Aufgrund dieses Merkmals kann das Robotersystem 1 die Bewegungskompensation des Roboters 2 ordnungsgemäß durchführen.
  • Der visuelle Sensor 4 kann eine Vielzahl von zweiten Bildern des Ziels W aufnehmen, und die zweite Erfassungseinheit 522 kann eine Vielzahl von zweiten Positionen des Ziels W im Roboterkoordinatensystem auf der Grundlage des ersten Bildes und der Vielzahl der zweiten Bilder erfassen.
  • Aufgrund dieses Merkmals kann das Robotersystem 1 die Ursache der Anomalie im Positionsausgleich des Roboters 2 bestimmen, indem es die mehreren zweiten Bilder und die mehreren zweiten Positionen verwendet. Das Robotersystem 1 kann ferner eine Einstellungsänderungseinheit enthalten, die die Einstellung der Bewegungskompensation des Roboters auf der Grundlage der Ursache der Anomalie in der Bewegungskompensation des Roboters ändert, wobei die Ursache von der Schätzeinheit 524 geschätzt wurde. Diese Funktion ermöglicht es dem Robotersystem 1, die Einstellung der Bewegungskompensation des Roboters angemessen zu ändern.
  • In der oben beschriebenen Ausführungsform verwendet das Robotersystem 1 das erste Bild und das zweite Bild. Das Robotersystem kann jedoch auch nur ein Bild oder mehrere Bilder verwenden, die z. B. dem zweiten Bild entsprechen. Das Robotersystem 1 kann beispielsweise Folgendes beinhalten: eine erste Erfassungseinheit 521, die eine erste Position des Ziels W im Roboterkoordinatensystem auf der Grundlage einer Vielzahl von zweiten Bildern und Kalibrierungsdaten erfasst; und eine zweite Erfassungseinheit 522, die eine zweite Position des Ziels W im Roboterkoordinatensystem auf der Grundlage der Vielzahl von zweiten Bildern erfasst.
  • Anstelle der Konfiguration der oben beschriebenen Ausführungsform kann die Bestimmungseinheit 523 des Robotersystems 1 beispielsweise ein Verfahren zur Überprüfung der jeweiligen Elemente einer Differenz der dreidimensionalen Position zwischen der ersten Position Pw und der zweiten Position oder ein Verfahren zur Überprüfung einer Distanz verwenden. Mit anderen Worten, die Bestimmungseinheit 523 kann prüfen, ob ein Verhältnis zwischen der ersten Position Pw und der zweiten Position Ps innerhalb eines vorbestimmten Bereichs liegt, basierend auf einer Differenz zwischen der ersten Position Pw und der zweiten Position Ps. Ferner kann die Bestimmungseinheit 523 des Robotersystems 1 anstelle der oben beschriebenen Ausführungsform ein Verfahren zur Messung einer Verteilung oder Standardabweichung von drei oder mehr Positionen verwenden. Mit anderen Worten kann die Bestimmungseinheit 523 bestimmen, ob eine Beziehung zwischen der ersten Position und einer Vielzahl von Positionen innerhalb eines vorbestimmten Bereichs liegt, basierend auf der ersten Position und der Vielzahl von Positionen.
  • Es sollte beachtet werden, dass die oben beschriebenen Ausführungsformen nicht dazu gedacht sind, die vorliegende Erfindung einzuschränken. Die in den Ausführungsbeispielen beschriebenen Wirkungen sind lediglich die vorteilhaftesten Wirkungen, die die vorliegende Erfindung ausübt. Die Wirkungen der vorliegenden Erfindung sind nicht auf die oben beschriebenen beschränkt.
  • Bezugszeichenliste
  • 1
    Robotersystem
    2
    Roboter
    3
    Arm
    4
    Visueller Sensor
    5
    Visuelle Sensorsteuerung
    6
    Robotersteuerung
    61
    Bewegungssteuerungseinheit
    511
    Modellmuster-Speichereinheit
    512
    Kalibrierungsdaten-Speichereinheit
    521
    Erste Erfassungseinheit
    522
    Zweite Erfassungseinheit
    523
    Bestimmungseinheit
    524
    Schätzeinheit
    525
    Kalibrierungseinheit
    526
    Einheit Verkündigung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP H435885 A [0005]

Claims (11)

  1. Robotersystem, umfassend: einen visuellen Sensor, der ein erstes Bild eines Ziels an einem Ort aufnimmt, der einer vorbestimmten Position eines Roboters entspricht, und der ein zweites Bild des Ziels an einem Ort aufnimmt, die sich aus der Bewegung des Roboters von der vorbestimmten Position um eine vorbestimmte Distanz ergibt; eine Kalibrierungsdatenspeichereinheit, die Kalibrierungsdaten speichert, um ein Roboterkoordinatensystem des Roboters mit einem Bildkoordinatensystem des visuellen Sensors zu assoziieren; eine erste Erfassungseinheit, die auf Basis des ersten Bildes und der Kalibrierungsdaten eine erste Position des Ziels im Roboterkoordinatensystem erfasst; eine zweite Erfassungseinheit, die eine zweite Position des Ziels in dem Roboterkoordinatensystem auf Basis des ersten Bildes und des zweiten Bildes erfasst; und eine Bestimmungseinheit, die bestimmt, ob eine Differenz zwischen der ersten Position und der zweiten Position innerhalb eines vorgegebenen Bereichs liegt.
  2. Robotersystem gemäß Anspruch 1, weiter umfassend: eine Schätzeinheit, die in einem Fall, in dem die Bestimmungseinheit bestimmt, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, eine Ursache für eine Anomalie bei der Bewegungskompensation des Roboters auf Basis der ersten Position, der zweiten Position und der Positionen des Roboters, die der ersten Position und der zweiten Position entsprechen, abschätzt.
  3. Robotersystem gemäß Anspruch 2, wobei in dem Fall, in dem die Bestimmungseinheit feststellt, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, der visuelle Sensor eine Vielzahl von Bildern des Ziels an einer Vielzahl von Orten aufnimmt, und die Schätzeinheit die Ursache der Anomalie in der Bewegungskompensation des Roboters, basierend auf der Vielzahl von Bildern und der Vielzahl von Orten, abschätzt.
  4. Robotersystem gemäß Anspruch 2, weiter umfassend: eine Meldeeinheit, die das Vorhandensein der Anomalie in der Bewegungskompensation des Roboters in dem Fall meldet, in dem die Bestimmungseinheit feststellt, dass die Differenz außerhalb des vorgegebenen Bereichs liegt.
  5. Robotersystem gemäß Anspruch 4, wobei die Meldeeinheit die Ursache der Anomalie meldet, die von der Schätzeinheit geschätzt wurde.
  6. Robotersystem gemäß einem der Ansprüche 1 bis 5, wobei der visuelle Sensor das zweite Bild aufnimmt, das eine Vielzahl von zweiten Bildern des Ziels umfasst, und die zweite Erfassungseinheit die zweite Position erfasst, die eine Vielzahl von zweiten Positionen des Ziels im Roboterkoordinatensystem umfasst, basierend auf dem ersten Bild und der Vielzahl von zweiten Bildern.
  7. Robotersystem gemäß Anspruch 2 oder 3, weiter umfassend: eine Einstellungsänderungseinheit, die die Einstellung der Bewegungskompensation des Roboters auf der Grundlage der Ursache der Abnormalität in der Bewegungskompensation des Roboters ändert, wobei die Ursache von der Schätzeinheit geschätzt wurde.
  8. Robotersystem, umfassend: einen visuellen Sensor, der eine Vielzahl von Bildern eines Ziels an einer Vielzahl von Orten als Ergebnis der Bewegung eines Roboters um eine vorbestimmte Entfernung aufnimmt; eine Kalibrierungsdatenspeichereinheit, die Kalibrierungsdaten zum Zuordnen eines Roboterkoordinatensystems zu einem Bildkoordinatensystem speichert, wobei das Roboterkoordinatensystem als Referenz dient, auf deren Grundlage die Bewegung des Roboters gesteuert wird, und das Bildkoordinatensystem als Referenz dient, auf deren Grundlage der visuelle Sensor eine Messverarbeitung durchführt; eine erste Erfassungseinheit, die auf Basis der mehreren Bilder und der Kalibrierungsdaten eine erste Position des Ziels im Roboterkoordinatensystem erfasst; eine zweite Erfassungseinheit, die eine zweite Position des Ziels im Roboterkoordinatensystem basierend auf der Vielzahl von Bildern erfasst; und eine Bestimmungseinheit, die bestimmt, ob eine Differenz zwischen der ersten Position und der zweiten Position innerhalb eines vorgegebenen Bereichs liegt.
  9. Robotersteuer-Verfahren, umfassend: Bestimmung der Einstellung des Bewegungsausgleichs eines Roboters; Aufnehmen eines ersten Bildes eines Ziels an einem Ort, der einer ersten Position des Roboters entspricht; Aufnehmen eines zweiten Bildes des Ziels an einem Ort, der einer zweiten Position entspricht, als Ergebnis der Bewegung des Roboters von der ersten Position um eine vorbestimmte Entfernung; Erfassen einer ersten Position des Ziels in einem Roboterkoordinatensystem, basierend auf dem ersten Bild und den Kalibrierungsdaten; Erfassen einer zweiten Position des Ziels im Roboterkoordinatensystem, basierend auf dem ersten Bild und dem zweiten Bild; Bestimmen, ob eine Differenz zwischen der ersten Position und der zweiten Position innerhalb eines vorgegebenen Bereichs liegt; in einem Fall, in dem festgestellt wird, dass die Differenz außerhalb des vorbestimmten Bereichs liegt, Abschätzen einer Ursache für eine Anomalie in der Bewegungskompensation des Roboters, basierend auf der ersten Position, der zweiten Position und von Positionen des Roboters, die der ersten Position und der zweiten Position entsprechen; und Ändern der Einstellung des Bewegungsausgleichs des Roboters auf der Grundlage der geschätzten Ursache der Anomalie im Bewegungsausgleich des Roboters.
  10. Robotersystem, umfassend: einen visuellen Sensor, der ein erstes Bild eines Ziels an einem Ort aufnimmt, der einer vorbestimmten Position eines Roboters entspricht, und ein zweites Bild des Ziels an einem Ort aufnimmt, der sich aus der Bewegung des Roboters von der vorbestimmten Position um eine vorbestimmte Distanz ergibt; eine Kalibrierungsdatenspeichereinheit, die Kalibrierungsdaten speichert, um ein Roboterkoordinatensystem des Roboters mit einem Bildkoordinatensystem des visuellen Sensors zu assoziieren; eine erste Erfassungseinheit, die auf Basis des ersten Bildes und der Kalibrierungsdaten eine erste Position des Ziels im Roboterkoordinatensystem erfasst; eine zweite Erfassungseinheit, die eine zweite Position des Ziels in dem Roboterkoordinatensystem auf Basis des ersten Bildes und des zweiten Bildes erfasst; und eine Bestimmungseinheit, die auf Basis der ersten Position und der zweiten Position bestimmt, ob eine Beziehung zwischen der ersten Position und der zweiten Position innerhalb eines vorgegebenen Bereichs liegt.
  11. Robotersystem, umfassend: einen visuellen Sensor, der ein erstes Bild eines Ziels an einem Ort aufnimmt, die einer vorbestimmten Position eines Roboters entspricht, und der eine Vielzahl von Bildern des Ziels an einer Vielzahl von Orten als Ergebnis der Bewegung des Roboters von der vorbestimmten Position um eine vorbestimmte Entfernung aufnimmt; eine Kalibrierungsdatenspeichereinheit, die Kalibrierungsdaten speichert, um ein Roboterkoordinatensystem des Roboters mit einem Bildkoordinatensystem des visuellen Sensors zu assoziieren; eine erste Erfassungseinheit, die auf der Grundlage des ersten Bilds des Ziels und der Kalibrierungsdaten eine erste Position des Ziels im Roboterkoordinatensystem erfasst; eine zweite Erfassungseinheit, die eine zweite Position des Ziels im Roboterkoordinatensystem auf der Grundlage des ersten Bildes und der Vielzahl von Bildern erfasst; und eine Bestimmungseinheit, die bestimmt, ob eine Beziehung zwischen der ersten Position und der Vielzahl von Orten innerhalb eines vorbestimmten Bereichs liegt, basierend auf der ersten Position und der Vielzahl von Orten.
DE112021000229.5T 2020-01-14 2021-01-08 Roboter-System Pending DE112021000229T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-003862 2020-01-14
JP2020003862 2020-01-14
PCT/JP2021/000486 WO2021145280A1 (ja) 2020-01-14 2021-01-08 ロボットシステム

Publications (1)

Publication Number Publication Date
DE112021000229T5 true DE112021000229T5 (de) 2022-09-15

Family

ID=76864418

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021000229.5T Pending DE112021000229T5 (de) 2020-01-14 2021-01-08 Roboter-System

Country Status (5)

Country Link
US (1) US20230032421A1 (de)
JP (1) JP7414850B2 (de)
CN (1) CN114945450A (de)
DE (1) DE112021000229T5 (de)
WO (1) WO2021145280A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157067A1 (ja) * 2022-02-15 2023-08-24 ファナック株式会社 ロボットシステムおよびキャリブレーション方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435885A (ja) 1990-05-30 1992-02-06 Fanuc Ltd 視覚センサのキャリブレーション方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4220920B2 (ja) * 2004-03-08 2009-02-04 ファナック株式会社 視覚センサ
JP2006250722A (ja) * 2005-03-10 2006-09-21 Toshiba Corp キャリブレーション装置及びその方法、キャリブレーション用プログラム
JP5496008B2 (ja) * 2010-08-06 2014-05-21 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP5670416B2 (ja) * 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
JP6392908B2 (ja) * 2017-01-12 2018-09-19 ファナック株式会社 視覚センサの異常原因推定システム
US20200016757A1 (en) * 2017-03-09 2020-01-16 Mitsubishi Electric Corporation Robot control apparatus and calibration method
JP6871220B2 (ja) * 2018-11-08 2021-05-12 ファナック株式会社 制御システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435885A (ja) 1990-05-30 1992-02-06 Fanuc Ltd 視覚センサのキャリブレーション方法

Also Published As

Publication number Publication date
JPWO2021145280A1 (de) 2021-07-22
US20230032421A1 (en) 2023-02-02
CN114945450A (zh) 2022-08-26
JP7414850B2 (ja) 2024-01-16
WO2021145280A1 (ja) 2021-07-22

Similar Documents

Publication Publication Date Title
DE102018200155B4 (de) Kalibrationsvorrichtung, Kalibrationsverfahren und Programm für einen visuellen Sensor
DE102016116702B4 (de) Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters
DE102015101710B4 (de) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
DE102010032840B4 (de) Vorrichtung und Verfahren zum Messen der Position eines Werkzeugmittelpunktes eines Roboters
DE102016013274A1 (de) Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten
DE102018200154A1 (de) Kalibrationsvorrichtung, Kalibrationsverfahren und Programm für einen visuellen Sensor
DE102017002608A1 (de) Positioniersystem unter Verwendung eines Roboters
DE102006055758B4 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102017207696A1 (de) Kalibrierungsvorrichtung und Kalibrierungsverfahren
EP2166510B1 (de) Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
DE102015000589A1 (de) Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem
DE102015011914A1 (de) Konturlinienmessvorrichtung und Robotersystem
WO2013149916A2 (de) Verfahren und vorrichtung zur optischen bestimmung einer position und/oder orientierung eines objekts im raum
DE102015107390A1 (de) Verfahren und Vorrichtung zum automatischen Kalibrieren von Rundumsichtsystemen
DE102020118635A1 (de) 3D-Datenerzeugungsvorrichtung und Robotersteuersystem
DE102018113589A1 (de) Vorrichtung und Programm zur Positionserfassung
EP3900330B1 (de) Aufbau und vermessung eines aufbaus zur kalibrierung einer kamera
DE102018121481A1 (de) Entfernungsmesssystem und Entfernungsmessverfahren
DE102018007287A1 (de) Roboter-Controller zum Durchführen einer Kalibrierung, Messsystem und Kalibrierverfahren
DE112021000229T5 (de) Roboter-System
DE102017126495B4 (de) Kalibrierung eines stationären Kamerasystems zur Positionserfassung eines mobilen Roboters
DE112021000595T5 (de) Bildverarbeitungssystem
DE102017217063A1 (de) Erkennungssystem, Arbeitsverfahren und Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten
DE102019206977B4 (de) Vorrichtung und Verfahren zur Vermessung mindestens eines schräg im Raum stehenden Messobjekts
AT522028B1 (de) Verfahren sowie 3D-Sensoreinheit zum Bestimmen von dreidimensionalen Koordinaten von Punkten auf der Oberfläche eines Objekts

Legal Events

Date Code Title Description
R012 Request for examination validly filed