DE102015000589B4 - Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem - Google Patents

Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem Download PDF

Info

Publication number
DE102015000589B4
DE102015000589B4 DE102015000589.8A DE102015000589A DE102015000589B4 DE 102015000589 B4 DE102015000589 B4 DE 102015000589B4 DE 102015000589 A DE102015000589 A DE 102015000589A DE 102015000589 B4 DE102015000589 B4 DE 102015000589B4
Authority
DE
Germany
Prior art keywords
robot
visual sensor
coordinate system
sensor
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015000589.8A
Other languages
English (en)
Other versions
DE102015000589A1 (de
Inventor
Hiroyuki Atohira
Yoshiharu Nagatsuka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102015000589A1 publication Critical patent/DE102015000589A1/de
Application granted granted Critical
Publication of DE102015000589B4 publication Critical patent/DE102015000589B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39031Use of model for robot and for measuring device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

Datenerzeugungsvorrichtung (12) zur Erzeugung von Daten, die in einem Erfassungsvorgang unter Verwendung eines visuellen Sensors (40) verwendet werden, auf der Grundlage von Positionen dreidimensionaler Modelle eines Roboters (36), des visuellen Sensors und eines Objekts (42), die in einem virtuellen Raum positioniert sind, wobei die Datenerzeugungsvorrichtung umfasst: einen Ausweisungsabschnitt (18) für eine Roboterplatzierungsposition, der eingerichtet ist, um eine Platzierungsposition des Roboters in dem virtuellen Raum auf der Grundlage eines Referenzkoordinatensystems auszuweisen, das in dem virtuellen Raum definiert ist; einen Ausweisungsabschnitt (20) für eine Platzierungsposition eines visuellen Sensors, der eingerichtet ist, um eine Platzierungsposition des virtuellen Sensors in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems auszuweisen; einen Platzierungspositionsspeicherabschnitt (22), der eingerichtet ist, um die Platzierungspositionen des Roboters und des visuellen Sensors zu speichern; einen Positionsbeziehungsberechnungsabschnitt (24), der eingerichtet ist, um eine Positionsbeziehung zwischen einem Roboterkoordinatensystem (60), das in Relation zu dem Roboter definiert ist, und einem Sensorkoordinatensystem (62), das in Relation zu dem visuellen Sensor definiert ist, auf der Grundlage der Platzierungspositionen des Roboters und des visuellen Sensors zu berechnen, ohne eine Kalibrierung zum Zuordnen des Roboters zu dem visuellen Sensor durchzuführen; und einen Positionsbeziehungsspeicherabschnitt (26), der eingerichtet ist, um die Positionsbeziehung zwischen dem Roboterkoordinatensystem und dem Sensorkoordinatensystem als Daten zu speichern, die in einem Erfassungsvorgang des visuellen Sensors verwendet werden.

Description

  • Hintergrund der Erfindung
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Datenerzeugungsvorrichtung zur Erzeugung von Daten, die für einen Erfassungsvorgang mittels eines visuellen Sensors verwendet werden, der in einem virtuellen Raum angeordnet ist, und ein Erfassungssimulationssystem mit der Datenerzeugungsvorrichtung.
  • 2. Beschreibung des verwandten Stands der Technik
  • In einer Offline-Simulation gemäß dem Stand der Technik werden – zur Erfassung der Position und der Ausrichtung eines Werkstücks in einem Robotersystem mit einem visuellen Sensor – zuerst die Positionen eines Roboters, eines visuellen Sensors und eines Werkstücks oder einer Schablone zum Halten des Werkstücks bestimmt. Dann wird eine Kalibrierung zur Assoziierung des visuellen Sensors mit dem Roboter ausgeführt.
  • Die JP H06-137840 A offenbart zum Beispiel eine automatische Kalibrierungsvorrichtung, wobei ein Kalibrierungswerkstück mit ovalen Referenzlernpunkten durch eine Kamera aufgenommen wird und die Position von jedem Lernpunkt auf einem Bild auf der Grundlage der Positionen und Ausrichtungen der Referenzlernpunkte identifiziert wird, um automatisch mit der Position in einem Raum assoziiert zu werden. Dann wird ein Kameraparameter unter Verwendung eines Satzes von Bildkoordinatenwerten und Raumkoordinatenwerten auf jedem Lernpunkt berechnet.
  • Die JP H06-175712 A offenbart ein automatisches Kalibrierungsverfahren, in dem Tinte usw. auf eine untere Oberfläche eines Werkzeugs aufgebracht wird, das an einer Frontachse eines Roboters angefügt ist. Des Weiteren wird die Form des Werkzeugs auf eine beliebige Koordinatenebene übertragen. Dann wird ein übertragenes Bild aus einer Vielzahl von Positionen unter Verwendung eines visuellen Sensors aufgenommen, der an die Frontachse angefügt ist, wobei die Koordinate der Frontachse des Roboters auf der Grundlage der aufgenommenen Daten unter Verwendung eines Bildprozessors und eines Host-Computers erfasst wird. Des Weiteren wird die Positionsbeziehung zwischen der Frontachse des Roboters, dem Werkzeug und dem visuellen Sensor auf der Grundlage der Koordinate berechnet.
  • Die JP H10-340112 A offenbart einen Roboter mit einer automatischen Kalibrierungsfunktion, wobei der Roboter einen Roboterkörper, an den eine Roboterhand zum Ergreifen eines Werkstücks angefügt ist, eine Kamera und einen Bildprozessor aufweist. Der Roboter weist weiterhin eine Messlehre, die in Form des Werkstücks ausgebildet ist, eine Einrichtung zum Messen der Position der Messlehre auf der Grundlage eines Bildes der Messlehre, die durch die Roboterhand ergriffen wird und auf der Kamera positioniert ist, und eine Einrichtung zur Berechnung des Abgleichs der Koordinaten des Roboterkörpers und der Kamera auf der Grundlage der Steuerposition des Roboterkörpers und der Position der Messlehre auf.
  • Des Weiteren offenbart die JP H08-71972 A ein automatisches Einstellverfahren, wobei ein Roboter eine Ausrichtungsplatte mit Kreisen bei deren vier Ecken ergreift und die Ausrichtungsplatte entlang Roboterkoordinatenachsen in jedem visuellen Feld einer Kamera und zwischen jedem visuellen Feld bewegt. Dann wird die Koordinate des Mittelpunkts des Kreises in jedem visuellen Feld berechnet, um eine Kalibrierung auszuführen und eine Neigung der Kamera auf der Grundlage einer Abweichung zwischen den Kreisen auf einer Kamerakoordinate zu berechnen. Außerdem wird die Koordinate des Mittelpunkts des Kreises berechnet, während die visuellen Felder einander überlappen, und es wird ein Betrag der Überlappung der visuellen Felder und eine Abweichung der Kameraachse auf der Grundlage der Abweichung zwischen den Kreisen auf der Kamerakoordinate berechnet.
  • Wie vorstehend beschrieben wurde, wurden einige Techniken gemäß dem Stand der Technik offenbart, in denen die Kalibrierung ausgeführt wird, um die Positionsbeziehung zwischen dem Roboter und dem visuellen Sensor zu identifizieren. In einer derartigen Kalibrierung ist ein Messvorgang unter Verwendung des visuellen Sensors erforderlich. Des Weiteren erfordert eine derartige Kalibrierung besonderes Wissen und viel Zeit, was den menschlichen Bediener belastet.
  • Die Druckschrift US 7,974,462 B2 offenbart ein Verfahren zum Kalibrieren einer Bildaufnahmeumgebung auf der Grundlage eines aufgenommenen Bildes, das einen physikalischen Raum darstellt. Ein Index dient als eine Referenz zur Kalibrierung und wird durch eine Bildaufnahmeeinheit aufgenommen und es werden die Position und Ausrichtung der Bildaufnahmeeinheit aus dem erfassten Index berechnet.
  • Die Druckschrift US 2009/0 187 276 A1 offenbart ein Verfahren zum Korrigieren eines Bearbeitungs-Roboterprogramms, bei dem dreidimensionale Modelle eines Roboters, eines Werkstücks und einer Bildaufnahmeeinrichtung auf einem Display dargestellt werden und der Roboter das Werkstück bearbeitet. Es wird ein Änderungsbetrag zwischen der Position und der Ausrichtung eines jeden Bildermittlungsmodells und der tatsächlich ermittelten Position und der Ausrichtung des Teils des Werkstücks entsprechend dem Bildermittlungsmodell berechnet, und es werden die Position und die Ausrichtung eines in dem Ermittlungsbereich enthaltenen Anlernpunktes entsprechend dem Bildermittlungsmodell basierend auf dem Änderungsbetrag korrigiert.
  • Die Druckschrift JP 2009-6 452 A offenbart ein Kalibrierungsverfahren für einen Roboter, an dem eine 3D-Kamera angebracht ist. Es wird ein Ursprungspunkt des Roboterkoordinatensystems als Schnittpunkt von zwei äquivalenten transformierten Drehachsen berechnet, die sich jeweils auf Drehwinkel zweier gleichzeitig transformierte Transformationsmatrizen beziehen.
  • Die Druckschrift EP 2 684 651 A2 offenbart ein Robotersystem mit einer Kamera, die ein Bild einer beweglichen Einheit aufnimmt. Es findet eine Koordinatensystemkalibrierung des Robotermodells und des Kameramodells auf der Grundlage der Position/Ausrichtung des beweglichen Körpers in den beiden Koordinatensystemen statt.
  • Die Druckschrift DE 60 2004 013 107 T2 offenbart eine Vorrichtung zur Korrektur einer gelernten Position, die eine gelernte Position eines Bewegungsprogramms für einen Roboter korrigiert, der mit einer mechanischen Robotereinheit ausgerüstet ist. Es wird die gelernte Position eines gespeicherten Bewegungsprogramms basierend auf einer Veränderung in einer gewonnenen relativen Position korrigiert, wobei eine dreidimensionale Position von jedem von mindestens drei Merkmalen gewonnen werden, und zwar vor bzw. nach einer Veränderung einer Position der mechanischen Robotereinheit in Bezug auf ein zu bearbeitendes Objekt.
  • Kurzfassung der Erfindung
  • Deshalb besteht eine Aufgabe der Erfindung in der Bereitstellung einer Datenerzeugungsvorrichtung und eines Erfassungssimulationssystems, die in der Lage sind, eine Offline-Simulation unter Verwendung eines visuellen Sensors auszuführen, ohne die Kalibrierung zur Assoziierung des visuellen Sensors mit dem Roboter auszuführen.
  • Gemäß der Erfindung wird eine Vorrichtung gemäß dem unabhängigen Anspruch bereitgestellt. Entwicklungen sind aus den abhängigen Ansprüchen ersichtlich.
  • Vorzugsweise wird eine Datenerzeugungsvorrichtung zur Erzeugung von Daten, die in einem Erfassungsvorgang unter Verwendung eines visuellen Sensors verwendet werden, auf der Grundlage von Positionen dreidimensionaler Modelle eines Roboters, des visuellen Sensors und eines Objekts, die in einem virtuellen Raum angeordnet sind, vorgesehen, wobei die Datenerzeugungsvorrichtung umfasst: einen Ausweisungsabschnitt für eine Roboterplatzierungsposition, der eine Platzierungsposition des Roboters in dem virtuellen Raum auf der Grundlage eines Referenzkoordinatensystems ausweist, das in dem virtuellen Raum definiert ist; einen Ausweisungsabschnitt für eine Platzierungsposition eines visuellen Sensors, der eine Platzierungsposition des visuellen Sensors in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems ausweist; einen Platzierungspositionsspeicherabschnitt, der die Platzierungspositionen des Roboters und des visuellen Sensors speichert; einen Positionsbeziehungsberechnungsabschnitt, der eine Positionsbeziehung zwischen einem Roboterkoordinatensystem, das in Relation zu dem Roboter definiert ist, und einem Sensorkoordinatensystem, das in Relation zu dem visuellen Sensor definiert ist, auf der Grundlage der Platzierungspositionen des Roboters und des visuellen Sensors berechnet; und einen Speicherabschnitt für eine Positionsbeziehung, der die Positionsbeziehung zwischen dem Roboterkoordinatensystem und dem Sensorkoordinatensystem als Daten speichert, die in einem Erfassungsvorgang des visuellen Sensors verwendet werden.
  • Vorzugsweise umfasst die Datenerzeugungsvorrichtung weiterhin: einen Objektpositionsausweisungsabschnitt, der eine Position des Objekts in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems ausweist; und einen CG-Bilderzeugungsabschnitt, der ein Computergrafikbild erzeugt, das ein Quasibild entsprechend einem Bild ist, das erlangt wird, wenn das Objekt durch den visuellen Sensor aufgenommen wird, auf der Grundlage einer Positionsbeziehung zwischen dem visuellen Sensor und dem Objekt.
  • Vorzugsweise ist das dreidimensionale Modell des visuellen Sensors an einen beweglichen Abschnitt des dreidimensionalen Modells des Roboters angefügt.
  • Vorzugsweise ist ein Erfassungssimulationssystem vorgesehen, das umfasst: die Datenerzeugungsvorrichtung gemäß der Erfindung; und einen Bildprozessor, der einen Erfassungsvorgang des Objekts unter Verwendung der Daten ausführt, die in dem Erfassungsvorgang des visuellen Sensors verwendet werden.
  • Vorzugsweise umfasst der Bildprozessor: einen Erfassungsverarbeitungsabschnitt, der den Erfassungsvorgang in Relation zu dem Computergrafikbild unter Verwendung der Daten ausführt; und einen Objektpositionsberechnungsabschnitt, der eine Position des Objekts auf der Grundlage eines Ergebnisses des Erfassungsvorgangs durch den Erfassungsverarbeitungsabschnitt berechnet.
  • Vorzugsweise ist das dreidimensionale Modell des visuellen Sensors an einen beweglichen Abschnitt des dreidimensionalen Modells des Roboters angefügt.
  • Kurze Beschreibung der Zeichnungen
  • Die vorstehend beschriebenen und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden durch die nachfolgende Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen deutlicher werden. Es zeigen:
  • 1 eine Funktionsblockdarstellung eines Erfassungssimulationssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 2 ein Ablaufdiagramm, das eine Prozedur des Erfassungssimulationssystems der vorliegenden Erfindung zeigt;
  • 3 ein Anzeigebeispiel eines Zustands, in dem ein Roboter, ein visueller Sensor, ein Werkstück und eine Schablone in einem virtuellen Raum platziert sind;
  • 4 einen Zustand, in dem ein Roboterkoordinatensystem und ein Sensorkoordinatensystem in Relation zu dem Roboter und dem visuellen Sensor jeweils in dem virtuellen Raum definiert sind;
  • 5 ein Beispiel eines CG-Bildes, das durch Aufnehmen des Werkstücks mittels des visuellen Sensors erlangt ist;
  • 6 ein Beispiel, in dem die Position des Werkstücks korrigiert ist; und
  • 7 ein Beispiel, in dem der visuelle Sensor an einen beweglichen Abschnitt des Roboters angefügt ist.
  • Ausführliche Beschreibung
  • 1 zeigt eine Funktionsblockdarstellung eines Erfassungssimulationssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Erfassungssimulationssystem 10 umfasst eine Datenerzeugungsvorrichtung 12, die Daten, die für einen Erfassungsvorgang erforderlich sind, unter Verwendung eines visuellen Sensors auf der Grundlage der Positionen eines Roboters, des visuellen Sensors und eines Objekts erzeugt, die in einem virtuellen Raum positioniert sind, und einen Bildprozessor 14, der den Erfassungsvorgang der Position des Objekts unter Verwendung der Daten ausführt.
  • Die Datenerzeugungsvorrichtung 12 weist auf: einen Platzierungsabschnitt 16, der dreidimensionale Modelle eines Roboters, eines visuellen Sensors und eines Objektes in einem virtuellen Raum platziert; einen Ausweisungsabschnitt 18 für eine Roboterplatzierungsposition, der eine Platzierungsposition des Roboters in dem virtuellen Raum auf der Grundlage eines Referenzkoordinatensystems ausweist, das in dem virtuellen Raum definiert ist; einen Ausweisungsabschnitt 20 für eine Platzierungsposition eines visuellen Sensors, der eine Platzierungsposition des visuellen Sensors in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems ausweist; einen Platzierungspositionsspeicherabschnitt 22, der die Platzierungspositionen des Roboters und des visuellen Sensors speichert; einen Berechnungsabschnitt 24 für eine Positionsbeziehung, der eine Positionsbeziehung zwischen einem Roboterkoordinatensystem, das in Relation zu dem Roboter definiert ist, und einem Sensorkoordinatensystem, das in Relation zu dem visuellen Sensor definiert ist, auf der Grundlage der Platzierungspositionen des Roboters und des visuellen Sensors berechnet; und einen Positionsbeziehungsspeicherabschnitt 26, der die Positionsbeziehung zwischen dem Roboterkoordinatensystem und dem Sensorkoordinatensystem als Daten speichert, die in einem Erfassungsvorgang des visuellen Sensors verwendet werden; einen Ausweisungsabschnitt 28 für eine Objektposition, der eine Position des Objekts in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems ausweist; und einen CG-Bilderzeugungsabschnitt 30, der ein Computergrafikbild, das ein Quasibild entsprechend einem Bild ist, das erlangt wird, wenn das Objekt durch den visuellen Sensor aufgenommen wird, auf der Grundlage einer Positionsbeziehung zwischen dem visuellen Sensor und dem Objekt erzeugt.
  • Demgegenüber weist der Bildprozessor 14 auf: einen Erfassungsverarbeitungsabschnitt 32, der den Erfassungsvorgang in Relation zu dem Computergrafikbild unter Verwendung der vorstehend beschriebenen Daten ausführt; und einen Objektpositionsberechnungsabschnitt 34, der eine Position des Objekts auf der Grundlage eines Ergebnisses des Erfassungsvorgangs durch den Erfassungsverarbeitungsabschnitt 32 berechnet. Nachstehend wird eine Prozedur unter Verwendung des Erfassungssimulationssystems 10 unter Bezugnahme auf 2 und 3 beschrieben werden.
  • 2 zeigt ein Ablaufdiagramm, das wiederum die Prozedur des Erfassungssimulationssystems 10 zeigt, und 3 zeigt ein Anzeigebeispiel eines Zustands, in dem die dreidimensionalen Modelle des Roboters, des visuellen Sensors und des Objekts in dem virtuellen Raum platziert sind. Zuerst, wie in 3 gezeigt, werden dreidimensionale Modelle eines Roboters 36, einer Steuervorrichtung 38 zum Steuern des Roboters 36, eines visuellen Sensors 40, wie einer Kamera, eines Werkstücks 42 und einer Schablone 44 zum Halten des Werkstücks 42 in dem virtuellen Raum platziert (Schritt S1). In dem gezeigten Ausführungsbeispiel ist der Roboter 36 ein Mehrgelenksroboter mit sechs Achsen, der eine Basis 46, einen Drehkörper 48, der drehbar an die Basis 46 angefügt ist, einen Oberarm 50, der drehbar an den Drehkörper 48 angefügt ist, einen Unterarm 52, der drehbar an den Oberarm 50 angefügt ist, ein Handgelenkelement 54, das drehbar an den Unterarm 52 angefügt ist, und ein Arbeitswerkzeug 56 aufweist, das an das Handgelenkelement 54 angefügt ist. In diesem Fall kann eine Simulation ausgeführt werden, wobei ein vorbestimmter Vorgang, wie eine maschinelle Bearbeitung oder ein Schweißvorgang des Werkstücks 42, ausgeführt wird.
  • Hierbei kann das durch den visuellen Sensor aufgenommene Objekt zumindest eines aus Werkstück und Schablone umfassen. In dem Ausführungsbeispiel wird das Werkstück 42, das durch die Schablone 44 gehalten wird, durch den visuellen Sensor 40 aufgenommen. In der vorliegenden Erfindung ist es – obwohl es erforderlich ist, den Roboter, den visuellen Sensor und das Objekt in dem virtuellen Raum zu platzieren – nicht erforderlich, die Gesamtheit des Roboters, des visuellen Sensors und des Objekts auf einem Schirm usw. anzuzeigen, der für einen Bediener sichtbar ist.
  • Als nächstes wird in Schritt S2 auf der Grundlage eines Referenzkoordinatensystems 58, das in dem virtuellen Raum definiert ist, eine Platzierungsposition des Roboters 36 in dem virtuellen Raum ausgewiesen. In ähnlicher Weise wird in Schritt S3 auf der Grundlage des Referenzkoordinatensystems 58 eine Platzierungsposition des visuellen Sensors 6 in dem virtuellen Raum ausgewiesen. In dem nächsten Schritt S4 werden jeweils die Platzierungspositionen des Roboters 36 und des visuellen Sensors 40 gespeichert, die in Schritten S2 und S3 ausgewiesen wurden.
  • Als nächstes, wie in 4 gezeigt, wird ein Roboterkoordinatensystem 60 in Relation zu dem Roboter 36 definiert, und wird in ähnlicher Weise ein Sensorkoordinatensystem 62 in Relation zu dem visuellen Sensor 40 definiert. Dann wird auf der Grundlage der Platzierungspositionen des Roboters 36 und des visuellen Sensors 40 eine Positionsbeziehung zwischen dem Roboterkoordinatensystem 60 und dem Sensorkoordinatensystem 62 berechnet (Schritt S5). Diese Positionsbeziehung kann zum Beispiel als eine Koordinate (X, Y, Z) des Ursprungs von einem des Roboterkoordinatensystems 60 und des Sensorkoordinatensystems 62 relativ zu dem Ursprung des jeweils anderen des Roboterkoordinatensystems 60 und des Sensorkoordinatensystems 62 bestimmt werden. In dem gezeigten Ausführungsbeispiel sind sowohl das Roboterkoordinatensystem 60 als auch das Sensorkoordinatensystem 62 orthogonale Koordinatensysteme. Es kann jedoch zumindest eines der Koordinatensysteme ein Polarkoordinatensystem (r, θ, z) sein.
  • Als nächstes wird in Schritt S6 die Positionsbeziehung, die in Schritt S5 berechnet wurde, als Daten gespeichert, die für den Erfassungsvorgang unter Verwendung des visuellen Sensors 40 erforderlich sind. Die Daten können in der Steuervorrichtung 38 gespeichert werden oder können als eine separate Datei gespeichert werden. Zudem kann als die Daten, die für den Erfassungsvorgang unter Verwendung des visuellen Sensors erforderlich sind, außer der vorstehend beschriebenen Positionsbeziehung, ein Parameter, wie eine Fokallenge, eine Bildgröße (oder die Anzahl der Pixel), eine Verzerrung einer Linse, eine Pixelgröße und ein Aspektverhältnis des Pixels usw. des visuellen Sensors gespeichert werden.
  • In dem nächsten Schritt S7 wird auf der Grundlage des Referenzkoordinatensystems 58 die Platzierungsposition des Objekts (zumindest eines aus Werkstück 42 und Schablone 44) in dem virtuellen Raum ausgewiesen. Als nächstes wird in Schritt S8 auf der Grundlage einer Positionsbeziehung zwischen dem visuellen Sensor 40 und dem Werkstück 42 oder der Schablone 44 ein Computergrafik-(CG, computer graphics)-Bild erzeugt, das ein Quasibild entsprechend einem Bild ist, das erlangt wird, wenn das Werkstück 42 oder die Schablone 44 durch den visuellen Sensor aufgenommen wird oder werden. 5 zeigt ein Beispiel eines CG-Bildes, das erlangt wird, indem das Werkstück 42 mittels des visuellen Sensors 40 aufgenommen wird.
  • Schließlich wird in Schritt S9 unter Verwendung der Daten, die für den Erfassungsvorgang des visuellen Sensors erforderlich sind, der Erfassungsvorgang in Relation zu dem CG-Bild ausgeführt, das in Schritt S8 erzeugt ist, und wird dann auf der Grundlage eines Ergebnisses des Erfassungsvorgangs die Position des Werkstücks 42 oder der Schablone relativ zu dem Roboter 36 berechnet. In diesem Vorgang kann nach Bedarf der Parameter verwendet werden, wie die Fokallenge, die Bildgröße (oder die Anzahl der Pixel), die Verzerrung der Linse, die Pixelgröße und das Aspektverhältnis des Pixels usw. des visuellen Sensors.
  • 6 zeigt ein Beispiel der Prozedur in Schritt S9. In Relation zu einer Referenzaufnahmeposition des Werkstücks, die durch eine gestrichelte Linie 64 dargestellt ist, wenn eine Aufnahmeposition des Werkstücks, die erlangt wird, indem das Werkstück 42 mittels des visuellen Sensors 40 in einem bestimmten Zustand in dem virtuellen Raum aufgenommen wird, eine Position ist, die durch das Bezugszeichen 66 angegeben ist, dann entspricht eine Differenz (oder ein Betrag an Versatz) 68 zwischen der Aufnahmeposition 66 und der Referenzaufnahmeposition 64 einem Betrag an Positionskorrektur für das Werkstück 42 in diesem Zustand. Unter Verwendung des Betrags an Positionskorrektur kann die Position des Werkstücks 42 relativ zu dem visuellen Sensor 40 berechnet werden. Auf der Grundlage der Positionsbeziehung zwischen dem visuellen Sensor 40 und dem Werkstück 42, die wie vorstehend beschrieben berechnet wurde, und auf der Grundlage der gespeicherten Positionsbeziehung zwischen dem Roboter (oder dem Roboterkoordinatensystem 60) und dem visuellen Sensor 40 (oder dem Sensorkoordinatensystem 62) kann die Position des Werkstücks 42 relativ zu dem Roboter 36 berechnet werden, wodurch eine präzise Offline-Simulation des Betriebs des Roboters 36 in Relation zu dem Werkstück 42 ausgeführt werden kann.
  • In der vorliegenden Erfindung ist – durch Berechnung und Speicherung der Positionsbeziehung zwischen dem Roboter (oder dem Roboterkoordinatensystem) und dem visuellen Sensor (oder dem Sensorkoordinatensystem) – eine Kalibrierung für die Assoziierung des Roboters und des visuellen Sensors nicht erforderlich. Deshalb kann der Bediener die Simulation in kurzer Zeit ohne Verwendung besonderen Wissens ausführen, wodurch die Arbeitslast des Bedieners deutlich verringert wird.
  • In dem vorstehend beschriebenen Ausführungsbeispiel werden der Roboter 36 und der visuelle Sensor 42 separat positioniert, und werden die Position und die Ausrichtung des visuellen Sensors 40 durch die Bewegung des Roboters 36 nicht verändert. In einem modifizierten Ausführungsbeispiel jedoch, wie in 7 gezeigt, kann der visuelle Sensor 40 an einen beweglichen Abschnitt (wie den Unterarm oder das Handgelenkelement) oder ein Bindeglied des beweglichen Abschnitts des Roboters 36 angefügt (oder fixiert) sein. Ebenso in diesem Fall können – ähnlich dem vorstehend beschriebenen Ausführungsbeispiel – die Position und die Ausrichtung des visuellen Sensors 40 auf der Grundlage der Position und des Drehwinkels jeder Achse des Roboters berechnet werden, wodurch die Positionsbeziehung zwischen dem Roboter (oder dem Roboterkoordinatensystem) und dem visuellen Sensor (oder dem Sensorkoordinatensystem) berechnet und gespeichert werden können.
  • In der Datenerzeugungsvorrichtung gemäß der vorliegenden Erfindung können die Daten, die für den Erfassungsvorgang des visuellen Sensors verwendet werden, auf der Grundlage der Platzierungspositionen des Roboters und des visuellen Sensors erzeugt werden. Deshalb ist es nicht erforderlich, den Kalibrierungsvorgang zur Assoziierung des Roboters mit dem visuellen Sensor auszuführen, wodurch kein besonderes Wissen erforderlich ist, die Betriebszeit verringert wird und die Arbeitslast des Bedieners deutlich verringert werden kann.

Claims (6)

  1. Datenerzeugungsvorrichtung (12) zur Erzeugung von Daten, die in einem Erfassungsvorgang unter Verwendung eines visuellen Sensors (40) verwendet werden, auf der Grundlage von Positionen dreidimensionaler Modelle eines Roboters (36), des visuellen Sensors und eines Objekts (42), die in einem virtuellen Raum positioniert sind, wobei die Datenerzeugungsvorrichtung umfasst: einen Ausweisungsabschnitt (18) für eine Roboterplatzierungsposition, der eingerichtet ist, um eine Platzierungsposition des Roboters in dem virtuellen Raum auf der Grundlage eines Referenzkoordinatensystems auszuweisen, das in dem virtuellen Raum definiert ist; einen Ausweisungsabschnitt (20) für eine Platzierungsposition eines visuellen Sensors, der eingerichtet ist, um eine Platzierungsposition des virtuellen Sensors in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems auszuweisen; einen Platzierungspositionsspeicherabschnitt (22), der eingerichtet ist, um die Platzierungspositionen des Roboters und des visuellen Sensors zu speichern; einen Positionsbeziehungsberechnungsabschnitt (24), der eingerichtet ist, um eine Positionsbeziehung zwischen einem Roboterkoordinatensystem (60), das in Relation zu dem Roboter definiert ist, und einem Sensorkoordinatensystem (62), das in Relation zu dem visuellen Sensor definiert ist, auf der Grundlage der Platzierungspositionen des Roboters und des visuellen Sensors zu berechnen, ohne eine Kalibrierung zum Zuordnen des Roboters zu dem visuellen Sensor durchzuführen; und einen Positionsbeziehungsspeicherabschnitt (26), der eingerichtet ist, um die Positionsbeziehung zwischen dem Roboterkoordinatensystem und dem Sensorkoordinatensystem als Daten zu speichern, die in einem Erfassungsvorgang des visuellen Sensors verwendet werden.
  2. Datenerzeugungsvorrichtung gemäß Anspruch 1, wobei die Datenerzeugungsvorrichtung weiterhin umfasst: einen Objektpositionsausweisungsabschnitt (28), der eingerichtet ist, um eine Position des Objekts in dem virtuellen Raum auf der Grundlage des Referenzkoordinatensystems auszuweisen; und einen CG-Bilderzeugungsabschnitt (30), der eingerichtet ist, um ein Computergrafikbild, das ein Quasibild entsprechend einem Bild ist, das erlangt wird, wenn das Objekt durch den visuellen Sensor aufgenommen wird, auf der Grundlage einer Positionsbeziehung zwischen dem visuellen Sensor und dem Objekt zu erzeugen.
  3. Datenerzeugungsvorrichtung gemäß Anspruch 1 oder 2, wobei das dreidimensionale Modell des visuellen Sensors an einen beweglichen Abschnitt des dreidimensionalen Modells des Roboters angefügt ist.
  4. Erfassungssimulationssystem (10), umfassend: die Datenerzeugungsvorrichtung (12) gemäß Anspruch 2; und einen Bildprozessor (14), der eingerichtet ist, um einen Erfassungsvorgang des Objekts unter Verwendung der Daten auszuführen, die in dem Erfassungsvorgang des visuellen Sensors verwendet werden.
  5. Erfassungssimulationssystem gemäß Anspruch 4, wobei der Bildprozessor (14) umfasst: einen Erfassungsverarbeitungsabschnitt (32), der eingerichtet ist, um den Erfassungsvorgang in Relation zu dem Computergrafikbild unter Verwendung der Daten auszuführen; und einen Objektpositionsberechnungsabschnitt (34), der eine Position des Objekts auf der Grundlage eines Ergebnisses des Erfassungsvorgangs durch den Erfassungsverarbeitungsabschnitt berechnet.
  6. Erfassungssimulationssystem gemäß Anspruch 4 oder 5, wobei das dreidimensionale Modell des visuellen Sensors an einen beweglichen Abschnitt des dreidimensionalen Modells des Roboters angefügt ist.
DE102015000589.8A 2014-01-23 2015-01-16 Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem Active DE102015000589B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014010363A JP5815761B2 (ja) 2014-01-23 2014-01-23 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP2014-010363 2014-01-23

Publications (2)

Publication Number Publication Date
DE102015000589A1 DE102015000589A1 (de) 2015-08-06
DE102015000589B4 true DE102015000589B4 (de) 2016-07-14

Family

ID=53544001

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015000589.8A Active DE102015000589B4 (de) 2014-01-23 2015-01-16 Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem

Country Status (4)

Country Link
US (1) US9519736B2 (de)
JP (1) JP5815761B2 (de)
CN (1) CN104802173B (de)
DE (1) DE102015000589B4 (de)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
JP6294248B2 (ja) * 2015-01-28 2018-03-14 ファナック株式会社 ロボットを用いたキサゲ加工装置及びキサゲ加工方法
JP6117853B2 (ja) * 2015-05-13 2017-04-19 ファナック株式会社 バラ積みされた物品を取り出すための物品取出システム、および方法
EP3321044A4 (de) * 2015-08-25 2019-05-29 Kawasaki Jukogyo Kabushiki Kaisha Fernsteuerungsmanipulatorsystem und betriebsverfahren dafür
JP6298026B2 (ja) 2015-09-15 2018-03-20 ファナック株式会社 多関節ロボットのたわみを計測するたわみ計測システム
US11054802B2 (en) * 2015-10-21 2021-07-06 Mitsubishi Electric Research Laboratories, Inc. System and method for performing operations of numerical control machines
JP6540472B2 (ja) 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6551184B2 (ja) 2015-11-18 2019-07-31 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
CN106393144B (zh) * 2016-11-26 2018-09-04 顺德职业技术学院 一种多机器人操作模式下视觉跟踪的方法及系统
CN106527239B (zh) * 2016-12-30 2018-12-21 华南智能机器人创新研究院 一种多机器人协同操作模式的方法及系统
JP6438510B2 (ja) * 2017-03-09 2018-12-12 ファナック株式会社 治具設計支援装置及びロボットシミュレーション装置
JP7124509B2 (ja) * 2018-07-19 2022-08-24 オムロン株式会社 シミュレーション装置、シミュレーションプログラムおよびシミュレーション方法
JP7059968B2 (ja) * 2019-03-01 2022-04-26 オムロン株式会社 制御装置および位置合わせ装置
DE102019106458A1 (de) * 2019-03-13 2020-09-17 ese-robotics GmbH Verfahren zur Ansteuerung eines Industrieroboters
JP7326911B2 (ja) * 2019-06-20 2023-08-16 オムロン株式会社 制御システムおよび制御方法
JP7376268B2 (ja) * 2019-07-22 2023-11-08 ファナック株式会社 三次元データ生成装置及びロボット制御システム
JP7264763B2 (ja) * 2019-08-07 2023-04-25 株式会社日立製作所 キャリブレーション装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06137840A (ja) * 1992-10-22 1994-05-20 Toyota Central Res & Dev Lab Inc 視覚センサの自動キャリブレーション装置
JPH06175712A (ja) * 1992-12-02 1994-06-24 Fujitsu Ltd 視覚認識ロボットの自動キャリブレーション方法
JPH0871972A (ja) * 1994-09-12 1996-03-19 Meidensha Corp ロボットとカメラの自動調整方法
JPH10340112A (ja) * 1997-06-06 1998-12-22 Matsushita Electric Ind Co Ltd 自動キャリブレーション機能付きロボット
JP2009006452A (ja) * 2007-06-29 2009-01-15 Nissan Motor Co Ltd カメラとロボット間のキャリブレーション方法及びその装置
DE602004013107T2 (de) * 2003-11-18 2009-07-02 Fanuc Ltd. Vorrichtung zur Korrektur einer gelernten Position
US20090187276A1 (en) * 2008-01-23 2009-07-23 Fanuc Ltd Generating device of processing robot program
US7974462B2 (en) * 2006-08-10 2011-07-05 Canon Kabushiki Kaisha Image capture environment calibration method and information processing apparatus
EP2684651A2 (de) * 2012-07-11 2014-01-15 Seiko Epson Corporation Robotersystem, Roboter, Robotersteuervorrichtung, Robotersteuerverfahren und Robotersteuerprogramm

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731533B2 (ja) * 1986-09-03 1995-04-10 日産自動車株式会社 三次元座標変換装置
JP2001216015A (ja) * 2000-01-31 2001-08-10 Iwate Prefecture ロボットの動作教示装置
AU2003239171A1 (en) * 2002-01-31 2003-09-02 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
JP4266946B2 (ja) * 2005-03-17 2009-05-27 ファナック株式会社 オフライン教示装置
JP2006272537A (ja) * 2005-03-30 2006-10-12 Advanced Telecommunication Research Institute International ロボットシミュレータおよびシミュレーションプログラム
JP2006289531A (ja) 2005-04-07 2006-10-26 Seiko Epson Corp ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム
JP2008021092A (ja) * 2006-07-12 2008-01-31 Fanuc Ltd ロボットシステムのシミュレーション装置
JP5371927B2 (ja) * 2010-10-27 2013-12-18 三菱電機株式会社 座標系校正方法及びロボットシステム
JP5670416B2 (ja) * 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06137840A (ja) * 1992-10-22 1994-05-20 Toyota Central Res & Dev Lab Inc 視覚センサの自動キャリブレーション装置
JPH06175712A (ja) * 1992-12-02 1994-06-24 Fujitsu Ltd 視覚認識ロボットの自動キャリブレーション方法
JPH0871972A (ja) * 1994-09-12 1996-03-19 Meidensha Corp ロボットとカメラの自動調整方法
JPH10340112A (ja) * 1997-06-06 1998-12-22 Matsushita Electric Ind Co Ltd 自動キャリブレーション機能付きロボット
DE602004013107T2 (de) * 2003-11-18 2009-07-02 Fanuc Ltd. Vorrichtung zur Korrektur einer gelernten Position
US7974462B2 (en) * 2006-08-10 2011-07-05 Canon Kabushiki Kaisha Image capture environment calibration method and information processing apparatus
JP2009006452A (ja) * 2007-06-29 2009-01-15 Nissan Motor Co Ltd カメラとロボット間のキャリブレーション方法及びその装置
US20090187276A1 (en) * 2008-01-23 2009-07-23 Fanuc Ltd Generating device of processing robot program
EP2684651A2 (de) * 2012-07-11 2014-01-15 Seiko Epson Corporation Robotersystem, Roboter, Robotersteuervorrichtung, Robotersteuerverfahren und Robotersteuerprogramm

Also Published As

Publication number Publication date
CN104802173A (zh) 2015-07-29
US9519736B2 (en) 2016-12-13
US20150202776A1 (en) 2015-07-23
DE102015000589A1 (de) 2015-08-06
JP5815761B2 (ja) 2015-11-17
CN104802173B (zh) 2016-08-31
JP2015136770A (ja) 2015-07-30

Similar Documents

Publication Publication Date Title
DE102015000589B4 (de) Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem
DE102015000587B4 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102018213985B4 (de) Robotersystem
DE102015002760B4 (de) Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
DE102018112820B4 (de) Teach-Positionskorrekturvorrichtung und Teach-Positionskorrekturverfahren
DE112019004517T5 (de) Roboterkalibrierung für ar (augmented reality) und digitaler zwilling
DE112010000794B4 (de) Verfahren zum Steuern eines Roboterwerkzeuges
DE102015001527B4 (de) Robotersystem, das visuelle Rückmeldung verwendet
DE102017128652B4 (de) Robotersystem mit einer mehrzahl von robotern, robotersteuerung und robotersteuerverfahren
DE102013021917B4 (de) Robotersystemanzeigevorrichtung
DE112011101730B4 (de) System und Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter
DE102018009815B4 (de) Bildgebungsvorrichtung umfassend einen Sichtsensor zum Erfassen des Bildes eines Werkstücks
DE102015107436B4 (de) Lernfähige Bahnsteuerung
EP2075096A1 (de) Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
DE102019001038B4 (de) Simulationsvorrichtung, die den Arbeitsablauf eines Roboters simuliert
EP3221094B1 (de) Verfahren und system zur korrektur einer bearbeitungsbahn eines robotergeführten werkzeugs
EP2199036A2 (de) Verfahren und Vorrichtung zur Kompensation einer kinematischen Abweichung
DE102014117346B4 (de) Roboter, Robotersteuerungsverfahren und Robotersteuerungsprogramm zur Werkstückkorrektur
DE102015104582A1 (de) Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
EP3578321A1 (de) Verfahren zum verwenden mit einer maschine zum erstellen einer erweiterte-realität-anzeigeumgebung
WO2015086036A1 (de) Verfahren zur ortsrichtigen projektion einer markierung auf ein objekt und projektionsvorrichtung
DE112022000320T5 (de) Verarbeitungsverfahren und Verarbeitungsvorrichtung zum Erzeugen eines Querschnittbildes aus durch einen visuellen Sensor erfassten Informationen über dreidimensionale Positionen
DE102021209178A1 (de) Verfahren und Vorrichtung zum Bestimmen von Relativposen und zur Kalibrierung bei einem Koordinatenmessgerät oder Roboter
DE102019102927A1 (de) Verfahren und Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
EP1915239B1 (de) Verfahren zum erzeugen eines umgebungsbildes

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final