DE102009034529B4 - Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses - Google Patents

Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses Download PDF

Info

Publication number
DE102009034529B4
DE102009034529B4 DE102009034529.9A DE102009034529A DE102009034529B4 DE 102009034529 B4 DE102009034529 B4 DE 102009034529B4 DE 102009034529 A DE102009034529 A DE 102009034529A DE 102009034529 B4 DE102009034529 B4 DE 102009034529B4
Authority
DE
Germany
Prior art keywords
workpiece
manipulator
production
recognition
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102009034529.9A
Other languages
English (en)
Other versions
DE102009034529A1 (de
Inventor
Simon Melikian
Maximiliano A. Falcone
Joseph Cyrek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RECOGNITION ROBOTICS, INC., WESTLAKE, US
Comau LLC
Original Assignee
RECOGNITION ROBOTICS Inc
Comau LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US12/177,529 priority Critical patent/US8923602B2/en
Priority to US12/177,529 priority
Application filed by RECOGNITION ROBOTICS Inc, Comau LLC filed Critical RECOGNITION ROBOTICS Inc
Publication of DE102009034529A1 publication Critical patent/DE102009034529A1/de
Application granted granted Critical
Publication of DE102009034529B4 publication Critical patent/DE102009034529B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
    • G06K9/4609Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4671Extracting features based on salient regional features, e.g. Scale Invariant Feature Transform [SIFT] keypoints
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6202Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37555Camera detects orientation, position workpiece, points of workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37561Move camera until image corresponds to stored image of same workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39397Map image error directly to robot movement, position with relation to world, base not needed, image based visual servoing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40003Move end effector so that image center is shifted to desired position
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/29Technique has transformation invariance effect

Abstract

System zum Bewegen eines servobetätigten Manipulators (20) ohne ein Kalibrierungsziel, aufweisend:einen servobetätigten Manipulator (20), der zum Durchführen einer Funktion konfiguriert ist;eine Kamera (30), die auf oder in fester Beziehung zu einer Planscheibe (65) des Manipulators (20) befestigt ist;eine Manipulator-Steuervorrichtung (40), die zum Bewegen des Manipulators (20) konfiguriert ist; undein Erkennungssystem (10), das konfiguriert ist zum:Signalisieren der Manipulator-Steuervorrichtung (40), den Manipulator (20) von einer in der Manipulator-Steuervorrichtung (40) gespeicherten Arbeitsposition, in der der Manipulator (20) die Funktion ausübt,an einem Bezugswerkstück (70) über einen Abstand „A“ zwischen dem Bezugswerkstück (70) und dem Manipulator (20) entlang einer Koordinatenachse des Bezugswerkstücks (70) zu bewegen,Erwerben eines zweidimensionalen Bilds über die Kamera (30) von zumindest einem Bereich des Bezugswerkstücks (70),Erlernen des Bezugswerkstücks (70) auf der Grundlage des zweidimensionalen Bilds und des mit dem Bezugswerkstück (70) assoziierten Abstands „A“, und Speichern in einer Datenbank, undmit der Einführung eines Produktionswerkstücks (170), Signalisieren der Manipulator-Steuervorrichtung (40), den Manipulator (20) zu einer Arbeitsposition an dem Produktionswerkstück (170) auf der Grundlage des Erlernens des Bezugswerkstücks (70) und des mit dem Bezugswerkstück (70) assoziierten Abstands „A“ zu bewegen, wobei das Produktionswerkstück (170) anhand der Datenbank erkannt wurde.

Description

  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich auf ein automatisches Führungs- und Erkennungssystem zum Erkennen eines Werkstücks in einem dreidimensionalen Raum, das in der Lage ist, einen servobetätigten Manipulator relativ zu dem Werkstück auszurichten.
  • HINTERGRUND
  • Aufgrund der Nachfrage von Herstellern von Teilen höherer Qualität und erhöhter Produktion wurde eine Automatisierung zunehmend in Herstellungs-und Montagevorgänge eingeführt. Roboter sind eine derartige Automatisierungstechnik, die in vielen Herstellungsindustrien extensiv verwendet wurde. Roboter können einen weiten Bereich von Funktionen ausüben wie Inspektion, Schweißen, Bewegen und Manipulieren von Teilen, Anstreichen, usw. Um eine bestimmte Funktion durchzuführen, muss ein Roboter programmiert werden, um die Funktion an einem bestimmten Werkstück auszuüben. Jedoch beruht diese Programmierung auf einem Satz von „idealen“ Parametern. Die tatsächlichen Parameter zwischen einem industriellen Roboter und einem bestimmten Werkstück unterscheiden sich von den Idealen aufgrund von beispielsweise geringfügigen Änderungen in der Positionierung des Roboters und Änderungen in der Positionierung des Werkstücks. Folglich muss jeder Roboter für einen bestimmten Typ von Werkstück kalibriert werden und bei jedem individuellen Werkstück auf der Grundlage der Position des Werkstücks und der Kalibrierung eingestellt werden. Zusätzlich muss, wenn der Typ von Werkstück geändert wird, ob zwischen Verschiebungen oder während einer Verschiebung, der Roboter entweder neu kalibriert werden oder der Typ von Werkstück in die Robotersteuervorrichtung eingegeben werden, so dass der Roboter auf die neue Geometrie eines unterschiedlichen Werkstücks eingestellt werden kann.
  • Es gibt viele bekannte Systeme zum Verbessern der Erkennung und der Positionsgenauigkeit eines industriellen Roboters. Einige Systeme verwenden Algorithmen auf der Grundlage eines mathematischen Modells der Geometrien des Roboters und des Werkstücks. Mehrere Bildsensoren oder ein einzelner bewegbarer Bildsensor werden verwendet, um Bilder des Werkstücks von dem Roboter unter ausreichenden Winkeln, um eine dreidimensionale Darstellung zu erzeugen, zu erfassen. Bildsensoren werden auch verwendet, die Laser oder andere Quellen zum Projizieren von schlitzartigem Licht auf das Werkstück enthalten, wodurch ein dreidimensionales Bild durch die Segmentierung und Reflexion des Lichts erhalten wird. Diese Systeme sind typischerweise mit komplizierten mathematischen Formeln und langwierigen Kalibrierungsvorgängen verbunden.
  • Diese bestehenden Systeme können gegenwärtig eine lange Zeit für jeden Typ von Werkstück erfordern und sie können häufig Fachkräfte benötigen, um sie zu kalibrieren. Weiterhin kann die Änderung des Typs von Werkstücken nicht unmittelbar durchführbar sein aufgrund von Kalibrierungsanforderungen zwischen Werkstücken, abnehmbarer Flexibilität und Produktivität der Herstellungs- oder Produktionseinrichtung. Eine Verbesserung in diesen Bereichen wird aktiv von den Herstellern und Produzenten, die industrielle Roboter für ihre Operationen verwenden, gesucht.
  • DE 10 2007 009 851 B3 offenbart ein Verfahren zum Bestimmen der Lage eines Industrieroboters relativ zu einem Objekt. Bei diesem werden eine am Industrieroboter befestigte 2-D-Kamera in wenigstens zwei unterschiedliche Positionen bewegt, in jeder der Positionen ein Bild von einem bezüglich der Umgebung des Industrieroboters unbeweglichen Objekt erzeugt, die Bilder angezeigt, in die Bilder ein grafisches Modell des Objekts eingeblendet, Punkte des grafischen Modells entsprechenden Punkten in den beiden Bildern manuell zugeordnet und die Lage des Industrieroboters relativ zum Objekt aufgrund der den entsprechenden Punkten zugeordneten Punkte des Modells ermittelt.
  • Die DE 103 51 669 A1 beschreibt ein Verfahren zum Steuern eines Industrieroboters relativ zu einem Objekt. Hierbei wird zunächst ein erwartetes Bild des Objekts in einem Arbeitsbereich des Roboters mit einem realen Bild des Objekts verglichen. Anschließend werden eine Stellungsabweichung des Roboters bestimmt und daraufhin Bewegungen zur Minimierung der Stellungsabweichung durchgeführt.
  • Die US 5 784 282 A betrifft ein Verfahren zum Identifizieren der Position eines in einer bestimmten dreidimensionalen Zone bewegbaren Objekts mittels einer an dem Objekt befestigten Videokamera. Die Kamera kann zu Sichtzielen geschwenkt werden, die um das Objekt herum angeordnet sind, und ermöglichen, dass die Position und die Orientierung des Objekts durch Tringulation bestimmt werden.
  • Die DE 10 2004 005 380 A1 bezieht sich auf ein Verfahren zur Bestimmung der Lage eines Objekts im Raum beschrieben, bei dem Messmerkmale des Objekts mit einer auf ein Raum-Koordinatensystem kalibrierten optischen Aufnahmeeinrichtung aufgenommen werden und anhand dieser Messmerkmale in einer Bildverarbeitungseinrichtung die Lage de Objekts in dem Raum-Koordinatensystem bestimmt wird.
  • Die EP 0 151417 A1 beschreibt ein Robotersystem, welches aufweist: einen Roboter mit einem ersten Koordinatensystem, einen visuellen Sensor mit einem zweiten Koordinatensystem zum Erfassen einer Position oder einer Stellung eines Objekts, Mittel zum Messen von Parametern, die eine Beziehung zwischen dem ersten und dem zweiten Koordinatensystem definieren und Mittel zum Transformieren einer erfassten Position und/oder Stellung in dem zweiten Koordinatensystem in eine Information in dem ersten Koordinatensystem anhand der gemessenen Parameter.
  • Schließlich offenbart die US 4 753 569 A ein Verfahren zum Kalibrieren eines computergesteuerten Roboters. Eine an dem Roboter befestigte Kamera betrachtet ein in einer Arbeitsstation fixiertes Muster mit drei Punkten. Bei Annäherung des Roboters an die Arbeitsstation wird jede Abweichung relativ zu einem Zielmuster erfasst und durch den Computer korrigiert.
  • ZUSAMMENFASSUNG
  • Ausführungsbeispiele des visuellen Führungs- und Erkennungssystems zum Erkennen von Werkstücken und zum Führen eines servobetätigten Manipulators ohne ein Kalibrierungsziel werden hier offenbart. Ein Ausführungsbeispiel des visuellen Führungs- und Erkennungssystems weist auf: einen servobetätigten Manipulator, der zur Durchführung einer Funktion ausgebildet ist, eine Kamera, die befestigt ist auf oder in fester Beziehung zu einer Planscheibe des Manipulators, ein Erkennungssystem, das ausgebildet ist zum Erfassen eines zweidimensionalen Bildes über die Kamera von zumindest einem Bereich von zumindest einem Bezugswerkstück, und eine Manipulator-Steuervorrichtung, die ausgebildet ist zum Empfangen und zum Speichern einer Position der Planscheibe in einem Abstand „A“ zwischen dem Bezugswerkstück und dem Manipulator entlang einer Koordinatenachse des Bezugswerkstücks, wenn das Bild des Bezugswerkstücks erfasst wird. Das Erkennungssystem ist weiterhin ausgebildet zum Erlernen des Bezugswerkstücks auf der Grundlage des zweidimensionalen Bildes und des Abstands „A“, der mit dem Bezugswerkstück assoziiert ist.
  • Ein anderes Ausführungsbeispiel des visuellen Führungs- und Erkennungssystems zum Erkennen von Werkstücken und zum Führen eines servobetätigten Manipulators ohne ein Kalibrierungsziel weist auf: eine Erkennungs-Steuervorrichtung, die eine Datenbank von zumindest einem Bezugswerkstück aufweist, einen servobetätigten Manipulator, der zur Durchführung einer Funktion ausgebildet ist, eine Kamera, die befestigt ist auf oder in fester Beziehung zu einer Planscheibe des Manipulators, und eine Manipulator-Steuervorrichtung, die ausgebildet ist zum Steuern der Bewegung des servobetätigten Manipulators. Das Erkennungssystem ist ausgebildet zum Erfassen eines zweidimensionalen Bildes über die Kamera von zumindest einem Bereich eines Produktionswerkstücks, Abgleichen des Bildes des Produktionswerkstücks mit dem Bezugswerkstück in der Datenbank, Berechnen einer dimensionsgerechten Datenversetzung zwischen dem Bild des Produktionswerkstücks und einem mit dem Bezugswerkstück assoziierten Bild, und Signalisieren an die Manipulator-Steuervorrichtung, um den Manipulator so zu bewegen, dass die Versetzung verringert wird, bis die Versetzung unterhalb einer Schwellengrenze ist.
  • Es werden hier auch Verfahren zur visuellen Führung und Erkennung eines Werkstücks unter Verwendung einer Kamera und eines Manipulators ohne das Erfordernis einer Kalibrierung offenbart. Ein derartiges, hier offenbares Verfahren weist auf: Positionieren eines Bezugswerkstücks, Speichern einer Manipulator-Arbeitsposition bei dem Bezugswerkstück in einer Manipulator-Steuervorrichtung, Bewegen des Manipulators entlang einer Koordinatenachse des Bezugswerkstücks zu einem Abstand „A“, wobei zumindest ein Bereich des Bezugswerkstücks in einem für die Kamera interessanten Bereich ist, Speichern der Position einer Planscheibe des Manipulators in dem Abstand „A“ in der Manipulator-Steuervorrichtung, Erfassen eines zweidimensionalen Bildes mit einer Erkennungs-Steuervorrichtung über die Kamera von zumindest einem Bereich von zumindest einem Bezugswerkstück und Erlernen des Bezugswerkstücks mit der Erkennungs-Steuervorrichtung auf der Grundlage des zweidimensionalen Bildes und des Abstands „A“, der mit dem Bezugswerkstück assoziiert ist.
  • Figurenliste
  • Die vorliegende Beschreibung bezieht sich auf die begleitenden Zeichnungen, in denen gleiche Bezugszahlen sich auf gleiche Teile in den mehreren Ansichten beziehen, und in denen:
    • 1 ist eine schematische Ansicht eines Ausführungsbeispiels des hier offenbarten visuellen Führungs- und Erkennungssystems;
    • 2 ist ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zur visuellen Führung und Erkennung eines Werkstücks; und
    • 3 ist ein Flussdiagramm eines anderen Ausführungsbeispiels eines Verfahrens zur visuellen Führung und Erkennung eines Werkstücks.
  • DETAILLIERTE BESCHREIBUNG
  • 1 ist eine schematische Ansicht eines Ausführungsbeispiels eines visuellen Führungs- und Erkennungssystems 10, das keine Kalibrierung erfordert, wie hier offenbart wird. Das visuelle Führungs- und Erkennungssystem 10 weist einen servobetätigten Manipulator 20, eine Kamera 30, eine Manipulator-Steuervorrichtung 40 und eine Erkennungs-Steuervorrichtung 50 auf. Der Manipulator 20 hat einen Endeffektor 60, der sich körperlich ändert in Abhängigkeit von der Funktion, zu deren Durchführung der Manipulator programmiert wurde. Nicht beschränkende Beispiele für Endeffektoren 60 enthalten Arme, Schweißvorrichtungen, Greifer, Farbpistolen und andere Werkzeuge, die für den Manipulator 20 erforderlich oder erwünscht sind, um die Funktion durchzuführen. Der Endeffektor 60 erstreckt sich typischerweise von einer Planscheibe 65 des Manipulators 20. Die Kamera 30 ist typischerweise befestigt auf oder in fester Beziehung zu der Planscheibe 65 des Manipulators 20. Das visuelle Erkennungssystem 10 arbeitet, um ein Werkstück 70 zu erkennen und den Manipulator 20 genau in Beziehung zu dem Werkstück 70 zu positionieren. Das Werkstück 70 kann jedes Teil, jede Komponente, jedes Produkt usw. sein, bei dem der Manipulator 20 die Funktion durchführt. Als nicht beschränkende Beispiele von Funktionen werden Manipulatoren typischerweise verwendet zur Durchführung einer Schweißung, Materialhandhabung, Maschinenführung und dergleichen.
  • Der servobetätigte Manipulator 20 kann beispielsweise jeder Typ von Roboter oder Montageturm sein, der im Stand der Technik bekannt ist. Nicht beschränkende Beispiele für Typen von Robotern enthalten gelenkige, kartesische, zylindrische, polare und SCARA. Typische industrielle Roboter und Montagetürme haben sechs Bewegungsachsen (6 Freiheitsgrade), die eine maximale Flexibilität ermöglichen. Die beschriebenen servobetätigten Manipulatoren sind beispielhaft und nicht beschränkend vorgesehen, und andere servobetätigte Manipulatoren, die dem Fachmann bekannt sind, können verwendet werden.
  • Die in dem visuellen Erkennungssystem 10 enthaltene Kamera 30 kann jede zweidimensionale digitale Kamera oder Videokamera sein. Als ein nicht beschränkendes Beispiel kann die Kamera 30 eine typische zweidimensionale Bildvorrichtung wie eine Kamera vom CCD- oder CMOS-Typ sein. Eine derartige Kamera, die in dem visuellen Erkennungssystem verwendet werden kann, ist eine DALSA Genie. Die beschriebenen Kameras sind beispielhaft und nicht beschränkend vorgesehen, und andere zweidimensionale Kameras, die dem Fachmann bekannt sind, können verwendet werden. Obgleich nur eine zweidimensionale Kamera hier beschrieben ist, wird die Verwendung eines dreidimensionalen visuellen Sensors in Betracht gezogen, sowie die Verwendung von mehr als einer Kamera oder eines dreidimensionalen visuellen Sensors.
  • Die Manipulator-Steuervorrichtung 40 kann eine zentrale Verarbeitungseinheit sein, die die Bewegung des Manipulators auf der Grundlage der Manipulatorgeometrie, der Werkstückgeometrie, der Funktion, die der Manipulator an dem Werkstück durchführt, und jeglicher aktualisierter Daten, die während der Anfangsphase oder des Betriebs eingegeben werden, steuert. Manipulator-Steuervorrichtungen sind im Stand der Technik bekannt und eine detaillierte Beschreibung der Manipulator-Steuervorrichtung ist außerhalb des Bereichs dieser Offenbarung. Da die Kamera 30 auf der Planscheibe 65 des Manipulators 20 oder in fester Beziehung zu der Planscheibe 65 befestigt sein kann, steuert die Manipulator-Steuervorrichtung 40 auch die Position der Kamera 30.
  • Die Erkennungs-Steuervorrichtung 50 kann eine zentrale Verarbeitungseinheit sein, die ausgebildet ist zum Erfassen zweidimensionaler Bilder über die Kamera 30 und zum Kommunizieren mit der Manipulator-Steuervorrichtung 40, um auf der Grundlage der von der Erkennungs-Steuervorrichtung 50 erfassten Bilder für eine Bewegung des Manipulators 20 zu signalisieren. Die zentrale Verarbeitungseinheit kann weiterhin mit der visuellen Führungs- und Erkennungs-Software ausgebildet sein, die nachfolgend einbezogen wird.
  • Die Kommunikationsverbindungen zwischen dem Manipulator 20, der Manipulator-Steuervorrichtung 40, der Erkennungs-Steuervorrichtung 50 und der Kamera 30 können Informationen übertragen, beispielsweise über von Einheit zu Einheit verlaufende Kabel. Alternativ können die Kommunikationsverbindungen drahtlos sein, wie Infrarot oder Hochfrequenz. Es wird auch in Betracht gezogen, dass eine Kommunikation durch von einer Bedienungsperson manuell eingegebene Daten und Signale erfolgt. Die beschriebenen Kommunikationsverbindungen sind beispielhaft und nicht beschränkend vorgesehen, und andere Verfahren zur Kommunikation können durch den Fachmann angewendet werden.
  • Das in 1 illustrierte visuelle Führungs- und Erkennungssystem 10 braucht vor der Verwendung nicht kalibriert zu werden. Mit anderen Worten, es besteht keine Notwendigkeit, das Koordinatensystem der Kamera 30 mit dem Koordinatensystem des Manipulators 20 vor der Einstellung oder der Verwendung in Beziehung zu setzen aufgrund der visuellen Führungs- und Erkennungs-Software. Die Fähigkeit, ohne eine Kalibrierung zu arbeiten, verkürzt beträchtlich die für das System erforderliche Einstellzeit und verringert das Maß an Geschicklichkeit, das für die Bedienungsperson des Systems oder der Produktionslinie, in der das System verwendet wird, gefordert wird. Durch Eliminieren des Kalibrierungsschritts kann die Produktionsstillstandszeit ebenfalls verkürzt werden, da eine Wiederkalibrierung während der Verwendung auch nicht erforderlich ist. Beträchtliche ökonomische Vorteile können durch das offenbarte System realisiert werden, teilweise aufgrund der Eliminierung der Kalibrierung, die bei dem gegenwärtig verwendeten System wiederholt durchgeführt werden muss.
  • Das visuelle Führungs- und Erkennungssystem 10 kann der Einstellung für eines oder mehrere verschiedene Werkstücke unterzogen werden. Die Anzahl von verschiedenen Bezugsstücken ist nur durch den Systemspeicher begrenzt. Weiterhin kann der Typ von Bezugswerkstücken in unbegrenzter Weise variieren, enthaltend die Länge, die Breite, die Tiefe, die Form, die Farbe, das Material usw. Der Begriff „Bezugs“ bedeutet einfach einen von einem Typ von Werkstück, der von dem visuellen Führungs- und Erkennungssystem 10 zu erlernen ist. Es ist kein spezielles Werkstück, sondern vielmehr nur eins aus einer Linie von Werkstücken, bei denen der Manipulator eine bestimmte Funktion durchführt. Wenn beispielsweise eine in einer Fabrik durchgeführte Operation das Setzen einer Schweißung bei einem Fahrzeug-Türrahmen ist, kann jeder der Fahrzeug-Türrahmen, der die Schweißung empfängt, als Bezugswerkstück gewählt werden.
  • Für jeden Typ oder jede Art von Werkstück, dem der Manipulator 30 während der Operation begegnen kann, muss das visuelle Führungs- und Erkennungssystem 10 das Werkstück „erlernen“. Dieser Vorgang wird als „Einstellung“ bezeichnet. Für die Einstellung für einen Typ von Werkzeug, der eine Linie von Werkstücken darstellt, denen der Manipulator 30 während der Operation begegnen kann, wird ein Bezugswerkstück 70 in einer Bezugsposition angeordnet. Die Bezugsposition kann diejenige Position sein, die die Position des Werkstücks während der tatsächlichen Operation simuliert. Der hier verwendete Begriff „Operation“ bezieht sich auf jeden Prozess, der unter Verwendung des Systems 10 und der hier offenbarten Verfahren durchgeführt wird. Als nicht beschränkende Beispiele können Operationen Prozesse, die Herstellung, die Montage, die Inspektion, die quantitative Analyse usw. enthalten.
  • Der Manipulator 20 wird in einer Arbeitsposition angeordnet, die die Position ist, in der der Endeffektor 60 seine Funktion an dem Werkstück 70 ausübt. Diese Arbeitsposition ist in der Manipulator-Steuervorrichtung 40 gespeichert. Der Mittelpunkt der Planscheibe 65 des Manipulators 20 wird dann bis zu einem Abstand „A“ von dem Bezugswerkstück 70 entlang einer Koordinatenachse zwischen der Planscheibe des Manipulators 20 und dem Werkstück 70 bewegt. Der Abstand „A“ wird bestimmt, wenn das Bezugswerkstück 70 ausreichend innerhalb des interessierenden Bereichs (ROI) der Kamera 30 ist. Das Bezugswerkstück 70 kann ausreichend innerhalb des ROI sein, wenn das gesamte Bild des Bezugswerkstücks 70 innerhalb des ROI ist, oder wenn ein Bereich eines Bildes des Bezugswerkstücks 70 innerhalb des ROI ist. Ein Beispiel für einen ROI ist in 1 durch die gestrichelten Pfeile gezeigt. Das Werkstück 70 oder ein Bereich hiervon kann weiterhin innerhalb des ROI zentriert werden durch Bewegung des Manipulators 20 in der Ebene parallel zu dem Bezugswerkstück 70.
  • Wenn der gewünschte Bereich des Bezugswerkstücks 70 ausreichend innerhalb des ROI der Kamera 30 ist, speichert die Manipulator-Steuervorrichtung 40 die Position der Planscheibe 65 in dem Abstand „A“ für dieses Bezugswerkstück 70. Ein zweidimensionales Bild kann durch die Erkennungs-Steuervorrichtung 50 über die Kamera 30 erfasst werden, während die Planscheibe 65 im Abstand „A“ positioniert ist. Die Erkennungs-Steuervorrichtung 50 kann das Bezugswerkstück für eine künftige Erkennung von ähnlichen Werkstücken erlernen. Die Erkennungs-Steuervorrichtung 50 kann das zweidimensionale Bild mit dem assoziierten Abstand „A“ für das Bezugswerkstück 70 in der Datenbank der Erkennungs-Steuervorrichtung speichern.
  • Es ist festzustellen, dass der Abstand „A“ nicht auf einen Abstand zwischen dem Werkstück und der Planscheibe entlang einer Koordinatenachse beschränkt ist. Vielmehr kann der Abstand „A“ der Abstand zwischen zwei Punkten auf dem Bezugswerkstück, der für diesen Typ von Werkstück konstant ist, sein. Der entsprechende Abstand auf dem entsprechenden Bild wird in der Manipulator-Steuervorrichtung 40 gespeichert und mit diesem Bezugswerkstück assoziiert.
  • Das Erlernen des Bezugswerkstücks durch die Erkennungs-Steuervorrichtung 50 und die Fähigkeit zum Speichern mehrerer erlernter Bezugswerkstücke und zum Erkennen der individuellen Werkstücke anhand der Datenbank können durchgeführt werden unter Verwendung des Systems und des Verfahrens, die in der US 2009/0257655 A1 für Melikian offenbart sind, die am 11. April 2008 eingereicht wurde und den Titel „SYSTEM UND VERFAHREN FÜR VISUELLE ERKENNUNG“ trägt. In diesem System wird ein Bild eines Objekts erlernt oder erkannt durch Herausziehen eindeutiger Punkte, die für Objektdarstellungen unveränderlich sind. Diese eindeutigen Punkte werden erhalten durch Kreuzkorrelation des Bildes mit einer Struktur. Im Allgemeinen können die Struktur und/oder die Größe der Struktur variieren, um Extreminformationen zu erfassen, die mit dem erlernten Objekt und/oder Zielobjekt assoziiert sind. Ein Bild entsprechend jedem der eindeutigen Punkte wird herausgezogen. Die Größe des Bildes entspricht dem Maßstab des eindeutigen Punktes. Nach dem Herausziehen der verschiedenen Bilder wird ein Objekt eine Sammlung von Bildern. Jedes dieser Bilder ist ungedreht und normiert oder auf eine konstante Größe gebracht, so dass es mit anderen Bildern verglichen werden kann. Eine der eindeutigen Eigenschaften dieser Bilder ist ihre Stabilität hinsichtlich Maßstab und Winkel. Dies ermöglicht die sehr schnelle Erkennung eines oder mehrerer Bilder oder Objekte aus einer großen Anzahl von gelernten Bildern oder Objekten.
  • Das Ausführungsbeispiel des visuellen Führungs- und Erkennungssystems 10 in 1 kann während der Operation wie folgt verwendet werden. Im Arbeitsbetrieb wird ein Produktionswerkstück 170 in den Manipulator 20 durch einen Förderer, eine Zahnstange, einen Trichter, eine Palette und dergleichen eingeführt. Ein Produktionswerkstück 170 kann in jeder im Stand der Technik bekannten Weise in den Manipulator eingeführt werden und ist nicht auf die gegebenen Beispiele beschränkt. In der vorliegenden Verwendung bezieht sich ein Produktionswerkstück auf jedes Werkstück, an dem der Manipulator 20 während der Operation eine Funktion ausübt.
  • Das visuelle Führungs- und Erkennungssystem 10 kann an individuelle Einrichtungen und individuelle Operationen wie gewünscht oder gefordert angepasst werden. Bei bestimmten Operationen wird in Betracht gezogen, dass ein bestimmter Manipulator einem bestimmten Typ von Werkstück zugewiesen wird. In anderen Situationen kann der vollständige Bereich von Möglichkeiten des Systems 10 ausgenutzt werden, wodurch ein Manipulator 20 Funktionen an verschiedenen Werkstücken in keiner bestimmten Folge ausübt. Beide Situationen sind hier offenbart.
  • Wenn der Typ von Produktionswerkstück dem System 10 bekannt ist, kann das System 10 die Position des Werkstücks in Beziehung auf den Manipulator 20 bestimmen, wenn es im Betrieb eingeführt wird. Das System 10 stellt den Manipulator 20 in Beziehung zu dem Produktionswerkstück 170 so ein, dass die Funktion an dem Werkstück 170 durch den Manipulator 20 genau ausgeführt wird.
  • Im Betrieb hat der Manipulator eine Ruheposition. Die Ruheposition kann die Position der Planscheibe 65 in dem Abstand „A“, der mit dem Typ von Werkstück im Betrieb assoziiert ist, sein. Jedoch ist die Ruheposition nicht auf diese Position beschränkt und kann jede durch die Operation gewünschte oder geforderte Position sein. Die geringste Anzahl von Programmierungsschritten kann jedoch realisiert werden, wenn die Ruheposition die Position der Planscheibe 65 im Abstand „A“, der mit dem Typ von Werkstück im Betrieb assoziiert ist, ist. Wenn das Produktionswerkstück 170 betriebsmäßig in Beziehung auf den Manipulator 20 in seiner Ruheposition positioniert ist, wird ein zweidimensionales Bild des Produktionswerkstücks 170 durch die Erkennungs-Steuervorrichtung 50 über die Kamera 30 erfasst. Das durch die Erkennungs-Steuervorrichtung 50 erfasste zweidimensionale Bild des Produktionswerkstücks 170 wird mit dem während der Einstellung erfassten zweidimensionalen Bild des assoziierten Bezugswerkstücks 70 verglichen.
  • Während des Vergleichs berechnet die Erkennungs-Steuervorrichtung 50 eine Versetzung zwischen den beiden Bildern und teilt der Manipulator-Steuervorrichtung 40 mit, den Manipulator 20 so zu bewegen, dass die Versetzung unterhalb einer annehmbaren Schwellengrenze verringert wird. Der Betrag der Verschiebung, Drehung und Skalierung, der zum Transformieren des Bildes des Produktionswerkstücks benötigt wird, wird so berechnet, dass das Bild entsprechend jedem der eindeutigen Punkte des Produktionswerkstücks das Bild entsprechend jedem der eindeutigen Punkte des Bezugswerkstücks überlappt. Der Manipulator 20 wird auf der Grundlage dieser Berechnungen bewegt.
  • Die Versetzung kann so oft wie erforderlich wiederberechnet werden, bis dem Schwellenwert genügt ist. Der Schwellenwert kann in Abhängigkeit von der für den Manipulator zur Beendigung seiner bezeichneten Funktion erforderlichen Genauigkeit variieren. Je geringer die erforderliche Genauigkeit ist, desto größer ist die Versetzungsschwellengrenze. Es wird in Betracht gezogen, dass einige Funktionen eine solche Genauigkeit erfordern, dass die Schwellengrenze gleich null ist. Nachdem die Versetzung unterhalb der Schwellengrenze ist, kann der Manipulator 20 die an dem Produktionswerkstück 170 vorzunehmende Funktion durchführen. Wenn die Funktion beendet ist, bewegt sich das Produktionswerkstück 170 weiter und ein neues Produktionswerkstück wird eingeführt.
  • Die Manipulator-Steuervorrichtung 40 kann den Manipulator 20 auf der Grundlage des Signals von der Erkennungs-Steuervorrichtung 50 gleichzeitig in allen sechs Freiheitsgraden bewegen. Es wird auch in Betracht gezogen, dass die Manipulator-Steuervorrichtung 40 den Manipulator 20 alternativ in Schritten bewegen kann, wie eine erste Schrittbewegung in drei Freiheitsgraden und eine zweite Schrittbewegung in drei Freiheitsgraden.
  • Bei einem alternativen Ausführungsbeispiel kann das visuelle Führungs- und Erkennungssystem 10 verwendet werden, um zu bestimmen, welcher Typ von Werkstück eingeführt wurde, und dann den Manipulator 20 in Beziehung zum Werkstück genau positionieren, um die programmierte, mit dem Werkstück assoziierte Funktion durchzuführen. Das System 10 ist in der Lage, jedes Werkstück, das in den Manipulator 20 eingeführt ist, zu erkennen, vorausgesetzt, dass ein assoziiertes Bezugswerkstück dem Einstellvorgang unterzogen wurde. Eine Datenbank ist in der Erkennungs-Steuervorrichtung 50 für jedes Bezugswerkstück 70, das während des Einstellvorgangs erlernt wurde, gespeichert. Während der Operation wird ein Produktionswerkstück 170 in den Manipulator 20 in einer Ruheposition in der vorbeschriebenen Weise eingeführt. Ein zweidimensionales Bild des Produktionswerkstücks 170 wird durch die Erkennungs-Steuervorrichtung 50 über die Kamera 30 erfasst. Die Erkennungs-Steuervorrichtung 50 vergleicht das zweidimensionale Bild des Produktionswerkstücks 170 mit der Datenbank für Bezugswerkstücke. Die Erkennungs-Steuervorrichtung assoziiert das Produktionswerkstück 170 mit einem Bezugswerkstück aus der Datenbank durch eine gemeinsame Anzahl von Bezugspunkten zwischen den Bildern.
  • Es ist festzustellen, dass der mit jedem Bezugswerkstück assoziierte Abstand „A“ eng auf die Größe des Werkstücks bezogen ist. Für eine typische Operationslinie ist wahrscheinlich, dass die Typen von Werkstücken eine ähnliche Größe haben. Dies kann aus unterschiedlichen Gründen sein, einschließlich Stromabwärtsoperationen wie Palletieren, Beladen, usw. In einer derartigen Situation ändert sich die Ruheposition für den Manipulator 20 von Typ von Werkstück zu Typ von Werkstück nicht wesentlich. Eine Ruheposition ist ausreichend, um die verschiedenen Werkstücke zu erkennen, da ein ausreichender Teil des Bildes für den Vergleich erfasst wird. Mit anderen Worten, es ist nicht kritisch, dass das Bild des Produktionswerkstücks mit demselben ROI als das Bild des Bezugswerkstücks erfasst wird. Eine Erkennung findet noch statt aufgrund von ausreichenden gemeinsamen Bilddatenpunkten. Jedoch ist in Betracht zu ziehen, dass unter bestimmten Umständen starke Änderungen in der Größe von Werkstücken erwünscht oder erforderlich sein können. Wenn ein viel größeres Werkstück in einem Manipulator in einer Ruheposition, die mit einem viel kleineren Werkstück assoziiert ist, eingeführt wird, kann das in der Ruheposition erfasste Bild nicht ausreichend sein, um das Werkstück zu erkennen. An diesem Punkt teilt die Erkennungs-Steuervorrichtung 50 der Manipulator-Steuervorrichtung 40 mit, den Abstand „A“ zwischen der Planscheibe und dem Werkstück so einzustellen, dass ein ausreichendes zweidimensionales Bild des Werkstücks erfasst wird, so dass genug Datenpunkte identifiziert werden in der Position der Planscheibe 65 im Abstand „A“, die mit dem Typ von Werkstück im Betrieb assoziiert sind, um das Werkstück zu erkennen.
  • Bei Erkennung des Produktionswerkstücks 170 hat die Erkennungs-Steuervorrichtung 50 ein Bild des Bezugswerkstücks 70, das mit dem gerade aufgenommenen Bild des Produktionswerkstücks 170 assoziiert ist. Die Erkennungs-Steuervorrichtung 50 bestimmt nun die Position des Produktionswerkstücks 170 und stellt den Manipulator 20 in Bezug auf die Position auf der Grundlage des Bildes des Bezugswerkstücks ein, wie vorstehend diskutiert ist. Jede Versetzung zwischen den Bilddatenpunkten wird berechnet. Die Versetzung kann in jeder von einer oder mehreren der sechs Bewegungsachsen sein. Die Erkennungs-Steuervorrichtung 50 teilt der Manipulator-Steuervorrichtung 40 mit, die Position des Manipulators so einzustellen, dass die Versetzung verringert oder beseitigt wird. Dieser Schritt kann so oft wie erforderlich wiederholt werden, bis die Versetzung unterhalb der Schwellengrenze ist. Wenn die Versetzung gleich null oder unterhalb der vorbestimmten Schwellenversetzung ist, ist der Manipulator 20 genau positioniert, um seine Funktion an dem Produktionswerkstück 170 durchzuführen.
  • Bei diesem Ausführungsbeispiel zeigt das visuelle Führungs- und Erkennungssystem 10 menschliche Fähigkeiten. Nachdem die Einstellung für ein Werkstück durchgeführt wurde, kann das Werkstück zu jedem nachfolgenden Zeitpunkt durch das System erkannt werden. Das System muss zu keiner Zeit kalibriert werden. Werkstücke können in Echtzeit in einer Produktionslinie geändert werden ohne eine Stillstandszeit zur Neuprogrammierung oder Wiederkalibrierung. Jedes von verschiedenen Werkstücken kann in der Manipulatorstation positioniert und durch das visuelle Führungs- und Erkennungssystem erkannt werden, wobei der Manipulator in Sekunden positioniert wird, um eine Funktion an dem Werkstück genau durchzuführen.
  • Es ist festzustellen, dass die Kamera 30 während der Ausrichtung individuelle Bilder zu der Erkennungs-Steuervorrichtung 50 senden kann, wobei die Versetzung für jedes Bild berechnet wird, oder das Bild kann kontinuierlich zu der Erkennungs-Steuervorrichtung übertragen werden, wobei die Versetzung kontinuierlich neu berechnet wird, bis die Versetzung unterhalb der Schwellengrenze ist.
  • Es werden hier auch Verfahren zur visuellen Erkennung und Führung eines Werkstücks offenbart. 2 ist ein Flussdiagramm, das ein derartiges Ausführungsbeispiel für ein hier offenbartes Verfahren darstellt, wobei das Erlernen der Bezugswerkstücke illustriert wird. Das Verfahren zur visuellen Führung und Erkennung eines Werkstücks umfasst eine erste Positionierung eines Bezugswerkstücks (S1). Die Position des Bezugswerkstücks kann die Arbeitsposition eines Produktionswerkstücks in Beziehung zu dem Roboter simulieren.
  • Als Nächstes wird eine Roboterarbeitsposition an dem Bezugswerkstück in einer Manipulator-Steuervorrichtung gespeichert (S2). In diesem Schritt wird der Manipulator körperlich zu dem Bezugswerkstück zu dem Punkt, an dem der Manipulator seine Funktion ausübt, bewegt. Der Manipulator wird dann entlang einer Koordinatenachse zwischen dem Manipulator und dem Bezugswerkstück bis zu einem Abstand „A“ bewegt, an dem zumindest ein Bereich des Bezugswerkstücks in einem interessierenden Bereich (ROI) der Kamera ist (S3). Wie vorstehend festgestellt ist, kann das gesamte Werkstück in dem ROI der Kamera sein, oder nur ein Bereich des Werkstücks. Es muss ein ausreichender Teil des Werkstücks innerhalb des ROI sein, um das Werkstück von anderen zu unterscheiden. Die Position der Planscheibe des Manipulators in dem Abstand „A“ wird in der Manipulator-Steuervorrichtung gespeichert (S4). Ein Bild des Bezugswerkstücks wird durch die Erkennungs-Steuervorrichtung über die Kamera (S5) erfasst. Das zweidimensionale Bild wird in Verbindung mit dem Abstand „A“ für das Bezugswerkstück gespeichert (S6) und auf der Grundlage dieser Daten erlernt die Erkennungs-Steuervorrichtung das Bezugswerkstück (S7).
  • Das Verfahren kann weiterhin das Zentrieren des Bezugswerkstücks oder eines Bereichs des Bezugswerkstücks in dem ROI aufweisen, indem der Manipulator entlang Achsen parallel zu dem Werkstück vor der Erfassung des Bildes durch die Kamera bewegt wird.
  • Dieses Verfahren kann für ein Bezugswerkstück oder für mehrere Bezugswerkstücke durchgeführt werden. Das zweidimensionale Bild und der mit jedem Bezugswerkstück assoziierte Abstand „A“ können in einer Datenbank innerhalb der Erkennungs-Steuervorrichtung gespeichert werden.
  • Ein anderes Ausführungsbeispiel des Verfahrens zur visuellen Führung und Erkennung eines Werkstücks bezieht sich auf ein während der Operation wie Herstellen, Produzieren oder Montieren verwendetes Verfahren, und ist in dem Flussdiagramm nach 3 dargestellt. Dieses Verfahren umfasst zuerst die Einführung eines Produktionswerkstücks (S10). Abhängig von den Anforderungen eines bestimmten Operationssystems kann eine Positionsbestimmung des Werkstücks erforderlich sein, oder es können sowohl eine Erkennung eines Werkstücks als auch eine Positionsbestimmung des Werkstücks erforderlich sein (S12). Wenn der Manipulator nur mit einer Funktion bei einem Typ von Werkstück assoziiert ist, ist die Erkennung nicht erforderlich und die Position des Werkstücks kann bestimmt werden durch erste Erfassung eines Bildes von zumindest einem Bereich des Produktionswerkstücks mit der Erkennungs-Steuervorrichtung über die Kamera (S20). Wenn der Manipulator mit mehr als einem Typ von Werkstück assoziiert wird, ist eine Erkennung erforderlich. Die Erkennungs-Steuervorrichtung erfasst ein Bild von zumindest einem Bereich des Produktionswerkstücks (S14).
  • Die Erkennungs-Steuervorrichtung vergleicht das zweidimensionale Bild des Produktionswerkstücks mit der Datenbank für Bilder von Bezugswerkstücken. Eine Übereinstimmung zeigt an, dass die Erkennungs-Steuervorrichtung den Typ von Werkstück erkannt hat (S16), und kann ordnungsgemäß die erforderliche relevante Positionierung des Manipulators und Produktionswerkstücks so bestimmen, dass der Manipulator seine Funktion genau durchführen kann.
  • Wenn sich aus irgendeinem Grund der Manipulator in einem Abstand von dem Produktionswerkstück befindet, in welchem das Bild nicht ausreichend Datenpunkte für die Erkennung enthält, teilt die Erkennungs-Steuervorrichtung der Manipulator-Steuervorrichtung mit, den Manipulator entlang einer Koordinatenachse von dem Produktionswerkstück weg zu bewegen (S18) und ein neues Bild zu erfassen, bis das Bild ausreichend für eine Erkennung ist. Wenn das Werkstück anhand des Bildes erkannt wird, berechnet die Erkennungs-Steuervorrichtung die dimensionsmäßigen Datenversetzungen zwischen dem Bild des Produktionswerkstücks und dem Bild des Bezugswerkstücks (S22). Die Erkennungs-Steuervorrichtung teilt der Manipulator-Steuervorrichtung mit, den Manipulator in irgendeinem oder mehreren von sechs Freiheitsgraden, dx, dy, dz, rx, ry, rz, zu bewegen, um die Versetzung zu eliminieren oder unterhalb einen bestimmten Schwellenwert zu verringern (S24). Wenn dem Schwellenwert genügt ist, ist der Manipulator relativ zu dem Produktionswerkstück so positioniert, dass seine Funktion an dem Werkstück genau ausgeführt werden kann (S26). Wenn dem Schwellenwert nicht genügt ist, wird die Versetzung neu berechnet und der Manipulator wird bewegt, bis die Versetzung gleich null oder unterhalb der Schwellengrenze ist.
  • Die Verwendung des visuellen Führungs- und Erkennungssystems und der Verfahren, die hier offenbart sind, benötigt nur Minuten für die Durchführung und kann durch eine ungeübte Bedienungsperson durchgeführt werden. Die Einstellstufe kann zu jeder Zeit erfolgen, wenn ein neues Werkstück in das System eingeführt werden soll. Während der Operation können die Werkstücktypen kontinuierlich wie gewünscht oder gefordert geändert werden, da das visuelle Erkennungssystem unterschiedliche Werkstücke inline und in Echtzeit erkennen kann. Die Effizienz wird stark verbessert, wodurch die Produktivität und Profitabilität erhöht werden. Es wird in Betracht gezogen, dass das System und die Verfahren, die hier offenbart werden, in jeder hier offenbarten Kombination verwendet werden können, um Prozesse wie gewünscht oder gefordert zu optimieren.
  • Während die Erfindung in Verbindung damit beschrieben wurde, was gegenwärtig als das praktischste und bevorzugteste Ausführungsbeispiel angesehen wird, ist darauf hinzuweisen, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist, sondern demgegenüber beabsichtigt ist, dass sie verschiedene Modifikationen und äquivalente Anordnungen abdeckt, die innerhalb des Bereichs der angefügten Ansprüche enthalten sind, welchem Bereich die breiteste Interpretation zuzuteilen ist, um alle derartigen Modifikationen und Strukturen zu umfassen, die durch das Gesetz ermöglicht werden.

Claims (21)

  1. System zum Bewegen eines servobetätigten Manipulators (20) ohne ein Kalibrierungsziel, aufweisend: einen servobetätigten Manipulator (20), der zum Durchführen einer Funktion konfiguriert ist; eine Kamera (30), die auf oder in fester Beziehung zu einer Planscheibe (65) des Manipulators (20) befestigt ist; eine Manipulator-Steuervorrichtung (40), die zum Bewegen des Manipulators (20) konfiguriert ist; und ein Erkennungssystem (10), das konfiguriert ist zum: Signalisieren der Manipulator-Steuervorrichtung (40), den Manipulator (20) von einer in der Manipulator-Steuervorrichtung (40) gespeicherten Arbeitsposition, in der der Manipulator (20) die Funktion ausübt, an einem Bezugswerkstück (70) über einen Abstand „A“ zwischen dem Bezugswerkstück (70) und dem Manipulator (20) entlang einer Koordinatenachse des Bezugswerkstücks (70) zu bewegen, Erwerben eines zweidimensionalen Bilds über die Kamera (30) von zumindest einem Bereich des Bezugswerkstücks (70), Erlernen des Bezugswerkstücks (70) auf der Grundlage des zweidimensionalen Bilds und des mit dem Bezugswerkstück (70) assoziierten Abstands „A“, und Speichern in einer Datenbank, und mit der Einführung eines Produktionswerkstücks (170), Signalisieren der Manipulator-Steuervorrichtung (40), den Manipulator (20) zu einer Arbeitsposition an dem Produktionswerkstück (170) auf der Grundlage des Erlernens des Bezugswerkstücks (70) und des mit dem Bezugswerkstück (70) assoziierten Abstands „A“ zu bewegen, wobei das Produktionswerkstück (170) anhand der Datenbank erkannt wurde.
  2. System nach Anspruch 1, bei dem das Erkennungssystem (10) weiterhin konfiguriert ist, den Bereichs des Bezugswerkstücks (70) in einem interessierenden Bereich zu zentrieren durch Bewegen des Manipulators (20) entlang einer Koordinatenachse parallel zu dem Bezugswerkstück (70), bevor das zweidimensionale Bild erworben wird.
  3. System nach Anspruch 1, bei dem, mit der Einführung eines Produktionswerkstücks (170) zu dem Manipulator (20), das Erkennungssystem (20) weiterhin konfiguriert ist zum: Erwerben mit dem zu einer Position entsprechend dem mit dem Bezugswerkstück (70) assoziierten Abstand „A“ bewegten servobetätigten Manipulator (20), eines zweidimensionalen Bilds von zumindest einem Bereich des Produktionswerkstücks (170) über die Kamera (30), und Signalisieren der Manipulator-Steuervorrichtung (40), den Manipulator (20) um einen Betrag dx, dy, dz, rx, ry, rz auf der Grundlage von dimensionsgemäßen Datenversetzungen zwischen den beiden dimensionsgemäßen Bildern des Bezugswerkstücks (70) und des Produktionswerkstücks (170) zu bewegen.
  4. System nach Anspruch 3, bei dem die Erkennungssystem (10) weiterhin konfiguriert ist, die Berechnung der dimensionsgemäßen Datenversetzungen zu wiederholen, bis eine Versetzungsschwellenwertgrenze erreicht ist.
  5. System nach Anspruch 3, bei dem der Manipulator (20) konfiguriert ist zum Bewegen um dx, dy, dz, rx, ry, rz um eine Drehmitte, die sich entweder auf der Planscheibe (65) oder entlang der Koordinatenachse befindet.
  6. System nach Anspruch 3, bei dem, wenn das Erkennungssystem (10) der Manipulator-Steuervorrichtung (40) signalisiert, den Manipulator (20) zu bewegen, der Manipulator (20) sich in zwei Schritten bewegt, den ersten Schritt um einen Betrag dx, dy, dz, und den zweiten Schritt um einen Betrag rx, ry, rz, auf der Grundlage der dimensionsgemäßen Datenversetzungen zwischen den beiden dimensionsgemäßen Bildern des erkannten Bezugswerkstücks (70) und des Produktionswerkstücks (170).
  7. System nach Anspruch 1, bei dem das Erkennungssystem (10) weiterhin konfiguriert ist, eine große Anzahl von verschiedenen Bezugswerkstücken (70) jeweils mit einem assoziierten zweidimensionalen Bild und einem Abstand „A“ zu erlernen und in einer Datenbank zu speichern.
  8. System nach Anspruch 7, bei dem, wenn ein Produktionswerkstück (170) zu dem Manipulator (20) eingeführt ist, ein zweidimensionales Bildes von zumindest einem Bereich des Produktionswerkstücks (170) über die Kamera (30) zu erwerben und das Produktionswerkstück (170) als eines von der großen Anzahl von verschiedenen Bezugswerkstücken in der Datenbank zu erkennen.
  9. System nach Anspruch 8, bei dem, wenn das Produktionswerkstück (170) nicht erkannt wird, die Manipulations-Steuervorrichtung (40) den Manipulator (20) entlang der Koordinatenachse bewegt, bis der Abstand „A“ derart ist, dass das Erkennungssystem (10) das Produktionswerkstück (170) erkennt.
  10. System nach Anspruch 8, bei dem, nachdem das Produktionswerkstück (170) erkannt ist, das Erkennungssystem (10) weiterhin konfiguriert ist zum Verwenden des bestehenden zweidimensionalen Bilds des Produktionswerkstücks (170) und zum Signalisieren der Manipulations-Steuervorrichtung (40), den Manipulator (20) um einen Betrag dx, dy, dz, rx, ry, rz auf der Grundlage von dimensionsgemäßen Datenversetzungen zwischen den zweidimensionalen Bildern des erkannten Bezugswerkstücks (70) und des Produktionswerkstücks (170) zu bewegen.
  11. System nach Anspruch 10, bei dem das Erkennungssystem (10) weiterhin konfiguriert ist, die Berechnung der dimensionsgemäßen Datenversetzungen zu wiederholen, bis eine Versetzungsschwellenwertgrenze erreicht ist.
  12. System zum nach Anspruch 1, weiterhin aufweisend: das Erkennungssystem (10), das eine Datenbank für zumindest ein Bezugswerkstück (70) aufweist; und bei dem das Erkennungssystem (10) weiterhin konfiguriert ist, ein zweidimensionales Bild von zumindest einem Bereich eines Produktionswerkstücks (170) über die Kamera (30) zu erwerben, das Bild des Produktionswerkstücks (170) mit dem Bezugswerkstück (70) in der Datenbank abzugleichen, eine dimensionsgemäße Datenversetzung zwischen dem Bild des Produktionswerkstücks (170) und einem mit dem Bezugswerkstück (70) assoziierten Bild zu berechnen, und der Manipulations-Steuervorrichtung (40) zu signalisieren, den Manipulator (20) zu bewegen, um die Versetzung zu verringern, bis die Versetzung unterhalb einer Schwellengrenze ist.
  13. Verfahren zum Steuern der Bewegung eines servobetätigten Manipulators (20) ohne die Notwendigkeit einer Kalibrierung unter Verwendung einer Kamera (30), welches aufweist: Positionieren eines Bezugswerkstücks (70); Bewegen des Manipulators (20) zu einer Arbeitsposition an dem Bezugswerkstück (70); Bewegen des Manipulators (20) entlang einer Koordinatenachse des Bezugswerkstücks (70) von der in einer Manipulator-Steuervorrichtung (40) gespeicherten Arbeitsposition, in der der Manipulator (20) eine Funktion ausübt, zu einem Abstand „A“, wobei zumindest ein Bereich des Bezugswerkstücks (70) in einem interessierendem Bereich der Kamera (30) ist; Erwerben eines zweidimensionalen Bilds von zumindest einem Bereich des Bezugswerkstücks (70) über die Kamera (30); Erlernen des Bezugswerkstücks (70) auf der Grundlage des zweidimensionalen Bilds und des mit dem Bezugswerkstück (70) assoziierten Abstands „A“, und Speichern in einer Datenbank; und Bewegen des Manipulators (20), mit der Einführung eines Produktionswerkstücks (170), zu einer Arbeitsposition an dem Produktionswerkstück (170) auf der Grundlage des Erlernens des Bezugswerkstücks (70) und des mit dem Bezugswerkstück (70) assoziierten Abstands „A“, wobei das Produktionswerkstück (170) anhand der Datenbank erkannt wurde.
  14. Verfahren nach Anspruch 13, weiterhin aufweisend: Zentrieren des Bereichs des Bezugswerkstücks (70) in dem interessierenden Bereich durch Bewegen des Manipulators (20) entlang einer Koordinatenachse parallel zu dem Bezugswerkstück (70), bevor das zweidimensionale Bild erworben wird.
  15. Verfahren nach Anspruch 13, weiterhin aufweisend mit der Einführung eines Produktionswerkstücks (170): Bewegen des Manipulators (20) zu einer Position entsprechend dem mit dem Bezugswerkstück (70) assoziierten Abstand „A“; Erwerben eines zweidimensionalen Bilds von zumindest einem Bereich des Produktionswerkstücks (170) über die Kamera (30); Berechnen von dimensionsmäßigen Datenversetzungen zwischen den zweidimensionalen Bildern des erkannten Bezugswerkstücks (70) und des Produktionswerkstücks (170); und Bewegen des Manipulators (20) um einen Betrag dx, dy, dz, rx, ry, rz auf der Grundlage der dimensionsgemäßen Datenversetzungen.
  16. Verfahren nach Anspruch 15, weiterhin aufweisend das Wiederholen des Berechnens der dimensionsgemäßen Datenversetzungen und des Bewegens des Manipulators (20), bis eine Versetzungsschwellenwertgrenze erreicht ist.
  17. Verfahren nach Anspruch 13, weiterhin aufweisend: Wiederholen des Verfahrens für jedes von mehreren verschiedenen Bezugswerkstücken (70); und Schaffen einer Datenbank für jedes zweidimensionale Bild und den mit jedem der mehreren verschiedenen Bezugswerkstücke (70) assoziierten Abstand „A“.
  18. Verfahren nach Anspruch 17, weiterhin aufweisend: Bewegen des Manipulators (20), mit der Einführung eines Produktionswerkstücks (170), zu einer Position entsprechend dem mit dem Bezugswerkstück (70) assoziierten Abstand „A“; Erwerben eines zweidimensionalen Bilds von zumindest einem Bereich des Produktionswerkstücks (170) über die Kamera (30); Vergleichen des zweidimensionalen Bilds des Produktionswerkstücks (170) mit der Datenbank für Bezugswerkstücke (70); Erkennen des Produktionswerkstücks (170) anhand eines Bezugswerkstücks (70) in der Datenbank; Berechnen von dimensionsgemäßen Datenversetzungen zwischen den zweidimensionalen Bildern des Bezugswerkstücks (70) und des Produktionswerkstücks (170); und Bewegen des Manipulators (20) um einen Betrag dx, dy, dz, rx, ry, rz auf der Grundlage der dimensionsgemäßen Datenversetzungen.
  19. Verfahren nach Anspruch 18, bei dem, wenn das Produktionswerkstück (170) nicht erkannt wird, der Manipulator (20) entlang der Koordinatenachse bewegt wird, um den Abstand „A“ so zu ändern, dass ein Bezugswerkstück (70) aus der Datenbank erkannt wird.
  20. Verfahren nach Anspruch 18, weiterhin aufweisend das Wiederholen des Berechnens der dimensionsgemäßen Datenversetzungen und des Bewegens des Manipulators (20), bis eine Versetzungsschwellenwertgrenze erreicht ist.
  21. Verfahren nach Anspruch 18, bei dem der Manipulator (20) in zwei Schritten bewegt wird, im ersten Schritt um einen Betrag dx, dy, dz, und im zweiten Schritt um einen Betrag rx, ry, rz, auf der Grundlage von dimensionsgemäßen Datenversetzungen zwischen den zweidimensionalen Bildern des Bezugswerkstücks (70) und des Produktionswerkstücks (170).
DE102009034529.9A 2008-07-22 2009-07-22 Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses Active DE102009034529B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/177,529 US8923602B2 (en) 2008-07-22 2008-07-22 Automated guidance and recognition system and method of the same
US12/177,529 2008-07-22

Publications (2)

Publication Number Publication Date
DE102009034529A1 DE102009034529A1 (de) 2010-02-04
DE102009034529B4 true DE102009034529B4 (de) 2018-06-28

Family

ID=40600978

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009034529.9A Active DE102009034529B4 (de) 2008-07-22 2009-07-22 Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses

Country Status (5)

Country Link
US (1) US8923602B2 (de)
DE (1) DE102009034529B4 (de)
FR (1) FR2934911B1 (de)
GB (1) GB2461959B (de)
IT (1) IT1395007B1 (de)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007008598A1 (de) * 2007-02-19 2008-08-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Automatische Programmierung von Robotern zum Abschweißen gehefteter Profile auf Mikropaneelen mit Hilfe digitaler Bilderfassung
US9196169B2 (en) 2008-08-21 2015-11-24 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
JP6687543B2 (ja) 2014-06-02 2020-04-22 リンカーン グローバル,インコーポレイテッド 手溶接訓練のためのシステム及び方法
US20160093233A1 (en) 2012-07-06 2016-03-31 Lincoln Global, Inc. System for characterizing manual welding operations on pipe and other curved structures
CA2821671C (en) * 2010-12-13 2018-01-09 Edison Welding Institute, Inc. Welding training system
US20110006047A1 (en) * 2009-07-08 2011-01-13 Victor Matthew Penrod Method and system for monitoring and characterizing the creation of a manual weld
US9221117B2 (en) 2009-07-08 2015-12-29 Lincoln Global, Inc. System for characterizing manual welding operations
US9773429B2 (en) 2009-07-08 2017-09-26 Lincoln Global, Inc. System and method for manual welder training
DE102010003719B4 (de) * 2010-04-08 2019-01-24 Vodafone Holding Gmbh Verfahren und Vorrichtung zum Betätigen einer Taste einer Tastatur mit einem Roboter-Tastfinger
JP5849403B2 (ja) * 2011-02-15 2016-01-27 セイコーエプソン株式会社 ロボットコントローラー、ロボット、及び、ロボットシステム
US20150072323A1 (en) 2013-09-11 2015-03-12 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
DE102014114272B4 (de) 2013-10-04 2019-03-07 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zum Steuern einer durch Bilderfassung gelenkten Roboteranordnung
US9586320B2 (en) * 2013-10-04 2017-03-07 GM Global Technology Operations LLC System and method for controlling a vision guided robot assembly
US10083627B2 (en) 2013-11-05 2018-09-25 Lincoln Global, Inc. Virtual reality and real welding training system and method
US9724795B2 (en) * 2013-11-07 2017-08-08 Apex Brands, Inc. Tooling system with visual identification of attached component
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
CN104615078B (zh) * 2014-11-30 2017-04-26 沈阳飞机工业(集团)有限公司 基于拓扑邻接性的飞机钣金弯边特征识别方法
NL2015839B1 (en) * 2015-11-23 2017-06-07 Exner Ingenieurstechniek B V A method of, as well as an industrial robot for performing a processing step at a work piece.
EP3458919A4 (de) * 2016-05-19 2020-01-22 Deep Learning Robotics Ltd. Robotergestütztes objektlernendes visionssystem
EP3319066A1 (de) 2016-11-04 2018-05-09 Lincoln Global, Inc. Magnetische frequenzwahl für elektromagnetische positionsverfolgung
JP6815924B2 (ja) * 2017-04-19 2021-01-20 トヨタ自動車株式会社 キャリブレーション装置
EP3612355A1 (de) * 2017-04-21 2020-02-26 Roboception GmbH Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
US20190340954A1 (en) * 2018-05-01 2019-11-07 Illinois Tool Works Inc. Portable user interface for a welding type system
NL2020860B1 (en) * 2018-05-02 2019-11-12 Exner Ingenieurstechniek B V Method of, as well as a system for, performing a welding step on a work piece.
CN109773789A (zh) * 2019-01-18 2019-05-21 深海弈智京山智能科技有限公司 一种插线盒视觉引导系统
DE102019106458A1 (de) * 2019-03-13 2020-09-17 ese-robotics GmbH Verfahren zur Ansteuerung eines Industrieroboters
US20210122062A1 (en) 2019-10-27 2021-04-29 Comau Llc Glass Decking System, Adaptable End Effector and Methods
CN112223302B (zh) * 2020-12-17 2021-02-26 国网瑞嘉(天津)智能机器人有限公司 基于多传感器的带电作业机器人的快速标定方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0151417A1 (de) 1984-01-19 1985-08-14 Hitachi, Ltd. Verfahren zur Korrektur von Koordinatensystemen eines mit einem Sichtgerät ausgerüsteten Roboters und Apparatur dafür
US4753569A (en) 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
US5784282A (en) 1993-06-11 1998-07-21 Bertin & Cie Method and apparatus for identifying the position in three dimensions of a movable object such as a sensor or a tool carried by a robot
DE10351669A1 (de) 2003-11-05 2005-06-09 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Steuern eines Handhabungsgeräts relativ zu einem Objekt
DE102004005380A1 (de) 2004-02-03 2005-09-01 Isra Vision Systems Ag Verfahren zur Bestimmung der Lage eines Objekts im Raum
DE102007009851B3 (de) 2007-02-28 2008-05-29 Kuka Roboter Gmbh Industrieroboter und Verfahren zum Bestimmen der Lage eines Industrieroboters relativ zu einem Objekt
US20090257655A1 (en) 2008-04-11 2009-10-15 Recognition Robotics System and method for visual recognition

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3617016A (en) * 1968-05-27 1971-11-02 Emil J Bolsey Image motion and change transducers and systems controlled thereby
JPS60200385A (en) * 1984-03-26 1985-10-09 Hitachi Ltd Posture decision system
US4653109A (en) * 1984-07-30 1987-03-24 Lemelson Jerome H Image analysis system and method
US4831531A (en) * 1987-02-20 1989-05-16 Sargent Industries, Inc. System for the performance of activity in space
US5144685A (en) * 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
JP2690603B2 (ja) * 1990-05-30 1997-12-10 ファナック株式会社 視覚センサのキャリブレーション方法
JP2686351B2 (ja) * 1990-07-19 1997-12-08 ファナック株式会社 視覚センサのキャリブレーション方法
JP3394322B2 (ja) * 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
JP2994232B2 (ja) * 1995-07-28 1999-12-27 ウシオ電機株式会社 マスクとマスクまたはマスクとワークの位置合わせ方法および装置
US8271339B2 (en) * 1995-11-13 2012-09-18 Lakshmi Arunachalam Method and apparatus for enabling real-time bi-directional transactions on a network
US5796868A (en) * 1995-12-28 1998-08-18 Cognex Corporation Object edge point filtering system for machine vision
US5767648A (en) * 1996-04-19 1998-06-16 Massachusetts Institute Of Technology Base force/torque sensor apparatus for the precise control of manipulators with joint friction and a method of use thereof
US6408252B1 (en) * 1997-08-01 2002-06-18 Dynalog, Inc. Calibration system and displacement measurement device
WO1999012082A1 (en) * 1997-09-04 1999-03-11 Dynalog, Inc. Method for calibration of a robot inspection system
SE511704C2 (sv) * 1998-03-19 1999-11-08 Saab Ab Förfarande och anordning för montering av vinge
EP0952427B1 (de) * 1998-04-24 2004-03-03 Inco Limited Automatisch geführtes Fahrzeug
US5929584A (en) * 1998-04-27 1999-07-27 Pht, Inc. Tool center point calibration apparatus and method
JP3300682B2 (ja) 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP3421608B2 (ja) * 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
JP3184183B2 (ja) * 1999-06-04 2001-07-09 株式会社ユタカ 扁平ワークの検査装置
US6166811A (en) * 1999-08-12 2000-12-26 Perceptron, Inc. Robot-based gauging system for determining three-dimensional measurement data
US6351324B1 (en) * 2000-03-09 2002-02-26 Photera Technologies, Inc. Laser imaging system with progressive multi-beam scan architecture
US6434449B1 (en) * 2000-08-03 2002-08-13 Pierre De Smet Method and device for automated robot-cell calibration
JP4576062B2 (ja) * 2001-03-21 2010-11-04 富士機械製造株式会社 リード位置検出方法,電気部品装着方法およびリード位置検出装置
JP3694808B2 (ja) * 2001-04-13 2005-09-14 株式会社安川電機 ウェハ搬送用ロボットの教示方法および教示用プレート
US6587750B2 (en) * 2001-09-25 2003-07-01 Intuitive Surgical, Inc. Removable infinite roll master grip handle and touch sensor for robotic surgery
US7305114B2 (en) * 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7085622B2 (en) * 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
US6950543B2 (en) * 2002-05-02 2005-09-27 Ge Medical Systems Global Technology Company, Llc Method and system for image reconstruction
DE10242710A1 (de) * 2002-09-13 2004-04-08 Daimlerchrysler Ag Verfahren zum Herstellen eines Verbindungsbereiches auf einem Werkstück
JP3711105B2 (ja) * 2002-12-20 2005-10-26 ファナック株式会社 3次元計測装置
ES2309259T3 (es) * 2003-08-29 2008-12-16 Trumpf Laser- Und Systemtechnik Gmbh Dispositivo para el mecanizado remoto de piezas de trabajo mediante un rayo laser de mecanizado.
DE10360789B4 (de) * 2003-12-23 2007-03-15 Leuze Lumiflex Gmbh + Co. Kg Vorrichtung zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel
DE102004024277A1 (de) * 2004-05-15 2005-12-01 Sig Technology Ltd. Verfahren und Vorrichtung zur Inspektion von Werkstücken
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7590276B2 (en) * 2004-12-20 2009-09-15 Mitutoyo Corporation System and method for programming interrupting operations during moving image acquisition sequences in a vision system
AT502410B1 (de) * 2005-08-16 2007-03-15 Eiser & Partner Oeg Vorrichtung zur prüfung von werkstücken
US20100282897A1 (en) * 2005-08-17 2010-11-11 Chang Industry, Inc. Unmanned Aerial Surveillance Device
US7689320B2 (en) * 2005-12-20 2010-03-30 Intuitive Surgical Operations, Inc. Robotic surgical system with joint motion controller adapted to reduce instrument tip vibrations
US7819859B2 (en) * 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
US7953526B2 (en) * 2006-01-18 2011-05-31 I-Guide Robotics, Inc. Robotic vehicle controller
DE102006006204B4 (de) * 2006-02-09 2008-07-24 Vision Tools Hard- Und Software Entwicklungs-Gmbh Anordnung zur optischen Kontrolle des Arbeitsergebnisses eines Werkzeugs und/oder zur Führung eines Werkeugs
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
KR20090092839A (ko) * 2006-12-19 2009-09-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 2d 비디오를 3d 비디오로 변환하기 위한 시스템 및 방법
US8000522B2 (en) * 2007-02-02 2011-08-16 General Electric Company Method and system for three-dimensional imaging in a non-calibrated geometry
DE102007008598A1 (de) * 2007-02-19 2008-08-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Automatische Programmierung von Robotern zum Abschweißen gehefteter Profile auf Mikropaneelen mit Hilfe digitaler Bilderfassung
US8315623B1 (en) * 2007-03-06 2012-11-20 At&T Mobility Ii Llc Automating wireless customer care
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
JP4309439B2 (ja) * 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
DE102007033309A1 (de) * 2007-07-18 2009-01-22 Abb Ag Verfahren zum Bearbeiten einer Kontur an wenigstens einem Werkstück mittels eines Roboters
US20090057373A1 (en) * 2007-08-30 2009-03-05 Gm Global Technology Operations, Inc. Multi-Purpose End Effector for Welder
US8233696B2 (en) * 2007-09-22 2012-07-31 Dynamic Micro System Semiconductor Equipment GmbH Simultaneous wafer ID reading
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
JP4418841B2 (ja) * 2008-01-24 2010-02-24 キヤノン株式会社 作業装置及びその校正方法
US9895813B2 (en) * 2008-03-31 2018-02-20 Intuitive Surgical Operations, Inc. Force and torque sensing in a surgical robot setup arm
US20090294511A1 (en) * 2008-05-30 2009-12-03 Vanderbilt University Lateral position detection for friction stir systems
WO2011083374A1 (en) * 2010-01-08 2011-07-14 Koninklijke Philips Electronics N.V. Uncalibrated visual servoing using real-time velocity optimization
DE102010020183B4 (de) * 2010-05-11 2013-07-11 Precitec Kg Laserschneidkopf und Verfahren zum Schneiden eines Werkstücks mittels eines Laserschneidkopfes
US9105077B2 (en) * 2010-06-28 2015-08-11 Precitec Kg Method for classifying a multitude of images recorded by a camera observing a processing area and laser material processing head using the same
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US9669584B2 (en) * 2012-06-08 2017-06-06 Solidscape, Inc. Imaging monitoring method and apparatus for fabricating three dimensional models

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4753569A (en) 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
EP0151417A1 (de) 1984-01-19 1985-08-14 Hitachi, Ltd. Verfahren zur Korrektur von Koordinatensystemen eines mit einem Sichtgerät ausgerüsteten Roboters und Apparatur dafür
US5784282A (en) 1993-06-11 1998-07-21 Bertin & Cie Method and apparatus for identifying the position in three dimensions of a movable object such as a sensor or a tool carried by a robot
DE10351669A1 (de) 2003-11-05 2005-06-09 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Steuern eines Handhabungsgeräts relativ zu einem Objekt
DE102004005380A1 (de) 2004-02-03 2005-09-01 Isra Vision Systems Ag Verfahren zur Bestimmung der Lage eines Objekts im Raum
DE102007009851B3 (de) 2007-02-28 2008-05-29 Kuka Roboter Gmbh Industrieroboter und Verfahren zum Bestimmen der Lage eines Industrieroboters relativ zu einem Objekt
US20090257655A1 (en) 2008-04-11 2009-10-15 Recognition Robotics System and method for visual recognition

Also Published As

Publication number Publication date
DE102009034529A1 (de) 2010-02-04
GB2461959B (en) 2012-10-10
US8923602B2 (en) 2014-12-30
GB0904326D0 (en) 2009-04-22
IT1395007B1 (it) 2012-08-07
FR2934911A1 (fr) 2010-02-12
FR2934911B1 (fr) 2017-12-29
GB2461959A (en) 2010-01-27
ITTO20090378A1 (it) 2009-10-12
US20100021051A1 (en) 2010-01-28

Similar Documents

Publication Publication Date Title
DE102009034529B4 (de) Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses
DE102016114337B4 (de) System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus
DE102015015638B4 (de) Vorrichtung und Verfahren zum Übertragen von Artikeln unter Verwendung eines Roboters
EP1602456B1 (de) Verfahren und Vorrichtung zum Steuern von Handhabungsgeräten
EP2227356B1 (de) Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum
DE10351669B4 (de) Verfahren und Vorrichtung zum Steuern eines Handhabungsgeräts relativ zu einem Objekt
EP2435217B1 (de) Verfahren und system zum hochpräzisen positionieren mindestens eines objekts in eine endlage im raum
DE102015002193B4 (de) Schweissbrennerdetektor und Schweissrobotersystem
EP1702727B1 (de) Fertigungseinrichtung mit einer Biegepresse, einer Handhabungsvorrichtung und einer Kalibriereinrichtung
DE602005003147T2 (de) Messsystem
EP2448722B1 (de) Kalibrierungsverfahren für ein Messsystem
DE102011050640B4 (de) Vorrichtung und Verfahren zum Wiederherstellen der Positionsinformation von Robotern
DE102004024378B4 (de) Verfahren zur robotergestützten Vermessung von Objekten
DE102016103799B4 (de) Bildverarbeitungssystem zum Trainieren eines Montagesystems durch virtuelle Montage von Objekten
EP1471401B1 (de) Verfahren zur Einmessung des Koordinatensystems einer Kamera eines Roboters gegenüber dem Koordinatensystem des Roboters oder umgekehrt
DE102018007287B4 (de) Roboter-Controller zum Durchführen einer Kalibrierung, Messsystem und Kalibrierverfahren
EP1172183A2 (de) Vorrichtung und Anordnung zur Ermittlung von korrigierten Bewegungsdaten für einen vorgegebenen Bewegungsablauf einer bewegbaren Einrichtung sowie bewegbare Einrichtung und System aus bewegbaren Einrichtungen
DE102010037067B4 (de) Robotersteuervorrichtung und Verfahren zum Teachen eines Roboters
DE102014106641A1 (de) Verfahren und Vorrichtung zum automatisierten dreidimensionalen optischen Vermessen von Objekten insbesondere mit schwer zugänglichen Bereichen
DE112019005484T5 (de) Automatische Kalibrierung für ein Kamera-Robotersystem mit Werkzeugoffsets
DE10159574B9 (de) Vorrichtung und Verfahren zur Korrektur der Bewegung von Greif- und Bearbeitungswerkzeugen
DE102018109329B4 (de) Mehrgliedrige aktuierte Kinematik, vorzugsweise Roboter, besonders vorzugsweise Knickarmroboter
DE4421699A1 (de) Verfahren zur sensorgestützten Anpassung oder Generierung von Posen zur Steuerung von Handhabungsgeräten zur Verbesserung der absoluten Posegenauigkeit dieser Handhabungsgeräte in Verbindung mit Off-line-Programmiersystemen und zur Übertragung von Roboterprogrammen auf verschiedene Exemplare der Handhabungsgeräte mit gleicher Aufgabe unter Reduzierung der Auswirkungen exemplarspezifischer Positionierunterschiede sowie Unterschiede im Aufbau der den einzelnen Handhabungsgeräten zugehörigen Arbeitszellen
EP3587044A1 (de) Verfahren zum greifen von objekten in einem suchbereich, steuereinheit und positioniersystem
DE102011084353B4 (de) Verfahren und Computerprogramm zum Einrichten eines Greifroboters, sowie Greifroboter

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R082 Change of representative

Representative=s name: PFENNING MEINIG & PARTNER GBR, DE

R081 Change of applicant/patentee

Owner name: RECOGNITION ROBOTICS, INC., WESTLAKE, US

Free format text: FORMER OWNER: COMAU ,INC., RECOGNITION ROBOTICS, INC., , US

Effective date: 20150429

Owner name: COMAU LLC, SOUTHFIELD, US

Free format text: FORMER OWNER: COMAU ,INC., RECOGNITION ROBOTICS, INC., , US

Effective date: 20150429

Owner name: RECOGNITION ROBOTICS, INC., WESTLAKE, US

Free format text: FORMER OWNERS: COMAU ,INC., SOUTHFIELD, MICH., US; RECOGNITION ROBOTICS, INC., WESTLAKE, OHIO, US

Effective date: 20150429

Owner name: COMAU LLC, SOUTHFIELD, US

Free format text: FORMER OWNERS: COMAU ,INC., SOUTHFIELD, MICH., US; RECOGNITION ROBOTICS, INC., WESTLAKE, OHIO, US

Effective date: 20150429

R082 Change of representative

Representative=s name: PFENNING MEINIG & PARTNER GBR, DE

Effective date: 20150429

Representative=s name: PFENNING, MEINIG & PARTNER MBB PATENTANWAELTE, DE

Effective date: 20150429

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final