DE102015013161B4 - Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters - Google Patents

Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters Download PDF

Info

Publication number
DE102015013161B4
DE102015013161B4 DE102015013161.3A DE102015013161A DE102015013161B4 DE 102015013161 B4 DE102015013161 B4 DE 102015013161B4 DE 102015013161 A DE102015013161 A DE 102015013161A DE 102015013161 B4 DE102015013161 B4 DE 102015013161B4
Authority
DE
Germany
Prior art keywords
robot
color
interference
obstacle
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015013161.3A
Other languages
English (en)
Other versions
DE102015013161A1 (de
Inventor
Hiroji Nishi
Shunichi OZAKI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102015013161A1 publication Critical patent/DE102015013161A1/de
Application granted granted Critical
Publication of DE102015013161B4 publication Critical patent/DE102015013161B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters, die Folgendes umfasst:eine 3D-Kamera (6), die die Umgebung eines Roboters (1) fotografiert, um ein Kamerabild eines Bereichs um den Roboter herum zu erfassen, der Entfernungsinformationen und Farbinformationen umfasst, die eine Vielzahl von Bildern zusammenführen kann und in der eine Position und eine Stellung verändert werden kann;eine 3D-Kartenerstellungseinheit (12), die eine 3D-Karte, die mehrere Punktsequenzen umfasst, die in gleichen Abständen in einem 3D-Raum um den Roboter herum angeordnet sind, auf einer Basis des Kamerabildes erstellt, wobei jede der Punktsequenzen die Farbinformationen umfasst, die in dem Kamerabild enthalten sind;eine Farbeinstellungseinheit (13), die eine Farbe von mindestens einem des Roboters und eines Hindernisses um den Roboter herum einstellt, wobei die Farbe eine Farbe ist, die den Roboter und das Hindernis unterscheidbar macht;eine Farbsucheinheit (14), die nach einer Punktsequenz, die Farbinformationen umfasst, die der Farbe entsprechen, die von der Farbeinstellungseinheit eingestellt wurde, in der 3D-Karte sucht, die von der 3D-Kartenerstellungseinheit erstellt wurde; undeine Interferenzbereichseinstellungseinheit (15), die einen Interferenzbereich, der ein Bereich ist, in dem sich ein Hindernis befindet, auf einer Basis von Positionsdaten der Punktsequenz, nach der von der Farbsucheinheit gesucht wurde, einstellt, wobei die Positionsdaten durch die Entfernungsinformationen des Kamerabildes erhalten werden; wobei das Kamerabild ein Bild einer Markierung (7) umfasst, die eine Referenz eines Roboterkoordinatensystems ist, undwobei die Interferenzbereichseinstellungseinheit den Interferenzbereich in dem Roboterkoordinatensystem auf Grundlage des Bildes der Markierung einstellt.

Description

  • Hintergrund der Erfindung
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Interferenzbereichseinstellungsvorrichtung zum Einstellen eines Interferenzbereichs (Wechselwirkungsbereichs) eines Roboters.
  • Beschreibung des Standes der Technik
  • Beim Durchführen einer Arbeit unter Verwendung eines Roboters ist herkömmlich eine Vorrichtung zum Einstellen eines Interferenzbereichs, wenn ein Hindernis oder dergleichen vorliegt, um einen Roboter herum bekannt, um eine Interferenz zwischen dem Roboter und dem Hindernis zu vermeiden, um zu verhindern, dass der Roboter in den Interferenzbereich eindringt. Die japanische Offenlegungsschrift Nr. 2005-81445 beispielsweise beschreibt eine Vorrichtung zum Einstellen eines Interferenzbereichs, um eine Betriebssimulation in einem Offline-Zustand durchzuführen. Die in der japanischen Offenlegungsschrift Nr. 2005-81445 beschriebene Vorrichtung liest dreidimensionale (3D) Formdaten eines Roboters und eines Hindernisses oder dergleichen aus einem CAD-Gerät, um einen Interferenzbereich auf einem Bildschirm unter Verwendung der 3D-Formdaten einzustellen. Darüber hinaus stellt die Vorrichtung mittels einer Mausoperation oder dergleichen einen Interferenzbereich, der einem Sicherheitszaun oder dergleichen entspricht, auf dem Bildschirm ein.
  • In der Vorrichtung der japanischen Offenlegungsschrift Nr. 2005-81445 muss jedoch ein dreidimensionales Formmodell im Vorhinein erstellt werden, um einen Interferenzbereich einzustellen, und zusätzlich dazu muss der Interferenzbereich von Hand eingegeben wird, was folglich sehr viel Zeit und Arbeitsaufwand erfordert.
  • Das Dokument US 2014/0277737 A1 offenbart eine Robotervorrichtung. Die Robotervorrichtung umfasst eine Robotersteuerung zum Steuern eines Roboters nach Maßgabe eines Bewegungsprogramms, eine Roboteraufzeichnungseinheit zum Erfassen von Bilddaten mit den Roboter umfassenden Bildern und einer Datenverarbeitungseinheit.
  • Weiterer Stand der Technik ist aus dem Dokument US 2010/0040279 A1 , welches ein Verfahren und System zum Erzeugen eines dreidimensionalen Kartengitters betrifft, und dem Dokument JP 2006-3263 A bekannt, welches ein System zum Verarbeiten von visuellen 3D-Daten offenbart.
  • Kurzdarstellung der Erfindung
  • Eine Interferenzbereichseinstellungsvorrichtung zum Einstellen eines Interferenzbereichs eines Roboters gemäß einem Gesichtspunkt der vorliegenden Erfindung umfasst eine 3D-Kamera, die die Umgebung eines Roboters fotografiert, um ein Kamerabild der Umgebung eines Roboters zu erhalten, das Entfernungsinformationen und Farbinformationen umfasst. Die Interferenzbereichseinstellungsvorrichtung umfasst eine 3D-Kartenerstellungseinheit, die eine 3D-Karte, die mehrere Punktsequenzen umfasst, die in gleichen Abständen in einem dreidimensionalen Raum um den Roboter herum angeordnet sind, auf der Basis des Kamerabildes erstellt, und wobei jede der Punktsequenzen in der 3D-Karte die Farbinformationen umfasst, die in dem Kamerabild enthalten sind. Die Interferenzbereichseinstellungsvorrichtung umfasst eine Farbeinstellungseinheit, die eine Farbe von mindestens einem des Roboters und eines Hindernisses um den Roboter herum einstellt, wobei die Farbe den Roboter und das Hindernis unterscheidbar macht. Die Interferenzbereichseinstellungsvorrichtung umfasst eine Farbsucheinheit, die nach einer Punktsequenz, die Farbinformationen umfasst, die der Farbe entsprechen, die von der Farbeinstellungseinheit eingestellt wurde, in der 3D-Karte sucht, die von der 3D-Kartenerstellungseinheit erstellt wurde. Die Interferenzbereichseinstellungsvorrichtung umfasst eine Interferenzbereichseinstellungseinheit, die einen Interferenzbereich auf der Basis von Positionsdaten der Punktsequenz, nach der von der Farbsucheinheit gesucht wurde, einstellt, wobei die Positionsdaten durch die Entfernungsinformationen des Kamerabildes erhalten werden.
  • Figurenliste
  • Die Aufgabe, die Merkmale und die Vorteile der vorliegenden Erfindung werden aus den Ausführungsformen in Verbindung mit den begleitenden Zeichnungen offensichtlicher werden, in denen:
    • 1 ein Diagramm ist, das ein Beispiel eines Bearbeitungssystems zeigt, auf das eine Interferenzbereichseinstellungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung angewendet wird,
    • 2 ein Blockdiagramm ist, das die gesamte Struktur der Interferenzbereichseinstellungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt, und
    • 3 ein Ablaufdiagramm ist, das ein Beispiel eines Vorgangs zeigt, der von dem Robotersteuergerät von 2 ausgeführt wird.
  • Ausführliche Beschreibung
  • Hierin im Folgenden werden Beschreibungen von Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die 1 bis 3 angeführt. 1 ist ein Diagramm, das ein Beispiel eines Bearbeitungssystems 100 darstellt, auf das eine Interferenzbereichseinstellungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung angewendet wird. Das Bearbeitungssystem 100 umfasst einen Roboter 1 und ein Maschinenwerkzeug 2. Das Maschinenwerkzeug 2 weist eine Haube 3 auf und eine Bearbeitungskammer 4 wird von der Haube 3 gebildet. Ein Teil der Haube 3 ist mit einer öffenbaren/schließbaren Tür 5 versehen und ein Werkstück wird in die Bearbeitungskammer 4 durch die Tür 5 befördert und das Werkstück wird in der Bearbeitungskammer 4 bearbeitet.
  • Der Roboter 1 befindet sich in der Bearbeitungskammer 4. Der Roboter 1 ist beispielsweise ein Vertikalknickarmroboter mit mehreren drehbaren Armen. Der Roboter 1 wird durch Antreiben eines Servomotors betrieben, um ein Werkstück, eine Spannvorrichtung oder dergleichen an einem distalen Armende davon zu halten, um die Bearbeitung des Werkstücks durch das Maschinenwerkzeug 2 zu unterstützen. Der Roboter 1 kann als ein Schweißroboter oder ein Beschichtungsroboter konfiguriert werden, indem ein Schweißgerät oder ein Beschichtungsgerät an dem distalen Armende davon angebracht wird, um dem Roboter 1 zu ermöglichen, das Werkstück in der Bearbeitungskammer 4 zu bearbeiten. Der Roboter 1 ist mit einem Robotersteuergerät 10 (2) verbunden, um von dem Robotersteuergerät 10 gemäß einem vorherbestimmten Programm gesteuert zu werden. Ein Arbeiter kann einen Antriebsbefehl zum Antreiben des Roboters 1 mit dem Robotersteuergerät 10 eingeben, um den Roboter 1 gemäß dem Antriebsbefehl zu steuern.
  • Wenn der Roboter 1, der sich in der Bearbeitungskammer 4 befindet, durch den Arbeitsvorgang durch den Arbeiter aktiviert wird, kann der Roboter 1 auf diese Weise einen Teil des Maschinenwerkzeugs 2 (wie einen Tisch, einen Boden oder die Haube 3 in der Bearbeitungskammer 4) oder verschiedene Elemente (wie hierin im Folgenden als Hindernis bezeichnet werden), die sich in der Bearbeitungskammer 4 befinden, beeinträchtigen (eine Interferenz verursachen). Dementsprechend wird vorzugsweise ein Interferenzbereich, in dem ein Hindernis vorliegt, im Vorhinein um den Roboter 1 herum eingestellt, um eine Bewegung des Roboters 1 in den Interferenzbereich mittels des Robotersteuergeräts 10 zu verhindern.
  • Der Interferenzbereich kann beispielsweise eingestellt werden, indem bewirkt wird, dass der Arbeiter mehrere rechteckige Parallelepipede eingibt, deren Abmessungen und Positionen sich von dem Robotersteuergerät 10 unterscheiden. Eine derartige manuelle Einstellung des Interferenzbereichs erfordert jedoch Zeit und Arbeitsaufwand. Wenn darüber hinaus die Anzahl der rechteckigen Parallelepipede eine Obergrenze einer eingebbaren Anzahl der rechteckigen Parallelepipede erreicht, kann der Interferenzbereich nicht eingestellt werden. Der Interferenzbereich kann auch unter Verwendung eines 3D-Modells des Hindernisses eingestellt werden. In diesem Fall ist es jedoch nicht einfach, da das 3D-Modell jedes Mal, wenn die Position und die Form des Hindernisses sich ändern, neu erstellt werden muss. Somit wird in der vorliegenden Ausführungsform ein Interferenzbereich unter Verwendung eines Kamerabildes der Umgebung des Roboters 1 eingestellt, das von einer 3D-Kamera 6 erfasst wird, wie im Folgenden beschrieben wird.
  • Die 3D-Kamera 6 fotografiert ein Zielobjekt gleichzeitig aus unterschiedlichen Richtungen, um eine Parallaxe zu erzeugen, wodurch Entfernungsinformationen zu einer Entfernung bis zu dem Zielobjekt bezogen werden, und sie ist folglich eine Art Stereokamera. Die 3D-Kamera 6 umfasst ein Paar Kameras 6a und 6b, die angeordnet werden, um durch eine vorherbestimmte Entfernung voneinander beabstandet zu sein. Die Kameras 6a und 6b des Paares haben jeweils einen Bildsensor. Die 3D-Kamera 6 der vorliegenden Ausführungsform erfasst nicht nur Entfernungsinformationen des Zielobjekts, sondern auch Farbinformationen (wie RGB) des Objekts. Die 3D-Kamera 6 kann eine Art von Kamera sein, die einen Laser abgibt, um Entfernungsinformationen eines Reflexionspunkts aus einer Reflexionsposition und einer Reflexionszeit zu erfassen.
  • Beim Einstellen eines Interferenzbereichs fotografiert zunächst die 3D-Kamera 6 die Umgebung des Roboters 1 (einen gesamten Bereich der Bearbeitungskammer 4). Der Roboter 1 hat eine daran angebrachte Markierung 7 (in der Zeichnung ein Pfeil), die einen Referenzpunkt (beispielsweise einen Ausgangspunkt) eines Roboterkoordinatensystems anzeigt. Dementsprechend kann durch Fotografieren des Bereichs, der die Markierung 7 umfasst, durch die 3D-Kamera 6, d. h. durch Einbinden der Markierung 7 in einen Fotografierbereich 8, die Position (XYZ-Koordinaten) des Zielobjekts, das in dem Fotografierbereich 8 enthalten ist, unter Verwendung des Roboterkoordinatensystems repräsentiert werden.
  • 1 stellt ein Beispiel dar, in dem ein Arbeiter die 3D-Kamera 6 hält, um ein Bild aufzunehmen. Andererseits kann das Fotografieren auch ausgeführt werden, indem die 3D-Kamera auf einem Kamerastativ gehalten wird, das die Position und die Stellung der 3D-Kamera 6 ändern kann, und mittels eines Fotografierbefehls von außerhalb. In diesem Fall können die Position und die Stellung der 3D-Kamera 6 justiert werden, indem ein Steuersignal an einen Betätiger zum Antreiben des Kamerastativs ausgegeben wird. Wenn zu diesem Zeitpunkt der gesamte Bereich der Bearbeitungskammer 4 nicht in den Fotografierbereich 8 eingebunden wird, werden die Position und die Stellung der 3D-Kamera 6 geändert, um das Fotografieren mehrmals aus mehreren Positionen und mehreren Richtungen zu wiederholen, bis das Fotografieren des gesamten Bereichs der Bearbeitungskammer 4 abgeschlossen ist. Mehrere dadurch erhaltene Kamerabilder werden zusammengeführt, wodurch das Beziehen von Entfernungsinformationen des gesamten Bereichs der Bearbeitungskammer 4 in dem Roboterkoordinatensystem ermöglicht wird. In diesem Fall kann ohne Justieren der Position und der Stellung der Kamera durch das Kamerastativ eine Kamera verwendet werden, die mehrere Bilder zusammenführen kann, die durch Halten der Kamera in der Hand fotografiert wurden.
  • 2 ist ein Blockdiagramm, das die gesamte Struktur der Interferenzbereichseinstellungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Ein Teil der Interferenzbereichseinstellungsvorrichtung wird von einem Robotersteuergerät 10 gebildet. Das Robotersteuergerät 10 umfasst eine 3D-Kamerasteuerung 11, eine 3D-Kartenerstellungseinheit 12, eine Farbeinstellungseinheit 13, eine Farbsucheinheit 14, eine Interferenzbereichseinstellungseinheit 15 und eine Robotersteuereinheit 15 als Funktionselemente.
  • Eine Lehrkonsole 9 ist mit dem Robotersteuergerät 10 verbunden. Die Lehrkonsole 9 umfasst eine Eingabeeinheit 9a und kann verschiedene Befehle an das Robotersteuergerät 10 mittels der Eingabeeinheit 9a eingeben. Zusätzlich dazu umfasst die Lehrkonsole 9 eine Anzeigeeinheit 9b und kann verschiedene Sollwerte, Berechnungsergebnisse, einen Interferenzbereich und dergleichen mittels der Anzeigeeinheit 9b anzeigen.
  • Die 3D-Kamerasteuerung 11 steuert die 3D-Kamera 6. Insbesondere wird ein Fotografierbefehl an die 3D-Kamera 6 ausgegeben, um eine Fotografierzeitvorgabe zu justieren, und justiert möglicherweise die Laserabgabezeitvorgabe. Wenn die 3D-Kamera 6 von dem Kamerastativ gehalten wird, kann die 3D-Kamerasteuerung ein Steuersignal an das Kamerastativ ausgeben, um die Position und die Stellung der 3D-Kamera 6 zu ändern. Ein von der 3D-Kamera 6 erfasstes Kamerabild wird in einem Speicher gespeichert, der als eine Speichereinheit des Robotersteuergeräts 10 dient.
  • Die 3D-Kartenerstellungseinheit 12 erstellt eine 3D-Karte durch Anordnen mehrerer Punktsequenzen in gleichen Abständen in einem 3D-Raum um den Roboter 1 herum auf der Basis des Kamerabildes (der Entfernungsinformationen), das in dem Speicher gespeichert ist. Insbesondere spezifiziert die 3D-Kartenerstellungseinheit 12 die Positionen des Roboters 1 und eines Hindernisses durch Verwenden des Kamerabildes und stellt die Punktsequenzen in den gleichen Abständen in dem 3D-Raum ein, der von dem Roboter 1 und dem Hindernis gebildet wird. In dem Schritt, in dem die 3D-Karte erstellt wird, werden der Roboter 1 und das Hindernis noch nicht unterschieden.
  • Jede Punktsequenz, die die 3D-Karte bildet, bildet einen quadratischen Bereich mit einer kleinen Länge. Jede Punktsequenz umfasst Daten von Farbinformationen (RGB), die in dem Kamerabild enthalten sind. Wenn eine Punktsequenz dem Roboter 1 oder dem Hindernis entspricht, umfasst die Punktsequenz insbesondere Farbinformationen davon. Wenn die Punktsequenz andererseits einem Raum der Bearbeitungskammer 4 entspricht, in dem sich nichts befindet, werden der Punktsequenz Farbinformationen (beispielsweise R, G, B = 0, 0, 0) zum Unterscheiden des Raums von dem Roboter 1 und dem Hindernis gegeben. Die 3D-Kartenerstellungseinheit 12 spezifiziert weiterhin ein Bild der Markierung 7 aus dem Kamerabild, das von der 3D-Kamera 6 erfasst wurde, durch Musterabgleich oder dergleichen, um einer Punktsequenz, die der Markierung 7 entspricht, Farbinformationen (beispielsweise R, G, B = 1, 1, 1) zu geben, die von anderen Punktsequenzen unterscheidbar sind.
  • Die Farbeinstellungseinheit 13 stellt eine Farbe (eine externe Farbe) des Roboters 1 ein, der mittels der Lehrkonsole 9 befehligt wird. Die Farbeinstellungseinheit 13 stellt eine Farbe ein, die den Roboter 1 und das Hindernis unterscheidbar macht. In der vorliegenden Ausführungsform werden der Roboter 1 und das Hindernis unter Verwendung von gegenseitig unterschiedlichen Farben (die als Roboterfarbe bzw. Hindernisfarbe bezeichnet werden) gebildet. Beispielsweise ist eine Roboterfarbe gelb und eine Hindernisfarbe ist eine andere Farbe als gelb (beispielsweise grau). Die Roboterfarbe kann mehrere Farben (beispielsweise gelb und rot) umfasst. In diesem Fall handelt es sich bei der Hindernisfarbe um eine einzige Farbe oder mehrere Farben, bei denen es sich nicht um gelb oder rot handelt.
  • Die Farbsucheinheit 14 sucht nach der Punktsequenz, die die Farbinformationen umfasst, die der Markierung 7 entsprechen, in der 3D-Karte, die von der 3D-Kartenerstellungseinheit 12 erstellt wurde. Durch Verwenden der gesuchten Punktsequenz als ein Referenzpunkt (der Ausgangspunkt) kann jede Punktsequenz der 3D-Karte in Punktsequenzdaten in dem Roboterkoordinatensystem umgewandelt werden. Darüber hinaus sucht die Farbsucheinheit 14 nach einer Punktsequenz, die Farbinformationen (RGB) umfasst, die der Roboterfarbe (gelb) entsprechen, die von der Farbeinstellungseinheit 13 eingestellt wurde. Die Roboterfarbe kann sich zwischen jeweiligen Einheiten des Roboters aufgrund einer Änderung im Zeitablauf oder dergleichen leicht unterscheiden. Dementsprechend werden beim Suchen nach einer Punktsequenz vorzugsweise Farbinformationen derart eingestellt, dass sie einen vorherbestimmten Bereich haben, um nach einer Punktsequenz zu suchen, die sich innerhalb des Bereichs befindet.
  • Die Interferenzbereichseinstellungseinheit 15 schließt die Punktsequenz der Roboterfarbe, nach der von der Farbsucheinheit 14 gesucht wird, aus den Punktsequenzen der 3D-Karte aus. Dann stellt die Interferenzbereichseinstellungseinheit 15 einen Interferenzbereich auf der Basis von Positionsdaten der verbleibenden Punktsequenzen der 3D-Karte ein. Dadurch wird ein Interferenzbereich durch nur Positionsdaten des Hindernisses eingestellt. Der eingestellte Interferenzbereich wird in dem Speicher gespeichert.
  • Die Robotersteuereinheit 16 gibt ein Steuersignal an den Roboterantriebsservomotor auf der Basis eines vorherbestimmten Bearbeitungsprogramms oder als Reaktion auf einen Befehl von einem Arbeiter, den Roboter 1 zu betreiben, aus. In diesem Fall urteilt das Robotersteuergerät 10 jeweils bei Bedarf, ob der Roboter 1 in den Interferenzbereich eingedrungen ist oder nicht. Das Robotersteuergerät 16 stoppt den Betrieb des Roboters 1 durch Ausgeben eines Stoppsignals an den Servomotor, wenn der Roboter 1 in den Interferenzbereich eindringt oder im Begriff ist, in den Interferenzbereich einzudringen. Dadurch kann ein Zusammenstoß des Roboters 1 mit dem Hindernis verhindert werden.
  • 3 ist ein Ablaufdiagramm, das ein Beispiel eines Vorgangs darstellt, der von dem Robotersteuergerät 10 ausgeführt wird. Der von dem Ablaufdiagramm dargestellte Vorgang wird beispielsweise gestartet, wenn ein Arbeiter einen Interferenzbereichseinstellungsbefehl in das Robotersteuergerät 10 eingibt.
  • In einem Schritt S1 stellt die Farbeinstellungseinheit 13 eine Roboterfarbeingabe mittels der Lehrkonsole 9 ein. In einem Schritt S2 gibt die 3D-Kamerasteuerung 11 ein Steuersignal an das Kamerastativ und die 3D-Kamera 6 aus, um den gesamten Bereich der Bearbeitungskammer 4 zu fotografieren, wodurch ein Kamerabild, das die Markierung 7 umfasst, erfasst wird. In einem Schritt S3 erstellt die 3D-Kartenerstellungseinheit 12 eine 3D-Karte, die mehrere Punktsequenzen in einem 3D-Raum um den Roboter 1 herum umfasst auf der Basis des Kamerabildes.
  • In einem Schritt S4 sucht die Farbsucheinheit 14 nach der Markierung 7 in der 3D-Karte. In einem Schritt S5 verwendet die 3D-Kartenerstellungseinheit 12 eine Punktsequenz, die der Markierung 7 entspricht, als eine Referenz, um jede Punktsequenz der 3D-Karte in Punktsequenzdaten in dem Roboterkoordinatensystem umzuwandeln. In einem Schritt S6 sucht die Farbsucheinheit 14 nach einer Punktsequenz, die Farbinformationen umfasst, die der Roboterfarbe entsprechen, die in dem Schritt S1 eingestellt wurde. In einem Schritt S7 schließt die Interferenzbereichseinstellungseinheit 15 die Punktsequenz der Roboterfarbe von den Punktsequenzen der 3D-Karte aus und stellt einen Interferenzbereich unter Verwendung von Positionsdaten der verbleibenden Punktsequenzen der 3D-Karte ein.
  • Gemäß der vorliegenden Ausführungsform können die folgenden Funktionen und Effekte bereitgestellt werden:
    1. (1) Die Interferenzbereichseinstellungsvorrichtung umfasst die 3D-Kamera 6, die die Umgebung des Roboters 1 fotografiert, um ein Kamerabild eines Bereichs um den Roboter 1 herum zu erfassen, der Entfernungsinformationen und Farbinformationen umfasst. Die Interferenzbereichseinstellungsvorrichtung umfasst die 3D-Kartenerstellungseinheit 12, die eine 3D-Karte, die mehrere Punktsequenzen umfasst, die in gleichen Abständen in einem 3D-Raum um den Roboter 1 herum angeordnet sind, auf der Basis des Kamerabildes erstellt, und die Farbeinstellungseinheit 13, die eine Farbe des Roboters 1 einstellt. Die Interferenzbereichseinstellungsvorrichtung umfasst die Farbsucheinheit 14, die nach einer Punktsequenz, die Farbinformationen umfasst, die der Roboterfarbe entsprechen, aus der 3D-Karte sucht, die von der 3D-Kartenerstellungseinheit 12 erzeugt wurde, und die Interferenzbereichseinstellungseinheit 15, die einen Interferenzbereich auf der Basis von Positionsdaten der gesuchten Punktsequenz einstellt. Dadurch muss ein Benutzer einen Interferenzbereich nicht manuell eingeben und muss nicht ein 3D-Formmodell eines Hindernisses erstellen, und folglich können Interferenzbereiche mit verschiedenen Formen einfach eingestellt werden.
    2. (2) Die Farbeinstellungseinheit 13 stellt eine Roboterfarbe ein, die Farbsucheinheit 14 sucht nach einer Punktsequenz (einer Roboterpunktsequenz), die Farbinformationen umfasst, die der Roboterfarbe entsprechen, in der 3D-Karte und die Interferenzbereichseinstellungseinheit 15 stellt einen Interferenzbereich auf der Basis von Positionsdaten der verbleibenden Punktsequenzen der 3D-Karte, die die Roboterpunktsequenz ausschließen, ein. Dementsprechend kann ein adäquater Interferenzbereich, der den Roboter 1 ausschließt, einfach eingestellt werden.
    3. (3) Das Kamerabild umfasst ein Bild der Markierung 7, die eine Referenz eines Roboterkoordinatensystems ist, und die Interferenzbereichseinstellungseinheit 15 stellt einen Interferenzbereich in dem Roboterkoordinatensystem auf der Basis des Bildes der Markierung 7 ein. Dementsprechend können die Position des Roboters 1 und der Interferenzbereich in demselben Koordinatensystem repräsentiert werden, und folglich kann das Vorliegen oder Fehlen eines Eindringens des Roboters 1 in den Interferenzbereich leicht beurteilt werden.
  • Obwohl die Farbeinstellungseinheit 13 in der obigen Ausführungsform die Farbe des Roboters eingestellt hat, kann sie die Farbe eines Hindernisses einstellen. In diesem Fall sucht die Farbsucheinheit 14 nach einer Punktsequenz (einer Hindernispunktsequenz), die Farbinformationen umfasst, die der Farbe des Hindernisses entsprechen, in der 3D-Karte und die Interferenzbereichseinstellungseinheit 15 stellt einen Interferenzbereich auf der Basis von Positionsdaten der Hindernispunktsequenz ein. Die Farbeinstellungseinheit 13 kann sowohl eine Roboterfarbe als auch eine Hindernisfarbe einstellen und die Farbsucheinheit 14 kann nach jeweils einer Roboterpunktsequenz und einer Hindernispunktsequenz von der 3D-Karte suchen. Anders ausgedrückt, die Konfiguration der Interferenzbereichseinstellungseinheit 15 kann willkürlich gewählt werden, so lange die Interferenzbereichseinstellungseinheit 15 einen Interferenzbereich auf der Basis von Positionsdaten einer Punktsequenz einstellt, nach der von der Farbsucheinheit 14 gesucht wurde.
  • In der obigen Ausführungsform wurden der Punktsequenz, die der Markierung 7 entsprechen, Farbinformationen gegeben, die von anderen Punktsequenzen unterscheidbar sind, um nach der Markierung 7 in der 3D-Karte zu suchen (der Schritt S4). Beim Erstellen der 3D-Karte kann jedoch eine Kennung zu Daten der Punktsequenz, die der Markierung 7 entspricht, hinzugefügt werden, um die Punktsequenz der Markierung 7 von den anderen Punktsequenzen zu unterscheiden. Anders ausgedrückt, nach der Markierung 7 kann anhand eines beliebigen anderen Elements gesucht werden, so lange die Interferenzbereichseinstellungseinheit 15 einen Interferenzbereich in dem Roboterkoordinatensystem auf der Basis des Bildes der Markierung 7 einstellt, das von dem Kamerabild spezifiziert wird.
  • Gemäß der vorliegenden Erfindung muss ein Benutzer einen Interferenzbereich nicht durch manuelles Eingeben einstellen und muss nicht ein 3D-Formmodell eines Hindernisses herstellen, wodurch die Erleichterung des Einstellens eines Interferenzbereichs ermöglicht wird.
  • Die hierin oben bereitgestellte Beschreibung ist lediglich ein Beispiel. Die vorliegende Erfindung ist nicht auf die obige Ausführungsform und Modifikationen beschränkt, so lange die Merkmale der Erfindung nicht beeinträchtigt werden. Die Bestandselemente der obigen Ausführungsform und Modifikationen umfassen die austauschbaren und offensichtlich austauschbaren, während die Identität der Erfindung bewahrt wird. Anders ausgedrückt, ein beliebiger anderer Modus, der innerhalb des technischen Bereichs der vorliegenden Erfindung vorstellbar ist, ist in den Schutzumfang der Erfindung eingebunden. Darüber hinaus können die obige Ausführungsform und eine oder mehrere der Modifikationen gegebenenfalls miteinander kombiniert werden.

Claims (3)

  1. Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters, die Folgendes umfasst: eine 3D-Kamera (6), die die Umgebung eines Roboters (1) fotografiert, um ein Kamerabild eines Bereichs um den Roboter herum zu erfassen, der Entfernungsinformationen und Farbinformationen umfasst, die eine Vielzahl von Bildern zusammenführen kann und in der eine Position und eine Stellung verändert werden kann; eine 3D-Kartenerstellungseinheit (12), die eine 3D-Karte, die mehrere Punktsequenzen umfasst, die in gleichen Abständen in einem 3D-Raum um den Roboter herum angeordnet sind, auf einer Basis des Kamerabildes erstellt, wobei jede der Punktsequenzen die Farbinformationen umfasst, die in dem Kamerabild enthalten sind; eine Farbeinstellungseinheit (13), die eine Farbe von mindestens einem des Roboters und eines Hindernisses um den Roboter herum einstellt, wobei die Farbe eine Farbe ist, die den Roboter und das Hindernis unterscheidbar macht; eine Farbsucheinheit (14), die nach einer Punktsequenz, die Farbinformationen umfasst, die der Farbe entsprechen, die von der Farbeinstellungseinheit eingestellt wurde, in der 3D-Karte sucht, die von der 3D-Kartenerstellungseinheit erstellt wurde; und eine Interferenzbereichseinstellungseinheit (15), die einen Interferenzbereich, der ein Bereich ist, in dem sich ein Hindernis befindet, auf einer Basis von Positionsdaten der Punktsequenz, nach der von der Farbsucheinheit gesucht wurde, einstellt, wobei die Positionsdaten durch die Entfernungsinformationen des Kamerabildes erhalten werden; wobei das Kamerabild ein Bild einer Markierung (7) umfasst, die eine Referenz eines Roboterkoordinatensystems ist, und wobei die Interferenzbereichseinstellungseinheit den Interferenzbereich in dem Roboterkoordinatensystem auf Grundlage des Bildes der Markierung einstellt.
  2. Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters nach Anspruch 1, wobei die Farbeinstellungseinheit die Farbe des Roboters einstellt, die Farbsucheinheit nach einer Roboterpunktsequenz, die Farbinformationen umfasst, die der Farbe des Roboters entsprechen, in der 3D-Karte sucht und die Interferenzbereichseinstellungseinheit den Interferenzbereich auf einer Basis von Positionsdaten der verbleibenden Punktsequenzen der 3D-Karte, die die Roboterpunktsequenz ausschließen, einstellt.
  3. Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters nach Anspruch 1, wobei die Farbeinstellungseinheit die Farbe des Hindernisses einstellt, die Farbsucheinheit nach einer Hindernispunktsequenz, die Farbinformationen umfasst, die der Farbe des Hindernisses entsprechen, in der 3D-Karte sucht und die Interferenzbereichseinstellungseinheit den Interferenzbereich auf einer Basis von Positionsdaten der Hindernispunktsequenz einstellt.
DE102015013161.3A 2014-10-17 2015-10-09 Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters Active DE102015013161B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-213052 2014-10-17
JP2014213052A JP5980873B2 (ja) 2014-10-17 2014-10-17 ロボットの干渉領域設定装置

Publications (2)

Publication Number Publication Date
DE102015013161A1 DE102015013161A1 (de) 2016-04-21
DE102015013161B4 true DE102015013161B4 (de) 2018-04-19

Family

ID=55638001

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015013161.3A Active DE102015013161B4 (de) 2014-10-17 2015-10-09 Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters

Country Status (4)

Country Link
US (1) US9584796B2 (de)
JP (1) JP5980873B2 (de)
CN (1) CN105522592B (de)
DE (1) DE102015013161B4 (de)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102410300B1 (ko) * 2015-06-26 2022-06-20 한국전자통신연구원 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
ES2903532T3 (es) 2016-06-10 2022-04-04 Univ Duke Planificación de movimiento para vehículos autónomos y procesadores reconfigurables de planificación de movimiento
JP6420296B2 (ja) * 2016-12-01 2018-11-07 ファナック株式会社 ロボットの干渉領域を自動で設定するロボット制御装置
JP6457469B2 (ja) 2016-12-08 2019-01-23 ファナック株式会社 移動ロボットの干渉領域設定装置
JP6434550B2 (ja) * 2017-02-06 2018-12-05 ファナック株式会社 可搬型ロボット
CN108032333B (zh) * 2017-10-30 2020-06-09 广州明珞汽车装备有限公司 可批量自动检查机器人仿真姿态的方法
JP2019084609A (ja) * 2017-11-06 2019-06-06 セイコーエプソン株式会社 ロボット制御装置、ロボットおよびロボットシステム
CN108044624A (zh) * 2017-12-11 2018-05-18 上海信耀电子有限公司 一种基于powerlink总线的机器人控制系统
JP6687591B2 (ja) 2017-12-26 2020-04-22 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
TWI822729B (zh) 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
JP6994411B2 (ja) * 2018-02-28 2022-01-14 オークマ株式会社 工作機械システム
WO2019183141A1 (en) 2018-03-21 2019-09-26 Realtime Robotics, Inc. Motion planning of a robot for various environments and tasks and improved operation of same
JP7055883B2 (ja) * 2018-08-30 2022-04-18 TechShare株式会社 ロボット
JP6895128B2 (ja) * 2018-11-09 2021-06-30 オムロン株式会社 ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム
JP7147571B2 (ja) * 2019-01-15 2022-10-05 オムロン株式会社 経路生成装置、経路生成方法、及び経路生成プログラム
US11634126B2 (en) 2019-06-03 2023-04-25 Realtime Robotics, Inc. Apparatus, methods and articles to facilitate motion planning in environments having dynamic obstacles
WO2021041223A1 (en) 2019-08-23 2021-03-04 Realtime Robotics, Inc. Motion planning for robots to optimize velocity while maintaining limits on acceleration and jerk
TW202146189A (zh) 2020-01-22 2021-12-16 美商即時機器人股份有限公司 於多機器人操作環境中之機器人之建置
CN115297999A (zh) * 2020-03-18 2022-11-04 实时机器人有限公司 在机器人的运动规划中有用的机器人操作环境的数字表示
CN112605999B (zh) * 2020-12-22 2022-01-18 杭州北冥星眸科技有限公司 基于红外线深度摄像头技术的机器人障碍检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005081445A (ja) 2003-09-04 2005-03-31 Fanuc Ltd ロボットの干渉領域確認装置
JP2006003263A (ja) 2004-06-18 2006-01-05 Hitachi Ltd 視覚情報処理装置および適用システム
US20100040279A1 (en) 2008-08-12 2010-02-18 Samsung Electronics Co., Ltd Method and apparatus to build 3-dimensional grid map and method and apparatus to control automatic traveling apparatus using the same
US20140277737A1 (en) 2013-03-18 2014-09-18 Kabushiki Kaisha Yaskawa Denki Robot device and method for manufacturing processing object

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479372B2 (ja) * 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
JP2007307630A (ja) * 2006-05-16 2007-11-29 Nissan Motor Co Ltd ワーク格納装置およびワーク格納方法
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
JP5343641B2 (ja) * 2009-03-12 2013-11-13 株式会社Ihi ロボット装置の制御装置及びロボット装置の制御方法
JP5539001B2 (ja) * 2010-05-07 2014-07-02 本田技研工業株式会社 制御装置
US9323250B2 (en) * 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
CN102426391B (zh) * 2011-09-05 2014-06-11 华南理工大学 一种判断机器人运行是否发生碰撞的方法
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005081445A (ja) 2003-09-04 2005-03-31 Fanuc Ltd ロボットの干渉領域確認装置
JP2006003263A (ja) 2004-06-18 2006-01-05 Hitachi Ltd 視覚情報処理装置および適用システム
US20100040279A1 (en) 2008-08-12 2010-02-18 Samsung Electronics Co., Ltd Method and apparatus to build 3-dimensional grid map and method and apparatus to control automatic traveling apparatus using the same
US20140277737A1 (en) 2013-03-18 2014-09-18 Kabushiki Kaisha Yaskawa Denki Robot device and method for manufacturing processing object

Also Published As

Publication number Publication date
DE102015013161A1 (de) 2016-04-21
US9584796B2 (en) 2017-02-28
US20160112694A1 (en) 2016-04-21
CN105522592B (zh) 2017-07-21
JP5980873B2 (ja) 2016-08-31
CN105522592A (zh) 2016-04-27
JP2016078184A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
DE102015013161B4 (de) Vorrichtung zum Einstellen eines Interferenzbereichs eines Roboters
EP2132608B1 (de) Verfahren und vorrichtung zur steuerung von robotern zum schweissen von werkstücken
DE102009034529B4 (de) Automatisches Führungs- und Erkennungssystem sowie Verfahren für dieses
DE102015002760B4 (de) Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
DE102014016069B4 (de) Vorrichtung und Verfahren zum Aufnehmen eines Gegenstandes im 3- dimensionalen Raum mit einem Roboter
DE102017114880B4 (de) Laserbearbeitungs-robotersystem zur durchführung einer laserbearbeitung eines werkstücks unter verwendung eines roboters
DE602004008131T2 (de) Automatisches Arbeitsgerät und automatisches Arbeitskontrollprogramm
DE102015000587B4 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
DE102019109624B4 (de) Roboterbewegungseinlernvorrichtung, Robotersystem und Robotersteuerung
DE102015016530B4 (de) Roboter-Identifizierungssystem
DE102018112403B4 (de) Robotersystem, das informationen zur unterweisung eines roboters anzeigt
DE102015209899B4 (de) Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
DE102018207414A1 (de) Bildverarbeitungssystem
DE10351669B4 (de) Verfahren und Vorrichtung zum Steuern eines Handhabungsgeräts relativ zu einem Objekt
DE102021103726B4 (de) Messparameter-Optimierungsverfahren und -vorrichtung sowie Computersteuerprogramm
DE102011014299A1 (de) Verfahren und Mittel zum Steuern einer Automatisierungseinrichtung, insbesodere eines Roboters
EP3974936B1 (de) Konfigurieren einer visualisierungsvorrichtung für einen maschinenbereich
EP1915239B1 (de) Verfahren zum erzeugen eines umgebungsbildes
DE102015214857A1 (de) Verfahren und System zum Erstellen eines dreidimensionalen Modells einer Produktionsumgebung
DE102005040714B4 (de) Verfahren und System zur Erstellung eines Bewegungsablaufes für einen Roboter
DE102021101593B3 (de) Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug und Kraftfahrzeug
DE102011084353B4 (de) Verfahren und Computerprogramm zum Einrichten eines Greifroboters, sowie Greifroboter
DE112021005346T5 (de) Anzeigevorrichtung für erweiterte Realität und Anzeigesystem für erweiterte Realität
DE112021005409T5 (de) Sicherheits-sichtvorrichtung und sicherheits-sichtsystem

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: WUESTHOFF & WUESTHOFF, PATENTANWAELTE PARTG MB, DE

R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final