DE102009001894B4 - Robot system with 3D camera - Google Patents

Robot system with 3D camera Download PDF

Info

Publication number
DE102009001894B4
DE102009001894B4 DE102009001894.8A DE102009001894A DE102009001894B4 DE 102009001894 B4 DE102009001894 B4 DE 102009001894B4 DE 102009001894 A DE102009001894 A DE 102009001894A DE 102009001894 B4 DE102009001894 B4 DE 102009001894B4
Authority
DE
Germany
Prior art keywords
camera
articulated arm
robot system
manipulator
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102009001894.8A
Other languages
German (de)
Other versions
DE102009001894A1 (en
Inventor
Björn Biehler
Florian Forster
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
PMDtechnologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PMDtechnologies AG filed Critical PMDtechnologies AG
Priority to DE102009001894.8A priority Critical patent/DE102009001894B4/en
Publication of DE102009001894A1 publication Critical patent/DE102009001894A1/en
Application granted granted Critical
Publication of DE102009001894B4 publication Critical patent/DE102009001894B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

Robotersystem mit mindestens einem Gelenkarm (32), einem Manipulator (34),und einer 3D-Kamera (40),wobei die 3D-Kamera Entfernungen anhand einer Lichtlaufzeit ermittelt,und die Lichtlaufzeitinformationen aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewonnen werden,wobei die 3D-Kamera an einem Gelenkarm (32) des Robotersystems angeordnet ist,wobei zusätzlich zu der auf einem Gelenkarm (32) angeordneten 3D-Kamera (40) eine zweite 3D-Kamera vorgesehen ist,und wobei die zweite 3D-Kamera zumindest einen Teil des Arbeitsbereichs erfasst, dadurch gekennzeichnet,dass die zweite 3D-Kamera einem kooperierenden Roboter zugeordnet ist.Robot system with at least one articulated arm (32), a manipulator (34), and a 3D camera (40), wherein the 3D camera determines distances based on a light transit time, and the light transit time information from the phase shift of an emitted and received radiation are obtained the 3D camera is arranged on an articulated arm (32) of the robot system, wherein a second 3D camera is provided in addition to the 3D camera (40) arranged on an articulated arm (32), and wherein the second 3D camera comprises at least one part of the work area, characterized in that the second 3D camera is associated with a cooperating robot.

Description

Die Erfindung betrifft ein Robotersystem bzw. ein Verfahren zum Betreiben eines Robotersystems, bei dem ein Arbeitsbereich des Robotersystems mit Hilfe einer beweglich angeordneten 3D-Kamera überwacht wird.The invention relates to a robot system or a method for operating a robot system, in which a working area of the robot system is monitored by means of a movably arranged 3D camera.

Aus der EP 0 263 952 B1 ist bereits eine Roboteranlage mit beweglichen Manipulatorarmen bekannt, der eine Bildaufnahme- und -verarbeitungsanlage aus 2D- und 3D-Sensoriken zugeordnet ist. Die 2D-Sensorik ist als CCD-Kamera ausgestaltet und die 3D-Sensorik als Laserentfernungsmesser mit einer Ablenkeinheit als Laserradar ausgebildet. Die beiden Sensoriken sind auf einer zentralen Plattform angeordnet und überwachen den Arbeitsraum des Roboters. Die zu manipulierenden Objekte werden zunächst mit Hilfe des Laserradars in ihrer Größe vermessen. Mit diesen Informationen wird die Entfernungseinheit und Brennweite der CCD-Kamera zur Gewinnung eines aussagekräftigen 2D-Bilds eingestellt. Eine Objekterkennung und Steuerung des Roboters erfolgt anhand einer gemeinsamen Auswertung der 2D- und 3D-Informationen.From the EP 0 263 952 B1 already a robot system with movable manipulator arms is known, which is associated with an image recording and processing system of 2D and 3D sensor systems. The 2D sensor system is designed as a CCD camera and the 3D sensor system is designed as a laser rangefinder with a deflection unit as a laser radar. The two sensors are arranged on a central platform and monitor the workspace of the robot. The objects to be manipulated are first measured in size using the laser radar. This information sets the distance unit and focal length of the CCD camera to obtain a meaningful 2D image. Object recognition and robot control are based on a common evaluation of the 2D and 3D information.

Aus der US 2008 / 0 082 213 A1 ist ein Robotersystem für die Entnahme von Werkstücken bekannt, bei der in einer Übersichtsaufnahme die Lage der Werkstücke erkannt wird und in Nahaufnahmen die dreidimensionale Position und Orientierung der Objekte näher bestimmt wird. Für die Nahaufnahmen ist es vorgesehen eine Kamera an einem Roboterarm anzuordnen. Für die Erfassung von Übersichtsaufnahmen wird der Roboterarm entweder in eine Übersichtsposition gebracht oder es ist eine zweite stationäre Kamera vorgesehen.From US 2008/0 082 213 A1 a robot system for the removal of workpieces is known, in which the position of the workpieces is detected in an overview image and in close-up the three-dimensional position and orientation of the objects is determined in more detail. For the close-ups, it is intended to arrange a camera on a robot arm. For capturing overview shots, the robotic arm is either placed in an overview position or a second stationary camera is provided.

Als 3D-Kamerasysteme sind insbesondere auch Lichtlaufzeitkameras nach dem PMD-Prinzip bekannt, wie sie im Detail in der DE 197 04 496 A1 beschrieben sind.As 3D camera systems in particular also light time cameras are known according to the PMD principle, as described in detail in the DE 197 04 496 A1 are described.

Nachteilig einer zentralen Beobachtung des Arbeitsraumes ist, dass zur Verbesserung der Auflösung die CCD-Kamera beispielsweise mit einem Zoomobjektiv auszustatten ist. Die Auflösung des Laserradars ist hier in der Wesentlichen durch die mechanische Präzision der Ablenkeinheit begrenzt und kann nur mit erheblichem Aufwand verbessert werden. Darüber hinaus hat eine zentrale Beobachtungsposition den Nachteil, dass Strukturen hinter verdeckten Bereichen nicht erkannt werden können.The disadvantage of a central observation of the working space is that to improve the resolution, the CCD camera is to be equipped with a zoom lens, for example. The resolution of the laser radar is limited here essentially by the mechanical precision of the deflection unit and can be improved only with considerable effort. In addition, a central viewing position has the disadvantage that structures behind hidden areas can not be detected.

Aufgabe der Erfindung ist es, eine Bilderfassung im Hinblick auf eine zuverlässigere Objekterfassung und präzisere Robotersteuerung weiter zu entwickeln.The object of the invention is to further develop an image capture with regard to a more reliable object detection and more precise robot control.

Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße Vorrichtung und des erfindungsgemäßen Verfahrens der unabhängigen Ansprüche gelöst.The object is achieved in an advantageous manner by the device according to the invention and the method according to the invention of the independent claims.

Vorteilhaft ist ein Robotersystem mit mindestens einem Gelenkarm, einem Manipulator und einer 3D-Kamera vorgesehen, bei dem die 3D-Kamera Entfernungen anhand einer Lichtlaufzeit ermittelt und die Lichtlaufzeitinformationen aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewonnen wird. Die 3D-Kamera ist an einem Gelenkarm des Robotersystems angeordnet. Dieses Vorgehen hat den Vorteil, dass die am Gelenkarm angeordnete 3D-Kamera verschiedene Beobachtungspositionen im Raum einnehmen kann und so die Möglichkeit besteht, das räumliche Umfeld bzw. den Arbeitsbereich des Robotersystems auch in Details vollständig zu erfassen.Advantageously, a robot system with at least one articulated arm, a manipulator and a 3D camera is provided in which the 3D camera determines distances on the basis of a light transit time and the light transit time information is obtained from the phase shift of an emitted and received radiation. The 3D camera is arranged on an articulated arm of the robot system. This procedure has the advantage that the 3D camera arranged on the articulated arm can assume different observation positions in space and thus it is possible to completely grasp the spatial environment or the working area of the robot system even in details.

Die Aufgabe wird ferner durch das erfindungsgemäße Verfahren für das genannte Robotersystem gelöst, bei dem in einem ersten Schritt eine globale Beobachtungsposition angefahren wird. Die Gelenkarme werden so angesteuert, dass die 3D-Kamera aus der globalen Beobachtungsposition einen Arbeitsbereich des Robotersystems im Wesentlichen vollständig erfassen kann. Die in dieser Position erfassten Daten werden ausgewertet und ein erstes 3D-Modell des Arbeitsbereichs erstellt. Ausgehend von den erfassten und ausgewerteten 3D-Daten wird überprüft, ob der Arbeitsbereich verdeckte Bereiche - also Bereiche, die von der globalen Beobachtungsposition nicht eingesehen werden können - aufweist. Insbesondere können die 3D-Daten im Hinblick auf unklare Bereiche untersucht werden. Unter unklare Bereiche sind hier vorzugsweise Bereiche zu verstehen, in denen eine Struktur und/oder ein Objekt nicht eindeutig oder nur mit geringer Wahrscheinlichkeit erkannt wird. Bei Vorliegen verdeckter und/oder unklarer Bereiche, werden lokale Beobachtungspositionen ermittelt und angefahren, aus denen ein Einblick in die verdeckten Bereiche möglich erscheint und/oder eine bessere Auflösung der unklaren Bereiche zu erwarten ist. Das aus der globalen Beobachtungssituation erstellte erste 3D-Modell wird dann um die 3D-Daten der lokalen Beobachtungspositionen ergänzt. Dieses Vorgehen hat den Vorteil, dass verdeckte oder unklar erfasste Bereiche durch Anfahren lokaler Beobachtungspositionen detailliert analysiert werden können, und anhand der lokalen Beobachtungsdaten im Gegensatz zu einer festen Überblicksposition präzisere Bahn- und Steuerungsstrategien für das Robotersystem ermittelt werden können.The object is further achieved by the method according to the invention for the said robot system, in which a global observation position is approached in a first step. The articulated arms are controlled in such a way that the 3D camera can essentially completely capture a working area of the robot system from the global observation position. The data collected in this position are evaluated and an initial 3D model of the workspace is created. Based on the acquired and evaluated 3D data, it is checked whether the workspace has hidden areas - areas that can not be seen by the global observation position. In particular, the 3D data can be examined with regard to unclear areas. Unclear areas here are preferably areas in which a structure and / or an object is not recognized unambiguously or only with low probability. In the presence of hidden and / or unclear areas, local observation positions are determined and approached, from which an insight into the hidden areas seems possible and / or a better resolution of the unclear areas is to be expected. The first 3D model created from the global observation situation is then supplemented by the 3D data of the local observation positions. This procedure has the advantage that covert or unclear areas can be analyzed in detail by approaching local observation positions, and the local observation data can be used to determine more precise path and control strategies for the robot system, in contrast to a fixed overview position.

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der in den unabhängigen Ansprüchen angegeben Verfahren und Vorrichtung möglich.The measures listed in the dependent claims advantageous refinements and improvements of the method and apparatus given in the independent claims are possible.

Ferner ist es von Vorteil, die 3D-Kamera derart anzuordnen, dass der Manipulator des Robotersystems im Sichtbereich der 3D-Kamera liegt. Eine solche Anordnung ermöglicht nicht nur eine Erfassung des umliegenden Raumbereichs, sondern ermöglicht ferner die Arbeitsweise des Manipulators zu überwachen. Insbesondere ist es möglich - beispielsweise bei einem Greifer - den Zugriff auf ein Objekt zu überwachen und ggf. auch zu steuern, indem die Bewegung des Greifers im Raum quasi kontinuierlich erfasst und bei Abweichung der Ist-Position auf eine Soll-Position zurückgeführt werden kann. Furthermore, it is advantageous to arrange the 3D camera such that the manipulator of the robot system lies in the field of view of the 3D camera. Such an arrangement not only allows detection of the surrounding space, but also allows the operation of the manipulator to be monitored. In particular, it is possible - for example, in a gripper - to monitor the access to an object and possibly also to control by the movement of the gripper in space detected virtually continuously and can be returned to a desired position in deviation of the actual position.

Zusätzlich kann die 3D-Kamera auf dem Gelenkarm beweglich angeordnet sein, so dass ohne Positionsänderung des Gelenkarms weitere Beobachtungsrichtungen der 3D-Kamera eingestellt werden können. Dies ist insbesondere dann von Vorteil, wenn der Gelenkarm sich in einem Bereich mit geringeren Bewegungsmöglichkeiten befindet. Die bewegliche Anordnung der 3D-Kamera erlaubt somit insbesondere in engen und ggf. schwierig einsehbaren Bereichen eine Erfassung der dreidimensionalen Raumsituation.In addition, the 3D camera can be arranged to be movable on the articulated arm, so that further observation directions of the 3D camera can be set without changing the position of the articulated arm. This is particularly advantageous when the articulated arm is in an area with less movement possibilities. The movable arrangement of the 3D camera thus allows detection of the three-dimensional space situation, particularly in narrow and possibly difficult-to-see areas.

In einer weiteren Ausgestaltung ist es vorgesehen, die 3D-Kamera innerhalb des Gelenkarms bzw. des Manipulators anzuordnen. Typischerweise ist ein Gelenkarm nicht massiv, sondern beispielsweise als Hohlrohr oder als Rohrkonstruktion aufgebaut. Die 3D-Kamera kann nun innerhalb einer solchen Konstruktion angeordnet werden. Eine solche Anordnung hat den Vorteil, dass die 3D-Kamera vor äußerlichen Einflüssen durch die Konstruktion des Gelenkarms geschützt ist. Da der Manipulator üblicherweise am Ende des letzten Gelenkarms angeordnet ist, kann bei einem Einbau der 3D-Kamera innerhalb des Gelenkarms neben dem Arbeitsbereich auch der Manipulator erfasst werden. Je nach Ausgestaltung des Manipulators kann die 3D-Kamera auch Teil des Manipulators sein.In a further embodiment, it is provided to arrange the 3D camera within the articulated arm or the manipulator. Typically, an articulated arm is not solid, but constructed, for example, as a hollow tube or pipe construction. The 3D camera can now be arranged within such a construction. Such an arrangement has the advantage that the 3D camera is protected against external influences by the construction of the articulated arm. Since the manipulator is usually arranged at the end of the last articulated arm, the manipulator can also be detected when the 3D camera is installed inside the articulated arm in addition to the working area. Depending on the configuration of the manipulator, the 3D camera can also be part of the manipulator.

Ferner ist es von Vorteil, zusätzlich zu der auf dem Gelenkarm angeordneten 3D-Kamera eine zweite 3D-Kamera vorzusehen. Diese zweite 3D-Kamera ist derart angeordnet, dass sie zumindest einen Teil des Arbeitsbereiches des Robotersystems erfasst. Die zweite 3D-Kamera ist vorzugsweise stationär angeordnet, beispielsweise an einem Stativ, das entweder mit dem Robotersystem verbunden ist oder auch separat aufgestellt werden kann.Furthermore, it is advantageous to provide a second 3D camera in addition to the 3D camera arranged on the articulated arm. This second 3D camera is arranged such that it detects at least a part of the working area of the robot system. The second 3D camera is preferably arranged stationary, for example on a stand which is either connected to the robot system or can also be set up separately.

Des Weiteren ist es auch möglich, die 3D-Kamera beweglich anzuordnen, um auch vom stationären Standort aus weitere Raumwinkelbereiche erfassen zu können. Die über die zweite 3D-Kamera teilweise redundant erfassten Daten, erlauben in vorteilhafter Art und Weise auch eine Überprüfung beider Systeme auf Datenkonsistenz, wobei bei zu großen Abweichungen geeignete Fehlerreaktionen eingeleitet werden können.Furthermore, it is also possible to arrange the 3D camera in a movable manner in order to be able to detect further solid angle ranges even from the stationary position. The data partially redundantly acquired via the second 3D camera advantageously also permit checking of the two systems for data consistency, with suitable error responses being able to be initiated in the event of excessive deviations.

Weiterhin ist es von Vorteil, in kooperierenden Robotersystemen auch den kooperierenden Roboter mit einer 3D-Kamera zu versehen. So können sich die kooperierenden Roboter beispielsweise gegenseitig in ihren Bewegungen überwachen und ggf. auch Steuern oder Regeln.Furthermore, it is advantageous to provide the cooperating robot with a 3D camera in cooperating robot systems. For example, the cooperating robots can monitor each other's movements and, if necessary, also control or regulate.

Auch das Verfahren kann vorteilhaft weiter ausgestaltet werden, indem anhand des ersten in der globalen Beobachtungsposition gewonnenen 3D-Models eine erste Bahn- insbesondere erste Entladestrategie ermittelt wird. Im Weiteren wird das erste 3D-Modell anhand der lokalen 3D-Daten ergänzt oder neu ermittelt.The method can also be configured advantageously by determining a first path, in particular first, unloading strategy on the basis of the first 3D model obtained in the global observation position. Furthermore, the first 3D model is supplemented or re-determined on the basis of the local 3D data.

Es zeigen:

  • 1 schematisch ein erfindungsgemäßes Robotersystem in globaler Beobachtungsposition,
  • 2 ein Robotersystem in lokaler Beobachtungsposition,
  • 3 ein Robotersystem mit separaten Greif- und Kameraarm,
  • 4 ein Robotersystem mit einer innerhalb des Gelenkarms angeordneten 3D-Kamera,
  • 5 eine auf einem Gelenkarm beweglich angeordnete 3D-Kamera.
Show it:
  • 1 schematically a robot system according to the invention in global observation position,
  • 2 a robotic system in local observation position,
  • 3 a robot system with separate gripping and camera arm,
  • 4 a robot system with a 3D camera disposed within the articulated arm,
  • 5 a movably arranged on a hinged 3D-camera.

1 zeigt ein mögliches Ausführungsbeispiel eines erfindungsgemäßen Robotersystems. Der Roboter weist mehrere Gelenkarme 32 und am letzten Gelenkarm 32 einen Manipulator 34 insbesondere einen Greifer 34 zur Manipulation von Objekten 21, 22, 23 auf. Die Gelenkarme 32 und der Greifer 34 sind typischerweise frei in den möglichen Raumachsen beweglich. Die Objekte 21, 22, 23 befinden sich im vorliegenden Beispiel in einem Transportbehälter 10, beispielsweise einer Holzkiste oder einem Karton, der auf einer Frontseite teilweise geöffnet ist. Die direkte Sicht auf die Objekte 21, 22, 23 wird durch die nicht geöffneten Bereiche 15 verstellt bzw. abgedeckt. 1 shows a possible embodiment of a robot system according to the invention. The robot has several articulated arms 32 and at the last articulated arm 32 a manipulator 34, in particular a gripper 34 for the manipulation of objects 21 . 22 . 23 on. The articulated arms 32 and the gripper 34 are typically freely movable in the possible spatial axes. The objects 21 . 22 . 23 are in the present example in a transport container 10 For example, a wooden box or a box that is partially open on a front. The direct view of the objects 21 . 22 . 23 is through the unopened areas 15 adjusted or covered.

Auf dem letzten Gelenkarm 32 ist ferner eine 3D-Kamera 40 angeordnet. Der letzte Gelenkarm 32 übernimmt somit im dargestellten Beispiel sowohl die Funktion eines Manipulator-bzw. Greifarms 33 als auch die Funktion eines Kameraarms 35.On the last articulated arm 32 Furthermore, a 3D camera 40 is arranged. The last articulated arm 32 thus assumes in the example shown both the function of a manipulator or. gripper arm 33 as well as the function of a camera arm 35 ,

Die 3D-Kamera ist vorzugsweise als Time-of-flight (TOF) Kamera ausgeführt. Mit TOF-Kamera sollen insbesondere auch alle 3D-Kameras mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Erfindungsgemäß ist als Kamera insbesondere ein so genannter Photomischdetektor (PMD) vorgesehen, wie u.a. in den Anmeldungen beschrieben und beispielsweise von der E 196 37 822 C1, EP 1 777 747 A1 , US 6 587 186 B2 und auch DE 197 04 496 A1 Firma ,ifm electronic gmbh' als Frame-Grabber O3D101/M01594 zu beziehen ist. Die PMD-Kamera hat den Vorteil, dass Lichtquelle und Detektor in einem Gehäuse angeordnet sind und aufgrund dieser Kompaktheit unproblematisch an einem Gelenkarm angebracht werden kann.The 3D camera is preferably designed as a time-of-flight (TOF) camera. With TOF camera in particular, all 3D cameras should be included, which gain a runtime information from the phase shift of an emitted and received radiation. According to the invention as a camera in particular a so-called Photomix detector (PMD), as described inter alia in the applications and, for example, from E 196 37 822 C1, EP 1 777 747 A1 . US Pat. No. 6,587,186 B2 and also DE 197 04 496 A1 Company, ifm electronic gmbh 'is available as frame grabber O3D101 / M01594. The PMD camera has the advantage that light source and detector are arranged in a housing and due to this compactness can be easily attached to an articulated arm.

In der in 1 dargestellten Situation befindet sich das Robotersystem 30 in einer globalen Beobachtungsposition. Die auf dem Greifarm 33 angeordnete 3D-Kamera 40 ist in dieser Situation vorzugsweise so positioniert und ausgerichtet, dass der Arbeitsbereich des Robotersystems vollständig erfasst werden kann. Anhand der erfassten 3D-Daten kann beispielsweise mit Hilfe einer Bildverarbeitung und/oder Auswerteeinheit ein 3D-Modell des Arbeitsbereichs ermittelt und/oder die im Arbeitsbereich angeordneten Objekte 21, 22, 23 erkannt werden. Ausgehend von diesen Daten können dann weitere Aktionen des Robotersystems eingeleitet werden.In the in 1 the situation shown is the robot system 30 in a global observation position. The on the gripper arm 33 arranged 3D camera 40 is preferably positioned and aligned in this situation so that the working area of the robot system can be fully detected. On the basis of the acquired 3D data, for example with the aid of an image processing and / or evaluation unit, a 3D model of the work area can be determined and / or the objects arranged in the work area 21 . 22 . 23 be recognized. Based on these data, further actions of the robot system can then be initiated.

Im dargestellten Beispiel könnte das Robotersystem beispielsweise für die Sortierung von Gepäckstücken eingesetzt werden. In der globalen Beobachtungsposition wird vom System zum einen die Szene dreidimensional erfasst und über eine Objekterkennung die einzelnen Gepäckstücke klassifiziert. Anhand der erfassten Daten wird beispielsweise eine Entladestrategie und eine entsprechende Bahnplanung des Greifers festgelegt. Der Greifer wird hiernach an geeignete Greifstellen der Objekte 21, 22, 23 bzw. Gepäckstücke geführt und die Gepäckstücke in vorgegebener Weise sortiert.In the example shown, the robot system could be used, for example, for the sorting of luggage. In the global observation position, the system captures the scene three-dimensionally and classifies the individual pieces of luggage via object recognition. On the basis of the acquired data, for example, an unloading strategy and a corresponding path planning of the gripper are determined. The gripper is hereafter to suitable gripping points of the objects 21 . 22 . 23 or pieces of luggage out and sorted the luggage in a predetermined manner.

Im gezeigten Fall kann aus der globalen Beobachtungsposition nur eine Greifstelle 20 des Objektes 22 erfasst werden. Die möglichen Greifstellen 20 der übrigen Objekte 21, 23 sind aus der globalen Beobachtungsposition nicht zu erkennen, eine entsprechende Bahnplanung kann insofern nicht getroffen werden.In the case shown, from the global observation position only one gripping point 20 of the object 22 be recorded. The possible gripping points 20 the remaining objects 21 . 23 can not be recognized from the global observation position, a corresponding path planning can not be made in this respect.

Für eine effiziente Entladestrategie und Bahnplanung wäre es hilfreich, auch die verdeckten Objekte mit in die Planung einzubeziehen. Erfindungsgemäß ist es daher vorgesehen, nachdem aus der globalen Beobachtungsposition der für die 3D-Kamera sichtbare Arbeitsbereich erfasst wurde, lokale Beobachtungen durchzuführen. Erfindungsgemäß ist es vorgesehen, aus den Daten der globalen Beobachtungsposition geeignete lokale Beobachtungsposition zu bestimmen, an denen mit hoher Wahrscheinlichkeit Informationen in den zunächst verdeckten Bereichen gewonnen werden können und die kollisionsfrei zu erreichen sind.For an efficient unloading strategy and path planning it would be helpful to include the hidden objects in the planning as well. According to the invention, it is therefore provided that local observations are carried out after the work area visible for the 3D camera has been detected from the global observation position. According to the invention, it is provided to determine from the data of the global observation position suitable local observation position at which information with high probability can be obtained in the initially hidden areas and which can be achieved without collision.

In 2 ist beispielhaft eine solche mögliche lokale Beobachtungsposition dargestellt. Diese Position erlaubt eine dreidimensionale Erfassung des ursprünglich verdeckten Raumbereichs 15 und der darin befindlichen Objekte 23. Da typischerweise das Robotersystem mit Sensoren zur Erfassung der Raumposition seines Manipulators insbesondere Greifers oder Werkzeugs ausgestattet ist, ist dem Robotersystem auch die tatsächliche Lage der 3D-Kamera in der lokalen Beobachtungsposition bekannt, so dass ohne weiteres die lokal beobachteten 3D-Daten in das bereits bekannte 3D-Modell ergänzend übernommen werden können. Durch Anfahren weiterer lokaler Beobachtungspositionen kann das ursprüngliche 3D-Modell sukzessive ergänzt und vervollständigt werden.In 2 is exemplified such a possible local observation position. This position allows a three-dimensional capture of the originally hidden space area 15 and the objects in it 23 , Since the robot system is typically equipped with sensors for detecting the spatial position of its manipulator, in particular gripper or tool, the robotic system is also aware of the actual position of the 3D camera in the local observation position, so that the locally observed 3D data can easily be converted into the already known 3D model can be taken over in addition. By approaching further local observation positions, the original 3D model can be successively supplemented and completed.

Insbesondere kann es in einem weiteren Schritt auch vorgesehen sein, weitere sublokale Beobachtungspositionen anzufahren, beispielsweise um Griffpositionen genauer zu untersuchen und/oder geeignete Greifpunkte zu ermitteln. Beispielsweise kann es auch vorgesehen sein, dass anhand der globalen und lokalen 3D-Daten eine erste Entladestrategie und vorläufige Greifpunkte festgelegt werden. Anstatt jedoch den vorläufigen Greifpunkt direkt anzufahren, wird zunächst eine sublokale Beobachtungsposition kurz vor dem vorläufigen Greifpunkt angefahren. An dieser Position wird der Greifpunkt noch einmal im Detail erfasst, die Greifstrategie bzw. -steuerung festgelegt und der Greifvorgang abschließend eingeleitet.In particular, it may also be provided in a further step to approach further sublocal observation positions, for example in order to examine grip positions more accurately and / or to determine suitable grip points. For example, it may also be provided that a first unloading strategy and preliminary gripping points are determined on the basis of the global and local 3D data. Instead of directly approaching the provisional grip point, however, a sublocal observation position is approached shortly before the provisional grip point. At this position, the gripping point is again recorded in detail, set the gripping strategy or control and finally initiated the gripping process.

Des Weiteren können durch Anfahren lokaler bzw. sublokaler Beobachtungspositionen insbesondere unklare Bereiche näher untersucht werden. Anhand der globalen Beobachtungsdaten werden auch hier entsprechende lokale bzw. sublokale Beobachtungspositionen ermittelt, die einer verbesserte Sicht bzw. Information auf bzw. über den unklaren Bereich versprechen.In addition, by approaching local or sublocal observation positions, in particular unclear areas can be examined more closely. On the basis of the global observation data, corresponding local or sublocal observation positions are also determined here, which promise an improved view or information on or about the unclear area.

3 zeigt eine weitere Ausgestaltung, bei der die 3D-Kamera 40 nicht auf dem Manipulatorarm 33, sondern auf einen vorhergehenden Gelenkarm 32 angeordnet ist. Kamera- und Manipulatorarm 35, 33 sind so zwar in Grenzen aber im Wesentlichen unabhängig von einander bewegbar. Eine derartige Anordnung hat den Vorteil, dass die 3D-Kamera 40 beispielsweise nicht nur das zu greifende Objekt 21, 22, 23, sondern auch den Manipulator bzw. Greifer 34 erfasst und so der Anfahrweg des Greifers 34 bis zum Greifpunkt 20 vollständig überwacht und gesteuert werden kann. 3 shows a further embodiment in which the 3D camera 40 is not on the manipulator arm 33 but on a previous articulated arm 32 is arranged. Camera and manipulator arm 35 . 33 Although they are within limits but essentially independent of each other movable. Such an arrangement has the advantage that the 3D camera 40, for example, not only the object to be gripped 21 . 22 . 23 , but also the manipulator or gripper 34 recorded and so the approach path of the gripper 34 to the gripping point 20 can be completely monitored and controlled.

Über die 3D-Kamera kann zum einen das zu greifende Objekt 22 und ein geeigneter Greifpunkt 20 vollständig in das bereits vorhandene 3D-Modell aufgenommen werden zum anderen besteht jedoch auch die Möglichkeit den Greifer 34 relativ zum Greifpunkt zu steuern. Die Relativmessung hat den Vorteil, dass Absolutfehler ausgemittelt und somit der Greifer präziser gesteuert werden kann. Für eine Bahnplanung bzw. Entladestrategie können selbstverständlich zunächst die Koordinaten der Objekte im 3D-Modell verwendet werden.On the one hand, the object to be gripped can be reached via the 3D camera 22 and a suitable grip point 20 However, there is also the possibility of the gripper 34 to control relative to the gripping point. The relative measurement has the advantage that absolute errors can be averaged out and thus the gripper can be controlled more precisely. Of course, the coordinates of the objects in the 3D model can first be used for a path planning or unloading strategy.

Auch in der in 3 dargestellten Ausführung ist es vorteilhaft, die 3D-Kamera 40 zunächst in eine globale Beobachtungsposition zu bringen, um den gesamten Arbeitsbereich zu erfassen. Hiernach können, wie bereits beschrieben, verschiedene lokale bzw. sublokale Positionen angefahren werden, um das 3D-Modell zu vervollständigen.Also in the in 3 In the embodiment shown, it is advantageous to first bring the 3D camera 40 into a global viewing position in order to record the entire working area. After that, as already described, various local or sublocal positions can be approached in order to complete the 3D model.

Die 4 entspricht im Wesentlichen der Anordnung gemäß 2. In der in 4 gezeigten Anordnung ist es jedoch vorgesehen, die 3D-Kamera nicht auf einem Kamera- oder Greifarm zu positionieren, sondern die 3D-Kamera im Manipulatorarm 34 selbst anzuordnen. Diese Anordnung hat den Vorteil, dass die Position der 3D-Kamera im Wesentlichen mit der Position des Manipulators übereinstimmt und die Bahn des Manipulators bzw. Greifes 34 und der Greifvorgang selbst unmittelbar beobachtet werden kann.The 4 corresponds essentially to the arrangement according to 2 , In the in 4 However, it is provided to position the 3D camera not on a camera or gripper arm, but the 3D camera in the manipulator arm 34 to arrange yourself. This arrangement has the advantage that the position of the 3D camera substantially coincides with the position of the manipulator and the path of the manipulator or gripper 34 and the gripping process itself can be observed directly.

Selbstverständlich kann in allen Ausführungsbeispielen der Manipulator als Greifer oder auch als ein anderes Werkzeug ausgestaltet sein. Beispielsweise könnte der Roboter nicht abschließender Aufzählung mit einer Bohr- Schweiß- Fräs-, Absaug- oder Befüllvorrichtung ausgestattet sein. Auch hier kann der Arbeitsbereich durch globale und lokale Beobachtungspositionen der 3D-Kamera vollständig erfasst werden. In der globalen Beobachtungsposition können beispielsweise die zu bearbeitenden Objekte und in den lokalen Beobachtungspositionen die Bearbeitungs- oder Angriffspunkte der jeweiligen Objekte erkannt und bestimmt werden.Of course, in all embodiments of the manipulator can be configured as a gripper or as another tool. For example, the non-exhaustive list robot could be equipped with a drilling, welding, milling, suction or filling device. Here, too, the working area can be completely captured by global and local observation positions of the 3D camera. In the global observation position, for example, the objects to be processed and in the local observation positions the processing or attack points of the respective objects can be detected and determined.

Ferner kann die 3D-Kamera auf dem Gelenkarm bzw. Manipulator- oder Kameraarm beweglich angeordnet sein, so dass ohne Positionsänderung des Gelenkarms weitere Beobachtungsrichtungen der 3D-Kamera eingestellt werden können. Dies ermöglicht eine Erfassung der dreidimensionalen Raumsituation insbesondere in engen und ggf. schwierig einsehbaren Bereichen, in denen der Gelenk- bzw. Kameraarm nicht in allen Raumachsen frei bewegt werden kann. Vorzugsweise sind für die Schwenkbewegungen der Kamera eine oder mehrere Achsen vorgesehen, um eine Orientierung der Kamera in verschiedene Raumbereiche zu ermöglichen. Insbesondere kann es auch vorgesehen sein, die Kamera auf einem Rotationselement anzuordnen. Das Rotationselement ist so ausgestaltet, dass die 3D-Kamera um die Längsachse des Gelenkarms bewegt werden kann.Furthermore, the 3D camera can be movably arranged on the articulated arm or manipulator or camera arm so that further observation directions of the 3D camera can be set without changing the position of the articulated arm. This allows a detection of the three-dimensional space situation, especially in narrow and possibly difficult to see areas in which the joint or camera arm can not be moved freely in all spatial axes. Preferably, one or more axes are provided for the pivoting movements of the camera in order to allow an orientation of the camera in different spatial areas. In particular, it can also be provided to arrange the camera on a rotary element. The rotation element is designed so that the 3D camera can be moved about the longitudinal axis of the articulated arm.

Eine derartige Anordnung ist schematisch in 5 gezeigt. Das Robotersystem entspricht im Wesentlichen dem in 2 gezeigten System, wobei die 3D-Kamera über das am letzten Gelenkarm 32 angeordnete Rotationselement46 in weitere Kamerapositionen 40', 40", 40"' -jeweils gestrichelt dargestellt-gebracht werden kann. Das Rotationselement 46 ermöglicht eine Drehbewegung der 3D-Kamera um die Längsachse des Gelenkarms, so dass die 3D-Kamera beispielsweise auch eine Position 40' unterhalb des Gelenkarms einnehmen kann. Ferner ist es vorgesehen die 3D-Kamera über eine Dreh- und über eine Schwenkachse 44, 42 mit dem Rotationselement zu verbinden. Über die Drehachse 44 und die Schwenkachse 42 kann die 3D-Kamera in weitere Raumrichtungen 40",40'" bewegt werden.Such an arrangement is schematically shown in FIG 5 shown. The robot system essentially corresponds to the one in 2 shown system, with the 3D camera on the last articulated arm 32 arranged rotation element 46 in more camera positions 40 ' . 40 " . 40 '' -which can be shown dashed-brought. The rotation element 46 allows a rotational movement of the 3D camera about the longitudinal axis of the articulated arm, so that the 3D camera, for example, a position 40 ' can take below the articulated arm. Furthermore, it is provided the 3D camera via a rotary and a pivot axis 44 . 42 to connect with the rotation element. About the rotation axis 44 and the pivot axis 42 Can the 3D camera in more spatial directions 40 " . 40 '' to be moved.

In einer weiteren Ausgestaltung ist es vorgesehen, zwei kooperierende Roboter jeweils mit einer 3D-Kamera auszustatten. Das 3D-Modell des Arbeitsbereiches kann so vorteilhaft, teilweise redundant, aus den Informationen beider 3D-Kameras gewonnen werden. Darüber hinaus kann auch das Anfahren der lokalen Beobachtungspösitionen vorteilhaft, auf beide Roboter verteilt werden. Da die 3D-Daten teilweise redundant vorliegen, können aus den Abweichungen ggf. Rückschlüsse auf die Genauigkeit und Zuverlässigkeit des Gesamtsystems gezogen werden. Überschreiten die Abweichungen einen vorgegebenen Grenzwert können geeignete Fehlerreaktionen eingeleitet werden. Beispielsweise kann es vorgesehen sein, dass die Robotersysteme zunächst eine Selbstkalibrierung anhand geeigneter Kalibrierungsmarken und/oder -objekte durchführen. Bleibt eine solche Kalibrierung ohne Erfolg, werden weitere Fehlerreaktionen, beispielsweise eine Signalisierung, eingeleitet.In a further embodiment, it is provided to equip two cooperating robots each with a 3D camera. The 3D model of the work area can be obtained as advantageously, partially redundantly, from the information of both 3D cameras. In addition, the approach of the local observation positions can advantageously be distributed to both robots. Since the 3D data are partially redundant, conclusions about the accuracy and reliability of the overall system can be drawn from the deviations. If the deviations exceed a predetermined limit value, suitable error responses can be initiated. For example, it may be provided that the robot systems first perform a self-calibration based on suitable calibration marks and / or objects. If such a calibration is unsuccessful, further error responses, such as signaling, are initiated.

Weiterhin kann es vorgesehen sein, die beschriebene Roboterarm-3D-Kamera um eine stationäre 3D-Kamera, zu ergänzen. Während die stationäre 3D-Kamera den Arbeitsbereich global erfasst, sondiert die Roboterarm-3D-Kamera den Arbeitsbereich lokal. Insbesondere kann es vorgesehen sein, den Arbeitsbereich auch von der Roboterarm-3D-Kamera zunächst in einer globalen Beobachtungsposition zu erfassen, und mit den redundanten Daten beider Kamerasysteme deren fehlerfreie Funktion zu überprüfen oder die Taktzeit zu verkürzen indem das Anfahren der globalen Beobachtungsposition unterlassen wird. In letzterem Fall werden die Daten der Stationären 3D-Kamera um die lokalen Daten der Roboterarmkamera ergänzt.Furthermore, it may be provided to supplement the robot arm 3D camera described by a stationary 3D camera. While the stationary 3D camera captures the work area globally, the robotic arm 3D camera probes the work area locally. In particular, it may be provided to first detect the work area of the robot arm 3D camera in a global observation position, and to check with the redundant data of both camera systems their error-free function or to shorten the cycle time by omitting the start of the global observation position. In the latter case, the data of the stationary 3D camera are supplemented by the local data of the robot arm camera.

Claims (4)

Robotersystem mit mindestens einem Gelenkarm (32), einem Manipulator (34), und einer 3D-Kamera (40), wobei die 3D-Kamera Entfernungen anhand einer Lichtlaufzeit ermittelt, und die Lichtlaufzeitinformationen aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewonnen werden, wobei die 3D-Kamera an einem Gelenkarm (32) des Robotersystems angeordnet ist, wobei zusätzlich zu der auf einem Gelenkarm (32) angeordneten 3D-Kamera (40) eine zweite 3D-Kamera vorgesehen ist, und wobei die zweite 3D-Kamera zumindest einen Teil des Arbeitsbereichs erfasst, dadurch gekennzeichnet, dass die zweite 3D-Kamera einem kooperierenden Roboter zugeordnet ist.Robot system with at least one articulated arm (32), a manipulator (34), and a 3D camera (40), wherein the 3D camera detects distances based on a light transit time and the light transit time information is obtained from the phase shift of an emitted and received radiation, wherein the 3D camera is arranged on an articulated arm (32) of the robot system, wherein in addition to that on an articulated arm (32 ) arranged 3D camera (40) is provided a second 3D camera, and wherein the second 3D camera detects at least a part of the work area, characterized in that the second 3D camera is associated with a cooperating robot. Robotersystem nach Anspruch 1, bei dem die 3D-Kamera (40) derart angeordnet ist, dass der Manipulator (34) im Sichtbereich der 3D-Kamera (40) liegt.Robot system after Claim 1 in which the 3D camera (40) is arranged such that the manipulator (34) lies in the field of view of the 3D camera (40). Robotersystem nach einem der vorhergehenden Ansprüchen, bei dem die 3D-Kamera (40) am Gelenkarm (32) beweglich angeordnet ist.A robotic system as claimed in any one of the preceding claims, wherein the 3D camera (40) is movably mounted on the articulated arm (32). Robotersystem nach einem der vorhergehenden Ansprüche, bei dem die 3D-Kamera (40) innerhalb des Gelenkarms (32) bzw. Manipulators (34) angeordnet ist.Robot system according to one of the preceding claims, wherein the 3D camera (40) within the articulated arm (32) or manipulator (34) is arranged.
DE102009001894.8A 2009-03-26 2009-03-26 Robot system with 3D camera Active DE102009001894B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009001894.8A DE102009001894B4 (en) 2009-03-26 2009-03-26 Robot system with 3D camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009001894.8A DE102009001894B4 (en) 2009-03-26 2009-03-26 Robot system with 3D camera

Publications (2)

Publication Number Publication Date
DE102009001894A1 DE102009001894A1 (en) 2010-09-30
DE102009001894B4 true DE102009001894B4 (en) 2018-06-28

Family

ID=42663844

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009001894.8A Active DE102009001894B4 (en) 2009-03-26 2009-03-26 Robot system with 3D camera

Country Status (1)

Country Link
DE (1) DE102009001894B4 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021130322A1 (en) 2021-11-19 2023-05-25 Bayerische Motoren Werke Aktiengesellschaft Detection device for a robot arm of a robot, robot arm and method for picking up an object using a robot

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006031580A1 (en) 2006-07-03 2008-01-17 Faro Technologies, Inc., Lake Mary Method and device for the three-dimensional detection of a spatial area
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
DE102009015920B4 (en) 2009-03-25 2014-11-20 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9210288B2 (en) 2009-11-20 2015-12-08 Faro Technologies, Inc. Three-dimensional scanner with dichroic beam splitters to capture a variety of signals
DE102009057101A1 (en) 2009-11-20 2011-05-26 Faro Technologies, Inc., Lake Mary Device for optically scanning and measuring an environment
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
US8630314B2 (en) 2010-01-11 2014-01-14 Faro Technologies, Inc. Method and apparatus for synchronizing measurements taken by multiple metrology devices
US8615893B2 (en) 2010-01-20 2013-12-31 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine having integrated software controls
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US8677643B2 (en) 2010-01-20 2014-03-25 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
GB2490631B (en) 2010-01-20 2016-11-02 Faro Tech Inc Portable articulated arm coordinate measuring machine with multi-bus arm technology
US8875409B2 (en) 2010-01-20 2014-11-04 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US8832954B2 (en) 2010-01-20 2014-09-16 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
US8898919B2 (en) 2010-01-20 2014-12-02 Faro Technologies, Inc. Coordinate measurement machine with distance meter used to establish frame of reference
JP5192614B1 (en) 2010-01-20 2013-05-08 ファロ テクノロジーズ インコーポレーテッド Coordinate measuring device
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US8284407B2 (en) 2010-01-20 2012-10-09 Faro Technologies, Inc. Coordinate measuring machine having an illuminated probe end and method of operation
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
DE102010020925B4 (en) 2010-05-10 2014-02-27 Faro Technologies, Inc. Method for optically scanning and measuring an environment
DE112011102995B4 (en) 2010-09-08 2016-05-19 Faro Technologies Inc. Laser scanner or laser tracking device with a projector
US9168654B2 (en) 2010-11-16 2015-10-27 Faro Technologies, Inc. Coordinate measuring machines with dual layer arm
US8607536B2 (en) 2011-01-14 2013-12-17 Faro Technologies, Inc. Case for a device
FR2983761A1 (en) * 2011-12-07 2013-06-14 Centre Nat Recherche Microtechnic device for e.g. handling objects, has mobile assembly comprising base with head that is moved in rotation with respect to base, where image sensor is arranged on head of mobile assembly facing actuator
DE102012100609A1 (en) 2012-01-25 2013-07-25 Faro Technologies, Inc. Device for optically scanning and measuring an environment
DE112013003076T5 (en) * 2012-06-15 2015-03-12 Faro Technologies, Inc. Coordinate measuring machines with removable accessories
US8997362B2 (en) 2012-07-17 2015-04-07 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with optical communications bus
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
DE102012109481A1 (en) 2012-10-05 2014-04-10 Faro Technologies, Inc. Device for optically scanning and measuring an environment
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
DE102014005351A1 (en) * 2014-04-11 2015-10-15 Thyssenkrupp Ag Getriebeprüfvorrichtung
CN104669243B (en) * 2014-08-29 2017-09-12 北京精密机电控制设备研究所 Arrest with six degree of freedom construction machine arm in a kind of space
CN105478363A (en) * 2015-11-20 2016-04-13 苏州易瑞得电子科技有限公司 Defective product detection and classification method and system based on three-dimensional figures
DE102015122844A1 (en) 2015-12-27 2017-06-29 Faro Technologies, Inc. 3D measuring device with battery pack
JP6881268B2 (en) * 2017-12-05 2021-06-02 トヨタ自動車株式会社 Gripping device, grip determination method and grip determination program

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US777747A (en) * 1904-07-23 1904-12-20 Heyl & Patterson Car-haul.
EP0263952B1 (en) 1986-10-15 1992-12-23 Mercedes-Benz Ag Robot unit with moving manipulators
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
DE19637822C1 (en) * 1996-09-17 1998-03-26 Deutsch Zentr Luft & Raumfahrt Micromechanical tool
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1442848A2 (en) * 2003-01-30 2004-08-04 Fanuc Ltd Robot hand for taking out objects with means for changing the orientation of the hand
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
EP1905548A2 (en) * 2006-09-29 2008-04-02 Fanuc Ltd Workpiece picking apparatus
DE102007026956A1 (en) * 2007-06-12 2008-12-18 Kuka Innotec Gmbh Method and system for robot-guided depalletizing of tires

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US777747A (en) * 1904-07-23 1904-12-20 Heyl & Patterson Car-haul.
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
EP0263952B1 (en) 1986-10-15 1992-12-23 Mercedes-Benz Ag Robot unit with moving manipulators
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
DE19637822C1 (en) * 1996-09-17 1998-03-26 Deutsch Zentr Luft & Raumfahrt Micromechanical tool
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1442848A2 (en) * 2003-01-30 2004-08-04 Fanuc Ltd Robot hand for taking out objects with means for changing the orientation of the hand
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
EP1905548A2 (en) * 2006-09-29 2008-04-02 Fanuc Ltd Workpiece picking apparatus
US20080082213A1 (en) * 2006-09-29 2008-04-03 Fanuc Ltd Workpiece picking apparatus
DE102007026956A1 (en) * 2007-06-12 2008-12-18 Kuka Innotec Gmbh Method and system for robot-guided depalletizing of tires

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021130322A1 (en) 2021-11-19 2023-05-25 Bayerische Motoren Werke Aktiengesellschaft Detection device for a robot arm of a robot, robot arm and method for picking up an object using a robot

Also Published As

Publication number Publication date
DE102009001894A1 (en) 2010-09-30

Similar Documents

Publication Publication Date Title
DE102009001894B4 (en) Robot system with 3D camera
EP2023077B1 (en) Method and measuring system for contactless coordinate measurement of the surface of an object
DE112010005008B4 (en) System and method for determining camera calibration in runtime
EP2227356B1 (en) Method and system for extremely precise positioning of at least one object in the end position of a space
EP3001138B1 (en) Measuring device for determining the spatial location of a measuring aid
DE102017128543B4 (en) NOISE ZONE ADJUSTMENT DEVICE FOR A MOBILE ROBOT
DE69732666T2 (en) DEVICE FOR ROOM COORDINATE DETERMINATION AND METHOD FOR CALIBRATING THIS
EP2247919B1 (en) Method and device for checking the referencing of measuring heads in a chassis measuring system
DE112012001254T5 (en) Automatic measurement of dimension data with a laser tracker
DE102016118617A1 (en) measuring system
EP3650740B1 (en) Safety system and method for monitoring a machine
EP1521211A2 (en) Method and apparatus for determining the position and orientation of an image receiving device
WO2017153180A1 (en) Industrial robot having at least two image acquisition devices
WO2019110051A1 (en) Assembly for a measuring system for taking measurements on a measurement object, and method for taking measurements on a measurement object using a measuring system
DE102018121481A1 (en) Distance measuring system and distance measuring method
DE102018124595B4 (en) Device for detecting a position and attitude of an end effector of a robot
EP1143221B1 (en) Method for determining the position of a coordinate system of an object in a 3D space
EP1468792A2 (en) Method for robot calibration
DE102008019435A1 (en) Method for contact less measurement of three-dimensional, complex molded components, involves collecting measuring component by fixture and recording is done in alignment of component with camera or other optical image recording devices
EP3414597A1 (en) Method and arrangement for the highly accurate positioning of a robot-guided interaction apparatus by means of radar
WO2011060769A1 (en) Robot for automatic 3-d measurement and method
DE102006005990B4 (en) Workpiece measurement for 3-D position detection in several multi-robot stations
EP1915239B1 (en) Method for generating an environmental image
EP1471401B1 (en) Method for measurement of the coordinate system of a robot camera relative to the coordinate system of the robot or vice versa
EP3054276B1 (en) Rotary module for an inspection system

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: IFM ELECTRONIC GMBH, 45128 ESSEN, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE