DE202017001227U1 - Object recognition system with a 2D color image sensor and a 3D image sensor - Google Patents

Object recognition system with a 2D color image sensor and a 3D image sensor Download PDF

Info

Publication number
DE202017001227U1
DE202017001227U1 DE202017001227.8U DE202017001227U DE202017001227U1 DE 202017001227 U1 DE202017001227 U1 DE 202017001227U1 DE 202017001227 U DE202017001227 U DE 202017001227U DE 202017001227 U1 DE202017001227 U1 DE 202017001227U1
Authority
DE
Germany
Prior art keywords
color image
image sensor
image data
recognition system
object recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE202017001227.8U
Other languages
German (de)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Priority to DE202017001227.8U priority Critical patent/DE202017001227U1/en
Priority to DE212018000178.2U priority patent/DE212018000178U1/en
Priority to PCT/EP2018/055487 priority patent/WO2018162491A1/en
Publication of DE202017001227U1 publication Critical patent/DE202017001227U1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile

Abstract

Objekterkennungssystem aufweisend:- eine Steuervorrichtung (9,3),- eine Basis (11), deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis (11) im Raum kennzeichnen, in der Steuervorrichtung (9) gespeichert sind,- eine Bewegungsvorrichtung (2a), die ein Grundgestell (2.1), mehrere Gelenke (4) und einen über die mehreren Gelenke (4) an dem Grundgestell (2.1) verstellbar gelagerten Halter (6a) aufweist, wobei die mehreren Gelenke (4) durch die Steuervorrichtung (9,3) automatisch verstellbar sind, um den Halter (6a) im Raum zu bewegen, wobei das Grundgestell (2.1) an einer vorbestimmten Position und Orientierung auf der Basis (11) befestigt ist und die Position und Orientierung des Grundgestells (2.1) auf der Basis (11) durch Grundkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind,- einen 3D-Bildsensor (13) zur Erfassung von 3D-Bilddaten, der bezüglich der Basis derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors (13) relativ zur Basis (11) durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind, und- einen 2D-Farbbildsensor (14) zur Erfassung von 2D-Farbbilddaten, welcher an dem Halter (6a) der Bewegungsvorrichtung (2a) befestigt ist, und welcher durch die Bewegungsvorrichtung (2a) im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke (4) der Bewegungsvorrichtung (2a) die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors (14) im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrichtung (9,3) speicherbar sind, wobei- das Objekterkennungssystem eine Auswerteinrichtung (9a) aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung (2a) von dem 2D-Farbbildsensor (14) erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten.An object recognition system comprising - a control device (9, 3), - a base (11) whose position and orientation in space are known, such that basic coordinate values which characterize the position and orientation of the base (11) in space in the control device (9), - a movement device (2a) comprising a base frame (2.1), a plurality of joints (4) and a plurality of joints (4) on the base frame (2.1) adjustably mounted holder (6a), wherein the a plurality of joints (4) are automatically adjustable by the control device (9,3) to move the holder (6a) in space, the base frame (2.1) being fixed at a predetermined position and orientation on the base (11) and the Position and orientation of the base frame (2.1) on the base (11) is determined by basic coordinate values stored in the control device (9, 3), - a 3D image sensor (13) for acquiring 3D image data relative to the base so angeor dnet is that the position and orientation of the 3D image sensor (13) relative to the base (11) is determined by 3D image sensor coordinate values stored in the control device (9,3) and a 2D color image sensor (14) Detection of 2D color image data which is fixed to the holder (6a) of the movement device (2a) and which is movable in space by the movement device (2a) such that from the joint positions of the joints (4) of the movement device (2a) the respective instantaneous position and orientation of the 2D color image sensor (14) can be determined unambiguously in space and stored as 2D color image sensor coordinate values in the control device (9,3), wherein the object recognition system has an evaluation device (9a) which is constructed in FIG a capture pose of the movement device (2a) from the 2D color image sensor (14) detected 2D color image data with the captured in this recording pose 2D color image sensor coordinate values assigned as a 2D Farbbi and store the stored 2D color image data record with the associated 2D color image sensor coordinate values in order to evaluate them by comparison with the 3D image data for object recognition.

Description

Die Erfindung betrifft ein Objekterkennungssystem.The invention relates to an object recognition system.

Aus der DE 10 2015 100 983 A1 ist ein Verfahren zur Lokalisierung von Greifpunkten von Objekten bekannt, bei dem die Objekte mittels eines 3D-Sensors abgetastet werden, die Objekte mittels zumindest einer ersten Beleuchtungseinheit beleuchtet werden, während die Objekte mittels einer Kamera erfasst werden, wobei die Relativposition des 3D-Sensors, der ersten Beleuchtungseinheit und der Kamera zueinander bekannt sind und der 3D-Sensor, die erste Beleuchtungseinheit und die Kamera zueinander ortsfest angeordnet sind. Dabei werden aus einem von der Kamera erzeugten zweidimensionalen Bild die Begrenzung der Objekte ermittelt, aus erfasster Abstandsinformation des 3D-Sensors und dem zweidimensionalen Bild wird eine räumliche Position ermittelt und die Greifpunkte für die Objekte werden aus den Begrenzungen und der räumlichen Position der Objekte bestimmt.From the DE 10 2015 100 983 A1 a method for the localization of gripping points of objects is known, in which the objects are scanned by means of a 3D sensor, the objects are illuminated by means of at least a first illumination unit, while the objects are detected by means of a camera, wherein the relative position of the 3D sensor, the first illumination unit and the camera are known to each other and the 3D sensor, the first illumination unit and the camera are arranged stationary to each other. The boundary of the objects is determined from a two-dimensional image generated by the camera, a spatial position is determined from detected distance information of the 3D sensor and the two-dimensional image, and the gripping points for the objects are determined from the boundaries and the spatial position of the objects.

Aufgabe der Erfindung ist es, ein kostengünstiges und dabei zuverlässiges Objekterkennungssystem zu schaffen.The object of the invention is to provide a cost-effective and reliable object recognition system.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Objekterkennungssystem aufweisend:

  • - eine Steuervorrichtung,
  • - eine Basis, deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis im Raum kennzeichnen, in der Steuervorrichtung gespeichert sind,
  • - eine Bewegungsvorrichtung, die ein Grundgestell, mehrere Gelenke und einen über die mehreren Gelenke an dem Grundgestell verstellbar gelagerten Halter aufweist, wobei die mehreren Gelenke durch die Steuervorrichtung automatisch verstellbar sind, um den Halter im Raum zu bewegen, wobei das Grundgestell an einer vorbestimmten Position und Orientierung auf der Basis befestigt ist und die Position und Orientierung des Grundgestells auf der Basis durch Grundkoordinatenwerte bestimmt ist, die in der Steuervorrichtung gespeichert sind,
  • - einen 3D-Bildsensor zur Erfassung von 3D-Bilddaten, der bezüglich der Basis derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors relativ zur Basis durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Steuervorrichtung gespeichert sind, und
  • - einen 2D-Farbbildsensor zur Erfassung von 2D-Farbbilddaten, welcher an dem Halter der Bewegungsvorrichtung befestigt ist, und welcher durch die Bewegungsvorrichtung im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke der Bewegungsvorrichtung die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrichtung speicherbar sind, wobei
  • - das Objekterkennungssystem eine Auswerteinrichtung aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung von dem 2D-Farbbildsensor erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten.
The object is achieved according to the invention by an object recognition system comprising:
  • a control device,
  • a base whose position and orientation is known in space, such that basic coordinate values characterizing the position and orientation of the base in the space are stored in the control device,
  • a moving device comprising a base frame, a plurality of hinges and a holder adjustably mounted on the base frame via the plurality of hinges, the plurality of joints being automatically adjustable by the control device to move the holder in space, the base frame being at a predetermined position and orientation is fixed on the base and the position and orientation of the base frame is determined on the basis of basic coordinate values stored in the control device,
  • a 3D image sensor for capturing 3D image data arranged with respect to the base such that the position and orientation of the 3D image sensor relative to the base is determined by 3D image sensor coordinate values stored in the control device, and
  • a 2D color image sensor for capturing 2D color image data, which is attached to the holder of the movement device, and which is movable in space by the movement device, such that from the joint positions of the joints of the movement device the respective instantaneous position and orientation of the 2D Color image sensor in space uniquely determinable and can be stored as a 2D color image sensor coordinate values in the control device, wherein
  • the object recognition system comprises an evaluation device which is designed to store the 2D color image data recorded in a recording pose of the movement device by the 2D color image sensor with the 2D color image sensor coordinate values recorded in this acquisition pose as a 2D color image data record and to be stored To call a 2D color image data set with the associated 2D color image sensor coordinate values to evaluate it for object recognition by comparison with the 3D image data.

Um ein Objekt in einer komplexen und/oder großen Umgebung zu detektieren und zu lokalisieren, werden üblicherweise nur Ausschnitte der Umgebung aufgenommen und analysiert. Es können dabei zwei getrennte Techniken eingesetzt werden. Dazu zählt entweder eine 2D-Objektdetektion oder eine 3D-Objektdetektion. Es gibt auch Sensoren, die Tiefen- und Farbinformation gleichzeitig liefern, nur ist die Auflösung des Farbsensors begrenzt und oft nicht hochauflösend genug.To detect and locate an object in a complex and / or large environment, usually only portions of the environment are captured and analyzed. Two separate techniques can be used. This includes either a 2D object detection or a 3D object detection. There are also sensors that provide depth and color information simultaneously, but the resolution of the color sensor is limited and often not high resolution enough.

Erfindungsgemäß wird eine Lösung zur Objektdetektion und Objektlokalisierung in einer komplexen Umgebung mittels einem hochauflösenden, insbesondere mobilen 2D-Farbsensor und einem 3D-Sensor vorgeschlagen. Der 3D-Sensor kann ein statischer 3D-Sensor sein. Insoweit kann der 3D-Sensor beispielsweise an der Basis ortsfest angeordnet sein. Alternativ kann der 3D-Sensor ein dynamischer 3D-Sensor sein, der beispielsweise an einer zusätzlichen Kinematik verstellbar bezüglich der Basis angeordnet sein kann.According to the invention, a solution for object detection and object localization in a complex environment by means of a high-resolution, in particular mobile 2D color sensor and a 3D sensor is proposed. The 3D sensor can be a static 3D sensor. In that regard, the 3D sensor may be arranged stationary, for example, at the base. Alternatively, the 3D sensor may be a dynamic 3D sensor, which may be arranged, for example, on an additional kinematics adjustable with respect to the base.

Die Vorteile können sein, eine schnelle Detektion der Objekte in 2D-Bildern, eine präzise Lageerkennung der Objekte durch 3D-Daten, eine Aufnahme einer komplexen Szene und/oder eine Kostenminimierung durch Flexibilität aufgrund zweier Sensoren. Der 2D-Farbsensor kann beispielsweise durch bekannte, kostengünstige Mobiltelefon-Kameras realisiert werden und schnell eingesetzt werden. Der 3D-Sensor kann dagegen durch ein hochwertiges System realisiert werden.The advantages can be a fast detection of the objects in 2D images, a precise position detection of the objects by 3D data, a recording of a complex scene and / or a cost minimization through flexibility due to two sensors. The 2D color sensor can be realized, for example, by known, inexpensive mobile phone cameras and used quickly. By contrast, the 3D sensor can be realized by means of a high-quality system.

Eine Aufnahme der Umgebung kann dadurch erfolgen, dass der 2D-Sensor beispielsweise durch einen Roboterarm bewegt wird, um die Umgebung aus mehreren Blickrichtungen aufnehmen zu können. Es kann eine mobile Plattform vorgesehen sein, wobei während sich die Plattform in der Umgebung bewegt, die 2D-Aufnahmen erfasst, abgelegt und zusammengeführt werden, so dass es einem Gesamtbild der Umgebung entspricht. Dazu können bekannte Verfahren zum Zusammenfügen (sog. „Stitching“) verwendet werden. Bei jeder 2D-Aufnahme können durch einen 3D-Sensor 3D-Daten generiert werden, die den 2D-Aufnahmen entsprechen. Ergänzend kann nachdem alle nötigen Aufnahmen gemacht sind, der 2D-Sensor wird abgelegt werden.A recording of the environment can take place in that the 2D sensor is moved, for example, by a robot arm in order to be able to record the environment from several viewing directions. There may be a mobile platform as the platform moves in the environment, capturing, storing and merging the 2D shots to match an overall image of the environment. For this purpose, known methods for joining (so-called "stitching") can be used. With every 2D image, 3D data can be generated by a 3D sensor that corresponds to the 2D images. In addition, after all necessary shots are taken, the 2D sensor will be filed.

Eine Objektdetektion und Objektlokalisierung kann zuerst eine schnelle Objektdetektion im 2D-Gesamtbild durchgeführt werden, z.B. mit Hilfe von bekannten Algorithmen des „Deep Learning“. Als Ergebnis erhält man einen räumlichen Hüllkörper („Bounding-Box“), der das Objekt grob lokalisiert. Mit Hilfe von bekannten Transformationen der 2D-Sensordaten zu den 3D-Sensordaten („2D-3D Mapping“) können 2D-Koordinaten der Hüllkörper in 3D-Koordinaten umgerechnet werden. Anschließend wird ein 3D-Auschnitt geladen, der dieser 3D-Information entspricht. Gleichzeitig kann ein 3D-Modell (CAD oder Punktwolke) des gesuchten Objekts aufgerufen werden. Eine präzise 3D-Objektlageerkennung wird durchgeführt („Surface Matching-Methode“). Nach der Berechnung der Objektlage können die Greifpunkte ermittelt werden. Abschließend können die Positionen beispielsweise der mobilen Plattform und des Roboterarms errechnet werden, die das Greifen des gefunden Objekts durchführen.Object detection and object localization may first be performed fast object detection in the overall 2D image, e.g. with the help of well-known algorithms of deep learning. The result is a bounding box that roughly locates the object. With the aid of known transformations of the 2D sensor data to the 3D sensor data ("2D-3D Mapping"), 2D coordinates of the enveloping bodies can be converted into 3D coordinates. Subsequently, a 3D cutout is loaded, which corresponds to this 3D information. At the same time, a 3D model (CAD or point cloud) of the searched object can be called up. A precise 3D object position detection is performed ("surface matching method"). After the calculation of the object position, the grip points can be determined. Finally, the positions of, for example, the mobile platform and the robot arm can be calculated, which perform the gripping of the found object.

Die Steuervorrichtung kann ausgebildet sein, während einer Erfassung von 2D-Farbbilddaten durch den 2D-Farbbildsensor gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D-Bildsensor durchzuführen.The control device may be configured to simultaneously perform a detection of 3D image data by the 3D image sensor during detection of 2D color image data by the 2D color image sensor.

Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in dem 2D-Farbbilddatensatz ausfindig zu machen, einen Bildausschnitt aus dem 2D-Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt enthält und den aus dem 2D-Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts zu bestimmen.The evaluation device can be set up to locate a searched object in the 2D color image data record, to select an image section from the 2D color image data set that contains the object found and the image section selected from the 2D color image data record into that of the 3D image sensor retrieved captured 3D image data to determine the spatial position and orientation of the searched object.

Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in den 3D-Bilddaten ausfindig zu machen, einen Bildausschnitt aus den 3D-Bilddaten zu selektieren, der das ausfindig gemachte Objekt enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt anhand der 2D-Farbbilddaten zu verifizieren.The evaluation device can be set up to locate a searched object in the 3D image data, to select an image section from the 3D image data that contains the object found and the image section selected from the 3D image data into that from the 2D color image sensor retrieve captured 2D color image data set to verify the searched object based on the 2D color image data.

Die Auswerteinrichtung kann eingerichtet sein, das gesuchte Objekt in den 2D-Farbbilddaten anhand der Farbe und/oder anhand der Textur des Objekts zu verifizieren.The evaluation device can be set up to verify the searched object in the 2D color image data based on the color and / or on the texture of the object.

Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet ist, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Quaders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das gesuchte Objekt enthält.The evaluation device can be set up to locate a searched object in the 2D color image data record and is set up to produce a three-dimensional enveloping body of a basic geometric shape, in particular a sphere, a cuboid or a circular cylinder, which is characterized by its spatial position, which is the contains searched object.

Die Auswerteinrichtung kann eingerichtet sein, aus den gespeicherten 3D-Bilddaten einen Auszug einer 3D-Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimensionalen Hüllkörpers der geometrischen Grundform liegt.The evaluation device can be configured to generate from the stored 3D image data an extract of a 3D image data subset, which lies within the three-dimensional envelope of the basic geometric shape.

Die Auswerteinrichtung kann eingerichtet sein, innerhalb der 3D-Bilddatenuntermenge eine Identifikation des gesuchten Objekts durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts zu erzeugen.The evaluation device may be configured to perform an identification of the searched object within the 3D image data subset and to generate geometry data, position data and orientation data of the identified object.

Die Auswerteinrichtung kann eingerichtet sein, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt mittels des Greifers des Roboterarms gegriffen werden kann.The evaluation device can be set up to determine from the geometry data, position data and orientation data of the identified object suitable gripping surfaces or gripping lines or grip points at which the real object can be gripped by means of the gripper of the robot arm.

Die Steuervorrichtung kann eingerichtet sein, die Gelenke des Roboterarms derart zu bewegen, dass der Greifer des Roboterarms derart positioniert ist, dass der Greifer das Objekt an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten gegriffen werden kann, um anschließend das reale Objekt durch Bewegen des Roboterarms handhaben zu können.The control device may be configured to move the joints of the robotic arm such that the gripper of the robotic arm is positioned such that the gripper can grasp the object at the determined gripping surfaces or gripping lines or gripping points to subsequently manipulate the real object by moving the robotic arm to be able to.

Die Auswerteinrichtung kann eingerichtet sein, das gesuchte Objekt in den 3D-Bilddaten wiederzufinden oder in den 3D-Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts, insbesondere Geometriedaten des Objekts, die aus einem CAD-System entnommen sind, zur Auswertung herangezogen werden.The evaluation device can be set up to retrieve the searched object in the 3D image data or to locate it in the 3D image data by using geometry data of the object, in particular geometric data of the object, which has been taken from a CAD system for the evaluation.

Die Auswerteinrichtung kann eingerichtet sein, den 2D-Farbbilddaten zusätzlich zu den 2D-Farbbildsensorkoordinatenwerten des Weiteren einen Zeitwert in dem 2D-Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor die 2D-Farbbilddaten in der Aufnahmepose erfasst hat.The evaluator may be configured to further associate the 2D color image data with a time value in the 2D color image data set in addition to the 2D color image sensor coordinate values, which time value represents the time at which the 2D color image sensor acquired the 2D color image data in the photographing pose.

Die Bewegungsvorrichtung kann ein Schwenkneigekopf sein, der ein erstes Gelenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks aufweist, wobei das Schwenkgelenk ausgebildet ist, den Halter bezüglich des Grundgestells um eine vertikale Achse zu schwenken und das Neigegelenk ausgebildet ist, den Halter bezüglich des Grundgestells um eine horizontale Achse zu neigen, um den an dem Halter befestigten 2D-Farbbildsensor im Raum schwenken und neigen zu können.The movement device may be a Schwenkneigekopf having a first joint in the Type of pivoting joint and having a second joint of the type of tilting joint, the pivoting joint being designed to pivot the holder relative to the base frame about a vertical axis and the tilting joint is adapted to tilt the holder relative to the base frame about a horizontal axis, to be able to pivot and tilt the 2D color image sensor attached to the holder in space.

Eine weitere Bewegungsvorrichtung kann auch ein Schwenkneigekopf sein, der ein erstes Gelenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks aufweist, wobei das Schwenkgelenk ausgebildet ist, einen weiteren Halter bezüglich des Grundgestells um eine vertikale Achse zu schwenken und das Neigegelenk ausgebildet ist, den weiteren Halter bezüglich des Grundgestells um eine horizontale Achse zu neigen, um den an dem weiteren Halter befestigten 3D-Bildsensor im Raum schwenken und neigen zu können.Another movement device may also be a Schwenkneigekopf having a first joint in the design of a pivot joint and a second joint in the type of tilting joint, wherein the pivot joint is adapted to pivot a further holder relative to the base frame about a vertical axis and the Tilted joint is designed to tilt the other holder with respect to the base frame about a horizontal axis in order to pivot and tilt the attached to the other holder 3D image sensor in space.

Die Bewegungsvorrichtung kann ein Roboterarm sein, der mehrere Glieder und wenigstens drei, die Glieder gegeneinander verstellbar verbindende Gelenke aufweist, die von einer Robotersteuerung automatisch verstellbar sind, um den mit einem der Glieder des Roboterarms fest verbundenen Halter oder Greifer des Roboterarms bezüglich des Grundgestells des Roboterarms im Raum verstellen zu können, damit der an dem Halter oder Greifer befestigte 2D-Farbbildsensor oder der an dem weiteren Halter oder Greifer befestigte 3D-Sensor im Raum bewegt werden kann.The moving device may be a robot arm having a plurality of links and at least three links pivotally connected to each other, which are automatically adjustable by a robot controller, about the holder or gripper of the robot arm fixed to one of the links of the robot arm with respect to the base frame of the robot arm to be able to adjust in space so that the attached to the holder or gripper 2D color image sensor or attached to the other holder or gripper 3D sensor can be moved in space.

Der Roboterarm kann einen Greifer aufweisen, der ausgebildet ist, den 2D-Farbbildsensor zu ergreifen, ihn aus einer Halterung zu entnehmen und durch Verstellen der Gelenke des Roboterarms im Raum zu bewegen, wobei der 2D-Farbbildsensor während des Bewegens des 2D-Farbbildsensors mittels des Roboterarms 2D-Farbbilddaten erfasst.The robot arm may include a gripper configured to grasp the 2D color image sensor, remove it from a fixture, and move it in space by adjusting the joints of the robotic arm, the 2D color image sensor moving during movement of the 2D color image sensor Robot arm captures 2D color image data.

Der Greifer kann ausgebildet sein, den 2D-Farbbildsensor in der Halterung abzulegen.The gripper can be designed to deposit the 2D color image sensor in the holder.

Die Basis kann ein Tragboden einer mobilen Plattform sein, auf welcher der Roboterarm mit seinem Grundgestell befestigt ist.The base may be a support floor of a mobile platform on which the robot arm is attached to its base frame.

Die Halterung für den 2D-Farbbildsensor kann an der mobilen Plattform befestigt sein und die Halterung kann dabei ausgebildet sein, den 2D-Farbbildsensor in seinem ungenutzten Zustand an der mobilen Plattform aufzubewahren.The holder for the 2D color image sensor may be attached to the mobile platform and the holder may be configured to store the 2D color image sensor in its unused state on the mobile platform.

Der 3D-Bildsensor kann an der mobilen Plattform befestigt sein.The 3D image sensor may be attached to the mobile platform.

Der 3D-Bildsensor kann eine Tiefenbildkamera sein, insbesondere eine Tiefenbildkamera, die ein 2D-Bild in Form einer 2D-Pixelmatrix erfasst, wobei jedem Pixel eine Information über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt von einem Kamerabezugspunkt zugeordnet ist.The 3D image sensor may be a depth image camera, in particular a depth image camera, which captures a 2D image in the form of a 2D pixel matrix, wherein each pixel is associated with information about the distance of a point corresponding to that pixel on the detected object from a camera reference point.

Der 2D-Farbbildsensor kann einen hochauflösenden Kamerachip aufweisen, dessen Auflösung mindestens 1920 mal 1080 Bildpunkte beträgt.The 2D color image sensor may have a high resolution camera chip whose resolution is at least 1920 by 1080 pixels.

Ein konkretes Ausführungsbeispiel der Erfindung ist in der nachfolgenden Figurenbeschreibung unter Bezugnahme auf die beigefügte Figur näher erläutert. Konkrete Merkmale dieses exemplarischen Ausführungsbeispiels können unabhängig davon, in welchem konkreten Zusammenhang sie erwähnt sind, gegebenenfalls auch einzeln oder auch in anderen Kombinationen betrachtet, allgemeine Merkmale der Erfindung darstellen.A concrete embodiment of the invention is explained in more detail in the following description of the figures with reference to the accompanying figure. Concrete features of this exemplary embodiment, irrespective of the specific context in which they are mentioned, if appropriate also individually or also in other combinations, represent general features of the invention.

Es zeigt die:

  • Figur eine schematische Darstellung einer mobilen Plattform, die eine Basis aufweist, auf der ein Roboterarm befestigt ist, der einen Greifer aufweist, welcher einen 2D-Farbbildsensor trägt, wobei an der mobilen Plattform außerdem ein 3D-Bildsensor befestigt ist.
It shows the:
  • FIG. 1 is a schematic illustration of a mobile platform having a base on which is mounted a robotic arm having a gripper supporting a 2D color image sensor, wherein a 3D image sensor is also attached to the mobile platform.

Die Figur zeigt eine beispielhafte Anwendungsszene für ein erfindungsgemäßes Objekterkennungssystem. Das Objekterkennungssystem umfasst einen Roboter 1, der einen Roboterarm 2 und eine Robotersteuerung 3 aufweist. Der Roboterarm 2 umfasst im Falle des vorliegenden Ausführungsbeispiels mehrere, nacheinander angeordnete und mittels Gelenke 4 drehbar miteinander verbundene Glieder 5. An einem distalen Endglied weist der Roboterarm 2 einen im Raum bewegbaren Greifer 6 auf. In einem Regal 7 sind beispielhaft drei Objekte 8.1, 8.2, 8.3 unterschiedlicher Gestalt abgelegt und stehen zum automatisierten Herausnehmen durch den Roboterarm 2 bzw. durch den Greifer 6 bereit.The figure shows an exemplary application scene for an inventive object recognition system. The object recognition system includes a robot 1 who has a robotic arm 2 and a robot controller 3 having. The robot arm 2 comprises in the case of the present embodiment, a plurality of successively arranged and by means of joints 4 rotatably interconnected links 5 , At a distal end member, the robot arm 2 a gripper movable in space 6 on. On a shelf 7 are exemplary three objects 8.1 . 8.2 . 8.3 filed different form and are available for automated removal by the robot arm 2 or by the gripper 6 ready.

Das Objekterkennungssystem weist auf:

  • - Eine Steuervorrichtung 9, die mit der Robotersteuerung 3 über eine Kommunikationsverbindung 10 steuerungstechnisch verbunden sein kann. Alternativ können die Steuervorrichtung 9 und die Robotersteuerung 3 in einer gemeinsamen Steuervorrichtung zusammengefasst sein bzw. durch eine einzige Steuervorrichtung realisiert sein. Die Steuervorrichtung 9 kann gegebenenfalls auch außerhalb der mobilen Plattform 12 angeordnet sein.
  • - Eine Basis 11, deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis 11 im Raum kennzeichnen, in der Steuervorrichtung 9 gespeichert sind,
  • - eine Bewegungsvorrichtung 2a, die im Falle des vorliegenden Ausführungsbeispiels durch den Roboterarm 2 gebildet wird, der ein Grundgestell 2.1, mehrere Gelenke 4 und einen über die mehreren Gelenke 4 an dem Grundgestell 2.1 verstellbar gelagerten Halter 6a, im Falle des vorliegenden Ausführungsbeispiels den Greifer 6, aufweist, wobei die mehreren Gelenke 4 durch die Robotersteuerung 3 automatisch verstellbar sind, um den Halter 6a, d.h. den Greifer 6, im Raum zu bewegen, wobei das Grundgestell 2.1 an einer vorbestimmten Position und Orientierung auf der Basis 11 befestigt ist und die Position und Orientierung des Grundgestells 2.1 auf der Basis 11 durch Grundkoordinatenwerte bestimmt ist, die in der Robotersteuerung 3 oder in der Steuervorrichtung 9 gespeichert sind.
  • - Einen 3D-Bildsensor 13 zur Erfassung von 3D-Bilddaten, der bezüglich der Basis 11 derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors 13 relativ zur Basis 11 durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Robotersteuerung 3 oder in der Steuervorrichtung 9 gespeichert sind, und
  • - einen 2D-Farbbildsensor 14 zur Erfassung von 2D-Farbbilddaten, welcher an dem Halter 6a, d.h. an dem Greifer 6 der Bewegungsvorrichtung 2a bzw. des Roboterarms 2 befestigt ist, und welcher durch den Roboterarm 2 im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke 4 die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors 14 im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrichtung 9 speicherbar sind, wobei
  • - das Objekterkennungssystem eine Auswerteinrichtung 9a aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung 2a von dem 2D-Farbbildsensor 14 erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten.
The object recognition system has:
  • - A control device 9 communicating with the robot controller 3 via a communication link 10 can be connected control technology. Alternatively, the control device 9 and the robot controller 3 be combined in a common control device or realized by a single control device. The control device 9 may also be outside the mobile platform 12 be arranged.
  • - One Base 11 , whose position and orientation in space is known, such that basic coordinate values representing the position and Orientation of the base 11 in the room sign, in the control device 9 are stored,
  • - a movement device 2a in the case of the present embodiment by the robot arm 2 is formed, which is a basic frame 2.1 , multiple joints 4 and one over the multiple joints 4 on the base frame 2.1 adjustable holder 6a , In the case of the present embodiment, the gripper 6 , wherein, the plurality of joints 4 through the robot control 3 are automatically adjustable to the holder 6a, ie the gripper 6 to move in space, with the base frame 2.1 at a predetermined position and orientation on the base 11 is fixed and the position and orientation of the base frame 2.1 on the base 11 is determined by basic coordinate values included in the robot controller 3 or stored in the control device 9.
  • A 3D image sensor 13 for acquiring 3D image data, the base 11 is arranged such that the position and orientation of the 3D image sensor 13 relative to the base 11 is determined by 3D image sensor coordinate values included in the robot controller 3 or in the control device 9 are stored, and
  • a 2D color image sensor 14 for detecting 2D color image data, which is attached to the holder 6a ie on the gripper 6 the movement device 2a or the robot arm 2 is fixed, and which by the robot arm 2 in the room is movable, such that from the joint positions of the joints 4 the respective instantaneous position and orientation of the 2D color image sensor 14 can be determined unambiguously in space and as 2D color image sensor coordinate values in the control device 9 are storable, where
  • - The object recognition system an evaluation device 9a which is formed in a receiving pose of the movement device 2a 2D color image data captured by the 2D color image sensor 14 having the 2D color image sensor coordinate values associated therewith stored as a 2D color image data set and configured to call the stored 2D color image data set with the associated 2D color image sensor coordinate values to compare them to evaluate with the 3D image data for an object recognition.

Die Steuervorrichtung 9 ist im Falle des vorliegenden Ausführungsbeispiels ausgebildet, während einer Erfassung von 2D-Farbbilddaten durch den 2D-Farbbildsensor 14 gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D-Bildsensor 13 durchzuführen.The control device 9 is formed in the case of the present embodiment, during a detection of 2D color image data by the 2D color image sensor 14 at the same time perform a detection of 3D image data by the 3D image sensor 13.

Die Bewegungsvorrichtung 2a ist im Falle des vorliegenden Ausführungsbeispiels also ein Roboterarm 2, der mehrere Glieder 5 und wenigstens drei, die Glieder 5 gegeneinander verstellbar verbindende Gelenke 4 aufweist, die von der Robotersteuerung 3 automatisch verstellbar sind, um den mit einem der Glieder 5 des Roboterarms 2 fest verbundenen Halter 6a, also den Greifer 6, bezüglich des Grundgestells 2.1 des Roboterarms 2 im Raum verstellen zu können, damit der an dem Halter 6a befestigte 2D-Farbbildsensor 14 im Raum bewegt werden kann.The movement device 2a is in the case of the present embodiment, therefore, a robot arm 2 , the several limbs 5 and at least three, the limbs 5 mutually adjustable connecting joints 4 that is from the robot controller 3 are automatically adjustable to the one with one of the links 5 of the robot arm 2 firmly connected holder 6a So the gripper 6 , concerning the base frame 2.1 of the robot arm 2 in the room to be able to adjust, so that on the holder 6a attached 2D color image sensor 14 can be moved in space.

Bei dem Roboterarm 2 wird der Halter 6a also durch den Greifer 6 gebildet, der ausgebildet ist, den 2D-Farbbildsensor 14 zu ergreifen, ihn aus einer Halterung 15 zu entnehmen und durch Verstellen der Gelenke 4 des Roboterarms 2 im Raum zu bewegen, wobei der 2D-Farbbildsensor 14 während des Bewegens des 2D-Farbbildsensors 14 mittels des Roboterarms 2 2D-Farbbilddaten erfasst.At the robot arm 2 becomes the holder 6a so by the gripper 6 formed to receive the 2D color image sensor 14 from a holder 15 to remove and by adjusting the joints 4 of the robot arm 2 move in space, wherein the 2D color image sensor 14 during movement of the 2D color image sensor 14 by means of the robot arm 2 2D Color image data captured.

Der Greifer 6 ist außerdem ausgebildet, den 2D-Farbbildsensor 14 in der Halterung 15 ablegen zu können. Die Halterung 15 für den 2D-Farbbildsensor 14 ist im Falle des vorliegenden Ausführungsbeispiels an der mobilen Plattform 12 befestigt und die Halterung 15 ausgebildet ist, den 2D-Farbbildsensor 14 in seinem ungenutzten Zustand an der mobilen Plattform 12 aufzubewahren.The gripper 6 is also formed, the 2D color image sensor 14 in the holder 15 to be able to take off. The holder 15 for the 2D color image sensor 14 is in the case of the present embodiment on the mobile platform 12 attached and the holder 15 is formed, the 2D color image sensor 14 in its unused state on the mobile platform 12 store.

Die Basis 11 wird im Falle des vorliegenden Ausführungsbeispiels von einem Tragboden 11a der mobilen Plattform 12 gebildet, auf welcher der Roboterarm 2 mit seinem Grundgestell 2.1 befestigt ist.The base 11 is in the case of the present embodiment of a support floor 11a the mobile platform 12 formed on which the robot arm 2 is attached with its base frame 2.1.

Der 3D-Bildsensor 13 ist, wie dargestellt, an der mobilen Plattform 12 im Falle des vorliegenden Ausführungsbeispiels starr befestigt und zwar mittels einer Befestigungsvorrichtung 16.The 3D image sensor 13 is, as shown, on the mobile platform 12 rigidly secured in the case of the present embodiment by means of a fastening device 16 ,

Der 3D-Bildsensor 13 kann eine Tiefenbildkamera sein, insbesondere eine Tiefenbildkamera sein, die ein 2D-Bild in Form einer 2D-Pixelmatrix erfasst, wobei jedem Pixel eine Information über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt 8.1, 8.2, 8.3 von einem Kamerabezugspunkt zugeordnet ist.The 3D image sensor 13 may be a depth image camera, in particular a depth image camera, which captures a 2D image in the form of a 2D pixel matrix, wherein each pixel has information about the distance of a point corresponding to the relevant pixel on the detected object 8.1 . 8.2 . 8.3 is assigned from a camera reference point.

Der 2D-Farbbildsensor kann einen hochauflösenden Kamerachip aufweisen, dessen Auflösung mindestens 1920 mal 1080 Bildpunkte beträgt.The 2D color image sensor may have a high resolution camera chip whose resolution is at least 1920 by 1080 pixels.

Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuchtes Objekt 8.1, 8.2, 8.3 in dem 2D-Farbbilddatensatz ausfindig zu machen, einen Bildausschnitt aus dem 2D-Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt 8.1, 8.2, 8.3 enthält und den aus dem 2D-Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor 13 erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts 8.1, 8.2, 8.3 zu bestimmen.The evaluation device 9a can be set up, a searched object 8.1 . 8.2 . 8.3 to locate in the 2D color image data set to select a frame from the 2D color image data set that contains the object found 8.1 . 8.2 . 8.3 contains and selects the image detail selected from the 2D color image data record into the 3D image data captured by the 3D image sensor 13, from this, the spatial position and orientation of the searched object 8.1 . 8.2 . 8.3 to determine.

Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuchtes Objekt 8.1, 8.2, 8.3 in den 3D-Bilddaten ausfindig zu machen, einen Bildausschnitt aus den 3D-Bilddaten zu selektieren, der das ausfindig gemachte Objekt 8.1, 8.2, 8.3 enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt 8.1, 8.2, 8.3 anhand der 2D-Farbbilddaten zu verifizieren.The evaluation device 9a can be set up, a searched object 8.1 . 8.2 . 8.3 to locate in the 3D image data, to select an image section from the 3D image data that contains the detected object 8.1 . 8.2 . 8.3 and to retrieve the image detail selected from the 3D image data in the 2D color image data record acquired by the 2D color image sensor in order to obtain the searched object 8.1 . 8.2 . 8.3 using the 2D color image data to verify.

Die Auswerteinrichtung 9a kann eingerichtet sein, das gesuchte Objekt 8.1, 8.2, 8.3 in den 2D-Farbbilddaten anhand der Farbe und/oder anhand der Textur des Objekts 8.1, 8.2, 8.3 zu verifizieren.The evaluation device 9a can be set up, the searched object 8.1 . 8.2 . 8.3 in the 2D color image data based on the color and / or the texture of the object 8.1 . 8.2 . 8.3 to verify.

Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuchtes Objekt 8.1, 8.2, 8.3 in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet sein, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Quaders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das gesuchte Objekt 8.1, 8.2, 8.3 enthält.The evaluation device 9a can be set up, a searched object 8.1 . 8.2 . 8.3 be found in the 2D color image data set and be adapted to produce a three-dimensional envelope of a basic geometric shape, in particular a ball, a cuboid or a circular cylinder, which is characterized by its spatial position, which the sought object 8.1 . 8.2 . 8.3 contains.

Die Auswerteinrichtung 9a kann eingerichtet sein, aus den gespeicherten 3D-Bilddaten einen Auszug einer 3D-Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimensionalen Hüllkörpers der geometrischen Grundform liegt.The evaluation device 9a may be configured to generate from the stored 3D image data an extract of a 3D image data subset that lies within the three-dimensional envelope of the basic geometric shape.

Die Auswerteinrichtung 9a kann eingerichtet sein, innerhalb der 3D-Bilddatenuntermenge eine Identifikation des gesuchten Objekts 8.1, 8.2, 8.3 durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts 8.1, 8.2, 8.3 zu erzeugen.The evaluation device 9a may be arranged within the 3D image data subset an identification of the searched object 8.1 . 8.2 . 8.3 perform and generate geometry data, position data and orientation data of the identified object 8.1, 8.2, 8.3.

Die Auswerteinrichtung 9a kann eingerichtet sein, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts 8.1, 8.2, 8.3 geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt 8.1, 8.2, 8.3 mittels des Greifers 6 des Roboterarms 2 gegriffen werden kann.The evaluation device 9a can be set up from the geometry data, position data and orientation data of the identified object 8.1 . 8.2 . 8.3 determine suitable gripping surfaces or gripping lines or gripping points on which the real object 8.1 . 8.2 . 8.3 by means of the gripper 6 of the robot arm 2 can be grasped.

Die Steuervorrichtung 9 kann eingerichtet sein, die Gelenke 4 des Roboterarms 2 derart zu bewegen, dass der Greifer 6 des Roboterarms 2 derart positioniert ist, dass der Greifer 6 das Objekt 8.1, 8.2, 8.3 an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten greifen kann, um das reale Objekt 8.1, 8.2, 8.3 durch Bewegen des Roboterarms 2 handhaben zu können.The control device 9 can be set up, the joints 4 of the robot arm 2 to move so that the gripper 6 of the robot arm 2 is positioned such that the gripper 6 the object 8.1 . 8.2 . 8.3 can grasp the detected gripping surfaces or gripping lines or gripping points to the real object 8.1 . 8.2 . 8.3 by moving the robot arm 2 to be able to handle.

Die Auswerteinrichtung 9a kann eingerichtet sein, das gesuchte Objekt 8.1, 8.2, 8.3 in den 3D-Bilddaten wiederzufinden oder in den 3D-Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts 8.1, 8.2, 8.3, insbesondere Geometriedaten des Objekts 8.1, 8.2, 8.3, die aus einem CAD-System entnommen sind, zur Auswertung herangezogen werden.The evaluation device 9a can be set up, the searched object 8.1 . 8.2 . 8.3 in the 3D image data or in the 3D image data by finding geometric data of the object 8.1 . 8.2 . 8.3 , in particular geometric data of the object 8.1 . 8.2 . 8.3 , which are taken from a CAD system, are used for the evaluation.

Die Auswerteinrichtung 9a kann außerdem eingerichtet sein, den 2D-Farbbilddaten zusätzlich zu den 2D-Farbbildsensorkoordinatenwerten des Weiteren einen Zeitwert in dem 2D-Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor 14 die 2D-Farbbilddaten in der Aufnahmepose erfasst hat.The evaluation device 9a In addition, it may be arranged to further associate the 2D color image data, in addition to the 2D color image sensor coordinate values, with a time value in the 2D color image data set, which time value reflects the time at which the 2D color image sensor 14 has acquired the 2D color image data in the photographing pose.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102015100983 A1 [0002]DE 102015100983 A1 [0002]

Claims (21)

Objekterkennungssystem aufweisend: - eine Steuervorrichtung (9,3), - eine Basis (11), deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis (11) im Raum kennzeichnen, in der Steuervorrichtung (9) gespeichert sind, - eine Bewegungsvorrichtung (2a), die ein Grundgestell (2.1), mehrere Gelenke (4) und einen über die mehreren Gelenke (4) an dem Grundgestell (2.1) verstellbar gelagerten Halter (6a) aufweist, wobei die mehreren Gelenke (4) durch die Steuervorrichtung (9,3) automatisch verstellbar sind, um den Halter (6a) im Raum zu bewegen, wobei das Grundgestell (2.1) an einer vorbestimmten Position und Orientierung auf der Basis (11) befestigt ist und die Position und Orientierung des Grundgestells (2.1) auf der Basis (11) durch Grundkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind, - einen 3D-Bildsensor (13) zur Erfassung von 3D-Bilddaten, der bezüglich der Basis derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors (13) relativ zur Basis (11) durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind, und - einen 2D-Farbbildsensor (14) zur Erfassung von 2D-Farbbilddaten, welcher an dem Halter (6a) der Bewegungsvorrichtung (2a) befestigt ist, und welcher durch die Bewegungsvorrichtung (2a) im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke (4) der Bewegungsvorrichtung (2a) die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors (14) im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrichtung (9,3) speicherbar sind, wobei - das Objekterkennungssystem eine Auswerteinrichtung (9a) aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung (2a) von dem 2D-Farbbildsensor (14) erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten.Object recognition system comprising: a control device (9, 3), a base (11) whose position and orientation in space is known, such that basic coordinate values which characterize the position and orientation of the base (11) in space are stored in the control device (9), - A movement device (2a) having a base frame (2.1), a plurality of joints (4) and one on the plurality of joints (4) on the base frame (2.1) adjustably mounted holder (6a), wherein the plurality of joints (4) the control device (9, 3) are automatically adjustable in order to move the holder (6a) in space, the base frame (2.1) being fixed at a predetermined position and orientation on the base (11) and the position and orientation of the base frame ( 2.1) is determined on the basis (11) by basic coordinate values stored in the control device (9, 3), a 3D image sensor (13) for acquiring 3D image data arranged with respect to the base such that the position and orientation of the 3D image sensor (13) relative to the base (11) is determined by 3D image sensor coordinate values included in the control device (9,3) are stored, and - A 2D color image sensor (14) for detecting 2D color image data, which is fixed to the holder (6a) of the movement device (2a), and which is movable in space by the movement device (2a), such that from the joint positions of Joints (4) of the movement device (2a) the respective instantaneous position and orientation of the 2D color image sensor (14) in space uniquely determined and stored as 2D color image sensor coordinate values in the control device (9,3), wherein - The object recognition system comprises an evaluation device (9a), which is formed in a receiving pose of the moving device (2a) from the 2D color image sensor (14) detected 2D color image data associated with the recorded in this Aufnahmepose 2D color image sensor coordinate values as a 2D color image data record and configured to call the stored 2D color image data record with the associated 2D color image sensor coordinate values to evaluate them by comparison with the 3D image data for object recognition. Objekterkennungssystem nach Anspruch 1, dadurch gekennzeichnet, dass die Steuervorrichtung (9,3) ausgebildet ist, während einer Erfassung von 2D-Farbbilddaten durch den 2D-Farbbildsensor gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D-Bildsensor (13) durchzuführen.Object recognition system according to Claim 1 , characterized in that the control device (9,3) is adapted to simultaneously perform a detection of 3D image data by the 3D image sensor (13) during detection of 2D color image data by the 2D color image sensor. Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in dem 2D-Farbbilddatensatz ausfindig zu machen, einen Bildausschnitt aus dem 2D-Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt (8.1, 8.2, 8.3) enthält und den aus dem 2D-Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor (13) erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts (8.1, 8.2, 8.3) zu bestimmen.Object recognition system according to Claim 1 or 2 , Characterized in that the evaluation device (9a) is arranged, a sought object (8.1, 8.2, 8.3) to locate in the 2D color image data set, to select an image section from the 2D color image data set, said locate-made object (8.1, 8.2, 8.3) and to retrieve the image detail selected from the 2D color image data record into the 3D image data acquired by the 3D image sensor (13) in order to determine the spatial position and orientation of the sought object (8.1, 8.2, 8.3) therefrom. Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in den 3D-Bilddaten ausfindig zu machen, einen Bildausschnitt aus den 3D-Bilddaten zu selektieren, der das ausfindig gemachte Objekt (8.1, 8.2, 8.3) enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor (14) erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt (8.1, 8.2, 8.3) anhand der 2D-Farbbilddaten zu verifizieren.Object recognition system according to Claim 1 or 2 , characterized in that the evaluation device (9a) is set up to find a searched object (8.1, 8.2, 8.3) in the 3D image data, to select an image section from the 3D image data that contains the object (8.1, 8.2, 8.3) and to retrieve the image detail selected from the 3D image data in the 2D color image data record acquired by the 2D color image sensor (14) in order to verify the sought object (8.1, 8.2, 8.3) on the basis of the 2D color image data. Objekterkennungssystem nach Anspruch 4, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, das gesuchte Objekt (8.1, 8.2, 8.3) in den 2D-Farbbilddaten anhand der Farbe und/oder anhand der Textur des Objekts (8.1, 8.2, 8.3) zu verifizieren.Object recognition system according to Claim 4 , characterized in that the evaluation device (9a) is arranged to verify the searched object (8.1, 8.2, 8.3) in the 2D color image data based on the color and / or on the texture of the object (8.1, 8.2, 8.3). Objekterkennungssystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet ist, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Quaders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das gesuchte Objekt (8.1, 8.2, 8.3) enthält.Object recognition system according to one of Claims 1 to 5 , characterized in that the evaluation device (9a) is set up to locate and set up a searched object (8.1, 8.2, 8.3) in the 2D color image data record, a three-dimensional enveloping body of a geometric basic shape, in particular a sphere, a cuboid or a Circular cylinder to produce, which is characterized by its spatial position, which contains the sought object (8.1, 8.2, 8.3). Objekterkennungssystem nach Anspruch 6, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, aus den gespeicherten 3D-Bilddaten einen Auszug einer 3D-Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimensionalen Hüllkörpers der geometrischen Grundform liegt.Object recognition system according to Claim 6 , characterized in that the evaluation device (9a) is adapted to generate from the stored 3D image data an extract of a 3D image data subset that lies within the three-dimensional envelope body of the geometric basic form. Objekterkennungssystem nach Anspruch 7, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, innerhalb der 3D-Bilddatenuntermenge eine Identifikation des gesuchten Objekts (8.1, 8.2, 8.3) durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts (8.1, 8.2, 8.3) zu erzeugen.Object recognition system according to Claim 7 , characterized in that the evaluation device (9a) is set up to perform an identification of the searched object (8.1, 8.2, 8.3) within the 3D image data subset and geometry data, Position data and orientation data of the identified object (8.1, 8.2, 8.3) to produce. Objekterkennungssystem nach Anspruch 8, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts (8.1, 8.2, 8.3) geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt (8.1, 8.2, 8.3) mittels eines Greifers (6) eines Roboterarms (2) gegriffen werden kann.Object recognition system according to Claim 8 , characterized in that the evaluation device (9a) is adapted to determine from the geometric data, position data and orientation data of the identified object (8.1, 8.2, 8.3) suitable gripping surfaces or gripping lines or gripping points at which the real object (8.1, 8.2, 8.3 ) can be gripped by means of a gripper (6) of a robot arm (2). Objekterkennungssystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Steuervorrichtung (9, 3) eingerichtet ist, die Gelenke (4) des Roboterarms (2) derart zu bewegen, dass der Greifer (6) des Roboterarms (2) derart positioniert ist, dass der Greifer (6) das Objekt (8.1, 8.2, 8.3) an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten greifen kann, um anschließend das reale Objekt (8.1, 8.2, 8.3) durch Bewegen des Roboterarms (2) handhaben zu können.Object recognition system according to one of Claims 1 to 9 characterized in that the control device (9, 3) is arranged to move the joints (4) of the robot arm (2) such that the gripper (6) of the robot arm (2) is positioned such that the gripper (6) the object (8.1, 8.2, 8.3) can engage the determined gripping surfaces or gripping lines or gripping points in order subsequently to be able to handle the real object (8.1, 8.2, 8.3) by moving the robot arm (2). Objekterkennungssystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, das gesuchte Objekt (8.1, 8.2, 8.3) in den 3D-Bilddaten wiederzufinden oder in den 3D-Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts, insbesondere Geometriedaten des Objekts (8.1, 8.2, 8.3), die aus einem CAD-System entnommen sind, zur Auswertung herangezogen werden.Object recognition system according to one of Claims 1 to 10 , characterized in that the evaluation device (9a) is set up to retrieve the searched object (8.1, 8.2, 8.3) in the 3D image data or to locate it in the 3D image data by generating geometric data of the object, in particular geometric data of the object (8.1 , 8.2, 8.3), which are taken from a CAD system, are used for the evaluation. Objekterkennungssystem nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, den 2D-Farbbilddaten zusätzlich zu den 2D-Farbbildsensorkoordinatenwerten des Weiteren einen Zeitwert in dem 2D-Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor (14) die 2D-Farbbilddaten in der Aufnahmepose erfasst hat.Object recognition system according to one of Claims 1 to 11 characterized in that the evaluator (9a) is arranged to further associate the 2D color image data with a time value in the 2D color image data set in addition to the 2D color image sensor coordinate values, which time value reflects the time at which the 2D color image sensor (14) receives the Captured 2D color image data in the capture pose. Objekterkennungssystem nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Bewegungsvorrichtung (2a) ein Schwenkneigekopf ist, der ein erstes Gelenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks aufweist, wobei das Schwenkgelenk ausgebildet ist, den Halter (6a) bezüglich des Grundgestells (2.1) um eine vertikale Achse zu schwenken und das Neigegelenk ausgebildet ist, den Halter (6a) bezüglich des Grundgestells (2.1) um eine horizontale Achse zu neigen, um den an dem Halter (6a) befestigten 2D-Farbbildsensor (14) im Raum schwenken und neigen zu können.Object recognition system according to one of Claims 1 to 12 characterized in that the movement device (2a) is a swivel-tilting head having a first hinge of the type of a swivel joint and a second swivel-type joint, the swivel joint being configured to support the holder (6a) with respect to the base frame (Fig. 2.1) to pivot about a vertical axis and the tilt joint is adapted to tilt the holder (6a) relative to the base frame (2.1) about a horizontal axis to pivot the 2D color image sensor (14) mounted on the holder (6a) in space and tend to be able to. Objekterkennungssystem nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Bewegungsvorrichtung (2a) ein Roboterarm (2) ist, der mehrere Glieder (5) und wenigstens drei, die Glieder (5) gegeneinander verstellbar verbindende Gelenke (4) aufweist, die von einer Robotersteuerung (3) automatisch verstellbar sind, um den mit einem der Glieder (5) des Roboterarms (2) fest verbundenen Halter (6a), insbesondere einen Greifer (6) des Roboterarms (2) bezüglich des Grundgestells des Roboterarms (2) im Raum verstellen zu können, damit der an dem Halter (6a) oder Greifer (6) befestigte 2D-Farbbildsensor (14) im Raum bewegt werden kann.Object recognition system according to one of Claims 1 to 13 , characterized in that the movement device (2a) is a robot arm (2) having a plurality of links (5) and at least three, the links (5) mutually adjustable connecting joints (4) automatically adjustable by a robot controller (3) are to in order to be able to adjust in space with the holder (6a) fixedly connected to one of the links (5) of the robot arm (2), in particular a gripper (6) of the robot arm (2) with respect to the base frame of the robot arm (2) on the holder (6a) or gripper (6) mounted 2D color image sensor (14) can be moved in space. Objekterkennungssystem nach Anspruch 14, dadurch gekennzeichnet, dass der Roboterarm (2) einen Greifer (6) aufweist, der ausgebildet ist, den 2D-Farbbildsensor (14) zu ergreifen, ihn aus einer Halterung (15) zu entnehmen und durch Verstellen der Gelenke (4) des Roboterarms (2) im Raum zu bewegen, wobei der 2D-Farbbildsensor (14) während des Bewegens des 2D-Farbbildsensors (14) mittels des Roboterarms (2) 2D-Farbbilddaten erfasst.Object recognition system according to Claim 14 , characterized in that the robot arm (2) comprises a gripper (6) which is adapted to take the 2D color image sensor (14), remove it from a holder (15) and by adjusting the joints (4) of the robot arm (2) move in space, wherein the 2D color image sensor (14) detects 2D color image data during movement of the 2D color image sensor (14) by the robot arm (2). Objekterkennungssystem nach Anspruch 15, dadurch gekennzeichnet, dass der Greifer (6) ausgebildet ist, den 2D-Farbbildsensor (14) in der Halterung (15) abzulegen.Object recognition system according to Claim 15 , characterized in that the gripper (6) is adapted to deposit the 2D color image sensor (14) in the holder (15). Objekterkennungssystem nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass die Basis (11) ein Tragboden (11a) einer mobilen Plattform (12) ist, auf welcher der Roboterarm (2) mit seinem Grundgestell (2.1) befestigt ist.Object recognition system according to one of Claims 14 to 16 , characterized in that the base (11) is a supporting floor (11a) of a mobile platform (12) on which the robot arm (2) is fixed with its base frame (2.1). Objekterkennungssystem nach 17, dadurch gekennzeichnet, dass die Halterung (15) für den 2D-Farbbildsensor (14) an der mobilen Plattform (12) befestigt ist und die Halterung (15) ausgebildet ist, den 2D-Farbbildsensor (14) in seinem ungenutzten Zustand an der mobilen Plattform (12) aufzubewahren.An object recognition system according to claim 17, characterized in that the holder (15) for the 2D color image sensor (14) is attached to the mobile platform (12) and the holder (15) is adapted to receive the 2D color image sensor (14) in its unused condition to be stored on the mobile platform (12). Objekterkennungssystem nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass der 3D-Bildsensor (13) an der mobilen Plattform (12) befestigt ist.Object recognition system according to Claim 17 or 18 , characterized in that the 3D image sensor (13) is attached to the mobile platform (12). Objekterkennungssystem nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass der 3D-Bildsensor (13) eine Tiefenbildkamera ist, insbesondere eine Tiefenbildkamera ist, die ein 2D-Bild in Form einer 2D-Pixelmatrix erfasst, wobei jedem Pixel eine Information über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt (8.1, 8.2, 8.3) von einem Kamerabezugspunkt zugeordnet ist.Object recognition system according to one of Claims 1 to 19 , characterized in that the 3D image sensor (13) is a depth image camera, in particular a depth image camera, which captures a 2D image in the form of a 2D pixel matrix, wherein each pixel has information about the distance of a point corresponding to the pixel in question detected object (8.1, 8.2, 8.3) is assigned from a camera reference point. Objekterkennungssystem nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass der 2D-Farbbildsensor (14) einen hochauflösenden Kamerachip aufweist, dessen Auflösung mindestens 1920 mal 1080 Bildpunkte beträgt.Object recognition system according to one of Claims 1 to 20 , characterized in that the 2D color image sensor (14) has a high-resolution camera chip whose resolution is at least 1920 by 1080 pixels.
DE202017001227.8U 2017-03-07 2017-03-07 Object recognition system with a 2D color image sensor and a 3D image sensor Active DE202017001227U1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE202017001227.8U DE202017001227U1 (en) 2017-03-07 2017-03-07 Object recognition system with a 2D color image sensor and a 3D image sensor
DE212018000178.2U DE212018000178U1 (en) 2017-03-07 2018-03-06 Object recognition system with a 2D color image sensor and a 3D image sensor
PCT/EP2018/055487 WO2018162491A1 (en) 2017-03-07 2018-03-06 Object recognition system comprising a 2d color image sensor and a 3d image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE202017001227.8U DE202017001227U1 (en) 2017-03-07 2017-03-07 Object recognition system with a 2D color image sensor and a 3D image sensor

Publications (1)

Publication Number Publication Date
DE202017001227U1 true DE202017001227U1 (en) 2018-06-08

Family

ID=61599149

Family Applications (2)

Application Number Title Priority Date Filing Date
DE202017001227.8U Active DE202017001227U1 (en) 2017-03-07 2017-03-07 Object recognition system with a 2D color image sensor and a 3D image sensor
DE212018000178.2U Active DE212018000178U1 (en) 2017-03-07 2018-03-06 Object recognition system with a 2D color image sensor and a 3D image sensor

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE212018000178.2U Active DE212018000178U1 (en) 2017-03-07 2018-03-06 Object recognition system with a 2D color image sensor and a 3D image sensor

Country Status (2)

Country Link
DE (2) DE202017001227U1 (en)
WO (1) WO2018162491A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020225229A1 (en) * 2019-05-06 2020-11-12 Kuka Deutschland Gmbh Machine learning an object detection process using a robot-guided camera
DE102019115929A1 (en) * 2019-06-12 2020-12-17 Oculus Optikgeräte GmbH Procedure for checking the eyes and the vision system
CN114029951A (en) * 2021-11-10 2022-02-11 盐城工学院 Robot autonomous recognition intelligent grabbing method based on depth camera
WO2022101178A1 (en) * 2020-11-11 2022-05-19 Carl Zeiss Ag Apparatus and method for measuring, inspecting or processing objects
DE102021108974A1 (en) 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Device for determining grip points, method for determining grip points and logistics robots

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10884426B2 (en) 2016-09-06 2021-01-05 Advanced Intelligent Systems Inc. Mobile work station for transporting a plurality of articles
CA3090827C (en) 2018-02-15 2021-01-19 Advanced Intelligent Systems Inc. Apparatus for supporting an article during transport
US10745219B2 (en) 2018-09-28 2020-08-18 Advanced Intelligent Systems Inc. Manipulator apparatus, methods, and systems with at least one cable
US10751888B2 (en) 2018-10-04 2020-08-25 Advanced Intelligent Systems Inc. Manipulator apparatus for operating on articles
US10645882B1 (en) 2018-10-29 2020-05-12 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10966374B2 (en) 2018-10-29 2021-04-06 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10676279B1 (en) 2018-11-20 2020-06-09 Advanced Intelligent Systems Inc. Systems, methods, and storage units for article transport and storage
CN112906427A (en) * 2019-11-19 2021-06-04 黄建龙 Object classification method and device based on visual detection
CN112975943B (en) * 2019-12-13 2022-06-28 广东弓叶科技有限公司 Processing method and system for judging optimal grabbing height of robot clamping jaw
DE102020117173A1 (en) 2020-06-30 2021-12-30 Audi Aktiengesellschaft Modular, mobile robot platform for handling, processing or assembling workpieces
DE102020117318A1 (en) 2020-07-01 2022-01-05 Broetje-Automation Gmbh Procedure for disinfecting a processing environment
DE102020214301A1 (en) 2020-11-13 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung DEVICE AND METHOD FOR CONTROLLING A ROBOT TO PICK AN OBJECT IN DIFFERENT POSITIONS
DE102021202328A1 (en) 2021-03-10 2022-09-15 Psa Automobiles Sa Driverless test vehicle
DE102021207568A1 (en) 2021-07-15 2023-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Monitoring of defined optical patterns using object recognition and neural networks
JP2023069316A (en) 2021-11-05 2023-05-18 株式会社日立ハイテク mobile robot system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015100983A1 (en) 2015-01-23 2016-07-28 Sick Ag Method for locating gripping points of objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009269110A (en) * 2008-05-02 2009-11-19 Olympus Corp Assembly equipment
JP5854815B2 (en) * 2011-12-20 2016-02-09 キヤノン株式会社 Information processing apparatus, information processing apparatus control method, and program
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
DE102013214694B4 (en) * 2013-07-26 2015-02-12 Roche Pvt Gmbh Method for handling an object and device for handling objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015100983A1 (en) 2015-01-23 2016-07-28 Sick Ag Method for locating gripping points of objects

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020225229A1 (en) * 2019-05-06 2020-11-12 Kuka Deutschland Gmbh Machine learning an object detection process using a robot-guided camera
DE102019115929A1 (en) * 2019-06-12 2020-12-17 Oculus Optikgeräte GmbH Procedure for checking the eyes and the vision system
WO2022101178A1 (en) * 2020-11-11 2022-05-19 Carl Zeiss Ag Apparatus and method for measuring, inspecting or processing objects
DE102021108974A1 (en) 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Device for determining grip points, method for determining grip points and logistics robots
DE102021108974B4 (en) 2021-04-12 2022-10-27 Bayerische Motoren Werke Aktiengesellschaft Device for determining grip points, method for determining grip points and logistics robots
CN114029951A (en) * 2021-11-10 2022-02-11 盐城工学院 Robot autonomous recognition intelligent grabbing method based on depth camera
CN114029951B (en) * 2021-11-10 2022-05-10 盐城工学院 Robot autonomous recognition intelligent grabbing method based on depth camera

Also Published As

Publication number Publication date
DE212018000178U1 (en) 2019-10-22
WO2018162491A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
DE212018000178U1 (en) Object recognition system with a 2D color image sensor and a 3D image sensor
DE102015101710B4 (en) A method of calibrating a moveable gripping member using a remote digital camera
DE112011101730B4 (en) System and method for robust calibration between an image processing system and a robot
DE102017128543B4 (en) NOISE ZONE ADJUSTMENT DEVICE FOR A MOBILE ROBOT
DE102018104759A1 (en) Method and device for automatically connecting a charging connection with a charging connection receptacle of a vehicle, in particular a land vehicle
DE102016114337A1 (en) SYSTEM AND METHOD FOR CONNECTING COORDINATE SPACES MACHINES LIKE ASSEMBLY FIXED IN A SURROUNDING ENVIRONMENT
EP2023077B1 (en) Method and measuring system for contactless coordinate measurement of the surface of an object
DE102016122678B4 (en) Workpiece position / posture calculation system and handling system
DE102015111080B4 (en) Robotic device with machine vision
DE102016103799A1 (en) Image processing system for training a mounting system by virtual assembly of objects
DE102013018222A1 (en) Object-taking device and method for picking up an object
DE102018009815A9 (en) Imaging device comprising a vision sensor for capturing the image of a workpiece
DE102014016072A1 (en) Apparatus and method for picking up an arbitrarily stacked object by means of a robot
EP1910999B1 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
DE102015000587A1 (en) A robot programming device for creating a robot program for taking an image of a workpiece
DE102009012590A1 (en) Device for determining the position of a robot arm with camera for taking pictures
WO2013149916A2 (en) Method and device for optically determining a position and/or orientation of an object in space
DE202013000050U1 (en) Device for detecting a surface of a motor vehicle
DE102015108118A1 (en) SYSTEM AND METHOD FOR LOCATING VEHICLE COMPONENTS RELATIVELY TOGETHER
DE102019124810A1 (en) Image processing device and image processing method
DE102021103726B4 (en) Measurement parameter optimization method and device and computer control program
EP3048456B1 (en) Method for locating of grip points of objects
EP1915239B1 (en) Method for generating an environmental image
EP3555722A1 (en) Mobile manipulator and method for controlling a mobile manipulator
DE102015214857A1 (en) Method and system for creating a three-dimensional model of a production environment

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BOESS, DIETER ALEXANDER, DIPL.-ING. (UNIV.), DE

Representative=s name: EGE LEE & PARTNER PATENTANWAELTE PARTGMBB, DE

R082 Change of representative

Representative=s name: BOESS, DIETER ALEXANDER, DIPL.-ING. (UNIV.), DE

Representative=s name: EGE LEE & PARTNER PATENTANWAELTE PARTGMBB, DE

R207 Utility model specification
R082 Change of representative

Representative=s name: BOESS, DIETER ALEXANDER, DIPL.-ING. (UNIV.), DE

R150 Utility model maintained after payment of first maintenance fee after three years
R163 Identified publications notified
R151 Utility model maintained after payment of second maintenance fee after six years