WO2018162491A1 - Object recognition system comprising a 2d color image sensor and a 3d image sensor - Google Patents

Object recognition system comprising a 2d color image sensor and a 3d image sensor Download PDF

Info

Publication number
WO2018162491A1
WO2018162491A1 PCT/EP2018/055487 EP2018055487W WO2018162491A1 WO 2018162491 A1 WO2018162491 A1 WO 2018162491A1 EP 2018055487 W EP2018055487 W EP 2018055487W WO 2018162491 A1 WO2018162491 A1 WO 2018162491A1
Authority
WO
WIPO (PCT)
Prior art keywords
color image
image data
image sensor
recognition system
object recognition
Prior art date
Application number
PCT/EP2018/055487
Other languages
German (de)
French (fr)
Inventor
Kirill SAFRONOV
Christian Weiglein
Original Assignee
Kuka Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kuka Deutschland Gmbh filed Critical Kuka Deutschland Gmbh
Priority to DE212018000178.2U priority Critical patent/DE212018000178U1/en
Publication of WO2018162491A1 publication Critical patent/WO2018162491A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile

Definitions

  • the invention relates to an object recognition system.
  • a method for localization tion of gripping points of objects in which the objects are scanned by means of a 3D sensor, the Whether ⁇ projects will be ⁇ lit by means of at least a first lighting unit, while the objects be detected by a camera, the relative position of the 3D sensor, the first illumination unit and the camera are known to each other and the 3D sensor, the first illumination unit and the camera are arranged stationary to each other.
  • the limitation of the objects are determined from an image produced by the camera the two-dimensional image from detected Abstandsinfor- mation of the 3D sensor and the two-dimensional image ei ⁇ ne spatial position is determined and the gripping points for the objects from the limitations and the spatial position determines the objects.
  • the object of the invention is to provide a cost-effective and reliable object recognition system.
  • a reer ⁇ recognition system comprising:
  • a movement device comprising a base frame, several joints and one over the several joints on the The base frame has adjustable holders, wherein the plurality of joints are automatically adjustable by the control device to move the holder in space, wherein the base frame is fixed to a predetermined position and orientation on the base and the position and orientation of the base frame on the Base is determined by basic coordinate values stored in the control device, a 3D image sensor for detecting 3D image data, which is arranged with respect to the base such that determines the position and orientation of the 3D image sensor relative to the base by 3D image sensor coordinate values is stored in the control device, and
  • a 2D color image sensor for detecting 2D color image data which is attached to the holder of the movement device, and which is movable by the movement ⁇ device in space, such that from the joint positions of the joints of the movement device, the respective instantaneous position and orientation of the 2D color image sensor in space uniquely determined and as 2D color image sensor coordinate values in the Steuervorrich ⁇ device can be stored, wherein
  • the object recognition system comprises an evaluation device which is designed to store the 2D color image data recorded in a recording pose of the movement device by the 2D color image sensor with the 2D color image sensor coordinate values recorded in this acquisition pose as a 2D color image data record and to be stored Call the 2D color image data set with the associated 2D color image sensor coordinate values to evaluate it for object recognition by comparison with the 3D image data.
  • an evaluation device which is designed to store the 2D color image data recorded in a recording pose of the movement device by the 2D color image sensor with the 2D color image sensor coordinate values recorded in this acquisition pose as a 2D color image data record and to be stored
  • To detect and locate an object in a complex and / or large environment usually only portions of the environment are captured and analyzed. There ⁇ nen doing two separate techniques are used Kings. This includes either a 2D object detection or a 3D
  • the 3D sensor can be a static 3D sensor.
  • the 3D sensor may be arranged stationary, for example, at the base.
  • the SD sensor may be a dynamic 3D sensor, which may be arranged, for example, on an additional kinematics adjustable with respect to the base.
  • the advantages can be a fast detection of the objects in 2D images, a precise position detection of the objects by 3D data, a recording of a complex scene and / or a cost minimization through flexibility due to two sensors.
  • the 2D color sensor can be realized, for example, by known, inexpensive mobile phone cameras and used quickly.
  • the 3D sensor can be realized by means of a high-quality system.
  • a recording of the environment can take place in that the 2D sensor is moved, for example, by a robot arm in order to be able to record the environment from several viewing directions.
  • a mobile platform may be provided, with the platform moving in the environment, capturing, dropping, and merging the 2D recordings to match an overall picture of the environment.
  • known methods for joining can be used.
  • switching can be used.
  • 3D data can be generated by a 3D sensor that matches the 2D scans.
  • the 2D sensor will be filed.
  • Ektdetemination a Obj and localization can be first a quick Obj ektdetetation in 2D picture performed ⁇ to, for example, by means of known algorithms of the "Deep Lear ning.”
  • the result is a spatial envelope body ( "bounding box"), the roughly localizes the object.
  • 2D coordinates of the enveloping bodies can be converted into 3D coordinates and then a 3D cutout is loaded that corresponds to this 3D information.
  • a 3D model (CAD or point cloud) of the searched object can be called up.
  • a precise 3D obj ect position recognition is performed ("Surface Matching Method").
  • the grip points can be determined.
  • the positi ⁇ tions such as the mobile platform and the robot arm can be calculated that perform the gripping of the found object.
  • the control device may be configured to simultaneously perform a detection of 3D image data by the 3D image sensor during acquisition of 2D color image data by the 2D color image sensor.
  • the evaluation device can be set up to locate a searched object in the 2D color image data record, to select an image section from the 2D color image data set that contains the object found and the image detail selected from the 2D color image data record into that of the 3D image sensor retrieved captured 3D image data to determine the spatial position and orientation of the searched object.
  • the evaluation device can be set up to locate a searched object in the 3D image data, to select an image section from the 3D image data that contains the object found and the image section selected from the 3D image data into that from the 2D color image sensor retrieve captured 2D color image data set to verify the searched object based on the 2D color image data.
  • the evaluation device can be set up to verify the searched object in the 2D color image data based on the color and / or on the texture of the object.
  • the evaluation device can be set up to locate a searched object in the 2D color image data record and is set up to produce a three-dimensional enveloping body of a basic geometrical shape, in particular a sphere, a squarer or a circular cylinder, which is characterized by its spatial position. which contains the searched object.
  • the evaluation device may be adapted to generate an abstract of a 3D image data subset from the stored 3D image data, which is within the three-dimen sional ⁇ enveloping body of the geometrical basic shape.
  • the evaluation device may be configured to perform an identification of the sought Whether ⁇ jekts within the 3D image data subset and generate geometry data, position data and orientation data of the identified object.
  • the evaluation device can be set up to determine from the geometry data, position data and orientation data of the identified object suitable gripping surfaces or gripping lines or grip points at which the real object can be gripped by means of the gripper of the robot arm.
  • the control device can be set up to move the joints of the robot arm in such a way that the gripper of the robot arm arms is positioned so that the gripper, the object can be gripped at the determined gripping surfaces or gripping lines or gripping points, in order then to handle the real object by moving the robot arm can.
  • the evaluation device can be set up to retrieve the sought-after object in the 3D image data or to locate it in the SD image data by using geometry data of the object, in particular geometry data of the object, which has been taken from a CAD system for the evaluation ,
  • the evaluation device may be set up to additionally provide the 2D color image data with a time value in addition to the 2D color image sensor coordinate values.
  • Assign color image data record which time value reflects the time at which the 2D color image sensor has detected the 2D color image data in the recording Pose.
  • the moving device may be a swivel-tilting head having a first hinge of the type of a swivel joint and a second swivel-type joint, wherein the swivel joint is configured to pivot the bracket relative to the base frame about a vertical axis and the tilt joint is formed, the holder with respect to the base frame about a horizontal axis to nei ⁇ conditions to pivot the attached to the holder 2D color image sensor in space and tend to.
  • Another movement device may also be a Schwenkneigekopf having a first joint in the design of a pivot joint and a second joint in the type of tilting joint, wherein the pivot joint is adapted to pivot a further holder relative to the base frame about a vertical axis and the Neigegelenk is.
  • the other holder with respect to the base frame to tilt about a horizontal axis in order to that on the other shark pivot and tilt the attached 3D image sensor in space.
  • the moving device can be a robot arm having a plurality of limbs and at least three, the members against each other adjustable connecting joints, which are automatically adjustable by a Robo ⁇ ters control to the respect one of the members of the robot arm integral holder or gripper of the robot arm of the base frame the Robo ⁇ terarms to be able to adjust in space so that the attached to the holder or gripper 2D color image sensor or attached to the other holder or gripper 3D sensor can be moved in space.
  • the robotic arm may include a gripper configured to grip the 2D color image sensor, remove it from a holder and move it in space by adjusting the joints of the robotic arm, the 2D color image sensor during movement of the 2D color image sensor detected by the robot ⁇ arms 2D color image data.
  • a gripper configured to grip the 2D color image sensor, remove it from a holder and move it in space by adjusting the joints of the robotic arm, the 2D color image sensor during movement of the 2D color image sensor detected by the robot ⁇ arms 2D color image data.
  • the gripper can be designed to deposit the 2D color image sensor in the holder.
  • the base may be a support floor of a mobile platform on which the robot arm is attached to its base frame.
  • the holder for the 2D color image sensor can be attached to the mobile platform and the holder can thereby be ⁇ forms to keep the 2D color image sensor in its unused state on the mobile platform.
  • the 3D image sensor may be attached to the mobile platform.
  • the 3D image sensor may be a depth image camera, in particular a depth image camera, which is a 2D image in the form of a 2D image. Pixel matrix, wherein each pixel is associated with an information about the distance of a point corresponding to the respective pixel on the detected object from a camera reference point.
  • the 2D color image sensor may have a high-resolution camera chip whose resolution is at least 1920 by 1080 image ⁇ points.
  • FIG. 1 is a schematic representation of a mobile platform having a base on which a robot arm is mounted, which has a gripper, wel ⁇ cher wearing a 2D color image sensor, wherein on the mobile platform also a 3D image sensor is attached.
  • the figure shows an exemplary application scene for an inventive object recognition system.
  • the object recognition system includes a robot 1 having a robot arm 2 and a robot controller 3.
  • the robot arm 2 comprises, in the case of the present embodiment a plurality of successively arranged and by means of joints 4 rotatably connected MITEI ⁇ Nander members 5.
  • 2 has at a distal end link of the robot arm a movable gripper in space 6.
  • a shelf 7 are exemplified three objects 8.1, 8.2, 8.3 filed different shape and are ready for automatic ⁇ swholesome removal by the robot arm 2 and by the gripper 6 ready.
  • the object recognition system comprises: a control device 9 connected to the robot controller
  • control device 9 and the robot controller 3 may be connected via a communication link 10 control technology.
  • control device 9 and the robot controller 3 may be combined in a common control device or realized by a single control device.
  • control device 9 can also be arranged outside the mobile platform 12.
  • a base 11 whose position and orientation in the space is known, such that basic coordinate values which characterize the position and orientation of the base 11 in the space are stored in the control device 9,
  • a moving device 2a which is ge ⁇ forms by the robot arm 2 in the case of the present embodiment, the a base frame 2.1, a plurality of joints 4 and via the plurality of joints 4 adjustably mounted on the base frame 2.1 holders 6a, in the case of the present Embodiment, the gripper 6, up, wherein the plurality of joints 4 are automatically adjusted by the robot ⁇ control 3, to move the holder 6 a, ie the gripper 6 in space, the base frame 2.1 at a predetermined position and orientation the base 11 is fixed and the position and orientation of the base frame 2.1 on the
  • Base 11 is determined by basic coordinate values stored in the robot controller 3 or in the control device 9. - a 3D image sensor 13 to capture the 3D image data, which is relative to the base 11 is arranged such that the position and orientation of the 3D image sensor 13 re ⁇ is determined tively to the base 11 by 3D image sensor coordinate values stored in the robot controller 3 or in the
  • Control device 9 are stored, and
  • a 2D color image sensor 14 for capturing 2D color image data which is fixed to the holder 6a, ie to the gripper 6 of the movement device 2a or the robot arm 2, and which is movable in space by the robot arm 2, such that the hinge Stel ⁇ lungs of the joints 4, the respective momentary position and orientation of 2D color image sensor 14 in the space switch unequivocally determined, and as a 2D Farbrucsensorkoordinaten- values in the control device 9 can be stored, wherein
  • the object detection system has an evaluation device 9a, which is adapted to store in a Shoo Epics the movement device 2 detected by the 2D color image sensor 14 2D color image data with the acquired in this Shoo Epics 2D color image sensor coordinate values zugeord ⁇ net as a 2D color image data set, and is configured to call the stored 2D color image data record with the associated 2D color image sensor coordinate values to be evaluated by a comparison with the SD image data for object recognition.
  • control device 9 is designed to simultaneously perform a detection of 3D image data by the 3D image sensor 13 during acquisition of 2D color image data by the 2D color image sensor 14.
  • the movement device 2a is therefore a robot arm 2, which has a plurality of segments. 5 and at least three joints 5 mutually adjustable connecting joints 4, which are automatically adjustable by the robot ⁇ control 3, to the one of the links 5 of the robot arm 2 firmly connected holder 6a, ie the gripper 6, with respect to the base frame 2.1 of Robo ⁇ terarms 2 to be able to adjust in space, so that attached to the holder 6a 2D color image sensor 14 can be moved in space.
  • the holder 6a is thus formed by the gripper 6, which is designed to grasp the 2D color image sensor 14, remove it from a holder 15 and move it in space by adjusting the joints 4 of the robot arm 2, wherein the 2D color image sensor 14 detects 2D color image data during movement of the 2D color image sensor 14 by means of the robot arm 2.
  • the gripper 6 is also designed to be able to deposit the 2D color image sensor 14 in the holder 15.
  • the holder 15 for the 2D color image sensor 14 is attached to the mobile platform 12 in the case of the present embodiment and the holder 15 is designed to store the 2D color image sensor 14 in its unused state on the mobile platform 12.
  • the base 11 is formed overall in the case of the presentspecsbei ⁇ game from a supporting floor IIa of the mobile platform 12 on which the robot arm 2 is mounted with its base frame 2.1.
  • the 3D image sensor 13 is rigidly attached to the mobile platform 12 in the case of the present embodiment by means of a fastening device 16.
  • the 3D image sensor 13 may be a depth image camera, in particular ⁇ be a depth image camera that a 2D image in shape a 2D pixel matrix detected, each pixel is an Informa ⁇ tion on the removal of a pixel corresponding to the respective point on the detected object 8.1, 8.2, 8.3 is assigned by a Kamerzugstician.
  • the 2D color image sensor may have a high-resolution camera chip whose resolution is at least 1920 by 1080 image ⁇ points.
  • the evaluation device 9a can be set up to make a searched object 8.1, 8.2, 8.3 available in the 2D color image data record, an image section from the 2D image.
  • the evaluation device 9a may be arranged a sought object 8.1, 8.2, 8.3 locate in the 3D image data ren to ma ⁇ Chen: To select an image section from the 3D image data containing the locate-made object 8.1, 8.2, 8.3 and to retrieve the image selected from the 3D image data in the captured from the 2D color image sensor 2D color image data set to verify the object sought 8.1, 8.2, 8.3 from the 2D color image data.
  • the evaluation device 9a can be set up to verify the sought object 8.1, 8.2, 8.3 in the 2D color image data on the basis of the color and / or on the texture of the object 8.1, 8.2, 8.3.
  • the evaluation device 9a can be set up to find a searched object 8.1, 8.2, 8.3 in the 2D color image data record and to set it up, a three-dimensional enveloping body of a geometric basic shape, in particular one Ball, a cuboid or a circular cylinder, which is characterized by its spatial position, which contains the object sought 8.1, 8.2, 8.3.
  • the evaluation device 9a can be set up to extract from the stored 3D image data an extract from a 3D image data.
  • the evaluation device 9a can be set up to perform an identification of the searched object 8.1, 8.2, 8.3 within the 3D image data subset and to generate geometry data, position data and orientation data of the identified object 8.1, 8.2, 8.3.
  • the evaluation device 9a can be set up to determine from the geometry data, position data and orientation data of the identified object 8.1, 8.2, 8.3 suitable gripping surfaces or gripping lines or grip points at which the real object 8.1, 8.2, 8.3 by means of the gripper 6 of the robot arm 2 can be grasped.
  • the control device 9 can be configured to move the joints 4 of the robot arm 2 such that the gripper 6 of the
  • Robot arm 2 is positioned so that the gripper 6, the object 8.1, 8.2, 8.3 can grip the detected gripping surfaces or gripping lines or gripping points to handle the real object 8.1, 8.2, 8.3 by moving the robot arm 2.
  • the evaluation device 9a can be set up to retrieve the searched object 8.1, 8.2, 8.3 in the 3D image data or to locate it in the 3D image data, by geometry data of the object 8.1, 8.2, 8.3, in particular geometric data of the object 8.1, 8.2 be 8.3, which are made of a CAD system ent ⁇ taken, used for evaluation.
  • the evaluation device 9a can also be set up to display the 2D color image data in addition to the 2D
  • color image sensor coordinate values are to be assigned a time value in the 2D color image data set, which time value represents the time at which the 2D color image sensor 14 has acquired the 2D color image data in the photographing pose.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

The invention relates to an object recognition system comprising an analysis unit (9a) designed to store, as a 2D image record, the 2D color image data sensed by a 2D color image sensor (14) in a capturing pose of a movement device (2a), the 2D color image data being associated with the color image sensor coordinate values measured in said capturing pose; the evaluation unit (9a) is further designed to call the stored 2D color image record along with the associated 2D color image sensor coordinate values in order to analyze same for image recognition purposes by comparing same with 3D image data.

Description

ObjekterkennungsSystem mit einem 2D-Farbbildsensor und einem 3D-Bildsensor Object recognition system with a 2D color image sensor and a 3D image sensor
Die Erfindung betrifft ein Objekterkennungssystem. The invention relates to an object recognition system.
Aus der DE 10 2015 100 983 AI ist ein Verfahren zur Lokali- sierung von Greifpunkten von Objekten bekannt, bei dem die Objekte mittels eines 3D-Sensors abgetastet werden, die Ob¬ jekte mittels zumindest einer ersten Beleuchtungseinheit be¬ leuchtet werden, während die Objekte mittels einer Kamera er- fasst werden, wobei die Relativposition des 3D-Sensors, der ersten Beleuchtungseinheit und der Kamera zueinander bekannt sind und der 3D-Sensor, die erste Beleuchtungseinheit und die Kamera zueinander ortsfest angeordnet sind. Dabei werden aus einem von der Kamera erzeugten zweidimensionalen Bild die Begrenzung der Objekte ermittelt, aus erfasster Abstandsinfor- mation des 3D-Sensors und dem zweidimensionalen Bild wird ei¬ ne räumliche Position ermittelt und die Greifpunkte für die Objekte werden aus den Begrenzungen und der räumlichen Position der Objekte bestimmt. From DE 10 2015 100 983 Al a method for localization tion of gripping points of objects is known, in which the objects are scanned by means of a 3D sensor, the Whether ¬ projects will be ¬ lit by means of at least a first lighting unit, while the objects be detected by a camera, the relative position of the 3D sensor, the first illumination unit and the camera are known to each other and the 3D sensor, the first illumination unit and the camera are arranged stationary to each other. The limitation of the objects are determined from an image produced by the camera the two-dimensional image from detected Abstandsinfor- mation of the 3D sensor and the two-dimensional image ei ¬ ne spatial position is determined and the gripping points for the objects from the limitations and the spatial position determines the objects.
Aufgabe der Erfindung ist es, ein kostengünstiges und dabei zuverlässiges Objekterkennungssystem zu schaffen. The object of the invention is to provide a cost-effective and reliable object recognition system.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Objekter¬ kennungssystem aufweisend: The object is inventively achieved by a Objekter ¬ recognition system comprising:
- eine Steuervorrichtung, a control device,
- eine Basis, deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis im Raum kennzeichnen, in der Steuervorrichtung gespeichert sind, a base whose position and orientation is known in space, such that basic coordinate values characterizing the position and orientation of the base in the space are stored in the control device,
- eine Bewegungsvorrichtung, die ein Grundgestell, mehrere Gelenke und einen über die mehreren Gelenke an dem Grundgestell verstellbar gelagerten Halter aufweist, wobei die mehreren Gelenke durch die Steuervorrichtung automatisch verstellbar sind, um den Halter im Raum zu bewegen, wobei das Grundgestell an einer vorbestimmten Po- sition und Orientierung auf der Basis befestigt ist und die Position und Orientierung des Grundgestells auf der Basis durch Grundkoordinatenwerte bestimmt ist, die in der Steuervorrichtung gespeichert sind, - einen 3D-Bildsensor zur Erfassung von 3D-Bilddaten, der bezüglich der Basis derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors relativ zur Basis durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Steuervorrichtung gespeichert sind, und a movement device comprising a base frame, several joints and one over the several joints on the The base frame has adjustable holders, wherein the plurality of joints are automatically adjustable by the control device to move the holder in space, wherein the base frame is fixed to a predetermined position and orientation on the base and the position and orientation of the base frame on the Base is determined by basic coordinate values stored in the control device, a 3D image sensor for detecting 3D image data, which is arranged with respect to the base such that determines the position and orientation of the 3D image sensor relative to the base by 3D image sensor coordinate values is stored in the control device, and
- einen 2D-Farbbildsensor zur Erfassung von 2D- Farbbilddaten, welcher an dem Halter der Bewegungsvorrichtung befestigt ist, und welcher durch die Bewegungs¬ vorrichtung im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke der Bewegungsvorrichtung die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors im Raum eindeutig bestimmbar und als 2D-Farbbildsensorkoordinatenwerte in der Steuervorrich¬ tung speicherbar sind, wobei a 2D color image sensor for detecting 2D color image data, which is attached to the holder of the movement device, and which is movable by the movement ¬ device in space, such that from the joint positions of the joints of the movement device, the respective instantaneous position and orientation of the 2D color image sensor in space uniquely determined and as 2D color image sensor coordinate values in the Steuervorrich ¬ device can be stored, wherein
- das Objekterkennungssystem eine Auswerteinrichtung aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung von dem 2D-Farbbildsensor erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeordnet als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D- Bilddaten für eine Objekterkennung auszuwerten. Um ein Objekt in einer komplexen und/oder großen Umgebung zu detektieren und zu lokalisieren, werden üblicherweise nur Ausschnitte der Umgebung aufgenommen und analysiert. Es kön¬ nen dabei zwei getrennte Techniken eingesetzt werden. Dazu zählt entweder eine 2D-Obj ektdetektion oder eine 3D-the object recognition system comprises an evaluation device which is designed to store the 2D color image data recorded in a recording pose of the movement device by the 2D color image sensor with the 2D color image sensor coordinate values recorded in this acquisition pose as a 2D color image data record and to be stored Call the 2D color image data set with the associated 2D color image sensor coordinate values to evaluate it for object recognition by comparison with the 3D image data. To detect and locate an object in a complex and / or large environment, usually only portions of the environment are captured and analyzed. There ¬ nen doing two separate techniques are used Kings. This includes either a 2D object detection or a 3D
Obj ektdetektion . Es gibt auch Sensoren, die Tiefen- und Farbinformation gleichzeitig liefern, nur ist die Auflösung des Farbsensors begrenzt und oft nicht hochauflösend genug. Obj ect detection. There are also sensors that provide depth and color information simultaneously, but the resolution of the color sensor is limited and often not high resolution enough.
Erfindungsgemäß wird eine Lösung zur Obj ektdetektion und Ob- j ektlokalisierung in einer komplexen Umgebung mittels einem hochauflösenden, insbesondere mobilen 2D-Farbsensor und einem 3D-Sensor vorgeschlagen. Der 3D-Sensor kann ein statischer 3D-Sensor sein. Insoweit kann der 3D-Sensor beispielsweise an der Basis ortsfest angeordnet sein. Alternativ kann der SD- Sensor ein dynamischer 3D-Sensor sein, der beispielsweise an einer zusätzlichen Kinematik verstellbar bezüglich der Basis angeordnet sein kann. According to the invention, a solution for object detection and object localization in a complex environment by means of a high-resolution, in particular mobile 2D color sensor and a 3D sensor is proposed. The 3D sensor can be a static 3D sensor. In that regard, the 3D sensor may be arranged stationary, for example, at the base. Alternatively, the SD sensor may be a dynamic 3D sensor, which may be arranged, for example, on an additional kinematics adjustable with respect to the base.
Die Vorteile können sein, eine schnelle Detektion der Objekte in 2D-Bildern, eine präzise Lageerkennung der Objekte durch 3D-Daten, eine Aufnahme einer komplexen Szene und/oder eine Kostenminimierung durch Flexibilität aufgrund zweier Sensoren. Der 2D-Farbsensor kann beispielsweise durch bekannte, kostengünstige Mobiltelefon-Kameras realisiert werden und schnell eingesetzt werden. Der 3D-Sensor kann dagegen durch ein hochwertiges System realisiert werden. The advantages can be a fast detection of the objects in 2D images, a precise position detection of the objects by 3D data, a recording of a complex scene and / or a cost minimization through flexibility due to two sensors. The 2D color sensor can be realized, for example, by known, inexpensive mobile phone cameras and used quickly. By contrast, the 3D sensor can be realized by means of a high-quality system.
Eine Aufnahme der Umgebung kann dadurch erfolgen, dass der 2D-Sensor beispielsweise durch einen Roboterarm bewegt wird, um die Umgebung aus mehreren Blickrichtungen aufnehmen zu können. Es kann eine mobile Plattform vorgesehen sein, wobei während sich die Plattform in der Umgebung bewegt, die 2D- Aufnahmen erfasst, abgelegt und zusammengeführt werden, so dass es einem Gesamtbild der Umgebung entspricht. Dazu können bekannte Verfahren zum Zusammenfügen (sog. „Stitching") ver- wendet werden. Bei jeder 2D-Aufnähme können durch einen 3D- Sensor 3D-Daten generiert werden, die den 2D-Aufnahmen entsprechen. Ergänzend kann nachdem alle nötigen Aufnahmen gemacht sind, der 2D-Sensor wird abgelegt werden. Eine Obj ektdetektion und Objektlokalisierung kann zuerst eine schnelle Obj ektdetektion im 2D-Gesamtbild durchgeführt wer¬ den, z.B. mit Hilfe von bekannten Algorithmen des „Deep Lear- ning" . Als Ergebnis erhält man einen räumlichen Hüllkörper („Bounding-Box" ) , der das Objekt grob lokalisiert. Mit Hilfe von bekannten Transformationen der 2D-Sensordaten zu den 3D- Sensordaten („2D-3D Mapping") können 2D-Koordinaten der Hüllkörper in 3D-Koordinaten umgerechnet werden. Anschließend wird ein 3D-Auschnitt geladen, der dieser 3D-Information entspricht. Gleichzeitig kann ein 3D-Modell (CAD oder Punktwol- ke) des gesuchten Objekts aufgerufen werden. Eine präzise 3D- Obj ektlageerkennung wird durchgeführt („Surface Matching- Methode") . Nach der Berechnung der Objektlage können die Greifpunkte ermittelt werden. Abschließend können die Positi¬ onen beispielsweise der mobilen Plattform und des Roboterarms errechnet werden, die das Greifen des gefunden Objekts durchführen . A recording of the environment can take place in that the 2D sensor is moved, for example, by a robot arm in order to be able to record the environment from several viewing directions. A mobile platform may be provided, with the platform moving in the environment, capturing, dropping, and merging the 2D recordings to match an overall picture of the environment. For this purpose, known methods for joining (so-called "stitching") can be used. be used. With every 2D capture, 3D data can be generated by a 3D sensor that matches the 2D scans. In addition, after all necessary shots are taken, the 2D sensor will be filed. Ektdetektion a Obj and localization can be first a quick Obj ektdetektion in 2D picture performed ¬ to, for example, by means of known algorithms of the "Deep Lear ning." The result is a spatial envelope body ( "bounding box"), the roughly localizes the object. With the help of known transformations of the 2D sensor data to the 3D sensor data ("2D-3D Mapping"), 2D coordinates of the enveloping bodies can be converted into 3D coordinates and then a 3D cutout is loaded that corresponds to this 3D information. At the same time, a 3D model (CAD or point cloud) of the searched object can be called up.A precise 3D obj ect position recognition is performed ("Surface Matching Method"). After the calculation of the object position, the grip points can be determined. Finally, the positi ¬ tions such as the mobile platform and the robot arm can be calculated that perform the gripping of the found object.
Die Steuervorrichtung kann ausgebildet sein, während einer Erfassung von 2D-Farbbilddaten durch den 2D-Farbbildsensor gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D- Bildsensor durchzuführen. The control device may be configured to simultaneously perform a detection of 3D image data by the 3D image sensor during acquisition of 2D color image data by the 2D color image sensor.
Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in dem 2D-Farbbilddatensatz ausfindig zu machen, einen Bildausschnitt aus dem 2D-Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt enthält und den aus dem 2D- Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts zu bestimmen. Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in den 3D-Bilddaten ausfindig zu machen, einen Bildausschnitt aus den 3D-Bilddaten zu selektieren, der das ausfindig gemachte Objekt enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt anhand der 2D-Farbbilddaten zu verifizieren. The evaluation device can be set up to locate a searched object in the 2D color image data record, to select an image section from the 2D color image data set that contains the object found and the image detail selected from the 2D color image data record into that of the 3D image sensor retrieved captured 3D image data to determine the spatial position and orientation of the searched object. The evaluation device can be set up to locate a searched object in the 3D image data, to select an image section from the 3D image data that contains the object found and the image section selected from the 3D image data into that from the 2D color image sensor retrieve captured 2D color image data set to verify the searched object based on the 2D color image data.
Die Auswerteinrichtung kann eingerichtet sein, das gesuchte Objekt in den 2D-Farbbilddaten anhand der Farbe und/oder an- hand der Textur des Objekts zu verifizieren. The evaluation device can be set up to verify the searched object in the 2D color image data based on the color and / or on the texture of the object.
Die Auswerteinrichtung kann eingerichtet sein, ein gesuchtes Objekt in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet ist, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Qua- ders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das gesuchte Objekt enthält . The evaluation device can be set up to locate a searched object in the 2D color image data record and is set up to produce a three-dimensional enveloping body of a basic geometrical shape, in particular a sphere, a squarer or a circular cylinder, which is characterized by its spatial position. which contains the searched object.
Die Auswerteinrichtung kann eingerichtet sein, aus den gespeicherten 3D-Bilddaten einen Auszug einer 3D- Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimen¬ sionalen Hüllkörpers der geometrischen Grundform liegt. The evaluation device may be adapted to generate an abstract of a 3D image data subset from the stored 3D image data, which is within the three-dimen sional ¬ enveloping body of the geometrical basic shape.
Die Auswerteinrichtung kann eingerichtet sein, innerhalb der 3D-Bilddatenuntermenge eine Identifikation des gesuchten Ob¬ jekts durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts zu erzeugen. The evaluation device may be configured to perform an identification of the sought Whether ¬ jekts within the 3D image data subset and generate geometry data, position data and orientation data of the identified object.
Die Auswerteinrichtung kann eingerichtet sein, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt mit- tels des Greifers des Roboterarms gegriffen werden kann. The evaluation device can be set up to determine from the geometry data, position data and orientation data of the identified object suitable gripping surfaces or gripping lines or grip points at which the real object can be gripped by means of the gripper of the robot arm.
Die Steuervorrichtung kann eingerichtet sein, die Gelenke des Roboterarms derart zu bewegen, dass der Greifer des Roboter- arms derart positioniert ist, dass der Greifer das Objekt an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten gegriffen werden kann, um anschließend das reale Objekt durch Bewegen des Roboterarms handhaben zu können. Die Auswerteinrichtung kann eingerichtet sein, das gesuchte Objekt in den 3D-Bilddaten wiederzufinden oder in den SD- Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts, insbesondere Geometriedaten des Objekts, die aus einem CAD-System entnommen sind, zur Auswertung herangezogen wer- den. The control device can be set up to move the joints of the robot arm in such a way that the gripper of the robot arm arms is positioned so that the gripper, the object can be gripped at the determined gripping surfaces or gripping lines or gripping points, in order then to handle the real object by moving the robot arm can. The evaluation device can be set up to retrieve the sought-after object in the 3D image data or to locate it in the SD image data by using geometry data of the object, in particular geometry data of the object, which has been taken from a CAD system for the evaluation ,
Die Auswerteinrichtung kann eingerichtet sein, den 2D- Farbbilddaten zusätzlich zu den 2D-Farbbildsensorkoordinaten- werten des Weiteren einen Zeitwert in dem 2D-The evaluation device may be set up to additionally provide the 2D color image data with a time value in addition to the 2D color image sensor coordinate values.
Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor die 2D- Farbbilddaten in der Aufnahmepose erfasst hat. Assign color image data record, which time value reflects the time at which the 2D color image sensor has detected the 2D color image data in the recording Pose.
Die Bewegungsvorrichtung kann ein Schwenkneigekopf sein, der ein erstes Gelenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks auf- weist, wobei das Schwenkgelenk ausgebildet ist, den Halter bezüglich des Grundgestells um eine vertikale Achse zu schwenken und das Neigegelenk ausgebildet ist, den Halter bezüglich des Grundgestells um eine horizontale Achse zu nei¬ gen, um den an dem Halter befestigten 2D-Farbbildsensor im Raum schwenken und neigen zu können. The moving device may be a swivel-tilting head having a first hinge of the type of a swivel joint and a second swivel-type joint, wherein the swivel joint is configured to pivot the bracket relative to the base frame about a vertical axis and the tilt joint is formed, the holder with respect to the base frame about a horizontal axis to nei ¬ conditions to pivot the attached to the holder 2D color image sensor in space and tend to.
Eine weitere Bewegungsvorrichtung kann auch ein Schwenkneigekopf sein, der ein erstes Gelenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks aufweist, wobei das Schwenkgelenk ausgebildet ist, einen weiteren Halter bezüglich des Grundgestells um eine vertikale Achse zu schwenken und das Neigegelenk ausgebil¬ det ist, den weiteren Halter bezüglich des Grundgestells um eine horizontale Achse zu neigen, um den an dem weiteren Hai- ter befestigten 3D-Bildsensor im Raum schwenken und neigen zu können . Another movement device may also be a Schwenkneigekopf having a first joint in the design of a pivot joint and a second joint in the type of tilting joint, wherein the pivot joint is adapted to pivot a further holder relative to the base frame about a vertical axis and the Neigegelenk is ausgebil ¬ det, the other holder with respect to the base frame to tilt about a horizontal axis in order to that on the other shark pivot and tilt the attached 3D image sensor in space.
Die Bewegungsvorrichtung kann ein Roboterarm sein, der mehrere Glieder und wenigstens drei, die Glieder gegeneinander verstellbar verbindende Gelenke aufweist, die von einer Robo¬ tersteuerung automatisch verstellbar sind, um den mit einem der Glieder des Roboterarms fest verbundenen Halter oder Greifer des Roboterarms bezüglich des Grundgestells des Robo¬ terarms im Raum verstellen zu können, damit der an dem Halter oder Greifer befestigte 2D-Farbbildsensor oder der an dem weiteren Halter oder Greifer befestigte 3D-Sensor im Raum bewegt werden kann. The moving device can be a robot arm having a plurality of limbs and at least three, the members against each other adjustable connecting joints, which are automatically adjustable by a Robo ¬ ters control to the respect one of the members of the robot arm integral holder or gripper of the robot arm of the base frame the Robo ¬ terarms to be able to adjust in space so that the attached to the holder or gripper 2D color image sensor or attached to the other holder or gripper 3D sensor can be moved in space.
Der Roboterarm kann einen Greifer aufweisen, der ausgebildet ist, den 2D-Farbbildsensor zu ergreifen, ihn aus einer Halte- rung zu entnehmen und durch Verstellen der Gelenke des Roboterarms im Raum zu bewegen, wobei der 2D-Farbbildsensor während des Bewegens des 2D-Farbbildsensors mittels des Roboter¬ arms 2D-Farbbilddaten erfasst. The robotic arm may include a gripper configured to grip the 2D color image sensor, remove it from a holder and move it in space by adjusting the joints of the robotic arm, the 2D color image sensor during movement of the 2D color image sensor detected by the robot ¬ arms 2D color image data.
Der Greifer kann ausgebildet sein, den 2D-Farbbildsensor in der Halterung abzulegen. The gripper can be designed to deposit the 2D color image sensor in the holder.
Die Basis kann ein Tragboden einer mobilen Plattform sein, auf welcher der Roboterarm mit seinem Grundgestell befestigt ist . The base may be a support floor of a mobile platform on which the robot arm is attached to its base frame.
Die Halterung für den 2D-Farbbildsensor kann an der mobilen Plattform befestigt sein und die Halterung kann dabei ausge¬ bildet sein, den 2D-Farbbildsensor in seinem ungenutzten Zustand an der mobilen Plattform aufzubewahren. The holder for the 2D color image sensor can be attached to the mobile platform and the holder can thereby be ¬ forms to keep the 2D color image sensor in its unused state on the mobile platform.
Der 3D-Bildsensor kann an der mobilen Plattform befestigt sein . Der 3D-Bildsensor kann eine Tiefenbildkamera sein, insbesondere eine Tiefenbildkamera, die ein 2D-Bild in Form einer 2D- Pixelmatrix erfasst, wobei jedem Pixel eine Information über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt von einem Kamerabezugspunkt zugeordnet ist. Der 2D-Farbbildsensor kann einen hochauflösenden Kamerachip aufweisen, dessen Auflösung mindestens 1920 mal 1080 Bild¬ punkte beträgt. The 3D image sensor may be attached to the mobile platform. The 3D image sensor may be a depth image camera, in particular a depth image camera, which is a 2D image in the form of a 2D image. Pixel matrix, wherein each pixel is associated with an information about the distance of a point corresponding to the respective pixel on the detected object from a camera reference point. The 2D color image sensor may have a high-resolution camera chip whose resolution is at least 1920 by 1080 image ¬ points.
Ein konkretes Ausführungsbeispiel der Erfindung ist in der nachfolgenden Figurenbeschreibung unter Bezugnahme auf die beigefügte Figur näher erläutert. Konkrete Merkmale dieses exemplarischen Ausführungsbeispiels können unabhängig davon, in welchem konkreten Zusammenhang sie erwähnt sind, gegebenenfalls auch einzeln oder auch in anderen Kombinationen betrachtet, allgemeine Merkmale der Erfindung darstellen. A concrete embodiment of the invention is explained in more detail in the following description of the figures with reference to the accompanying figure. Concrete features of this exemplary embodiment, irrespective of the specific context in which they are mentioned, if appropriate also individually or also in other combinations, represent general features of the invention.
Es zeigt die: It shows the:
Figur eine schematische Darstellung einer mobilen Plattform, die eine Basis aufweist, auf der ein Roboter- arm befestigt ist, der einen Greifer aufweist, wel¬ cher einen 2D-Farbbildsensor trägt, wobei an der mobilen Plattform außerdem ein 3D-Bildsensor befestigt ist . Die Figur zeigt eine beispielhafte Anwendungsszene für ein erfindungsgemäßes Objekterkennungssystem. Das Objekterkennungssystem umfasst einen Roboter 1, der einen Roboterarm 2 und eine Robotersteuerung 3 aufweist. Der Roboterarm 2 umfasst im Falle des vorliegenden Ausführungsbeispiels mehrere, nacheinander angeordnete und mittels Gelenke 4 drehbar mitei¬ nander verbundene Glieder 5. An einem distalen Endglied weist der Roboterarm 2 einen im Raum bewegbaren Greifer 6 auf. In einem Regal 7 sind beispielhaft drei Objekte 8.1, 8.2, 8.3 unterschiedlicher Gestalt abgelegt und stehen zum automati¬ sierten Herausnehmen durch den Roboterarm 2 bzw. durch den Greifer 6 bereit. Figure is a schematic representation of a mobile platform having a base on which a robot arm is mounted, which has a gripper, wel ¬ cher wearing a 2D color image sensor, wherein on the mobile platform also a 3D image sensor is attached. The figure shows an exemplary application scene for an inventive object recognition system. The object recognition system includes a robot 1 having a robot arm 2 and a robot controller 3. The robot arm 2 comprises, in the case of the present embodiment a plurality of successively arranged and by means of joints 4 rotatably connected MITEI ¬ Nander members 5. 2 has at a distal end link of the robot arm a movable gripper in space 6. In a shelf 7 are exemplified three objects 8.1, 8.2, 8.3 filed different shape and are ready for automatic ¬ sierten removal by the robot arm 2 and by the gripper 6 ready.
Das Objekterkennungssystem weist auf: - Eine Steuervorrichtung 9, die mit der RobotersteuerungThe object recognition system comprises: a control device 9 connected to the robot controller
3 über eine Kommunikationsverbindung 10 steuerungstechnisch verbunden sein kann. Alternativ können die Steuervorrichtung 9 und die Robotersteuerung 3 in einer gemeinsamen Steuervorrichtung zusammengefasst sein bzw. durch eine einzige Steuervorrichtung realisiert sein.3 may be connected via a communication link 10 control technology. Alternatively, the control device 9 and the robot controller 3 may be combined in a common control device or realized by a single control device.
Die Steuervorrichtung 9 kann gegebenenfalls auch außerhalb der mobilen Plattform 12 angeordnet sein. If appropriate, the control device 9 can also be arranged outside the mobile platform 12.
- Eine Basis 11, deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis 11 im Raum kennzeichnen, in der Steuervorrichtung 9 gespeichert sind, A base 11, whose position and orientation in the space is known, such that basic coordinate values which characterize the position and orientation of the base 11 in the space are stored in the control device 9,
- eine Bewegungsvorrichtung 2a, die im Falle des vorlie- genden Ausführungsbeispiels durch den Roboterarm 2 ge¬ bildet wird, der ein Grundgestell 2.1, mehrere Gelenke 4 und einen über die mehreren Gelenke 4 an dem Grundgestell 2.1 verstellbar gelagerten Halter 6a, im Falle des vorliegenden Ausführungsbeispiels den Greifer 6, auf- weist, wobei die mehreren Gelenke 4 durch die Roboter¬ steuerung 3 automatisch verstellbar sind, um den Halter 6a, d.h. den Greifer 6, im Raum zu bewegen, wobei das Grundgestell 2.1 an einer vorbestimmten Position und Orientierung auf der Basis 11 befestigt ist und die Po- sition und Orientierung des Grundgestells 2.1 auf der- a moving device 2a, which is ge ¬ forms by the robot arm 2 in the case of the present embodiment, the a base frame 2.1, a plurality of joints 4 and via the plurality of joints 4 adjustably mounted on the base frame 2.1 holders 6a, in the case of the present Embodiment, the gripper 6, up, wherein the plurality of joints 4 are automatically adjusted by the robot ¬ control 3, to move the holder 6 a, ie the gripper 6 in space, the base frame 2.1 at a predetermined position and orientation the base 11 is fixed and the position and orientation of the base frame 2.1 on the
Basis 11 durch Grundkoordinatenwerte bestimmt ist, die in der Robotersteuerung 3 oder in der Steuervorrichtung 9 gespeichert sind. - Einen 3D-Bildsensor 13 zur Erfassung von 3D-Bilddaten, der bezüglich der Basis 11 derart angeordnet ist, dass die Position und Orientierung des 3D-Bildsensors 13 re¬ lativ zur Basis 11 durch 3D-Bildsensorkoordinatenwerte bestimmt ist, die in der Robotersteuerung 3 oder in derBase 11 is determined by basic coordinate values stored in the robot controller 3 or in the control device 9. - a 3D image sensor 13 to capture the 3D image data, which is relative to the base 11 is arranged such that the position and orientation of the 3D image sensor 13 re ¬ is determined tively to the base 11 by 3D image sensor coordinate values stored in the robot controller 3 or in the
Steuervorrichtung 9 gespeichert sind, und Control device 9 are stored, and
- einen 2D-Farbbildsensor 14 zur Erfassung von 2D- Farbbilddaten, welcher an dem Halter 6a, d.h. an dem Greifer 6 der Bewegungsvorrichtung 2a bzw. des Roboterarms 2 befestigt ist, und welcher durch den Roboterarm 2 im Raum bewegbar ist, derart, dass aus den Gelenkstel¬ lungen der Gelenke 4 die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors 14 im Raum ein- deutig bestimmbar und als 2D-Farbbildsensorkoordinaten- werte in der Steuervorrichtung 9 speicherbar sind, wobei a 2D color image sensor 14 for capturing 2D color image data, which is fixed to the holder 6a, ie to the gripper 6 of the movement device 2a or the robot arm 2, and which is movable in space by the robot arm 2, such that the hinge Stel ¬ lungs of the joints 4, the respective momentary position and orientation of 2D color image sensor 14 in the space switch unequivocally determined, and as a 2D Farbbildsensorkoordinaten- values in the control device 9 can be stored, wherein
- das Objekterkennungssystem eine Auswerteinrichtung 9a aufweist, die ausgebildet ist, die in einer Aufnahmepose der Bewegungsvorrichtung 2a von dem 2D-Farbbildsensor 14 erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Farbbildsensorkoordinatenwerte zugeord¬ net als ein 2D-Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den SD- Bilddaten für eine Objekterkennung auszuwerten. - the object detection system has an evaluation device 9a, which is adapted to store in a Shoo Epics the movement device 2 detected by the 2D color image sensor 14 2D color image data with the acquired in this Shoo Epics 2D color image sensor coordinate values zugeord ¬ net as a 2D color image data set, and is configured to call the stored 2D color image data record with the associated 2D color image sensor coordinate values to be evaluated by a comparison with the SD image data for object recognition.
Die Steuervorrichtung 9 ist im Falle des vorliegenden Ausführungsbeispiels ausgebildet, während einer Erfassung von 2D- Farbbilddaten durch den 2D-Farbbildsensor 14 gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D-Bildsensor 13 durchzuführen . In the case of the present embodiment, the control device 9 is designed to simultaneously perform a detection of 3D image data by the 3D image sensor 13 during acquisition of 2D color image data by the 2D color image sensor 14.
Die Bewegungsvorrichtung 2a ist im Falle des vorliegenden Ausführungsbeispiels also ein Roboterarm 2, der mehrere Glie- der 5 und wenigstens drei, die Glieder 5 gegeneinander verstellbar verbindende Gelenke 4 aufweist, die von der Roboter¬ steuerung 3 automatisch verstellbar sind, um den mit einem der Glieder 5 des Roboterarms 2 fest verbundenen Halter 6a, also den Greifer 6, bezüglich des Grundgestells 2.1 des Robo¬ terarms 2 im Raum verstellen zu können, damit der an dem Halter 6a befestigte 2D-Farbbildsensor 14 im Raum bewegt werden kann . In the case of the present exemplary embodiment, the movement device 2a is therefore a robot arm 2, which has a plurality of segments. 5 and at least three joints 5 mutually adjustable connecting joints 4, which are automatically adjustable by the robot ¬ control 3, to the one of the links 5 of the robot arm 2 firmly connected holder 6a, ie the gripper 6, with respect to the base frame 2.1 of Robo ¬ terarms 2 to be able to adjust in space, so that attached to the holder 6a 2D color image sensor 14 can be moved in space.
Bei dem Roboterarm 2 wird der Halter 6a also durch den Grei- fer 6 gebildet, der ausgebildet ist, den 2D-Farbbildsensor 14 zu ergreifen, ihn aus einer Halterung 15 zu entnehmen und durch Verstellen der Gelenke 4 des Roboterarms 2 im Raum zu bewegen, wobei der 2D-Farbbildsensor 14 während des Bewegens des 2D-Farbbildsensors 14 mittels des Roboterarms 2 2D- Farbbilddaten erfasst. In the case of the robot arm 2, the holder 6a is thus formed by the gripper 6, which is designed to grasp the 2D color image sensor 14, remove it from a holder 15 and move it in space by adjusting the joints 4 of the robot arm 2, wherein the 2D color image sensor 14 detects 2D color image data during movement of the 2D color image sensor 14 by means of the robot arm 2.
Der Greifer 6 ist außerdem ausgebildet, den 2D-Farbbildsensor 14 in der Halterung 15 ablegen zu können. Die Halterung 15 für den 2D-Farbbildsensor 14 ist im Falle des vorliegenden Ausführungsbeispiels an der mobilen Plattform 12 befestigt und die Halterung 15 ausgebildet ist, den 2D-Farbbildsensor 14 in seinem ungenutzten Zustand an der mobilen Plattform 12 aufzubewahren . The gripper 6 is also designed to be able to deposit the 2D color image sensor 14 in the holder 15. The holder 15 for the 2D color image sensor 14 is attached to the mobile platform 12 in the case of the present embodiment and the holder 15 is designed to store the 2D color image sensor 14 in its unused state on the mobile platform 12.
Die Basis 11 wird im Falle des vorliegenden Ausführungsbei¬ spiels von einem Tragboden IIa der mobilen Plattform 12 ge- bildet, auf welcher der Roboterarm 2 mit seinem Grundgestell 2.1 befestigt ist. The base 11 is formed overall in the case of the present Ausführungsbei ¬ game from a supporting floor IIa of the mobile platform 12 on which the robot arm 2 is mounted with its base frame 2.1.
Der 3D-Bildsensor 13 ist, wie dargestellt, an der mobilen Plattform 12 im Falle des vorliegenden Ausführungsbeispiels starr befestigt und zwar mittels einer Befestigungsvorrich- tung 16. As shown, the 3D image sensor 13 is rigidly attached to the mobile platform 12 in the case of the present embodiment by means of a fastening device 16.
Der 3D-Bildsensor 13 kann eine Tiefenbildkamera sein, insbe¬ sondere eine Tiefenbildkamera sein, die ein 2D-Bild in Form einer 2D-Pixelmatrix erfasst, wobei jedem Pixel eine Informa¬ tion über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt 8.1, 8.2, 8.3 von einem Kamerabezugspunkt zugeordnet ist. Der 2D-Farbbildsensor kann einen hochauflösenden Kamerachip aufweisen, dessen Auflösung mindestens 1920 mal 1080 Bild¬ punkte beträgt. The 3D image sensor 13 may be a depth image camera, in particular ¬ be a depth image camera that a 2D image in shape a 2D pixel matrix detected, each pixel is an Informa ¬ tion on the removal of a pixel corresponding to the respective point on the detected object 8.1, 8.2, 8.3 is assigned by a Kamerzugzugspunkt. The 2D color image sensor may have a high-resolution camera chip whose resolution is at least 1920 by 1080 image ¬ points.
Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuchtes Objekt 8.1, 8.2, 8.3 in dem 2D-Farbbilddatensatz ausfin- dig zu machen, einen Bildausschnitt aus dem 2D-The evaluation device 9a can be set up to make a searched object 8.1, 8.2, 8.3 available in the 2D color image data record, an image section from the 2D image.
Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt 8.1, 8.2, 8.3 enthält und den aus dem 2D- Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor 13 erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts 8.1, 8.2, 8.3 zu bestimmen. To select the color image data record which contains the detected object 8.1, 8.2, 8.3 and retrieves the image detail selected from the 2D color image data record in the 3D image data captured by the 3D image sensor 13 in order to determine the spatial position and orientation of the object 8.1 sought therefrom, 8.2, 8.3.
Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuchtes Objekt 8.1, 8.2, 8.3 in den 3D-Bilddaten ausfindig zu ma¬ chen, einen Bildausschnitt aus den 3D-Bilddaten zu selektie- ren, der das ausfindig gemachte Objekt 8.1, 8.2, 8.3 enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt 8.1, 8.2, 8.3 anhand der 2D-Farbbilddaten zu verifizieren. Die Auswerteinrichtung 9a kann eingerichtet sein, das gesuchte Objekt 8.1, 8.2, 8.3 in den 2D-Farbbilddaten anhand der Farbe und/oder anhand der Textur des Objekts 8.1, 8.2, 8.3 zu verifizieren . The evaluation device 9a may be arranged a sought object 8.1, 8.2, 8.3 locate in the 3D image data ren to ma ¬ Chen: To select an image section from the 3D image data containing the locate-made object 8.1, 8.2, 8.3 and to retrieve the image selected from the 3D image data in the captured from the 2D color image sensor 2D color image data set to verify the object sought 8.1, 8.2, 8.3 from the 2D color image data. The evaluation device 9a can be set up to verify the sought object 8.1, 8.2, 8.3 in the 2D color image data on the basis of the color and / or on the texture of the object 8.1, 8.2, 8.3.
Die Auswerteinrichtung 9a kann eingerichtet sein, ein gesuch- tes Objekt 8.1, 8.2, 8.3 in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet sein, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Quaders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das gesuchte Objekt 8.1, 8.2, 8.3 enthält. The evaluation device 9a can be set up to find a searched object 8.1, 8.2, 8.3 in the 2D color image data record and to set it up, a three-dimensional enveloping body of a geometric basic shape, in particular one Ball, a cuboid or a circular cylinder, which is characterized by its spatial position, which contains the object sought 8.1, 8.2, 8.3.
Die Auswerteinrichtung 9a kann eingerichtet sein, aus den ge- speicherten 3D-Bilddaten einen Auszug einer 3D-The evaluation device 9a can be set up to extract from the stored 3D image data an extract from a 3D image data.
Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimen¬ sionalen Hüllkörpers der geometrischen Grundform liegt. To generate image data subset, which lies within the three-dimen sional ¬ enveloping body of the geometrical basic shape.
Die Auswerteinrichtung 9a kann eingerichtet sein, innerhalb der 3D-Bilddatenuntermenge eine Identifikation des gesuchten Objekts 8.1, 8.2, 8.3 durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts 8.1, 8.2, 8.3 zu erzeugen. The evaluation device 9a can be set up to perform an identification of the searched object 8.1, 8.2, 8.3 within the 3D image data subset and to generate geometry data, position data and orientation data of the identified object 8.1, 8.2, 8.3.
Die Auswerteinrichtung 9a kann eingerichtet sein, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des iden- tifizierten Objekts 8.1, 8.2, 8.3 geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt 8.1, 8.2, 8.3 mittels des Greifers 6 des Roboterarms 2 gegriffen werden kann. The evaluation device 9a can be set up to determine from the geometry data, position data and orientation data of the identified object 8.1, 8.2, 8.3 suitable gripping surfaces or gripping lines or grip points at which the real object 8.1, 8.2, 8.3 by means of the gripper 6 of the robot arm 2 can be grasped.
Die Steuervorrichtung 9 kann eingerichtet sein, die Gelenke 4 des Roboterarms 2 derart zu bewegen, dass der Greifer 6 desThe control device 9 can be configured to move the joints 4 of the robot arm 2 such that the gripper 6 of the
Roboterarms 2 derart positioniert ist, dass der Greifer 6 das Objekt 8.1, 8.2, 8.3 an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten greifen kann, um das reale Objekt 8.1, 8.2, 8.3 durch Bewegen des Roboterarms 2 handhaben zu können. Robot arm 2 is positioned so that the gripper 6, the object 8.1, 8.2, 8.3 can grip the detected gripping surfaces or gripping lines or gripping points to handle the real object 8.1, 8.2, 8.3 by moving the robot arm 2.
Die Auswerteinrichtung 9a kann eingerichtet sein, das gesuchte Objekt 8.1, 8.2, 8.3 in den 3D-Bilddaten wiederzufinden oder in den 3D-Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts 8.1, 8.2, 8.3, insbesondere Geometrieda- ten des Objekts 8.1, 8.2, 8.3, die aus einem CAD-System ent¬ nommen sind, zur Auswertung herangezogen werden. Die Auswerteinrichtung 9a kann außerdem eingerichtet sein, den 2D-Farbbilddaten zusätzlich zu den 2D-The evaluation device 9a can be set up to retrieve the searched object 8.1, 8.2, 8.3 in the 3D image data or to locate it in the 3D image data, by geometry data of the object 8.1, 8.2, 8.3, in particular geometric data of the object 8.1, 8.2 be 8.3, which are made of a CAD system ent ¬ taken, used for evaluation. The evaluation device 9a can also be set up to display the 2D color image data in addition to the 2D
Farbbildsensorkoordinatenwerten des Weiteren einen Zeitwert in dem 2D-Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor 14 die 2D-Farbbilddaten in der Aufnahmepose erfasst hat. Further, color image sensor coordinate values are to be assigned a time value in the 2D color image data set, which time value represents the time at which the 2D color image sensor 14 has acquired the 2D color image data in the photographing pose.

Claims

Obj ekterkennungsSystem aufweisend : Obj ect recognition system comprising:
- eine Steuervorrichtung (9,3),  a control device (9, 3),
- eine Basis (11), deren Position und Orientierung im Raum bekannt ist, derart, dass Basiskoordinatenwerte, welche die Position und Orientierung der Basis (11) im Raum kennzeichnen, in der Steuervorrichtung (9) gespeichert sind,  a base (11) whose position and orientation in space is known, such that basic coordinate values which characterize the position and orientation of the base (11) in space are stored in the control device (9),
- eine Bewegungsvorrichtung (2a) , die ein Grundgestell (2.1), mehrere Gelenke (4) und einen über die mehreren Gelenke (4) an dem Grundgestell (2.1) verstellbar gela¬ gerten Halter (6a) aufweist, wobei die mehreren Gelenke (4) durch die Steuervorrichtung (9,3) automatisch verstellbar sind, um den Halter (6a) im Raum zu bewegen, wobei das Grundgestell (2.1) an einer vorbestimmten Position und Orientierung auf der Basis (11) befestigt ist und die Position und Orientierung des Grundgestells (2.1) auf der Basis (11) durch Grundkoordinatenwerte be¬ stimmt ist, die in der Steuervorrichtung (9,3) gespei¬ chert sind, - A movement device (2a) having a base frame (2.1), a plurality of joints (4) and one on the plurality of joints (4) on the base frame (2.1) adjustable gela ¬ siege holder (6a), wherein the plurality of joints (4 ) are automatically adjustable by the control device (9, 3) in order to move the holder (6a) in space, the base frame (2.1) being fixed in a predetermined position and orientation on the base (11) and the position and orientation of the basic frame (2.1) on the base (11) by reason coordinate values be ¬ true that in the control device (9.3) are vomit ¬ chert,
- einen 3D-Bildsensor (13) zur Erfassung von SD- Bilddaten, der bezüglich der Basis derart angeordnet ist, dass die Position und Orientierung des SD- Bildsensors (13) relativ zur Basis (11) durch 3D- Bildsensorkoordinatenwerte bestimmt ist, die in der Steuervorrichtung (9,3) gespeichert sind, und  a 3D image sensor (13) for acquiring SD image data arranged with respect to the base such that the position and orientation of the SD image sensor (13) relative to the base (11) is determined by 3D image sensor coordinate values defined in FIG the control device (9,3) are stored, and
- einen 2D-Farbbildsensor (14) zur Erfassung von 2D- Farbbilddaten, welcher an dem Halter (6a) der Bewegungsvorrichtung (2a) befestigt ist, und welcher durch die Bewegungsvorrichtung (2a) im Raum bewegbar ist, derart, dass aus den Gelenkstellungen der Gelenke (4) der Bewegungsvorrichtung (2a) die jeweilige momentane Position und Orientierung des 2D-Farbbildsensors (14) im Raum eindeutig bestimmbar und als 2D- Farbbildsensorkoordinatenwerte in der Steuervorrichtung (9,3) speicherbar sind, wobei - A 2D color image sensor (14) for detecting 2D color image data, which is fixed to the holder (6a) of the movement device (2a), and which is movable in space by the movement device (2a), such that from the joint positions of Joints (4) of the movement device (2a) the respective instantaneous position and orientation of the 2D color image sensor (14) in space uniquely determinable and as 2D Color sensor coordinate values in the control device (9,3) are storable, wherein
- das Objekterkennungssystem eine Auswerteinrichtung (9a) aufweist, die ausgebildet ist, die in einer Aufnah- mepose der Bewegungsvorrichtung (2a) von dem 2D- the object recognition system has an evaluation device (9a) which is designed to be in a receiving pose of the movement device (2a) of the 2D device
Farbbildsensor (14) erfassten 2D-Farbbilddaten mit den in dieser Aufnahmepose erfassten 2D-Color image sensor (14) recorded 2D color image data with the 2D images recorded in this photograph
Farbbildsensorkoordinatenwerte zugeordnet als ein 2D- Farbbilddatensatz zu speichern und die ausgebildet ist, den gespeicherten 2D-Farbbilddatensatz mit den zugeordneten 2D-Farbbildsensorkoordinatenwerten aufzurufen, um sie durch einen Vergleich mit den 3D-Bilddaten für eine Objekterkennung auszuwerten. Color sensor coordinate values associated with storing a 2D color image data set and configured to retrieve the stored 2D color image data set with the associated 2D color image sensor coordinate values for evaluation by comparison with the 3D image data for object recognition.
Objekterkennungssystem nach Anspruch 1, dadurch gekennzeichnet, dass die Steuervorrichtung (9,3) ausgebildet ist, während einer Erfassung von 2D-Farbbilddaten durch den 2D-Farbbildsensor gleichzeitig eine Erfassung von 3D-Bilddaten durch den 3D-Bildsensor (13) durchzuführen Object recognition system according to claim 1, characterized in that the control device (9,3) is adapted to simultaneously perform a detection of 3D image data by the 3D image sensor (13) during detection of 2D color image data by the 2D color image sensor
Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) einge¬ richtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in dem 2D-Farbbilddatensatz ausfindig zu machen, einen Bildausschnitt aus dem 2D-Farbbilddatensatz zu selektieren, der das ausfindig gemachte Objekt (8.1, 8.2, 8.3) enthält und den aus dem 2D-Farbbilddatensatz selektierten Bildausschnitt in den von dem 3D-Bildsensor (13) erfassten 3D-Bilddaten wiederzufinden, um daraus die räumliche Position und Orientierung des gesuchten Objekts (8.1, 8.2, 8.3) zu bestimmen. Object detection system according to claim 1 or 2, characterized in that the evaluation device (9a) is ¬ directed is a sought object (8.1, 8.2, 8.3) to locate in the 2D color image data set, to select an image section from the 2D color image data set, containing the retrieved object (8.1, 8.2, 8.3) and retrieving the image detail selected from the 2D color image data set into the 3D image data captured by the 3D image sensor (13) to determine the spatial position and orientation of the searched object (8.1 , 8.2, 8.3).
Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) einge¬ richtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in den 3D-Bilddaten ausfindig zu machen, einen Bildausschnitt aus den 3D-Bilddaten zu selektieren, der das ausfindig gemachte Objekt (8.1, 8.2, 8.3) enthält und den aus den 3D-Bilddaten selektierten Bildausschnitt in den von dem 2D-Farbbildsensor (14) erfassten 2D-Farbbilddatensatz wiederzufinden, um das gesuchte Objekt (8.1, 8.2, 8.3) anhand der 2D-Farbbilddaten zu verifizieren. Object recognition system according to claim 1 or 2, characterized in that the evaluation device (9a) is set up ¬ , a searched object (8.1, 8.2, 8.3) in the Locate 3D image data to select an image section from the 3D image data containing the detected object (8.1, 8.2, 8.3) and selected from the 3D image data image in the captured by the 2D color image sensor (14) Retrieve a 2D color image data set to verify the object of interest (8.1, 8.2, 8.3) from the 2D color image data.
Objekterkennungssystem nach Anspruch 4, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, das gesuchte Objekt (8.1, 8.2, 8.3) in den 2D- Farbbilddaten anhand der Farbe und/oder anhand der Textur des Objekts (8.1, 8.2, 8.3) zu verifizieren. Object recognition system according to claim 4, characterized in that the evaluation device (9a) is set up, the searched object (8.1, 8.2, 8.3) in the 2D color image data based on the color and / or on the texture of the object (8.1, 8.2, 8.3) to verify.
Objekterkennungssystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, ein gesuchtes Objekt (8.1, 8.2, 8.3) in dem 2D-Farbbilddatensatz ausfindig zu machen und eingerichtet ist, einen dreidimensionalen Hüllkörper einer geometrischen Grundform, insbesondere einer Kugel, eines Quaders oder eines Kreiszylinders zu erzeugen, der durch seine räumliche Lage gekennzeichnet ist, welche das ge¬ suchte Objekt (8.1, 8.2, 8.3) enthält. Object recognition system according to one of Claims 1 to 5, characterized in that the evaluation device (9a) is set up in order to locate a desired object (8.1, 8.2, 8.3) in the 2D color image data set and is set up, a three-dimensional enveloping body of a geometric basic shape, in particular a sphere, a cuboid or a circular cylinder, which is characterized by its spatial position, which contains the ge ¬ sought object (8.1, 8.2, 8.3).
Objekterkennungssystem nach Anspruch 6, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, aus den gespeicherten 3D-Bilddaten einen Auszug ei ner 3D-Bilddatenuntermenge zu erzeugen, die innerhalb des dreidimensionalen Hüllkörpers der geometrischen Grundform liegt. Object recognition system according to claim 6, characterized in that the evaluation device (9a) is arranged to generate from the stored 3D image data an extract egg ner 3D image data subset, which lies within the three-dimensional envelope body of the geometric basic form.
Objekterkennungssystem nach Anspruch 7, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, innerhalb der 3D-Bilddatenuntermenge eine Identifi- kation des gesuchten Objekts (8.1, 8.2, 8.3) durchzuführen und Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts (8.1, 8.2, 8.3) zu erzeugen. Object recognition system according to claim 7, characterized in that the evaluation device (9a) is set up within the 3D image data subset an Identifi- cation of the searched object (8.1, 8.2, 8.3) and to generate geometry data, position data and orientation data of the identified object (8.1, 8.2, 8.3).
9. Objekterkennungssystem nach Anspruch 8, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, aus den Geometriedaten, Positionsdaten und Orientierungsdaten des identifizierten Objekts (8.1, 8.2, 8.3) geeignete Greifflächen oder Greiflinien oder Greifpunkte zu ermitteln, an denen das reale Objekt (8.1, 8.2, 8.3) mittels eines Greifers (6) eines Roboterarms (2) gegriffen werden kann. 9. object recognition system according to claim 8, characterized in that the evaluation device (9a) is adapted to determine from the geometry data, position data and orientation data of the identified object (8.1, 8.2, 8.3) suitable gripping surfaces or gripping lines or grip points at which the real object (8.1, 8.2, 8.3) can be gripped by means of a gripper (6) of a robot arm (2).
10. Objekterkennungssystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Steuervorrichtung (9, 3) eingerichtet ist, die Gelenke (4) des Roboterarms (2) derart zu bewegen, dass der Greifer (6) des Roboterarms (2) derart positioniert ist, dass der Greifer (6) das Objekt (8.1, 8.2, 8.3) an den ermittelten Greifflächen oder Greiflinien oder Greifpunkten greifen kann, um anschließend das reale Objekt (8.1, 8.2, 8.3) durch Bewe¬ gen des Roboterarms (2) handhaben zu können. 10. Object recognition system according to one of claims 1 to 9, characterized in that the control device (9, 3) is arranged to move the joints (4) of the robot arm (2) such that the gripper (6) of the robot arm (2) is positioned such that the gripper (6) the object (8.1, 8.2, 8.3) can attack the determined gripping surfaces or gripping lines or gripping points to subsequently the real object (8.1, 8.2, 8.3) by BEWE ¬ gene of the robot arm (2 ) to handle.
11. Objekterkennungssystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, das gesuchte Objekt (8.1, 8.2, 8.3) in den 3D-Bilddaten wiederzufinden oder in den SD- Bilddaten ausfindig zu machen, indem Geometriedaten des Objekts, insbesondere Geometriedaten des Objekts (8.1, 8.2, 8.3), die aus einem CAD-System entnommen sind, zur Auswertung herangezogen werden. Objekterkennungssystem nach einem der Ansprüche 1 bis11. object recognition system according to one of claims 1 to 10, characterized in that the evaluation device (9a) is adapted to retrieve the sought object (8.1, 8.2, 8.3) in the 3D image data or to locate in the SD image data by Geometry data of the object, in particular geometry data of the object (8.1, 8.2, 8.3), which are taken from a CAD system, are used for the evaluation. Object recognition system according to one of claims 1 to
11, dadurch gekennzeichnet, dass die Auswerteinrichtung (9a) eingerichtet ist, den 2D-Farbbilddaten zusätzlich zu den 2D-Farbbildsensorkoordinatenwerten des Weiteren einen Zeitwert in dem 2D-Farbbilddatensatz zuzuordnen, welcher Zeitwert den Zeitpunkt wiedergibt, zu welchem der 2D-Farbbildsensor (14) die 2D-Farbbilddaten in der Aufnahmepose erfasst hat. 11, characterized in that the evaluation device (9a) is arranged to associate the 2D color image data in addition to the 2D color image sensor coordinate values further a time value in the 2D color image data set, which time value reflects the time at which the 2D color image sensor (14) captured the 2D color image data in the recording pose.
Objekterkennungssystem nach einem der Ansprüche 1 bisObject recognition system according to one of claims 1 to
12, dadurch gekennzeichnet, dass die Bewegungsvorrichtung (2a) ein Schwenkneigekopf ist, der ein erstes Ge¬ lenk in der Bauart eines Schwenkgelenks aufweist und ein zweites Gelenk in der Bauart eines Neigegelenks auf¬ weist, wobei das Schwenkgelenk ausgebildet ist, den Hal¬ ter (6a) bezüglich des Grundgestells (2.1) um eine ver¬ tikale Achse zu schwenken und das Neigegelenk ausgebil¬ det ist, den Halter (6a) bezüglich des Grundgestells (2.1) um eine horizontale Achse zu neigen, um den an dem Halter (6a) befestigten 2D-Farbbildsensor (14) im Raum schwenken und neigen zu können. 12, characterized in that the movement device (2a) is a Schwenkneigekopf having a first Ge ¬ steering in the construction of a pivot joint and a second joint in the design of a tilting joint on ¬ has, wherein the pivot joint is formed, the Hal ¬ ter (6a) with respect to the base frame (2.1) to pivot about a ver ¬ tical axis and the tilt joint is ausgebil ¬ det, the holder (6a) with respect to the base frame (2.1) to incline about a horizontal axis to the on the holder (6a ) to pivot in space and inclined to be able to tilt 2D image sensor (14).
Objekterkennungssystem nach einem der Ansprüche 1 bisObject recognition system according to one of claims 1 to
13, dadurch gekennzeichnet, dass die Bewegungsvorrich¬ tung (2a) ein Roboterarm (2) ist, der mehrere Glieder13, characterized in that the Bewegungsvorrich ¬ device (2a) is a robot arm (2), the plurality of members
(5) und wenigstens drei, die Glieder (5) gegeneinander verstellbar verbindende Gelenke (4) aufweist, die von einer Robotersteuerung (3) automatisch verstellbar sind, um den mit einem der Glieder (5) des Roboterarms (2) fest verbundenen Halter (6a), insbesondere einen Greifer(5) and at least three links (5) mutually adjustable connecting joints (4) which are automatically adjustable by a robot controller (3) to the one of the members (5) of the robot arm (2) fixedly connected holder ( 6a), in particular a gripper
(6) des Roboterarms (2) bezüglich des Grundgestells des Roboterarms (2) im Raum verstellen zu können, damit der an dem Halter (6a) oder Greifer (6) befestigte 2D- Farbbildsensor (14) im Raum bewegt werden kann. (6) of the robot arm (2) relative to the base frame of the robot arm (2) to be able to adjust in space, so that on the holder (6a) or gripper (6) attached 2D color image sensor (14) can be moved in space.
15. Objekterkennungssystem nach Anspruch 14, dadurch gekennzeichnet, dass der Roboterarm (2) einen Greifer (6) aufweist, der ausgebildet ist, den 2D-Farbbildsensor (14) zu ergreifen, ihn aus einer Halterung (15) zu entnehmen und durch Verstellen der Gelenke (4) des Roboterarms (2) im Raum zu bewegen, wobei der 2D-Farbbildsensor (14) während des Bewegens des 2D-Farbbildsensors (14) mittels des Roboterarms (2) 2D-Farbbilddaten erfasst. 15. Object recognition system according to claim 14, characterized in that the robot arm (2) has a gripper (6) which is designed to grasp the 2D color image sensor (14), to remove it from a holder (15) and to adjust it Move joints (4) of the robot arm (2) in space, wherein the 2D color image sensor (14) during the movement of the 2D color image sensor (14) by means of the robot arm (2) detects 2D color image data.
16. Objekterkennungssystem nach Anspruch 15, dadurch gekennzeichnet, dass der Greifer (6) ausgebildet ist, den 2D- Farbbildsensor (14) in der Halterung (15) abzulegen. 16. Object recognition system according to claim 15, characterized in that the gripper (6) is designed to deposit the 2D color image sensor (14) in the holder (15).
17. Objekterkennungssystem nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass die Basis (11) ein Tragboden (IIa) einer mobilen Plattform (12) ist, auf welcher der Roboterarm (2) mit seinem Grundgestell (2.1) befestigt ist. 17. Object recognition system according to one of claims 14 to 16, characterized in that the base (11) is a support base (IIa) of a mobile platform (12) on which the robot arm (2) is attached to its base frame (2.1).
18. Objekterkennungssystem nach 17, dadurch gekennzeichnet, dass die Halterung (15) für den 2D-Farbbildsensor (14) an der mobilen Plattform (12) befestigt ist und die Halterung (15) ausgebildet ist, den 2D-Farbbildsensor (14) in seinem ungenutzten Zustand an der mobilen Plattform (12) aufzubewahren. 18. The object recognition system according to claim 17, characterized in that the holder (15) for the 2D color image sensor (14) is attached to the mobile platform (12) and the holder (15) is formed, the 2D color image sensor (14) in its store unused condition on the mobile platform (12).
19. Objekterkennungssystem nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass der 3D-Bildsensor (13) an der mobi¬ len Plattform (12) befestigt ist. 19. Object recognition system according to claim 17 or 18, characterized in that the 3D image sensor (13) is attached to the mobi ¬ len platform (12).
20. Objekterkennungssystem nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass der 3D-Bildsensor (13) eine Tiefenbildkamera ist, insbesondere eine Tiefenbild¬ kamera ist, die ein 2D-Bild in Form einer 2D-Pixelmatrix erfasst, wobei jedem Pixel eine Information über die Entfernung eines dem betreffenden Pixel entsprechenden Punktes auf dem erfassten Objekt (8.1, 8.2, 8.3) von ei nem Kamerabezugspunkt zugeordnet ist. 20. object recognition system according to one of claims 1 to 19, characterized in that the 3D image sensor (13) is a depth image camera, in particular a depth image ¬ camera, which is a 2D image in the form of a 2D pixel matrix detected, each pixel is associated with information about the distance of a point corresponding to the pixel in question on the detected object (8.1, 8.2, 8.3) of ei NEM camera reference point.
Objekterkennungssystem nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass der 2D-Farbbildsensor (14) einen hochauflösenden Kamerachip aufweist, dessen Auflösung mindestens 1920 mal 1080 Bildpunkte beträgt. Object recognition system according to one of claims 1 to 20, characterized in that the 2D color image sensor (14) has a high-resolution camera chip whose resolution is at least 1920 by 1080 pixels.
PCT/EP2018/055487 2017-03-07 2018-03-06 Object recognition system comprising a 2d color image sensor and a 3d image sensor WO2018162491A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE212018000178.2U DE212018000178U1 (en) 2017-03-07 2018-03-06 Object recognition system with a 2D color image sensor and a 3D image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE202017001227.8U DE202017001227U1 (en) 2017-03-07 2017-03-07 Object recognition system with a 2D color image sensor and a 3D image sensor
DE202017001227.8 2017-03-07

Publications (1)

Publication Number Publication Date
WO2018162491A1 true WO2018162491A1 (en) 2018-09-13

Family

ID=61599149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/055487 WO2018162491A1 (en) 2017-03-07 2018-03-06 Object recognition system comprising a 2d color image sensor and a 3d image sensor

Country Status (2)

Country Link
DE (2) DE202017001227U1 (en)
WO (1) WO2018162491A1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10611036B2 (en) 2016-09-06 2020-04-07 Advanced Intelligent Systems Inc. Mobile work station for transporting a plurality of articles
US10633190B2 (en) 2018-02-15 2020-04-28 Advanced Intelligent Systems Inc. Apparatus for supporting an article during transport
US10645882B1 (en) 2018-10-29 2020-05-12 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10676279B1 (en) 2018-11-20 2020-06-09 Advanced Intelligent Systems Inc. Systems, methods, and storage units for article transport and storage
US10745219B2 (en) 2018-09-28 2020-08-18 Advanced Intelligent Systems Inc. Manipulator apparatus, methods, and systems with at least one cable
US10751888B2 (en) 2018-10-04 2020-08-25 Advanced Intelligent Systems Inc. Manipulator apparatus for operating on articles
US10966374B2 (en) 2018-10-29 2021-04-06 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
CN112906427A (en) * 2019-11-19 2021-06-04 黄建龙 Object classification method and device based on visual detection
CN112975943A (en) * 2019-12-13 2021-06-18 广东弓叶科技有限公司 Processing method and system for judging optimal grabbing height of robot clamping jaw
DE102020117173A1 (en) 2020-06-30 2021-12-30 Audi Aktiengesellschaft Modular, mobile robot platform for handling, processing or assembling workpieces

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019206444A1 (en) * 2019-05-06 2020-11-12 Kuka Deutschland Gmbh Machine learning of object recognition using a robot-guided camera
DE102019115929A1 (en) * 2019-06-12 2020-12-17 Oculus Optikgeräte GmbH Procedure for checking the eyes and the vision system
DE102020117318A1 (en) 2020-07-01 2022-01-05 Broetje-Automation Gmbh Procedure for disinfecting a processing environment
DE102020129743A1 (en) * 2020-11-11 2022-05-12 Carl Zeiss Ag DEVICE AND METHOD FOR MEASUREMENT, INSPECTION OR PROCESSING OF OBJECTS
DE102020214301A1 (en) 2020-11-13 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung DEVICE AND METHOD FOR CONTROLLING A ROBOT TO PICK AN OBJECT IN DIFFERENT POSITIONS
DE102021202328A1 (en) 2021-03-10 2022-09-15 Psa Automobiles Sa Driverless test vehicle
DE102021108974B4 (en) 2021-04-12 2022-10-27 Bayerische Motoren Werke Aktiengesellschaft Device for determining grip points, method for determining grip points and logistics robots
DE102021207568A1 (en) 2021-07-15 2023-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Monitoring of defined optical patterns using object recognition and neural networks
JP2023069316A (en) 2021-11-05 2023-05-18 株式会社日立ハイテク mobile robot system
CN114029951B (en) * 2021-11-10 2022-05-10 盐城工学院 Robot autonomous recognition intelligent grabbing method based on depth camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009269110A (en) * 2008-05-02 2009-11-19 Olympus Corp Assembly equipment
US20130158947A1 (en) * 2011-12-20 2013-06-20 Canon Kabushiki Kaisha Information processing apparatus, control method for information processing apparatus and storage medium
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
US20160124006A1 (en) * 2013-07-26 2016-05-05 Roche Diagnostics Operations, Inc. Method for handling a sample tube and handling device
DE102015100983A1 (en) 2015-01-23 2016-07-28 Sick Ag Method for locating gripping points of objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009269110A (en) * 2008-05-02 2009-11-19 Olympus Corp Assembly equipment
US20130158947A1 (en) * 2011-12-20 2013-06-20 Canon Kabushiki Kaisha Information processing apparatus, control method for information processing apparatus and storage medium
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
US20160124006A1 (en) * 2013-07-26 2016-05-05 Roche Diagnostics Operations, Inc. Method for handling a sample tube and handling device
DE102015100983A1 (en) 2015-01-23 2016-07-28 Sick Ag Method for locating gripping points of objects
US20160217317A1 (en) * 2015-01-23 2016-07-28 Sick Ag Method for the localization of gripping points of objects

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10611036B2 (en) 2016-09-06 2020-04-07 Advanced Intelligent Systems Inc. Mobile work station for transporting a plurality of articles
US10633190B2 (en) 2018-02-15 2020-04-28 Advanced Intelligent Systems Inc. Apparatus for supporting an article during transport
US10745219B2 (en) 2018-09-28 2020-08-18 Advanced Intelligent Systems Inc. Manipulator apparatus, methods, and systems with at least one cable
US10751888B2 (en) 2018-10-04 2020-08-25 Advanced Intelligent Systems Inc. Manipulator apparatus for operating on articles
US10645882B1 (en) 2018-10-29 2020-05-12 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10966374B2 (en) 2018-10-29 2021-04-06 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10676279B1 (en) 2018-11-20 2020-06-09 Advanced Intelligent Systems Inc. Systems, methods, and storage units for article transport and storage
CN112906427A (en) * 2019-11-19 2021-06-04 黄建龙 Object classification method and device based on visual detection
CN112975943A (en) * 2019-12-13 2021-06-18 广东弓叶科技有限公司 Processing method and system for judging optimal grabbing height of robot clamping jaw
DE102020117173A1 (en) 2020-06-30 2021-12-30 Audi Aktiengesellschaft Modular, mobile robot platform for handling, processing or assembling workpieces

Also Published As

Publication number Publication date
DE202017001227U1 (en) 2018-06-08
DE212018000178U1 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
WO2018162491A1 (en) Object recognition system comprising a 2d color image sensor and a 3d image sensor
DE102015101710B4 (en) A method of calibrating a moveable gripping member using a remote digital camera
DE102016114337B4 (en) SYSTEM AND METHOD FOR CONNECTING COORDINATE SPACES MACHINES LIKE ASSEMBLY FIXED IN AN ENVIRONMENT
EP2023077B1 (en) Method and measuring system for contactless coordinate measurement of the surface of an object
DE102014016069B4 (en) Device and method for picking up an object in 3-dimensional space with a robot
DE102017128543B4 (en) NOISE ZONE ADJUSTMENT DEVICE FOR A MOBILE ROBOT
US6349245B1 (en) Method of and apparatus for registration of a robot
EP2227356B1 (en) Method and system for extremely precise positioning of at least one object in the end position of a space
DE102013018222B4 (en) Object-taking device and method for picking up an object
DE112011101730B4 (en) System and method for robust calibration between an image processing system and a robot
DE602004008131T2 (en) Automatic implement and automatic work control program
DE102014016072A1 (en) Apparatus and method for picking up an arbitrarily stacked object by means of a robot
EP1910999B1 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
DE102009012590A1 (en) Device for determining the position of a robot arm with camera for taking pictures
DE102021103726B4 (en) Measurement parameter optimization method and device and computer control program
WO2015086036A1 (en) Method for the positionally accurate projection of a mark onto an object, and projection apparatus
DE102018113336A1 (en) A method of using a machine to set an augmented reality display environment
WO2018133890A1 (en) Method and device for producing a 3-d thermogram
EP1915239B1 (en) Method for generating an environmental image
DE102015104587B4 (en) Method for calibrating a robot on a workspace and system for performing the method
WO2018007242A1 (en) Method and device for automatically placing milking cups onto the teats of a milk-producing animal
DE102014100538B4 (en) Method for calibrating a robot and a camera and system for performing the method
KR102665372B1 (en) Gantry-mounted 3D shape scanning apparatus and scanning method using same
CN114092335B (en) Image splicing method, device and equipment based on robot calibration and storage medium
DE102020104323A1 (en) Autonomous and automated system for photogrammetry

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18709550

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18709550

Country of ref document: EP

Kind code of ref document: A1