EP3953900A1 - Verfahren und vorrichtung zum steuern mindestens einer aktorik - Google Patents

Verfahren und vorrichtung zum steuern mindestens einer aktorik

Info

Publication number
EP3953900A1
EP3953900A1 EP20723058.2A EP20723058A EP3953900A1 EP 3953900 A1 EP3953900 A1 EP 3953900A1 EP 20723058 A EP20723058 A EP 20723058A EP 3953900 A1 EP3953900 A1 EP 3953900A1
Authority
EP
European Patent Office
Prior art keywords
tracking function
object tracking
data
pose
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20723058.2A
Other languages
English (en)
French (fr)
Inventor
Kevin Thiel
Eduard Jundt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3953900A1 publication Critical patent/EP3953900A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the invention relates to a method and a device for controlling at least one actuator system.
  • Actuators are used in manufacturing technology, for example.
  • the actuators are programmed for fixed, predetermined movement sequences.
  • the invention is based on the object of improving a method and a device for controlling at least one actuator.
  • a method for controlling at least one actuator is made available, the at least one actuator being controlled on the basis of an object pose of an object by means of provided control data, the object pose being controlled by a
  • Object tracking function is provided, and wherein the object tracking function as input data digital geometry data of an object to be tracked and captured
  • Sensor data are fed to at least one sensor detecting the object.
  • a device for controlling at least one actuator comprising a control device and an object tracking device.
  • the control device is designed to control the at least one actuator system on the basis of an object pose of an object by means of control data.
  • the object tracking device is designed to provide the object pose by means of an object tracking function, wherein digital geometry data of an object to be tracked and detected sensor data of at least one sensor detecting the object are fed to the object tracking function as input data.
  • the method and the device make it possible to control the at least one actuator system in an improved manner.
  • the method and the device for example, generate control data for controlling the at least one actuator system and feed it to the actuator system. This is done by providing an object pose in a first step, that is, a position and an orientation of the object to be tracked or manipulated.
  • the control data is then generated by defining positions at which the at least one actuator system is to act on the object to be tracked or manipulated. If the object pose is known, the positions can be determined relative to the at least one actuator system on the basis of a three-dimensional object model that can be created from the digital geometry data.
  • the at least one actuator can, for example, grip the object at the defined position and / or manipulate it there in a targeted manner by
  • Gripping tools and / or processing tools are performed there.
  • the object pose describes both a position and an orientation of the to
  • the position can be provided in three-dimensional Cartesian coordinates, for example.
  • the orientation can be provided as pitch, yaw and roll angles, for example.
  • the actuators work in particular in the same coordinate system and can therefore manipulate the object directly on the basis of the object pose provided.
  • the sensor pose of the sensor is also defined in the same coordinate system.
  • the object pose can be defined as an object pose (position and orientation) relative to the actuator system.
  • the object pose is provided by an object tracking function, which can also be referred to as a tracking function (“Object Tracking”).
  • An object tracking function is, in particular, one known per se from computer vision applications
  • Object tracking function which provides an object pose on the basis of digital geometry data or an object model of the object to be tracked and sensor data acquired from the object to be tracked. At least one initial sensor pose is also known to the object tracking function, that is to say a sensor position and a
  • the object tracking function is done with the help of parameters parameterized.
  • Object tracking functions available on the market are provided by Fraunhofer IGD, for example, as a software library in the form of the VisionLib.
  • Object tracking functions in the form of software packages are also offered by Diota and PTC Vuforia.
  • Digital geometry data of the object to be tracked or manipulated can be available, for example, in the form of Computer Aided Design (CAD) data.
  • CAD Computer Aided Design
  • a sensor can for example be a camera, in particular one in the visible
  • a camera operating in the wavelength range which captures camera images of the object to be tracked or manipulated and provides them as sensor data.
  • the camera can also be a depth camera (RGB-D).
  • the sensor can also comprise other optical imaging measurement technology, e.g. Neuromorphic Cameras.
  • sensor data can be one-dimensional or multi-dimensional.
  • sensor data are two-dimensional camera images that are captured and provided by a camera.
  • sensor data are two-dimensional camera images that are captured and provided by a camera.
  • Sensor data are provided by several sensors, e.g. from cameras that are sensitive in different wavelength ranges (e.g. RGB, infrared) or from other sensors (e.g. an inertial measuring unit, IMU).
  • sensors e.g. from cameras that are sensitive in different wavelength ranges (e.g. RGB, infrared) or from other sensors (e.g. an inertial measuring unit, IMU).
  • the advantage of the invention is that the at least one actuator system can be controlled in an improved manner, in particular independently of a specifically present object pose. Since the object pose is provided or estimated on the basis of the detected sensor data, it is possible, independently of the specific object pose in which the object is located, to act on the object in a targeted manner by means of the at least one actuator. This enables a wide range of flexible application scenarios, for example in manufacturing technology or when manipulating or transporting objects in warehouse logistics.
  • Object tracking devices can be designed individually or collectively as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that parts are designed individually or combined as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • parameters of the object tracking function are or are defined with the aid of sensor data simulated on the basis of the digital geometry data of the object to be tracked. This makes it possible to dispense with a time-consuming and complex, especially manual, acquisition and compilation of sensor data for establishing the parameters of the object tracking function. In this case, simulated does not necessarily mean that a simulation must have taken place. The simulated sensor data only designate sensor data provided to define a ground truth.
  • simulated sensor data can also be provided by an already optimized system in order to optimize another system.
  • the definition takes place in particular by simulating a large number of sensor data, for example a large number of camera images in the case of a camera used as a sensor.
  • the sensor data are simulated on the basis of the digital geometry data of the object to be tracked.
  • a three-dimensional object model can be created on the basis of the digital geometry data.
  • the sensor data are then simulated from the three-dimensional object model,
  • a camera image from a camera used as a sensor for example a camera image from a camera used as a sensor.
  • the simulated image for example a camera image from a camera used as a sensor.
  • sensor data are sent to the
  • Object tracking function transferred as it is also used for the recorded, i.e. real sensor data. Since object poses for the simulated sensor data are known from the digital geometry data or from the three-dimensional object model of the object to be tracked as a true object pose or basic truth and are also known from the
  • Object tracking function provided, in particular estimated, object poses can be compared, those parameters of the object tracking function can be determined with which a quality in the object tracking or in providing the object pose can be improved.
  • the definition and optimization can be done completely automatically, so that effort and costs can be saved.
  • the device comprises an optimization device, wherein the optimization device is designed in such a way that parameters of the object tracking function are based on the digital ones
  • the optimization device can be designed as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that the optimization device or parts thereof are designed as an application-specific integrated circuit (ASIC). Provision can also be made for actuator parameters of the at least one actuator to be defined, in particular optimized, in this case. For this purpose, a target function is correspondingly taken into account, taking into account the effectiveness of the actuators or
  • At least one sensor property of the at least one sensor is taken into account when generating the simulated sensor data.
  • these can be properties in the form of sensor artifacts (e.g. noise or sensitivity). If the sensor is a camera, these properties can be, for example, noise, blurring, white balance, glare spots, chromatic aberration and distortion of optical lenses of the camera and / or a wavelength-dependent sensitivity of the camera.
  • At least one environmental property is taken into account when generating the simulated sensor data.
  • a surrounding property can be, for example, lighting conditions or a background scenery in front of which the object to be tracked is located.
  • a large number of different background sceneries are simulated in the simulated sensor data.
  • a background image can be selected at random without the object to be tracked, which is depicted in an object pose, itself being changed.
  • the background scenery for example in that a surface reflection of a part of the background scenery is mapped onto the object or is simulated on this.
  • changing object properties are also taken into account when generating the simulated sensor data.
  • Changing object properties can, for example, be in the form of an object geometry that changes over time (e.g. the object has several geometric states) and / or of changing
  • Object tracking function can be determined by iterative optimization, for this purpose a quality assessment for each one iteration by means of the object tracking function
  • various criteria can be assessed in the context of a comparison between a true object pose used in the simulation and assumed as a basic truth with an object pose provided or estimated by the object tracking function on the basis of the simulated sensor data, for example accuracy (trueness), precision (English precision), a combination of accuracy and precision (English accuracy), a robustness, a jitter and / or a latency when recognizing the object pose.
  • Optimization device is also designed such that the parameters of the
  • Object tracking function is viewed in particular as a “black box” with an underlying but unknown function with a multi-dimensional parameter space. It can be provided here that the parameter space is reduced to those parameters that have the greatest influence on the quality of the object tracking.
  • a statistical analysis can be carried out in the form of a targeted test planning (“Design of Experiments”) and / or a sensitivity analysis.
  • targeted test planning for example, targeted scanning of the parameter space (randomly or quasi-randomly) can take place.
  • the parameter space can be reduced in size.
  • the underlying unknown function can be found by creating a metamodel of the “black box” of the object tracking function.
  • the underlying unknown function is approximated. This allows the optimization of the parameters of the object tracking function to be accelerated. In particular, it can be estimated where the underlying unknown function could have an optimum. In this way, parameters of the object tracking function can be searched for in a more targeted manner. Furthermore, a metamodel can be calculated with less computational effort and therefore faster. For the optimization itself, for example, optimization methods known per se can be used, for example evolutionary methods, gradient descent methods and / or simulated annealing.
  • Object tracking function uses one of the following methods: Bayesian
  • the digital geometry data of the object to be tracked are changed before being fed to the object tracking function.
  • the object tracking function can track the object in an improved manner, since, for example, special features of the object, which one
  • Facilitate object tracking in which changed digital geometry data can be highlighted. These can, for example, be particularly prominent corners and / or edges of the object that facilitate object tracking.
  • features are added to the digital geometry data when changing and / or that features are removed from the digital geometry data when changing. In this way, features of the object to be tracked that are particularly easy to track can be highlighted and other features that may hinder object tracking can be removed.
  • digital geometry data are generated and / or changed on the basis of sensor data recorded by the at least one sensor.
  • sensor data recorded on the real object can be used to generate or change the digital geometry data.
  • FIG. 1 shows a schematic representation of an embodiment of the device for controlling at least one actuator system
  • FIG. 2 shows a schematic representation of method sections of an embodiment of the method for clarifying the setting and the optimization of the parameters of the object tracking function.
  • the device 1 shows a schematic representation of an embodiment of the device 1 for controlling an actuator 50.
  • the device 1 comprises a control device 2 and an object tracking device 3.
  • the actuator system 50 can be, for example, a robot arm or a manipulator comprising a plurality of hydraulic or electromechanical actuators, which is used for manipulating, for example, for gripping and processing an object, for example a workpiece or a component.
  • the control device 2 is designed to control the actuator system 50 on the basis of an object pose 4 of an object.
  • the control device 2 generates control data 10 and feeds the control data 10 to the actuator system 50.
  • the object pose 4 is fed to the control device 2 from the object tracking device 3.
  • the object pose 4 includes both a position of the object (e.g. in the form of three-dimensional Cartesian coordinates) and an orientation of the object (e.g. as a pitch, yaw and roll angle).
  • the object pose 4 is defined in particular as an object pose relative to the actuator system 50.
  • the object tracking device 3 is designed to provide the object pose 4 by means of an object tracking function, the object tracking function as
  • the sensor 51 can be, for example, a camera with which camera images of the object are captured and provided as sensor data.
  • a sensor pose (position and orientation) of the sensor 51 relative to the actuator system 50 is known; this is determined, for example, as part of a registration of the poses.
  • the device 1 comprises an optimization device 7.
  • the optimization device 7 is designed to define parameters 20 of the object tracking function of the object tracking device 3 with the aid of sensor data simulated on the basis of the digital geometry data 5 of the object to be tracked (cf. FIG. 2). This can be done in particular by defining the parameters 20 of the object tracking function by iterative optimization, a quality assessment being carried out for each object pose 4 provided during an iteration by means of the object tracking function.
  • At least one environmental property is taken into account when generating the simulated sensor data.
  • features are added to the digital geometry data 5 when it is changed and / or that features are removed from the digital geometry data 5 when it is changed.
  • digital geometry data 5 are generated and / or changed on the basis of sensor data recorded by the sensor 51.
  • FIG. 2 a schematic illustration of method sections 100, 200 is a
  • Embodiment of the method for illustrating the definition and optimization of the parameters 20 of the object tracking function 30 is shown.
  • the method sections 100, 200 are in particular by means of an object tracking device 3 and a
  • Optimization device 7 of the device 1 executed (Fig. 1).
  • simulated sensor data 8 are generated and provided.
  • the parameters 20 of the object tracking function 30 are defined and in particular optimized.
  • the method section 100 comprises the
  • Method sections 101 and 102 Method section 200 includes
  • the sensor under consideration is a camera and the sensor data are camera images.
  • a method step 101 starting from a real scene 11, in which the object to be tracked or manipulated under certain conditions, such as for example a lighting, a background scenery and an object pose is to be found, a simulated scene 12 is simulated. This is done on the basis of digital
  • Geometry data 5 of the object 40 to be tracked or manipulated which are available, for example, in the form of CAD data or have been derived on the basis of a real object from recorded sensor data.
  • a realistic three-dimensional object model is generated from the digital geometry data 5 and arranged according to a selected scenery and an object pose, which can in particular be chosen at random, and then e.g. Photo-realistic rendered.
  • At least one environmental property 13 is taken into account. It is also provided that sensor properties 14, such as a
  • Sensitivity and / or a sensor noise, etc. are taken into account.
  • all influences 15 and properties of a signal processing of a sensor used in the subsequent detection of the object 40 to be tracked or manipulated such as e.g. signal noise, signal filtering, frequency response and / or attenuation etc. are taken into account.
  • the environment properties 13 are already taken into account when the simulated scene 12 is created.
  • Sensor data are generated from the simulated scene 12;
  • camera images of the simulated scene 12 are generated from a specific camera pose by projecting the simulated scene 12 onto a two-dimensional surface at the position of the camera.
  • the influences 15 of the signal processing, in particular the sensor properties 14, are added to the respectively generated camera images in a method step 102.
  • noise as occurs with a real camera, is added to the generated camera images, or the generated camera images are filtered by means of a color sensitivity curve, as is the case with a real camera.
  • the described method sections 101, 102 are simulated for a large number of
  • the simulated sensor data 8, in particular the simulated camera images, are each linked to a true object pose 16 used during the simulation, which during the
  • parameters 20 of object tracking function 30 are optimized. This takes place in a method step 201 in which the simulated sensor data 8 of the Object tracking function 30 are supplied.
  • the object tracking function 30 estimates an object pose 4 on the basis of the provided simulated sensor data 8 and the likewise provided digital geometry data 5 of the object 40 to be tracked or manipulated.
  • the estimated object pose 4 is compared with the true object pose 16 associated with the provided sensor data 8 and at least one quality criterion 17 for object tracking is determined.
  • a comparison can be made between one that is assumed to be a fundamental truth
  • Object pose 16 of the simulation with an object pose 4 provided or estimated by the object tracking function 4 different quality criteria 17 can be assessed, for example accuracy (English precision), a combination of accuracy and precision (English accuracy), robustness, jitter and / or latency in the
  • an adaptation or optimization of the parameters 20 of the object tracking function 30 takes place in a method step 203.
  • Object tracking function 30 is viewed in particular as a “black box” with an underlying but unknown function with a multi-dimensional parameter space. It can be provided here that the parameter space is reduced to those parameters that have the greatest influence on the quality of the object tracking. To achieve this, a statistical analysis in the form of a targeted
  • Test planning Design of Experiments
  • / or a sensitivity analysis are carried out.
  • the underlying unknown function can be found in method step 203 by creating a metamodel of the “black box” of the object tracking function 30. This makes it possible to accelerate the optimization of the parameters 20 of the object tracking function 30.
  • optimization for the optimization itself, for example, optimization methods known per se can be used, for example evolutionary methods.
  • Object tracking function 30 uses one of the following methods: Bayesian

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern mindestens einer Aktorik (50), wobei die mindestens eine Aktorik (50) auf Grundlage einer Objektpose (4) eines Objektes (40) gesteuert wird, wobei die Objektpose (4) von einer Objektverfolgungsfunktion (30) bereitgestellt wird, und wobei der Objektverfolgungsfunktion (30) als Eingangsdaten digitale Geometriedaten (5) eines zu verfolgenden Objekts (40) und erfasste Sensordaten (6) mindestens eines das Objekt (40) erfassenden Sensors (51) zugeführt werden. Ferner betrifft die Erfindung eine Vorrichtung (1).

Description

Beschreibung
Verfahren und Vorrichtung zum Steuern mindestens einer Aktorik
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Steuern mindestens einer Aktorik.
Es ist aus dem Bereich der Computervision bekannt, eine Kamerapose relativ zu einem Objekt auf Grundlage von erfassten Kamerabildern mit Hilfe von Objektverfolgungsfunktionen („Object Tracking“) zu bestimmen und bereitzustellen. Ausgehend von der bestimmten Kamerapose kann eine Zusatzinformation in den Kamerabildern mit dem abgebildeten Objekt überlagert werden.
Es sind ferner Aktoriken bekannt, mit denen Objekte manipuliert werden können. Diese
Aktoriken kommen beispielsweise in der Fertigungstechnik zum Einsatz. Hierbei sind die Aktoriken auf fest vorgegebene Bewegungsabläufe programmiert.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Steuern mindestens einer Aktorik zu verbessern.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des
Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 8 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird ein Verfahren zum Steuern mindestens einer Aktorik zur Verfügung gestellt, wobei die mindestens eine Aktorik auf Grundlage einer Objektpose eines Objektes mittels bereitgestellter Steuerdaten gesteuert wird, wobei die Objektpose von einer
Objektverfolgungsfunktion bereitgestellt wird, und wobei der Objektverfolgungsfunktion als Eingangsdaten digitale Geometriedaten eines zu verfolgenden Objekts und erfasste
Sensordaten mindestens eines das Objekt erfassenden Sensors zugeführt werden.
Ferner wird insbesondere eine Vorrichtung zum Steuern mindestens einer Aktorik geschaffen, umfassend eine Steuereinrichtung und eine Objektverfolgungseinrichtung. Die
Steuereinrichtung ist derart ausgebildet, die mindestens eine Aktorik auf Grundlage einer Objektpose eines Objektes mittels Steuerdaten zu steuern. Die Objektverfolgungseinrichtung ist derart ausgebildet, die Objektpose mittels einer Objektverfolgungsfunktion bereitzustellen, wobei der Objektverfolgungsfunktion als Eingangsdaten digitale Geometriedaten eines zu verfolgenden Objekts und erfasste Sensordaten mindestens eines das Objekt erfassenden Sensors zugeführt werden.
Das Verfahren und die Vorrichtung ermöglichen es, die mindestens eine Aktorik verbessert zu steuern. Durch das Verfahren und die Vorrichtung werden beispielsweise Steuerdaten zum Steuern der mindestens einen Aktorik erzeugt und der Aktorik zugeführt. Dies erfolgt, indem in einem ersten Schritt eine Objektpose bereitgestellt wird, das heißt eine Position und eine Orientierung des zu verfolgenden bzw. zu manipulierenden Objektes. Das Erzeugen der Steuerdaten erfolgt anschließend, indem Positionen festgelegt werden, an denen die mindestens eine Aktorik auf das zu verfolgende bzw. zu manipulierende Objekt wirken soll. Die Positionen können bei Kenntnis der Objektpose relativ zu der mindestens einen Aktorik auf Grundlage eines dreidimensionalen Objektmodells, das aus den digitalen Geometriedaten erstellt werden kann, bestimmt werden. Die mindestens eine Aktorik kann das Objekt an den festgelegten Position beispielsweise greifen und/oder dort gezielt manipulieren, indem
Greifwerkzeuge und/oder Bearbeitungswerkzeuge, z.B. für ein Fügeverfahren oder dergleichen, dorthin geführt werden.
Die Objektpose bezeichnet sowohl eine Position als auch eine Orientierung des zu
verfolgenden bzw. zu manipulierenden Objekts in einem Koordinatensystem. Die Position kann beispielsweise in dreidimensionalen kartesischen Koordinaten bereitgestellt werden. Die Orientierung kann beispielsweise als Nick-, Gier- und Rollwinkel bereitgestellt werden. Die Aktorik arbeitet insbesondere in demselben Koordinatensystem und kann daher Manipulationen an dem Objekt direkt auf Grundlage der bereitgestellten Objektpose durchführen. Die
Sensorpose des Sensors ist ebenfalls in demselben Koordinatensystem definiert. Alternativ kann die Objektpose als eine Objektpose (Position und Orientierung) relativ zur Aktorik definiert sein.
Die Objektpose wird von einer Objektverfolgungsfunktion, welche auch als Trackingfunktion („Object Tracking“) bezeichnet werden kann, bereitgestellt. Eine Objektverfolgungsfunktion ist insbesondere eine an sich aus Anwendungen der Computervision bekannte
Objektverfolgungsfunktion, welche auf Grundlage von digitalen Geometriedaten bzw. einem Objektmodell des zu verfolgenden Objekts und von dem zu verfolgenden Objekt erfassten Sensordaten eine Objektpose bereitstellt. Der Objektverfolgungsfunktion ist hierbei zumindest auch eine anfängliche Sensorpose bekannt, das heißt eine Sensorposition und eine
Sensororientierung des Sensors. Die Objektverfolgungsfunktion wird mit Hilfe von Parametern parametriert. Auf dem Markt erhältliche Objektverfolgungsfunktionen werden beispielsweise als Softwarebibliothek in Form der VisionLib vom Fraunhofer IGD bereitgestellt. Weiter werden Objektverfolgungsfunktionen in Form von Softwarepaketen auch von den Firmen Diota und PTC Vuforia angeboten.
Digitale Geometriedaten des zu verfolgenden bzw. zu manipulierenden Objektes können beispielsweise in Form von Computer Aided Design-(CAD)-Daten vorliegen.
Ein Sensor kann beispielsweise eine Kamera sein, insbesondere eine im sichtbaren
Wellenlängenbereich arbeitende Kamera, welche Kamerabilder des zu verfolgenden bzw. zu manipulierenden Objektes erfasst und als Sensordaten bereitstellt. Die Kamera kann hierbei auch eine Tiefenkamera (RGB-D) sein. Der Sensor kann auch eine sonstige optische bildgebende Messtechnik umfassen, z.B. Neuromorphic Cameras.
Sensordaten können prinzipiell eindimensional oder mehrdimensional ausgebildet sein.
Insbesondere sind Sensordaten zweidimensionale Kamerabilder, welche von einer Kamera erfasst und bereitgestellt werden. Insbesondere kann auch vorgesehen sein, dass die
Sensordaten von mehreren Sensoren bereitgestellt werden, z.B. von Kameras, die in unterschiedlichen Wellenlängenbereichen sensitiv sind (z.B. RGB, Infrarot) oder von einer sonstigen Sensorik (z.B. einer Inertialen Messeinheit, IMU).
Der Vorteil der Erfindung ist, dass die mindestens eine Aktorik verbessert, insbesondere unabhängig von einer konkret vorliegenden Objektpose, angesteuert werden kann. Da die Objektpose auf Grundlage der erfassten Sensordaten bereitgestellt bzw. geschätzt wird, ist es unabhängig von der konkreten Objektpose, in der sich das Objekt befindet, möglich, mittels der mindestens einen Aktorik gezielt auf das Objekt einzuwirken. Dies ermöglicht eine große Bandbreite an flexiblen Anwendungsszenarien, beispielsweise in der Fertigungstechnik oder beim Manipulieren bzw. Transportieren von Objekten in der Lagerlogistik.
Teile der Vorrichtung, insbesondere die Steuereinrichtung und/oder die
Objektverfolgungseinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind. ln einer Ausführungsform ist vorgesehen, dass Parameter der Objektverfolgungsfunktion mit Hilfe von auf Grundlage der digitalen Geometriedaten des zu verfolgenden Objekts simulierten Sensordaten festgelegt werden oder festgelegt sind. Hierdurch kann auf ein zeitraubendes und aufwändiges, vor allem manuelles, Erfassen und Zusammenstellen von Sensordaten zum Festlegen der Parameter der Objektverfolgungsfunktion verzichtet werden. Simuliert bedeutet in diesem Fall insbesondere nicht zwingend, dass eine Simulation erfolgt sein muss. Die simulierten Sensordaten bezeichnen lediglich zur Definition einer Grundwahrheit (engl ground truth) bereitgestellte Sensordaten. Beispielsweise können simulierte Sensordaten auch von einem bereits optimierten System bereitgestellt werden, um ein weiteres System zu optimieren. In der Regel erfolgt das Festlegen jedoch insbesondere, indem eine Vielzahl von Sensordaten, im Falle einer als Sensor verwendeten Kamera beispielsweise eine Vielzahl von Kamerabildern, simuliert wird. Die Sensordaten werden hierbei auf Grundlage der digitalen Geometriedaten des zu verfolgenden Objekts simuliert. Beispielsweise kann hierzu auf Grundlage der digitalen Geometriedaten ein dreidimensionales Objektmodell erstellt werden. Für eine Objektpose werden aus dem dreidimensionalen Objektmodell dann die Sensordaten simuliert,
beispielsweise ein Kamerabild einer als Sensor verwendeten Kamera. Die simulierten
Sensordaten werden hierbei insbesondere über eine Schnittstelle an die
Objektverfolgungsfunktion übergeben, wie diese auch für die erfassten, das heißt realen Sensordaten verwendet wird. Da für die simulierten Sensordaten Objektposen jeweils aus den digitalen Geometriedaten bzw. aus dem dreidimensionalen Objektmodell des zu verfolgenden Objektes als wahre Objektpose bzw. Grundwahrheit bekannt sind und mit von der
Objektverfolgungsfunktion bereitgestellten, insbesondere geschätzten, Objektposen verglichen werden können, können diejenigen Parameter der Objektverfolgungsfunktion bestimmt werden, mit denen eine Qualität bei der Objektverfolgung bzw. beim Bereitstellen der Objektpose verbessert werden kann. Das Festlegen und Optimieren kann vollständig automatisiert erfolgen, sodass Aufwand und Kosten eingespart werden können.
In einer Ausführungsform der Vorrichtung ist entsprechend vorgesehen, dass die Vorrichtung eine Optimierungseinrichtung umfasst, wobei die Optimierungseinrichtung derart ausgebildet ist, Parameter der Objektverfolgungsfunktion mit Hilfe von auf Grundlage der digitalen
Geometriedaten des zu verfolgenden Objekts simulierten Sensordaten festzulegen. Die
Optimierungseinrichtung kann als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass die Optimierungseinrichtung oder Teile davon als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind. Es kann darüber hinaus vorgesehen sein, dass hierbei zusätzlich auch Aktorikparameter der mindestens einen Aktorik festgelegt, insbesondere optimiert, werden. Hierzu wird entsprechend eine Zielfunktion unter Berücksichtigung einer Wirksamkeit der Aktorik bzw. des
Gesamtsystems definiert und berücksichtigt. Zum Bewerten der Wrksamkeit kann
beispielsweise eine Anzahl erfolgreicher Greifvorgänge und/oder Fügungen bzw.
Manipulationen beim Festlegen bzw. Optimieren der Aktorikparameter berücksichtigt werden.
In einer Ausführungsform ist vorgesehen, dass beim Erzeugen der simulierten Sensordaten mindestens eine Sensoreigenschaft des mindestens einen Sensors berücksichtigt wird. Dies können insbesondere Eigenschaften in Form von Sensorartefakten (z.B. ein Rauschen oder eine Empfindlichkeit) sein. Handelt es sich bei dem Sensor um eine Kamera, so können diese Eigenschaften beispielsweise ein Rauschen, eine Unschärfe, ein Weißabgleich, Blendflecke, eine chromatische Aberration sowie Verzeichnungen optischer Linsen der Kamera und/oder eine wellenlängenabhängige Empfindlichkeit der Kamera sein.
In einer Ausführungsform ist vorgesehen, dass beim Erzeugen der simulierten Sensordaten mindestens eine Umfeldeigenschaft berücksichtigt wird. Eine solche Umfeldeigenschaft können beispielsweise Beleuchtungsverhältnisse oder eine Hintergrundszenerie sein, vor der das zu verfolgende Objekt sich befindet. Um die Objektverfolgungsfunktion beispielsweise unabhängig von der konkreten Hintergrundszenerie zu machen, wird in den simulierten Sensordaten eine Vielzahl unterschiedlicher Hintergrundszenerien simuliert. Im Fall von simulierten Kamerabildern kann beispielsweise ein Hintergrundbild zufällig gewählt werden, ohne dass das in einer Objektpose abgebildete zu verfolgende Objekt hierbei selbst verändert wird. Es kann jedoch vorgesehen sein, zusätzlich auch das abgebildete Objekt bzw. eine simulierte Kameraabbildung des zu verfolgenden Objekts im Bereich des Objekts in Abhängigkeit einer gewählten
Hintergrundszenerie zu verändern, beispielsweise indem eine Oberflächenreflexion eines Teils der Hintergrundszenerie auf das Objekt abgebildet bzw. auf diesem simuliert wird.
Es kann ferner vorgesehen sein, beim Erzeugen der simulierten Sensordaten auch sich ändernde Objekteigenschaften zu berücksichtigen. Sich ändernde Objekteigenschaften können beispielsweise in Form einer sich mit der Zeit ändernden Objektgeometrie (z.B. weist das Objekt mehrere geometrische Zustände auf) und/oder von sich ändernden
Oberflächeneigenschaften des Objekts (z.B. in Form einer Lichtemission) auftreten. Dies wird beim Erzeugen entsprechend berücksichtigt. ln einer weiteren Ausführungsform ist vorgesehen, dass die Parameter der
Objektverfolgungsfunktion durch iterative Optimierung festgelegt werden, wobei hierzu eine Qualitätsbewertung für jede bei einer Iteration mittels der Objektverfolgungsfunktion
bereitgestellte Objektpose durchgeführt wird. Der Gedanke dahinter ist, dass je besser die Objektverfolgungsfunktion die Objektpose schätzen kann, desto genauer kann auch das Steuern der mindestens einen Aktorik erfolgen. Bei der Qualitätsbewertung können im Rahmen eines Vergleichs zwischen einer bei der Simulation verwendeten und als Grundwahrheit angenommenen wahren Objektpose mit einer auf Grundlage der simulierten Sensordaten von der Objektverfolgungsfunktion bereitgestellten bzw. geschätzten Objektpose verschiedene Kriterien bewertet werden, beispielsweise eine Genauigkeit (engl trueness), eine Präzision (engl precision), ein Verbund aus Genauigkeit und Präzision (engl accuracy), eine Robustheit, ein Jitter und/oder eine Latenzzeit beim Erkennen der Objektpose.
In einer Ausführungsform der Vorrichtung ist entsprechend vorgesehen, dass die
Optimierungseinrichtung ferner derart ausgebildet ist, die Parameter der
Objektverfolgungsfunktion durch iterative Optimierung festzulegen, und hierzu eine
Qualitätsbewertung für jede bei einer Iteration mittels der Objektverfolgungsfunktion
bereitgestellte Objektpose durchzuführen.
Zum Optimieren der Parameter der Objektverfolgungsfunktion wird die
Objektverfolgungsfunktion insbesondere als„black box“ mit einer zugrundeliegenden, jedoch unbekannten Funktion mit einem mehrdimensionalen Parameterraum betrachtet. Hierbei kann vorgesehen sein, dass der Parameterraum auf solche Parameter reduziert wird, die den größten Einfluss auf die Qualität der Objektverfolgung haben. Um dies zu erreichen, kann eine statistische Analyse in Form einer gezielten Versuchsplanung („Design of Experiments“) und/oder einer Sensitivitätsanalyse erfolgen. Im Rahmen der gezielten Versuchsplanung kann beispielsweise eine gezielte Abtastung des Parameterraumes (zufällig oder quasizufällig) erfolgen. Im Rahmen der Sensitivitätsanalyse kann beispielsweise eine Dimensionsreduktion des Parameterraumes erfolgen. Weiter kann die zugrundeliegende unbekannte Funktion durch Erstellen eines Metamodells der„black box“ der Objektverfolgungsfunktion aufgefunden werden. Hierzu wird die zugrundeliegende unbekannte Funktion approximiert. Hierdurch lässt sich das Optimieren der Parameter der Objektverfolgungsfunktion beschleunigen. Insbesondere kann abgeschätzt werden, wo die zugrundeliegende unbekannte Funktion ein Optimum aufweisen könnte. Parameter der Objektverfolgungsfunktion können hierdurch gezielter gesucht werden. Ferner kann ein Metamodell mit einem geringeren Rechenaufwand und daher schneller berechnet werden. Zum Optimieren selbst können beispielsweise an sich bekannte Optimierungsverfahren verwendet werden, beispielsweise evolutionär arbeitende Verfahren, Gradienten- Abstiegsverfahren und/oder Simulated Annealing.
Es kann insbesondere vorgesehen sein, dass zum Optimieren der Parameter der
Objektverfolgungsfunktion eines der folgenden Verfahren verwendet wird: Bayesian
Optimization with Gaussian Process oder Tree of Parzen Estimators.
In einer Ausführungsform ist vorgesehen, dass die digitalen Geometriedaten des zu verfolgenden Objekts vor dem Zuführen zur Objektverfolgungsfunktion verändert werden. Hierdurch kann erreicht werden, dass die Objektverfolgungsfunktion das Objekt verbessert verfolgen kann, da beispielsweise besondere Merkmale des Objektes, welche eine
Objektverfolgung erleichtern, in den veränderten digitalen Geometriedaten hervorgehoben werden können. Dies können beispielsweise besonders markante Ecken und/oder Kanten des Objektes sein, die eine Objektverfolgung erleichtern.
In einer weiterbildenden Ausführungsform ist vorgesehen, dass den digitalen Geometriedaten beim Verändern Merkmale hinzugefügt werden und/oder dass Merkmale aus den digitalen Geometriedaten beim Verändern entfernt werden. Hierdurch können besonders gut zu verfolgende Merkmale des zu verfolgenden Objekts hervorgehoben und andere Merkmale, die eine Objektverfolgung gegebenenfalls behindern, entfernt werden.
Es kann hierbei auch vorgesehen sein, dass digitale Geometriedaten auf Grundlage von von dem mindestens einen Sensor erfassten Sensordaten erzeugt und/oder verändert werden. Hierdurch können an dem realen Objekt erfasste Sensordaten zum Erzeugen bzw. Verändern der digitalen Geometriedaten verwendet werden.
Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von
Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
Fig. 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Steuern mindestens einer Aktorik; Fig. 2 eine schematische Darstellung von Verfahrensabschnitten einer Ausführungsform des Verfahrens zur Verdeutlichung des Festlegens und des Optimierens der Parameter der Objektverfolgungsfunktion.
In Fig. 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Steuern einer Aktorik 50 gezeigt. Die Vorrichtung 1 umfasst eine Steuereinrichtung 2 und eine Objektverfolgungseinrichtung 3.
Die Aktorik 50 kann beispielsweise ein Roboterarm oder ein mehrere hydraulische oder elektromechanische Aktoren umfassender Manipulator sein, der zum Manipulieren, beispielsweise zum Greifen und Bearbeiten eines Objektes, beispielsweise eines Werkstückes oder eines Bauteils, eingesetzt wird.
Die Steuereinrichtung 2 ist derart ausgebildet, die Aktorik 50 auf Grundlage einer Objektpose 4 eines Objektes zu steuern. Hierzu erzeugt die Steuereinrichtung 2 Steuerdaten 10 und führt die Steuerdaten 10 der Aktorik 50 zu. Die Objektpose 4 wird der Steuereinrichtung 2 von der Objektverfolgungseinrichtung 3 zugeführt. Die Objektpose 4 umfasst sowohl eine Position des Objektes (z.B. in Form von dreidimensionalen kartesischen Koordinaten) als auch eine Orientierung des Objektes (z.B. als Nick-, Gier- und Rollwinkel). Die Objektpose 4 ist hierbei insbesondere als Objektpose relativ zur Aktorik 50 definiert.
Die Objektverfolgungseinrichtung 3 ist derart ausgebildet, die Objektpose 4 mittels einer Objektverfolgungsfunktion bereitzustellen, wobei der Objektverfolgungsfunktion als
Eingangsdaten digitale Geometriedaten 5 eines zu verfolgenden Objekts und erfasste
Sensordaten 6 eines das Objekt erfassenden Sensors 51 zugeführt werden.
Der Sensor 51 kann beispielsweise eine Kamera sein, mit der Kamerabilder des Objektes erfasst werden und als Sensordaten bereitgestellt werden. Eine Sensorpose (Position und Orientierung) des Sensors 51 relativ zur Aktorik 50 ist bekannt, diese wird beispielsweise im Rahmen einer Registrierung der Posen bestimmt.
Es kann vorgesehen sein, dass die Vorrichtung 1 eine Optimierungseinrichtung 7 umfasst. Die Optimierungseinrichtung 7 ist derart ausgebildet, Parameter 20 der Objektverfolgungsfunktion der Objektverfolgungseinrichtung 3 mit Hilfe von auf Grundlage der digitalen Geometriedaten 5 des zu verfolgenden Objekts simulierten Sensordaten festzulegen (vgl. Fig. 2). Dies kann insbesondere erfolgen, indem die Parameter 20 der Objektverfolgungsfunktion durch iterative Optimierung festgelegt werden, wobei hierzu eine Qualitätsbewertung für jede bei einer Iteration mittels der Objektverfolgungsfunktion bereitgestellte Objektpose 4 durchgeführt wird.
Es kann vorgesehen sein, dass beim Erzeugen der simulierten Sensordaten mindestens eine Sensoreigenschaft des Sensors 51 berücksichtigt wird.
Ferner kann vorgesehen sein, dass beim Erzeugen der simulierten Sensordaten mindestens eine Umfeldeigenschaft berücksichtigt wird.
Es kann vorgesehen sein, dass die digitalen Geometriedaten 5 des zu verfolgenden Objekts vor dem Zuführen zur Objektverfolgungsfunktion bzw. der Objektverfolgungseinrichtung 3 verändert werden.
Weiterbildend kann vorgesehen sein, dass den digitalen Geometriedaten 5 beim Verändern Merkmale hinzugefügt werden und/oder dass Merkmale aus den digitalen Geometriedaten 5 beim Verändern entfernt werden.
Es kann hierbei auch vorgesehen sein, dass digitale Geometriedaten 5 auf Grundlage von von dem Sensor 51 erfassten Sensordaten erzeugt und/oder verändert werden.
In Fig. 2 ist eine schematische Darstellung von Verfahrensabschnitten 100, 200 einer
Ausführungsform des Verfahrens zur Verdeutlichung des Festlegens und des Optimierens der Parameter 20 der Objektverfolgungsfunktion 30 gezeigt. Die Verfahrensabschnitte 100, 200 werden insbesondere mittels einer Objektverfolgungseinrichtung 3 und einer
Optimierungseinrichtung 7 der Vorrichtung 1 ausgeführt (Fig. 1).
In dem Verfahrensabschnitt 100 werden simulierte Sensordaten 8 erzeugt und bereitgestellt. In dem Verfahrensabschnitt 200 werden die Parameter 20 der Objektverfolgungsfunktion 30 festgelegt und insbesondere optimiert. Der Verfahrensabschnitt 100 umfasst die
Verfahrensschritte 101 und 102. Der Verfahrensabschnitt 200 umfasst die
Verfahrensschritte 201 bis 203.
Im nachfolgenden Beispiel ist der betrachtete Sensor eine Kamera und die Sensordaten sind Kamerabilder. In einem Verfahrensschritt 101 wird ausgehend von eine realen Szene 11 , in der das zu verfolgende bzw. zu manipulierende Objekt unter bestimmten Bedingungen, wie beispielsweise einer Beleuchtung, einer Hintergrundszenerie und einer Objektpose, anzutreffen ist, eine simulierte Szene 12 simuliert. Dies erfolgt auf Grundlage von digitalen
Geometriedaten 5 des zu verfolgenden bzw. zu manipulierenden Objekts 40, welche beispielsweise in Form von CAD-Daten vorliegen oder auf Grundlage eines realen Objektes aus erfassten Sensordaten abgeleitet wurden. Aus den digitalen Geometriedaten 5 wird ein realitätsgetreues dreidimensionales Objektmodell erzeugt und entsprechend einer gewählten Szenerie und einer Objektpose, die insbesondere zufällig gewählt sein kann, angeordnet und anschließend z.B. fotorealistisch gerendert.
Beim Simulieren ist vorgesehen, dass mindestens eine Umfeldeigenschaft 13 berücksichtigt wird. Ferner ist vorgesehen, dass Sensoreigenschaften 14, wie beispielsweise eine
Empfindlichkeit und/oder ein Sensorrauschen etc., berücksichtigt werden. Insbesondere werden sämtliche Einflüsse 15 und Eigenschaften einer Signalverarbeitung eines beim späteren Erfassen des zu verfolgenden bzw. zu manipulierenden Objektes 40 verwendeten Sensors, wie z.B. ein Signalrauschen, eine Signalfilterung, ein Frequenzgang und/oder eine Dämpfung etc., berücksichtigt.
Die Umfeldeigenschaften 13 werden bereits beim Erstellen der simulierten Szene 12 berücksichtigt. Aus der simulierten Szene 12 werden Sensordaten erzeugt; im Beispiel werden aus einer bestimmten Kamerapose Kamerabilder der simulierten Szene 12 durch Projektion der simulierten Szene 12 auf eine zweidimensionale Fläche an der Position der Kamera erzeugt.
Die Einflüsse 15 der Signalverarbeitung, insbesondere die Sensoreigenschaften 14, werden in einem Verfahrensschritt 102 den jeweils erzeugten Kamerabildern hinzugefügt. Beispielsweise wird den erzeugten Kamerabildern ein Rauschen, wie es bei einer realen Kamera auftritt, hinzugefügt oder die erzeugten Kamerabilder werden mittels einer Farbempfindlichkeitskurve, wie diese bei einer realen Kamera vorhanden ist, gefiltert.
Die beschriebenen Verfahrensabschnitte 101 , 102 werden für Vielzahl von simulierten
Szenen 12 mit einer Vielzahl von Objektposen 16 bzw. Kameraposen durchgeführt. Die simulierten Sensordaten 8, insbesondere die simulierten Kamerabilder, werden jeweils verknüpft mit einer beim Simulieren verwendeten wahren Objektpose 16, welche beim
Festlegen bzw. Optimieren der Parameter 20 als Grundwahrheit dient, bereitgestellt.
Im Verfahrensabschnitt 200 werden die Parameter 20 der Objektverfolgungsfunktion 30 optimiert. Dies erfolgt in einem Verfahrensschritt 201 , in dem die simulierten Sensordaten 8 der Objektverfolgungsfunktion 30 zugeführt werden. Die Objektverfolgungsfunktion 30 schätzt auf Grundlage der bereitgestellten simulierten Sensordaten 8 und den ebenfalls bereitgestellten digitalen Geometriedaten 5 des zu verfolgenden bzw. zu manipulierenden Objekts 40 eine Objektpose 4.
In einem Verfahrensschritt 202 wird die geschätzte Objektpose 4 mit der jeweils zu den bereitgestellten Sensordaten 8 zugehörigen wahren Objektpose 16 verglichen und mindestens ein Qualitätskriterium 17 der Objektverfolgung bestimmt. Bei der Qualitätsbewertung können im Rahmen eines Vergleichs zwischen einer als Grundwahrheit angenommenen wahren
Objektpose 16 der Simulation mit einer von der Objektverfolgungsfunktion bereitgestellten bzw. geschätzten Objektpose 4 verschiedene Qualitätskriterien 17 bewertet werden, beispielsweise eine Genauigkeit (engl trueness), eine Präzision (engl precision), ein Verbund aus Genauigkeit und Präzision (engl accuracy), eine Robustheit, ein Jitter und/oder eine Latenzzeit beim
Erkennen der Objektpose 4.
Ausgehend von den bestimmten Qualitätskriterien 17 erfolgt in einem Verfahrensschritt 203 ein Anpassen bzw. eine Optimierung der Parameter 20 der Objektverfolgungsfunktion 30.
Zum Optimieren der Parameter 20 der Objektverfolgungsfunktion 30 wird die
Objektverfolgungsfunktion 30 insbesondere als„black box“ mit einer zugrundeliegenden, jedoch unbekannten Funktion mit einem mehrdimensionalen Parameterraum betrachtet. Hierbei kann vorgesehen sein, dass der Parameterraum auf solche Parameter reduziert wird, die den größten Einfluss auf die Qualität der Objektverfolgung haben. Um dies zu erreichen, kann im Rahmen des Verfahrensschritt 203 eine statistische Analyse in Form einer gezielten
Versuchsplanung („Design of Experiments“) und/oder einer Sensitivitätsanalyse erfolgen. Weiter kann die zugrundeliegende unbekannte Funktion im Verfahrensschritt 203 durch Erstellen eines Metamodells der„black box“ der Objektverfolgungsfunktion 30 aufgefunden werden. Hierdurch lässt sich das Optimieren der Parameter 20 der Objektverfolgungsfunktion 30 beschleunigen.
Zum Optimieren selbst können beispielsweise an sich bekannte Optimierungsverfahren verwendet werden, beispielsweise evolutionär arbeitende Verfahren.
Es kann vorgesehen sein, dass zum Optimieren der Parameter 20 der
Objektverfolgungsfunktion 30 eines der folgenden Verfahren verwendet wird: Bayesian
Optimization with Gaussian Process oder Tree of Parzen Estimators. Die Verfahrensschritte 202 und 203 werden insbesondere für sämtliche simulierten Sensordaten 8 durchgeführt, solange bis die Parameter 20 iterativ optimiert sind. Anschließend werden die optimierten Parameter 20 bereitgestellt bzw. beim Verfolgen des Objektes 40 mittels der Objektverfolgungsfunktion 30 bzw. der Objektverfolgungseinrichtung 3 verwendet
(vgl. Fig. 1).
Bezugszeichenliste
Vorrichtung
Steuereinrichtung
Objektverfolgungseinrichtung
Objektpose
digitale Geometriedaten
erfasste Sensordaten
Optimierungseinrichtung
simulierte Sensordaten
Steuerdaten
reale Szene
simulierte Szene
Umfeldeigenschaft
Sensoreigenschaft
Einflüsse der Signalverarbeitung
wahre Objektpose (Grundwahrheit)
Qualitätskriterium
Parameter
Objektverfolgungsfunktion
Objekt
Aktorik
Sensor
Verfahrensabschnitt
-102 Verfahrensschritte
Verfahrensabschnitt
-203 Verfahrensschritte

Claims

Patentansprüche
1. Verfahren zum Steuern mindestens einer Aktorik (50),
wobei die mindestens eine Aktorik (50) auf Grundlage einer Objektpose (4) eines
Objektes (40) mittels bereitgestellter Steuerdaten (10) gesteuert wird,
wobei die Objektpose (4) von einer Objektverfolgungsfunktion (30) bereitgestellt wird, und wobei der Objektverfolgungsfunktion (30) als Eingangsdaten digitale Geometriedaten (5) eines zu verfolgenden Objekts (40) und erfasste Sensordaten (6) mindestens eines das Objekt (40) erfassenden Sensors (51) zugeführt werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnete, dass Parameter (20) der
Objektverfolgungsfunktion (30) mit Hilfe von auf Grundlage der digitalen
Geometriedaten (5) des zu verfolgenden Objekts (40) simulierten Sensordaten (8) festgelegt werden oder festgelegt sind.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass beim Erzeugen der
simulierten Sensordaten (8) mindestens eine Sensoreigenschaft (14) des mindestens einen Sensors (51) berücksichtigt wird.
4. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass beim
Erzeugen der simulierten Sensordaten (8) mindestens eine Umfeldeigenschaft (13) berücksichtigt wird.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Parameter (20) der Objektverfolgungsfunktion (30) durch iterative Optimierung festgelegt werden, wobei hierzu eine Qualitätsbewertung für jede bei einer Iteration mittels der Objektverfolgungsfunktion (30) bereitgestellte Objektpose (4) durchgeführt wird.
6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die digitalen Geometriedaten (5) des zu verfolgenden Objekts (40) vor dem Zuführen zur Objektverfolgungsfunktion (30) verändert werden.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass den digitalen
Geometriedaten (5) beim Verändern Merkmale hinzugefügt werden und/oder dass Merkmale aus den digitalen Geometriedaten (5) beim Verändern entfernt werden.
8. Vorrichtung (1) zum Steuern mindestens einer Aktorik (50), umfassend:
eine Steuereinrichtung (2), und
eine Objektverfolgungseinrichtung (3),
wobei die Steuereinrichtung (2) derart ausgebildet ist, die mindestens eine Aktorik (50) auf Grundlage einer Objektpose (4) eines Objektes (40) mittels Steuerdaten (10) zu steuern, und
wobei die Objektverfolgungseinrichtung (3) derart ausgebildet ist, die Objektpose (4) mittels einer Objektverfolgungsfunktion (30) bereitzustellen, wobei der
Objektverfolgungsfunktion (30) als Eingangsdaten digitale Geometriedaten (5) eines zu verfolgenden Objekts (40) und erfasste Sensordaten (6) mindestens eines das Objekt (40) erfassenden Sensors (51) zugeführt werden.
9. Vorrichtung (1) nach Anspruch 8, gekennzeichnet durch
eine Optimierungseinrichtung (7),
wobei die Optimierungseinrichtung (7) derart ausgebildet ist, Parameter (20) der
Objektverfolgungsfunktion (30) mit Hilfe von auf Grundlage der digitalen
Geometriedaten (5) des zu verfolgenden Objekts (40) simulierten Sensordaten (8) festzulegen.
10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die
Optimierungseinrichtung (7) ferner derart ausgebildet ist, die Parameter (20) der
Objektverfolgungsfunktion (30) durch iterative Optimierung festzulegen, und hierzu eine Qualitätsbewertung für jede bei einer Iteration mittels der Objektverfolgungsfunktion (30) bereitgestellte Objektpose (4) durchzuführen.
EP20723058.2A 2019-05-16 2020-04-27 Verfahren und vorrichtung zum steuern mindestens einer aktorik Pending EP3953900A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019207089.2A DE102019207089A1 (de) 2019-05-16 2019-05-16 Verfahren und Vorrichtung zum Steuern mindestens einer Aktorik
PCT/EP2020/061639 WO2020229149A1 (de) 2019-05-16 2020-04-27 Verfahren und vorrichtung zum steuern mindestens einer aktorik

Publications (1)

Publication Number Publication Date
EP3953900A1 true EP3953900A1 (de) 2022-02-16

Family

ID=70480250

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20723058.2A Pending EP3953900A1 (de) 2019-05-16 2020-04-27 Verfahren und vorrichtung zum steuern mindestens einer aktorik

Country Status (3)

Country Link
EP (1) EP3953900A1 (de)
DE (1) DE102019207089A1 (de)
WO (1) WO2020229149A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
US10430641B2 (en) * 2017-03-08 2019-10-01 GM Global Technology Operations LLC Methods and systems for object tracking using bounding boxes
US10755428B2 (en) * 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model

Also Published As

Publication number Publication date
WO2020229149A1 (de) 2020-11-19
DE102019207089A1 (de) 2020-11-19

Similar Documents

Publication Publication Date Title
DE102018109774B4 (de) Bildverarbeitungssystem, Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm
EP2043045B1 (de) Verfahren zur Objektverfolgung
DE102015015194A1 (de) Bildverarbeitungsvorrichtung und -verfahren und Programm
DE102018200154A1 (de) Kalibrationsvorrichtung, Kalibrationsverfahren und Programm für einen visuellen Sensor
DE102018206208A1 (de) Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
DE102005037841B4 (de) Verfahren und Anordnung zur Bestimmung der relativen Lage eines ersten Objektes bezüglich eines zweiten Objektes, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
WO2000063681A2 (de) Bildbearbeitung zur vorbereitung einer texturnalyse
DE102018207414A1 (de) Bildverarbeitungssystem
DE102014207095A1 (de) Kantenmessungs-Videowerkzeug mit robustem Kantenunterscheidungs-Spielraum
EP3882856A1 (de) Verfahren und vorrichtung zum bestimmen einer pose
DE112017008101T5 (de) Autonome roboter und verfahren zum betreiben derselben
DE102019215903A1 (de) Verfahren und Vorrichtung zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten eines Sensors insbesondere eines Fahrzeugs, Verfahren zum Trainieren und Verfahren zum Ansteuern
DE102016102579A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Vielzahl von Raumkoordinaten an einem Gegenstand
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102018103474A1 (de) Ein system und verfahren zur objektabstandserkennung und positionierung
WO2005031647A1 (de) Verfahren und vorrichtung zur berührungslosen optischen 3d-lagebestimmung eines objekts
DE112021004779T5 (de) Vorrichtung zum Einstellen eines Parameters, Robotersystem, Verfahren und Computerprogramm
EP2887010B1 (de) Verfahren und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten mit einem topometrischen Messverfahren sowie Computerprogramm hierzu
EP3953900A1 (de) Verfahren und vorrichtung zum steuern mindestens einer aktorik
EP3663800B1 (de) Verfahren zur objekterfassung mit einer 3d-kamera
DE102020204677B4 (de) Trackingsystem und Computerprogramm zur Kompensation von Sichtschatten bei der Nachverfolgung von Messobjekten
EP3582140B1 (de) System zur automatischen erkennung von laborarbeitsgegenständen sowie verfahren zum betrieb eines systems zur automatischen erkennung von laborgegenständen
WO2020229352A1 (de) Verfahren zum bereitstellen einer objektverfolgungsfunktion
DE102019220364A1 (de) Kalibriereinrichtung und Verfahren zum Kalibrieren einer Vorrichtung
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211110

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240905