EP3817898A1 - Verfahren und system zum analysieren und/oder konfigurieren einer industriellen anlage - Google Patents

Verfahren und system zum analysieren und/oder konfigurieren einer industriellen anlage

Info

Publication number
EP3817898A1
EP3817898A1 EP19735539.9A EP19735539A EP3817898A1 EP 3817898 A1 EP3817898 A1 EP 3817898A1 EP 19735539 A EP19735539 A EP 19735539A EP 3817898 A1 EP3817898 A1 EP 3817898A1
Authority
EP
European Patent Office
Prior art keywords
component
model
system component
plant
basis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19735539.9A
Other languages
English (en)
French (fr)
Inventor
Jürgen Bock
Manuel KASPAR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Publication of EP3817898A1 publication Critical patent/EP3817898A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network

Definitions

  • the present invention relates to a method for analyzing and / or
  • Industrial plants have several plant components, for example sensors, actuators, conveying means, robots (cells) and the like, with which objects are (should) be detected, transported and / or processed.
  • the object of the present invention is to improve such industrial plants and their design.
  • System component by means of which at least one first object, in particular sensorically, optically, recorded and / or, in particular mechanically, handled, recorded in one version, in particular gripped, transported and / or released, in particular stored or set, and, in particular, sensorially / or, in particular machined, machined, and / or deformed in one embodiment, is or is to be or is provided for this purpose, in particular is set up or used, on the basis of at least one first object model of the first object with the aid of at least one first machine-learned component model of the first system component predicts a process success of the first system component (in the acquisition, handling or processing of the first object) and / or a value for a one- or multi-dimensional configuration parameter of the first system component, in particular for the detection, handling or processing of the first object.
  • an object model of an object is understood to mean a, in particular digital, characterization of the object.
  • it has digital, stored, predefined, theoretical, recorded and / or current data of the object, in one version image data, dimensions and / or mechanical, in particular kinetic and / or kinematic, thermal, electrical and / or optical parameters, especially a weight, a mass distribution,
  • One example of an object model of an object is thus in particular one or more images of the object.
  • a machine-learned component model of a system component forms, in particular classified, in one embodiment an object model of an object, in particular numerically and / or digitally, on or in a single or
  • multidimensional output vector (ab) which depends on a process success, in particular feasibility, detection, handling or processing of the object by means of the plant component and / or on a one-dimensional or multidimensional configuration parameter of the plant component, in one
  • Execution indicates or is set up for this purpose or is used for this purpose.
  • it has a deep, neural network in one embodiment; it can consist in particular of this. Additionally or alternatively parameterized or
  • the machine-learned component model of a system component configures it on the basis of or with the value (es) for the configuration parameter or is set up for this purpose or is used for this purpose.
  • System components of an industrial system can be designed in an advantageous manner, in particular quickly, easily, precisely and / or reliably, designed, in particular a feasibility analysis of process steps carried out beforehand and / or configuration parameters of system components are determined and the
  • Configuration parameters can be parameterized or configured.
  • At least one machine-learned component model of at least one further system component is used to predict a process success of this system component (in the detection, handling or processing of this object) and / or a value for a configuration parameter of this system component, in particular for the acquisition, handling or processing of this object, is determined, in one embodiment the system components are determined on the basis of this
  • machine-learned component models are used for different plant components in order to predict their process success, or to parameterize or configure them.
  • a modification of the industrial plant is advantageous, in particular quickly and / or simply, is taken into account or a modified industrial plant is advantageous, in particular fast, simple, precise and / or reliable,
  • Component models can be optimized and / or used to design various industrial plants.
  • At least one further object is used with the first
  • Component model of the first system component predicts a process success of the first system component (when recording, handling or processing this further object) and / or determines a value for a configuration parameter of the first system component, in particular for recording, handling or processing this further object, the first in a version System components parameterized or configured based on this determined configuration parameter.
  • At least one component model (at least) of a plant component is based on one or more different, in particular identical object models of the first object trained.
  • Component model for the first object are improved.
  • At least one is used in one embodiment
  • Component model (at least) of a system component in particular thus the first component model of the first system component and / or the machine-learned component model of the at least one further system component (in each case), trained on the basis of one or more different, in particular identical object models of one or more further objects that have the same type with the first object. Additionally or alternatively, at least one is used in one embodiment
  • Component model (at least) of a system component in particular thus the first component model of the first system component and / or the machine-learned component model of the at least one further system component (in each case), on the basis of one or more different, in particular identical object models of one or more further objects that do not train are of the same type as the first object.
  • At least one component model (at least) of a system component is trained on the basis of several different object models of the same type of one or more objects , these objects in turn being able to have objects of the same type and / or not of the same type or of different types, in particular negative examples of the first object.
  • a component model can be trained on the basis of different images (object models of the same type) of several screws (objects of the same type) and nuts (objects of the same type or different objects).
  • At least one is in one embodiment
  • Component model (at least) of a system component, in particular thus the first component model of the first system component and / or the machine-learned component model of the at least one further system component (in each case), partially or completely trained before the installation of this system component.
  • a manufacturer or supplier of the system component can thus at least pre-train or even train a component model for this in advance and then train this pre-or fully trained component model,
  • a manufacturer or supplier of the first and / or at least one further object can also provide the object model of this object, in particular in the form of a so-called administration shell in the sense of an “Industry 4.0 component”.
  • training a machine-learned component model based on an object model comprises, in particular, monitored, deep and / or reinforcing or reinforcing, machine learning (“(supervised / deep) machine” learning; Reinforcement learning ”), in particular entering the object model, evaluating an output or the output vector of the component model, and adapting or modifying the component model based on this evaluation.
  • machine learning (“(supervised / deep) machine” learning; Reinforcement learning ”)
  • the first component model becomes the first
  • Plant component and the first object model of the first object Plant component and the first object model of the first object
  • Host (computer) made available, which (based on this) predicts the process success or determines the value for the configuration parameter.
  • the host predicts on the basis of the first object model and / or (the) at least one or one object model of at least one further object with the help of (the) at least one or one learned by machine
  • the host in an embodiment based on (at least) one or an object model of at least one further object, uses the first component model of the first system component to predict a process success of this system component and / or determines on the basis of (at least) one
  • Configuration parameters of this system component can thus load the (respective) component model and use it as input vectors for processing the object model (s).
  • the host can be separate from the (respective) system component and / or have one or more CPUs, GPUs and / or neural computing chips and / or a framework, for example TensorFlow, Torch, Caffe or the like. That or the component models can be separate from the (respective) system component and / or have one or more CPUs, GPUs and / or neural computing chips and / or a framework, for example TensorFlow, Torch, Caffe or the like. That or the component models can
  • At least one object model (at least) of an object in particular thus the first object model of the first object and / or the
  • each the (corresponding) component model with the help of the first and / or at least one further system component.
  • the system component, its component model can be in one embodiment
  • Object model used, or another plant component take this picture and make it available to the component model.
  • At least one object model (at least) of an object in particular thus the first object model of the first object and / or the at least one further object model of the at least one further object (in each case) can be the (corresponding) component model without the use of the first (s) and / or at least one (s) further system component (s) are provided, in particular, as explained above, by the supplier of the object.
  • an object model again has an image of an object
  • this image can thus be recorded in advance in one embodiment, for example by the manufacturer of the object, and made available to the component model.
  • At least one system component in particular thus the first system component and / or the at least one further one
  • System component (each), at least one, in particular optical, sensor, in one embodiment a camera, and / or at least one, in particular electromotive actuator, in one embodiment at least one, in particular more, preferably at least six, in particular at least seven-axis, robot, at least one machine tool and / or at least one conveying means.
  • the present invention can be used with particular advantage in industrial plants with such plant components or for their conception, in particular for feasibility analyzes of processes of such plant components and / or for the configuration or parameterization of such plant components.
  • a system in particular hardware and / or software, in particular program technology, is set up to carry out a method described here and / or has means for predicting a process success of the first system component and / or determining a value for a configuration parameter based on the first system component
  • At least one first object model of the first object using at least one first machine-learned component model of the first system component.
  • system or its means have:
  • Plant component based on at least one object model of at least one further object using the first component model of the first
  • System component based on one or more different, in particular of the same type, object models of the first object, at least one further object of the same type and / or at least one object of the same type as the first object;
  • a host for predicting a process success of the first system component and / or determining a value for a configuration parameter of the first
  • Plant component based on at least one first object model of the first object made available to the host with the aid of at least one first machine-learned component model of the first plant component made available to the host, in particular
  • Configuration parameters of at least one further system component based on the first object model made available to the host and / or at least one object model made available to the host of at least one further object using at least one machine-learned component model of this system component made available to the host;
  • Means which is set up to use at least one object model of an object of the component model with the aid of the first and / or at least one further one
  • a means in the sense of the present invention can be designed in terms of hardware and / or software, in particular a data, or signal, preferably digital, processing, in particular microprocessor unit (CPU), graphics card (GPU) that is data or signal connected to a memory and / or bus system ) or the like and / or have one or more programs or program modules.
  • the processing unit can be configured to execute commands as one in one
  • a storage system can have one or more, in particular have various storage media, in particular optical, magnetic, solid-state and / or other non-volatile media.
  • the program can be designed such that it embodies or is capable of executing the methods described here, so that the processing unit can carry out the steps of such methods.
  • a computer program product can have, in particular a non-volatile, storage medium for storing a program or with a program stored thereon, an execution of this program prompting a system or a controller, in particular a computer to carry out the method described here or one or more of its steps.
  • the method is carried out completely or partially automatically, in particular by the system or its means.
  • the system has the first and / or at least one further system component, in particular the industrial system.
  • “Same type” is understood here in particular to mean that two elements have the same type or belong to a common class or can be assigned to a common class.
  • a first image and a second image can be object models of the same type
  • an image and CAD data can be object models of the same type.
  • two different screws can be objects of the same type, for example, a screw and a nut can be objects of the same type.
  • object models of different types of objects are advantageously used, some of these objects being positive examples, for which a positive process in particular is predicted or a specific value of the configuration parameter for the first object being determined should, and other objects are negative examples, for which in particular a negative one
  • the process is predicted or another value of the configuration parameter is or is to be determined.
  • FIG. 1 a method and system for analyzing and / or configuring
  • the system has a first system component in the form of a
  • Robot 10 which is to process a first object 20 and objects of the same type as well as a further, object of the same type 30 and objects of the same type, a further system component in the form of a camera 40 and another further system component in the form of a further robot 50.
  • a first machine-learned component model of the robot 10 in the form of a deep neural network 11 and a machine-learned component model of the further robot 50 in the form of a further deep neural network 51 are provided by the robot manufacturer and are loaded onto a host 100, which are pre-or at the manufacturer have been fully trained.
  • An object model 31 of this object is provided by the supplier of the further object 30 and loaded onto the host 100.
  • An image 21 of the first object 20 is created with the camera 40 and supplied to the host 100 as an object model 21 of this object.
  • the host 100 analyzes using the
  • Component model 1 whether a planned processing of the objects 20, 30 by means of the robot 10 (probably) can be carried out, and parameterizes them if necessary, the robot 10 or gives corresponding ones
  • the host 100 analyzes on the basis of the object models 21, 31 with the aid of the component model 51 whether a planned processing of the objects 20, 30 can (probably) be carried out by means of the robot 50 and, if necessary, parameterizes the robot 50 or gives corresponding ones
  • the robot manufacturer has trained the neural networks 11, 51 on the basis of camera images, such as are supplied by cameras of the camera 40 type, and CAD data 31, as provided for the further object 30, for example in order to classify determine whether the robot 10 or 50 can grip the corresponding object or determine suitable gripping poses.
  • camera images or CAD data objects that are of the same type as objects 20, 30 to be handled by robots 10 and 50 are also used
  • Object models of objects are used that are not of the same type as such objects, in particular of objects that cannot be handled by robots 10 or 50 or with other configuration parameter values in order to also provide negative examples to the neural networks 1 1, 51.
  • the (pre-trained) neural network 11 or 51 can be fully trained on the basis of camera images from the camera 40.
  • component models 1 1, 51 process non-identical object models, namely on the one hand images 21 and on the other hand CAD data 31.
  • Component models 1 1, 51 each only process object models of the same type, that is to say in the exemplary embodiment in component models 1 1 and / or 51 each only images 21 or only CAD data 31.
  • the neural networks 11, 51 can work advantageously, in particular more specifically, and thus their speed, robustness and / or precision can be improved in one embodiment.
  • the neural network 11 and / or 51 can also only be trained on the basis of the images captured by the camera 40.
  • the robot manufacturer can use the neural network 11 on the basis of camera images such as are supplied by cameras of the camera 40 type, objects of the object 20 type as positive examples and objects of the object 30 type as negative examples train (before). If the camera 40 then detects a first object of the type of the object 20 during operation, the neural network 11 can have a positive process success for this
  • the neural network 11 can predict a negative process success for this purpose, or set corresponding other configuration parameter values for this purpose or pre-or. output, for example other gripping positions or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Manipulator (AREA)

Abstract

Ein erfindungsgemäßes Verfahren zum Analysieren und/oder Konfigurieren einer industriellen Anlage, die wenigstens eine erste Anlagenkomponente (10) zur Erfassung, Handhabung und/oder Bearbeitung wenigstens eines ersten Objekts (20) aufweist, wird auf Basis wenigstens eines ersten Objektmodells (21) des ersten Objekts mithilfe wenigstens eines ersten maschinell gelernten Komponentenmodells (11) der ersten Anlagenkomponente ein Prozesserfolg der ersten Anlagenkomponente prognostiziert und/oder ein Wert für einen Konfigurationsparameter der ersten Anlagenkomponente ermittelt.

Description

Beschreibung
Verfahren und System zum Analysieren und/oder Konfigurieren einer
industriellen Anlage
Die vorliegende Erfindung betrifft ein Verfahren zum Analysieren und/oder
Konfigurieren einer industriellen Anlage sowie ein System und
Computerprogrammprodukt zur Durchführung des Verfahrens.
Industrielle Anlagen weisen mehrere Anlagenkomponenten, beispielsweise Sensoren, Aktoren, Fördermittel, Roboter(zellen) und dergleichen auf, mit denen Objekte erfasst, transportiert und/oder bearbeitet werden (sollen). Aufgabe der vorliegenden Erfindung ist es, solche industriellen Anlagen bzw. deren Konzeption zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 8, 9 stellen ein System bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung wird zum Analysieren und/oder Konfigurieren einer industriellen Anlage, die wenigstens eine erste
Anlagenkomponente aufweist, mittels der wenigstens ein erstes Objekt, insbesondere sensorisch, in einer Ausführung optisch, erfasst und/oder, insbesondere mechanisch, gehandhabt, in einer Ausführung aufgenommen, insbesondere gegriffen, transportiert und/oder abgegeben, insbesondere abgelegt bzw. -setzt, und/oder, insbesondere spanend, bearbeitet, in einer Ausführung ur- und/oder umgeformt, wird bzw. werden soll bzw. die hierzu vorgesehen, insbesondere eingerichtet ist bzw. verwendet wird, auf Basis wenigstens eines ersten Objektmodells des ersten Objekts mithilfe wenigstens eines ersten maschinell gelernten Komponentenmodells der ersten Anlagenkomponente ein Prozesserfolg der ersten Anlagenkomponente (bei der Erfassung, Handhabung bzw. Bearbeitung des ersten Objekts) prognostiziert und/oder ein Wert für einen ein- oder mehrdimensionalen Konfigurationsparameter der ersten Anlagenkomponente, insbesondere für die Erfassung, Handhabung bzw. Bearbeitung des ersten Objekts, ermittelt.
Die Bezeichnung„erste(r)“ erfolgt vorliegend ohne Beschränkung der Allgemeinheit.
Unter einem Objektmodell eines Objekts wird vorliegend eine, insbesondere digitale, Charakterisierung des Objekts verstanden. Es weist in einer Ausführung digitale, abgespeicherte, vorgegebene, theoretische, erfasste und/oder aktuelle, Daten des Objekts, in einer Ausführung Bilddaten, Abmessungen und/oder mechanische, insbesondere kinetische und/oder kinematische, thermische, elektrische und/oder optische Parameter, insbesondere ein Gewicht, eine Massenverteilung,
Werkstoffeigenschaften, Temperaturen, Oberflächenbeschaffenheit, Ströme, Kräfte oder dergleichen, auf, in einer Ausführung besteht es hieraus.
Ein Beispiel für ein Objektmodell eines Objekts sind somit insbesondere ein oder mehrere Bilder des Objekts.
Ein maschinell gelerntes Komponentenmodell einer Anlagenkomponente bildet, insbesondere klassifiziert, in einer Ausführung ein Objektmodell eines Objekts, insbesondere numerisch und/oder digital, auf bzw. in einen ein- oder
mehrdimensionalen Ausgangsvektor (ab), der von einem Prozesserfolg, insbesondere einer Durchführbarkeit, einer Erfassung, Handhabung bzw. Bearbeitung des Objekts mittels der Anlagenkomponente und/oder von einem ein- oder mehrdimensionalen Konfigurationsparameter der Anlagenkomponente abhängt, diesen in einer
Ausführung angibt, bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet. In einer Ausführung weist es ein, in einer Ausführung tiefes, neuronales Netz auf, es kann insbesondere hieraus bestehen. Zusätzlich oder alternativ parametriert bzw.
konfiguriert das maschinell gelernte Komponentenmodell einer Anlagenkomponente diese auf Basis des bzw. mit dem Wert(es) für den Konfigurationsparameter bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.
Durch die Verwendung eines maschinell gelerntes Modells wenigstens einer
Anlagenkomponente einer industriellen Anlage kann diese in einer Ausführung vorteilhaft, insbesondere schnell, einfach, präzise und/oder zuverlässig, konzipiert, insbesondere vorab eine Durchführbarkeitsanalyse von Prozessschritten durchgeführt und/oder Konfigurationsparameter von Anlagenkomponenten ermittelt und die
Anlagenkomponenten entsprechend auf Basis dieser ermittelten
Konfigurationsparameter parametriert bzw. konfiguriert werden.
In einer Ausführung wird auf Basis des ersten Objektmodells des ersten Objekts und/oder wenigstens eines Objektmodells wenigstens eines weiteren Objekts mithilfe wenigstens eines maschinell gelernten Komponentenmodells wenigstens einer weiteren Anlagenkomponente ein Prozesserfolg dieser Anlagenkomponente (bei der Erfassung, Handhabung bzw. Bearbeitung dieses Objekts) prognostiziert und/oder ein Wert für einen Konfigurationsparameter dieser Anlagenkomponente, insbesondere für die Erfassung, Handhabung bzw. Bearbeitung dieses Objekts, ermittelt, in einer Ausführung die Anlagenkomponenten auf Basis dieses ermittelten
Konfigurationsparameter parametriert bzw. konfiguriert.
Somit werden in einer Ausführung für verschiedene Anlagenkomponenten jeweils maschinell gelernte Komponentenmodelle verwendet, um deren Prozesserfolg zu prognostizieren bzw. diese zu parametrieren bzw. konfigurieren.
Durch diese Modularität können die einzelnen Komponentenmodelle in einer
Ausführung vorteilhaft getrennt trainiert und/oder verwendet und dadurch
insbesondere eine Modifikation der industriellen Anlage vorteilhaft, insbesondere schnell und/oder einfach, berücksichtigt bzw. eine modifizierte industrielle Anlage vorteilhaft, insbesondere schnell, einfach, präzise und/oder zuverlässig,
(um)konzipiert werden. Zusätzlich oder alternativ können hierdurch
Komponentenmodelle optimiert und/oder zur Konzeption verschiedener industrieller Anlagen genutzt werden.
Zusätzlich oder alternativ wird in einer Ausführung auf Basis wenigstens eines Objektmodells wenigstens eines weiteren Objekts mithilfe des ersten
Komponentenmodells der ersten Anlagenkomponente ein Prozesserfolg der ersten Anlagenkomponente (bei der Erfassung, Handhabung bzw. Bearbeitung dieses weiteren Objekts) prognostiziert und/oder ein Wert für einen Konfigurationsparameter der ersten Anlagenkomponente, insbesondere für die Erfassung, Handhabung bzw. Bearbeitung dieses weiteren Objekts, ermittelt, in einer Ausführung die erste Anlagenkomponenten auf Basis dieses ermittelten Konfigurationsparameter parametriert bzw. konfiguriert.
Hierdurch kann in einer Ausführung die Durchführbarkeit komplexerer Prozesse verbessert oder auch erst ermöglicht werden. In einer Ausführung wird wenigstens ein Komponentenmodell (wenigstens) einer Anlagenkomponente, insbesondere also das erste Komponentenmodell der ersten Anlagenkomponente und/oder das maschinell gelernte Komponentenmodell der wenigstens einen weiteren Anlagenkomponente (jeweils), auf Basis eines oder mehrerer verschiedener, insbesondere typgleicher Objektmodelle des ersten Objekts trainiert.
Hierdurch kann in einer Ausführung die Aussagefähigkeit dieses
Komponentenmodells für das erste Objekt verbessert werden.
Zusätzlich oder alternativ wird in einer Ausführung wenigstens ein
Komponentenmodell (wenigstens) einer Anlagenkomponente, insbesondere also das erste Komponentenmodell der ersten Anlagenkomponente und/oder das maschinell gelernte Komponentenmodell der wenigstens einen weiteren Anlagenkomponente (jeweils), auf Basis eines oder mehrerer verschiedener, insbesondere typgleicher Objektmodelle eines oder mehrerer weiterer Objekte trainiert, die typgleich mit dem ersten Objekt sind. Zusätzlich oder alternativ wird in einer Ausführung wenigstens ein
Komponentenmodell (wenigstens) einer Anlagenkomponente, insbesondere also das erste Komponentenmodell der ersten Anlagenkomponente und/oder das maschinell gelernte Komponentenmodell der wenigstens einen weiteren Anlagenkomponente (jeweils), auf Basis eines oder mehrerer verschiedener, insbesondere typgleicher Objektmodelle eines oder mehrerer weiterer Objekte trainiert, die nicht typgleich mit dem ersten Objekt sind.
Hierdurch kann in einer Ausführung die Robustheit dieses Komponentenmodells verbessert werden. Somit wird in einer Ausführung wenigstens ein Komponentenmodell (wenigstens) einer Anlagenkomponente, insbesondere also das erste Komponentenmodell der ersten Anlagenkomponente und/oder das maschinell gelernte Komponentenmodell der wenigstens einen weiteren Anlagenkomponente (jeweils), auf Basis mehrerer verschiedener, typgleicher Objektmodelle eines oder mehrerer Objekte trainiert, wobei diese Objekte ihrerseits in einer Ausführung typgleiche und/oder nicht typgleiche bzw. typungleiche Objekte, insbesondere Negativ-Beispiele zu dem ersten Objekt, aufweisen können.
So kann beispielsweise ein Komponentenmodell auf Basis von verschiedenen Bildern (typgleiche Objektmodelle) mehrerer Schrauben (typgleiche Objekte) und Muttern (nicht typgleiche bzw. typungleiche Objekte) trainiert werden.
Zusätzlich oder alternativ ist bzw. wird in einer Ausführung wenigstens ein
Komponentenmodell (wenigstens) einer Anlagenkomponente, insbesondere also das erste Komponentenmodell der ersten Anlagenkomponente und/oder das maschinell gelernte Komponentenmodell der wenigstens einen weiteren Anlagenkomponente (jeweils), teilweise oder vollständig vor Installation dieser Anlagenkomponente trainiert.
Insbesondere kann somit ein Hersteller bzw. Lieferant der Anlagenkomponente ein Komponentenmodell für diese vorab wenigstens vortrainieren oder auch fertig trainieren und dieses vor- bzw. fertig trainierte Komponentenmodell dann,
insbesondere zur Konzeption der industriellen Anlage, insbesondere zur Konzeption verschiedener industrieller Anlagen, bereitstellen, insbesondere in Form einer sogenannten Verwaltungsschale im Sinne einer„Industrie 4.0 Komponente“.
Hierdurch kann in einer Ausführung ein Aufwand bei der Konzeption reduziert werden.
Zusätzlich oder alternativ kann in einer Ausführung auch ein Hersteller bzw. Lieferant des ersten und/oder wenigstens einen weiteren Objekts das Objektmodell dieses Objekts bereitstellen, insbesondere in Form einer sogenannten Verwaltungsschale im Sinne einer„Industrie 4.0 Komponente“.
Ein Trainieren eines maschinell gelernten Komponentenmodells auf Basis eines Objektmodells umfasst in einer Ausführung ein, insbesondere überwachtes, tiefes und/oder ver- bzw. bestärkendes, maschinelles Lernen („(supervised/deep) machine learning; Reinforcement Learning“), insbesondere ein Eingeben des Objektmodells, ein Bewerten einer Ausgabe bzw. des Ausgangsvektors des Komponentenmodells, und ein Adaptieren bzw. Modifizieren des Komponentenmodells auf Basis dieser Bewertung.
In einer Ausführung werden das erste Komponentenmodell der ersten
Anlagenkomponente und das erste Objektmodell des ersten Objekts einem
Host(rechner) zur Verfügung gestellt, der (auf deren Basis) den Prozesserfolg prognostiziert bzw. den Wert für den Konfigurationsparameter ermittelt.
In einer Weiterbildung prognostiziert der Host auf Basis des ersten Objektmodells und/oder (des) wenigstens eines bzw. einen Objektmodells wenigstens eines weiteren Objekts mithilfe (des) wenigstens eines bzw. einen maschinell gelernten
Komponentenmodells wenigstens einer weiteren Anlagenkomponente einen
Prozesserfolg dieser Anlagenkomponente und/oder ermittelt auf Basis des ersten Objektmodells und/oder (des) wenigstens eines bzw. einen Objektmodells wenigstens eines weiteren Objekts mithilfe wenigstens (des) eines bzw. einen maschinell gelernten Komponentenmodells wenigstens einer weiteren Anlagenkomponente einen Wert für einen Konfigurationsparameter dieser Anlagenkomponente. Zusätzlich oder alternativ prognostiziert der Host in einer Ausführung auf Basis (des) wenigstens eines bzw. einen Objektmodells wenigstens eines weiteren Objekts mithilfe des ersten Komponentenmodells der ersten Anlagenkomponente einen Prozesserfolg dieser Anlagenkomponente und/oder ermittelt auf Basis (des) wenigstens eines
Objektmodells wenigstens eines bzw. einen weiteren Objekts mithilfe des ersten Komponentenmodells der ersten Anlagenkomponente einen Wert für einen
Konfigurationsparameter dieser Anlagenkomponente. Insbesondere kann somit der Host das (jeweilige) Komponentenmodell laden und zur Verarbeitung des bzw. der Objektmodelle als Eingangsvektoren verwenden.
Der Host kann in einer Ausführung von der (jeweiligen) Anlagenkomponente separat bzw. getrennt sein und/oder eine oder mehrere CPUs, GPUs und/oder Neural Computing Chips und/oder ein Framework aufweisen, beispielsweise TensorFlow, Torch, Caffe oder dergleichen. Das bzw. die Komponentenmodelle können
vorzugsweise im ONNX-Format („Open Neural Network Exchange“) oder ähnlichen, vorzugsweise standardisierten Formaten zur Verfügung bzw. bereitgestellt werden. Hierdurch kann in einer Ausführung die Auswertung des jeweiligen
Komponentenmodells verbessert, insbesondere beschleunigt werden.
In einer Ausführung wird wenigstens ein Objektmodell (wenigstens) eines Objekts, insbesondere also das erste Objektmodell des ersten Objekts und/oder das
wenigstens eine weitere Objektmodell des wenigstens einen weiteren Objekts
(jeweils), dem (entsprechenden) Komponentenmodell mithilfe der ersten und/oder wenigstens einer weiteren Anlagenkomponente zur Verfügung gestellt.
Wenn beispielsweise ein Objektmodell ein Bild eines Objekts aufweist, kann somit in einer Ausführung die Anlagenkomponente, deren Komponentenmodell dieses
Objektmodell verwendet, oder auch eine andere Anlagenkomponente dieses Bild aufnehmen und dem Komponentenmodell zur Verfügung stellen.
Hierdurch können in einer Ausführung besonders aussagefähige Objektmodelle genutzt und dadurch die Prognose des Prozesserfolgs bzw. die Konfiguration bzw. Parametrierung der Anlagenkomponente verbessert werden. Gleichermaßen kann in einer Ausführung wenigstens ein Objektmodell (wenigstens) eines Objekts, insbesondere also das erste Objektmodell des ersten Objekts und/oder das wenigstens eine weitere Objektmodell des wenigstens einen weiteren Objekts (jeweils) dem (entsprechenden) Komponentenmodell ohne die bzw. Nutzung der erste(n) und/oder wenigstens eine(n) weitere(n) Anlagenkomponente bereitgestellt werden, insbesondere, wie vorstehend erläutert, durch den Zulieferer des Objekts.
Wenn wiederum beispielsweise ein Objektmodell ein Bild eines Objekts aufweist, kann somit in einer Ausführung dieses Bild vorab, beispielsweise vom Hersteller des Objekts, aufgenommen und dem Komponentenmodell zur Verfügung gestellt werden.
Hierdurch kann in einer Ausführung ein Aufwand bei der Konzeption reduziert werden. In einer Ausführung weist wenigstens eine Anlagenkomponente, insbesondere also die erste Anlagenkomponente und/oder die wenigstens eine weitere
Anlagenkomponente (jeweils), wenigstens einen, insbesondere optischen, Sensor, in einer Ausführung eine Kamera, und/oder wenigstens einen, insbesondere elektromotorischen, Aktor, in einer Ausführung wenigstens einen, insbesondere mehr-, vorzugsweise wenigstens sechs-, insbesondere wenigstens siebenachsigen, Roboter, wenigstens eine Werkzeugmaschine und/oder wenigstens ein Fördermittel auf.
Aufgrund ihrer Flexibilität und/oder Komplexität kann die vorliegende Erfindung mit besonderem Vorteil bei industriellen Anlagen mit solchen Anlagenkomponenten bzw. zu deren Konzeption, insbesondere zu Durchführbarkeitsanalysen von Prozessen solcher Anlagenkomponenten und/oder zur Konfigurierung bzw. Parametrierung solcher Anlagenkomponenten verwendet werden.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist Mittel zum Prognostizieren eines Prozesserfolgs der ersten Anlagenkomponente und/oder Ermitteln eines Wertes für einen Konfigurationsparameter der ersten Anlagenkomponente auf Basis
wenigstens eines ersten Objektmodells des ersten Objekts mithilfe wenigstens eines ersten maschinell gelernten Komponentenmodells der ersten Anlagenkomponente auf.
In einer Ausführung weist das System bzw. sein(e) Mittel auf:
Mittel zum Prognostizieren eines Prozesserfolgs wenigstens einer weiteren
Anlagenkomponente und/oder Ermitteln eines Wertes für einen
Konfigurationsparameter wenigstens einer weiteren Anlagenkomponente auf Basis des ersten Objektmodells und/oder wenigstens eines Objektmodells wenigstens eines weiteren Objekts mithilfe wenigstens eines maschinell gelernten
Komponentenmodells dieser Anlagenkomponente; und/oder
Mittel zum Prognostizieren eines Prozesserfolgs der ersten Anlagenkomponente und/oder Ermitteln eines Wertes für einen Konfigurationsparameter der ersten
Anlagenkomponente auf Basis wenigstens eines Objektmodells wenigstens eines weiteren Objekts mithilfe des ersten Komponentenmodells der ersten
Anlagenkomponente; und/oder
Mittel zum Trainieren wenigstens eines Komponentenmodells einer
Anlagenkomponente auf Basis eines oder mehrerer verschiedener, insbesondere typgleicher Objektmodelle des ersten Objekts, wenigstens eines weiteren typgleichen Objekts und/oder wenigstens eines zu dem ersten Objekt typungleichen Objekts;
und/oder Mittel zum Trainieren wenigstens eines Komponentenmodells einer Anlagenkomponente wenigstens teilweise vor Installation dieser Anlagenkomponente; und/oder
einen Host zum Prognostizieren eines Prozesserfolgs der ersten Anlagenkomponente und/oder Ermitteln eines Wertes für einen Konfigurationsparameter der ersten
Anlagenkomponente auf Basis wenigstens eines dem Host zur Verfügung gestellten ersten Objektmodells des ersten Objekts mithilfe wenigstens eines dem Host zur Verfügung gestellten ersten maschinell gelernten Komponentenmodells der ersten Anlagenkomponente, insbesondere
zum Prognostizieren eines Prozesserfolgs wenigstens einer weiteren
Anlagenkomponente und/oder Ermitteln eines Wertes für einen
Konfigurationsparameter wenigstens einer weiteren Anlagenkomponente auf Basis des dem Host zur Verfügung gestellten ersten Objektmodells und/oder wenigstens eines dem Host zur Verfügung gestellten Objektmodells wenigstens eines weiteren Objekts mithilfe wenigstens eines dem Host zur Verfügung gestellten maschinell gelernten Komponentenmodells dieser Anlagenkomponente; und/oder
Mittel zum Prognostizieren eines Prozesserfolgs der ersten Anlagenkomponente und/oder Ermitteln eines Wertes für einen Konfigurationsparameter der ersten
Anlagenkomponente auf Basis wenigstens eines dem Host zur Verfügung gestellten Objektmodells wenigstens eines weiteren Objekts mithilfe des dem Host zur
Verfügung gestellten ersten Komponentenmodells der ersten Anlagenkomponente; und/oder
Mittel, das dazu eingerichtet ist, wenigstens ein Objektmodell eines Objekts dem Komponentenmodell mithilfe der ersten und/oder wenigstens einer weiteren
Anlagenkomponente zur Verfügung zu stellen oder ohne diese bereitzustellen.
Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem
Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten,
Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des
Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel. In einer Ausführung weist das System die erste und/oder wenigstens eine weitere Anlagenkomponente, insbesondere die industrielle Anlage, auf.
Unter„typgleich“ wird vorliegend insbesondere verstanden, dass zwei Elemente denselben Typ aufweisen bzw. einer gemeinsamen Klasse angehören bzw. einer gemeinsamen Klasse zugeordnet werden (können). So können beispielsweise ein erstes Bild und ein zweites Bild typgleiche Objektmodelle sein, ein Bild und CAD- Daten hingegen typungleiche Objektmodelle. Gleichermaßen können zum Beispiel zwei verschiedene Schrauben typgleiche Objekte sein, eine Schraube und eine Mutter hingegen typungleiche Objekte. Wie vorstehend bereits erwähnt, werden in einer Ausführung zum Trainieren eines Komponentenmodells vorteilhaft Objektmodelle typungleicher Objekte verwendet, wobei einige dieser Objekte Positiv-Beispiele, für die insbesondere ein positiver Prozesserfolgt prognostiziert bzw. ein bestimmter Wert des Konfigurationsparameters für das erste Objekt ermittelt wird bzw. werden soll, und anderer Objekte Negativ-Beispiele sind, für die insbesondere ein negativer
Prozesserfolgt prognostiziert bzw. ein anderer Wert des Konfigurationsparameters ermittelt wird bzw. werden soll.
Bei der Prognose eines Prozesserfolgs bzw. Ermittlung eines Wertes für einen Konfigurationsparameter auf Basis eines Objektmodells mithilfe eines maschinell gelernten Komponentenmodells können in einer Ausführung noch weitere
(Prozess) Daten berücksichtigt werden.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert, die einzige: Fig. 1 : ein Verfahren und System zum Analysieren und/oder Konfigurieren
einer industriellen Anlage nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt ein Verfahren und System zum Analysieren und/oder Konfigurieren einer industriellen Anlage nach einer Ausführung der vorliegenden Erfindung. Exemplarisch weist die Anlage eine erste Anlagenkomponente in Form eines
Roboters 10, der ein erstes Objekt 20 und hierzu typgleiche Objekte sowie ein weiteres, typungleiches Objekt 30 und hierzu typgleiche Objekte bearbeiten soll, eine weitere Anlagenkomponente in Form einer Kamera 40 sowie eine andere weitere Anlagenkomponente in Form eines weiteren Roboters 50 auf. Vom Roboterhersteller ist ein erstes maschinell gelerntes Komponentenmodell des Roboters 10 in Form eines tiefen neuronalen Netzes 1 1 sowie ein maschinell gelerntes Komponentenmodell des weiteren Roboters 50 in Form eines weiteren tiefen neuronalen Netzes 51 bereitgestellt und auf einen Host 100 geladen, die beim Hersteller vor- oder fertigtrainiert wurden. Vom Zulieferer des weiteren Objekts 30 ist ein Objektmodell 31 dieses Objekts bereitgestellt und auf den Host 100 geladen.
Mit der Kamera 40 wird ein Bild 21 des ersten Objekts 20 erstellt und als Objektmodell 21 dieses Objekts dem Host 100 zugeführt.
Auf Basis dieser Objektmodelle 21 , 31 analysiert der Host 100 mithilfe des
Komponentenmodells 1 1 , ob eine geplante Bearbeitung der Objekte 20, 30 mittels des Roboters 10 (voraussichtlich) durchführbar ist, und parametriert hierzu gegebenenfalls den Roboter 10 oder gibt entsprechende
Konfigurationsparameterwerte aus.
In analoger Weise analysiert der Host 100 auf Basis der Objektmodelle 21 , 31 mithilfe des Komponentenmodells 51 , ob eine geplante Bearbeitung der Objekte 20, 30 mittels des Roboters 50 (voraussichtlich) durchführbar ist, und parametriert hierzu gegebenenfalls den Roboter 50 oder gibt entsprechende
Konfigurationsparameterwerte aus.
Der Roboterhersteller hat die neuronalen Netze 1 1 , 51 auf Basis von Kamerabildern, wie sie von Kameras des Typs der Kamera 40 geliefert werden, und CAD-Daten 31 , wie sie für das weitere Objekt 30 bereitgestellt werden, trainiert, beispielsweise, um zu klassifizieren, ob der Roboter 10 bzw. 50 das entsprechende Objekt greifen kann, oder geeignete Greifposen zu ermitteln. Hierzu werden neben Objektmodellen, im Ausführungsbeispiel Kamerabildern bzw. CAD-Daten, von Objekten, die typgleich zu den von Roboter 10 bzw. 50 handzuhabenden Objekten 20, 30 sind, auch
Objektmodellen von Objekten verwendet, die typungleich zu solchen Objekten sind, insbesondere von Objekten, die von Roboter 10 bzw. 50 nicht bzw. mit anderen Konfigurationsparameterwerten handzuhaben sind, um den neuronalen Netzen 1 1 , 51 auch Negativ-Beispiele zur Verfügung zu stellen.
In einer Ausführung kann das (vortrainierte) neuronale Netz 1 1 bzw. 51 auf Basis von Kamerabildern der Kamera 40 fertigtrainiert werden.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
So werden im obigen Ausführungsbeispiel in den Komponentenmodellen 1 1 , 51 typungleiche Objektmodelle verarbeitet, nämlich zum einen Bilder 21 und zum anderen CAD-Daten 31 .
In einer Abwandlung werden stattdessen in einem oder beiden
Komponentenmodellen 1 1 , 51 jeweils nur typgleiche Objektmodelle verarbeitet, im Ausführungsbeispiel also im Komponentenmodellen 1 1 und/oder 51 jeweils nur Bilder 21 oder nur CAD-Daten 31. Hierdurch können die neuronalen Netze 1 1 , 51 vorteilhaft, insbesondere spezifischer, arbeiten und so in einer Ausführung ihre Geschwindigkeit, Robustheit und/oder Präzision verbessert werden.
Zusätzlich oder alternativ können das neuronale Netz 1 1 und/oder 51 (jeweils) auch erst anhand der von der Kamera 40 erfassten Bilder trainiert werden.
Mithin kann beispielsweise der Roboterhersteller das neuronale Netz 1 1 auf Basis von Kamerabildern, wie sie von Kameras des Typs der Kamera 40 geliefert werden, von Objekten des Typs des Objekts 20 als Positiv-Beispielen und von Objekten des Typs des Objekts 30 als Negativ-Beispielen (vor)trainieren. Wenn dann im Betrieb die Kamera 40 ein erstes Objekt des Typs des Objekts 20 erfasst, kann das neuronale Netz 1 1 hierfür einen positiven Prozesserfolg
prognostizieren bzw. hierfür entsprechende Konfigurationsparameterwerte einstellen bzw. vor-bzw. ausgeben, beispielsweise Greifpositionen oder dergleichen.
Wenn hingegen im Betrieb die Kamera 40 ein erstes Objekt des Typs des Objekts 30 erfasst wird, kann das neuronale Netz 1 1 hierfür einen negativen Prozesserfolg prognostizieren bzw. hierfür entsprechende andere Konfigurationsparameterwerte einstellen bzw. vor-bzw. ausgeben, beispielsweise andere Greifpositionen oder dergleichen.
Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen
Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die
Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die
Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten
Merkmalskombinationen ergibt. Bezuaszeichenliste
10 Roboter (erste Anlagenkomponente)
1 1 tiefes neuronales Netz (erstes maschinell gelerntes Komponentenmodell)
20 erstes Objekt
21 Bild (erstes Objektmodell) des ersten Objekts
30 weiteres Objekt
31 CAD-Daten (Objektmodell) des weiteren Objekts
40 Kamera (weitere Anlagenkomponente)
50 Roboter (weitere Anlagenkomponente)
51 tiefes neuronales Netz (maschinell gelerntes Komponentenmodell)
100 Host

Claims

Patentansprüche
1. Verfahren zum Analysieren und/oder Konfigurieren einer industriellen Anlage, die wenigstens eine erste Anlagenkomponente (10) zur Erfassung, Handhabung und/oder Bearbeitung wenigstens eines ersten Objekts (20) aufweist, wobei auf Basis wenigstens eines ersten Objektmodells (21 ) des ersten Objekts mithilfe wenigstens eines ersten maschinell gelernten Komponentenmodells (1 1 ) der ersten Anlagenkomponente ein Prozesserfolg der ersten Anlagenkomponente prognostiziert und/oder ein Wert für einen Konfigurationsparameter der ersten Anlagenkomponente ermittelt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass
- auf Basis des ersten Objektmodells und/oder wenigstens eines Objektmodells (31 ) wenigstens eines weiteren Objekts (30) mithilfe wenigstens eines maschinell gelernten Komponentenmodells (51 ) wenigstens einer weiteren Anlagenkomponente (50) ein Prozesserfolg dieser Anlagenkomponente prognostiziert und/oder ein Wert für einen Konfigurationsparameter dieser Anlagenkomponente ermittelt wird; und/oder
- auf Basis wenigstens eines Objektmodells (31 ) wenigstens eines weiteren Objekts (30) mithilfe des ersten Komponentenmodells der ersten
Anlagenkomponente ein Prozesserfolg dieser Anlagenkomponente
prognostiziert und/oder ein Wert für einen Konfigurationsparameter dieser Anlagenkomponente ermittelt wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein Komponentenmodell einer Anlagenkomponente
- auf Basis eines oder mehrerer verschiedener, insbesondere typgleicher, Objektmodelle
- des ersten Objekts,
- wenigstens eines weiteren typgleichen Objekts und/oder
- wenigstens eines zu dem ersten Objekt typungleichen Objekts trainiert wird;
- wenigstens teilweise vor Installation dieser Anlagenkomponente trainiert ist; und/oder ein, insbesondere tiefes, neuronales Netz (1 1 ; 51 ) aufweist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste Komponentenmodell der ersten Anlagenkomponente und das erste Objektmodell des ersten Objekts einem Host (100) zur Verfügung gestellt wird, der den Prozesserfolg prognostiziert bzw. den Wert für den Konfigurationsparameter ermittelt.
5. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Host
- auf Basis des ersten Objektmodells und/oder wenigstens eines Objektmodells (31 ) wenigstens eines weiteren Objekts (30) mithilfe wenigstens eines maschinell gelernten Komponentenmodells (51 ) wenigstens einer weiteren Anlagenkomponente (50) einen Prozesserfolg dieser Anlagenkomponente prognostiziert und/oder einen Wert für einen Konfigurationsparameter dieser Anlagenkomponente ermittelt; und/oder
- auf Basis wenigstens eines Objektmodells (31 ) wenigstens eines weiteren Objekts (30) mithilfe des ersten Komponentenmodells der ersten
Anlagenkomponente einen Prozesserfolg dieser Anlagenkomponente prognostiziert und/oder einen Wert für einen Konfigurationsparameter dieser Anlagenkomponente ermittelt.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens ein Objektmodell eines Objekts
- dem Komponentenmodell mithilfe der ersten und/oder wenigstens einer
weiteren Anlagenkomponente zur Verfügung gestellt oder
- ohne diese bereitgestellt wird; und/oder dass das Objektmodell
- Bilddaten, Abmessungen und/oder mechanische, thermische, elektrische
und/oder optische Parameter des Objekts aufweist
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eine Anlagenkomponente wenigstens einen, insbesondere optischen, Sensor (40) und/oder wenigstens einen, insbesondere
elektromotorischen, Aktor, insbesondere wenigstens einen Roboter (10; 50), wenigstens eine Werkzeugmaschine und/oder wenigstens ein Fördermittel aufweist.
8. System zum Analysieren und/oder Konfigurieren einer industriellen Anlage, die wenigstens eine erste Anlagenkomponente (10) zur Erfassung, Handhabung und/oder Bearbeitung wenigstens eines ersten Objekts (20) aufweist, wobei das System zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder Mittel zum Prognostizieren eines
Prozesserfolgs der ersten Anlagenkomponente und/oder Ermitteln eines Wertes für einen Konfigurationsparameter der ersten Anlagenkomponente auf Basis wenigstens eines ersten Objektmodells (21 ) des ersten Objekts (20) mithilfe wenigstens eines ersten maschinell gelernten Komponentenmodells (1 1 ) der ersten Anlagenkomponente aufweist.
9. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
EP19735539.9A 2018-07-04 2019-07-01 Verfahren und system zum analysieren und/oder konfigurieren einer industriellen anlage Pending EP3817898A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018211044.1A DE102018211044A1 (de) 2018-07-04 2018-07-04 Verfahren und System zum Analysieren und/oder Konfigurieren einer industriellen Anlage
PCT/EP2019/067510 WO2020007757A1 (de) 2018-07-04 2019-07-01 Verfahren und system zum analysieren und/oder konfigurieren einer industriellen anlage

Publications (1)

Publication Number Publication Date
EP3817898A1 true EP3817898A1 (de) 2021-05-12

Family

ID=67145794

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19735539.9A Pending EP3817898A1 (de) 2018-07-04 2019-07-01 Verfahren und system zum analysieren und/oder konfigurieren einer industriellen anlage

Country Status (5)

Country Link
US (1) US20210356946A1 (de)
EP (1) EP3817898A1 (de)
CN (1) CN112384337B (de)
DE (1) DE102018211044A1 (de)
WO (1) WO2020007757A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020102863A1 (de) * 2020-02-05 2021-08-05 Festo Se & Co. Kg Parametrierung einer Komponente in der Automatisierungsanlage

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111354A1 (de) * 1991-04-09 1992-10-22 Bodenseewerk Geraetetech Einrichtung zur fuehrung des endeffektors eines roboters laengs einer sollbahn
WO2006076175A2 (en) * 2005-01-10 2006-07-20 Cyberkinetics Neurotechnology Systems, Inc. Biological interface system with patient training apparatus
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
WO2017083574A1 (en) * 2015-11-13 2017-05-18 Berkshire Grey Inc. Sortation systems and methods for providing sortation of a variety of obejcts
JP6114421B1 (ja) * 2016-02-19 2017-04-12 ファナック株式会社 複数の産業機械の作業分担を学習する機械学習装置，産業機械セル，製造システムおよび機械学習方法
CN108885715B (zh) * 2016-03-03 2020-06-26 谷歌有限责任公司 用于机器人抓取的深度机器学习方法和装置
JP6453805B2 (ja) * 2016-04-25 2019-01-16 ファナック株式会社 製品の異常に関連する変数の判定値を設定する生産システム
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
CN106598791B (zh) * 2016-09-12 2020-08-21 湖南微软创新中心有限公司 一种基于机器学习的工业设备故障预防性识别方法
US10661438B2 (en) * 2017-01-16 2020-05-26 Ants Technology (Hk) Limited Robot apparatus, methods and computer products
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
CA3073516A1 (en) * 2017-09-01 2019-03-07 The Regents Of The University Of California Robotic systems and methods for robustly grasping and targeting objects
US20200019864A1 (en) * 2018-07-11 2020-01-16 Deepbrain Chain, Inc. Systems and methods for artificial-intelligence-based automated object identification and manipulation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DRATH R. ET AL: "Automation 2017 : Technology networks Processes", 1 January 2017 (2017-01-01), XP093245499, ISBN: 978-3-18-102293-1, Retrieved from the Internet <URL:https://www.researchgate.net/profile/Rainer-Drath/publication/348088600_Die_Rolle_der_Industrie_40_Verwaltungsschale_und_des_digitalen_Zwillings_im_Lebenszyklus_einer_Anlage_-_Navigationshilfe_Begriffsbestimmung_und_Abgrenzung/links/60ddbec3a6fdccb745fb82be/Die-Rolle-der-Industrie-40-Verwaltungsscha> DOI: 10.51202/9783181022931-93 *
SCHRIEGEL SEBASTIAN ET AL: "PROFIanalytics -die Br�cke zwischen PROFINET und Cloud-basierter Prozessdatenanalyse", 1 January 2017 (2017-01-01), XP093245488, Retrieved from the Internet <URL:https://www.researchgate.net/profile/Sebastian_Schriegel/publication/317401144_PROFIanalytics_-_die_Brucke_zwischen_PROFINET_und_Cloud-basierter_Prozessdatenanalyse/links/59550f990f7e9b2da1b3c0dd/PROFIanalytics-die-Bruecke-zwischen-PROFINET-und-Cloud-basierter-Prozessdatenanalyse.pdf> [retrieved on 20250204] *

Also Published As

Publication number Publication date
CN112384337B (zh) 2024-06-21
WO2020007757A1 (de) 2020-01-09
DE102018211044A1 (de) 2020-01-09
CN112384337A (zh) 2021-02-19
US20210356946A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
DE102018006946B4 (de) Steuerung und maschinelle Lernvorrichtung
DE102018004923A1 (de) Fehlervorhersagevorrichtung und machinelle Lernvorrichtung
DE102018125389B4 (de) Zustandsbestimmungsvorrichtung
DE102018006024A1 (de) Controller und maschinelle Lernvorrichtung
DE102017002607A1 (de) Bearbeitungsmaschinensystem, das über die Akzeptanz/Verwerfung von Werkstücken bestimmt
DE102020130520A1 (de) Verfahren zum steuern eines roboters in gegenwart menschlicher bediener
DE102019104244B4 (de) Abnormalitätsfaktoridentifizierungsgerät
DE102016009030A1 (de) Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
DE102020100316A1 (de) Bestimmungsgerät
DE102018006550A1 (de) Abnormalitätserkennungsvorrichtung und maschinelles Lernverfahren
DE102019001177A1 (de) Steuergerät, maschinelle Lernvorrichtung und System
DE102019104922A1 (de) Kollisionspositionsschätzvorrichtung und maschinenlernvorrichtung
WO2024079318A1 (de) System und verfahren zur sicherheitsgerichteten überwachung einer technischen anlage
EP3328595A2 (de) Verfahren und system zum steuern eines roboters
US20200082281A1 (en) Verification device
DE112017004549T5 (de) Änderungsanalyse für programme und veränderliche grössen
WO2020007757A1 (de) Verfahren und system zum analysieren und/oder konfigurieren einer industriellen anlage
EP3760390B1 (de) Durchführen einer vorgegebenen aufgabe mithilfe wenigstens eines roboters
DE102024104640B3 (de) Betreiben eines Roboters mithilfe einer Datenverarbeitung und Trainieren dieser Datenverarbeitung
CN116324657A (zh) 机器人辅助过程中的监测
JP7384000B2 (ja) 協調作業システム、解析収集装置および解析プログラム
EP4063081A1 (de) Verfahren zum ermitteln von steuerungsdaten für eine greifeinrichtung zum greifen eines gegenstands
EP4036663B1 (de) Steuereinrichtung zum steuern eines technischen systems und verfahren zum konfigurieren der steuereinrichtung
DE102017010676A1 (de) Qualitätssicherung eines Prozesses
EP4444508A1 (de) Identifikation von fehlerursachen auf befehlsebene in prozessen

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210112

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20221221

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230528

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE