EP4200107A1 - Überwachung bei einem robotergestützten prozess - Google Patents

Überwachung bei einem robotergestützten prozess

Info

Publication number
EP4200107A1
EP4200107A1 EP21762031.9A EP21762031A EP4200107A1 EP 4200107 A1 EP4200107 A1 EP 4200107A1 EP 21762031 A EP21762031 A EP 21762031A EP 4200107 A1 EP4200107 A1 EP 4200107A1
Authority
EP
European Patent Office
Prior art keywords
model
carried out
data
process data
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21762031.9A
Other languages
English (en)
French (fr)
Inventor
Manuel KASPAR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Publication of EP4200107A1 publication Critical patent/EP4200107A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33296—ANN for diagnostic, monitoring

Definitions

  • the present invention relates to a method for monitoring a robot-supported process and a system and a computer program product for carrying out the method.
  • Robot-supported processes i.e. processes that are carried out with the help of one or more robots, are often highly automated. For this reason in particular, but also especially in the case of human-robot collaborations, monitoring is particularly advantageous.
  • Particularly advantageous applications are predictive maintenance of the robot(s) and monitoring for errors in the process and/or errors in process products.
  • the object of the present invention is to improve robot-supported processes.
  • the model-based evaluation (for the respective cycle) is carried out using the machine-learned model based on this recorded process data (for the respective cycle).
  • the process is carried out in one embodiment using one or more robots.
  • the or one or more of the robots has/have in one embodiment (each) a multi-axis robot arm, in one embodiment at least five, in particular at least six, in one embodiment at least seven-axis robot arm and/or a stationary or mobile base.
  • one or more of the robots work through the same program, in one embodiment (each) travel the same path(s) and/ or (respectively) carries out the same activity(s), which may in particular include component transport and/or component processing.
  • the present invention is particularly suitable for such processes, in particular industrial processes, due to the high degree of automation.
  • the evaluation comprises a two-stage or multi-stage classification, in particular a classification into (the classes) ⁇ "fault-free” and “fault/anomaly” ⁇ or ⁇ "fault-free", "first fault/anomaly”, “second (r) error/anomaly” and, if applicable, one or more other errors or anomalies ⁇ .
  • the assessment may also include an anomalies score, anticipated maintenance required, or other.
  • step (a.2) carried out model-based evaluation meets a verification criterion, in a Execution (additionally) depending on an external confirmation, in one execution only if both the evaluation meets the verification criterion and the external confirmation is available or positive: (b.1) a test evaluation carried out using a test instance, in a
  • step (a.1) Execution based on the process data recorded in step (a.1), in another embodiment independent of this, in a further development based on the process data used in step (a.2), in another further development independent of in step (a.2) process data used, in particular (instead) on the basis of other process data recorded in step (a.1) or another part of the process data recorded in step (a.1) or on the basis not in step (a.1), in one embodiment instead during a separate test drive or the like, recorded data; and
  • step (b.2) further trains the machine-learned model on the basis of this test evaluation and in one embodiment also the (associated) process data recorded in step (a.1) and/or used in step (a.2).
  • model-based assessment carried out therein or in its step (a.2) meets a verification criterion, in one embodiment depending on an external confirmation, in one embodiment only if both the evaluation meets the verification criterion and the external confirmation is available or positive:
  • a test evaluation is carried out using a test instance, in an execution based on the process data recorded in this cycle or its step (a.1) or independently, in a further development based on the in this cycle or its Process data used in step (a.2), in another development independently of the process data used in step (a.2), in particular (instead) on the basis of other process data recorded in step (a.1) or another part of the process data recorded in step ( a.1) Process data recorded or on the basis of data not recorded in step (a.1), in one embodiment instead during a separate test drive or the like; and
  • (b.2) further trains the model on the basis of this test evaluation and, in one embodiment, also of the process data recorded in the (corresponding) cycle and used in one embodiment in its step (a.2).
  • (c.1) process data are recorded;
  • step (b.2) By further training the model on the basis of process data according to step (b.2), the performance of the model and thus the monitoring using the model in step (c.3) can be improved.
  • the use of process data from the first process, which is recorded in step (a.1) can improve subsequent monitoring in step (c.3), since the model is further trained in a process-specific manner.
  • the use of process data from the second process, which is recorded in step (a.1) can advantageously enable (further) training without completely processing the first process for the purpose of (further) training.
  • step (b.2) the model is further trained on the basis of test evaluations, in particular a so-called "label", by a test instance, for example a human who checks the functional status of the robot or manually evaluates process products, this can be machine learning be significantly improved.
  • the test assessment in step (b.1) includes labeling with the aid of, in particular by the test instance.
  • the present invention therefore proposes only triggering such a test assessment if it is (probably particularly) sensible, particularly necessary and/or particularly efficient or effective, which is decided by the verification criterion.
  • labeling can only be carried out (more) specifically, in particular only for part of the cycles.
  • the performance of the machine-learned model or the (evaluation for) monitoring using the model can be improved and at the same time the effort for labeling or further training can be reduced and thus productivity can be increased in one embodiment.
  • step (b.1) By performing the test evaluation in step (b.1) using the test instance on the basis of the process data used in step (a.2), the effort for data acquisition and/or management, in particular storage, can be reduced will.
  • step (b.1) the test evaluation using the test instance is independent of the process data used in step (a.2), in particular on the basis of other process data recorded in step (a.1) or another part of the process data recorded in step (a.1) or instead on the basis of other data recorded in one embodiment during a separate test drive or the like, in one embodiment the quality of the test evaluation can be improved and/or diversity can be used .
  • a human being as a test instance can particularly advantageously use image, video and/or audio data for the test evaluation and the machine-learned model for the model-based evaluation of kinematic and/or dynamic data of the robot(s) or in step ( a.2) kinematic and/or dynamic robot data are used for the model-based evaluation and in step (b.1) a test evaluation using a human test instance based on captured images, audio and/or video recordings or the like independently of this robot data be performed.
  • an advantageous, in particular (more precise) test evaluation can be carried out, for example on the basis of data recorded during a separate test drive.
  • the reviewer includes one or more people.
  • particularly complex processes can be labeled advantageously, particularly reliably and/or quickly and/or without using the recorded process data in step (b.2).
  • the test instance has at least one further machine-learned model, with an evaluation using this further machine-learned model being more complex and/or more reliable in one embodiment than using the model further trained in step (b.2).
  • process data can also be used for labeling which, for example, are difficult(er) to interpret for a human being or only with great effort.
  • the test instance determines one or more parameters, in one embodiment one or more parameters of the robot(s) with which the respective process is or has been carried out, and/or or one or more parameters of the respective process and/or respective process product, for example a coefficient of friction of a robot gear or the like, the test evaluation being carried out in one embodiment on the basis of the determined parameter(s).
  • the test evaluation includes a test or
  • test evaluation is carried out using the test instance on the basis of the data generated during such a test or
  • the process data and/or the data used in the test evaluation using the test instance have data, in particular time profiles, from one or more robot(s) with which the process is/are carried out.
  • this data includes kinematic data, in particular poses and/or pose changes and/or rates of change, of the robot(s), in one embodiment axis positions, velocities and/or accelerations and/or positions and/or orientations at least one robot-fixed reference such as the TCP or the like, and/or their speeds and/or accelerations, in particular time profiles thereof.
  • the process data and/or data used in the test evaluation using the test instance include dynamic data, in particular forces, torques, energies, power or the like, of the robot(s) in one embodiment
  • drive forces, torques, energies and/or power, in particular voltages and/or currents, and/or external forces and/or torques which in one embodiment are determined using corresponding sensors on the robot, in particular time profiles thereof.
  • Such (process) data is particularly suitable for monitoring and especially for predictive maintenance using the machine-learned model.
  • the process data and / or the data used in the test evaluation using the test instance data, in one embodiment image data, one or more process products (s), the / in the respective process, in particular the respective Cycle, handled, in particular transported and/or processed, is/are handled, in particular transported and/or processed, on, in particular with the help of the robot(s).
  • Audio and/or video data in particular recordings, of the respective process.
  • Such (process) data is particularly suitable for monitoring errors in the process and/or errors in process products using the machine-learned model.
  • steps (b.1), (b.2) are not (or no longer) carried out for one or more cycles, although the model-based evaluation carried out therein meets the verification criterion if it is detected that a abort criterion, which can be set in a further development, is met.
  • the termination criterion can be, for example, the achievement of a specified number of test evaluations that can be set in a further development and/or a specified quality and/or degree of convergence (extent) of the model that can be set in a further development, in particular falling below a predetermined, in a training adjustable, learning progress include.
  • the further training of the model on the basis of specifically initiated test evaluations is ended at an advantageous point in time, thereby (further) increasing productivity.
  • monitoring is (already) carried out in the process (run) or cycle whose process data are or have been recorded in step (a.1).
  • evaluations carried out in step (a.2) for monitoring purposes can also be used for further training in step (b.2).
  • the evaluation in one embodiment in the ongoing process it is possible to react advantageously to a stop of the corresponding monitoring, in one embodiment the evaluation can be validated or checked by the test evaluation or test instance and corrected if necessary. This is particularly expedient in the monitoring, in particular predictive maintenance, of at least one robot with which the first or second process is carried out.
  • steps (a.1), (a.2) are carried out multiple times, in particular for multiple cycles of the robot-assisted first or second process, and subsequent to this multiple execution, in particular after these cycles, steps (b1.), (b.2) are carried out on the basis of the model-based assessments and, if applicable, process data collected during or in the cycles, in one execution one or more of the collected, in one execution stored, model-based assessments and optionally process data based on the verification criterion or from the collected model I-based assessments and optionally process data stored in an embodiment, those selected for which the assessment meets the verification criterion, and selected process (runs) for these or cycles, in one embodiment based on the respective stored process data, (in each case) the test evaluation or step (b.1) is carried out, which is then used for further training of the model in step (b.2).
  • step (b.2) can advantageously be improved and/or the test evaluation in step (b.1) can be carried out more efficiently. This is particularly useful when monitoring for errors in the first process and/or process products of the first process,
  • the present invention is particularly suitable for the monitoring of robots and in particular the predictive robot maintenance as well as the process monitoring for errors in the process and/or process products, but is not limited thereto.
  • the monitoring carried out in step (c.3) and, if applicable, also the monitoring that is carried out on the basis of the evaluation(s) carried out in step (a.2) in one embodiment includes monitoring, in a further development predictive maintenance, one or more robot(s) with which the process is/are carried out, and/or monitoring for errors in the process and/or process products.
  • the verification criterion is specified in such a way that the model-based evaluation satisfies the verification criterion if it outputs or evaluates a specific error or a predefined number of repetitions of the error, in particular the occurrence of the error in at least a predefined number of cycles .
  • a specific error can in particular be a predetermined error type or group of error types, but also any include possible errors.
  • the verification criterion is specified in one embodiment in such a way that the model-based evaluation meets the verification criterion if it evaluates or generates or outputs an error of a predetermined error type or group of error types or a predetermined number of repetitions thereof, in another embodiment such that the model-based evaluation satisfies the verification criterion if it evaluates or outputs any error or a predetermined number of repetitions thereof.
  • An error within the meaning of the present invention can in particular be a current (already present) error or a predicted or emerging error.
  • an alarm is issued if the model-based evaluation meets the verification criterion or evaluates a specific error. As a result, security can be increased in one embodiment.
  • a model-based evaluation of one or more robots, with which the process is carried out is carried out using a machine-learned model based on process data that is executed in cycles, and on the basis of this evaluation a monitoring, in particular a predictive maintenance, of the robot(s), in particular a diagnosis of a condition of the robot(s) and/or a prognosis of a malfunction, in particular a failure, of the robot(s) , accomplished.
  • a test evaluation is carried out using a test instance, with the the robots carry out a test run that deviates from the process or cycle and/or is/are dismantled.
  • an alarm is issued and/or the test assessment is carried out as a function of the external confirmation, in particular only if the external confirmation is also present or positive.
  • the machine-learned model is then based on this test evaluation, in particular on the basis of those recorded in step (a.1) and in step (b.1) process data labeled by the test instance, further trained (step (b.2) and then used in further monitoring (steps (c.1)-(c.3)).
  • such complex(er)n test evaluations are only carried out or initiated when required or in the event of a (supposed) error. It can equally be provided to carry out the test evaluation for each error evaluated by the model I-based evaluation or only for certain, for example serious(er)n, particularly dangerous, and/or only reliably recognizable errors through test drives or disassembly .
  • the verification criterion is specified in such a way that the model-based assessment using the model based on recorded process data meets the verification criterion and the model I-based assessment using the same model based on other recorded process data does not meet the verification criterion, with this process data being considered without loss of generality first or second process data are referred to and wherein an expected information gain with further training of the model on the basis of the first process data is greater than with further training of the model on the basis of the second process data.
  • the information gain to be expected is or is determined by means of Uncertainty Sampling, Query-By-Committee, Expected Model Change, Expected Error Reduction, Variance Reduction, Density-Weighted Methods or the like, as described, for example, in Burr Settles: Active Learning Literature Survey, Computer Sciences Technical Report 1648, University of Wisconsin-Madison, 2009 are described with further evidence, with additional reference being made to this article and the further literature mentioned therein and the content of which is fully incorporated into the present disclosure.
  • a model I-based evaluation can meet the verification criterion if its reliability falls below a predetermined minimum or if the change in the model or its expected error reduction expected during further training of the model on the basis of the corresponding process data exceeds a predetermined minimum or the like.
  • a model-based assessment of the or the (product/s of the) process(es) or cycle/cycles, in an execution of the quality or quality, and in an execution based on this evaluation (already) a monitoring for errors in the Process and/or errors of process products are carried out, for example process products (assessed as) incorrect are sorted out and/or reworked and/or process parameters are adjusted or the like.
  • a test evaluation is carried out using a test instance and preferably based on the process data recorded in the cycle, in one embodiment the process and/or the process product, in particular an image, in one embodiment an audio and/or video recording of the process and/or process product, by the test instance , in one embodiment a human and/or another machine learned model.
  • the same process data is used for the model-based evaluation and the test evaluation, for example the further machine-learned model can use the same process data that was used in step (a.2).
  • different process data are used for the model-based evaluation and the test evaluation, for example, the further machine-learned model or a human can use image, audio and/or video data as a test instance and the further trained in step (b.2).
  • machine learned model use kinematic and/or dynamic robot data or the like in step (a.2) instead.
  • the further training of a machine-learned model for or during monitoring of a cyclic robot-supported process for errors in the process and/or process products or the performance achieved can be improved.
  • the model is additionally trained before step (c.1) on the basis of recorded process data, in a further development of the process data recorded in at least one of steps (a.1), without taking into account a test evaluation using the test instance , carried out in one execution at all, is.
  • step (b.1) labeled process data and unlabeled process data (from at least one step (a.1)) are used together.
  • the further training of a machine-learned model or its performance can be improved .
  • step (a.1) and/or (c.1) is carried out during the respective process (run) or cycle, for example data, in particular time profiles, of at least one robot with which the process is carried out, and/ or audio and/or video data, in particular recordings, of the respective process are recorded and optionally stored, or carried out at the end of the cycle or afterwards, for example data, in particular image data, of at least one process product are recorded and optionally stored.
  • step (a.2), (c.2) and/or (c.3) is/are carried out during the respective process (run) or cycle.
  • robot monitoring in particular, in particular predictive maintenance, can react early to the onset of malfunctions.
  • step (a.2), (c.2) and/or (c.2) is carried out at the end of the respective process (run) or cycle or thereafter, in one embodiment (only) after several process (runs). )s or cycles.
  • training and/or monitoring for errors in the process and/or process products can be improved and/or the next cycle can already be started in parallel, thereby improving productivity.
  • step (b.1) and/or step (b.2) is carried out after the respective process (run) or cycle, on the basis of which process data the test evaluation is carried out, in a further development immediately after the process (run ) or cycle, carried out in another development after several process (runs) or cycles.
  • step (b.1) and/or step (b.2) is carried out after the respective process (run) or cycle, on the basis of which process data the test evaluation is carried out, in a further development immediately after the process (run ) or cycle, carried out in another development after several process (runs) or cycles.
  • a system in particular hardware and/or software, in particular programming, is set up to carry out a method described here and/or has:
  • step (b.1) a test evaluation using a test instance, in particular on the basis of this recorded process data or independently of it, in one further development on the basis of the process data used in step (a.2), in another further development independently of in step (a. 2) process data used, in particular (instead) on the basis of other process data recorded in step (a.1) or another part of the process data recorded in step (a.1) or on the basis not in step (a.1), in a Execution instead in a separate test drive or the like, to carry out collected data; and
  • the system or its means(s) has: means for performing monitoring on the process whose process data is collected in step (a.1) based on the assessment performed in step (a.2); and or
  • a means within the meaning of the present invention can be configured as hardware and/or software, in particular a processing unit, in particular a microprocessor unit (CPU), graphics card (GPU ) or the like, and/or one or more programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a memory system, to acquire input signals from a data bus and/or to output output signals to a data bus.
  • a storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and/or other non-volatile media.
  • a computer program product can have, in particular be a, in particular non-volatile, storage medium for storing a program or with a program stored thereon, with the execution of this program causing a system or a controller, in particular a computer, to carry out the method described here or one or more of its steps.
  • one or more, in particular all, steps of the method are carried out fully or partially automatically, in particular by the system or its means.
  • the system includes the robot.
  • the machine learned model includes at least one artificial neural network.
  • Such machine-learned models are particularly advantageous for the present invention, in particular because of their learning behavior and/or their precision, reliability and/or speed.
  • Fig. 1 a system according to an embodiment of the present invention in a cyclic robotic process
  • Fig. 2 shows a method for monitoring in the cyclic robotic process according to an embodiment of the present invention
  • Fig. 3 a method for monitoring in the cyclic robotic process according to another embodiment of the present invention.
  • FIG. 1 shows an example of a robot 10 with a robot arm 11 , which processes a workpiece 20 in one cycle with a tool 12 , which is transported on and off or further on a conveyor belt 21 and is recorded by a camera 30 after processing .
  • a controller of the robot 10 is denoted by 13 .
  • Fig. 2 shows a method for monitoring in the cyclic robotic process according to an embodiment of the present invention.
  • a cycle of the robot-supported process outlined with reference to FIG. 1 is carried out, and process data, in the exemplary embodiment drive forces of the robot 10 or the like, are recorded in the process.
  • a model-based evaluation of the robot for predictive maintenance carried out (Fig. 2: step S20)
  • the model or artificial neural network 13.1 in the exemplary embodiment again purely as an example, based on the detected drive forces, the robot 10 as currently error-free, not in need of maintenance or as defective or in need of maintenance classified, ie the model-based assessment for monitoring using the machine-learned model results in, outputs, or evaluates an error.
  • step S50 If all the intended cycles have been carried out (S40: "Y"), the process is ended (FIG. 2: step S50).
  • a reference run is carried out with the robot, during which particularly significant drive forces or the like occur in the case of faulty robots.
  • a test instance On the basis of this reference run or the data recorded in the process, a test instance carries out a test evaluation, for example in the form of another machine-learned model or a signal processing method, or labels the process data recorded in step S10, which led to the error message, accordingly, with these in execution can also distinguish between different errors of the robot.
  • the machine-learned model or artificial neural network 13.1 is trained further on the basis of this test evaluation and the next cycle is then optionally run through. Without external confirmation (S70: "N"), an appropriate action is taken in the event of an alarm (S60), for example the robot is repaired (S90).
  • the "F" branch is not taken in step S30 until a predetermined error evaluation repetition number has been reached.
  • the artificial neural network 13.1 will initially trigger more false alarms on the basis of the process data recorded in the normal work process, in particular if the alarm threshold is initially selected to be low as a precaution.
  • step S80 By using the reference runs by the test instance to distinguish the applicable alarms from the false alarms and by continuing to train the artificial neural network 13.1 on the basis of this labeling (step S80), the number of false alarms is reduced as the duration increases.
  • FIG 3 shows a method for monitoring in the cyclic robotic process according to another embodiment of the present invention.
  • the artificial neural network 13.1 can also use other data, in particular kinematic and/or dynamic robot data, in addition or as an alternative.
  • step S31 The image of the machined workpiece from the camera 30 and the associated evaluation by the artificial neural network 13.1 (in the other embodiment the corresponding robot data) are each stored (FIG. 3: step S31).
  • step S41 those cycles are selected from this collected process data and model-based assessments in which the reliability of the classification falls below a predetermined minimum, since further training of the artificial neural network 13.1 with these cycles or images can be expected to yield the greatest information.
  • information gain, entropy or the like can also be used as a verification criterion or these can depend on it.
  • step S51 These selected images are labeled by the human (step S51). If the artificial neural network 13.1 uses kinematic and/or dynamic robot data or the like in the above-mentioned modification, the model-based assessment and the test assessment are based on different process data, while the same process data can alternatively also be used.
  • step S61 the artificial neural network 13.1 is trained further with the process data labeled in step S21 and additionally with the process data labeled in step S51.
  • step S11 As long as no termination criterion has been met, for example the learning progress falls below a specified minimum or a specified number of repetitions has been reached (S71: “N”), the method jumps back to step S11.
  • step S81 If the termination criterion is met (S71: "Y"), further training is ended and the artificial neural network 13.1 is used for quality monitoring in the process (step S81).
  • the artificial neural network 13.1 is (further) trained in a particularly effective manner on the basis of the images that are particularly suitable for this purpose, and its performance is thereby significantly increased.
  • unlabeled process data can also be used for further training of the artificial neural network 13.1.
  • the exemplary implementations are only examples and are not intended to limit the scope, applications, or construction in any way. Rather, the person skilled in the art is given a guideline for the implementation of at least one exemplary embodiment by the preceding description, with various changes, in particular with regard to the function and arrangement of the described components, being able to be made without leaving the scope of protection, as it emerges from the claims and these equivalent combinations of features.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Manipulator (AREA)

Abstract

Nach einem erfindungsgemäßen Verfahren zur Überwachung bei einem robotergestützten ersten Prozess, werden für den ersten oder einen robotergestützten zweiten Prozess: (a.1) Prozessdaten erfasst (S10; S11); und (a.2) eine modellbasierte Bewertung mithilfe eines maschinell gelernten Modells auf Basis dieser erfassten Prozessdaten durchgeführt (S20; S21); wobei, sofern diese durchgeführte modellbasierte Bewertung ein Überprüfungskriterium erfüllt, insbesondere in Abhängigkeit von einer externen Bestätigung,: (b.1) eine Prüf-Bewertung mithilfe einer Prüfinstanz durchgeführt wird (S80; S51); und (b.2) das maschinell gelernte Modell auf Basis dieser Prüf-Bewertung weiter trainiert wird (S85; S61); und anschließend für den, gegebenenfalls erneut durchgeführten, ersten Prozess: (c.1) Prozessdaten erfasst werden (S10; S81); (c.2) die modellbasierte Bewertung mithilfe des weiter trainierten Modells auf Basis dieser erfassten Prozessdaten durchgeführt wird (S20; S81); und (c.3) auf Basis dieser Bewertung eine Überwachung bei dem ersten Prozess durchgeführt wird (S30; S81).

Description

Beschreibung
Überwachung bei einem robotergestützten Prozess
Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung bei einem robotergestützten Prozess sowie ein System und ein Computerprogrammprodukt zur Durchführung des Verfahrens.
Robotergestützte Prozesse, das heißt Prozesse, die mithilfe eines oder mehrerer Roboter durchgeführt werden, sind oft hoch automatisiert. Insbesondere daher, aber auch besonders bei Mensch-Roboter-Kollaborationen ist eine Überwachung besonders vorteilhaft.
Aus betriebsinterner Praxis ist es bekannt, Maschinelles Lernen bzw. ein maschinell gelerntes Modell zu verwenden, wobei mithilfe des maschinell gelernten Modells auf Basis erfasster Prozessdaten die Überwachung durchgeführt wird.
Besonders vorteilhafte Anwendungen sind die prädiktive Instandhaltung („Predictive Maintenace“) des bzw. der Roboter(s) sowie die Überwachung auf Fehler im Prozess und/oder auf Fehler von Prozessprodukten.
Aufgabe der vorliegenden Erfindung ist es, robotergestützte Prozesse zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 10, 11 stellen ein System bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung werden zur Überwachung bei einem robotergestützten Prozess, der vorliegend ohne Beschränkung der Allgemeinheit als erster Prozess bezeichnet wird, für diesen ersten Prozess oder auch einen anderen robotergestützten Prozess, der vorliegend ohne Beschränkung der Allgemeinheit als zweiter Prozess bezeichnet wird, (a.1) Prozessdaten erfasst; und (a.2) eine modellbasierte Bewertung mithilfe eines maschinell gelernten Modells auf Basis dieser erfassten Prozessdaten durchgeführt.
In einer Ausführung werden für mehrere Zyklen dieses robotergestützten ersten bzw. zweiten Prozesses jeweils
(a.1) Prozessdaten erfasst; und, in einer Ausführung in dem jeweiligen Zyklus, in einer anderen Ausführung nach mehreren Zyklen,
(a.2) die modellbasierte Bewertung (für den jeweiligen Zyklus) mithilfe des maschinell gelernten Modells auf Basis dieser erfassten Prozessdaten (des jeweiligen Zyklus) durchgeführt.
Wie einleitend erläutert, wird der Prozess in einer Ausführung mithilfe eines oder mehrerer Roboter durchgeführt. Der bzw. einer oder mehrere der Roboter weist/weisen in einer Ausführung (jeweils) einen mehr-, in einer Ausführung wenigstens fünf-, insbesondere wenigstens sechs-, in einer Ausführung wenigstens siebenachsigen Roboterarm und/oder eine stationäre oder mobile Basis auf.
Zusätzlich oder alternativ arbeitet/arbeiten in einer Ausführung in jedem der Zyklen der bzw. einer oder mehrere der Roboter (jeweils) das gleiche Programm ab, fährt/fahren in einer Ausführung (jeweils) die gleiche(n) Bahn(en) ab und/oder führt/führen (jeweils) die gleiche(n) Tätigkeiten durch, die insbesondere einen Bauteiltransport und/oder eine Bauteilbearbeitung umfassen können.
Für solche Prozesse, insbesondere Industrielle )Prozesse, ist die vorliegende Erfindung aufgrund des hohen Automatisierungsgrads besonders geeignet.
Die Bewertung umfasst in einer Ausführung eine zwei- oder mehrstufige Klassifikation, insbesondere eine Klassifikation in (die Klassen) {„fehlerfrei“ und „Fehler/Anomalie“} oder {„fehlerfrei“, „erste(r) Fehler/Anomalie“, „zweite(r) Fehler/Anomalie“ und gegebenenfalls noch eine oder mehrere weitere Fehler bzw. Anomalien}. Gleichermaßen kann die Bewertung in einer Ausführung auch einen Anomaliescore, eine voraussichtliche erforderliche Wartung oder anderes umfassen.
Nach einer Ausführung der vorliegenden Erfindung werden, sofern die in Schritt (a.2) durchgeführte modellbasierte Bewertung ein Überprüfungskriterium erfüllt, in einer Ausführung (zusätzlich) in Abhängigkeit von einer externen Bestätigung, in einer Ausführung nur, wenn sowohl die Bewertung das Überprüfungskriterium erfüllt als auch die externen Bestätigung vorliegt bzw. positiv ist: (b.1) eine Prüf-Bewertung mithilfe einer Prüfinstanz durchgeführt, in einer
Ausführung auf Basis der in Schritt (a.1) erfassten Prozessdaten, in einer anderen Ausführung unabhängig davon, in einer Weiterbildung auf Basis der in Schritt (a.2) verwendeten Prozessdaten, in einer anderen Weiterbildung unabhängig von in Schritt (a.2) verwendeten Prozessdaten, insbesondere (stattdessen) auf Basis anderer in Schritt (a.1) erfasster Prozessdaten bzw. eines anderen Teils der in Schritt (a.1) erfassten Prozessdaten oder auf Basis nicht in Schritt (a.1), in einer Ausführung stattdessen bei einer gesonderten Testfahrt oder dergleichen, erfasster Daten; und
(b.2) das maschinell gelernte Modell auf Basis dieser Prüf-Bewertung und in einer Ausführung auch der in Schritt (a.1) erfassten und/oder in Schritt (a.2) verwendeten (zugehörigen) Prozessdaten weiter trainiert.
In einer Weiterbildung werden für einen oder mehrere der oben genannten Zyklen jeweils, sofern die darin bzw. in dessen Schritt (a.2) durchgeführte modellbasierte Bewertung ein Überprüfungskriterium erfüllt, in einer Ausführung in Abhängigkeit von einer externen Bestätigung, in einer Ausführung nur, wenn sowohl die Bewertung das Überprüfungskriterium erfüllt als auch die externen Bestätigung vorliegt bzw. positiv ist:
(b.1) eine Prüf-Bewertung mithilfe einer Prüfinstanz durchgeführt, in einer Ausführung auf Basis der in diesem Zyklus bzw. dessen Schritt (a.1) erfassten Prozessdaten oder unabhängig davon, in einer Weiterbildung auf Basis der in diesem Zyklus bzw. dessen Schritt (a.2) verwendeten Prozessdaten, in einer anderen Weiterbildung unabhängig von in Schritt (a.2) verwendeten Prozessdaten, insbesondere (stattdessen) auf Basis anderer in Schritt (a.1) erfasster Prozessdaten bzw. eines anderen Teils der in Schritt (a.1) erfassten Prozessdaten oder auf Basis nicht in Schritt (a.1), in einer Ausführung stattdessen bei einer gesonderten Testfahrt oder dergleichen, erfasster Daten; und
(b.2) das Modell auf Basis dieser Prüf-Bewertung und in einer Ausführung auch der in dem (entsprechenden) Zyklus erfassten, in einer Ausführung in dessen Schritt (a.2) verwendeten, Prozessdaten weiter trainiert. Nach einer Ausführung der vorliegenden Erfindung werden anschließend an dieses weitere Training des maschinell gelernten Modells für den, gegebenenfalls erneut durchgeführten, ersten Prozess (in einer Ausführung einen oder mehrere weitere Zyklen des ersten Prozesses jeweils): (c.1 ) Prozessdaten erfasst;
(c.2) die modellbasierte Bewertung (für den jeweiligen Zyklus) mithilfe des weiter trainierten Modells auf Basis dieser erfassten Prozessdaten (des jeweiligen Zyklus) durchgeführt; und
(c.3) auf Basis dieser Bewertung eine Überwachung bei dem ersten Prozess durchgeführt.
Einer Ausführung der vorliegenden Erfindung liegt folgende Idee zugrunde:
Durch das weitere Trainieren des Modells auf Basis von Prozessdaten gemäß Schritt (b.2) kann die Performance des Modells und damit die Überwachung mithilfe des Modells in Schritt (c.3) verbessert werden. Dabei kann die Verwendung von Prozessdaten des ersten Prozesses, die in Schritt (a.1) erfasst werden, die spätere Überwachung in Schritt (c.3) verbessern, da das Modell prozessspezifisch weiter trainiert wird. Andererseits kann die Verwendung von Prozessdaten des zweiten Prozesses, die in Schritt (a.1) erfasst werden, vorteilhaft (weiteres) Training ohne komplette Abarbeitung des ersten Prozesses bereits zum Zweck des (weiteren) Trainings ermöglichen.
Wird in Schritt (b.2) das Modell auf Basis von Prüf-Bewertungen, insbesondere einem sogenannten „Labeln“, durch eine Prüfinstanz, beispielsweise einen Menschen, der einen Funktionszustand des Roboter überprüft oder Prozessprodukte manuell bewertet, weiter trainiert, kann dieses maschinelle Lernen signifikant verbessert werden. Entsprechend umfasst die Prüf-Bewertung in Schritt (b.1) in einer Ausführung ein Labeln mithilfe der, insbesondere durch die, Prüfinstanz.
Allerdings ist ein solches Labeln durch eine Prüfinstanz häufig aufwändig. So kann die Funktionszustandsüberprüfung eine eigene Testfahrt und/oder Demontage des Roboters erfordern, was die Produktivität beeinträchtigt. Auch die manuelle Bewertung von Prozessprodukten ist entsprechend aufwändig. Daher schlägt die vorliegende Erfindung in einer Ausführung vor, eine solche Prüf-Bewertung gezielt nur dann anzustoßen, wenn sie (voraussichtlich besonders) sinnvoll, insbesondere erforderlich und/oder besonders effizient bzw. effektiv, ist, was durch das Überprüfungskriterium entschieden wird.
Auf diese Weise kann in einer Ausführung ein Labeln gezielt(er) nur, insbesondere nur für einen Teil der Zyklen, durchgeführt werden. Dadurch kann in einer Ausführung einerseits die Performance des maschinell gelernten Modells bzw. die (Bewertung zur) Überwachung mithilfe des Modells verbessert und zugleich der Aufwand für das Labeln bzw. weitere Trainieren reduziert und damit in einer Ausführung die Produktivität erhöht werden.
Indem in einer Ausführung in Schritt (b.1) die Prüf-Bewertung mithilfe der Prüfinstanz auf Basis der in Schritt (a.2) verwendeten Prozessdaten durchgeführt wird, kann insbesondere der Aufwand zur Datenerfassung und/oder -Verwaltung, insbesondere -Speicherung, reduziert werden.
Indem in einer anderen Ausführung in Schritt (b.1) die Prüf-Bewertung mithilfe der Prüfinstanz unabhängig von den in Schritt (a.2) verwendeten Prozessdaten, insbesondere auf Basis anderer in Schritt (a.1) erfasster Prozessdaten bzw. eines anderen Teils der in Schritt (a.1 ) erfassten Prozessdaten oder auch stattdessen auf Basis anderer, in einer Ausführung bei einer gesonderten Testfahrt oder dergleichen, erfasster Daten durchgeführt wird, kann in einer Ausführung die Qualität der Prüf-Bewertung verbessert und/oder eine Diversität genutzt werden.
So kann beispielsweise ein Mensch als Prüfinstanz besonders vorteilhaft Bild-, Video- und/oder Audiodaten zur Prüf-Bewertung und das maschinell gelernte Modell zur modellbasierten Bewertung kinematische und/oder dynamische Daten des bzw. der Roboter(s) verwenden bzw. in Schritt (a.2) kinematische und/oder dynamische Roboterdaten für die modellbasierte Bewertung verwendet werden und in Schritt (b.1) eine Prüf-Bewertung mithilfe einer menschlichen Prüfinstanz auf Basis von erfassten Bildern, Audio- und/oder Videoaufzeichnungen oder dergleichen unabhängig von diesen Roboterdaten durchgeführt werden. Gleichermaßen kann beispielsweise auf Basis von bei einer gesonderten Testfahrt erfasster Daten eine vorteilhafte, insbesondere präzise(re), Prüf-Bewertung durchgeführt werden.
In einer Ausführung weist die Prüfinstanz einen oder mehrere Menschen auf. Dadurch können in einer Ausführung, insbesondere auch besonders komplexe, Prozesse vorteilhaft, insbesondere zuverlässig und/oder rasch und/oder ohne Verwendung der erfassten Prozessdaten, in Schritt (b.2) gelabelt werden.
Zusätzlich oder alternativ weist in einer Ausführung die Prüfinstanz wenigstens ein weiteres maschinell gelerntes Modell auf, wobei in einer Ausführung ein Bewerten durch dieses weitere maschinell gelernte Modell aufwändiger und/oder zuverlässiger ist als mithilfe des in Schritt (b.2) weiter trainierten Modells. Dadurch können in einer Ausführung auch Prozessdaten zum Labeln verwendet werden, die beispielsweise für einen Menschen schwer(er) zu oder nur mit hohem Aufwand interpretieren sind.
Zusätzlich oder alternativ ermittelt in einer Ausführung die Prüfinstanz einen oder mehrere Parameter, in einer Ausführung einen oder mehrere Parameter des bzw. eines oder mehrerer der Roboter(s), mit dem bzw. denen der jeweilige Prozess durchgeführt wird bzw. worden ist, und/oder einen oder mehrere Parameter des jeweilige Prozesses und/oder jeweilige Prozessproduktes, beispielsweise einen Reibungskoeffizienten eines Robotergetriebes oder dergleichen, wobei die Prüf-Bewertung in einer Ausführung auf Basis des bzw. der ermittelten Parameter durchgeführt wird.
Zusätzlich oder alternativ umfasst in einer Ausführung die Prüf-Bewertung eine von dem ersten und gegebenenfalls zweiten Prozess verschiedene Test- bzw.
Referenzfahrt bzw. -trajektorie des bzw. eines oder mehrerer der Roboter(s), mit dem bzw. denen der jeweilige Prozess durchgeführt wird bzw. worden ist. Dadurch kann in einer Ausführung die Anzahl solche eigener bzw. spezieller Testfahrten reduziert und so insbesondere die Produktivität erhöht werden. In einer Ausführung wird die Prüf-Bewertung mithilfe der Prüfinstanz auf Basis der bei einer solchen Test- bzw.
Referenzfahrt bzw. -trajektorie des bzw. eines oder mehrerer der Roboter(s) erfassten Daten durchgeführt. In einer Ausführung weisen die Prozessdaten und/oder die Daten, die bei der Prüf-Bewertung mithilfe der Prüfinstanz verwendet werden, Daten, insbesondere Zeitverläufe, von einem oder mehreren Roboter(n), mit dem bzw. denen der Prozess durchgeführt wird, auf. Diese Daten weisen in einer Ausführung kinematische Daten, insbesondere Posen und/oder Posenänderungen und/oder -änderungsraten, des bzw. der Roboter(s), in einer Ausführung Achsstellungen, -geschwindigkeiten und/oder -beschleunigungen und/oder Positionen und/oder Orientierungen wenigstens einer roboterfester Referenz wie des TCPs oder dergleichen, und/oder deren Geschwindigkeiten und/oder Beschleunigungen auf, insbesondere Zeitverläufe hiervon.
Zusätzlich oder alternativ weisen die Prozessdaten und/oder Daten, die bei der Prüf-Bewertung mithilfe der Prüfinstanz verwendet werden, in einer Ausführung dynamische Daten, insbesondere Kräfte, Drehmomente, Energien, Leistungen oder dergleichen, des bzw. der Roboter(s), in einer Ausführung Antriebskräfte, -drehmomente, -energien und/oder -leistungen, insbesondere - Spannungen und/oder -ströme, und/oder externe Kräfte und/oder Drehmomente auf, die in einer Ausführung mithilfe entsprechender roboterseitiger Sensoren ermittelt werden, insbesondere Zeitverläufe hiervon.
Solche (Prozess)Daten sind besonders für die Überwachung und ganz besonders die prädiktive Instandhaltung mithilfe des maschinell gelernten Modells geeignet.
In einer Ausführung weisen die Prozessdaten und/oder die Daten, die bei der Prüf-Bewertung mithilfe der Prüfinstanz verwendet werden, Daten, in einer Ausführung Bilddaten, eines oder mehrerer Prozessprodukte(s), das/die in dem jeweiligen Prozess, insbesondere dem jeweiligen Zyklus, gehandhabt, insbesondere transportiert und/oder bearbeitet, wird/werden, auf, insbesondere mithilfe des bzw. der Roboter(s) gehandhabt, insbesondere transportiert und/oder bearbeitet.
Zusätzlich oder alternativ weisen in einer Ausführung die Prozessdaten und/oder die Daten, die bei der Prüf-Bewertung mithilfe der Prüfinstanz verwendet werden,
Audio- und/oder Videodaten, insbesondere -aufnahmen, des jeweilige Prozesses auf. Solche (Prozess)Daten sind besonders für die Überwachung auf Fehler im Prozess und/oder Fehler von Prozessprodukten mithilfe des maschinell gelernten Modells besonders geeignet.
In einer Ausführung werden die Schritte (b.1), (b.2) für einen oder mehrere Zyklen nicht (mehr) durchgeführt, obwohl die darin durchgeführte modellbasierte Bewertung das Überprüfungskriterium erfüllt, sofern erfasst wird, dass ein, in einer Ausführung vorgegebenes, in einer Weiterbildung einstellbares, Abbruchkriterium erfüllt ist. Das Abbruchkriterium kann beispielsweise das Erreichen einer vorgegebenen, in einer Weiterbildung einstellbaren, Anzahl von Prüf-Bewertungen und/oder eines vorgegebenen, in einer Weiterbildung einstellbaren, Qualitäts- und/oder Konvergenz(aus)maßes des Modells, insbesondere ein Unterschreiten eines vorgegebenen, in einer Weiterbildung einstellbaren, Lernfortschritts, umfassen.
Somit wird in einer Ausführung das weitere Trainieren des Modells auf Basis von gezielt angestoßener Prüf-Bewertungen zu einem vorteilhaften Zeitpunkt beendet und dadurch die Produktivität (weiter) erhöht.
In einer Ausführung wird auf Basis der in Schritt (a.2) durchgeführten Bewertung (bereits) eine Überwachung bei dem Prozess(durchlauf) bzw. Zyklus durchgeführt, dessen Prozessdaten in Schritt (a.1) erfasst werden bzw. worden sind.
Dadurch können in einer Ausführung vorteilhaft in Schritt (a.2) zu Überwachungszwecken durchgeführte Bewertungen zusätzlich zum weiteren Trainieren in Schritt (b.2) genutzt werden. Zusätzlich oder alternativ kann hierdurch in einer Ausführung im laufenden Prozess auf ein Anschlägen der entsprechenden Überwachung vorteilhaft reagiert, in einer Ausführung die Bewertung durch die Prüf-Bewertung bzw. Prüfinstanz validiert bzw. kontrolliert und gegebenenfalls korrigiert werden. Dies ist besonders bei der Überwachung, insbesondere prädiktiven Instandhaltung, wenigstens eines Roboters zweckmäßig, mit dem der erste bzw. zweite Prozess durchgeführt wird.
In einer Ausführung werden die Schritte (a.1), (a.2) mehrfach durchgeführt, insbesondere für mehrere Zyklen des robotergestützten ersten bzw. zweiten Prozesses, und anschließend an diese mehrfache Durchführung, insbesondere nach diesen Zyklen, die Schritte (b1.), (b.2) auf Basis der dabei bzw. in den Zyklen gesammelten, in einer Ausführung gespeicherten, modellbasierten Bewertungen und gegebenenfalls Prozessdaten durchgeführt, in einer Ausführung eine oder mehrere der gesammelten, in einer Ausführung gespeicherten, modellbasierten Bewertungen und gegebenenfalls Prozessdaten auf Basis des Überprüfungskriteriums ausgewählt bzw. aus den gesammelten, in einer Ausführung gespeicherten, model I basierten Bewertungen und gegebenenfalls Prozessdaten diejenigen ausgewählt, bei denen die Bewertung das Überprüfungskriterium erfüllt, und für diese ausgewählten Prozess(durchläuf)e bzw. Zyklen, in einer Ausführung auf Basis der jeweiligen gespeicherten Prozessdaten, (jeweils) die Prüf-Bewertung bzw. Schritt (b.1) durchgeführt, die dann zum weiteren Trainieren des Modells in Schritt (b.2) verwendet wird.
Dadurch kann in einer Ausführung vorteilhaft das weitere Trainieren in Schritt (b.2) verbessert und/oder die Prüf-Bewertung in Schritt (b.1) effizienter durchgeführt werden. Dies ist besonders bei der Überwachung auf Fehler im ersten Prozess und/oder von Prozessprodukten des ersten Prozesses zweckmäßig,
Wie bereits erläutert, ist die vorliegende Erfindung besonders für die Überwachung von Robotern und ganz besonders die prädiktive Roboterinstandhaltung sowie die Prozessüberwachung auf Fehler im Prozess und/oder von Prozessprodukten geeignet, ohne jedoch hierauf beschränkt zu sein. Entsprechend weist die in Schritt (c.3) durchgeführte Überwachung und gegebenenfalls auch die Überwachung, die auf Basis der in Schritt (a.2) durchgeführten Bewertung(en) durchgeführt wird, in einer Ausführung eine Überwachung, in einer Weiterbildung eine prädiktive Instandhaltung, eines oder mehrerer Roboter(s), mit dem/denen der Prozess durchgeführt wird, und/oder eine Überwachung auf Fehler im Prozess und/oder von Prozessprodukten auf.
In einer Ausführung ist das Überprüfungskriterium derart vorgegeben, dass die modellbasierte Bewertung das Überprüfungskriterium erfüllt, falls sie einen bestimmten Fehler oder eine vorgegebene Wiederholungszahl des Fehlers, insbesondere das Auftreten des Fehlers in wenigstens einer vorgegebenen Anzahl von Zyklen, er- bzw. ausgibt bzw. wertet. Ein bestimmter Fehler kann insbesondere eine vorgegebene Fehlerart oder Gruppe von Fehlerarten sein, aber auch jeglichen möglichen Fehler umfassen. Mit anderen Worten ist das Überprüfungskriterium in einer Ausführung derart vorgegeben, dass die modellbasierte Bewertung das Überprüfungskriterium erfüllt, falls sie einen Fehler einer vorgegebenen Fehlerart oder Gruppe von Fehlerarten oder eine vorgegebene Wiederholungszahl hiervon wertet bzw. er- bzw. ausgibt, in einer anderen Ausführung derart, dass die modell basierte Bewertung das Überprüfungskriterium erfüllt, falls sie irgendeinen Fehler oder eine vorgegebene Wiederholungszahl hiervon wertet bzw. er- bzw. ausgibt. Ein Fehler im Sinne der vorliegenden Erfindung kann insbesondere ein aktuell( bereits vorliegend)er oder auch ein prognostizierter bzw. sich abzeichnender Fehler sein.
In einer Ausführung wird ein Alarm ausgegeben, falls die modellbasierte Bewertung das Überprüfungskriterium erfüllt bzw. einen bestimmten Fehler wertet. Hierdurch kann in einer Ausführung die Sicherheit erhöht werden.
In einer besonders bevorzugten Anwendung wird somit mithilfe eines maschinell gelernten Modells auf Basis, in einer Ausführung in Zyklen, erfasster Prozessdaten eine modellbasierte Bewertung eines oder mehrerer Roboter(s), mit dem/denen der Prozess durchgeführt wird, durchgeführt, und auf Basis dieser Bewertung eine Überwachung, insbesondere eine prädiktive Instandhaltung, des bzw. der Roboter(s), insbesondere eine Diagnose eines Zustands des bzw. der Roboter(s) und/oder eine Prognose einer Fehlfunktion, insbesondere eines Ausfalls, des bzw. der Roboter(s), durchgeführt.
Dabei wird in einer Ausführung (für wenigstens einen der Zyklen), sofern die modellbasierte Bewertung einen bestimmten Fehler oder eine vorgegebene Wiederholungszahl des Fehlers bzw. ausgibt bzw. wertet, ein Prüf-Bewertung mithilfe einer Prüfinstanz durchgeführt, wobei in einer Ausführung hierzu der bzw. die Roboter eine von dem Prozess bzw. Zyklus abweichende Testfahrt durchführt/durchführen und/oder demontiert wird/werden. In einer Ausführung wird infolge der Bewertung bzw. Ausgabe des bestimmten Fehlers ein Alarm ausgegeben und/oder die Prüf-Bewertung in Abhängigkeit von der externen Bestätigung durchgeführt, insbesondere nur, wenn auch die externen Bestätigung vorliegt bzw. positiv ist. In einer Ausführung wird anschließend das maschinell gelernte Modell auf Basis dieser Prüf-Bewertung, insbesondere auf Basis der in Schritt (a.1) erfassten und in Schritt (b.1) durch die Prüfinstanz gelabelten Prozessdaten, weiter trainiert (Schritt (b.2) und anschließend bei der weiteren Überwachung verwendet (Schritte (c.1)-(c.3)).
Dadurch werden in einer Ausführung solche aufwändige(re)n Prüf-Bewertungen nur bei Bedarf bzw. einem (vermeintlichen) Fehlerfall durchgeführt bzw. angestoßen. Dabei kann es gleichermaßen vorgesehen sein, bei jedem durch die model I basierte Bewertung gewerteten Fehler die Prüf-Bewertung durchzuführen oder auch nur bei bestimmten, beispielsweise schwerwiegende(re)n, insbesondere gefährlichen, und/oder nur durch Testfahrten bzw. Demontage zuverlässig erkennbaren Fehlern.
In einer Ausführung ist das Überprüfungskriterium derart vorgegeben, dass die modellbasierte Bewertung mithilfe des Modells auf Basis erfasster Prozessdaten das Überprüfungskriterium erfüllt und die model I basierte Bewertung mithilfe desselben Modells auf Basis anderer erfasster Prozessdaten das Überprüfungskriterium nicht erfüllt, wobei diese Prozessdaten ohne Beschränkung der Allgemeinheit als erste bzw. zweite Prozessdaten bezeichnet werden und wobei ein zu erwartender Informationsgewinn bei weiterem Training des Modells auf Basis der ersten Prozessdaten größer als bei weiterem T raining des Modells auf Basis der zweiten Prozessdaten ist.
In einer Ausführung wird bzw. ist der zu erwartende Informationsgewinn mittels Uncertainty Sampling, Query-By-Committee, Expected Model Change, Expected Error Reduction, Variance Reduction, Density-Weighted Methods oder dergleichen bestimmt, wie sie beispielsweise in Burr Settles: Active Learning Literature Survey, Computer Sciences Technical Report 1648, University of Wisconsin-Madison, 2009 mit weiteren Nachweisen beschrieben sind, wobei ergänzend auf diesen Artikel und die darin genannten weiteren Literatur Bezug genommen und dessen/deren Inhalt vollständig in die vorliegende Offenbarung einbezogen wird. So kann entsprechend in einer Ausführung eine model I basierte Bewertung das Überprüfungskriterium erfüllen, wenn ihre Zuverlässigkeit ein vorgegebenes Mindestmaß unterschreitet oder die bei weiterem Training des Modells auf Basis der entsprechenden Prozessdaten erwartete Änderung des Modells bzw. dessen erwartetet Irrtumsreduktion ein vorgegebenes Mindestmaß überschreitet oder dergleichen. In einer besonders bevorzugten Anwendung wird somit mithilfe eines maschinell gelernten Modells auf Basis, in einer Ausführung in Zyklen, erfasster Prozessdaten, in einer Ausführung während die Zyklen durchgeführt werden oder nachdem die Zyklen durchgeführt worden und die erfasster Prozessdaten abgespeichert worden sind, eine modellbasierte Bewertung des bzw. der (Produkts/-e des bzw. der) Prozesse(s) bzw. Zyklus/Zyklen, in einer Ausführung der Qualität bzw. Güte, durchgeführt, und in einer Ausführung auf Basis dieser Bewertung (bereits) eine Überwachung auf Fehler im Prozess und/oder Fehler von Prozessprodukten durchgeführt, beispielsweise (als) fehlerhaft bewerte)e Prozessprodukten aussortiert und/oder nachbearbeitet und/oder Prozessparameter angepasst oder dergleichen.
Dabei wird in einer Ausführung für wenigstens einen der Zyklen, sofern ein zu erwartender Informationsgewinn bei weiterem Training des Modells auf Basis der in diesem Zyklus erfassten Prozessdaten ein vorgegebenes Mindestmaß übersteigt und/oder größer als bei anderen Zyklen ist, ein Prüf-Bewertung mithilfe einer Prüfinstanz und vorzugsweise auf Basis der in dem Zyklus erfassten Prozessdaten durchgeführt, wobei in einer Ausführung hierzu der Prozess und/oder das Prozessprodukt, insbesondere ein Bild, in einer Ausführung eine Audio- und/oder Videoaufnahme, des Prozesses und/oder Prozessproduktes, durch die Prüfinstanz, in einer Ausführung einen Menschen und/oder ein weiteres maschinell gelerntes Modell, bewertet wird/werden. In einer Ausführung werden dabei für die modellbasierte Bewertung und die Prüf-Bewertung dieselben Prozessdaten verwendet, beispielsweise kann das weitere maschinell gelernte Modell dieselben Prozessdaten verwenden, die in Schritt (a.2) verwendet worden sind. In einer anderen Ausführung werden für die modellbasierte Bewertung und die Prüf-Bewertung unterschiedliche Prozessdaten verwendet, beispielsweise können das weitere maschinell gelernte Modell oder ein Mensch als Prüfinstanz Bild-, Audio und/oder Videodaten verwenden und das in Schritt (b.2) weiter trainierte maschinell gelernte Modell stattdessen in Schritt (a.2) kinematische und/oder dynamische Roboterdaten oder dergleichen verwenden.
Dadurch kann in einer Ausführung das weitere Training eines maschinell gelernten Modells für bzw. bei eine(r) Überwachung bei einem zyklischen robotergestützten Prozess auf Fehler im Prozess und/oder von Prozessprodukten bzw. die erzielte Performance verbessert werden. In einer Ausführung wird das Modell vor Schritt (c.1) zusätzlich auf Basis erfasster Prozessdaten, in einer Weiterbildung der in wenigstens einem der Schritte (a.1) erfassten Prozessdaten, weiter trainiert, ohne dass dabei eine Prüf-Bewertung mithilfe der Prüfinstanz berücksichtigt, in einer Ausführung überhaupt durchgeführt, wird.
Somit werden in einer Ausführung (in Schritt (b.1)) gelabelte Prozessdaten und ungelabelte Prozessdaten (aus wenigstens einem Schritt (a.1)) gemeinsam verwendet Dadurch kann in einer Ausführung das weitere Training eines maschinell gelernten Modells bzw. dessen Performance verbessert werden.
In einer Ausführung wird Schritt (a.1) und/oder (c.1) während des jeweiligen Prozess(durchlauf)es bzw. Zyklus durchgeführt, beispielsweise Daten, insbesondere Zeitverläufe, wenigstens eines Roboters, mit dem der Prozess durchgeführt wird, und/oder Audio- und/oder Videodaten, insbesondere -aufnahmen, des jeweilige Prozesses erfasst und gegebenenfalls abgespeichert, oder am Ende des Zyklus oder danach durchgeführt, beispielsweise Daten, insbesondere Bilddaten, wenigstens eines Prozessprodukts erfasst und gegebenenfalls abgespeichert.
In einer Ausführung wird Schritt (a.2), (c.2) und/oder (c.3) während des jeweiligen Prozess(durchlauf)es bzw. Zyklus durchgeführt. Dadurch kann insbesondere eine Roboterüberwachung, insbesondere eine prädiktive Instandhaltung, frühzeitig auf beginnende Fehlfunktionen reagieren.
In einer Ausführung wird Schritt (a.2), (c.2) und/oder (c.2) am Ende des jeweiligen Prozess(durchlauf)es bzw. Zyklus oder danach, in einer Ausführung (erst) nach mehreren Prozess(durchläuf)en bzw. Zyklen, durchgeführt. Dadurch kann insbesondere ein Trainieren und/oder eine Überwachung auf Fehler im Prozess und/oder von Prozessprodukten verbessert und/oder parallel bereits der nächste Zyklus begonnen und dadurch die Produktivität verbessert werden.
In einer Ausführung wird Schritt (b.1) und/oder Schritt (b.2) nach dem jeweiligen Prozess(durchlauf) bzw. Zyklus, auf Basis dessen Prozessdaten die Prüf-Bewertung durchgeführt wird, in einer Weiterbildung unmittelbar nach dem Prozess(durchlauf) bzw. Zyklus, in einer anderen Weiterbildung nach mehreren Prozess(durchläuf)en bzw. Zyklen durchgeführt. Durch eine Durchführung unmittelbar nach dem Zyklus kann insbesondere eine prädiktive Instandhaltung frühzeitig auf beginnende Fehlfunktionen reagieren, durch eine Durchführung nach mehreren Zyklen insbesondere ein Trainieren verbessert werden.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
Mittel, um für den ersten oder einen robotergestützten zweiten Prozess:
(a.1) Prozessdaten zu erfassen; und
(a.2) eine modellbasierte Bewertung mithilfe eines maschinell gelernten Modells auf Basis dieser erfassten Prozessdaten durchzuführen;
Mittel, um, sofern diese durchgeführte modellbasierte Bewertung ein Überprüfungskriterium erfüllt, insbesondere in Abhängigkeit von einer externen Bestätigung:
(b.1) eine Prüf-Bewertung mithilfe einer Prüfinstanz, insbesondere auf Basis dieser erfassten Prozessdaten oder unabhängig davon, in einer Weiterbildung auf Basis der in Schritt (a.2) verwendeten Prozessdaten, in einer anderen Weiterbildung unabhängig von in Schritt (a.2) verwendeten Prozessdaten, insbesondere (stattdessen) auf Basis anderer in Schritt (a.1) erfasster Prozessdaten bzw. eines anderen Teils der in Schritt (a.1) erfassten Prozessdaten oder auf Basis nicht in Schritt (a.1), in einer Ausführung stattdessen bei einer gesonderten Testfahrt oder dergleichen, erfasster Daten, durchzuführen; und
(b.2) das maschinell gelernte Modell auf Basis dieser Prüf-Bewertung weiter zu trainieren; und Mittel, um anschließend für den, gegebenenfalls erneut durchgeführten, ersten Prozess:
(c.1 ) Prozessdaten zu erfassen;
(c.2) die modellbasierte Bewertung mithilfe des weiter trainierten Modells auf Basis dieser erfassten Prozessdaten durchzuführen; und
(c.3) auf Basis dieser Bewertung eine Überwachung bei dem ersten Prozess durchzuführen.
In einer Ausführung weist das System bzw. sein(e) Mittel auf: Mittel zum Durchführen einer Überwachung bei dem Prozess, dessen Prozessdaten in Schritt (a.1) erfasst werden, auf Basis der in Schritt (a.2) durchgeführten Bewertung; und/oder
Mittel zum mehrfachen Durchführen der Schritte (a.1), (a.2) und Durchführen der Schritte (b1.), (b.2) anschließend an diese mehrfache Durchführung auf Basis der dabei gesammelten model I basierten Bewertungen und gegebenenfalls Prozessdaten; und/oder
Mittel zum weiteren Trainieren des Modells vor Schritt (c.1) zusätzlich auf Basis erfasster Prozessdaten, ohne dass dabei eine Prüf-Bewertung mithilfe der Prüfinstanz berücksichtigt, insbesondere durchgeführt, wird.
Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere eine Überwachung bei einem robotergestützten Prozess durchführen kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel. In einer Ausführung weist das System den Roboter auf.
In einer Ausführung weist das maschinell gelernte Modell wenigstens ein künstliches neuronales Netz auf. Solche maschinell gelernten Modelle sind für die vorliegende Erfindung insbesondere aufgrund ihres Lernverhaltens und/oder ihrer Präzision, Zuverlässigkeit und/oder Geschwindigkeit besonders vorteilhaft.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System nach einer Ausführung der vorliegenden Erfindung bei einem zyklischen robotergestützten Prozess;
Fig. 2: ein Verfahren zur Überwachung bei dem zyklischen robotergestützten Prozess nach einer Ausführung der vorliegenden Erfindung; und
Fig. 3: ein Verfahren zur Überwachung bei dem zyklischen robotergestützten Prozess nach einer weiteren Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt exemplarisch eine Roboter 10 mit einem Roboterarm 11 , der in einem Zyklus mit einem Werkzeug 12 jeweils ein Werkstück 20 bearbeitet, das auf einem Förderband 21 an- und ab- bzw. weitergefördert und nach Bearbeitung jeweils von einer Kamera 30 aufgenommen wird. Mit 13 ist eine Steuerung des Roboters 10 bezeichnet.
Fig. 2 zeigt ein Verfahren zur Überwachung bei dem zyklischen robotergestützten Prozess nach einer Ausführung der vorliegenden Erfindung.
In einem Schritt S10 wird ein Zyklus des mit Bezug auf Fig. 1 skizzierten robotergestützten Prozesses durchgeführt und dabei Prozessdaten, im Ausführungsbeispiel exemplarisch Antriebskräfte des Roboters 10 oder dergleichen, erfasst.
Mithilfe des vorab durch Trainieren des künstlichen neuronalen Netzes 13.1 maschinell gelernten Modells wird auf Basis dieser erfassten Prozessdaten eine modellbasierte Bewertung des Roboters zur prädiktiven Instandhaltung durchgeführt (Fig. 2: Schritt S20), wobei das Modell bzw. künstliche neuronale Netz 13.1 im Ausführungsbeispiel wiederum rein exemplarisch aufgrund der erfassten Antriebskräfte den Roboter 10 als aktuell fehlerfrei, nicht wartungsbedürftig oder als fehlerhaft bzw. wartungsbedürftig klassifiziert, d.h. die modellbasierte Bewertung zur Überwachung mithilfe des maschinell gelernten Modells einen Fehler er- bzw. ausgibt bzw. wertet.
Solange kein Fehler gewertet wird (S30: „OK“) und noch nicht alle vorgesehenen Zyklen durchgeführt worden sind (S40: „N“), wird der nächste Zyklus durchgeführt.
Sind alle vorgesehenen Zyklen durchgeführt worden (S40: „Y“), wird der Prozess beendet (Fig. 2: Schritt S50).
Falls ein Fehler gewertet wird (S30: „F“), wird ein Alarm ausgegeben (Fig. 2: Schritt S60).
Erfolgt daraufhin durch manuelle Eingabe eine externe Bestätigung (S70: „Y“), wird eine Prüf-Bewertung mithilfe einer Prüfinstanz durchgeführt (Fig. 2: Schritt S80) und das Modell auf Basis dieser Prüf-Bewertung weiter trainiert (Fig. 2: Schritt S85).
Hierzu wird beispielsweise eine Referenzfahrt mit dem Roboter durchgeführt, bei der bei fehlerhaften Robotern besonders signifikante Antriebskräfte auftreten oder dergleichen.
Auf Basis dieser Referenzfahrt bzw. dabei erfasster Daten führt eine Prüfinstanz beispielsweise in Form eines anderen maschinell gelernten Modells oder einer Signalverarbeitungsmethode eine Prüf-Bewertung durch bzw. labelt die in Schritt S10 erfassten Prozessdaten, die zu der Fehlermeldung geführt haben, entsprechend, wobei diese in einer Ausführung auch zwischen verschiedenen Fehlern des Roboters unterscheiden kann.
Auf Basis dieser Prüf-Bewertung wird das maschinell gelernte Modell bzw. künstliche neuronale Netz 13.1 weiter trainiert und anschließend gegebenenfalls der nächste Zyklus durchlaufen. Ohne externe Bestätigung (S70: „N“) wird im Falle des Alarms (S60) eine entsprechende Aktion durchgeführt, beispielsweise der Roboter repariert (S90).
In einer Abwandlung wird in Schritt S30 der „F“-Abzweig erst genommen, wenn eine vorgegebene Fehlerwertungs-Wiederholungszahl erreicht worden ist.
Man erkennt, dass das künstliche neuronale Netz 13.1 zunächst auf Basis der im normalen Arbeitsprozess erfassten Prozessdaten mehr Fehlalarme auslösen wird, insbesondere, wenn vorsorglich die Alarmschwelle anfangs niedrig gewählt ist.
Indem mithilfe der Referenzfahrten durch die Prüfinstanz die zutreffenden Alarme von den Fehlalarmen unterschieden und das künstliche neuronale Netz 13.1 auf Basis dieser Labelung weiter trainiert wird (Schritt S80), reduziert sich mit zunehmender Dauer die Anzahl der Fehlalarme.
Dabei werden diese Referenzfahrten vorteilhaft nur durchgeführt, wenn dies durch das künstliche neuronale Netz 13.1 getriggert wird bzw. dessen Bewertung einen Fehler des Roboters 10 signalisiert.
Fig. 3 zeigt ein Verfahren zur Überwachung bei dem zyklischen robotergestützten Prozess nach einer weiteren Ausführung der vorliegenden Erfindung.
In einem Schritt S11 werden mehrere Zyklen des mit Bezug auf Fig. 1 skizzierten robotergestützten Prozesses durchgeführt und dabei Prozessdaten, in diesem Ausführungsbeispiel Bilder der bearbeiteten Werkstücke von der Kamera 30, erfasst.
Diese werden dabei oder anschließend durch das bereits (vor)trainiert künstliche neuronale Netz 13.1 gelabelt, das das jeweilige Werkstück als „fehlerfrei“ oder „fehlerhaft“ klassifiziert (Fig. 3: Schritt S21). In einer anderen Ausführung kann das künstliche neuronale Netz 13.1 zusätzlich oder alternativ auch andere Daten, insbesondere kinematische und/oder dynamische Roboterdaten verwenden.
Das Bild des bearbeiteten Werkstücks von der Kamera 30 sowie die zugehörige Bewertung durch das künstliche neuronale Netz 13.1 (in der anderen Ausführung entsprechend die Roboterdaten) werden jeweils abgespeichert (Fig. 3: Schritt S31). Aus diesen gesammelten Prozessdaten und modellbasierten Bewertungen werden in einem Schritt S41 diejenigen Zyklen ausgewählt, bei denen die Zuverlässigkeit der Klassifikation ein vorgegebenes Mindestmaß unterschreitet, da ein weiteres Trainieren des künstlichen neuronalen Netzes 13.1 mit diesen Zyklen bzw. Bildern den größten Informationsgewinn erwarten lässt. In Abwandlungen können auch Informationsgewinn, Entropie oder dergleichen als Überprüfungskriterium verwendet werden bzw. dieses hiervon abhängen.
Diese ausgewählten Bilder werden durch den Menschen gelabelt (Schritt S51 ). Wenn in der oben genannten Abwandlung das künstliche neuronale Netz 13.1 kinematische und/oder dynamische Roboterdaten oder dergleichen verwendet, erfolgt somit die modellbasierte Bewertung und die Prüf-Bewertung auf Basis unterschiedlicher Prozessdaten, während alternativ auch dieselben Prozessdaten verwendet werden können.
In einem Schritt S61 wird das künstliche neuronale Netz 13.1 mit den in Schritt S21 gelabelten und zusätzlich den in Schritt S51 gelabelten Prozessdaten weiter trainiert.
Solange noch kein Abbruchkriterium erfüllt ist, beispielsweise der Lernfortschritt ein vorgegebenes Mindestmaß unterschreitet oder eine vorgegebene Wiederholungszahl erreicht ist (S71 : „N“), springt das Verfahren zurück zu Schritt S11.
Ist das Abbruchkriterium erfüllt (S71 : „Y“), wird das weitere Trainieren beendet und das künstliche neuronale Netz 13.1 zur Qualitätsüberwachung bei dem Prozess eingesetzt (Schritt S81).
Man erkennt, dass so das künstliche neuronale Netz 13.1 auf Basis der hierfür besonders geeigneten Bilder besonders effektiv (weiter) trainiert und dadurch seine Performance erheblich gesteigert wird.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
So können insbesondere zusätzlich zu den gelabelten auch ungelabelte Prozessdaten zum weiteren Training des künstlichen neuronalen Netzes 13.1 verwendet werden. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezugszeichenliste
10 Roboter
11 Roboterarm 12 Werkzeug
13 Steuerung
20 Werkstück
21 Förderband
30 Kamera

Claims

22 Patentansprüche Verfahren zur Überwachung bei einem robotergestützten ersten Prozess, wobei für den ersten oder einen robotergestützten zweiten Prozess: (a.1 ) Prozessdaten erfasst werden (S10; S11 ); und (a.2) eine modellbasierte Bewertung mithilfe eines maschinell gelernten Modells auf Basis dieser erfassten Prozessdaten durchgeführt wird (S20; S21); wobei, sofern diese durchgeführte modellbasierte Bewertung ein Überprüfungskriterium erfüllt, insbesondere in Abhängigkeit von einer externen Bestätigung,:
(b.1) eine Prüf-Bewertung mithilfe einer Prüfinstanz durchgeführt wird (S80;
S51); und
(b.2) das maschinell gelernte Modell auf Basis dieser Prüf-Bewertung weiter trainiert wird (S85; S61); und anschließend für den, gegebenenfalls erneut durchgeführten, ersten Prozess: (c.1 ) Prozessdaten erfasst werden (S10; S81 );
(c.2) die modellbasierte Bewertung mithilfe des weiter trainierten Modells auf Basis dieser erfassten Prozessdaten durchgeführt wird (S20; S81); und
(c.3) auf Basis dieser Bewertung eine Überwachung bei dem ersten Prozess durchgeführt wird (S30; S81). Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Prüfinstanz wenigstens einen Menschen und/oder wenigstens ein weiteres maschinell gelerntes Modell aufweist und/oder wenigstens einen Parameter ermittelt und/oder die Prüf-Bewertung eine von dem ersten und gegebenenfalls zweiten Prozess verschiedene Testfahrt wenigstens eines Roboters (10) umfasst, mit dem der jeweilige Prozess durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Prozessdaten und/oder die Daten, die bei der Prüf-Bewertung verwendet werden, Daten, insbesondere Zeitverläufe, wenigstens eines Roboters (10), mit dem der jeweilige Prozess durchgeführt wird, und/oder Daten, insbesondere Bilddaten, wenigstens eines Prozessprodukts (20) des jeweilige Prozesses und/oder Audio- und/oder Videodaten des jeweilige Prozesses aufweisen.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Basis der in Schritt (a.2) durchgeführten Bewertung eine Überwachung bei dem Prozess durchgeführt wird (S30), dessen Prozessdaten in Schritt (a.1) erfasst werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte (a.1 ), (a.2) mehrfach durchgeführt und anschließend an diese mehrfache Durchführung die Schritte (b1.), (b.2) auf Basis der dabei gesammelten modellbasierten Bewertungen durchgeführt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Überwachung eine Überwachung, insbesondere eine prädiktive Instandhaltung, wenigstens eines Roboters (10), mit dem der erste Prozess durchgeführt wird, und/oder eine Überwachung auf Fehler im ersten Prozess und/oder von Prozessprodukten (20) des ersten Prozesses aufweist.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Überprüfungskriterium derart vorgegeben ist, dass die model I basierte Bewertung das Überprüfungskriterium erfüllt, falls sie einen bestimmten Fehler oder eine vorgegebene Wiederholungszahl des Fehlers ergibt.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Überprüfungskriterium derart vorgegeben ist, dass die model I basierte Bewertung mithilfe des Modells auf Basis erster erfasster Prozessdaten das Überprüfungskriterium erfüllt und die modellbasierte Bewertung mithilfe desselben Modells auf Basis zweiter erfasster Prozessdaten das Überprüfungskriterium nicht erfüllt, wobei ein zu erwartender Informationsgewinn bei weiterem Training des Modells auf Basis der ersten Prozessdaten größer als bei weiterem Training des Modells auf Basis der zweiten Prozessdaten ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das das Modell vor Schritt (c.1) zusätzlich auf Basis erfasster Prozessdaten weiter trainiert wird, ohne dass dabei eine Prüf-Bewertung mithilfe der Prüfinstanz berücksichtigt, insbesondere durchgeführt, wird. System zur Überwachung bei einem robotergestützten ersten Prozess, das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:
Mittel, um für den ersten oder einen robotergestützten zweiten Prozess:
(a.1) Prozessdaten zu erfassen; und
(a.2) eine modellbasierte Bewertung mithilfe eines maschinell gelernten Modells auf Basis dieser erfassten Prozessdaten durchzuführen;
Mittel, um, sofern diese durchgeführte modellbasierte Bewertung ein Überprüfungskriterium erfüllt, insbesondere in Abhängigkeit von einer externen Bestätigung,:
(b.1) eine Prüf-Bewertung mithilfe einer Prüfinstanz durchzuführen; und
(b.2) das maschinell gelernte Modell auf Basis dieser Prüf-Bewertung weiter zu trainieren; und Mittel, um anschließend für den, gegebenenfalls erneut durchgeführten, ersten Prozess:
(c.1) Prozessdaten zu erfassen;
(c.2) die modellbasierte Bewertung mithilfe des weiter trainierten Modells auf Basis dieser erfassten Prozessdaten durchzuführen; und
(c.3) auf Basis dieser Bewertung eine Überwachung bei dem ersten Prozess durchzuführen. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
EP21762031.9A 2020-08-19 2021-08-12 Überwachung bei einem robotergestützten prozess Pending EP4200107A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020210530.8A DE102020210530A1 (de) 2020-08-19 2020-08-19 Überwachung bei einem robotergestützten Prozess
PCT/EP2021/072496 WO2022038039A1 (de) 2020-08-19 2021-08-12 Überwachung bei einem robotergestützten prozess

Publications (1)

Publication Number Publication Date
EP4200107A1 true EP4200107A1 (de) 2023-06-28

Family

ID=77519122

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21762031.9A Pending EP4200107A1 (de) 2020-08-19 2021-08-12 Überwachung bei einem robotergestützten prozess

Country Status (6)

Country Link
US (1) US20230311326A1 (de)
EP (1) EP4200107A1 (de)
KR (1) KR20230051532A (de)
CN (1) CN116324657A (de)
DE (1) DE102020210530A1 (de)
WO (1) WO2022038039A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2998894B1 (de) * 2005-07-11 2021-09-08 Brooks Automation, Inc. Intelligentes zustandsüberwachungs- und fehlerdiagnosesystem
WO2019216975A1 (en) * 2018-05-07 2019-11-14 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
JP6869755B2 (ja) 2017-03-07 2021-05-12 オークマ株式会社 状態診断装置
JP6698603B2 (ja) 2017-09-29 2020-05-27 ファナック株式会社 数値制御システム、及び運転状態異常検知方法
US12099344B2 (en) * 2017-11-03 2024-09-24 R4N63R Capital Llc Workspace actor selection systems and methods
CN107817787B (zh) * 2017-11-29 2020-04-28 华南理工大学 一种基于机器学习的智能产线机械手故障诊断方法
JP6810097B2 (ja) 2018-05-21 2021-01-06 ファナック株式会社 異常検出器

Also Published As

Publication number Publication date
DE102020210530A1 (de) 2022-02-24
US20230311326A1 (en) 2023-10-05
KR20230051532A (ko) 2023-04-18
CN116324657A (zh) 2023-06-23
WO2022038039A1 (de) 2022-02-24

Similar Documents

Publication Publication Date Title
DE102013010406B4 (de) Verfahren zur Diagnose von Bremsstörungen und Vorrichtung zur Diagnose von Bremsstörungen
DE102008021671A1 (de) Verfahren und Vorrichtung zur Überwachung eines Manipulators
DE102010048369A1 (de) Verfahren und Vorrichtung zur Sicherheitsüberwachung eines Manipulators
DE102016014989B4 (de) Kollisionsüberwachung eines Roboters
DE102008015948A1 (de) Verfahren und Vorrichtung zur Überwachung eines Manipulators
DE102018004437B4 (de) Vorrichtung und Verfahren für die Unterstützung der Detektion einer Kabelbeschädigung in einem Robotermechanismus
WO2021156328A1 (de) Betreiben einer applikation eines robotersystems
DE102017007909A1 (de) Produktionssteuerung, ausgestattet mit einer Funktion zur Identifizierung der Ursache nach einem Betriebsstop einer Produktionseinrichtung, die Fertigungseinrichtungen umfasst
EP2355957A1 (de) Verfahren und vorrichtung zum steuern eines manipulatorsystems
DE102014221798A1 (de) Verfahren und Robotersystem zur Nutzung eines Industrieroboters für Prüfaufgaben
DE102012011108A1 (de) Verfahren und Vorrichtung zum Steuern einer Manipulatoranordnung
WO2021219389A1 (de) Detektieren von störungen in roboteranordnungen
WO2022038039A1 (de) Überwachung bei einem robotergestützten prozess
DE102021126188B4 (de) Überwachungsverfahren für einen Roboter und zugehörige Roboteranlage
EP3710207B1 (de) Qualitätssicherung eines prozesses
EP2479630A1 (de) Verfahren zur kollisionsfreien Überführung einer Anlage aus einem Scheinausmodus in einen Betriebsmodus
EP2864845B1 (de) Automatisierte rekonfiguration eines ereignisdiskreten regelkreises
EP3955077A1 (de) Steuerungseinrichtung einer betriebsanlage
DE102022205357A1 (de) Verfahren zum Überprüfen einer bewegbaren Komponente einer technischen Vorrichtung
DE102021102206A1 (de) Autonomer mobiler Roboter mit Fehlererkennung und Verfahren zum Betrieb eines autonomen mobilen Roboters mit Fehlererkennung
WO2021028209A1 (de) Emergente risiken eines technischen systems
DE102015222168A1 (de) Verfahren und computerprogramm zur korrektur von fehlern eines manipulatorsystems
DE102022205351A1 (de) Verfahren zum Überprüfen einer technischen Vorrichtung
DE102021209867A1 (de) Bewerten und/oder Steuern eines Roboterarbeitsprozesses
DE102022205349A1 (de) Verfahren zum Erzeugen eines Sicherheitsprogramms für eine Recheneinheit einer technischen Vorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230213

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: APP_33453/2024

Effective date: 20240605