EP4449217A1 - Zuweisen einer aufgabe an einen örtlich entfernten experten - Google Patents

Zuweisen einer aufgabe an einen örtlich entfernten experten

Info

Publication number
EP4449217A1
EP4449217A1 EP22835794.3A EP22835794A EP4449217A1 EP 4449217 A1 EP4449217 A1 EP 4449217A1 EP 22835794 A EP22835794 A EP 22835794A EP 4449217 A1 EP4449217 A1 EP 4449217A1
Authority
EP
European Patent Office
Prior art keywords
expert
task
instruction
location
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22835794.3A
Other languages
English (en)
French (fr)
Inventor
Niklas Brandt
Nils Kessler
Christian Kiefer
Yannick Wehmann
Gero Jacob Corman
Timm SCHULZ-ISENBECK
Lukas Lehmann
Martin Kumke
Miriam HERMANN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP4449217A1 publication Critical patent/EP4449217A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the program is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/427—Teaching successive positions by tracking the position of a joystick or handle to control the positioning servo of the tool head, leader-follower control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40153—Teleassistance, operator assists, controls autonomous robot

Definitions

  • the invention relates to a method for determining and assigning a task to a remote expert and a corresponding computer program, a device and a system.
  • a method for remote control of a mobile robot and an intuitive user interface for remote control of a mobile robot are known from US Pat. No. 6,535,793 B2.
  • the user is able to select a destination within a heads-up display to move a mobile robot to.
  • Additional graphical overlays are provided to help the user navigate even in systems with asynchronous communication.
  • the disadvantage here is that the method is not suitable for determining a suitable geographically distant expert.
  • the disclosed method does not allow automated error estimation.
  • Document CN 11 145 9274 A discloses a teleoperation method for an unstructured environment based on 5G+AR.
  • the method comprises the following steps: first, performing a rapid three-dimensional reconstruction on an unstructured environment in which a robot resides and imaging a reconstructed one scene into a virtual reality space, and then capturing a user's gesture action, creating a virtual model of the user's hand, and mapping the gesture action into the virtual reality space, thereby realizing an interaction between the user and the virtual object; finally, the introduction of assistive technology to help the user finish the teleoperation work more accurately and quickly.
  • the disadvantage here is that the disclosed method is limited to an improvement of a three-dimensional reconstruction; the disclosure is silent with regard to an automated error assessment and/or the determination of a suitable, geographically distant expert.
  • a robot operates in an autonomous mode of operation, in which the robot performs one or more tasks autonomously without human intervention.
  • the robot realizes that no strategy is available to perform a next task autonomously.
  • the robot enters a human intervention mode of operation.
  • the disadvantage is that no strategy is provided for selecting a suitable expert for operating the robot in the human intervention operating mode.
  • the reference only discloses entering the human intervention mode of operation and not further specifying asking for help.
  • augmented reality systems and methods for human-robot communication are disclosed in the published application US 2021/0094 180 A1.
  • some embodiments use augmented reality to facilitate robot intent communication and teleoperation in human-robot cooperative environments.
  • Various embodiments of the present technology provide middleware that integrates augmented reality with novel teleoperation interfaces to increase operational effectiveness, assist the user in performing concurrent work, and reduce stress.
  • Various embodiments provide predictive graphical interfaces so that a teleoperator controls a virtual robot surrogate rather than directly operating the robot itself, giving the user a prediction of where the physical robot will end up and how it will get there.
  • using such a surrogate a user can choose between two AR interfaces: one focused on real-time control and one inspired by waypoint delegation.
  • the disadvantage here is that the teaching disclosed relates to an improvement in control of a robot, the disclosure is silent regarding determining a suitable geographically remote expert
  • the invention is now based on the object of specifying a possibility of determining a suitable expert quickly and reliably.
  • the expert should be determined automatically and preferably be able to process a given task teleoperatively.
  • an apparatus for determining and assigning a task to a remote expert comprising: an input interface for receiving status data with information on a status that requires processing and/or task data with information on a defined task; an analysis unit for determining a suitable expert for the task based on the status data and/or the task data and expert information from an expert database and an output interface for transmitting expert data with information regarding the suitable expert, the analysis unit being designed to automatically identify the suitable expert determine.
  • a system for completing a task at a task location by a remote expert at an instruction location comprising: a detection unit for detecting an expert instruction at the instruction location regarding the task to be processed at the task location; a transmission unit for transmitting the expert instruction from the instruction location to the task location; and an execution unit for executing the transmitted expert instruction at the task location.
  • any arrangements for processing the task that can be performed at the execution site can be performed efficiently and quickly.
  • Transmission of the defined task to a backlog system allows for efficient task management, which can in particular be managed, maintained and operated centrally.
  • the automated determination of a suitable expert for the task enables the task to be quickly assigned to an expert.
  • human assignment is preferably no longer necessary. Costs can be saved and efficiency increased.
  • allocation times can be shortened.
  • Working through the task by the expert, with the expert staying remotely at an instruction location enables the task to be completed quickly.
  • the expert can preferably start working on the task directly and does not have to travel to the task location. Furthermore, the expert does not have to instruct any other employees at the task location.
  • a front-end interface can provide a cost-effective device that can preferably be used with existing systems, modules, and units.
  • An input interface can be wired and/or wireless and preferably support one or more communication protocols.
  • a suitable expert can be determined quickly and reliably by means of an analysis unit.
  • An output interface enables a cost-efficient device that can preferably be used with existing storage or backlog systems, in particular cloud storage.
  • the device can also be created, at least in part, purely by software.
  • the detection of a state that requires processing and preferably the definition of a task is carried out by an IOT-enabled device. This allows the status to be recorded directly by the device itself. Furthermore, an exact detection of the status and an unambiguous definition of the task take place. A corresponding state is detected quickly, reliably and directly.
  • An IOT-enabled device is characterized in particular by having a—in particular wireless—communications interface with which data can be exchanged with other devices having a communications interface and/or central-side servers. This preferably happens via the Internet and/or wireless communication networks such as 5G.
  • the task includes digital manipulation and the processing of the task by the expert preferably includes representing a digital twin of the environment in which the task occurs, the expert preferably moving virtually in the digital twin and/or can act with the digital twin, wherein an interaction of the expert with the digital twin is translated into a real control instruction of the IOT-enabled device.
  • This preferably means that the expert does not need to have any remote maintenance knowledge in order to process the task teleoperatively. The expert does not require any special training but can work through the task as if he were at the task location.
  • the task includes a mechanical manipulation and the processing of the task by the expert preferably includes controlling an at least partially autonomous humanoid robot, with a 360-degree camera image from the perspective of the humanoid robot being particularly preferred is transmitted to the expert's VR glasses and an expert instruction in the form of a movement of the expert at the instruction location, in particular in real time, is repeated by the humanoid robot at the execution location.
  • an intuitive control for a humanoid robot is provided, which allows an expert to work through the task, preferably without prior knowledge of robot control. The expert does not require any special training but can process the task as if he were at the task location.
  • communication between the place of execution and the place of instruction takes place by means of a wireless network, in particular a 5G network.
  • a wireless network in particular a 5G network.
  • secure and fast communication can be achieved, which can be set up wirelessly in particular.
  • an AI preferably based on a processing and evaluation history of the expert
  • individual tasks being particularly preferably prioritized based on the additional costs incurred.
  • a class and a processing and evaluation history make it possible that with each determination of an expert and processing of a task, the next determination of the expert can take place in an improved manner.
  • a learning system can be created that becomes faster and more reliable with increasing operating time.
  • the data recorded in this way are intended as input data for the class to decide on the selection of the expert for future tasks. For this purpose, they are made available to the AI system by means of IOT transmission.
  • the following step is provided: evaluating how successfully the task was processed, preferably based on the duration of processing, processing costs and/or error recurrence, with the evaluation particularly preferably being stored in an expert database.
  • an expert can be selected more precisely in the future.
  • a database can be used to create expert profiles for various experts, so that the most suitable expert can be determined from a large number of experts.
  • a suitable expert can not only be determined based on successful completion of the task or the duration, but the costs can also be optimized, for example. If a wide time window is available for completing the task, a slower expert who causes less costs for this can be selected, for example.
  • Machine learning or machine learning is a generic term for the "artificial" or machine generation of knowledge from experience: An artificial system learns from examples and can generalize them after the learning phase has ended. To do this, machine learning algorithms build a statistical model based on training data. This means that the examples are not simply learned by heart, but that patterns and regularities are recognized in the learning data. The system can also assess unknown data, a so-called learning transfer, or fail to learn unknown data, for example due to overfitting.
  • 5G refers to the fifth generation of mobile communications and is a mobile communications standard that has been gaining popularity since 2019. 5G is based on the existing "Long Term Evolution" standard - LTE. The radio cells will probably be expanded more closely with 5G in cities than with previous technologies. It also offers improvements in terms of real-time capability due to reduced latencies and higher reliability.
  • a humanoid robot is a highly developed mechanical being, more precisely a robot whose construction is based on the human form.
  • the positions of the joints and the movement sequences of a humanoid robot are often inspired by the human joint positions and movement sequences.
  • a humanoid robot mostly walks on two legs. It goes without saying that another form of locomotion by means of wheels or chains is also conceivable.
  • a form of humanoid robot that is particularly similar to humans in terms of appearance and behavior is the android.
  • PLM is a management approach and includes the holistic management of all data and information that is processed and distributed when developing new products or updating existing ones.
  • VR virtual reality
  • IOT Internet of Things
  • All-Network Internet of Things is preferably a collective term for technologies of a global infrastructure of the information societies, which makes it possible to network physical and virtual objects with each other and to let them work together through information and communication technologies.
  • Figure 1 is a schematic representation of a device for determining
  • FIG. 2 shows a schematic representation of a system for processing a task at a task location by a remote expert at an instruction location;
  • Figure 3 is a schematic representation of an expert working on a
  • FIG. 4 shows a schematic representation of a humanoid robot performing an activity at a task location
  • Figure 5 is a schematic representation of the determination and assignment of a
  • Figure 6 is a schematic representation of the steps of an inventive
  • Figure 1 shows schematically an apparatus 10 for determining and assigning a task to a remote expert.
  • the device 10 comprises an input interface 12, an analysis unit 14 and an output interface 16.
  • the input interface 12 is designed to receive status data with information about a status that requires processing and/or task data with information about a defined task.
  • the status data can be, for example, an error message from a machine, a written error report from a worker on site, a request for maintenance on a machine, in particular as part of a predictive maintenance program, or the like.
  • the input interface 12 can be designed for wireless communication or be connected to a proprietary transmission network, for example a wired transmission network.
  • the analysis unit 14 is designed to process and analyze the status data and/or task data.
  • the analysis unit 14 determines a suitable expert for the task based on the status data and/or the task data and expert information from an expert database.
  • the expert information can include, for example, information relating to the duration of the processing of past tasks, processing costs and/or a recurrence of errors, each relating to past tasks processed by the expert.
  • the analysis unit 14 can determine a suitable expert using artificial intelligence. This can be done, for example, because the expert has successfully completed similar tasks in the past and/or is currently available or will be available soon.
  • the output interface 16 is designed to transmit expert data with information regarding the appropriate expert. For example, an e-mail can be sent to the appropriate expert. It goes without saying that a ticket system or other methods known in principle from the prior art are also conceivable.
  • the output interface 16 can be designed analogously to the input interface 12 for communication. It goes without saying that the input interface 12 and the output interface 16 can also be designed in combination as a communication interface for sending and receiving.
  • Figure 2 shows a schematic representation of a system 18 according to the invention for processing a task at a task location by a remote expert at an instruction location with a detection unit 20 for detecting an expert instruction at the instruction location for processing a task at a task location, a transmission unit 28 for transmitting the expert instruction from the instruction location to the task location and an execution unit 30 for executing the transmitted expert instruction at the task location.
  • the detection unit 20 can in particular communicate with an observation unit 22 comprising a radar and/or lidar sensor and/or a camera, a sensor glove 24 and/or a sensor suit (not shown). It goes without saying that other units such as a smartphone are also conceivable. For reasons of clarity, no other units are shown in the drawing. It is also understood that the detection unit 20 can also be combined with the aforementioned units.
  • the detection unit 20 can in particular be designed to transmit information to the expert by means of an AR display device or a VR display device, in particular VR glasses 26 .
  • the information can in particular include a 360-degree camera image of the task location and can be supplemented by sensor information, construction plans or the like.
  • the transmission unit 28 can in particular be designed to transmit the expert instruction from the instruction location, preferably the detection unit 20, to the task location, preferably the execution unit 30, using 5G.
  • the transmission unit 28 may comprise a transceiver at the instruction site and another transceiver at the task site.
  • the execution unit 30 can communicate in particular with a humanoid robot 32 or a control unit 34 of a system, in particular an IOT-capable device. It goes without saying that other units are also conceivable. It is also understood that the execution unit 30 can also be combined with the aforementioned units.
  • the information for the VR display device can include a 360-degree camera image from the perspective of the humanoid robot 32 . It is also conceivable for the humanoid robot 32 to move autonomously to the location of the task to be processed before the start of processing the task.
  • FIG. 3 shows an expert 36 generating an expert instruction at an instruction location.
  • the information refers to members of either gender.
  • the expert 36 carries out an activity at the instruction location in a virtual environment.
  • the expert 36 is recorded by one or more observation units 22:
  • the expert can also wear a sensor glove 24 or a VR input device and/or a sensor suit 38, with the system 18 (not shown) generating expert instructions from the activity of the expert 36 and these transmitted to an execution unit 30 at the task site.
  • a digital twin of the environment in which the task occurs is preferably shown, in which the expert 36 can move virtually and/or act with the digital twin, an interaction of the expert 36 with the digital twin being translated into a real control instruction.
  • a task location is shown schematically in FIG.
  • the machine 40 may have generated an error message, with the expert 36 supposed to correct the error in question.
  • the error message can be processed as already described above.
  • Various interaction models can be selected.
  • the expert 36 can generate an expert instruction, as previously described, which is transmitted to the system control unit 34 and changes a setting on the system so that the fault is corrected.
  • the expert 36 can control a humanoid robot 32 at the task site using expert instructions and make mechanical changes to the system using the humanoid robot 32 .
  • Determining and assigning a task to a remote expert 36 is shown schematically in FIG.
  • a plurality of machines 40 can be monitored, for example, by means of a predictive maintenance class 42, with maintenance of a machine 40 having to be carried out. This task can then be stored in a task repository or backlog system 44 . Furthermore, each of the machines 40 can communicate with the task memory and, for example, itself generate a task or send an error message from which a task is then created.
  • Another AI 46 can then prioritize the created tasks from the task memory and determine an expert 36 from a large number of experts 36 who is most suitable for processing the task.
  • a relevant system 48 such as a product lifecycle management PLM or a production cloud, can communicate with the predictive maintenance class 42 and the experts 36.
  • an evaluation unit 50 in particular in the form of an evaluation algorithm, can evaluate the processing of the task by the appropriate expert 36 and particularly preferably store the evaluation and other information such as duration and/or costs of processing in an expert database.
  • FIG. 1 The steps of a method according to the invention for determining and assigning a task to a remote expert 36 are shown schematically in FIG.
  • a state that requires processing is detected and a task is defined at an execution location.
  • a second step S2 the defined task is transmitted to a backlog system 44 .
  • a suitable expert 36 for the task is determined.
  • a fourth step S4 the task is processed by the expert 36, ie completed, with the expert 36 remaining at an instruction location at a remote location.
  • the determination S3 of the suitable expert 36 takes place automatically.
  • an evaluation is carried out as to how successfully the task was processed, preferably based on the duration of the processing, the costs of the processing and/or the recurrence of an error, with the evaluation particularly preferably being stored in an expert database.
  • a holistic solution is provided to enable an expert 36 to perform tasks entirely on his own without having to move on site. This eliminates the need for on-site employees, which represents an additional time, error and cost factor.
  • a suitable expert 36 is automatically searched for and found by creating a task from a requirement, with the expert 36 processing the task creation from a remote location in a virtual environment and thereby processing the task on site, for example by a robot, in particular a humanoid robot 32 causes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten (36) sowie ein entsprechendes Computer-Programm, eine Vorrichtung (10) und ein System (18). Es ist vorgesehen, dass mittels einer Aufgabenerstellung aus einer Anforderung ein geeigneter Experte (36) automatisiert gesucht und gefunden wird, wobei der Experte (36) die Aufgabenerstellung von einem entfernten Ort aus, in einer virtuellen Umgebung bearbeitet. Beispielsweise werden die Maschinen (40) einer Anlage durch eine KI (42) überwacht und eine an den Maschinen durchzuführende Aufgaben in einem Backlog-System oder Speicher (44) hinterlegt. Eine weitere KI (46) ermittelt einen geeigneten Experten (36), welcher dann in einer virtuellen Umgebung, z.B. mittels eines Sensorhandschuhs (24), VR-Eingabegeräts oder Sensoranzugs (38), eine Tätigkeit (z.B. Wartung oder Fehlerkorrektur) an den Maschinen (40) durchführt. Der Experte (36) kann auch einen humanoiden Roboter (32) zur Ausführung der Tätigkeit steuern.

Description

Beschreibung
Zuweisen einer Aufgabe an einen örtlich entfernten Experten
Die Erfindung betrifft ein Verfahren zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten sowie ein entsprechendes Computer-Programm, eine Vorrichtung und ein System.
Eine große Reihe an Tätigkeiten in der Produktion und Logistik kann durch im Stand der Technik bekannte Automatisierungstechnik nicht abgedeckt werden. Das gilt insbesondere für komplexe oder seltene Aufgaben, eine Fehlerbehebung bei ansonsten automatisierten Aufgaben und/oder einzelne Aufgaben aus den Bereichen Dull, Dangerous, Dirty, also langweilig, gefährlich, dreckig. Bisher ist es bekannt, hierzu manuell vor Ort einzugreifen, wobei häufig geographisch entfernte Experten Aufgaben übernehmen und einen Mitarbeiter vor Ort anleiten müssen. Hierdurch können einerseits Fehler aufgrund einer schlechten Kommunikation und/oder einer Sprachbarriere entstehen. Ferner führt dieses Vorgehen zu einer Verdoppelung der Personalkosten und ist zeitintensiv. Ferner ist ein Bestimmen eines geeigneten geographisch entfernten Experten aufwendig, da eine Einschätzung der Aufgabe zumeist durch den Experten selbst erfolgt.
Aus der Druckschrift US 6 535 793 B2 sind ein Verfahren zur Fernsteuerung eines mobilen Roboters und eine intuitive Benutzeroberfläche zum Fernsteuern eines mobilen Roboters bekannt. Unter Verwendung einer Point-and-Click-Vorrichtung ist der Benutzer in der Lage, einen Zielort innerhalb eines Head-Up-Displays auszuwählen, zu dem ein mobiler Roboter bewegt werden soll. Zusätzliche grafische Überlagerungen werden bereitgestellt, um den Benutzer beim Navigieren selbst in Systemen mit asynchroner Kommunikation zu unterstützen. Nachteilig hierbei ist, dass sich das Verfahren nicht zum Bestimmen eines geeigneten geographisch entfernten Experten eignet. Das offenbarte Verfahren erlaubt keine automatisierte Fehlereinschätzung.
Die Druckschrift CN 11 145 9274 A offenbart ein Teleoperationsverfahren für eine unstrukturierte Umgebung basierend auf 5G + AR. Das Verfahren umfasst die folgenden Schritte: erstens Ausführen einer schnellen dreidimensionalen Rekonstruktion an einer unstrukturierten Umgebung, in der sich ein Roboter befindet und Abbilden einer rekonstruierten Szene in einen Raum der virtuellen Realität und dann Erfassen einer Gestenaktion eines Benutzers, Erstellen eines virtuellen Modells der Hand des Benutzers und Abbilden der Gestenaktion in den Raum der virtuellen Realität, wodurch eine Interaktion zwischen dem Benutzer und dem virtuellen Objekt realisiert wird; schließlich die Einführung einer Hilfstechnologie, die dem Benutzer hilft, die Teleoperationsarbeit genauer und schneller zu beenden. Nachteilig hierbei ist, dass sich das offenbarte Verfahren auf eine Verbesserung einer dreidimensionalen Rekonstruktion beschränkt, bezüglich einer automatisierten Fehlereinschätzung und/oder über einem Bestimmen eines geeigneten geographisch entfernten Experten schweigt die Offenbarung.
In der Druckschrift US 10 824 142 B2 wird ein autonomer Roboter mit menschlichem Eingreifen auf Anforderung offenbart. In verschiedenen Ausführungsformen arbeitet ein Roboter in einem autonomen Betriebsmodus, in dem der Roboter eine oder mehrere Aufgaben autonom ohne menschliches Eingreifen ausführt. Der Roboter stellt fest, dass keine Strategie verfügbar ist, um eine nächste Aufgabe autonom auszuführen. Als Reaktion auf die Bestimmung tritt der Roboter in einen menschlichen Eingriffsbetriebsmodus ein. Nachteilig hierbei ist, dass für eine Auswahl eines geeigneten Experten zum Bedienen des Roboters im menschlichen Eingriffsbetriebsmodus keine Strategie bereitgestellt wird. Die Druckschrift offenbart lediglich ein Eintreten in den menschlichen Eingriffsbetriebsmodus und ein nicht weiter spezifiziertes Fragen nach Hilfe.
In der Offenlegungsschrift US 2021/ 0094 180 A1 sind Systeme und Methoden zur Mensch- Roboter-Kommunikation offenbart. Insbesondere verwenden einige Ausführungsformen Augmented Reality, um die Kommunikation der Roboterabsicht und die Teleoperation in kooperativen Mensch-Roboter-Umgebungen zu erleichtern. Verschiedene Ausführungsformen der vorliegenden Technologie stellen eine Middleware bereit, die Augmented Reality mit neuartigen Teleoperationsschnittstellen integriert, um die Betriebseffektivität zu erhöhen, den Benutzer bei der Durchführung gleichzeitiger Arbeit zu unterstützen und Stress zu verringern. Verschiedene Ausführungsformen stellen prädiktive grafische Schnittstellen bereit, so dass ein Teleoperator einen virtuellen Roboterersatz steuert, anstatt den Roboter selbst direkt zu bedienen, was dem Benutzer eine Voraussicht darüber gibt, wo der physische Roboter enden wird und wie er dorthin gelangen wird. Gemäß verschiedenen Ausführungsformen kann ein Benutzer unter Verwendung eines solchen Ersatzes zwischen zwei AR-Schnittstellen wählen: eine konzentriert sich auf Echtzeitsteuerung und eine inspiriert durch Wegpunktdelegierung. Nachteilig hierbei ist, dass sich die offenbarte Lehre auf eine Verbesserung einer Steuerung eines Roboters beschränkt, bezüglich einem Bestimmen eines geeigneten geographisch entfernten Experten schweigt die Offenbarung
Der Erfindung liegt nun die Aufgabe zugrunde, eine Möglichkeit anzugeben einen geeigneten Experten schnell und zuverlässig zu bestimmen. Insbesondere soll der Experte automatisiert ermittelt werden und vorzugsweise eine gestellte Aufgabe teleoperativ bearbeiten können.
Gelöst wird die obige Aufgabe durch ein Verfahren zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten mit den Schritten:
Erfassen eines Zustands, der einer Bearbeitung bedarf und definieren einer Aufgabe an einem Ausführungsort;
Übermitteln der definierten Aufgabe an ein Backlog-System;
Ermitteln eines geeigneten Experten für die Aufgabe und
Abarbeiten der Aufgabe durch den Experten, wobei der Experte örtlich entfernt an einem Anweisungsort bleibt, wobei das Ermitteln des geeigneten Experten automatisiert erfolgt.
Die obige Aufgabe wird ferner gelöst von einem Computer-Programm mit Programm-Code- Mitteln, um alle Schritte eines Verfahrens wie zuvor definiert, durchzuführen, wenn das Computer-Programm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.
Weiterhin wird die obige Aufgabe gelöst durch eine Vorrichtung zum Bestimmen und zuweisen einer Aufgabe an einen örtlich entfernten Experten, mit: einer Eingangsschnittstelle zum Empfangen von Zustandsdaten mit Informationen zu einem Zustand, der einer Bearbeitung bedarf und/oder Aufgabendaten mit Informationen zu einer definierten Aufgabe; einer Analyseeinheit zum Ermitteln eines geeigneten Experten für die Aufgabe basierend auf den Zustandsdaten und/oder den Aufgabendaten und Experteninformation aus einer Expertendatenbank und einer Ausgangsschnittstelle zum Übermitteln von Expertendaten mit Informationen bezüglich des geeigneten Experten, wobei die Analyseeinheit dazu ausgebildet ist, den geeigneten Experten automatisiert zu ermitteln.
Schließlich wird die obige Aufgabe gelöst durch ein System zum Abarbeiten einer Aufgabe an einen Aufgabenort durch einen örtlich entfernten Experten an einem Anweisungsort, mit: einer Erfassungseinheit zum Erfassen einer Expertenanweisung an dem Anweisungsort bezüglich der abzuarbeitenden Aufgabe am Aufgabenort; einer Übertragungseinheit zum Übertragen der Expertenanweisung vom Anweisungsort zum Aufgabenort und einer Ausführungseinheit zum Ausführen der übertragenen Expertenanweisung am Aufgabenort.
Durch das Erfassen eines Zustands, der einer Bearbeitung bedarf und Definieren einer Aufgabe an einem Ausführungsort können alle Vorkehrungen zur Bearbeitung der Aufgabe, die am Ausführungsort durchgeführt werden können, effizient und schnell durchgeführt werden. Ein Übermitteln der definierten Aufgabe an ein Backlog-System erlaubt ein effizientes Aufgabenmanagement, das insbesondere zentral geführt, gewartet und betrieben werden kann. Das automatisierte Ermitteln eines geeigneten Experten für die Aufgabe ermöglicht eine schnelle Zuweisung der Aufgabe zu einem Experten. Insbesondere ist vorzugsweise keine menschliche Zuweisung mehr nötig. Es können Kosten eingespart und eine Effizienz gesteigert werden. Ferner können Zuweisungszeiten verkürzt werden. Ein Abarbeiten der Aufgabe durch den Experten, wobei der Experte örtlich entfernt an einem Anweisungsort bleibt, ermöglicht ein schnelles Abarbeiten der Aufgabe. Vorzugsweise kann der Experte direkt mit der Abarbeitung der Aufgabe beginnen und muss nicht zum Aufgabenort reisen. Ferner muss der Experte keinen weiteren Mitarbeiter am Aufgabenort anweisen. Durch eine Eingangsschnittstelle kann eine kosteneffiziente Vorrichtung geschaffen werden, die vorzugsweise mit vorhandenen, Systemen, Modulen und Einheiten verwendet werden kann. Eine Eingangsschnittstelle kann dabei kabelgebunden und/oder drahtlos ausgebildet sein und vorzugsweise ein oder mehrere Kommunikationsprotokolle unterstützen. Durch eine Analyseeinheit kann schnell und zuverlässig ein geeigneter Experte bestimmt werden. Eine Ausgangsschnittstelle ermöglicht eine kosteneffiziente Vorrichtung, die vorzugsweise mit vorhandenen Speicher- bzw. Backlog- Systemen, insbesondere einem Cloud-Speicher verwendet werden kann.
Es versteht sich, dass die Vorrichtung zumindest teilweise auch rein softwaretechnisch geschaffen werden kann.
In bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass das Erfassen eines Zustands, der einer Bearbeitung bedarf und vorzugsweise das Definieren einer Aufgabe, durch ein IOT- fähiges Gerät erfolgt. Hierdurch kann der Zustand direkt vom Gerät selbst erfasst werden. Ferner kann ein genaues Erfassen des Zustands und ein eindeutiges Definieren der Aufgabe erfolgen. Es erfolgt schnell, zuverlässig und direkt ein Erfassen eines entsprechenden Zustands.
Ein lOT-fähiges Gerät zeichnet sich insbesondere dadurch aus, eine - insbesondere drahtlose - Kommunikationsschnittstelle aufzuweisen, mit dem mit anderen Geräten mit Kommunikationsschnittstelle und/oder zentralseitigen Servern Daten ausgetauscht werden können. Das passiert vorzugsweise über das Internet und/oder drahtlose Kommunikationsnetze wie 5G.
In weiterer bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass die Aufgabe eine digitale Manipulation umfasst und das Abarbeiten der Aufgabe durch den Experten vorzugsweise ein Darstellen eines digitalen Zwillings der Umgebung, in der die Aufgabe anfällt, umfasst, der Experte sich vorzugsweise virtuell im digitalen Zwilling bewegen und/oder mit dem digitalen Zwilling agieren kann, wobei eine Interaktion des Experten mit dem digitalen Zwilling in eine reale Steuerungsanweisung des lOT-fähigen Gerätes übersetzt wird. Hierdurch sind vorzugsweise keine Fernwartungskenntnisse des Experten notwendig, um die Aufgabe teleoperativ abzuarbeiten. Der Experte benötigt keine spezielle Schulung sondern kann die Aufgabe abarbeiten als wäre er am Aufgabenort.
In weiterer bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass die Aufgabe eine mechanische Manipulation umfasst und das Abarbeiten der Aufgabe durch den Experten vorzugsweise ein Steuern eines zumindest teilweise autonomen humanoiden Roboters umfasst, wobei besonders bevorzugt ein 360-Grad-Kamerabild aus der Perspektive des humanoiden Roboters in eine VR-Brille des Experten übertragen wird und eine Expertenanweisung in Form einer Bewegung des Experten am Anweisungsort, insbesondere in Echtzeit, durch den humanoiden Roboter am Ausführungsort widerholt wird. Hierdurch können auch mechanische beziehungsweise handwerkliche Tätigkeiten teleoperativ durchgeführt werden. Es wird eine intuitive Steuerung für einen humanoiden Roboter bereitgestellt, die es einem Experten erlaubt, vorzugsweise ohne Vorkenntnisse bezüglich der Robotersteuerung die Aufgabe abzuarbeiten. Der Experte benötigt keine spezielle Schulung sondern kann die Aufgabe Abarbeiten als wäre er am Aufgabenort.
In weiterer bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass eine Kommunikation zwischen Ausführungsort und Anweisungsort mittels eines drahtlosen Netzwerks, insbesondere eines 5G-Netzwerkes erfolgt. Hierdurch kann eine sichere und schnelle Kommunikation erreicht werden, die insbesondere kabellos eingerichtet werden kann. Insbesondere ermöglicht die Verwendung eines drahtlosen Netzwerkes im 5G-Standard (oder höher) die Übertragung von Daten in Echtzeit.
In weiterer bevorzugter Ausgestaltung der Erfindung ist vorgesehen, dass das Ermitteln des geeigneten Experten mittels einer Kl erfolgt, vorzugsweise basierend auf einer Bearbeitungsund Bewertungshistorie des Experten, wobei besonders bevorzugt eine Priorisierung einzelner Aufgaben basierend auf anfallenden Mehrkosten erfolgt. Hierdurch kann effizient der geeignetste Experte für eine Aufgabe bestimmt werden. Insbesondere ermöglicht eine Kl und eine Bearbeitungs- und Bewertungshistorie, dass mit jeder Bestimmung eines Experten und Abarbeiten einer Aufgabe, die nächste Bestimmung des Experten verbessert erfolgen kann. Es kann ein lernendes System geschaffen werden, das mit zunehmender Betriebsdauer schneller und zuverlässiger wird.
Es ist weiterhin vorgesehen, dass der Experte mittels Sensorhandschuh (Smart-Giove), Radar, Lidar, Kamera, in der VR-Brille enthaltene Sensoren und/oder sonstiger Sensorik überwacht wird bei der Abarbeitung von ihm zugewiesenen Aufgaben. Die so erfassten Daten sind als Eingangsdaten für die Kl zur Entscheidung der Auswahl des Experten für künftige Aufgaben vorgesehen. Dazu werden sie mittels lOT-Übertragung dem Kl-System zur Verfügung gestellt.
In weiterer bevorzugter Ausgestaltung der Erfindung ist der folgende Schritt vorgesehen: Auswerten wie erfolgreich die Aufgabe abgearbeitet wurde, vorzugsweise basierend auf einer Dauer der Bearbeitung, Kosten der Bearbeitung und/oder einer Fehlerwiederkehr, wobei besonders bevorzugt die Bewertung in einer Expertendatenbank hinterlegt wird.
Hierdurch kann ein Auswählen eines Experten in Zukunft präziser erfolgen. Durch eine Datenbank können Expertenprofile für verschiedene Experten geschaffen werden, sodass aus einer Vielzahl von Experten der geeignetste Experte bestimmt werden kann. Insbesondere kann ein geeigneter Experte nicht nur basierend auf einem erfolgreichen Abarbeiten der Aufgabe oder der Dauer bestimmt werden, es können auch beispielsweise die Kosten optimiert werden. Steht für das Abarbeiten der Aufgabe ein breites Zeitfenster zur Verfügung, kann beispielsweise ein langsamer Experte, der dafür weniger Kosten verursacht, ausgewählt werden.
Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen. Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar.
Machine Learning oder maschinelles Lernen ist insbesondere ein Oberbegriff für die "künstliche" beziehungsweise maschinelle Generierung von Wissen aus Erfahrung: Ein künstliches System lernt aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern. Dazu bauen Algorithmen beim maschinellen Lernen ein statistisches Modell auf, das auf Trainingsdaten beruht. Das heißt, es werden nicht einfach die Beispiele auswendig gelernt, sondern Muster und Gesetzmäßigkeiten in den Lerndaten erkannt. So kann das System auch unbekannte Daten beurteilen, ein sogenannter Lerntransfer, oder aber am Lernen unbekannter Daten scheitern, beispielsweise durch Überanpassung, englisch overfitting.
5G bezeichnet die fünfte Generation des Mobilfunks und ist ein Mobilfunkstandard, der seit 2019 an Verbreitung gewinnt. 5G baut auf dem bestehenden Standard „Long Term Evolution“ - LTE - auf. Die Funkzellen werden voraussichtlich bei 5G in Städten engmaschiger ausgebaut als bei Vorgängertechniken. Es bietet zudem Verbesserungen in Bezug auf Echtzeitfähigkeit aufgrund verringerter Latenzen und höherer Zuverlässigkeit.
Ein humanoider Roboter ist ein hoch entwickeltes Maschinenwesen, genauer ein Roboter, dessen Konstruktion der menschlichen Gestalt nachempfunden ist. Häufig sind die Positionen der Gelenke und die Bewegungsabläufe eines humanoiden Roboters von den menschlichen Gelenkpositionen und Bewegungsabläufen inspiriert. Unter anderem läuft ein humanoider Roboter meistens auf zwei Beinen. Es versteht sich, dass auch eine andere Fortbewegung mittels Rädern oder Ketten denkbar ist. Eine dem Menschen in seinem Aussehen und Verhalten besonders ähnliche Form des humanoiden Roboters ist der Android.
PLM ist ein Managementansatz und umfasst die ganzheitliche Verwaltung aller Daten und Informationen, die bei der Entwicklung neuer oder der Aktualisierung bestehender Produkte bearbeitet und verteilt werden.
Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung einer scheinbaren Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet. Eine VR-Brille ist eine Art eines am Kopf und vorzugsweise vor den Augen eines Anwenders angeordneten Displays, welches dem Anwender Einblick in die virtuelle Realität verschafft. Das Internet of Things, IOT, ist insbesondere ein Netzwerk physischer Objekte beziehungsweise Dinge, die mit Sensoren, Software und anderen Technologien integriert sind, um diese mit anderen Geräten und Systemen über das Internet zu vernetzen, sodass zwischen den Objekten Daten ausgetauscht werden können. Das Internet der Dinge, Allesnetz, Internet of Things, ist vorzugsweise ein Sammelbegriff für Technologien einer globalen Infrastruktur der Informationsgesellschaften, die es ermöglicht, physische und virtuelle Objekte miteinander zu vernetzen und sie durch Informations- und Kommunikationstechniken Zusammenarbeiten zu lassen.
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:
Figur 1 eine schematische Darstellung einer Vorrichtung zum Bestimmen und
Zuweisen einer Aufgabe an einen örtlich entfernten Experten;
Figur 2 eine schematische Darstellung eines Systems zum Abarbeiten einer Aufgabe an einen Aufgabenort durch einen örtlich entfernten Experten an einem Anweisungsort;
Figur 3 eine schematische Darstellung eines Experten bei einer Tätigkeit an einem
Anweisungsort;
Figur 4 eine schematische Darstellung eines humanoiden Roboters bei einer Tätigkeit an einem Aufgabenort;
Figur 5 eine schematische Darstellung des Bestimmens und Zuweisens einer
Aufgabe an einen örtlich entfernten Experten und
Figur 6 eine schematische Darstellung der Schritte eines erfindungsgemäßen
Verfahrens.
Figur 1 zeigt schematisch eine Vorrichtung 10 zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten. Die Vorrichtung 10 umfasst eine Eingangsschnittstelle 12, eine Analyseeinheit 14 und eine Ausgangsschnittstelle 16. Die Eingangsschnittstelle 12 ist dazu ausgebildet, Zustandsdaten mit Informationen zu einem Zustand, der einer Bearbeitung bedarf und/oder Aufgabendaten mit Informationen zu einer definierten Aufgabe zu empfangen. Die Zustandsdaten können beispielsweise einer Fehlermeldung einer Maschine, ein geschriebener Fehlerbericht eines Arbeiters vor Ort, eine Anforderung einer Wartung einer Maschine, insbesondere im Rahmen eines Predictive- Maintenance-Programms oder dergleichen sein. Ferner kann die Eingangsschnittstelle 12 zur drahtlosen Kommunikation ausgebildet sein oder mit einem proprietären, beispielsweise kabelgebundenen, Übertragungsnetz verbunden sein.
Die Analyseeinheit 14 ist dazu ausgebildet, die Zustandsdaten und/oder Aufgabendaten zu verarbeiten und zu analysieren. Die Analyseeinheit 14 bestimmt einen geeigneten Experten für die Aufgabe basierend auf den Zustandsdaten und/oder den Aufgabendaten und Experteninformation aus einer Expertendatenbank.
Die Experteninformationen können beispielsweise Informationen bezüglich einer Dauer der Bearbeitung von vergangenen Aufgaben, Kosten der Bearbeitung und/oder einer Fehlerwiederkehr, jeweils bezüglich vergangener vom Experten abgearbeiteter Aufgaben umfassen.
Beispielsweise kann die Analyseeinheit 14 mittels einer künstlichen Intelligenz einen geeigneten Experten bestimmen. Das kann beispielsweise erfolgen, da der Experte in der Vergangenheit ähnliche Aufgaben erfolgreich bearbeitet hat und/oder aktuell oder demnächst verfügbar ist.
Die Ausgangsschnittstelle 16 ist dazu ausgebildet, Expertendaten mit Informationen bezüglich des geeigneten Experten zu übermitteln. Hierbei kann beispielsweise eine E-Mail an den geeigneten Experten verschickt werden. Es versteht sich, dass auch ein Ticket-System oder andere prinzipiell im Stand der Technik bekannte Verfahren denkbar sind. Die Ausgangsschnittstelle 16 kann analog zur Eingangsschnittstelle 12 zur Kommunikation ausgebildet sein. Es versteht sich, dass die Eingangsschnittstelle 12 und die Ausgangschnittstelle 16 auch kombiniert als Kommunikationsschnittstelle zum Senden und Empfangen ausgebildet sein können.
Figur 2 zeigt eine schematische Darstellung eines erfindungsgemäßen Systems 18 zum Abarbeiten einer Aufgabe an einen Aufgabenort durch einen örtlich entfernten Experten an einem Anweisungsort mit einer Erfassungseinheit 20 zum Erfassen einer Expertenanweisung an dem Anweisungsort zum Abarbeiten einer Aufgabe an einen Aufgabenort, einer Übertragungseinheit 28 zum Übertragen der Expertenanweisung vom Anweisungsort zum Aufgabenort und einer Ausführungseinheit 30 zum Ausführen der übertragenen Expertenanweisung am Aufgabenort.
Die Erfassungseinheit 20 kann insbesondere mit einer Beobachtungseinheit 22 umfassend einem Radar- und/oder Lidarsensor und/oder einer Kamera, einem Sensorhandschuh 24 und/oder einem nicht gezeigten Sensoranzug kommunizieren. Es versteht sich, dass weitere Einheiten wie beispielswiese ein Smartphone ebenfalls denkbar sind. Aus Gründen der Übersicht wurden keine weiteren Einheiten in der Zeichnung dargestellt. Es versteht sich ferner, dass die Erfassungseinheit 20 auch mit den vorgenannten Einheiten kombiniert sein kann.
Bei dem gezeigten System 18 kann die Erfassungseinheit 20 insbesondere dazu ausgebildet sein, Informationen an den Experten mittels einem AR-Anzeigegerät oder einem VR- Anzeigegerät, insbesondere einer VR-Brille 26 zu übermitteln. Die Informationen können insbesondere ein 360-Grad-Kamerabild des Aufgabenorts umfassen und um Sensorinformationen, Baupläne oder dergleichen ergänzt sein.
Die Übertragungseinheit 28 kann insbesondere dazu ausgebildet sein, die Expertenanweisung vom Anweisungsort, bevorzugt der Erfassungseinheit 20, zum Aufgabenort, bevorzugt der Ausführungseinheit 30, mittels 5G zu übertragen. Die Übertragungseinheit 28 kann insbesondere einen Transceiver am Anweisungsort und einen weiteren Transceiver am Aufgabenort umfassen.
Die Ausführungseinheit 30 kann insbesondere mit einem humanoiden Roboter 32 oder einer Steuereinheit 34 einer Anlage, insbesondere einem lOT-fähigen Gerät, kommunizieren. Es versteht sich, dass weitere Einheiten ebenfalls denkbar sind. Es versteht sich ferner, dass die Ausführungseinheit 30 auch mit den vorgenannten Einheiten kombiniert sein kann.
Die Informationen für das VR-Anzeigegerät können insbesondere ein 360-Grad-Kamerabild aus der Perspektive des humanoiden Roboters 32 umfassen. Ferner ist denkbar, dass sich der humanoide Roboter 32 vor Beginn der Abarbeitung der Aufgabe autonom zu der Örtlichkeit der zu bearbeitenden Aufgabe bewegt.
In Figur 3 ist ein Experte 36 beziehungsweise eine Expertin 36 beim Erzeugen einer Expertenanweisung an einem Anweisungsort dargestellt. Aus Gründen der Lesbarkeit wurde im Text die männliche Form gewählt, nichtsdestoweniger beziehen sich die Angaben auf Angehörige jedweder Geschlechter.
Der Experte 36 führt in dem gezeigten Beispiel in einer virtuellen Umgebung eine Tätigkeit am Anweisungsort durch. Hierbei wird der Experte 36 von einer oder mehreren Beobachtungseinheiten 22 erfasst: Ferner kann der Experte einen Sensorhandschuh 24 oder ein VR-Eingabegerät und/oder einen Sensoranzug 38 tragen, wobei das nicht gezeigte System 18 aus der Tätigkeit des Experten 36 eine Expertenanweisung generiert und diese zu einer Ausführungseinheit 30 am Aufgabenort übermittelt. Es wird vorzugsweise ein digitaler Zwilling der Umgebung in der die Aufgabe anfällt dargestellt, in dem sich der Experte 36 virtuell bewegen und/oder mit dem digitalen Zwilling agieren kann, wobei eine Interaktion des Experten 36 mit dem digitalen Zwilling in eine reale Steuerungsanweisung übersetzt wird.
In Figur 4 ist ein Aufgabenort schematisch dargestellt. Am Aufgabenort befindet sich eine Anlage mit einer Maschine 40, an der eine Aufgabe abzuarbeiten ist. Beispielsweise kann die Maschine 40 eine Fehlermeldung generiert haben, wobei der Experte 36 den betreffenden Fehler korrigieren soll. Die Fehlermeldung kann, wie bereits oben beschrieben, verarbeitet werden. Es können verschiedene Interaktionsmodelle gewählt werden.
Bei einer digitalen Manipulation kann der Experte 36 eine Expertenanweisung, wie zuvor beschrieben, erzeugen, die an die Steuereinheit 34 der Anlage übermittelt wird und eine Einstellung an der Anlage ändert, so dass der Fehler behoben wird.
Bei einer mechanischen Manipulation, die alternativ oder ergänzend zur digitalen Manipulation durchführbar ist, kann der Experte 36 einen humanoiden Roboter 32 am Aufgabenort mittels einer Expertenanweisung steuern und mittels des humanoiden Roboters 32 mechanische Änderungen an der Anlage vornehmen.
In Figur 5 ist ein Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten 36 schematisch dargestellt.
Eine Mehrzahl von Maschinen 40 kann beispielsweise mittels einer Predictive-Maintenance-Kl 42 überwacht werden, wobei eine Wartung einer Maschine 40 durchzuführen ist. Diese Aufgabe kann dann in einem Aufgabenspeicher oder Backlog-System 44 hinterlegt werden. Ferner kann jede der Maschinen 40 mit dem Aufgabenspeicher kommunizieren und beispielsweise selbst eine Aufgabe generieren oder eine Fehlermeldung schicken, aus der dann eine Aufgabe erstellt wird.
Eine weitere Kl 46 kann dann die erstellten Aufgaben aus dem Aufgabenspeicher priorisieren und einen Experten 36 aus einer Vielzahl von Experten 36 bestimmen, der am geeignetsten zur Bearbeitung der Aufgabe ist.
Ferner kann ein relevantes System 48, wie beispielsweise ein Product Lifecycle Management PLM oder eine Produktionscloud, mit der Predictive-Maintenance-Kl 42 und den Experten 36 kommunizieren.
Zudem kann eine Bewertungseinheit 50, insbesondere in Form eines Bewertungsalgorithmus, die Abarbeitung der Aufgabe durch den geeigneten Experten 36 bewerten und besonders bevorzugt die Bewertung und weitere Informationen wie Dauer und/oder Kosten der Bearbeitung in einer Expertendatenbank hinterlegen.
In Figur 6 sind schematisch die Schritte eines erfindungsgemäßen Verfahrens zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten 36 gezeigt.
In einem ersten Schritt S1 erfolgt ein Erfassen eines Zustands, der einer Bearbeitung bedarf und Definieren einer Aufgabe an einem Ausführungsort.
In einem zweiten Schritt S2 wird die definierte Aufgabe an ein Backlog-System 44 übermittelt.
In einem dritten Schritt S3 erfolgt ein Ermitteln eines geeigneten Experten 36 für die Aufgabe.
In einem vierten Schritt S4 wird die Aufgabe durch den Experten 36 abgearbeitet also erledigt, wobei der Experte 36 örtlich entfernt an einem Anweisungsort bleibt.
Das Ermitteln S3 des geeigneten Experten 36 erfolgt automatisiert.
In einem optionalen weiteren Schritt S5 erfolgt ein Auswerten, wie erfolgreich die Aufgabe abgearbeitet wurde, vorzugsweise basierend auf einer Dauer der Bearbeitung, Kosten der Bearbeitung und/oder einer Fehlerwiederkehr, wobei besonders bevorzugt die Bewertung in einer Expertendatenbank hinterlegt wird. Die Erfindung wurde ausführlich beschrieben. Ein Fachmann erkennt, dass mit der offenbarten Lehre wenigstens eine der folgenden Ausführungsformen geschaffen oder wenigstens einer der folgenden Vorteile erreicht werden kann.
Es wird eine ganzheitliche Lösung bereitgestellt, um einen Experten 36 zu befähigen, Aufgaben vollständig allein durchzuführen ohne sich dabei vor Ort bewegen zu müssen. Dabei entfällt der Mitarbeiter vor Ort, welcher einen zusätzlichen Zeit-, Fehler- und Kostenfaktor darstellt.
Mittels einer Aufgabenerstellung aus einer Anforderung wird ein geeigneter Experte 36 automatisiert gesucht und gefunden, wobei der Experte 36 die Aufgabenerstellung von einem entfernten Ort aus in einer virtuellen Umgebung bearbeitet und hierdurch ein Abarbeiten der Aufgabenstellung vor Ort, beispielsweise durch einen Roboter, insbesondere einen humanoiden Roboter 32 bewirkt.
Im Rahmen der digitalen Transformation können in den Bereichen der jeweiligen Experten 36 Effektivitäts- und Effizienzsteigerungen, Umweltschutz sowie die Weiterentwicklung von Berufsbildern erfolgen.
Bezugszeichenliste
Vorrichtung Eingangsschnittstelle Analyseeinheit Ausgangsschnittstelle System Erfassungseinheit Beobachtungseinheit Sensorhandschuh VR-Brille Übertragungseinheit Ausführungseinheit humanoider Roboter Steuereinheit Experte Sensoranzug Maschine Predictive-Maintenance- Kl Backlog-System weitere Kl relevantes System Bewertungseinheit Verfahrensschritte

Claims

Patentansprüche Verfahren zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten (36) mit den Schritten:
Erfassen (S1) eines Zustands, der einer Bearbeitung bedarf und Definieren einer Aufgabe an einem Ausführungsort;
Übermitteln (S2) der definierten Aufgabe an ein Backlog-System (44); Ermitteln (S3) eines geeigneten Experten (36) für die Aufgabe und Abarbeiten (S4) der Aufgabe durch den Experten (36), wobei der Experte (36) örtlich entfernt an einem Anweisungsort bleibt, dadurch gekennzeichnet, dass das Ermitteln (S3) des geeigneten Experten (36) automatisiert erfolgt. Verfahren nach Anspruch 1, wobei das Erfassen (S1) eines Zustands, der einer Bearbeitung bedarf und vorzugsweise das Definieren einer Aufgabe, durch ein IOT- fähiges Gerät erfolgt. Verfahren nach einem der vorstehenden Ansprüche, wobei die Aufgabe eine digitale Manipulation umfasst und das Abarbeiten der Aufgabe durch den Experten (36) vorzugsweise ein Darstellen eines digitalen Zwillings der Umgebung, in der die Aufgabe anfällt, umfasst, der Experte (36) sich vorzugsweise virtuell im digitalen Zwilling bewegen und/oder mit dem digitalen Zwilling agieren kann, wobei eine Interaktion des Experten (36) mit dem digitalen Zwilling in eine reale Steuerungsanweisung des IOT- fähigen Gerätes übersetzt wird. Verfahren nach einem der vorstehenden Ansprüche, wobei die Aufgabe eine mechanische Manipulation umfasst und das Abarbeiten der Aufgabe durch den Experten (36) vorzugsweise ein Steuern eines zumindest teilweise autonomen humanoiden Roboters (32) umfasst, wobei besonders bevorzugt ein 360-Grad- Kamerabild aus der Perspektive des humanoiden Roboters (32) in eine VR-Brille (26) des Experten (36) übertragen wird und eine Expertenanweisung in Form einer Bewegung des Experten (36) am Anweisungsort, insbesondere in Echtzeit, durch den humanoiden Roboter (32) am Ausführungsort widerholt wird. Verfahren nach einem der vorstehenden Ansprüche, wobei eine Kommunikation zwischen Ausführungsort und Anweisungsort mittels eines drahtlosen Netzwerks, insbesondere eines 5G-Netzwerkes erfolgt. Verfahren nach einem der vorstehenden Ansprüche, wobei das Ermitteln (S3) des geeigneten Experten (36) mittels einer Kl (46) erfolgt, vorzugsweise basierend auf einer Bearbeitungs- und Bewertungshistorie des Experten (36), wobei besonders bevorzugt eine Priorisierung einzelner Aufgaben basierend auf anfallenden Mehrkosten erfolgt. Verfahren nach einem der vorstehenden Ansprüche, zusätzlich mit dem Schritt: Auswerten (S5) wie erfolgreich die Aufgabe abgearbeitet wurde, vorzugsweise basierend auf einer Dauer der Bearbeitung, Kosten der Bearbeitung und/oder einer Fehlerwiederkehr, wobei besonders bevorzugt die Bewertung in einer Expertendatenbank hinterlegt wird. Computer-Programm mit Programm-Code-Mitteln, um alle Schritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen, wenn das Computer- Programm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird. Vorrichtung (10) zum Bestimmen und Zuweisen einer Aufgabe an einen örtlich entfernten Experten (36), mit: einer Eingangsschnittstelle (12) zum Empfangen von Zustandsdaten mit Informationen zu einem Zustand, der einer Bearbeitung bedarf und/oder Aufgabendaten mit Informationen zu einer definierten Aufgabe; einer Analyseeinheit (14) zum Ermitteln eines geeigneten Experten (36) für die Aufgabe basierend auf den Zustandsdaten und/oder den Aufgabendaten und Experteninformation aus einer Expertendatenbank und einer Ausgangsschnittstelle (16) zum Übermitteln von Expertendaten mit Informationen bezüglich des geeigneten Experten (36), dadurch gekennzeichnet, dass die Analyseeinheit (14) dazu ausgebildet ist, den geeigneten Experten (36) automatisiert zu ermitteln. System (18) zum Abarbeiten einer Aufgabe an einen Aufgabenort durch einen örtlich entfernten Experten (36) an einem Anweisungsort, mit: einer Erfassungseinheit (20) zum Erfassen einer Expertenanweisung an dem Anweisungsort bezüglich der abzuarbeitenden Aufgabe am Aufgabenort; einer Übertragungseinheit (28) zum Übertragen der Expertenanweisung vom Anweisungsort zum Aufgabenort und einer Ausführungseinheit (30) zum Ausführen der übertragenen Expertenanweisung am Aufgabenort.
EP22835794.3A 2021-12-17 2022-12-15 Zuweisen einer aufgabe an einen örtlich entfernten experten Pending EP4449217A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021214584.1A DE102021214584A1 (de) 2021-12-17 2021-12-17 Zuweisen einer Aufgabe an einen örtlich entfernten Experten
PCT/EP2022/086164 WO2023111184A1 (de) 2021-12-17 2022-12-15 Zuweisen einer aufgabe an einen örtlich entfernten experten

Publications (1)

Publication Number Publication Date
EP4449217A1 true EP4449217A1 (de) 2024-10-23

Family

ID=84799756

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22835794.3A Pending EP4449217A1 (de) 2021-12-17 2022-12-15 Zuweisen einer aufgabe an einen örtlich entfernten experten

Country Status (4)

Country Link
EP (1) EP4449217A1 (de)
CN (1) CN118414586A (de)
DE (1) DE102021214584A1 (de)
WO (1) WO2023111184A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4678347A1 (de) * 2024-07-11 2026-01-14 Fundacion Centro de Tecnologias de Interaccion Visual y comunicaciones Vicomtech System und verfahren zur fernsteuerung eines betriebs einer herstellungsausrüstung
CN119217361B (zh) * 2024-09-11 2025-04-22 江淮前沿技术协同创新中心 基于混合现实的多人协同排爆机器人的交互方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001262962A1 (en) 2000-05-01 2001-11-12 Irobot Corporation Method and system for remote control of mobile robot
GB2504327A (en) 2012-07-26 2014-01-29 Ibm A method for providing support wherein a lowest ranked agent is used
US10319128B2 (en) * 2016-09-26 2019-06-11 Rockwell Automation Technologies, Inc. Augmented reality presentation of an industrial environment
JP2021515336A (ja) 2018-03-05 2021-06-17 ザ・リージエンツ・オブ・ザ・ユニバーシテイ・オブ・コロラド、ア・ボデイー・コーポレイト 人間とロボットの相互作用の拡張現実調整
US10824142B2 (en) 2018-05-01 2020-11-03 Dexterity, Inc. Autonomous robot with on demand teleoperation
CN111459274B (zh) 2020-03-30 2021-09-21 华南理工大学 一种基于5g+ ar的针对非结构化环境的遥操作方法

Also Published As

Publication number Publication date
DE102021214584A1 (de) 2023-06-22
CN118414586A (zh) 2024-07-30
WO2023111184A1 (de) 2023-06-22

Similar Documents

Publication Publication Date Title
DE112018002565B4 (de) System und Verfahren zum direkten Anlernen eines Roboters
EP1385071B1 (de) Verfahren zum Austausch von Daten zwischen Steuerungen von Maschinen, insbesondere von Robotern
DE102010045529B4 (de) Interaktives Robotersteuerungssystem und Verwendungsverfahren
DE112019003185T5 (de) Automatischer dynamischer diagnoseleitfaden mit erweiterter realität
EP3699704B1 (de) System und verfahren zum überprüfen von systemanforderungen von cyber-physikalischen systemen
EP4449217A1 (de) Zuweisen einer aufgabe an einen örtlich entfernten experten
EP3772396B1 (de) Verfahren zur rechnergestützten erfassung und auswertung eines arbeitsablaufs, bei dem ein menschlicher werker und ein robotisches system wechselwirken
DE112010005955T5 (de) Steuerungssystem das während des Betriebs rekonfigurierbar ist, und Verfahren dafür
EP4141759A1 (de) Verfahren zur überwachung eines arbeitssystems sowie system mit arbeitssystem
EP4060440B1 (de) System mit mindestens einem anlagesystem mit mindestens mehreren anlageteilen
DE60219570T2 (de) Simulationsvorrichtung
WO2021001312A1 (de) Durchführen einer applikation mithilfe wenigstens eines roboters
EP4627419A1 (de) Selbstlernendes verfahren für einen fertigungs- und/oder montageprozess
DE10215885A1 (de) Automatische Prozesskontrolle
DE112019007691T5 (de) System zum planen von roboterhandlungen, robotersystem, roboteraufgabenverifizierungssystem und verfahren zum planen von roboterhandlungen
DE102016100241A1 (de) Verfahren zum Herstellen eines Produkts mit integrierter Planung und direkter ganzheitlicher Steuerung
WO2024027868A1 (de) Verfahren zur präzisen bestimmung eines ausgangsdrehmoments und kollaborativer roboter
EP3712720B1 (de) Verfahren und vorrichtung zur ansteuerung einer technischen anlage mittels einer adaptiven simplex architektur
EP3731043A1 (de) Verfahren zur sicherheitsbeurteilung, computerprogramm, maschinenlesbares speichermedium und sicherheitsbeurteilungseinrichtung
EP1487616B1 (de) Automatische prozesskontrolle
EP4109194B1 (de) Sensordatengenerierung zum steuern eines autonomen fahrzeugs
WO2024008232A1 (de) Verfahren zur dynamischen erkennung von ratcheting bei einem kollaborativen roboter mittels künstlicher intelligenz und dynamischer kompensation der trajektorien
EP4268162A1 (de) Verfahren und system zum überführen einer start-objektsituation in eine ziel-objektsituation (intuitive tacit solution finding)
DE102022123243B3 (de) Künstliche Intelligenz zur präzisen Bestimmung von Ausgangsdrehmomenten kollaborativer Roboter
EP3712724A1 (de) Automatisierungsanordnung, verfahren zum betrieb der automatisierungsanordnung sowie computerprogramm

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240717

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)