DE102016222659A1

DE102016222659A1 - Method for operating autonomous or semi-autonomous robotic systems

Info

Publication number: DE102016222659A1
Application number: DE102016222659.2A
Authority: DE
Inventors: Christian Heigele; Benjamin Hoeferlin; Stefan Leibold
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-11-17
Filing date: 2016-11-17
Publication date: 2018-05-17

Abstract

Bei einem Verfahren zum Betreiben von autonomen oder halbautonomen Robotersystemen, bei dem in Situationen, in denen das Robotersystem keine eindeutige Steuerungsanweisung autonom generieren kann, eine externe Steuerungsanweisung per Fernsteuerung angefordert wird, sind zumindest die folgenden Verfahrensschritte vorgesehen. das Robotersystem erkennt zunächst eine Situation, in der keine eindeutige Steuerungsanweisung autonom generiert werden kann (10). Das Robotersystem fordert daraufhin unter Zurverfügungstellung von Systeminformationen eine externe Anweisung per Fernsteuerung an, wobei diese Anforderung an wenigstens zwei Remote-Mitarbeiter weitergeleitet wird (40). Die Remote-Mitarbeiter machen jeweils einen Steuerungsanweisungsvorschlag. Die Steuerungsanweisungsvorschläge der Remote-Mitarbeiter werden anhand von Gütekriterien überprüft (50) und auf dieser Basis wird ein Steuerungsanweisungsvorschlag ausgewählt. Der ausgewählte Steuerungsanweisungsvorschlag wird als externe Steuerungsanweisung per Fernsteuerung an das Robotersystem zur Ausführung übertragen (60).In a method of operating autonomous or semi-autonomous robotic systems in which an external control command is requested remotely in situations where the robotic system can not autonomously generate a unique control instruction, at least the following method steps are provided. The robot system first recognizes a situation in which no unique control instruction can be autonomously generated (10). The robot system then remotely requests an external instruction to provide system information, which request is forwarded to at least two remote employees (40). The remote employees each make a control suggestion proposal. The remote operator control instruction suggestions are checked based on quality criteria (50) and on this basis a control suggestion proposal is selected. The selected control instruction proposal is remotely transmitted to the robot system for execution as an external control instruction (60).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben von autonomen oder halbautonomen Robotersystemen gemäß dem Oberbegriff des Anspruchs 1. Weiterhin betrifft das Verfahren ein Computerprogramm, ein maschinenlesbares Speichermedium und ein elektronisches Steuergerät, die zur Durchführung des Verfahrens eingerichtet sind.The present invention relates to a method for operating autonomous or semi-autonomous robotic systems according to the preamble of claim 1. Furthermore, the method relates to a computer program, a machine-readable storage medium and an electronic control unit, which are set up for carrying out the method.

Stand der TechnikState of the art

In vielen Bereichen kommen bereits autonome Robotersysteme zum Einsatz. Beispielsweise sind hochautomatisierte und autonome oder halbautonome Fahrerassistenzsysteme bekannt. Ein weiteres Einsatzgebiet von autonomen Robotersystemen sind Flurförderzeuge, die beispielsweise in industriellen Lagerhallen oder Ähnlichem zum Einsatz kommen. Autonome oder halbautonome Robotersysteme sind in der Lage, ohne menschlichen Eingriff verschiedene Abläufe durchzuführen. Aus verschiedenen Gründen kann es jedoch vorkommen, dass sich ein autonomes oder halbautonomes Robotersystem in einem Zustand befindet, in dem es nicht von sich aus einen eindeutigen Lösungsweg bestimmen kann und keine eindeutige Steuerungsanweisung für den weiteren Betrieb generieren kann. Zur Lösung dieses Problems ist bereits der sogenannte shared autonomy-Ansatz bekannt. Hierbei erkennt das Robotersystem solche Problemzustände selbstständig und fordert einen menschlichen Mitarbeiter auf, per Fernzugriff die Steuerung des Systems zu übernehmen und das Problem zu lösen, indem eine entsprechende Steueranweisung erteilt wird. Der Mitarbeiter kann hierbei durchaus an einer entfernten Stelle sitzen. Um dem Mitarbeiter, auch Remote-Mitarbeiter genannt, mit entsprechenden, für die weitere Steuerung erforderlichen Informationen zu versorgen, übermittelt das Robotersystem die relevanten Systeminformationen an den Mitarbeiter, beispielsweise werden Videoaufnahmen und Umfeldmessdaten in entsprechend aufgearbeiteter Darstellung an den Mitarbeiter übermittelt. Anschließend kann über geeignete Bedienelemente der Roboter ferngesteuert werden, wobei die Eingaben, die der Remote-Mitarbeiter vornimmt, von tatsächlichen Lenkbefehlen bis hin zu Entscheidungen über komplexere Manöver, beispielsweise links oder rechts fahren oder abbiegen, reichen können.Autonomous robotic systems are already being used in many areas. For example, highly automated and autonomous or semi-autonomous driver assistance systems are known. A further field of application of autonomous robot systems are forklifts, which are used, for example, in industrial warehouses or the like. Autonomous or semi-autonomous robotic systems are able to perform different operations without human intervention. For various reasons, however, it may happen that an autonomous or semi-autonomous robotic system is in a state where it can not by itself determine a clear approach and can not generate a clear control instruction for further operation. To solve this problem, the so-called shared autonomy approach is already known. In doing so, the robot system automatically recognizes such problem states and requests a human operator to remotely control the system and solve the problem by issuing a corresponding control instruction. The employee can certainly sit at a remote location. In order to provide the employee, also called remote employees, with corresponding information required for the further control, the robot system transmits the relevant system information to the employee; for example, video recordings and environmental measurement data are transmitted to the employee in a correspondingly processed representation. Then, using appropriate controls, the robot can be remotely controlled, with inputs made by the remote operator ranging from actual steering commands to decisions about more complex maneuvers, such as turning left or right or turning.

Damit der Remote-Mitarbeiter entsprechende Befehle erteilen kann, muss, auch abhängig von der Systemkomplexität, der Mitarbeiter in der Regel intensiv geschult sein und sollte sich zudem in der Regel in einer vergleichbaren Zeitzone wie das autonome oder halbautonome Robotersystem selbst befinden.Depending on the complexity of the system, the employee usually has to be intensively trained so that the remote employee can issue corresponding commands and, as a rule, should be in a comparable time zone as the autonomous or semi-autonomous robot system itself.

Offenbarung der ErfindungDisclosure of the invention

Vorteile der ErfindungAdvantages of the invention

Das erfindungsgemäße Verfahren stellt ein Verfahren zum Betreiben von autonomen oder halbautonomen Robotersystemen bereit, das nach dem Prinzip des shared autonomy arbeitet. Hierbei arbeitet das Robotersystem im Prinzip autonom oder zumindest halbautonom. Nur in bestimmten Situationen ist ein Eingreifen von menschlichen Mitarbeitern per Fernsteuerung erforderlich. Hierbei greift das erfindungsgemäße Verfahren in diesen Situationen ein, in denen das Robotersystem keine eindeutige Steuerungsanweisung für die weiteren Handlungsschritte autonom generieren kann und wobei in diesen Situationen eine externe Anweisung per Fernsteuerung angefordert wird. Bei dem erfindungsgemäßen Verfahren erkennt das Robotersystem zunächst eine Situation, in der keine eindeutige Steuerungsanweisung autonom generiert werden kann. In der Folge fordert das Robotersystem unter Zurverfügungstellung von Systeminformationen eine externe Anweisung per Fernsteuerung an. Die Anforderung einer externen Anweisung wird an wenigstens zwei Remote-Mitarbeiter, also menschliche Mitarbeiter, geschickt oder weitergeleitet. Die Remote-Mitarbeiter können sich dabei durchaus in räumlicher Entfernung zu dem Robotersystem und auch untereinander befinden. Die angefragten Remote-Mitarbeiter machen jeweils einen Steuerungsanweisungsvorschlag und die Steuerungsanweisungsvorschläge der Remote-Mitarbeiter werden empfangen, indem sie beispielsweise über eine geeignete Schnittstelle an eine steuernde Einheit, beispielsweise einen Zentralrechner, geschickt werden. Die Steuerungsanweisungsvorschläge werden anhand von Gütekriterien überprüft und auf dieser Basis wird ein Steuerungsanweisungsvorschlag ausgewählt. Der ausgewählte Steuerungsanweisungsvorschlag wird als externe Steuerungsanweisung per Fernsteuerung an das Robotersystem zur Ausführung übertragen.The method of the invention provides a method of operating autonomous or semi-autonomous robotic systems that operates on the principle of shared autonomy. In this case, the robot system operates in principle autonomous or at least semi-autonomous. Only in certain situations is human intervention by remote control necessary. In this case, the method according to the invention intervenes in these situations in which the robot system can not autonomously generate a clear control instruction for the further action steps and in which case an external command is requested by remote control. In the method according to the invention, the robot system first detects a situation in which no clear control instruction can be autonomously generated. Subsequently, the robot system requests an external instruction by remote control, providing system information. The request for an external instruction is sent or forwarded to at least two remote employees, ie human employees. The remote employees can be located at a distance from the robot system as well as among each other. The requested remote employees each make a control suggestion suggestion, and the remote employee control instruction suggestions are received by, for example, sending it via an appropriate interface to a controlling entity, such as a central computer. The control instruction proposals are checked against quality criteria and on this basis a control instruction proposal is selected. The selected control instruction proposal is remotely transmitted to the robot system for execution as an external control instruction.

Verschiedene Ursachen können zu Situationen führen, in denen das Robotersystem keine eindeutige Steuerungsanweisung autonom generieren kann. Beispielsweise kann der Zustand eintreten, dass das Robotersystem in einer Ecke gewissermaßen festgefahren ist. In diesem Problemzustand muss eine geeignete Entscheidung gefällt werden, auf welche Weise sich das Robotersystem aus diesem Problemzustand heraus manövrieren kann (z.B. Rückwärtsfahren, Drehen etc.). Andere Situationen können besonders herausfordernde Situationen sein, z. B. Situationen, in denen eine Entscheidung erforderlich ist, ob eine Trajektorie links oder rechts um ein Hindernis herum effizienter ist. Weiterhin können Situationen, in denen keine eindeutige Steuerungsanweisung autonom generiert werden kann, auftreten, wenn das Robotersystem besonders sensible oder gefährliche Tätigkeiten auszuführen hat. Ein Beispiel hierfür ist die Handhabung von Gefahrenstoffen, bei denen ein hohes Risiko besteht, wenn eine Fehlhandlung durchgeführt wird. Für solche Risikosituationen kann es vorgesehen sein, dass das Robotersystem selbst keine eindeutige Steuerungsanweisung autonom generiert, sondern dass aus Gründen der Verantwortungsübernahme und der Sicherheit eine Kontrolle durch menschliche Mitarbeiter erfolgt. Auch Kombinationen solcher Situationen können dazu führen, dass das Robotersystem gemäß dem erfindungsgemäßen Verfahren eine externe Anweisung per Fernsteuerung anfordert. Die Situationen, die eine externe Anweisung erfordern, können also durch verschiedene umgebungs-, orts- und/oder handlungsabhängige Zustände ausgelöst werden.Various causes can lead to situations in which the robot system can not autonomously generate a clear control instruction. For example, the state may occur that the robot system is stuck in a corner so to speak. In this problem state, a suitable decision has to be made as to how the robot system can maneuver out of this problem state (eg reversing, turning, etc.). Other situations can be particularly challenging situations, eg. B. Situations in which a decision is required as to whether a trajectory to the left or right around an obstacle is more efficient. Furthermore, situations in which no unique control instruction can be generated autonomously can occur when the robot system is particularly sensitive or carry out dangerous activities. An example of this is the handling of hazardous substances that are at high risk when a malfunction occurs. For such risk situations, it may be provided that the robot system itself does not autonomously generate a clear control instruction, but that, for reasons of assumption of responsibility and safety, a check is carried out by human employees. Combinations of such situations can also lead to the robot system requesting an external instruction by remote control according to the method according to the invention. The situations that require an external instruction can therefore be triggered by various ambient, location and / or action dependent states.

Der besondere Vorteil des erfindungsgemäßen Verfahrens liegt darin, dass durch die Ausweitung der Entscheidungsfindung auf mehrere Personen (Remote-Mitarbeiter) die Anforderungen an den einzelnen Remote-Mitarbeiter im Hinblick auf Schulung, Erfahrung und Ähnliches reduziert werden können, da die auszuführende Aktion, also die jeweilige Steuerungsanweisung, durch die Gruppe der Remote-Mitarbeiter validiert werden kann. Hierdurch können auch bei erhöhter Systemkomplexität verhältnismäßig wenig geschulte Mitarbeiter eingesetzt werden, da davon auszugehen ist, dass durch Anwendung von Gütekriterien auf die jeweiligen Steuerungsanweisungsvorschläge die richtige Entscheidung herausgefiltert werden kann, die dann auch umgesetzt wird. Im Vergleich mit herkömmlichen Verfahren kann bei dem erfindungsgemäßen Verfahren die Qualifikation und/oder die Erfahrung der jeweiligen Remote-Mitarbeiter geringer angesetzt werden. Das heißt, dass auch weniger qualifizierte Mitarbeiter für diese Aufgaben herangezogen werden können. Dies kann besonders wichtig sein, wenn das Robotersystem beispielsweise weltweit eingesetzt werden soll. Bei herkömmlichen Verfahren sind in diesem Fall, auch durch die unterschiedlichen Zeitzonen, verhältnismäßig viele, hochqualifizierte lokale Mitarbeiter für eine gegebenenfalls erforderliche Fernsteuerung des Robotersystems notwendig. Mit Hilfe des erfindungsgemäßen Verfahrens kann durch die Aufweitung der Entscheidungsfindung auf eine Mehrzahl von weniger qualifizierten Personen das Problem des Einsatzes von hochqualifizierten Mitarbeitern gelöst werden.The particular advantage of the method according to the invention lies in the fact that by extending the decision-making to several persons (remote employees) the requirements for the individual remote employee with regard to training, experience and the like can be reduced, since the action to be performed, ie the respective control statement by which the group of remote employees can be validated. As a result, relatively little trained employees can be used even with increased system complexity, since it can be assumed that the right decision can be filtered out by applying quality criteria to the respective control instruction proposals, which is then also implemented. In comparison with conventional methods, the qualification and / or the experience of the respective remote employees can be set lower in the method according to the invention. This means that even less qualified employees can be used for these tasks. This can be particularly important if the robot system is to be used worldwide, for example. In conventional methods, in this case, even by the different time zones, a relatively large number of highly qualified local employees are necessary for any required remote control of the robot system. With the aid of the method according to the invention, the widening of the decision-making to a plurality of less qualified persons can solve the problem of employing highly qualified employees.

In besonders bevorzugter Weise kann eine Übereinstimmung der Steuerungsanweisungsvorschläge als Gütekriterium herangezogen werden. Wenn beispielsweise bei zehn Remote-Mitarbeitern nach einem Steuerungsanweisungsvorschlag angefragt wird und beispielsweise sieben dieser Remote-Mitarbeiter den gleichen Steuerungsanweisungsvorschlag machen, kann davon ausgegangen werden, dass dies der richtige Steuerungsanweisungsvorschlag ist, der für den weiteren reibungslosen Betrieb des Robotersystems geeignet ist. Wenn also die Mehrzahl der Steuerungsanweisungsvorschläge übereinstimmen, kann diese Steuerungsanweisung als valide akzeptiert und durchgeführt werden. Hierdurch kann den erforderlichen Sicherheitsansprüchen genügt werden.In a particularly preferred manner, a match of the control instruction suggestions can be used as a quality criterion. For example, if ten remote workers are asked for a control suggestion proposal, and for example, seven of those remote employees make the same control suggestion suggestion, then this is the correct control suggestion that is appropriate for the continued smooth operation of the robot system. Thus, if the majority of the control instruction suggestions match, this control instruction can be accepted and performed as valid. As a result, the required security requirements can be satisfied.

In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens können bei der Anforderung der externen Anweisung durch das Robotersystem von dem Robotersystem selbst zwei oder mehr Steuerungsanweisungsvorschläge zur Auswahl gestellt werden. Die angerufenen Remote-Mitarbeiter stimmen dann gewissermaßen über diese Steuerungsanweisungsvorschläge ab, sodass der Steuerungsanweisungsvorschlag, der von der Mehrheit gewählt wird, als valide akzeptiert und durchgeführt wird.In a preferred embodiment of the method according to the invention, when the external instruction is requested by the robot system, two or more control instruction suggestions may be selected by the robot system itself. The called remote employees then sort of vote on these control suggestion proposals so that the control suggestion proposed by the majority is accepted and performed as valid.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens werden die Remote-Mitarbeiter, von denen ein Steuerungsanweisungsvorschlag angefordert wird, für das Verfahren bzw. für die Entscheidung in der jeweiligen Situation ausgewählt. Alternativ oder zusätzlich kann die Anzahl der anzurufenden Remote-Mitarbeiter ausgewählt oder festgelegt werden. Die Auswahl der Remote-Mitarbeiter kann insbesondere anhand von deren Expertise und/oder Qualifikation für die Lösung des jeweiligen Problems erfolgen, wobei die Auswahl insbesondere von mindestens einer Größe, die die Expertise und/oder Qualifikation der jeweiligen Remote-Mitarbeiter repräsentiert, abhängig gemacht werden kann. So kann es beispielsweise für die Lösung eines weniger komplexen Problems ausreichend sein, weniger geschulte und weniger qualifizierte Remote-Mitarbeiter einzubeziehen. Bei sehr komplexen Problemen, deren Lösung schwierige Entscheidungen erfordern, kann es hingegen erforderlich sein, gut geschulte Remote-Mitarbeiter mit entsprechender Expertise einzubeziehen.In a further embodiment of the method according to the invention, the remote employees, from whom a control instruction proposal is requested, are selected for the method or for the decision in the respective situation. Alternatively or additionally, the number of remote employees to be called can be selected or specified. The selection of the remote employees can be made in particular on the basis of their expertise and / or qualification for the solution of the problem in question, the selection in particular of at least one size, which represents the expertise and / or qualification of the respective remote employees, made dependent can. For example, to solve a less complex problem, it may be sufficient to include less trained and less skilled remote workers. For very complex problems that require difficult decisions to resolve, however, it may be necessary to include well-trained remote workers with appropriate expertise.

Besonders bevorzugt ist es, dass die Auswahl und/oder die Anzahl der Remote-Mitarbeiter von der Schwierigkeit bei der Entscheidung über eine sinnvolle Steuerungsanweisung abhängig ist. Die Lösung einer leichten Aufgabe kann dabei beispielsweise von wenigen, auch nur wenig erfahrenen oder qualifizierten Remote-Mitarbeitern durchgeführt werden, wohingegen eine sehr komplexe Problemstellung von einer höheren Anzahl von zugleich auch höher qualifizierten und erfahrenen Mitarbeitern zu lösen ist.It is particularly preferred that the selection and / or the number of remote employees depends on the difficulty in deciding on a meaningful control instruction. The solution of an easy task can be carried out for example by a few, even less experienced or qualified remote employees, whereas a very complex problem is solved by a higher number of at the same time also highly qualified and experienced employees.

Die gegebenenfalls festzulegende Anzahl der Remote-Mitarbeiter kann von deren Expertise und/oder Qualifikation in der Summe abhängig gemacht werden, indem beispielsweise die Anzahl der auszuwählenden Remote-Mitarbeiter von der Summe von Größen, die die Expertise und/oder Qualifikation der jeweiligen Remote-Mitarbeiter repräsentieren, abhängig gemacht werden kann. Die Anzahl der angerufenen Remote-Mitarbeiter kann dabei also von dem kumulierten Erfahrungsschatz bezüglich der auszuführenden Aufgabe bestimmt werden. Beispielsweise kann eine komplexe Aufgabe von zwei hocherfahrenen Remote-Mitarbeitern oder von vier Remote-Mitarbeitern, die eine mittlere Erfahrung für diese komplexe Aufgabe mitbringen, gelöst werden. Insofern kann entsprechend der Qualifikation und/oder Erfahrung der Remote-Mitarbeiter in Relation zur Komplexizität und/oder Risikohaftigkeit der auszuführenden Aufgabe die Anzahl der angerufenen Remote-Mitarbeiter angepasst werden. Hierbei können die Anforderungsqualifikationen sogar soweit reduziert werden, dass die Aufgaben von komplett freien Mitarbeitern, die gegebenenfalls dezentral platziert sein können, übernommen werden können. Diese Mitarbeiter können sich beispielsweise dynamisch in eine Gruppe verfügbarer Remote-Mitarbeiter einfügen, gewissermaßen als Cloud von Remote-Mitarbeitern. Die Entscheidungsfindung über eine solche Cloud eignet sich vor allem für Entscheidungen mit kleinem Risiko, beispielsweise für Entscheidungen, ob eine Trajektorie links oder rechts gewählt werden soll. Durch die Übernahme solcher weniger relevanten Entscheidungen oder von Entscheidungen mit kleinem Risiko durch eine Cloud kann auch das Gesamtsystemverhalten des Robotersystems optimiert werden.The number of remote employees to be defined if necessary can be made dependent on their expertise and / or qualification in the sum, for example by the number of remote employees to be selected from the total of sizes that represent the expertise and / or qualifications of each remote employee. The number of remote employees called can thus be determined by the accumulated wealth of experience with regard to the task to be performed. For example, a complex task can be solved by two experienced remote employees or by four remote employees who have a medium experience in this complex task. In this respect, according to the qualification and / or experience of the remote employees in relation to the complexity and / or riskiness of the task to be performed, the number of called remote employees can be adjusted. The requirement qualifications can even be reduced to such an extent that the tasks of completely freelance employees, who may be decentrally placed, can be taken over. For example, these employees can dynamically join a group of available remote employees, effectively as a cloud of remote employees. The decision making about such a cloud is particularly suitable for decisions with low risk, for example, for decisions on whether a trajectory should be left or right. By adopting such less relevant decisions or making small risk decisions through a cloud, the overall system behavior of the robotic system can also be optimized.

In einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens werden die von dem Robotersystem zur Verfügung gestellten Systeminformationen verfremdet und/oder verschlüsselt, bevor sie an die Remote-Mitarbeiter übertragen werden. Hierbei können beispielsweise Gesichter, die in Videoaufnahmen sichtbar sind, oder Güter, ortsbezogene Informationen, Adresszeilen, Telefonnummern, Zahlenfolgen oder Ähnliches, die beispielsweise einem Videobild zu entnehmen sind, vor der Übertragung verfremdet werden. Auf diese Weise können Datenschutz- und Datensicherheitsaspekte, die in verschiedenen Regionen des prinzipiell weltweiten Einsatzgebietes des erfindungsgemäßen Verfahrens relevant sein können, berücksichtigt werden.In a further preferred embodiment of the method according to the invention, the system information provided by the robot system is alienated and / or encrypted before being transmitted to the remote employees. In this case, for example, faces that are visible in video recordings, or goods, location-related information, address lines, telephone numbers, numerical sequences or the like, which may be taken from a video image, for example, are alienated prior to transmission. In this way, data protection and data security aspects, which may be relevant in different regions of the principle worldwide field of application of the method according to the invention, can be taken into account.

In einer weiteren Ausprägung des erfindungsgemäßen Verfahrens können die Steuerungsanweisungsvorschläge und/oder die Steuerungsanweisungen in einer Datenbank protokolliert werden. Bei der Datenbank kann es sich beispielsweise um eine zentrale oder auch um einer verteilte Datenbank handeln. Hierdurch ist eine Protokollierung der verschiedenen erfolgen Entscheidungen in den verschiedenen Problemzuständen, die externe Anweisungen erfordern, möglich. In einer besonders vorteilhaften Ausgestaltung dieses Aspektes des erfindungsgemäßen Verfahrens können die protokollierten Steuerungsanweisungen für ein maschinelles Lernen des Robotersystems eingesetzt werden. Durch das maschinelle Lernen des autonomen Systems ist es möglich, das Verhalten des Robotersystems schrittweise dem menschlichen Verhalten gewissermaßen anzunähern.In a further embodiment of the method according to the invention, the control instruction suggestions and / or the control instructions can be logged in a database. The database may be, for example, a central database or a distributed database. This allows logging of the various decisions made in the various problem states that require external instructions. In a particularly advantageous embodiment of this aspect of the method according to the invention, the logged control instructions can be used for machine learning of the robot system. The machine learning of the autonomous system makes it possible to gradually approximate the behavior of the robot system to human behavior.

Weiterhin ist es möglich, dass die protokollierten Steuerungsanweisungsvorschläge und/oder die protokollierten Steuerungsanweisungen dem jeweiligen Remote-Mitarbeiter zugeordnet werden, auf den die Steuerungsanweisungsvorschläge bzw. die letztendlich umgesetzten Steuerungsanweisungen zurückgehen. Diese weitergehenden Informationen können mit besonderem Vorteil für eine Auswahl der anzurufenden Remote-Mitarbeiter genutzt werden, da gezielt die Mitarbeiter angesprochen werden können, die in der Vergangenheit die besten Entscheidungen getroffen haben. Weiterhin ist es hierdurch möglich, Verantwortlichkeiten zu dokumentieren, was möglicherweise aus Sicherheitsgründen und aus haftungsrechtlichen Gründen erforderlich sein kann.Furthermore, it is possible for the logged control instruction suggestions and / or the logged control instructions to be assigned to the respective remote employee to whom the control instruction suggestions and / or the finally implemented control instructions originated. This further information can be used with particular advantage for a selection of the remote employees to be called, as it is possible to target the employees who have made the best decisions in the past. It also makes it possible to document responsibilities, which may be necessary for security and liability reasons.

Die Erfindung umfasst weiterhin ein Computerprogramm, das zur Durchführung der Schritte des beschriebenen Verfahrens eingerichtet ist. Schließlich umfasst die Erfindung ein maschinenlesbares Speichermedium, auf welchem ein solches Computerprogramm gespeichert ist, sowie ein elektronisches Steuergerät, das zur Durchführung der Schritte des erfindungsgemäßen Verfahrens eingerichtet ist. Das erfindungsgemäße Computerprogramm kann beispielsweise Bestandteil eines zentralen Rechners oder Computers sein, der als Steuergerät für den Betrieb eines autonomen oder halbautonomen Robotersystems dient. Über diesen zentralen Rechner kann dann die Verteilung der Anfragen an entsprechende Remote-Mitarbeiter erfolgen. Auch die Auswertung der eingehenden Steuerungsanweisungsvorschläge kann in dem zentralen Rechner erfolgen, bevor die auszuführende externe Anweisung per Fernsteuerung an das Robotersystem weitergeleitet wird.The invention further comprises a computer program which is set up to carry out the steps of the described method. Finally, the invention comprises a machine-readable storage medium, on which such a computer program is stored, as well as an electronic control device, which is set up to carry out the steps of the method according to the invention. The computer program according to the invention can be part of a central computer or computer, for example, which serves as a control device for the operation of an autonomous or semi-autonomous robot system. This central computer can then be used to distribute the requests to corresponding remote employees. The evaluation of the incoming control instruction suggestions can also be made in the central computer before the external instruction to be executed is remotely forwarded to the robot system.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Verbindung mit der Figur. Hierbei können die einzelnen Merkmale jeweils für sich oder in Kombination miteinander verwirklicht sein.Further features and advantages of the invention will become apparent from the following description of exemplary embodiments in conjunction with the figure. In this case, the individual features can be implemented individually or in combination with each other.

Die Figur zeigt ein Blockdiagramm zur Illustrierung einer beispielhaften Ausgestaltung des erfindungsgemäßen Verfahrens.The figure shows a block diagram illustrating an exemplary embodiment of the method according to the invention.

Beschreibung von AusführungsbeispielenDescription of exemplary embodiments

Die Figur illustriert eine beispielhafte Ausführungsform des erfindungsgemäßen Verfahrens. Hierbei wird im Schritt 10 von dem Robotersystem zunächst erkannt, dass ein Problem vorliegt. Insbesondere wird hierbei erkannt, dass in der aktuellen Situation keine eindeutige Steuerungsanweisung autonom von dem Robotersystem generiert werden kann. Beispielsweise wird von einem fahrerlosen Transportfahrzeug (Flurförderzeug), das ein autonomes oder halbautonomes Robotersystem darstellt, erkannt, dass eine aufzunehmende Palette nicht identifiziert werden kann und/oder beschädigt ist. Im folgenden Schritt 20 generiert das Robotersystem Vorschläge zur Lösung für diese Situation, also für ein geeignetes Manöver. Ein Lösungsvorschlag ist hierbei beispielsweise, dass die Palettenaufnahme abgebrochen wird. Der andere Vorschlag ist, dass die Palette manuell identifiziert und dann aufgenommen werden soll. Da das Robotersystem sich nicht autonom entscheiden kann, fordert das Robotersystem unter Zurverfügungstellung von entsprechenden Systeminformationen eine externe Anweisung per Fernsteuerung an. Diese Anforderung kann an eine zentrale Steuereinrichtung, z.B. einen Zentralrechner, übermittelt werden. Im Schritt 30 werden zunächst bestimmte Remote-Mitarbeiter ausgewählt, bei denen wegen eines Steuerungsanweisungsvorschlages für diese Situation nachgefragt werden soll. Die Auswahl der Remote-Mitarbeiter erfolgt insbesondere anhand von deren Expertise, die beispielsweise anhand von deren bisherigen Lösungsleistungen bei ähnlichen Problemen bestimmt werden kann. Auch die Anzahl der anzusprechenden Remote-Mitarbeiter kann bei diesem Schritt festgelegt werden. Im Schritt 40 werden die ausgewählten Remote-Mitarbeiter insbesondere von der zentralen Steuereinrichtung um einen Steuerungsanweisungsvorschlag für die vorliegende Situation gebeten. In diesem Ausführungsbeispiel werden dabei die von dem Robotersystem generierten Lösungsvorschläge den angerufenen Remote-Mitarbeitern übermittelt. Die Remote-Mitarbeiter treffen dann jeweils ihre eigene Entscheidung in Bezug auf die vorgelegten Lösungsvorschläge und übersenden die Entscheidungsvorschläge an die zentrale Steuereinrichtung. Im Schritt 50 werden die eingegangenen Lösungsvorschläge der Remote-Mitarbeiter anhand von Gütekriterien überprüft. Hierbei wird insbesondere abgefragt, ob die Steuerungsanweisungsvorschläge der einzelnen Remote-Mitarbeiter ausreichend übereinstimmen. Kann hierbei keine eindeutige Aussage in Hinblick auf die Validität eines auszuwählenden Lösungsvorschlags getroffen werden, wird zum Schritt 30 zurückgesprungen. Dabei werden entweder die bereits ausgewählten Remote-Mitarbeiter noch einmal angesprochen oder es kann eine neue Auswahl von Remote-Mitarbeitern gegebenenfalls in anderer Anzahl vorgenommen werden. Ist das Ergebnis der Überprüfung im Schritt 50 so ausgefallen, dass einer der Steuerungsanweisungsvorschläge als valide betrachtet werden kann, wird im Schritt 60 dieser Steuerungsanweisungsvorschlag als externe Steuerungsanweisung an das Robotersystem übermittelt, sodass das ausgewählte Manöver durchgeführt werden kann. Im nachfolgenden Schritt 70 wird überprüft, ob das ursprüngliche Problem behoben ist. Ist dies nicht der Fall, wird zum Schritt 10 zurückgesprungen. Ist das Problem behoben, kann im Schritt 80 der reguläre Betrieb des autonomen oder halbautonomen Robotersystems fortgeführt werden.The figure illustrates an exemplary embodiment of the method according to the invention. This is in the step 10 first recognized by the robot system that there is a problem. In particular, it is recognized in this case that in the current situation no clear control instruction can be generated autonomously by the robot system. For example, an unattended transport vehicle (truck), which is an autonomous or semi-autonomous robotic system, recognizes that a pick-up pallet can not be identified and / or is damaged. In the following step 20 The robot system generates suggestions for the solution to this situation, ie for a suitable maneuver. A suggested solution here is, for example, that the pallet holder is aborted. The other suggestion is that the palette should be manually identified and then recorded. Since the robot system can not decide autonomously, the robot system requests an external instruction by remote control with the corresponding system information. This request can be transmitted to a central control device, eg a central computer. In step 30 First of all, certain remote employees are selected who should be asked about this situation because of a control instruction proposal. The selection of the remote employees is done in particular on the basis of their expertise, which can be determined, for example, on the basis of their previous solutions for similar problems. The number of remote employees to be addressed can also be specified at this step. In step 40 In particular, the selected remote employees are asked by the central controller for a control suggestion proposal for the present situation. In this embodiment, the solution suggestions generated by the robot system are transmitted to the called remote employees. The remote employees then each make their own decision regarding the proposed solutions and send the decision proposals to the central controller. In step 50 The solution proposals received by the remote employees are checked on the basis of quality criteria. In particular, this queries whether the control instruction suggestions of the individual remote employees match sufficiently. If no clear statement can be made with regard to the validity of a proposed solution to be selected, it will become a step 30 jumps back. Either the already selected remote employees are addressed again or a new selection of remote employees can be made in a different number. Is the result of the review in step 50 so failed that any of the control suggestion proposals can be considered valid, in step 60 this control instruction proposal is transmitted as an external control instruction to the robot system so that the selected maneuver can be performed. In the following step 70 it checks if the original problem is solved. If this is not the case, it becomes the step 10 jumps back. If the problem is resolved, in step 80 the regular operation of the autonomous or semi-autonomous robotic system continues.

Claims

Method for operating autonomous or semi-autonomous robotic systems, in which an external instruction is requested by remote control in situations in which the robot system can not autonomously generate a unique control instruction, characterized by the following method steps: the robot system recognizes a situation in which no unique control instruction can be autonomously generated (10), the robot system requests an external instruction by remote control to provide system information, the request for an external instruction is sent to at least two remote employees (40), - one control instruction proposal is received from each of the remote employees, - the proposed management proposals are reviewed on the basis of quality criteria (50) and on this basis a management proposal is selected, the selected control instruction proposal is transmitted as an external control instruction by remote control to the robot system for execution (60).

Method according to Claim 1 , characterized in that a match of the control instruction proposals represents a quality criterion.

Method according to Claim 1 or Claim 2 characterized in that upon requesting an external instruction by the robotic system, the robotic system selects (20) at least two control instruction suggestions.

Method according to one of the preceding claims, characterized in that the remote employees to whom the request is sent and / or the number of remote employees to whom the request is sent are selected for the procedure (30).

Method according to Claim 4 , characterized in that the selection of the remote employees on the basis of at least one size, which represents the expertise and / or qualification of the respective remote employees occurs.

Method according to Claim 4 or Claim 5 , characterized in that the selection and / or the number of remote employees depends on the level of difficulty in deciding on a control instruction.

Method according to one of Claims 4 to 6 , characterized in that the number of remote employees to be selected depends on the sum of quantities representing the expertise and / or qualification of the respective remote employees.

Method according to one of the preceding claims, characterized in that the system information provided is alienated and / or encrypted.

Method according to one of the preceding claims, characterized in that the control instruction proposals and / or the control instructions are logged in a database.

Method according to Claim 9 Characterized in that the recorded control instructions are used for machine learning of the robot system.

Method according to Claim 9 or Claim 10 , characterized in that the logged control instruction proposals and / or the logged control instructions are assigned to the respective remote employee and that this information is used for a selection of the remote employees and / or their number.

Computer program that is adapted to the steps of a method according to one of Claims 1 to 11 perform.

Machine-readable storage medium on which a computer program is based Claim 12 is stored.

Electronic control apparatus arranged to perform the steps of a method according to any one of Claims 1 to 11 perform.