DE102020114574A1 - Verfahren zum kooperativen Kontrollieren eines autonomen Systems durch einen menschlichen Operator und/oder ein automatisches Kontrollsystem und Computerprogrammprodukt - Google Patents

Abstract

Verfahren zum kooperativen Kontrollieren wenigstens eines autonomen Systems (100) durch wenigstens einen menschlichen Operator (108) und/oder wenigstens ein automatisches Kontrollsystem (106) mit wenigstens einem Sensor, wobei Kontrollanweisungen des wenigstens einen menschlichen Operators (108) und Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems (106) gewichtet kombiniert werden und eine Gewichtung unter Berücksichtigung eines Sensormessrauschens angepasst wird, und Computerprogrammprodukt, das Programmcodeabschnitte umfasst, mit denen ein derartiges Verfahren durchführbar ist, wenn das Computerprogrammprodukt mithilfe eines Prozessors ausgeführt wird.

Description

• Die Erfindung betrifft ein Verfahren zum kooperativen Kontrollieren eines autonomen Systems durch einen menschlichen Operator und/oder ein automatisches Kontrollsystem mit wenigstens einem Sensor, wobei Kontrollanweisungen des menschlichen Operators und Kontrollanweisungen des automatischen Kontrollsystems gewichtet kombiniert werden. Außerdem betrifft die Erfindung ein Computerprogrammprodukt.
• Bekannt sind Systeme mit festen Authoritätszuweisungsfaktoren, Systeme, die feste Modelle verwenden, Systeme, die nur von einer Leistung/Intention eines menschlichen Operators abhängen, und Systeme, die nur auf reinen Sensormessungen beruhen. Zum technologischen Hintergrund wird auf die folgenden Veröffentlichungen verwiesen: T. B. Sheridan, Telerobotik, Automatisierung und menschliche Überwachungskontrolle. MIT-Presse, 1992. D. A. Abbink, M. Mulder und E. R. Boer, „Haptische geteilte Kontrolle: reibungslos wechselnde Kontrollbefugnisse? Kognition, Technologie und Arbeit, Band 14, Nr. 1, S. 19-28, 2012. S. Musi'c und S. Hirche, „Control sharing in human-robot team interaction", Annual Reviews in Control, Band 44, S. 342-354, 2017. T. Inagaki et al., „Adaptive Automatisierung: Sharing and trading of control", Handbuch zur Gestaltung kognitiver Aufgaben, Band 8, S. 147-169, 2003. P. Evrard und A. Kheddar, „Homotopie-basierte Steuerung für die physische Mensch-Roboter-Interaktion", in RO-MAN 2009-Das 18. Internationale IEEE-Symposium über Roboter- und Menschinteraktive Kommunikation. IEEE, 2009, S. 1-6. P. Owan, J. Garbini und S. Devasia, „Unsicherheitsbasierte Schlichtung der gemeinsamen Kontrolle von Mensch und Maschine", arXiv preprint arXiv:1511.05996, 2015. Kucukyilmaz, T. M. Sezgin und C. Basdogan, „Intention recognition for dynamic role exchange in haptic collaboration", IEEE-Transaktionen zur Haptik, Band 6, Nr. 1, S. 58-68, 2012. Sanders, D.A., Sanders, B.J., Gegov, A. und Ndzi, D., 2017, September. Verwendung von Vertrauensfaktoren, um die Steuerung zwischen einem mobilen Roboter-Teleoperator und Ultraschallsensoren aufzuteilen. Im Jahr 2017 Konferenz über intelligente Systeme (IntelliSys) (S. 1026-1033). IEEE.
• Der Erfindung liegt die Aufgabe zugrunde, ein eingangs genanntes Verfahren zu verbessern. Außerdem liegt der Erfindung die Aufgabe zugrunde, ein eingangs genanntes Computerprogrammprodukt bereitzustellen.
• Die Aufgabe wird gelöst mit einem Verfahren mit den Merkmalen des Anspruchs 1. Außerdem wird die Aufgabe gelöst mit einem Computerprogrammprodukt mit den Merkmalen des Anspruchs 11. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
• Das Verfahren kann zum geteilten Kontrollieren dienen. Das Verfahren kann ein Shared-Control-Verfahren sein. Das kooperative Kontrollieren kann ein steuerungstechnisches und/oder regelungstechnisches Kontrollieren sein. Beim kooperativen Kontrollieren können wenigstens ein menschlichen Operator und wenigstens ein automatisches Kontrollsystem aufeinander abgestimmt zusammenarbeiten. Der wenigstens eine menschliche Operator und das wenigstens eine automatische Kontrollsystem können Aktionen und/oder Prozesse mit gemeinsamen Zielen ausführen. Der wenigstens eine menschliche Operator und das wenigstens eine automatische Kontrollsystem können jeweils auf ihrer Wahrnehmung basierend Absichten bilden, die dann in kooperative Aktionen und/oder Prozesse umgesetzt werden.
• Das wenigstens eine autonome System kann ein autonomer Hardware-Agent oder ein autonomer Software-Agent sein. Das wenigstens eine autonome System kann beispielswiese ein autonomes Fahrzeug, insbesondere Straßenfahrzeug, wie PKW oder LKW, oder autonomes Luftfahrzeug, wie unbemanntes Luftfahrzeug (UAV), Drohne, Passagierflugzeug mit Autopilot oder Frachtflugzeug mit Autopilot, ein Assistenzsystem, insbesondere ein medizinisches Assistenzsystem, wie Rollstuhl mit autonomen Fähigkeiten, oder ein Roboter, insbesondere ein Roboter zur Verwendung in einer für Menschen gefährlichen und/oder ungeeigneten Umgebung, wie Roboter zur Wartung und Reparatur im nuklearen Umfeld, Roboter zur Wartung und Reparatur in Erdölanlagen, Roboter zur Wartung und Reparatur in der chemischen Industrie, Roboter zur Satellitenwartung im Orbit und Beseitigung von Weltraummüll oder Roboter zur Suche und Rettung in Katastrophengebieten, ein Medizinroboter, wie Roboter für minimalinvasive Chirurgie oder Telemedizin, ein Roboter zur Verwendung im Gesundheitswesen oder in der Heimrobotik, ein Roboter zur virtuellen Montage auf der Basis haptischer Vorrichtungen in Branchen wie der Automobil- oder Flugzeugindustrie oder ein Roboter zum virtuellen Training auf der Basis haptischer Geräte sein.
• Der wenigstens eine menschliche Operator kann mit dem wenigstens einen autonomen System über eine Benutzerschnittstelle oder Mensch-Maschine-Schnittstelle interagieren. Die Benutzerschnittstelle oder Mensch-Maschine-Schnittstelle kann wenigstens eine Eingabevorrichtung und/oder wenigstens eine Ausgabevorrichtung aufweisen. Die Benutzerschnittstelle oder Mensch-Maschine-Schnittstelle kann beispielsweise ein Lenkrad, eine haptische Schnittstelle, wie Joystick, eine Tastatur, eine Computermaus, ein Steuerhorn oder Steuerknüppel, ein Sidestick, ein Pedal oder ein Hebel, wie Gas- oder Schubhebel sein.
• Das wenigstens eine automatische Kontrollsystem kann programmierbar sein. Das wenigstens eine automatische Kontrollsystem kann wenigstens einen Prozessor, wenigstens einen Programmspeicher, wenigstens einen Datenspeicher, wenigstens einen Datenbus, wenigstens einen Signaleingang, wenigstens einen Signalausgang, und/oder wenigstens eine Benutzerschnittstelle aufweisen. Das wenigstens eine automatische Kontrollsystem kann Teil des wenigstens einen autonomen Systems sein.
• Der wenigstens eine Sensor kann auch als Detektor, Aufnehmer oder Fühler bezeichnet werden. Der wenigstens eine Sensor kann zum Erfassen bestimmter physikalischer oder chemischer Eigenschaften, wie Wärmemenge, Temperatur, Feuchtigkeit, Druck, Kraft, Moment, Schallfeldgrößen, Luftstrom, Helligkeit, Farbe, Weg, Winkel, Abstand, Geschwindigkeit, Beschleunigung, Gierrate, pH-Wert, lonenstärke, elektrochemisches Potential, und/oder der stofflichen Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ, und zum Umformen dieser Größen und in ein weiterverarbeitbares elektrisches Signal dienen.
• Die Kontrollanweisungen des wenigstens einen menschlichen Operators und die Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems können in einem Shared-Control-System kombiniert werden. Das Shared-Control-System kann eine kombinierte Kontrollanweisung $$C_{fin}=W_{hum}\times C_{hum}+W_{acs}\times C_{acs}$$

  

  ausgeben, mit C_fin: kombinierte Kontrollanweisung, W_hum: Gewichtung der Kontrollanweisung des wenigstens einen menschlichen Operators, C_hum: Kontrollanweisung des wenigstens einen menschlichen Operators, W_acs: Gewichtung der Kontrollanweisung des wenigstens einen automatischen Kontrollsystems, C_acs: Kontrollanweisung des wenigstens einen automatischen Kontrollsystems.
• Die Gewichtung kann mithilfe der Faktoren W_hum und W_acs erfolgen. W_hum und W_acs können auch als Authority-Allocation-Faktoren oder Autoritätszuweisungsfaktoren bezeichnet werden. Beispielsweise kann gelten: W_hum + W_acs = 1 und W_hum kann in [0,1] liegen. Die Kontrollanweisungen des wenigstens einen menschlichen Operators und die Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems können also derart gewichtet kombiniert werden, dass eine Autorität des wenigstens einen menschlichen Operators abnimmt, wenn eine Autorität des wenigstens einen automatischen Kontrollsystems zunimmt und umgekehrt. Die Gewichtung kann durch Anpassen der Faktoren W_hum und W_acs erfolgen. Die Gewichtung kann übergehend, stufenlos, kontinuierlich oder kleinschrittig diskret angepasst werden.
• Die Gewichtung kann basierend auf dem Sensormessrauschen angepasst werden. Die Gewichtung kann basierend auf einem echten, realen oder tatsächlichen Sensormessrauschen angepasst werden. Die Gewichtung kann zumindest annähernd in Echtzeit angepasst werden. Das Messrauschen kann sich aus Beeinträchtigungen einer Sensorwahrnehmung ergeben. Die Sensorwahrnehmung kann durch interne und/oder externe Faktoren beeinträchtigt sein. Externe Faktoren können beispielsweise eine Änderung von Lichtverhältnissen, Reflexionen und Schatten auf verfolgten Objekten oder Hindernisse in einem Sensorsystem, wie Schlamm, Staub, Wasser auf Sensoren von Fahrzeugen und Feldrobotern, eine Eisbildung auf Flugzeugen und anderen Luftfahrzeugen usw. sein. Interne Faktoren können beispielsweise ein Sensorrauschen und seine zeitveränderliche Natur, eine Verschlechterung der Sicht (unscharf, Nahbereich usw.) bei kamerabasierten Systemen, Kommunikationsfehler zwischen Sensoren und Controllern oder Sensor-Hardware/Software-Fehler sein.
• Kontrollanweisungen des wenigstens einen menschlichen Operators können höher und Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems geringer gewichtet werden, wenn sich das Sensormessrauschen erhöht. Kontrollanweisungen des wenigstens einen menschlichen Operators geringer und Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems können höher gewichtet werden, wenn sich das Sensormessrauschen verringert.
• Das Sensormessrauschen kann anhand eines Schwellwerts beurteilt werden. Eine Messung kann als gut bewertet werden, wenn das Sensormessrauschen unterhalb des Schwellwerts liegt. Eine Messung kann als schlecht bewertet werden, wenn das Sensormessrauschen oberhalb des Schwellwerts liegt.
• Der wenigstens eine menschliche Operator kann über das Sensormessrauschen und/oder über die Gewichtung informiert werden. Der wenigstens eine menschliche Operator kann mithilfe einer Ausgabevorrichtung, beispielsweise optisch, akustisch und/oder haptisch, informiert werden.
• Die Gewichtung kann durch den wenigstens einen menschlichen Operator und/oder eine Leistungsfähigkeit des wenigstens einen menschlichen Operators beeinflussbar sein. Der wenigstens eine menschliche Operator kann mithilfe einer Eingabevorrichtung eine Gewichtung von Kontrollanweisungen des wenigstens einen autonomen Systems reduzieren, gegebenenfalls bis auf null. Die Leistungsfähigkeit des wenigstens einen menschlichen Operators kann ermittelt und/oder beurteilt werden, beispielsweise mithilfe eines Blickverfolgungssystems, um einen Konzentration, Fokussierung und/oder Ermüdung zu beurteilen. Eine Kontrollanweisung des wenigstens einen menschlichen Operators kann vorrangig berücksichtigt werden. Bei einer sinkenden Leistungsfähigkeit des wenigstens einen menschlichen Operators kann eine Gewichtung seiner Kontrollanweisung gegebenenfalls bis auf null reduziert werden.
• Die Gewichtung kann durch das wenigstens eine autonome System und/oder eine Leistungsfähigkeit des wenigstens einen autonomen Systems beeinflussbar sein. Die Leistungsfähigkeit des wenigstens einen autonomen Systems kann ermittelt und/oder beurteilt werden, beispielsweise unter Berücksichtigung eine Kommunikationsqualität. Eine Kontrollanweisung des wenigstens einen automatischen Kontrollsystems kann vorrangig berücksichtigt werden. Bei einer sinkenden Leistungsfähigkeit des wenigstens einen autonomen Systems kann eine Gewichtung einer Kontrollanweisung des wenigstens einen automatischen Kontrollsystems gegebenenfalls bis auf null reduziert werden.
• Das wenigstens eine autonome System kann angehalten werden, wenn eine Leistungsfähigkeit des wenigstens einen menschlichen Operators und/oder eine Leistungsfähigkeit des wenigstens einen autonomen Systems eine vorgegebene Mindestleistungsfähigkeit unterschreiten/unterschreitet. Das wenigstens eine autonome System kann angehalten werden, indem die Gewichtungen des wenigstens einen menschlichen Operators und des wenigstens einen automatischen Kontrollsystems bis auf null reduziert werden.
• Das wenigstens eine automatische Kontrollsystem kann ein Fehlererkennungsmodul und ein Entscheidungsmodul verwenden. Mithilfe des Fehlererkennungsmoduls können Wahrscheinlichkeitsverteilungen beobachteter Zustände des wenigstens einen autonomen Systems unter Berücksichtigung des Sensormessrauschens rekursiv probabilistisch geschätzt werden. Mithilfe des Entscheidungsmoduls können unter Berücksichtigung der geschätzten Wahrscheinlichkeitsverteilungen die Kontrollanweisungen des wenigstens einen menschlichen Operators und die Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems gewichtet werden und/oder über ein Informieren des wenigstens einen menschlichen Operator über das Sensormessrauschen und/oder über die Gewichtung entschieden werden.
• Die Messdaten des wenigstens einen Sensors können adaptiv gefiltert werden, um eine ungefähre Unsicherheit eines Rauschmodells bereitzustellen. Das Fehlererkennungsmodul kann auf Grundlage eines Bayessche Filters implementiert werden. Für normalverteilte Messungen kann ein Kalman-Filter implementiert werden. Das Fehlererkennungsmodul kann eine Zustandsschätzung und eine zughörige Unsicherheitskovarianzmatrix P liefern. Damit kann eine P-Matrix erhalten werden, die von echten, realen oder tatsächlichen Sensormesswerten abhängt. Ein aktueller P-Wert kann an das Entscheidungsmodul übergeben werden.
• Mithilfe des Entscheidungsmoduls können die Faktoren W_hum und W_acs unter Verwendung des P-Werts wie folgt berechnet werden: $$W_{hum}\left(t\right)=\{\begin{array}{ll}\frac{\xi \left(P\left(t\right)\right)-\xi \left(P_{low}\right)}{\xi \left(P_{high}\right)-\xi \left(P_{low}\right)}\hfill & \text{if }\xi \left(P_{low}\right)\le \xi \left(P\left(t\right)\right)\le \xi \left(P_{high}\right)\hfill \\ 0\hfill & \text{if }\xi \left(P\left(t\right)\right)<\xi \left(P_{low}\right)\hfill \\ 1\hfill & \text{if }\xi \left(P\left(t\right)\right)>\xi \left(P_{high}\right),\hfill \end{array}$$

  

  wobei W_acs = 1 - W_hum.
• Das Verfahren kann ein computerimplementiertes Verfahren sein. Das Computerprogrammprodukt kann in ausführbarer oder installierbarer Form vorliegen. Das Computerprogrammprodukt kann auf einem computerlesbaren Speichermedium vorliegen.
• Zusammenfassend und mit anderen Worten dargestellt ergibt sich somit durch die Erfindung unter anderem eine adaptive Autoritätszuweisung bei gemeinsamer Steuerung auf der Grundlage von Sensormessrauschen.
• Autoritätszuweisungsfaktoren für einen menschlichen Operator und ein automatisches Kontrollsystem können reibungslos auf der Grundlage eines realen Sensormessrauschens angepasst werden. Ein System kann im Falle von verschlechterten Sensormessungen den menschlichen Operator über die Verschlechterung seiner Wahrnehmung informieren und auch die Autoritätszuweisung reibungslos so anpassen, dass es dem menschlichen Operator mehr Kontrolle gibt (falls dies das programmierte Verfahren ist). Wenn sich die Sensorik und Wahrnehmung später verbessert, kann das System den menschlichen Operator informieren und die Kontrollbefugnis von ihm an das automatische Kontrollsystem zurückgeben (wenn der Bediener sich dazu entscheidet/wenn das das programmierte Verhalten ist). Auf diese Weise muss der Bediener nur dann eingreifen, wenn ein Ausfallszenario des autonomen Systems vorliegt. Dadurch kann das autonome System die Aufgabe die meiste Zeit umsetzen und entlastet den menschlichen Operator somit von der physischen und mentalen Anstrengung.
• Die wichtigsten Beiträge sind: Die Anpassung basiert auf echtem Sensormessrauschen; die Anpassung ist fließend, sodass es keine Sprünge von einer Kontrollart zur anderen gibt; die Methode kann auch mit Entscheidungen/Leistungen des menschlichen Operators/Teleoperators kombinier werden.
• Mit der Erfindung wird ein Kontrollieren eines autonomen Systems erleichtert, verbessert und/oder vereinfacht. Eine Anpassung der Autoritätszuweisungsfaktoren für einen menschlichen Operator und ein automatisches Kontrollsystem reibungslos auf der Grundlage eines realen Sensormessrauschens ermöglicht. Eine Veränderung einer Autoritätszuweisung durch eine Verschlechterung von Sensormessungen wird reduziert oder vermieden. Es kann auf veränderte Umwelteinflüsse reagiert werden. Ein aktives Abstimmen der Autoritätszuweisungsfaktoren kann entfallen. Eine unzutreffende Abstimmung der Autoritätszuweisungsfaktoren kann vermieden werden. Ein menschlicher Operator kann entlastet werden. Eine Autoritätszuweisung kann während eines Betriebs verschoben werden. Ein vorgelagertes Festlegen und Abstimmen von Modellen können entfallen. Der menschliche Operator kann über eine Wahrnehmungsqualität des autonomen Systems informiert werden. Ein nachteiliger Einfluss einer reduzierten Leistungsfähigkeit des menschlichen Operators und/oder des autonomen Systems kann reduziert werden. Eine Gültigkeit gemessenen Werte kann verifizierbar sein. Ein erratisches Systemverhalten bei beeinträchtigter Sensormessung kann vermieden werden.
• Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf Figuren näher beschrieben, dabei zeigen schematisch und beispielhaft:
• 1 ein kooperatives Kontrollieren mithilfe adaptiver Autoritätszuweisung,
• 2 ein kooperatives Kontrollieren mithilfe adaptiver Autoritätszuweisung unter Verwendung eines Fehlererkennungsmoduls und eines Entscheidungsmoduls und
• 3 eine Variation von W_hum basierend auf realen Sensorsignalen.
• 1 zeigt ein kooperatives Kontrollieren eines autonomen Systems 100, wie autonomes Fahrzeug oder Roboter, mithilfe adaptiver Autoritätszuweisung. Ein adaptives Autoritätszuweisungsystem 102 kann eine verschlechterte Sensormessung 104 feststellen und eine Gewichtung W_hum und W_acs so anzupassen, dass bei guten Sensormessungen ein automatisches Kontrollsystem 106 eine höhere Autorität (W_hum « W_acs) hat und bei Verschlechterung der Sensormessungen ein menschlicher Operator 108 mehr Autorität erhält (W_hum >> W_acs), sodass er die Kontrolle übernehmen kann, um das automatische Kontrollsystem 106 zu unterstützen und das autonome System 100 in einem sicheren Zustand zu halten.
• Dazu kann das adaptive Autoritätszuweisungsystem 102, wie mit der Verbindung 110 dargestellt, den Faktor W_hum beeinflussen, wie mit der Verbindung 112 dargestellt, den W_acs beeinflussen, wie mit der Verbindung 114 dargestellt, das automatische Kontrollsystem 106 benachrichtigen und, wie mit der Verbindung 116 dargestellt, den menschlichen Operator 108 benachrichtigen. Dem adaptiven Autoritätszuweisungsystem 102 steht, wie mit der Verbindung 118 dargestellt, eine Information über Absicht und/oder eine Leistungsfähigkeit des menschlichen Operators 108 zur Verfügung. Das autonome System 100 kann, wie mit der Verbindung 120 dargestellt, eine Rückmeldung, beispielsweise über Sensormessungen, wie Kameraaufnahme oder Punktewolke, an das automatische Kontrollsystem 106 geben. Das autonome System 100 kann, wie mit der Verbindung 122 dargestellt, eine Rückmeldung, beispielsweise als visuell, haptisch oder akustisch, an den menschlichen Operator 108 geben.
• Alle gebräuchlichen Sensoren, wie Abstandssensoren, beispielswiese basierend auf Infrarotstrahlen, Ultraschall, LEDs, LIDARs, RADARS, Kamerasicht, Tiefenkamera, Kilometerzähler usw., und Geschwindigkeits-/Geschwindigkeitssensoren, wie IMUs, Tachometer, Gierratenmesser, Luftstrommesser usw., können bei diesem Ansatz verwendet werden.
• Alle Arten der Ansteuerung, die mithilfe des endgültigen Signals, das der Regelstrecke kommandiert wird, bewirkt wird, nämlich C_fin, können bei diesem Ansatz verwendet werden. Einige Beispiele sind: Das autonome Fahrzeug kann beispielsweise geschwindigkeitsgeregelt sein (Drücken der Gaspedalkupplung erhöht die Geschwindigkeit des Fahrzeugs), in diesem Fall sind die Signale C_fin, C_hum und C_acs Geschwindigkeitssignale. In ähnlicher Weise kann ein Robotermanipulator im Kraft-/Drehmomentmodus (C_fin, C_hum und C_acs sind Kraft-/Drehmomentsignale) oder im Positionsmodus gesteuert werden (z.B. C_fin, C_hum und C_acs sind Gelenkwinkelbefehle an den Roboterarm).
• Vorliegen sind „gute“ Messungen solche, die unter einem aufgabenspezifischen oberen Schwellenwert für eine Messunsicherheit liegen, während sich verschlechterte oder „schlechte“ Messungen solche sind, die über diesem maximalen Schwellenwert für eine Messunsicherheit liegen und daher nicht in der Lage sein werden, die Genauigkeits-/Präzisionsanforderungen der jeweiligen Aufgabe zu erfüllen.
• 2 zeigt ein kooperatives Kontrollieren mithilfe eines adaptiven Autoritätszuweisungsystems 102, das ein Fehlererkennungsmodul 124 und ein Entscheidungsmodul 126 aufweist.
• Das Fehlererkennungsmodul 124 dient dazu eine verschlechterte Sensormessung 104 festzustellen. Das Entscheidungsmodul 126 dient dazu, basierend auf dem Output 128 des Fehlererkennungsmodul 124 und eine Eingabe 130 des menschlichen Operators 108, beispielsweise aufgrund aktiver Entscheidung oder Information über seine Leistungsfähigkeit (118), die Gewichtungen W_hum und W_acs zu modifizieren. Dabei kann es sich um einen vorprogrammierten Entscheidungsbaum, menschliche oder sogar künstliche Intelligenz-Algorithmen handeln.
• Das Fehlererkennungsmodul 124 dieses Beispielsystems ist auf der Grundlage von Bayesschen Filtern implementiert, die in Fällen, in denen einige Zustände eines Systems nicht gemessen werden können, weithin zur Zustandsrekonstruktion verwendet werden. Aufgrund seiner inhärenten stochastischen Natur liefert der Schätzprozess eine Zustandsschätzung und eine zugehörige Unsicherheitskovarianzmatrix P. Insbesondere ist P ein Maß für die Unsicherheit des Zustands, z.B. wie zuversichtlich ein als Fahrzeug/Roboter ausgeführtes autonomes System 100 bezüglich seiner eigenen geschätzten Position/Geschwindigkeit ist. Bayessche Filter sind eine breite Klasse stochastischer Schätzer, die die Bayessche Wahrscheinlichkeitsregel verwenden, um eine Messwertaktualisierung bereitzustellen. Abhängig von den Annahmen, die zur Ableitung dieses Aktualisierungsschritts verwendet werden, erhält man eine spezifische Implementierung des Bayes-Filters. Eine dieser Implementierungen ist der ubiquitäre erweiterte Kalman-Filter, der durch die Annahme von a priori bekannten Prozess- und Messungsmodellen mit Gaußschem Rauschen abgeleitet wird. Eine Folge dieser Annahme ist, dass die zeitliche Entwicklung von P letztendlich unabhängig von realen Messungen ist. Daher wird die Änderung der Zustandsunsicherheit aufgrund der Verschlechterung der Messungen nicht widergespiegelt. Um dieses Problem zu lösen, wird die adaptive Filterung verwendet, bei der Messdaten verwendet werden, um eine ungefähre Unsicherheit des Rauschmodells bereitzustellen. Als Ergebnis wird sichergestellt, dass eine P-Matrix erhalten wird, die entsprechend von den realen Messungen abhängt. Der adaptive erweiterte Kalman-Filter wird verwendet, um das Hauptkonzept des adaptiven Autoritätszuweisungsystems 102 zu veranschaulichen. Andere Filter, die die Schätzungsunsicherheit in Bezug auf das Messrauschen variieren, z.B. der Partikelfilter, können bei der Implementierung ebenfalls verwendet werden.
• Der adaptive Bayessche Filter wird mit dem Ziel verwendet, sein Unsicherheitsmaß auf die zeitvariablen Verstärkungen W_hum und W_acs abzubilden, d.h. die Befehle des menschlichen Operators 108 durch Erhöhung des Wertes von W_hum höher zu gewichten und die Befehle des automatischen Kontrollsystems 106 geringer zu gewichten und die Autorität auf den menschlichen Operator 108 zu übertragen, der die Aufgabenausführung aufgrund der Erhöhung von W_hum (im Falle einer Verschlechterung der Messung) übernimmt.
• In diesem Beispiel übergibt das Fehlererkennungsmodul 124 immer den aktuellen P-Wert an das Entscheidungsmodul 126.
• Das Entscheidungsmodul 126 ist beispielsweise wie folgt programmiert:
• Schritt 1: Berechnen der Faktoren W_hum und W_acs unter Verwendung des P-Werts wie folgt: $$W_{hum}\left(t\right)=\{\begin{array}{ll}\frac{\xi \left(P\left(t\right)\right)-\xi \left(P_{low}\right)}{\xi \left(P_{high}\right)-\xi \left(P_{low}\right)}\hfill & \text{if }\xi \left(P_{low}\right)\le \xi \left(P\left(t\right)\right)\le \xi \left(P_{high}\right)\hfill \\ 0\hfill & \text{if }\xi \left(P\left(t\right)\right)<\xi \left(P_{low}\right)\hfill \\ 1\hfill & \text{if }\xi \left(P\left(t\right)\right)>\xi \left(P_{high}\right),\hfill \end{array}$$

  

  wobei W_acs = 1- W_hum und ξ(·) = log [trace(.)].
• P_low und P_high entsprechen den Zustandskovarianzmatrizen für gute bzw. konsistent verschlechterte Messungen, die a priori für das vorliegende Schätzsystem wie folgt identifiziert werden. Vor Beginn der Aufgabenausführung wird dem adaptiven Bayesschen Filter erlaubt, zu konvergieren, was eine zuverlässige Schätzung von P_low liefert, während eine obere Grenze P_high erhalten wird, indem die Aufgabe unter Verwendung des automatischen Kontrollsystems 106 ausgeführt wird und P(t) vermerkt wird, wenn sie aufgrund von konsistent verschlechterten Messungen fehlschlägt.
• Schritt 2: Wenn W_hum über einen Schwellenwert (z.B. 0,1) ansteigt, benachrichtigt das Entscheidungsmodul 126 den menschlichen Operator 108, dass ihm die Kontrollbefugnis übertragen wird (116).
• Schritt 3: Wenn die Messung wieder gut wird, d.h. wenn W_hum (kontinuierlich mit dem P aus dem Fehlererkennungsmodul 124 berechnet) niedriger als ein Wert (z.B. 0,8) ist, benachrichtigt das Entscheidungsmodul 126 den menschlichen Operator 108 (116).
• Das Entscheidungsmodul 126 kann auch eine Entscheidungseingabe des menschlichen Operators 108 verwenden, beispielsweise kann der menschliche Operator 108 auch nach der Verbesserung der Messungen mit den Verstärkungen W_hum = 1 und W_acs = 0 fortfahren, wenn er weiterhin die volle Autorität haben möchte. Wenn der menschliche Operator 108 in die Handlung des automatischen Kontrollsystems 106 eingreifen will, kann er seine Anforderungen über eine Mensch-Maschine-Schnittstelle eingeben. Wenn der menschliche Operator 108 früher informiert wird und immer bereit ist, zu reagieren, können die Meldungen vermieden und die Kontrollinstanz stufenlos in beide Richtungen verschoben werden.
• Das Entscheidungsmodul 126 kann auch ein Leistungsmaß des autonomen Systems 100 verwenden, beispielsweise eine Qualität der Kommunikation, die reduziert sein kann, wenn der menschliche Operator 108 und die Regelstrecke hohe Verzögerungen oder Datenverluste aufweisen, um die Autoritätszuweisung so zu modifizieren, dass die Regelstrecke ein bestimmtes Verhalten erhält.
• Das Entscheidungsmodul 126 kann eine Information über eine Leistungsfähigkeit des die Leistung des menschlichen Operators 108 nutzen, beispielsweise informiert ein Blickverfolgungssystem darüber, dass der menschliche Operator 108 ermüdet/nicht fokussiert ist, um die Gewichtungen W_hum und W_acs so zu modifizieren, dass die Regelstrecke ein bestimmtes Verhalten erhält.
• Wenn z.B. sowohl die Sensormessungen als auch die Leistungsfähigkeit des autonomen Systems 100 und/oder des menschlichen Operators 108 wirklich schlecht sind, stellt das Entscheidungsmodul 126 W_hum = 0 und W_acs = 0 ein und veranlasst das autonome Systems 100, sich nicht mehr zu bewegen, bis die Fehler behoben sind.
• Im Übrigen wird ergänzend insbesondere auf 1 und die zugehörige Beschreibung verwiesen.
• 3 zeigt eine Variation von W_hum basierend auf realen Sensorsignalen 132 eines als Kamera ausgeführten Sensors anhand experimenteller Ergebnisse mit realer Hardware, hier kooperatives Kontrollieren eines als Roboterarm ausgeführten autonomen Systems (100) durch einen menschlichen Operator (108) und ein automatisches Kontrollsystem (106). Die Sensorsignale 132 umfassen einen Sensormesswert und ein Sensormessrauschen.
• In dem vorliegenden Versuchsaufbau verwendet der menschliche Operator (108) ein haptisches Gerät, um den entfernten Roboterarm fernzubedienen. Das automatische Kontrollsystem (106) des Roboterarms bewegt sich mit Hilfe von Kameramessungen zu einem gewünschten Zielpunkt. Die Kameramessungen 132 (Position des gewünschten Zielpunktes) sind im zeitlichen Verlauf in der oberen Diagramm 134 dargestellt. Ersichtlich ist, wie ein Sensormessrauschen im Bereich 136 zunimmt. Der adaptive P-Wert 137 des Fehlererkennungsmoduls (124), dargestellt im mittleren Diagramm 138, und der Gewichtungsfaktor W_hum 139, dargestellt im unteren Diagramm 140, zeigen ebenfalls die Validität des erfindungsgemäßen Verfahrens.
• Der gesamte experimentelle Ablauf kann in fünf Phasen 142, 144, 146, 148, 150 unterteilt werden, die nachfolgend beschrieben werden.
• 1. Phase 142: Am Anfang sind die Sensormessungen gut. Es ist zu beachten, dass die Messungen zwar leicht verrauscht sind, aber innerhalb der zulässigen Schwelle liegen (was für die jeweilige Aufgabe gut genug ist) und das autonome System (100) seine Umgebung gut einschätzen und wahrnehmen kann. In dieser Phase ist W_acs fast gleich 1 und W_hum ist fast =0, wie im unteren Diagramm 140 dargestellt. Der menschliche Operator (108) muss keine Operation durchführen, da das automatische Kontrollsystem (106) die vollständige Kontrolle hat.
• 2. Phase 144: In dieser Phase verschlechtern sich die Sensormessungen aufgrund der oben beschriebenen internen oder externen Faktoren. Dies ist aus dem oberen Diagramm 134 ersichtlich. Dies führt zu einem Anstieg der Unsicherheitsmatrix P des Bayesschen Filters. Dies führt zu einem glatten Anstieg von W_hum von 0 auf 1. Gleichzeitig nimmt die Autorität des automatischen Kontrollsystems (106) ab, da W_acs = 1 - W_hum ist. Während dieser Phase (z.B. wenn W_hum > 0,1) wird der menschliche Operator (108) auch darüber informiert, dass er mehr Kontrolle über das autonome System (100) erhält.
• 3. Phase 146: In dieser Phase hat der menschliche Operator (108) die volle Autorität. W_hum = 1 und W_acs = 0. Das bedeutet, wenn das automatische Kontrollsystem (106) aufgrund verschlechterter Sensormessungen eine schlechte Wahrnehmung seiner Umgebung hat, übernimmt der menschliche Operator (108) die vollständige Kontrolle und führt die Aufgabe selbst aus.
• 4. Phase 148: Irgendwann, während der menschliche Operator (108) arbeitet, beginnt das automatische Kontrollsystem (106) wieder gute Messungen zu erhalten (z.B. ist das Sensorproblem gelöst, oder eine Kamerabedeckung wurde entfernt usw.) und der berechnete Wert von W_hum verringert sich. Wenn W_hum kleiner als ein bestimmter Wert ist (z.B. wenn W_hum < 0,8), wird der menschliche Operator (108) auch über die gute Leistung des automatischen Kontrollsystems (106) informiert. Von nun an kann das automatische Kontrollsystem (106) die Umwelt gut einschätzen, und die Autorität wird schrittweise an das automatische Kontrollsystem (106) zurückgegeben.
• 5. Phase 150: Das automatische Kontrollsystem (106) hat wieder vollständige Autorität, W_hum = 0 und W_acs = 1 und kann die Aufgabenausführung fortsetzen, wenn die Wahrnehmung der Umgebung gut ist.
• Im Übrigen wird ergänzend insbesondere auf 1 und 2 sowie die zugehörige Beschreibung verwiesen.
• Mit „kann“ sind insbesondere optionale Merkmale der Erfindung bezeichnet. Demzufolge gibt es auch Weiterbildungen und/oder Ausführungsbeispiele der Erfindung, die zusätzlich oder alternativ das jeweilige Merkmal oder die jeweiligen Merkmale aufweisen.
• Aus den vorliegend offenbarten Merkmalskombinationen können bedarfsweise auch isolierte Merkmale herausgegriffen und unter Auflösung eines zwischen den Merkmalen gegebenenfalls bestehenden strukturellen und/oder funktionellen Zusammenhangs in Kombination mit anderen Merkmalen zur Abgrenzung des Anspruchsgegenstands verwendet werden.
• Bezugszeichenliste

100

autonomes System

102

adaptives Autoritätszuweisungsystem

104

verschlechterte Sensormessung

106

automatisches Kontrollsystem

108

menschlicher Operator

110

Beeinflussen des Faktors W_hum

112

Beeinflussen des Faktors W_acs

114

Benachrichtigen des automatischen Kontrollsystems

116

Benachrichtigen des menschlichen Operators

118

Information über Leistungsfähigkeit des menschlichen Operators

120

Rückmeldung an automatisches Kontrollsystem

122

Rückmeldung an menschlichen Operator

124

Fehlererkennungsmodul

126

Entscheidungsmodul

128

Output des Fehlererkennungsmoduls

130

Eingabe des menschlichen Operators

132

Sensormesswerte

134

oberes Diagramm

136

Bereich

137

P-Wert

138

mittleres Diagramm

140

unteres Diagramm

139

Gewichtungsfaktor W_hum

142

1. Phase

144

2. Phase

146

3. Phase

148

4. Phase

150

5. Phase

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Nicht-Patentliteratur
• T. B. Sheridan, Telerobotik, Automatisierung und menschliche Überwachungskontrolle. MIT-Presse, 1992. D. A. Abbink, M. Mulder und E. R. Boer, „Haptische geteilte Kontrolle: reibungslos wechselnde Kontrollbefugnisse? Kognition, Technologie und Arbeit, Band 14, Nr. 1, S. 19-28, 2012 [0002]
• S. Musi'c und S. Hirche, „Control sharing in human-robot team interaction“, Annual Reviews in Control, Band 44, S. 342-354, 2017. T. Inagaki et al., „Adaptive Automatisierung: Sharing and trading of control“, Handbuch zur Gestaltung kognitiver Aufgaben, Band 8, S. 147-169, 2003 [0002]
• P. Evrard und A. Kheddar, „Homotopie-basierte Steuerung für die physische Mensch-Roboter-Interaktion“, in RO-MAN 2009-Das 18 [0002]
• 2009, S. 1-6. P. Owan, J. Garbini und S. Devasia, „Unsicherheitsbasierte Schlichtung der gemeinsamen Kontrolle von Mensch und Maschine“, arXiv preprint arXiv:1511.05996, 2015. Kucukyilmaz, T. M. Sezgin und C. Basdogan, „Intention recognition for dynamic role exchange in haptic collaboration“, IEEE-Transaktionen zur Haptik, Band 6, Nr. 1, S. 58-68, 2012 [0002]
• Sanders, D.A., Sanders, B.J., Gegov, A. und Ndzi, D., 2017, September [0002]

Claims (11)

1. Verfahren zum kooperativen Kontrollieren wenigstens eines autonomen Systems (100) durch wenigstens einen menschlichen Operator (108) und/oder wenigstens ein automatisches Kontrollsystem (106) mit wenigstens einem Sensor, wobei Kontrollanweisungen des wenigstens einen menschlichen Operators (108) und Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems (106) gewichtet kombiniert werden, dadurch gekennzeichnet, dass eine Gewichtung unter Berücksichtigung eines Sensormessrauschens angepasst wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Kontrollanweisungen des wenigstens einen menschlichen Operators (108) höher und Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems (106) geringer gewichtet werden, wenn sich das Sensormessrauschen erhöht und/oder Kontrollanweisungen des wenigstens einen menschlichen Operators (108) geringer und Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems (106) höher gewichtet werden, wenn sich das Sensormessrauschen verringert.
3. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sensormessrauschen anhand eines Schwellwerts beurteilt wird.
4. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der wenigstens eine menschliche Operator (108) über das Sensormessrauschen und/oder über die Gewichtung informiert wird.
5. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Gewichtung durch den wenigstens einen menschlichen Operator (108) und/oder eine Leistungsfähigkeit des wenigstens einen menschlichen Operators (108) beeinflussbar ist.
6. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Gewichtung durch das wenigstens eine autonome System (100) und/oder eine Leistungsfähigkeit des wenigstens einen autonomen Systems (100) beeinflussbar ist.
7. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine autonome System (100) angehalten wird, wenn eine Leistungsfähigkeit des wenigstens einen menschlichen Operators (108) und/oder eine Leistungsfähigkeit des wenigstens einen autonomen Systems (100) eine vorgegebene Mindestleistungsfähigkeit unterschreiten/unterschreitet.
8. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine automatische Kontrollsystem (106) ein Fehlererkennungsmodul (124) und ein Entscheidungsmodul (126) verwendet.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass mithilfe des Fehlererkennungsmoduls (124) Wahrscheinlichkeitsverteilungen beobachteter Zustände des wenigstens einen autonomen Systems (100) unter Berücksichtigung des Sensormessrauschens rekursiv probabilistisch geschätzt werden.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mithilfe des Entscheidungsmoduls (126) unter Berücksichtigung der geschätzten Wahrscheinlichkeitsverteilungen die Kontrollanweisungen des wenigstens einen menschlichen Operators (108) und die Kontrollanweisungen des wenigstens einen automatischen Kontrollsystems (106) gewichtet werden und/oder über ein Informieren des wenigstens einen menschlichen Operator (108) über das Sensormessrauschen und/oder über die Gewichtung entschieden wird.
11. Computerprogrammprodukt, dadurch gekennzeichnet, dass das Computerprogrammprodukt Programmcodeabschnitte umfasst, mit denen ein Verfahren nach wenigstens einem der vorhergehenden Ansprüche durchführbar ist, wenn das Computerprogrammprodukt mithilfe eines Prozessors ausgeführt wird.

Images