-
Die Erfindung betrifft ein Interaktionssystem zur Bedienungsunterstützung eines Bedieners durch einen Experten.
-
Im Stand der Technik sind Einrichtungen zur Unterstützung von Bedienern bei der Durchführung Ihrer Aufgaben bekannt. Unter Bediener in diesem Sinn werden Personen verstanden, welche Arbeiten an technischen Einrichtungen aller Art durchführen, beispielsweise Reparaturpersonal, Wartungspersonal, Techniker usw.
-
Es wurde bereits vorgeschlagen, einem Bediener über eine Datenbrille unterstützende Informationen zur Durchführung der Bedienaufgaben in dessen Sichtfeld einzublenden. Weiterhin sind Vorschläge bekannt, den Bediener während der Durchführung seiner Arbeiten, also "on site", durch eine Kommunikation mit einem Experten zu unterstützen. In überwiegenden Fällen ist eine persönliche Anwesenheit des Experten im Bedienumfeld nicht möglich, so dass die Kommunikation über eine Kommunikationsverbindung erfolgen muss. Auf den per Kommunikationsverbindung assistierenden Experten wird oftmals auch als "Remote Expert" Bezug genommen.
-
Ferner wurde vorgeschlagen, Bediener und Experten mit einer Hör-Sprech-Kombination und einer Datenbrille ("Head Mounted Display") auszustatten. Diese Maßnahme gestattet eine nahezu unbeeinträchtigte Arbeitsweise des Bedieners, da er zumindest beide Hände zur Durchführung seiner Arbeitsschritte frei hat. Der Experte wiederum erhält durch eine video- und audiobasierte Kommunikationsverbindung einen angemessenen Eindruck vom Bedienumfeld und muss sich nicht auf mündliche Erklärungen des Bedieners zur Situation im Bedienumfeld verlassen. In der Praxis hat sich allerdings gezeigt, dass eine Zusammenarbeit zwischen Bediener und "Remote Expert" nicht so fruchtbar ist wie eine Zusammenarbeit, bei der der Experte und Bediener gemeinsam am Bedienumfeld anwesend ist.
-
Die vorgeschlagenen Einrichtungen zur Unterstützung von Bedienern haben den wesentlichen Nachteil, dass es dem zu unterstützenden Bediener verbleibt, vom Experten erhaltene Anweisungen zu interpretieren und die zu bearbeitenden Stellen im Bedienumfeld ausfindig zu machen.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein System zur Bedienungsunterstützung eines Bedieners zu schaffen, welches eine intuitivere Interaktion zwischen einem Bediener und einem Experten gewährleistet.
-
Die Aufgabe wird erfindungsgemäß durch ein Interaktionssystem mit den Merkmalen des Patentanspruchs 1 gelöst.
-
Das erfindungsgemäße Interaktionssystem zur Bedienungsunterstützung eines Bedieners durch einen Experten umfasst eine oder mehrere Bedienerunterstützungseinrichtung auf Seiten des Bedieners sowie eine Fernexperteneinrichtung auf Seiten des Experten. Die Bedienerunterstützungseinrichtung und die Fernexperteneinrichtung sind über eine bidirektionale Datenverbindung zumindest indirekt gekoppelt.
-
Die Bedienerunterstützungseinrichtung auf Seiten des Bedieners umfasst eine oder mehrere Bedienumfelderfassungseinheiten zur Erfassung eines Bedienumfelds des Bedieners sowie eine oder mehrere Projektionseinheiten zur optischen Projektion eines oder mehrerer Bedienhinweise auf das Bedienumfeld.
-
Die Fernexperteneinrichtung umfasst eine Ausgabeeinheit zur Ausgabe des von der Bedienumfelderfassungseinheit auf Seiten des Bedieners erfassten Bedienumfelds an den Experten sowie eine Bedienerführungseinheit zur Erfassung einer einem Kontext des Bedienumfelds zugeordneten Geste des Experten und zur Erzeugung des Bedienhinweises auf Grundlage der Geste.
-
Der Bedienhinweis wird auf Seiten des Bedieners in dessen Bedienumfeld projiziert.
-
Die Erfindung ist von der Idee eines fernwirkenden Fingerzeigs durch den Experten getragen. Der Fingerzeig oder Bedienhinweis eines Experten erfolgt mittels einer optischen Projektion auf das Bedienumfeld. Dieser Bedienhinweis wird auf Seiten des Experten in intuitiver Weise durch eine Gestensteuerung vor dem Hintergrund des dem Experten dargestellten Bedienumfelds erzeugt. Der vom Experten durch eine Geste veranlasste Bedienhinweis wird verarbeitet und über die bidirektionale Datenverbindung an die Bedienerunterstützungseinrichtung des Bedieners übertragen. Dort wird der Bedienhinweis von der Projektionseinheit auf Seiten des Bedieners in dessen Bedienumfeld projiziert.
-
Im Gegensatz zu derzeit bekannten Einrichtungen zur Unterstützung von Bedienern gewährleistet das erfindungsgemäße Interaktionssystem eine intuitive Weisung an den Bediener, welche exakte Stelle im Bedienumfeld zu bedienen ist. Dies wird besonders augenscheinlich bei der Frage, welche Sicherung in einem Schaltschrank mit einer Vielzahl an Sicherungen zu betätigen ist. Während vormalige Einrichtungen zur Unterstützung auf sprachliche Anweisungen angewiesen sind, etwa in der Form "Reihe 40, zwölfte Sicherung von links", gestattet eine optische Projektion eines Bedienhinweises, etwa in Form einer Markierung der zu betätigenden Sicherung mittels eines Leuchtpunkts, eine selbstverständlichere Weisung des Bedieners.
-
In vorteilhafter Weise erleichtert das erfindungsgenmäße Interaktionssystem auch den Fingerzeig des Experten. Dieser führt den Fingerzeig, beispielsweise durch ein virtuelles Zeigen auf die Sicherung, im Kontext des ihm dargestellten Bedienumfelds durch. Außerdem kann alternativ oder zusätzlich vorgesehen sein, dass die den Bedienhinweis veranlassende Geste durch eine Fixierung mit den Augen des Experten veranlasst wird. Auf Bedienerseite kann der Bediener dem Blick des Experten folgen, welche in das Bedienumfeld als Leuchtpunkt oder auch als Markierung bzw. Ausleuchtung eines Blickfelds projiziert wird.
-
Im Sinne dieser Beschreibung ist ein Experte nicht notwendigerweise qualifizierter als der Bediener. Dessen Expertise kann auch als "zweite Meinung" zur Lösung eines Probelems herangezogen werden, wobei die Qualifikation des Experten durchaus auf anderen Gebieten oder sogar unterhalb der Qualifikation des Bedieners liegen kann. Der Experte ist mit anderen Worten lediglich eine Rolle, die eine beliebige Person zur Unterstützung des Bedieners einnehmen kann.
-
Das erfindungsgemäße Interaktionssystem kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen, in der Prozessautomation, bei Diagnose- oder Serviceunterstützungssystemen sowie für komplexe Komponenten, Geräte und Systeme, wie beispielsweise Fahrzeuge und industrielle Maschinen und Anlagen zum Einsatz.
-
Weitere vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Bedienerführungseinheit zur Erfassung der Geste eingerichtet ist zur Erfassung einer Position oder einer Bewegung von Körperteilen des Experten oder auch zur Erfassung einer Geste als Kombination einer Position und einer Bewegung eines Körperteils des Experten, etwa bei Gesten, welche ein Positionieren und Wischen (Swipe Gesture) vorsehen.
-
In vorteilhafter Weise umfasst die Gestensteurung auch Meta-Befehle, welche nicht direkt mit einem Fingerzeig verbunden sind, beispielswese Gesten, welche die optische Projektion des Bedienhinweises deaktivieren oder aktivieren, bestimmte Muster oder Farbe der Projektion selektieren, ein Abspielen von gespeicherten Instruktionsvideos steuern usw.
-
Als Körperteile zur Definition der Geste kommen insbesondere in Betracht: ein oder mehrere Finger des Experten, eine oder beide Hände des Experten, der Kopfs des Experten sowie ein oder beide Augen des Experten. Zur Erfassung der Geste durch die Bedienerführungseinheit kommen je nach Körperteil geeignete Techniken zum Einsatz.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Bedienerführungseinheit eine Blickverfolgungs- oder Eye-Tracking-Einrichtung umfasst. Mittels einer Blickverfolgungseinrichtung zur Erfassung einer Augenposition und zur Erzeugung einer Ortsinformation über die Augenposition wird eine durch ein Auge des Experten ausgelöste Geste erfasst. Die Ortsinformation wird an die Bedienerführungseinheit übergeben, welche die in den räumlichen Kontext des Bedienumfelds einzubringenden Ortskoordinaten des zu projizierenden Bedienhinweises berechnet. Die Blickverfolgungseinrichtung kann beispielsweise in eine Datenbrille bzw. in ein Head Mounted Display integriert sein.
-
Mittels eines Datenhandschuhs bzw. "Data Glove" zur Erfassung einer Hand- und Fingerpositionsdaten und zur Erzeugung einer Ortsinformation über die Hand- und Fingerpositionsdaten wird eine durch eine Hand und/oder mindestens einen Finger des Experten ausgelöste Geste erfasst. Der Datenhandschuh übersetzt Bewegungen der Hand und der Finger in elektrische Signale. Weiterhin ermöglicht dieser eine Bestimmung von Lage und Orientierung der Hand.
-
Alternativ kann eine Erfassung der Position und Bewegung der Hand sowie der Finger durch eine kamera- und/oder lasergestützte Gestenerfassung erfasst werden, welche ein Tragen eines Datenhandschuhs entbehrlich machen.
-
Auch eine Kombination von Gesten ist vorteilhaft, beispielsweise kann vorgesehen sein, dass eine einen ersten Bedienhinweis veranlassende Geste aus einer Fixierung eines Objekts des Bedienumfelds mit den Augen des Experten ausgelöst wird und eine einen zweiten Bedienhinweis veranlassende Geste durch einen Fingerzeig auf ein Objekt des Bedienumfelds ausgelöst wird. Auf Seiten des Bedieners werden der erste und der zweite Bedienhinweis vorzugsweise gleichzeitig in das Bedienumfeld projiziert. In vorteilhafter Weise kann eine optische Unterscheidung der beiden Bedienhinweise vorgesehen sein, beispielsweise durch eine unterschiedliche Farbgebung des durch die Augenfixierung ausgelösten Bedienhinweises und des durch den Fingerzeig ausgelösten Bedienhinweises. Auf Bedienerseite kann der Bediener den Blick des Experten verfolgen, welche in das Bedienumfeld als Leuchtpunkt oder auch als Markierung bzw. Ausleuchtung eines Blickfelds projiziert wird.
-
Eine unterschiedliche Farbgebung eines Bedienhinweises kann auch für andere Signalisierungszwecke vorteilhaft eingesetzt werden, beispielsweise können vorbehaltene Farben eine höhere Wichtigkeit oder Priorität anzeigen. Ferner können bestimmte Farben den Status der Datenverbindung zwischen der Bedienerunterstützungseinrichtung und der Fernexperteneinheit oder auch den zwischen Erfassung der Geste des Experten und Übertragung und Erzeugung des Bedienhinweises auf Bedienerseite verstrichenen Zeitraum anzeigen und dadurch einen Hinweis auf mögliche Datenverbindungsverzögerungen geben. Ferner können bestimmte Farben einer jeweiligen Hand des Experten zugeordnet sein, beispielsweise ein roter Laser der rechten, ein grüner Laser der linken Hand.
-
Zur Erzeugung verschiedener Farben können auf Bedienerseite mehrere unabhängig ansteuerbare Laser mit unterschiedlichen Strahlfarben bereitgestellt werden. Eine Farbe kann alternativ oder zusätzlich durch Mischung verschiedener Laserstrahlen oder durch Frequenzabstimmung einzelner Laser eingestellt werden.
-
Weitere vorteilhafte Ausgestaltungen der Erfindung betreffen die Projektionseinheit. Die Projektionseinheit umfasst beispielsweise einen Laser im sichtbaren Wellenbereich, einen Mikrospiegelarrayprojektor, einen Flüssigkristallprojektor und/oder einen Leuchtdiodenprojektor. Auch Kombinationen der genannten Projektionseinheiten sind vorteilhaft, beispielsweise indem ein Schaltbild einer zu wartenden Anlage auf eine ebene Fläche des Bedienumfelds projiziert wird, während der Experte einzelne Bereiche mit einem Laser-Markierungspunkt hervorheben kann. Weiterhin ermöglichen die Projektionseinheiten eine Projektion von Bewegtbildern bzw. Videosequenzen, etwa um eine Sequenz erforderlicher Handbewegungen für einen komplexen Bedienschritt darzustellen.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass die Projektionseinheit einen Musterprojektor zur wahlfreien Definition von Mustern umfasst. Beispielsweise wird eine Fixierung eines Bereichs des Bedienumfelds mit den Augen des Experten auf Bedienerseite mit einem kreisförmigen Bedienhinweis dargestellt, eine Fingergeste mit einem punktförmigen Bedienhinweis.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass der Musterprojektor eingerichtet ist zur Generierung eines für das menschliche Auge statisch wahrgenommenen Musters mit einem durch eine Trajektorie einer Bewegungsgeste markierten Umriss. Eine seitens des Experten vollzogene Umrandung eines Bereichs mit seinem Finger wird auf Bedienerseite als Umriss des Umrandungsbereichs oder mit einem ausgefüllten Umrandungsbereich dargestellt. Im Fall einer Laserprojektion wird der Laserstrahl so schnell entlang der Umrisslinien oder innerhalb des Umrandungsbereichs geführt, dass für der Umriss oder der Bereich für das menschliche Auge aufgrund dessen Trägheit für rasche Bildwechsel statisch wahrgenommen wird.
-
Weitere vorteilhafte Ausgestaltungen der Erfindung betreffen die Bedienerunterstützungseinrichtung auf Seiten des Bedieners.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, die Bedienumfelderfassungseinheit mit einer ring- oder kugelsegmentförmigen Anordnung einer Mehrzahl von Erfassungseinrichtungen fortzubilden. Optische Erfassungseinrichtungen erfassen insbesondere optische Kameras und/oder Tiefendatenscanner. Als Tiefendatenscanner kommen beispielsweise Kombinationen aus Infrarotsensoren bzw. -kameras in Kombination mit einer Licht- bzw. Laserprojektion von Strukturen wie Gitternetzlinien zum Einsatz. Alternativ werden Lasertiefendatenscanner eingesetzt.
-
Daneben ist auch für die akustischen Erfassungseinrichtungen oder Mikrophone eine ring- oder kugelsegmentförmige Anordnung vorteilhaft, um den Experten ein räumliches und gerichtetes Hören der Umgebungsgeräusche zu ermöglichen.
-
Weitere Erfassungseinrichtungen können thermische Sensoren, Strahlungssensoren, Gassensoren, sowie physikalische und chemische Sensoren aller Art umfassen.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, die Ausgabeeinheit auf Seiten des Experten als Datenbrille oder Head-Mounted Display vorzusehen, welche einerseits ein räumliches Sehen durch eine stereoskopische Darstellung des Bedienumfelds erlaubt und andererseits auch eine Integration der Blickverfolgungseinrichtung gestattet. Weiterhin gestattet eine Datenbrille eine Integration von Trägheitssensoren zur Erfassung einer Kopfbewegung sowie von Gestenerfassungsscanner zur Erfassung von Gesten der Finger und/oder Hand des Experten.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, die Bedienerunterstützungseinrichtung über ein Interaktionskontrollsystem mit der Fernexperteneinrichtung zu koppeln. Das Interaktionskontrollsystem ist beispielsweise ein Server, welcher eine Aufbereitung und Übermittlung der Videodaten des Bedienumfelds steuert. Der Server übernimmt weiterhin eine Definition und Berechnung von Mustern und Ortskoordinaten der jeweiligen Bedienhinweise um eine lagerichtige Projektion auf das Bedienumfeld zu gewährleisten. Alternativ wird das Interaktionskontrollsystem durch ein jeweiliges, einerseits der Fernexperteneinheit und andererseits der Bedienerunterstützungseinrichtung per drahtloser Datenverbindung zugeordnetes portables Gerät mit einer darauf zum Ablauf gebrachten Software gebildet.
-
Im Folgenden werden weitere Ausführungsbeispiele und Vorteile der Erfindung anhand der Zeichnung näher erläutert. Dabei zeigen:
-
1a: eine schematische Darstellung einer Bedienerunterstützung eines Bedieners in einem Bedienumfeld;
-
1b: eine schematische Darstellung einer Bedienerführung durch einen Experten; und;
-
2: eine schematische Darstellung einer Bedienerunterstützungseinrichtung gemäß einem Ausführungsbeispiel.
-
In 1a ist eine Bedienerunterstützung eines Bedieners OPR in einem Bedienumfeld bzw. "Service Site" dargestellt. Der Bediener OPR arbeitet an Schraubverbindungen eines lediglich schemenhaft und ausschnittsweise dargestellten Flansches einer Rohrverbindung. In der in 1 dargestellten Situation hat der Bediener eine Sechskantschraube der Flanschverbindung mit einem Schraubenschlüssel zu lösen.
-
Eine Bedienerunterstützungseinrichtung OSD unterstützt den Bediener OPR bei seiner Bedienungsaufgabe. Die Bedienerunterstützungseinrichtung OSD ist mittels eines Stativs in einer nicht notwendigerweise unmittelbaren Nachbarschaft zum Bediener OPR aufgestellt. Die Bedienerunterstützungseinrichtung OSD wird vorzugsweise in einer Position platziert, welche ein persönlich anwesender Experte zur Bedienungsunterstützung des Bedieners OPR einnehmen würde.
-
Die Bedienerunterstützungseinrichtung OSD umfasst mehrere Bedienumfelderfassungseinheiten zur Erfassung eines Bedienumfelds des Bedieners. Im vorliegenden Ausführungsbeispiel dienen mehrere um den Umfang der Bedienerunterstützungseinrichtung OSD ringförmig angeordnete optische Erfassungseinheiten CAM, vorzugsweise hochauflösende Videokameras mit Weitwinkelobjektive, als Bedienumfelderfassungseinheit. Mit dieser Anordnung wird eine möglichst vollständige optische Erfassung des Bedienumfelds erzielt.
-
Die Bedienerunterstützungseinrichtung OSD umfasst weiterhin mindestens eine Projektionseinheit zur optischen Projektion eines Bedienhinweises auf das Bedienumfeld. Im vorliegenden Ausführungsbeispiel wird eine Laserprojektionseinheit als Projektionseinheit eingesetzt, durch die ein Laserstrahl LSB auf das Bedienumfeld projiziert wird. Ein durch den Laserstrahl markierter Punkt oder Bereich zeigt im vorliegenden Ausführungsbeispiel dem Bediener OPR, welche Schraube zu lösen ist.
-
1b zeigt eine gleichzeitig an einem vom Bedienumfeld entfernten Ort stattfindende Bedienerführung durch einen Experten RME bzw. "Remote Expert" mittels einer Fernexperteneinheit.
-
Die Fernexperteneinheit ist mit der Bedienerunterstützungseinrichtung OSD über eine bidirektionale Datenverbindung zumindest indirekt gekoppelt und umfasst eine Ausgabeeinheit und eine Führungseinheit. Eine direkte Kopplung bietet sich für einfache Lösungen an, bei der jeweilige – nicht dargestellte – Recheneinheiten im Interaktionssystem, also in der Bedienerunterstützungseinrichtung OSD und/oder in der Fernexperteneinheit eine Aufbereitung und Übermittlung der Videodaten des Bedienumfelds steuern, sowie eine Definition und Berechnung von Mustern und Ortskoordinaten der jeweiligen Bedienhinweise ausführen, um eine lagerichtige Projektion auf das Bedienumfeld zu gewährleisten. Diese Aufgaben kann beispielsweise ein der Fernexperteneinheit und der Bedienerunterstützungseinrichtung OSD per drahtloser Datenverbindung zugeordnetes portables Gerät mit einer darauf zum Ablauf gebrachten Software oder "App" einnehmen. Auf diese Weise wird eine vorteilhafte Auslagerung zumindest eines Teils der Rechenkapazität auf eine ohnehin routinemäßig mitgeführte Recheneinheit erreicht.
-
Sollen mehrere Bedienerunterstützungseinrichtungen OSD mit einem oder mehreren Fernexperteneinheiten gekoppelt werden, bietet sich eine über Kopplung über ein – nicht dargestelltes – leistungsstärkeres Interaktionskontrollsystem in Form eines Servers an.
-
Die Ausgabeeinheit, im vorliegenden Ausführungsbeispiel zumindest umfassend eine Datenbrille HMD oder "Head-Mounted Display", dient einer im Wesentlichen zeitsynchronen Ausgabe des erfassten Bedienumfelds an den Experten RME. Hierzu wird das von der Bedienerunterstützungseinrichtung OSD erfasste Bedienumfeld über die bidirektionale Datenverbindung an der Datenbrille HMD des Experten RME ausgegeben. 1b zeigt schematisch eine optische Repräsentation eines virtuellen Bedienumfelds VRV, welches in der Datenbrille HMD des Experten ausgegeben wird.
-
Der Experte RME erfasst das Bedienumfeld in räumlicher Weise über getrennt aufbereitete optische Daten für dessen linkes und rechtes Auge, welche von der Datenbrille HMD stereoskopisch ausgegeben werden. Die stereoskopische Aufbereitung beinhaltet in vorteilhafter Weise eine perspektivische Krümmung zur Korrektur optischer Unterschiede im Abbildungsverhalten der Bedienumfelderfassungseinheiten und der Datenbrille HMD bzw. der Ausgabeeinheit im Allgemeinen.
-
Weitere Bestandteile der Ausgabeeinheit umfassen eine – nicht dargestellte – stereoakustische Ausgabe der im Bedienumfeld erfassten akustischen Signale, beispielsweise über – nicht dargestellte – Lautsprecher oder Kopfhörer über getrennt aufbereitete akustische Daten für das linke und rechte Ohr des Experten RME. Durch Drehung oder Neigung des Kopfes des Experten RME ändert sich die stereoakustische Ausgabe so, dass diese mit einer geänderten stereoakustische Vorzugsrichtung entsprechend des geänderten Dreh- oder Neigungswinkels des Kopfes des Experten RME ausgegeben wird. Der Experte kann auf diese Weise seinen Kopf drehen, um aus einer bestimmten Richtung eintreffende Geräusche besser wahrzunehmen.
-
Durch Drehung oder Neigung des Kopfes des Experten RME ändert sich die optische Darstellung des virtuellen Bedienumfelds VRV so, dass dieses mit einem geänderten Bildausschnitt und einer geänderten Perspektive entsprechend des durch Drehung oder Neigung des Kopfes des Experten RME geänderten Blickwinkels dargestellt wird.
-
Durch Drehung des Kopfes innerhalb eines 360-Gradbereichs werden Signale mindestens einer, bei stereooptischer bzw. stereoakustischer Darstellung mindestens zweier, einer Mehrzahl an Erfassungseinheiten ausgewählt, welche die Bedienerunterstützungseinrichtung in vorteilhafter Weise ringförmig, beispielsweise entlang eines Vollkreises umgeben. Der Experte RME kann sich in alle mögliche Richtungen wenden und erhält stereoskopisch aufbereitete Ansichten bzw. Geräuschkulissen entsprechend einer eingenommenen Richtung.
-
Im Fall einer geringen Drehung des Kopfes, bei der noch kein Wechsel im Signal der aufnehmenden Erfassungseinheiten erforderlich ist, wird eine Bild- bzw. Audioprozessierung angewandt, welche eine Interpolation auf Basis der von beteiligten Erfassungseinheiten gelieferten Signalen durchführt.
-
Im Fall einer Bildprozessierung bedeutet dies, dass ein vorzugsweise seitens der Bedienerunterstützungseinrichtung OSD durchgeführter Bildbearbeitungsprozess eine 3D- oder 2,5D-Videosequenz aufnimmt und diese per Streaming an die Fernexperteneinheit überträgt, in welcher die Bilddaten der Videosequenz wiederum in einer auch als Re-Rendering bezeichneten Weise prozessiert werden, dass diese durch die Ausgabeeinheit in einer für den Experten passenden Perspektive zur Darstellung gebracht werden. Diese Re-Rendering wird auch bei einer Neigung des Kopfes nach oben oder unten angewandt.
-
Es versteht sich von selbst, dass eine unterstützende bidirektionale Sprechverbindung zwischen dem Bediener OPR und dem Experten RME von der Erfindung umfasst ist.
-
Der Experte RME agiert mit der Fernexperteneinheit im Wesentlichen so, als würde er sich in unmittelbarer Nachbarschaft zum Bediener OPR befinden. Er sieht und hört, was im Bedienumfeld vor sich geht, kommuniziert mit dem Bediener OPR und gibt diesem Fingerzeige in Form von Bedienhinweisen über Ort und Art der durchzuführenden Bedienung.
-
Mit der Ausgabe einer räumlich optischen und räumlich akustischen Repräsentation des Bedienumfelds wird eine virtuelle Realität erreicht, mit welcher der Experte RME durch intuitiv per Fingerzeig veranlasste Bedienhinweise interagieren kann. Auf diese Weise wird mit den Mitteln der Erfindung eine bis dahin nicht bekannte Immersion einer räumlich entfernten Zusammenarbeit bzw. "Remote Collaboration" erzielt.
-
Wenngleich die der erfindungsgemäßen Lösung zugrundeliegende Aufgabe inspiriert war durch Konzepte eines "Wearable Computing" ist festzustellen, dass die Erfindung und deren Ausgestaltungen einen Rahmen schaffen, in der für den Bediener dank der erfindungsgemäßen Vorsehung einer Projektion keine Notwendigkeit besteht, eine Datenbrille oder ähnliche Rechen-, Ein- oder Ausgabeeinheiten am Körper zu tragen. Diese Maßnahme erleichtert die Bedienarbeiten des Bedieners wesentlich, abgesehen von der Tatsache, dass die erfindungsgemäße Lösung wie auch schon vorbekannte Unterstützungseinrichtungen eine "Hands Free" Bedienung gestatten.
-
Die Führungseinheit umfasst im vorliegenden Ausführungsbeispiel zumindest einen Datenhandschuh GLV bzw. "Data Glove" sowie weitere – nicht dargestellte – Einrichtungen zur Verarbeitung der durch den Datenhandschuh GLV gelieferten Rohdaten mit dem Ziel der Erzeugung von Bedienhinweisen aus diesen Rohdaten.
-
Die Rohdaten des Datenhandschuhs GLV werden durch Umsetzung von Bewegungen der Hand und der Finger in elektrische Signale erzeugt. Zwischen zwei Stofflagen verlaufen faseroptische Strukturen entlang der Finger und des Daumens des Experten RME. Eine lichtemittierende Diode an einem Ende sendet Licht entlang der faseroptischen Strukturen zu einem Phototransistor am anderen Ende, der das Licht in ein elektrisches Signal umwandelt. Je stärker die Finger gekrümmt werden, desto größer ist der Lichtverlust in der faseroptische Struktur und desto kleiner das entsprechende elektrische Signal. Lage und Orientierung der Hand wird mit Hilfe eines auf dem Handrückenbereich des Datenhandschuhs GLV vorgesehenen Sensors bestimmt, durch welchen beispielsweise Stärke und Orientierung dreier aufeinander senkrecht stehender künstlich erzeugter Magnetfelder im Raum gemessen wird.
-
Alternativ werden Gesten durch entsprechende Datenbrille HMD integrierte Einrichtungen erfasst, beispielsweise mit einer Blickverfolgungseinrichtung, Trägheitssensoren zur Erfassung einer Kopfbewegung sowie optische Einrichtungen zur Erfassung von Gesten der Finger und/oder Hand des Experten RME. Eine Unterstützung einer Erfassung von Gesten der Finger und/oder Hand des Experten RME kann optional durch einen Handschuh unterstützt werden, welcher eine die Erfassung erleichternde Signalfarbe aufweist. Dieser Handschuh GLV muss nicht notwendigerweise die Einrichtungen des Datenhandschuhs zur Übersetzung von Hand- und Fingerbewegungen in elektrische Signale aufweisen-
-
Die Führungseinheit ordnet die Gesten schließlich dem Kontext des Bedienumfelds zu, um im Ergebnis einen lagerichtig erzeugten Bedienhinweis in das Bedienumfeld des Bedieners OPR projizierten. Mit einem Zeigen des Experten RME auf virtuelle Objekte im virtuellen Bedienumfeld VRV wird ein Bedienhinweis auf die den virtuellen Objekten entsprechenden realen Objekte projiziert. Vorzugsweise wird eine virtuelle Repräsentation der Hand des Experten RME im virtuellen Bedienumfeld VRV dargestellt.
-
Eine vom Experten durchzuführende "Navigation" dieses Fingerzeigs oder Bedienhinweises wird zusätzlich dadurch erleichtert, dass die an den Experten übertragene optische Repräsentation des Bedienumfelds selbstverständlich auch die optische Projektion des Bedienhinweises auf das Bedienumfeld enthält. Dies ermöglicht dem Experten eine zielgenaue Positionierung des Bedienhinweises auf einen gewünschten Zielpunkt.
-
2 zeigt eine schematische Darstellung einer Bedienerunterstützungseinrichtung OSD gemäß einem Ausführungsbeispiel. Die Bedienerunterstützungseinrichtung OSD weist einen zylinderförmigen Grundkörper auf, welcher über eine Stativkupplung TRP mit einem Stativ verbunden ist. Eine Aufhängungsvorrichtung HOK ermöglicht alternativ eine hängende Befestigung der Bedienerunterstützungseinrichtung OSD.
-
Entlang der Mantelfläche der Bedienerunterstützungseinrichtung OSD ist eine Mehrzahl optischer Erfassungseinheit CAM sowie akustischer Erfassungseinheiten MIC, ringförmig, in vorteilhafter Weise entlang eines Vollkreises, angeordnet. Benachbarte Erfassungseinheiten sind vorzugsweise so weit voneinander entfernt, dass sich ihre Erfassungsbereiche überlappen und/oder dass die Streckenlänge zwischen den Erfassungseinheiten in etwa der Streckenlänge zwischen entsprechenden menschlichen Sinnesorganen – Auge bzw. Ohr – entsprechen.
-
Weiterhin sind entlang der Mantelfläche oder auch lediglich in einer Teilfläche, welche einer Vorzugsrichtung zugerichtet ist, mindestens zwei akustische Ausgabeeinheiten LSP sowie mindestens eine Projektions-/Anzeigeeinheit DSP angeordnet. Die Projektions-/Anzeigeeinheit DSP dient einer Ausgabe optischer Informationen, welche entweder an einem Display der Projektions-/Anzeigeeinheit DSP angezeigt werden oder durch die Projektions-/Anzeigeeinheit DSP auf das Bedienumfeld projiziert werden. Zur Projektion auf das Bedienumfeld bietet sich beispielsweise eine Ausführung der Projektions-/Anzeigeeinheit DSP als Mikrospiegelarrayprojektor, Flüssigkristallprojektor, Leuchtdiodenprojektor oder eine Kombinationen der genannten Projektoren an.
-
Die Bedienerunterstützungseinrichtung OSD umfasst des Weiteren zwei Laserführungsvorrichtungen STA zur Lenkung eines jeweiligen Laserstrahls LSB, welcher zur Projektion eines jeweiligen Bedienhinweises dient.
-
Im Folgenden werden zwei Ausführungsformen der Erfindung erläutert, bei denen die äußeren Abmessungen der Bedienerunterstützungseinrichtung OSD von Betracht sind. Während eine für übliche technische Zwecke einsetzbare Bedienerunterstützungseinrichtung OSD ungefähr auf die Größe eines menschlichen Kopfes zu dimensionieren ist, so dass das aufgenommene und auf Expertenseite erzeugte virtuelle Bedienumfeld VRV ungefähr der des realen Bedienumfelds entspricht, zeigen sich auch für nach oben und unten abweichende Dimensionen technische Vorteile.
-
Eine Bedienerunterstützungseinrichtung OSD in einem Miniaturformat gemäß einer ersten Ausführungsform gestattet es eine Platzierung im Inneren einer Maschine, in welcher ein Zutritt durch einen Bediener OPR nicht möglich ist. Der Bediener OPR greift in diesem Fall von außen auf das durch die Bedienerunterstützungseinrichtung OSD erfasste Bedienumfeld unter Zuhilfenahme entsprechender Miniaturwerkzeuge zu, wobei mit erfindungsgemäßen Projektionen von Bedienhinweisen bei der Platzierung und Anwendung der Miniaturwerkzeugen unterstützt wird. Der die Bedienhinweise veranlassende Experte RME hat durch die Miniaturgröße der Bedienerunterstützungseinrichtung OSD sowie der entsprechenden Bedienumfelderfassungseinheit einen detaillierteren Blick auf das Bedienumfeld und kann auch in einfacherer Weise einen Bedienhinweis auf Miniaturobjekte richten.
-
Eine Bedienerunterstützungseinrichtung OSD in einem Riesenformat gemäß einer zweiten Ausführungsform gestattet eine Platzierung in einer Position, in der ein komplettes Areal, beispielsweise ein Flughafen, eine Baustelle, eine Fabrikhalle etc. erfassbar ist. Die Bedienhinweise des Experten RME sind in einer solchen Ausführungsform beispielsweise dafür einsetzbar, einer Gruppe von Arbeitern einen Weg zu einer Wartungsposition zu weisen.
-
Im Folgenden werden zwei Anwendungsmöglichkeiten der Erfindung erläutert, bei denen Rolle und Anzahl von Experten RME und Bedienern OPR variiert werden.
-
Eine erste Anwendungsmöglichkeit des erfindungsgemäßen Interaktionssystems sieht vor, dass die Rollen des Bedieners OPR und des Experten RME zusammenfallen. Eine solche im folgenden Anwender genannte Person wechselt beispielsweise seinen Arbeitsplatz zwischen dem Bedienumfeld sowie dem Arbeitsplatz an dem die Fernexperteneinheit angeordnet ist. Ein Arbeitsplatz an der Fernexperteneinheit erlaubt dem Anwender zunächst eine Inspektion des Bedienfelds über die Ausgabeeinheit sowie eine Einstellung eines oder mehrerer Bedienhinweises für Stellen, welche im Folgenden zu bearbeiten sind. Der Anwender fixiert diese Bedienhinweise und wechselt sodann zum Bedienumfeld, um die Arbeiten dort durchzuführen. Eine derartige vorgelagerte Remote-Inspektion eines Bedienumfelds vor der eigentlichen Durchführung der Arbeiten ist beispielsweise vorteilhaft in Fällen, in denen der persönliche Aufenthalt im Bedienumfeld auf ein Minimum reduziert werden soll, etwa aufgrund gesundheitsgefährdender Umgebungsbedingungen oder aufgrund von Umgebungsbedingungen, welche eine Körperhaltung des Anwenders erfordern, welche längere, den eigentlichen Arbeiten vorausgehende Inspektionen im Bedienumfeld erschweren. Außerdem bietet sich eine derartige Anwendung eines Arbeitswechsels auch in Fällen an, wenn eine Bedienerunterstützungseinrichtung OSD in einem oben erläuterten Miniatur- bzw. Riesenformat zum Einsatz kommt und eine den anstehenden Arbeiten vorausgehende Inspektion in einer detaillierteren bzw. überblickenden Sichtweise von Vorteil ist.
-
Ein Zusammenfallen der Rolle des Bedieners OPR und des Experten RME liegt auch in einer Anwendungsmöglichkeit vor, bei der eine Bedienerunterstützungseinrichtung OSD in einem Riesenformat einen Überblick über ein komplettes Areal aus einer Vogelperspektive gestattet und ein Bediener bei der Suche nach einem Weg durch das Areal eine mobile Ausgabeeinheit der Fernexperteneinheit, insbesondere eine Datenbrille, nutzt um auf seiner Wegfindung eine Darstellung der Vogelperspektive des Areals zu erhalten. Auch in einem solchen Fall fallen die Rollen des Bedieners OPR und des Experten RME in einer zusammen, im Unterschied zum oben beschriebenen Beispiel nicht alternierend, sondern sogar synchron.
-
Eine zweite Anwendungsmöglichkeit des erfindungsgemäßen Interaktionssystems sieht vor, dass die Rollen des Bedieners und des Experten von jeweils mehreren Personen eingenommen werden. Beispielsweise ist in bestimmten Situationen mindestens ein einem Bediener oder einer Gruppe von Bedienern zugeordnetes Interaktionssystem vorteilhaft, welches einer Mehrzahl von Fernexperteneinheiten mit jeweils unterschiedlichen Experten zugeordnet ist. Eine alternierende oder gleichzeitige Führung durch unterschiedliche Experten wird in vorteilhafter Weise durch optische Projektion von Bedienhinweisen auf das Bedienumfeld mit einer je nach Experten unterschiedlichen Farbe durchgeführt.
-
Zusammenfassend gewährleistet das erfindungsgemäße Interaktionssystem zur Bedienungsunterstützung eines Bedieners durch einen Experten einen fernwirkenden Fingerzeig durch den Experten. Der Fingerzeig oder Bedienhinweis eines Experten erfolgt mittels einer optischen Projektion auf das Bedienumfeld des Bedieners. Dieser Bedienhinweis wird auf Seiten des Experten in intuitiver Weise durch eine Gestensteuerung vor dem Hintergrund einer auf Seiten des Bedieners erfassten Bedienumfelds und an den Experten übertragenen und dargestellten Bedienumfelds erzeugt. Der vom Experten durch eine Geste veranlasste Bedienhinweis wird verarbeitet und an die Bedienerunterstützungseinrichtung des Bedieners übertragen. Dort wird der Bedienhinweis von der Projektionseinheit auf Seiten des Bedieners in dessen Bedienumfeld projiziert. Im Gegensatz zu derzeit bekannten Einrichtungen zur Unterstützung von Bedienern gewährleistet das erfindungsgemäße Interaktionssystem eine intuitive Weisung an den Bediener, welche exakte Stelle im Bedienumfeld zu bedienen ist.
