-
Die vorliegende Erfindung bezieht sich auf Verfahren zum gestenbasierten Steuern eines Prüfprozesses an einem industriellen teilautomatisierten Sichtprüfplatz eines industriellen technischen Prozesses oder einer industriellen technischen Produktionsanlage mittels Identifikation standardisierter industrie- und anwendungsfallspezifischer Freihandbefehle, wobei eine Mensch-Maschine-Schnittstellen-Einheit, die ein Rechner-System (IT-System) zur datentechnischen Generierung eines prozessbezogenen computergrafischen interaktiven Werkerführungs-Systems enthält, Anwendung findet, von der aus im freien Raum erzeugten und sensormäßig erfassten Freihandbewegungen verwertbare Informationen gewonnen werden, die zum Handhaben und/oder Beobachten des Prüfprozesses an dem industriellen teilautomatisierten Sichtprüfplatzes verwendet werden.
-
Ferner bezieht sich die vorliegende Erfindung auf eine Anlage zum gestenbasierten Steuern eines Prüfprozesses an einem industriellen teilautomatisierten Sichtprüfplatz eines industriellen technischen Prozesses oder einer industriellen technischen Produktionsanlage mittels Identifikation standardisierter industrie- und anwendungsfallspezifischer Freihandbefehle, bei dem eine Mensch-Maschine-Schnittstellen-Einheit, die ein Rechner-System (IT-System) zur datentechnischen Generierung eines prozessbezogenen computergrafischen interaktiven Werkerführungs-Systems enthält, vorgesehen ist, von der aus im freien Raum erzeugten und sensormäßig erfassten Freihandbewegungen verwertbare Informationen bereitzustellen sind, die zum Handhaben und/oder Beobachten des Prüfprozesses an dem industriellen teilautomatisierten Sichtprüfplatzes zu verwendet sind.
-
In der
DE 10 2013 211 335 A1 werden ein Verfahren und eine Vorrichtung zum berührungslosen Erkennen einer Geste unter Verwendung eines ersten Sensors und eines räumlich vom ersten Sensor entfernt angeordneten zweiten Sensors offenbart, wobei die Geste eine Bewegung eines Objekts in einem dreidimensionalen Raum repräsentiert. Zugleich wird in diesem Zusammenhang darauf hingewiesen, dass Mensch-Maschine-Schnittstellen („human-machine-interfaces“) die Eingabe von Daten beispielsweise mittels Bildschirm, Tastatur, Maus, Spracherkennung, Touchscreen oder Touchpad ermöglichen, jedoch eine vergleichsweise neue Art der Eingabe die berührungslose Gestenerkennung ist.
-
- Einlesen einer ersten Sensorposition des ersten Sensors und einer zweiten Sensorposition des zweiten Sensors, wobei dem ersten Sensor ein erster Erfassungsbereich des dreidimensionalen
- Raums zugeordnet ist und dem zweiten Sensor ein zweiter Erfassungsbereich des dreidimensionalen Raums zugeordnet ist,
-
Einlesen eines ersten Abtastsignals des ersten Sensors, um eine erste Trajektorie zu erfassen, die ein Bewegen des Objekts durch den ersten Erfassungsbereich repräsentiert, Einlesen eines zweiten Abtastsignals des zweiten Sensors, um eine zweite Trajektorie des Objekts zu erfassen, die ein Bewegen des Objekts durch den zweiten Erfassungsbereich repräsentiert, und Erkennen der Geste unter Verwendung zumindest einer der Sensorpositionen und zumindest eines der Abtastsignale.
-
Gemäß diesem bekannten Ansatz werden zudem eine Vorrichtung zum berührungslosen Erkennen einer Geste unter Verwendung eines ersten Sensors und eines vom ersten Sensor räumlich entfernt angeordneten Sensors geschaffen, wobei die Geste eine Bewegung in einem dreidimensionalen Raum repräsentiert. Unter einer Vorrichtung wird hier ein elektrisches Gerät verstanden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Die Schnittstellen können auch eigene, integrierte Schaltkreise sein oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Software-Module sein, die beispielweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Weiterhin beschreibt die
WO 2009 024 881 A1 ein herkömmliches Verfahren zum berührungslosen Erkennen einer Geste.
-
Ferner kann gemäß der
DE 602 15 504 T2 z.B. eine Gesten-Analyse ausgeführt werden, um Echtzeit-Befehlssignale zu einer Vorrichtung, z.B. einem Medienabspielgerät oder einem anderen Gerät, durch Gesten-Erkennung, auch als Gesten-Identifizierung bezeichnet, abzuleiten. Hierzu besteht Bedarf nach Mensch-Maschinen-Schnittstellen-Techniken, die ein Gewinnen aus im freien Raum erzeugten Gesten erlauben, insbesondere zum Steuern einer Vorrichtung oder zum Bereitstellen eines Feedbacks von Körperbewegungen (Freihandbefehlen).
-
Das Gewinnen brauchbarer Informationen aus Gesten im freien Raum (Freihandbefehlen) im obigen Kontext schafft technische Herausforderungen u.a. dahingehend, dass effiziente Algorithmen implementiert werden müssen, um eine geeignete Charakteristik aus den Rohdatensignalen an den Sensorausgängen zu erzeugen und die entsprechende Geste aus dieser Charakteristik mit annehmbarer Zuverlässigkeit und Geschwindigkeit zu identifizieren.
-
Ein Beispiel einer bekannten Technik zum Analysieren von Armbewegungen in dreidimensionalen Raum ist auch in einem Dokument mit dem Titel „EMG-based Human-Machine Interface System“ von O.A. Alsayegh, veröffentlicht in Proceedings of the IEEE Conference on Multmedia and Exposition, 2000.
-
Zudem ist ein Beispiel eines herkömmlichen Gesten-Erkennungsansatzes, der auf dem Analysieren von Bilddaten basiert, aus der Patentschrift
US-A- 5,454,043 vorbekannt.
-
Ein Gesten-Erkennungssystem, das auf myoelektrischen Signalen basiert, ist in einem Dokument von Osaman Alsayegh mit dem Titel „Guidance of video data acquisition by myoelectric signals for smart human-robot interfaces" veröffentlicht in IEEE 5/1998, Seiten 3179 bis 3185; Proceedings of the 1998 IEEE International Conference on Robots and Automation; Leuven, Belgien, erläutert.
-
Aus der
DE 10 2013 010 932 A1 geht weiterhin ein Verfahren zum Bedienen einer Bedienschnittstelle zum Bedienen von zumindest einem Gerät in einem Kraftfahrzeug als bekannt hervor, wobei die Bedienschnittstelle ein Kamerasystem und eine mit dem Kamerasystem gekoppelte Gesten-Erkennungseinrichtung umfasst. Durch das Kamerasystem wird eine im Kraftfahrzeuginnenraum des Kraftfahrzeugs mit mindestens einem Arm gestikulierende Person gefilmt, und durch die Gesten-Erkennungseinrichtung auf der Grundlage von Bilddaten Beschreibungsdaten einer Stellung und/oder einer Bewegungsabfolge des zumindest einen gestikulierenden Arms ermittelt. Die Beschreibungsdaten werden einer aus mehreren vorbestimmten Bedien-Gesten durch eine erste Klassifizierung zugeordnet. Durch eine Plausibilisierungseinrichtung wird der Bedienschnittstelle zumindest ein Situationsparameter, welcher einen Gestikulationskontext der Person beschreibt, ermittelt und anhand des zumindest einen Situationsparameters durch eine zweite Klassifizierung entschieden, ob die Person überhaupt eine mögliche Bedienungsgeste oder nur eine nicht für die Bedienung bestimmte, zu ignorierende Geste ausgeführt. Bei Entscheidung auf eine mögliche Bediengeste in Abhängigkeit von der durch die erste Klassifizierung erkannten Bediengeste wird ein Steuerbefehl an das zumindest eine Gerät ausgegeben, hingegen bei Entscheidung auf eine zu ignorierende Geste das Ausgeben des Steuerbefehl unterdrückt.
-
Schließlich ist aus CHACZKO, Zenon, et al.; „Haptic middleware based Software architecture for smart learning"; Computer Aided System Engineering (APCASE); 2015 Asia-Pacific-Conference on IEEE; S. 257-263 ein Verfahren zur Identifikation von standardisierten Freihandbefehlen für den Schulungs- und Unterrichtsbereich bekannt, bei dem eine Mensch-Maschinen-Schnittstellen-Einheit Anwendung findet, die ein Rechner-System zur datentechnischen Generierung eines computergrafischen interaktiven Lehrer/Studentenführungssystems enthält, bei dem es sich um ein reines Softwaresystem handelt. Dieses bekannte Verfahren basiert auf der Identifikation von Standardgesten der Sensoren und die Steuerung mit Freihandbewegungen bezieht sich auf die Interaktion mit dem Softwaresystem.
-
Dem aufgezeigten Stand der Technik ist zu entnehmen, dass viele technologieherstellerspezifische Standards zur räumlichen Interaktion existieren, und für gewöhnlich ein hoher Implementierungs- und Testaufwand für Softwarehersteller bei der Integration der Gesten-Steuerung besteht, da jeder Sensor die eigene SDK nutzt und die Gesten-Information sensorspezifisch repräsentiert wird.
-
Besonders bei der Integration von Consumer-Technologien zur innovativen Softwaresteuerung bestehen im industriellen Anwendungskontext hohe Hürden, da Anforderungen an industrietaugliche Gesten bei implementierten Gesten der Sensorhersteller für gewöhnlich unberücksichtigt bleiben. Implementierte Gesten von Sensorherstellern unterscheiden sich stark, der Umfang an bereitgestellten Gesten hängt von mitgelieferten SDK's der Sensoren ab, und jeder Erfassungssensor hat seine eigene Art und Weise, Gestendaten zu repräsentieren.
-
Zur Qualitätssicherung müssen häufig Bauteile von Mitarbeitern visuell auf Fehler geprüft und bei detektierten Fehlern müssen dann beispielweise per Barcodescanner oder papierbasiert der Fehlerort, die Fehlerart und die Art der Weiterverarbeitung zugeordnet werden. Beispielsweise hat ein Prüfer bei der visuellen Inspektion eines Hilfsrahmens die Aufgabe, alle 60 Schweißnähte zu überprüfen und eine Bewertung über die Schweißnahtqualität zu treffen. Über das äußere Erscheinungsbild der Schweißnaht lassen sich Rückschlüsse auf die Güte einer Schweißnahtverbindung ziehen. Die visuelle Inspektion erfolgt in der Regel als Erstinspektion im Anschluss an die automatisierte Schweißstation und dient zur Sichtprüfung der Schweißnähte, welche in allen Ausführungsklassen der EN 1090 erforderlich ist. Diese Prüfungen können aufgrund der komplexen Bauteilgeometrie mit Hinterschnitten und verdeckten Schweißnähten nicht automatisiert erfolgen.
-
Für gewöhnlich muss nach visueller Detektion eines Oberflächenfehlers auf einem Bauteil der Prüfer diesen Fehler am Terminal oder an der Barcodewand auf einer Eingabemaske erneut lokalisieren und die Fehlerart klassifizieren. Die Dokumentation eines Fehlers wird durch die redundante Detektion und Klassifizierung zeitlich verzögert. Zudem wird die Vollständigkeit der Sichtprüfung nicht sichergestellt. Es werden keine visuellen (am Bauteil) zur Unterstützung des Prüfers eingeblendet. Prüfhinweise können beispielsweise variable Prüfschwerpunkte, Prüfaufgaben oder Prüfparameter sein. Die Erfassung der Fehlerstelle auf der schematischen Zeichnung am Terminal bzw. der Barcodewand ist außerdem ungenau. Daher kann es zu Fehllokalisierung bzw. Fehlklassifizierung kommen. Durch fehlende visuelle Hinweise muss im Fall der Nacharbeit zudem der Fehler auf dem Bauteil erneut lokalisiert werden.
-
Vor diesem Hintergrund werden mit der vorliegenden Erfindung ein Verfahren und ein System zum gestenbasierten Steuern eines Prüfprozesses an einem industriellen teilautomatisierten Sichtprüfplatz eines industriellen technischen Prozesses oder einer industriellen technischen Produktionsanlage mittels Identifikation standardisierter industrie-und anwendungsfallspezifischer Freihandbefehle bereitgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Angestrebt wird eine effektive gestenbasierte Steuerung von Industriearbeitsplätzen und ein gestenbasiertes Dokumentationssystem für industrielle Prüfprozesse. Weiterhin ist beabsichtigt, bei Einsatz verschiedener Sensortechnologien in einem industriellen Produktionsprozess den Implementierungs- und Testaufwand bei der Integration von heterogenen Consumer-Technologien auf ein Minimum zu begrenzen.
-
Zudem ist bei den Anforderungen an die industrietaugliche Gesten-Interaktion zu berücksichtigen, dass der Focus der Mitarbeiter in industriellen Anwendungsszenarien auf dem Prozess liegt, in den die Mitarbeiter involviert sind. Daher müssen gestenbasierte Steuerungsbefehle flüssig in den Arbeitsablauf integrierbar sein. Industrietaugliche Gesten sollten daher intuitiv, kurz, prägnant und eindeutig gestaltet sein, um leicht erinnerbar und auszuführen sein. Zudem sollten die Gesten aus Gründen des Arbeitsschutzes die ergonomischen Aspekte der menschlichen Bewegung berücksichtigen. Für die Akzeptanz der gestenbasierten Prozessführung und Produktionssteuerung dürfen die Gesten die Bedienperson nicht ablenken und keinen negativen Einfluss auf den Arbeitsablauf des Mitarbeiters ausüben.
-
Besonders geeignet sind daher gerade, grobe Handbewegungen wie sog. „Swipe“-Gesten z.B. von links nach rechts oder von oben nach unten sowie von vorne nach hinten. Hinsichtlich der Anzahl der Gesten (Hand-/Fingerbefehle), die sich ein Nutzer für die berührungslose Interaktion leicht zu merken vermag, tendiert die gängige Ansicht neuerdings zu vier unterscheidbaren Gesten als optimale Anzahl.
-
Im Zusammenhang mit der vorliegenden Erfindung wurden für die Identifikation interkulturell akzeptierte Freihandgesten für die softwaregestützte Produktionsplanung und - steuerung anhand von Praxisbeispielen geeignete kulturkreisübergreifende bzw. kulturkreisspezifische berührungslose Gesten identifiziert, die, gruppiert in industrie- und anwendungsspezifischen Gesten-Sets, innerhalb eines Gesten-Moduls verarbeitet werden. Demnach ergeben sich zu jeder untersuchten Interaktionsaufgabe mindestens eine sog. „Best-Practice-Geste“ und mindestens eine spezifische technische Repräsentation dieser Geste.
-
Es wird ein Verfahren der eingangs erwähnten Art zur Verfügung gestellt, das folgendes umfasst:
- an das interaktive Werkerführungs-System wird ein technisches Modul als Gesten-Modul datentechnisch angebunden;
- das Gesten-Modul wird mit mindestens zwei physischen Erfassungseinheiten (Sensoreinheiten), die auf unterschiedlichen Erfassungsverfahren von räumlichen Nutzerinteraktionen basieren, datentechnisch verbunden,
- die definierten Freihandbewegungen werden von einem Gesten-Prozessor des Gesten-Moduls hardwareunabhängig erkannt, technologieneutral identifiziert, als Befehlsatz definierter Sammlungen von Freihandbefehlen datentechnisch verarbeitet, an datentechnische Einheiten des Werkerführungs-Systems weitergeleitet und
- durch eine Zeigegeste wird einem Prüfsystem die Aktivierung der Sichtprüfung an dem industriellen teilautomatsierten Sichtprüfarbeitsplatzes signalisiert,
- worauf ein reales Prüfobjekt mittels technischer Förderelemente zu dem industriellen teilautomatisierten Sichtprüfarbeitsplatz transportiert, auf einem Prüftisch des letzteren positioniert und dort optisch und/oder mechanisch bezüglich Prüfmerkmalen seiner Oberflächenqualität, seiner Materialfestigkeit und/oder seiner Korrosionsresistenz überprüft wird und bei Nichtvorliegen von Fehlermerkmalen das Prüfsystem mittels einer Deaktivierungsgeste deaktiviert wird,
- oder bei Identifizierung mindestens eines Fehlermerkmals des realen Prüfobjektes ersteres durch eine räumlich verortete Zeigegeste dokumentiert und nachfolgend durch eine semantische Zeigegeste klassifiziert wird, indem eine Zuordnung von Fehlerstelle und Fehlerart in einem Qualitätssicherungssystem erfolgt,
- worauf erst dann das Prüfsystem mittels der Deaktivierungsgeste deaktiviert wird.
-
Vorzugsweise werden zur Identifikation des realen Prüfobjektes und der räumlichen Zuordnung der Zeigegeste die Prüfumgebung digitalisiert sowie das reale Prüfobjekt aus den optischen Sensordaten segmentiert, dann die Zeigegeste auf dem segmentierten realen Prüfobjekt durch Segmentierung der Hand- und Fingerstellung räumlich zugeordnet und das Fehlermerkmal (die Fehlerstelle) durch virtuelle Überlagerung des realen Prüfobjektes mit einem digitalen Abbild (CAD, Digital Twin) auf das digitale Datenmodel zur datentechnischen Identifizierung des lokalisierten Fehlermerkmals übertragen.
-
Bevorzugt werden zur Identifikation des realen Prüfobjektes in der physischen Prüfumgebung und zur räumlichen Zuordnung der Zeigegeste die in dem digitalen Abbild des realen Prüfobjektes enthaltenen räumlich verorteten Prüfbereiche, die bei der Sichtprüfung inspiziert werden, mit einem Lokalisierungssystem lagegenau im erfassten Datenstrom der optischen Sensordaten ausgewertet.
-
Die in den Sensordaten identifizierte Freihandinteraktion kann im Interaktionsfall „Zeigegeste“ zur Identifizierung des Prüfbereiches räumlich mit dem digitalen Abbild des realen Prüfobjektes verortet werden und/oder im Interaktionsfall „Klassifikation eines Prüfmerkmals“ die industriespezifischen semantischen Gesten auf die Fehlermerkmale übertragen werden und/oder im Interaktionsfall „Steuerung der Sichtprüfung“ mechanische Vorgänge an dem industriellen teilautomatisierten Sichtprüfplatz auslösen und/oder über ein optisches und/oder akustisches Feedbacksystem Systemzustände und erfasste Freihandinteraktionen an den industriellen Sichtprüfplatz rückmelden.
-
Vorzugsweise erfolgen die Lokalisierung des realen Prüfobjektes im optischen Sensordatenstrom und das lagegenaue Überlagern des digitalen Abbildes des realen Prüfobjektes, indem die physische Prüfumgebung 3D-mäßig erfasst, die Punktwolke (XYZ Koordinaten, RGB Informationen) zur Bereinigung des Datenstroms segmentiert und das reale Prüfobjekt mittels eines Lokalisierungsalgorithmus identifiziert sowie das digitale Abbild des realen Prüfobjektes (CAD) mit der im Datenstrom erfassten Punktwolke des realen Prüfobjektes überlagert wird, wobei die Prüfbereiche lagegenau verortet werden und die Freihandinteraktion letzteren zugeordnet wird.
-
Das Gesten-Modul kann aus einer Vielzahl von Teilmodulen gebildet werden, wobei
über ein Sensor Interface-Modul, das die Schnittstelle zwischen dem Gesten-Modul und der gestenbasierten Softwareanwendung definiert, die Erfassungseinheiten (Sensoren) in dem Gesten-Modul installiert und der Datenstrom abgegriffen werden,
von einem Gesture Processor-Modul technologieunabhängig Gesten-Informationen in den Sensordatenströmen erkannt und die Sensorinformationen zu einer Geste weiter verarbeitet werden;
beim Erkennen einer Kombination aus Beginn und Ende einer Geste der entsprechende Auszug des Datenstroms aufbereitet und an einen Gesten-Mapper weitergeleitet wird;
zugleich die erkannte Geste mit einem Gesten-Set, der in einem mit dem Gesture Processor Modul verbundenen Gesten-Katalog hinterlegt wird, verglichen wird;
beim Identifizieren eines mit dem Gesten-Eintrag des Gesten-Sets übereinstimmenden Sensormuster der Gesten-Eintrag in einer Gesture Lookup-Tabelle gesucht wird,
bei Eintrag der Geste in der Gesture Lookup-Tabelle durch ein registriertes Softwaresystem das Ereignis (Gesten-Event) in einer Message-Queue durch einen Service Provider über ein Application Interface Modul an die registrierte gestenbasierte Softwareanwendung weitergeleitet wird;
von einem Service Provider-Modul einer registrierten Application mitgeteilt wird, welche Geste erkannt worden ist, indem ein hierzu bereit gestelltes „Push“-Verfahren über das Application Interface-Modul die Informationen über die erkannte Geste an das Softwaresystem weiterleitet und den Betrachtungsraum für Gesten in der Gesture Lookup-Tabelle bestimmt;
durch die logische Trennung des Service Providers- Moduls und des Application Interface-Moduls ein Betrieb des Gesten-Moduls auf verteilten Systemen erfolgt, und
in der Gesture Lookup-Tabelle, in der die für eine gestenbasierte Software relevanten Gesten-Einträge beinhaltet sind, letztere bei der Registrierung mit dem Gesten-Modul durch die Software bereitgestellt werden.
-
Nur für die anwendungsfallspezifischen Gesten, die in einem Gesten-Katalog festgelegt werden, erfolgt eine technische Weiterverarbeitung innerhalb des Gesten-Moduls, wobei abhängig vom Datenstromlieferanten (Sensor) für jede Geste des Gesten-Sets die technische Beschreibung analysiert wird, bis ein Eintrag mit einem passenden Gesten-Muster gefunden wird. Gesten-Einträge können mehrere Sensormuster für unterschiedliche Sensoren beinhalten.
-
Die Erfassungssysteme von räumlichen Nutzerinteraktionen können auf einer radarbasierten, magnetfeldbasierten, EMG-basierten oder optischen Erfassung basieren.
-
Das Gesten-Modul bildet eine Middleware (standardisierte Schnittstelle) zwischen heterogenen Sensoren und gestenbasierten Softwaresystemen, über die von letzteren dem Gesten-Modul mitgeteilt wird, welche Geste erkannt und weiterzuleiten ist.
-
Anhand von praktisch untersuchten Interaktionsaufgaben können kulturkreisübergreifende bzw. kulturkreisspezifische berührungslose Gesten identifiziert sowie in industrie- und anwendungsspezifische Gesten-Sets gruppiert werden, die in einer XML-Struktur gruppierte Gesten-Beschreibungen beinhalten, und dann innerhalb des Gesten-Moduls datentechnisch verarbeitet werden.
-
Zu jeder untersuchten Interaktionsaufgabe kann mindestens eine „Best-Practice-Geste“ und mindestens eine sensorspezifische Repräsentation der Geste ermittelt werden.
-
Das Gesten-Modul kann mit beliebigen Sensoren erweitert werden, ohne dass eine Anpassung eines bestehenden gestenbasierten Softwaresystems erfolgt.
-
Es wird ferner eine Anlage der eingangs erwähnten Art zur Verfügung gestellt, wobei
an das interaktive Werkerführungs-System ein technisches Modul als Gesten-Modul datentechnisch angebunden ist;
ein Gesten-Prozessor in dem Gesten-Modul vorgesehen ist, von dem die definierten Freihandbewegungen hardwareunabhängig erkennbar, technologieneutral identifizierbar und als Befehlssatz definierter Sammlungen von Freihandbefehlen zu verarbeiten und an datentechnische Einheiten des Werkerführungs-Systems zum gestengesteuerten Bedienen und/oder Beobachten des industriellen technischen Prozesses oder der industriellen Produktionsanlage weiterleitbar sind, und
von einer Zeigegeste einem Prüfsystem die Aktivierung der Sichtprüfung an dem industriellen teilautomatisierten Sichtprüfarbeitsplatzes zu signalisieren ist,
worauf ein reales Prüfobjekt mittels technischer Förderelemente zu dem industriellen teilautomatisierten Sichtprüfarbeitsplatz transportierbar, auf einem Prüftisch des letzteren positionierbar und dort optisch und/oder mechanisch bezüglich Prüfmerkmalen seiner Oberflächenqualität, seiner Materialfestigkeit und/oder seiner Korrosionsresistenz überprüfbar ist,
bei Nichtvorliegen von Fehlermerkmalen das Prüfsystem mittels einer Deaktivierungsgeste deaktivierbar ist,
oder bei Identifizierung mindestens eines Fehlermerkmals des realen Prüfobjektes ersteres durch eine räumlich verortete Zeigegeste dokumentierbar und nachfolgend durch eine semantische Zeigegeste durch Zuordnung von Fehlerstelle und Fehlerart in einem Qualitätssicherungssystem klassifizierbar ist,
worauf erst dann das Prüfsystem mittels der Deaktivierungsgeste deaktivierbar ist.
-
Vorzugsweise umfasst die Anlage mindestens eines der folgenden Merkmale: ein optisches Erfassungssystem, von dem ein reales Prüfobjekt zu digitalisieren ist und das digitale Abbild des realen Prüfobjektes mit verorteten Prüfbereichen für den Sichtprüfprozess nutzbar ist,
ein Gestensystem, von dem Nutzerinteraktionen im optischen Datenstrom identifizierbar sind, und der gestengesteuerte Prüfprozess mittels der Freihandbewegungen zu starten ist,
ein Lokalisierungssystem, von dem die Zuordnung der Zeigeinteraktionen zu Prüfobjektbereichen des digitalen Abbildes durch Überlagerung mit dem lokalisierten realen Prüfobjekt auszuführen ist,
ein Prüfsystem, von dem der gestenbasierte Prüfprozess durch Koppelung der erkannten und interpretierten Nutzerinteraktionen mit den technischen Funktionen der Prüfumgebung unter Berücksichtigung von Prüfparametern ausführbar ist,
ein Dokumentationssystem, von dem die Ergebnisse der gestenbasierten Sichtprüfung erfassbar und nach Abschluss der Sichtprüfung an mit dem Dokumentationssystem verbundene Qualitätssicherungssysteme weiterzuleiten sind,
ein Steuerungssystem, von dem die technischen Komponenten der Prüfumgebung miteinander zu koppeln sind und
ein Feedbacksystem, von dem die erfassten Interaktionen und aktuelle Systemzustände optisch und/oder akustisch rückzumelden sind.
-
Bevorzugt ist das als Gesten-Modul ausgebildete technische Modul der erfindungsgemäßen Anlage zur Identifikation standardisierter Industrie- und anwendungsfallspezifischer Freihandbefehle aus einer Vielzahl datentechnisch vernetzter Teilmodule gebildet, wobei
über ein Sensor Interface-Modul, das die Schnittstelle zwischen dem Gesten-Modul und der gestenbasierten Softwareanwendung definiert, die Erfassungseinheiten (Sensoren) in dem Gesten-Modul installierbar und der Datenstrom abgreifbar sind,
von einem Gesture Processor-Modul technologieunabhängig Gesten-Informationen in den Sensordatenströmen erkennbar und die Sensorinformationen zu einer Geste weiter verarbeitbar sind; beim Erkennen einer Kombination aus Beginn und Ende einer Geste der entsprechende Auszug des Datenstroms datentechnisch aufbereitbar und an einen Gesten-Mapper weiterleitbar ist,
zugleich die erkannte Geste mit einem Gesten-Set, der in einem mit dem Gesture Processor Modul verbundenen Gesten-Katalog hinterlegt ist, abgleichbar ist,
bei Identifizieren eines mit dem Gesten-Eintrag des Gesten-Sets übereinstimmenden Sensormusters der Gesten-Eintrag in einer Gesture Lookup-Tabelle zu ermitteln ist,
bei Eintrag der Geste in der Gesture Lookup-Tabelle durch ein registriertes Softwaresystem das Ereignis (Gesten-Event) in einer Message-Queue durch einen Service Provider über ein Application Interface Modul an die registrierte gestenbasierte Softwareanwendung weiterleitbar ist;
von einem Service Provider-Modul einer registrierten Application vermittelbar ist, welche Geste erkannt ist, wobei über das Application Interface-Modul die Informationen über die erkannte Geste an das Softwaresystem weiterleitbar und der Betrachtungsraum für Gesten in der Gesture Lookup- Tabelle bestimmbar sind,
bei logischer Trennung des Service Providers-Moduls und des Application Interface-Moduls ein Betrieb des Gesten-Moduls auf verteilten Systemen durchführbar ist, und
in der Gesture Lookup-Tabelle, in der die für eine gestenbasierte Software relevanten Gesten-Einträge beinhaltet sind, letztere bei der Registrierung mit dem Gesten-Modul durch die Software bereitstellbar sind.
-
Erhebliche Vorteile könne mit der vorliegenden Erfindung erzielt werden. Ein Verfahren und eine Anlage zum gestenbasierten Steuern eines Prüfprozesses an einem industriellen teilautomatisierten Sichtprüfplatz eines industriellen technischen Prozesses oder einer industriellen technischen Produktionsanlage mittels Identifikation standardisierter industrie-und anwendungsfallspezifischer Freihandbefehle können mit der vorliegenden Erfindung bereitgestellt werden. Gemäß Ausführungsformen der vorliegenden Erfindung entfällt das Scanning des Fehlerortes und der Fehlermerkmale, wodurch ein zeitlicher Nutzen anfällt. Ferner wird ein schnellerer und geringerer Dokumentationsaufwand bereitgestellt. Die genauere Erfassung des Fehlerortes auf dem Bauteil liefert zusätzlich einen qualitativen Nutzen. Die zeitnahe Rückdokumentation in die Fertigung und die statistische und genaue Fehlerauswertung liefern einen Wissensgewinn. Weiterhin entfällt während der Nacharbeit von Oberflächenmerkmalen die Suche der Fehlerstellen und es entsteht ein geringerer Dokumentationsaufwand. Durch die Anzeige des Fehlerortes auf dem Bauteil ergibt sich ein qualitativer Nutzen für die Nacharbeit. Auch kann die Prüfvollständigkeit und die Abfolge von Prüfvorschriften sichergestellt werden.
-
Die vorliegende Erfindung sorgt in vorteilhafter Weise für eine Erweiterung um die räumliche Verortung von Zeigegesten auf einen digitalen Zwilling eines realen Objektes zur Identifikation von ortsbezogenen Features und um Kombination von semantischen Gesten und Zeigegesten zur Steuerung der Aufmerksamkeit des technischen Systems.
-
Die vorliegende Erfindung ermöglicht die Identifikation standardisierter industrie- und anwendungsfallbezogener Sammlungen von Freihandbefehlen (Gesten-Sets), die unabhängig von der genutzten Erfassungstechnologie eine Projektierung eines interaktiven Werkerführungs-Systems mit einer räumlichen Nutzerschnittstelle ermöglichen.
-
Das Gesten-Modul erleichtert die Integration verschiedener Erfassungssysteme, indem die Verarbeitung der Sensordaten und die Erkennung definierter Freihandbewegungen datentechnisch von einem gestengesteuerten technischen Prozess getrennt wird. Da der Gesten-Prozessor des Gesten-Moduls definierte Freihandbefehle für verschiedene Sensortechnologien verarbeiten kann, ist ein sicheres und robustes Erkennen von räumlichen Nutzerinteraktionen bei reduziertem Implementierungs- und Testaufwand für gestenbasierte technische Prozesse im industriellen Bereich gewährleistet.
-
Mit dem Gesten-Modul ist es möglich, standardisierte Sammlungen von Freihandbefehlen für definierte industrie- und anwendungsspezifische Aufgaben sensorneutral zu erfassen sowie ein zertifiziertes System zur Verarbeitung von Gesten-Informationen in einer abgesicherten Middleware, die durch gestenbasierte Prozesse genutzt werden kann, zu etablieren.
-
In Gesten-Sets werden standardisierte industrie- und anwendungsspezifische Freihandbefehle und deren technische Repräsentationen für verschiedene Erfassungstechnologien in Sammlungen gruppiert und in Form einer Auszeichnungssprache bereitgestellt. Definierte Freihandbefehle, die in industrie- und anwendungsspezifischen Sammlungen von Gesten gruppiert sind, können sicher und robust mit verschiedenen Erfassungstechnologien erfasst werden.
-
Der Nutzer von gestengesteuerten Softwaresystemen kann Entwicklungsdienstleistem bzw. Lieferanten gestengesteuerter Applikationen das Gesten-Modul zur Integration in ihre jeweilige Anwendung überlassen und so den Entwicklungsaufwand reduzieren. Außerdem kann der Nutzer von gestengesteuerten Softwaresystemen die Nutzung eines Gesten-Katalogs bei der Entwicklung gestengesteuerter Softwareanwendungen vorschreiben und diese für eigene Anwendungen einsetzen. Zudem kann der Gesten-Katalog Entwicklungsdienstleistern bzw. Lieferanten als Lastenheft zur Verfügung gestellt werden, so dass eine Vereinheitlichung/Standardisierung der Gesten-Steuerung zu erreichen ist.
-
Die Erfindung wird nachstehend anhand der Zeichnungen beispielhaft näher erläutert. In diesen sind:
- 1 eine schematische Darstellung des Gesten-Moduls für die berührungslose Steuerung der Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit);
- 2 eine schematische Darstellung der Funktionsweise des Gesten-Moduls als Middleware zwischen heterogener Sensorlandschaft und gestengesteuertem Softwaresystem mit einer standardisierten industrie- und anwendungsspezifischen Sammlung von Freihandbefehlen;
- 3 eine schematische Darstellung der relevanten Teilmodule des Gesten-Moduls zur sensorneutralen Erfassung standardisierter industrie- und anwendungsspezifischer Gesten-Sets;
- 4 eine schematische Darstellung des Gesten-Zuordnungsverfahrens registrierter Freihandbefehle einer gestengesteuerten Anwendung;
- 5 eine datentechnische Darstellung der Gesten zur sensorneutralen Beschreibung von Freihandbefehlen und deren Zuordnung in industrie- und anwendungsfallspezifischen Sammlungen von Freihandbefehlen;
- 6 eine schematische Darstellung des technischen Moduls zur Gesten-Erkennung mit einer Erfassungseinheit (links in 6), einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) (mittig in 6) und einem datentechnisch verbundenen Betriebsmittel (rechts in 6);
- 7 eine schematische Darstellung des technischen Moduls zur Gesten-Erkennung (oben in 7) in einer über einen Feldbus datentechnisch vernetzten Anordnung mit einer Erfassungseinheit (links in 7) und einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) (mittig in 7) und einem datentechnisch verbundenen Betriebsmittel (rechts in 7);
- 8 eine vereinfachte Darstellung des datentechnischen Informationsflusses zwischen dem technischen Modul zur Gesten-Erkennung, einer Erfassungseinheit (links in 8), einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) (mittig in 8) und einem Betriebsmittel (rechts in 8);
- 9a eine schematische Darstellung eines prozessverbessernden Aufbaus eines industriellen gestenbasierten Sichtprüfplatzes mit Prüftisch, Prüfobjekt und Beleuchtungseinheiten.
- 9b eine schematische Darstellung eines prozessverbessernden Ablaufs der gestenbasierten Sichtprüfung an einem teilautomatisierten industriellen Sichtprüfplatz bei Anwendung des technischen Moduls zur technologieneutralen Identifikation standardisierter industrie- und anwendungsspezifischer Freihandbefehle in Verbindung mit einem gesteuerten gestenbasierten Prüfsystem,
- 10 eine schematische Darstellung eines prozessverbessernden Ablaufs der gestenbasierten Sichtprüfung an dem teilautomatisierten industriellen Sichtprüfplatz;
- 11 eine schematische Darstellung des prozessverbessernden Ablaufs der Oberflächeninspektion des Prüfobjektes am industriellen Sichtprüfplatz;
- 12 eine schematische Darstellung der Teilaspekte der Oberflächeninspektion des Prüfobjektes mittels Freihandbefehlen am industriellen Sichtprüfplatz;
- 13 eine schematische Darstellung des Prüfsystems zur gestenbasierten Oberflächeninspektion des Prüfobjektes an dem industriellen Sichtprüfplatz;
- 14 eine schematische Darstellung der Teilprozesse für die Lokalisierung des realen (Bauteils) Prüfobjektes im optischen Sensordatenstrom und das lagegenaue überlagern des digitalen Abbildes; und
- 15 einen schematische Darstellung des technischen Systems für den gestenbasierten industriellen Sichtprüfplatz.
-
1 zeigt ein IT-System 100 auf einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit), auch als „Industrie-PC“ bezeichnet, auf der ein Erfassungssystem 101 den Betrieb eines Sensors 102 zur Erfassung physischer Freihandbewegungen ermöglicht. Mit einem technischen Modul als Gesten-Modul 103 wird die sensorneutrale Erkennung standardisierter industrie- und anwendungsspezifischer Freihandbefehle zur gestenbasierten Steuerung einer technischen Einrichtung 104 in einer industriellen Anwendung ermöglicht. Das Gesten-Modul 103 wertet technologieübergreifend Sensordaten aus und gleicht diese mit den hinterlegten Sensormustern für die Gesten eines Gesten-Sets ab. Wird eine Geste erkannt, leitet das Gesten-Modul 103 diese Information als Ereignis an registrierte gestengesteuerte Prozesse weiter. Gestengesteuerte technische Systeme können das Gesten-Modul 103 in Form eines technischen Moduls nutzen.
-
2 zeigt eine schematische Darstellung eines IT-Systems 200, auf welchem ein Sensor-Framework 201 den Betrieb einer Erfassungseinheit 202 mit hardwarespezifischen softwaretechnischen Modulen 203 sicherstellt. Durch ein von der Erfassungseinheit 202 genutzte technische Verfahren zur Erfassung der physischen Umgebung bzw. zur Erfassung menschbezogener Einflüsse bzw. zur Erfassung körpereigener Bewegungen werden durch das technische Modul 204 zur Gestenerkennung harwareneutral repräsentiert. Das Gesten-Modul 203 dient als technische Einheit zwischen einem Erfassungssystem und der in einer Anwendungsdomäne genutzten softwaretechnischen industriellen Anwendung zum Betrieb eines technischen Prozesses. Die Anwendungsdomäne 205 kann ein IT-System auf einem Industrie-PC sein oder ein IT-System, das über einen Feldbus mit einer Mensch-Maschinen-Schnittstellen-Einheit (HIM-Einheit) datentechnisch vernetzt ist. Der Gesten-Katalog 207 definiert den Gesamtumfang aller für verschiedene Erfassungssysteme bekannten Freihandbefehle. Definierte Freihandbefehle werden in standardisierten Sammlungen von Gesten 208 für industrie- und anwendungsspezifische Aufgaben bereitgestellt und durch einen gestengesteuerten technischen Prozess als Kommunikationsbasis mit dem Gesten-Modul 203 genutzt.
-
3 zeigt den technischen Aufbau des Gesten-Moduls 302 mit den datentechnisch vernetzten Teilmodulen. Das Sensor-Interface-Modul 303 beinhaltet die technische Schnittstelle zur Einbindung heterogener Erfassungssysteme in das Gesten-Modul 302. Das Sensor-Interface-Modul 303 realisiert die datentechnische Verknüpfung mindestens eines Erfassungssystems an das Gesten-Modul 302. Im Gesture-Pocessor-Modul 304 werden ein technischer Datenstrom einer Erfassungseinheit und möglich Freihandbewegungen identifiziert. Das Gesture-Processor-Modul 304 ermöglicht ein technologieübergreifendes Erkennen von Gesten-Informationen in datentechnischen Sensorinformationen. Wird eine Kombination aus Beginn und Ende einer expliziten Freihandbewegung erkannt, wird dieser Auszug des Datenstroms aufbereitet und im Gesture-Mapper-Modul 305 datentechnisch verarbeitet. Für die weitere Verarbeitung werden in aufbereiteten datentechnischen Sensorinformationen enthaltene Gesten identifiziert und mit den im Gesten-Set hinterlegten Einträgen bekannter Freihandbewegungen abgeglichen. Wird für einen datentechnischen Eintrag in einem Gesten-Set ein übereinstimmendes Sensormuster identifiziert, wird dieser Gesten-Eintrag mit den registrierten aktiven Gesten-Einträgen einer Applikation abgeglichen. Für den Fall, dass die Geste durch ein registriertes technisches System eingetragen wurde, wird das Ereignis einer erkannten Geste in einer Message-Queue über definierte Schnittstellen an registrierte technische Systeme weitergeleitet. Das Service-Provider-Modul 306 teilt einem registrierten technischen System die erkannte Freihandbewegung über definierte Schnittstellen zum datentechnischen Austausch mit. Das Application-Interface-Modul 307 definiert eine bidirektionale Schnittstelle zum datentechnischen Austausch zwischen dem Gesten-Modul302 und einem gestengesteuerten technischen System. Über diese Schnittstelle kann ein gestengesteuertes technisches System den Betrachtungsraum durch Registrieren aktiver Freihandbehle aus dem Gesamtraum möglicher Gesten spezifizieren und das Auftreten einer Freihandbewegung an eine Prozessaktion binden. Die logische Trennung des Service-Provider-Moduls 306 vom Application-Interface-Modul 307 ermöglicht den Betrieb des Gesten-Moduls 302 in einer über einen Feldbus datentechnisch verteilten Anordnung. Ein gestengesteuertes technisches System innerhalb des Anwendungskontextes 308 ist eine mit Freihandbefehlen steuerbare Applikation oder ein gestengesteuerter technischer Prozess unter Nutzung des Gesten-Moduls 302. Ein Gesten-Set 309 stellt eine industrie- und anwendungsspezifische Gruppierung geeigneter Gesten zu definierten Interaktionsaufgaben dar und definiert als Bestandteil des Gesten-Katalogs den Betrachtungsraum möglicher Freihandbefehle. Für die im Betrachtungsraum definierten Gesten erfolgt eine datentechnische Weiterverarbeitung innerhalb des Gesten-Moduls 302. Einträge definierter Gestern enthalten beispielsweise angelernte Sensormuster für stereo-kamerabasierte, tiefenkamerabasierte, radarfeld-, magnetfeld- und EMG-basierte Erfassungstechnologien. In einer Gesture-Lookup-Tabelle 310 werden relevante Gesten-Einträge zur Laufzeit durch ein gestengesteuertes technisches System registriert und mit Aktionen zur Prozesssteuerung verknüpft.
-
4 verdeutlicht die Funktionsweise des Gesten-Zuordnungsverfahrens eines identifizierten Freihandbefehls aus einem aktiven industrie- und anwendungsspezifischen Gesten-Set 404 zu einem registrierten Freihandbefehl eines technischen Prozesses. Im Gesten-Modul 401 nutzt das Gesten-Mapper-Modul 402 die datentechnisch aufbereiteten Gesten-Informationen einer Erfassungseinheit für den Abgleich mit registrierten Freihandbefehlen in der Gesture-Lookup-Tabelle 403. Gesten-gesteuerte technische Systeme nutzen die Gesture-Lookup-Tabelle 403,um Freihandbefehle für die gestenbasierte Steuerung eines Prozesses zu registrieren und diese mit einer anwendungsspezifischen Funktion zu verknüpfen. Über die datentechnisch verbundenen Teilmodule wird ein Gesten-Ereignis eines registrierten Freihandbefehls zur gestenbasierten Steuerung eines technischen Prozesses weitergeleitet. Ein Gesten-Set 404 stellt eine industrie- und anwendungsspezifische Gruppierung geeigneter Gesten dar und definiert als Bestandteil des Gesten-Katalogs den Betrachtungsraum möglicher Freihandbewegungen. Für die im Betrachtungsraumdefinieren Gesten erfolgt eine technische Weiterverarbeitung innerhalb des Gesten-Moduls. Abhängig vom Erfassungssystem wird für jeden Freihandbefehl eines Gesten-Sets 404 die technische Beschreibung analysiert, bis ein Eintrag mit einem passenden Sensormuster gefunden wurde. Gesten-Einträge können mehrere Sensormuster für unterschiedliche Sensoren beinhalten.
-
5 zeigt die datentechnische Repräsentation der im Gesten-Modul 501 genutzten Freihandbefehle. Die Kommunikationsbasis zwischen dem technischen Modul zur Gesten-Erkennung und einem gestengesteuerten technischen Prozess wird durch eine Sammlung industrie- und anwendungsfallspezifischer Freihandbefehle 502 definiert. Ein Gesten-Set 503 ermöglicht die Gruppierung von Gesten, die für einen bestimmten Anwendungskontext geeignet sind, in einer systemneutralen Auszeichnungssprache. Einträge in dem Gesten-Set 503 bestehen aus einer eindeutigen Identifikationsnummer, einer Beschreibung der Geste und einer Beschreibung der für diese Geste am besten geeigneten Interaktionsaufgaben, sowie der technischen Beschreibung eines Freihandbefehls für verschiedene Erfassungstechnologien.
-
6 ist eine schematische Darstellung einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) 600 mit sensorneutraler berührungsloser Gesten-Steuerung. In einem industrietauglichen Sensor-Ökosystem 601 wird der anwendungsfallbezogene Betrieb einer technischen Erfassungseinheit 602 zur gestenbasierten Steuerung eines technischen Systems mittels physischer Freihandbefehle ermöglicht.
-
Über ein Gesten-Modul Ökosystem 603 erfolgt die datentechnische Verbindung des Gesten-Moduls 604 mit einem OPC-UA Client 605, um SPS-Variablen und deren Wertemanipulation an das Auftreten definierter Freihandbefehle zu binden. Zur Bereitstellung und zur Manipulation von Maschinendaten zwischen digitalen, steuerbaren Datenverarbeitungssystemen wird eine industrielle OPC-UA Kommunikationsarchitektur 606 genutzt. Das technische Modul zur Gesten-Erkennung kommuniziert über diese Architektur mit einer SIMATIC WinCCApplication 607 auf einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit). Über ein Prozessvisualisierungssystem 608 werden aktuelle Prozessinformationen angezeigt. Die Bereitstellung und Manipulation von Maschinendaten zwischen digitalen, steuerbaren Datenverarbeitungssystemen erfolgt über einen SPS-Speicher 609 und die in ein gestengesteuertes technisches System 610 integrierte SPS-Logik 611 zur Steuerung eines Betriebsmittels 612.
-
7 zeigt eine alternative schematische Darstellung einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) 700 mit sensorneutraler berührungsloser Gesten-Steuerung. In einem industrietauglichen Sensor-Ökosystem 701 wird der anwendungsfallbezogene Betrieb einer technischen Erfassungseinheit 702 zur gestenbasierten Steuerung eines technischen Systems mittels physischer Freihandbefehle ermöglicht. Über ein verteiltes Gesten-Modul Ökosystem 703 erfolgt die datentechnische Verbindung des Gesten-Moduls 704 mit einem OPC-UA Client 705, um SPS-Variablen und deren Wertemanipulation an das Auftreten definierter Freihandbefehle zu binden. Zur Bereitstellung und zur Manipulation von Maschinendaten zwischen digitalen, steuerbaren Datenverarbeitungssystemen wird eine industrielle OPC-UA Kommunikationsarchitektur 706 genutzt. Die verteilte Systemarchitektur ermöglicht die cloudbasierte Verarbeitung der Sensordaten, unabhängig von der genutzten Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) 700.Das technische Modul zur Gesten-Erkennung kommuniziert über diese Architektur mit einer SIMATIC WinCCApplication 707 und stellt über ein Prozessvisualisierungssystem 708 aktuelle Prozess-Informationen dar. Die Bereitstellung und Manipulation von Maschinendaten zwischen digitalen, steuerbaren Datenverarbeitungssystemen erfolgt über einen SPS-Speicher 609 und die in ein gestengesteuertes technisches System 610 integrierte SPS-Logik 611 zur Steuerung eines Betriebsmittels 612
-
8 beinhaltet eine vereinfachte Beschreibung des datentechnischen Informationsflusses zwischen einer Erfassungseinheit 802 und einem mittels Freihandbewegungen gesteuerten technischen Prozesses 812. Es ist die Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit) 800 mit den relevanten Teilmodulen dargestellt. Die gestenbasierte Steuerung 800 eines technischen Prozesses kann direkt über das technische Modul zur technologieneutralen Identifikation standardisierter industrie-und anwendungsfallspezifischer Freihandbefehle 804 über eine OPC-UA Architektur 805, 806 für ein interaktives Werkerführungs-System 807 auf einer Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit)dienen. Über ein Prozessvisualisierungssystem 808 werden aktuelle Prozessinformationen dargestellt. Die Bereitstellung und Manipulation von Maschinendaten zwischen digitalen, steuerbaren Datenverarbeitungssystemen erfolgt über einen SPS-Speicher 809 und die in ein gestengesteuertes technisches System 810 integrierte SPS-Logik 811.
-
9 a zeigt schematisch einen prozessverbessernden Aufbau eines industriellen gestenbasierten Sichtprüfplatzes 901 mit Prüftisch 902, Prüfobjekt 903 und Beleuchtungseinheiten 905. Optische Erfassungseinheiten 906 und 907 erfassen die Interaktionen des Sichtprüfers und explizite Freihandbefehle zur Steuerung eines gestenbasierten Dokumentationssystems 908.
-
9b zeigt eine einen prozessverbesssernde Anwendung des technischen Moduls zur technologieneutralen Identifikation standardisierter industrie- und anwendungsfallspezifischer Freihandbefehle am Anwendungsfall eines Dokumentationssystems. In 9 ist ein industrieller Sichtprüfplatz 901 mit Prüftisch 902, Prüfobjekt 903 und einem gestengesteuerten Dokumentationssystem exemplarisch dargestellt. Die schematische Darstellung des Workflows zeigt eine sensorneutrale Erfassung von Freihandbefehlen mit einem Gesten-Modul und einer neutralen Schnittstelle zur gestenbasierten Steuerung eines technischen Prozesses.
-
10 zeigt exemplarisch einen prozessverbessernden Ablauf der gestenbasierten Sichtprüfung an dem teilautomatisierten industriellen Sichtprüfplatz 1000. Durch einen industriespezifischen Freihandbefehl wird der teilautomatisierte Prozess zum Transport des Prüfobjektes 1002 über Förderelemente zum Prüftisch 1001 ausgelöst. Nach Abschluss der manuellen Oberflächeninspektion wird das Prüfobjekt 1002 durch einen industriespezifischen Freihandbefehl zur Weiterverarbeitung freigegeben. Das gestenbasierte Prüfsystem 1003 entscheidet dabei über die Art der Bauteilweiterverarbeitung.
-
Die schematische Darstellung des Workflows zeigt eine sensorneutrale Erfassung von Freihandbefehlen mit einem Gesten-Modul und einer neutralen Schnittstelle zur gestenbasierten Steuerung eines technischen Prozesses.
-
10 zeigt den prozessverbessernden Ablauf der Oberflächeninspektion mittels Freihandbefehlen 1001. Zu Beginn wird dem Prüfsystem 1002 mittels eines standardisierten industriespezifischen Freihandbefehls die Aktivierung des Sichtprüfprozesses 1000 mitgeteilt. Bei der Prüfung der Oberflächenmerkmale z.B. Schweißnähte 1003 werden mögliche Fehler manuell identifiziert. Die Dokumentation der Fehlerstelle erfolgt durch eine räumlich verortete Zeigegeste 1004. Die Klassifikation des Fehlermerkmals erfolgt durch semantische Zeigegesten 1005 und ermöglicht die Zuordnung von Prüfobjekt, Fehlerstelle, Fehlerart im Qualitätssicherungssystem. Zum Abschluss der Oberflächeninspektion mittels Freihandbefehlen wird das Prüfsystem 1002 mit einer Deaktivierungsgeste 1006 deaktiviert.
-
11 zeigt die Teilaspekte der Oberflächeninspektion mittels Freihandbefehlen 1100 in einer schematischen Darstellung. Zur Identifikation des Prüfobjektes und der räumlichen Zuordnung der Zeigegeste ist die Digitalisierung der Prüfumgebung und die Segmentierung des Prüfobjektes aus den optischen Sensordaten 1101 notwendig. Auf dem segmentierten Prüfobjekt wird die Zeigegeste durch Segmentierung der Hand-und Fingerstellung räumlich zugeordnet 1102. Die lokalisierte Fehlerstelle wird durch virtuelle Überlagerung des realen Prüfobjektes mit einem digitalen Abbild (CAD, Digital Twin) auf das digitale Datenmodell übertragen, um das lokalisierte Feature datentechnisch zu identifizieren 1103, z. B. eine einzelne Schweißnaht mit Kennzeichnung.
-
12 zeigt eine schematische Darstellung des Prüfsystems 1200 zur gestenbasierten Oberflächeninspektion an einem industriellen Sichtprüfplatz 1207. Zur Identifikation des Prüfobjektes in der physischen Prüfumgebung und der räumlichen Zuordnung der Zeigegeste werden optische Sensordaten ausgewertet 1201. Mit einem Lokalisierungsverfahren wird das digitale Abbild des realen Bauteils lagegenau im erfassten Datenstrom 1202 verortet. Das digitale Abbild enthält die räumlich verorteten Prüfbereiche welche im Sichtprüfprozess inspiziert werden. Die in den Sensordaten identifizierte Freihandinteraktion wird im Interaktionsfall „Zeigegeste“ räumlich mit dem digitalen Abbild des realen Prüfobjektes verortet, um den Prüfbereich zu identifizieren 1203. Für die Freihandinteraktion „Klassifikation Prüfmerkmal“ werden industriespezifische semantische Gesten auf Fehlermerkmale übertragen 1204. Die Freihandinteraktion „Steuerung Prüfprozess“ wird zum Auslösen mechanischer Zustände an einem physischen Industriearbeitsplatz genutzt 1206. Für ein optisch und oder akustisches Feedbacksystem werden dem Anwender Systemzustände und erfasste Freihandinteraktionen rückgemeldet 1205.
-
13 zeigt die schematische Darstellung der Teilprozesse für die Lokalisierung des realen Bauteils im optischen Sensordatenstrom und das lagegenaue Überlagern des digitalen Abbildes 1300. Nach der 3D Erfassung der physischen Prüfumgebung 1301 erfolgt die Segmentierung der Punktwolke (XYZ Koordinaten, RGB Informationen) zur Bereinigung des Datenstroms, um über einen Lokalisierungsalgorithmus das physische Prüfobjekt zu identifizieren 1302. Das digitale Abbild des physischen Prüfobjektes (CAD) wird mit der im Datenstrom erfassten Punktwolke des realen Prüfobjektes überlagert 1303, um die Prüfbereiche lagegenau zu verorten und die Freihandinteraktion diesen zuzuordnen.
-
14 zeigt eine schematische Darstellung des technischen Systems für einen gestenbasierten Sichtprüfplatz. Das reale Prüfobjekt 1400 wird durch ein optisches Erfassungsverfahren digitalisiert 1402. Das digitale Abbild des realen Prüfobjektes 1400 mit den verorteten Prüfbereichen für einen Sichtprüfprozess ist bei 1401 gezeigt.. Das Gestensystem 1403 identifiziert die Nutzerinteraktionen im optischen Datenstrom und ermöglicht den gestengesteuerten Prozess mittels industrie-und anwendungsfallspezifischer Freihandbewegungen. Das Lokalisierungssystem 1404 ermöglicht die Zuordnung der Zeigeinteraktionen zu Prüfobjektbereichen des digitalen Abbildes 1401 durch Überlagerung mit dem lokalisierten realen Prüfobjekt 1400. Das Prüfsystem 1405 ermöglicht den gestenbasierten Prozess durch Koppelung der erkannten und interpretierten Nutzerinteraktionen mit den technischen Funktionen der Prüfumgebung unter Berücksichtigung der Prüfparameter 1406. Die Ergebnisse der gestenbasierten Sichtprüfung werden im Dokumentationssystem 1409 erfasst und nach Abschluss der Prüfung an verbundene Qualitätssicherungssysteme weitergeleitet. Über ein Steuerungssystem 1408 sind die technischen Komponenten der Prüfumgebung gekoppelt. Rückmeldung über erfasste Interaktionen und aktuelle Systemzustände werden über ein Feedbacksystem 1407 optisch und oder akustische ausgegeben.
-
Es versteht sich, das die Ausführungsformen der vorliegenden Erfindung nicht beschränkt sind auf die speziellen Strukturen, Verfahrensschritte oder Materialien, die hier offenbart sind, sondern auf deren Äquivalente ausgedehnt werden können, wie es für einen Durchschnittsfachmann auf den relevanten Gebieten erkennbar ist. Es versteht sich, dass die hier benutzte Terminologie lediglich zum Beschreiben bestimmter Ausführungsformen verwendet wird und nicht als beschränkend auszulegen ist. Die beschriebenen Merkmale, Strukturen oder Eigenschaften können in jeder geeigneten Weise in einer oder mehreren Ausführungsformen kombiniert werden.
-
Bezugszeichenliste
-
- 100
- IT-System
- 101
- Sensor Ökosystem
- 102
- Sensor
- 103
- Gesten-Modul
- 104
- Gestengesteuerter Prozess
- 200
- Gesten-Modul Ökosystem
- 201
- Sensor Ökosystem
- 202
- Sensor
- 203
- Sensor Framework
- 204
- Gesten-Modul
- 205
- Anwendungskontext (Clients)
- 206
- Gesten gesteuerter Prozess
- 207
- Gesten-Katalog
- 208
- Industrie / anwendungsspezifische Gesten-Sets
- 301
- Sensor Ökosystem
- 302
- Gesten-Modul
- 303
- Sensor-Interface-Modul
- 304
- Gesten Prozessor-Modul
- 305
- Gesten Mapper-Modul
- 306
- Service Provider-Modul
- 307
- Application Interface-Modul
- 308
- Anwendungskontext (Clients)
- 309
- Industrie / anwendungsspezifischer Gesten-Set
- 310
- Gesten-Zuordnungstabelle
- 401
- Gesten-Modul
- 402
- Gesten Mapper-Modul
- 403
- Gesten-Zuordnungstabelle
- 404
- Gesten-Katalog
- 501
- Gesten-Modul
- 502
- Industrie / anwendungsspezifische Gesten-Sets
- 503
- Gesten-Eintrag
- 600
- Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit)
- 601
- Sensor Ökosystem
- 602
- Sensor
- 603
- Gesten-Modul Ökosystem
- 604
- Gesten-Modul
- 605
- OPC-UA Client
- 606
- OPC-UA Server
- 607
- SIMATIC WinCC Application
- 608
- SIMATIC WinCC Frontend
- 609
- Betriebsmittel Ökosystem
- 610
- SPS Speicher
- 611
- SPS Logik
- 612
- Betriebsmittel
- 700
- Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit)
- 701
- Sensor Ökosystem
- 702
- Sensor
- 703
- Gesten-Modul Ökosystem
- 704
- Gesten-Modul
- 705
- OPC-UA Client
- 706
- OPC-UA Server
- 707
- SIMATIC WinCC Application
- 708
- SIMATIC WinCC Frontend
- 709
- Betriebsmittel Ökosystem
- 710
- SPS Speicher
- 711
- SPS Logik
- 712
- Betriebsmittel
- 800
- Mensch-Maschinen-Schnittstellen-Einheit (HMI-Einheit)
- 801
- Sensor Ökosystem
- 802
- Sensor
- 803
- Gesten-Modul Ökosystem
- 804
- Gesten-Modul
- 805
- OPC-UA Client
- 806
- OPC-UA Server
- 807
- SIMATIC WinCC Application
- 808
- SIMATIC WinCC Frontend
- 809
- Betriebsmittel Ökosystem
- 810
- SPS Speicher
- 811
- SPS Logik
- 812
- Betriebsmittel
- 901
- Prüfplatz
- 902
- Prüftisch
- 903
- Prüfobjekt
- 904
- Prüfsystem
- 905
- Beleuchtungseinheit
- 906, 907
- Erfassungseinheit
- 908
- Dokumentationssystem
- 1000
- Aktivierungsgeste der Oberflächeninspektion
- 1001
- Prozess der manuellen Oberflächeninspektion
- 1002
- Prüfsystem
- 1003
- Sichtprüfung des Prüfobjekts zur Identifikation von Fehlermerkmalen
- 1004
- Lokalisierungsgeste zur Erfassung der Fehlerstelle
- 1005
- Zeigegeste zur Klassifikation des Fehlermerkmals
- 1006
- Zeigegeste zum Abschluss der Oberflächeninspektion
- 1100
- Schematische Darstellung der Teilmodule des Sichtprüfprozesses
- 1101
- Optische Erfassung der Prüfumgebung mit Segmentierung des Prüfobjektes
- 1102
- Optische Erfassung der Zeigeposition auf der Oberfläche des Prüfobjektes
- 1103
- Digitales Matchingverfahren zum Mapping der Zeigeposition im realen Raum auf digitales 3D Abbild des Prüfobjektes mit räumlich verorteten Prüfmerkmalen zur Identifikation des ausgewählten Prüfmerkmals
- 1200
- Schematische Darstellung des gestenbasierten Dokumentationssystems mit relevanten Modulen
- 1201
- Optisches Erfassungsverfahren zur Identifikation von Prüfumgebung, Prüfobjekt und Interaktionserkennung
- 1202
- Lokalisierungsverfahren zum Mapping der räumlichen Zeigebewegung auf digitales Abbild des realen Prüfobjektes
- 1203
- Gestenerkennungssystem zur Identifikation der Handbewegungen und zur Identifikation der semantischen Geste
- 1204
- Gestengestützte Dokumentation der Sichtprüfung durch Erfassung der Zeigeposition und Zuordnung des Fehlermerkmals zur semantische Zeigegeste
- 1205
- Feedbacksystem zur optisch/akustischen Rückmeldung von Systemzuständen
- 1206
- Gestenbasiertes Steuerungssystem der Prüfumgebung zum Anfordern des Prüfobjektes oder zur Freigabe eines geprüften Prüfobjektes
- 1207
- Prüfumgebung
- 1300
- Schematische Beschreibung des gestenbasierten Lokalisierungs- und Matchingverfahrens
- 1301
- Optische Erfassung der Prüfumgebung mit Prüfobjekt und Interaktionserkennung
- 1302
- Segmentierung der Erfassten Prüfumgebung zur Identifikation des Prüfobjektes
- 1303
- Matching des digitalen Abbilds (Digital Twin) des realen Prüfobjektes auf das segmentierte Prüfobjekt
- 1400
- Reales Prüfobjekt
- 1401
- Digitales Abbild des realen Prüfobjektes mit räumlich verorteten Prüfmerkmalen (Digital Twin)
- 1402
- Optisches Erfassungssystem der Prüfumgebung und zur Erfassung der Interaktionen
- 1403
- Gestenerkennungs- und Zuordnungssystem
- 1404
- Lokalisierungssystem zum Mapping der Zeigeposition im realen Raum auf das digitale Abbild des realen Prüfobjektes
- 1405
- Prüfsystem zur Zuordnung der Erfassten Sensorinformationen zu Prüfvorschriften
- 1406
- Prüfvorschriften und Prozessbeschreibungen zur Definition der Fehlerkategorien, Prüfreihenfolge, Prüfkriterien
- 1407
- Feedbacksystem zur optisch/akustischen Rückmeldung von Systemzuständen
- 1408
- Gestenbasiertes Steuerungssystem der Prüfumgebung
- 1409
- Gestenbasiertes Dokumentationssystem der erfolgten Sichtprüfung mit Koppelung an bestehende Qualitätssicherungssysteme
- 1410
- Qualitätssicherungssystem
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013211335 A1 [0003, 0004]
- WO 2009024881 A1 [0007]
- DE 60215504 T2 [0008]
- US 5454043 A [0011]
- DE 102013010932 A1 [0013]
-
Zitierte Nicht-Patentliteratur
-
- O.A. Alsayegh, veröffentlicht in Proceedings of the IEEE Conference on Multmedia and Exposition, 2000 [0010]
- Osaman Alsayegh mit dem Titel „Guidance of video data acquisition by myoelectric signals for smart human-robot interfaces“ veröffentlicht in IEEE 5/1998, Seiten 3179 bis 3185; Proceedings of the 1998 [0012]
- CHACZKO, Zenon, et al.; „Haptic middleware based Software architecture for smart learning“; Computer Aided System Engineering (APCASE); 2015 Asia-Pacific-Conference on IEEE; S. 257-263 [0014]
