DE102022203803A1

DE102022203803A1 - Method and monitoring system for monitoring a manual manufacturing process and training procedures

Info

Publication number: DE102022203803A1
Application number: DE102022203803.7A
Authority: DE
Inventors: Christopher Vox; Steffen Masuch
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2022-04-14
Filing date: 2022-04-14
Publication date: 2023-10-19

Abstract

Die Erfindung betrifft ein Verfahren zum Überwachen eines zumindest teilweise manuellen Fertigungsprozesses und ein Verfahrens zum Schaffen einer korrespondierenden Einrichtung des maschinellen Lernens (9). Die Erfindung betrifft weiter ein korrespondierendes Überwachungssystem (1, 5). In dem Verfahren werden während der Ausübung einer manuellen Tätigkeit durch eine Person (10) im Rahmen des Fertigungsprozesses mittels eines tragbaren Gehirnsignaldetektors (1) Gehirnsignale (12) der Person (10) gemessen. Die gemessenen Gehirnsignale (12) werden mittels der dazu trainierten Einrichtung des maschinellen Lernens (9) und/oder mittels einer Zeitreihenanalyse automatisch verarbeitet. Als oder basierend auf einem Output (13) der Einrichtung des maschinellen Lernens (9) und/oder der Zeitreihenanalyse wird die Ausübung der manuellen Tätigkeit bezüglich einer vordefinierten bestimmungsgemäßen Ausübung bewertet.

The invention relates to a method for monitoring an at least partially manual manufacturing process and a method for creating a corresponding machine learning device (9). The invention further relates to a corresponding monitoring system (1, 5). In the method, while a person (10) is carrying out a manual activity as part of the manufacturing process, brain signals (12) of the person (10) are measured using a portable brain signal detector (1). The measured brain signals (12) are automatically processed using the trained machine learning device (9) and/or using a time series analysis. The exercise of the manual activity is assessed as or based on an output (13) of the machine learning device (9) and/or the time series analysis with regard to a predefined intended exercise.

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein Überwachungssystem zum Überwachen eines manuellen Fertigungsprozesses. Die Erfindung betrifft weiter ein korrespondierendes Trainingsverfahren für eine Einrichtung des maschinellen Lernens.The present invention relates to a method and a monitoring system for monitoring a manual manufacturing process. The invention further relates to a corresponding training method for a machine learning device.

In der teilautomatisierten, kontinuierlichen Massenproduktion von Bauteilen und Baugruppen werden einzelne Fertigungsschritte durch Werker oder Arbeiter, also Personen, manuell durchgeführt. Dies können beispielsweise eine Handhabung, also etwa ein Einlegen, von Bauteilen oder Komponenten, eine Kontrolle, also beispielsweise eine Überprüfung auf Anwesenheit bestimmter Bauteile oder Merkmale und/oder andere prozessunterstützende Tätigkeiten sein. Naturgemäß kann es dabei zu Fehlern kommen, beispielsweise aufgrund von Unaufmerksamkeit, Müdigkeit und dergleichen mehr. Es gibt bereits verschiedene Fehlervermeidungsmethoden, mit denen sichergestellt werden soll, dass die manuellen Tätigkeiten fehlerfrei durchgeführt werden. Beispielsweise können dazu elektrische Informationssignale oder mechanische Zwangsbedingungen (Poka Yoke) verwendet werden. Trotz dieser Maßnahmen kann es bisher jedoch weiter zu Fehlern durch die Personen, also menschliche Arbeitskräfte kommen, was zu einer Fehlproduktion oder einer Beschädigung einer Produktionsanlage durch falsche Bedienung und dergleichen mehr führen kann. Dies kann insbesondere in zeitkritischen Produktionsprozessen zu Mehrarbeit, Verzögerungen und/oder erhöhtem Ausschuss von Bauteilen führen. Zu entsprechenden Fehlern kann es vor allem durch Unachtsamkeit aufgrund einer im Laufe der Zeit aufkommenden Routine sich wiederholender Arbeiten oder Tätigkeiten kommen.In the partially automated, continuous mass production of components and assemblies, individual production steps are carried out manually by workers or workers, i.e. people. This can be, for example, handling, i.e. inserting parts or components, checking, i.e. checking for the presence of certain components or features and/or other process-supporting activities. Naturally, errors can occur, for example due to inattention, fatigue and the like. There are already various error prevention methods that are intended to ensure that manual activities are carried out error-free. For example, electrical information signals or mechanical constraints (Poka Yoke) can be used for this purpose. Despite these measures, errors by people, i.e. human workers, can still occur, which can lead to incorrect production or damage to a production system due to incorrect operation and the like. This can lead to extra work, delays and/or increased rejection of components, particularly in time-critical production processes. Corresponding errors can occur primarily due to carelessness due to a routine of repetitive work or activities that develops over time.

Um den genannten Problemen zu begegnen, oder Fehler zumindest zu erkennen, besteht Bedarf für eine verbesserte Prozessüberwachung. Als einen Ansatz dafür beschreibt die DE 10 2019 104 822 A1 ein Verfahren und eine Vorrichtung zum Überwachen eines industriellen Prozessschrittes. Darin werden mittels eines entsprechenden Überwachungssystems digitale Bilddaten aufgenommen. Weiter wird ein aktueller Prozesszustand ermittelt, indem basierend auf einem entsprechend angelernten Entscheidungsalgorithmus aus den aufgenommenen digitalen Bilddaten als Eingabedaten der aktuelle Prozesszustand als Ausgabedaten generiert wird. Der Prozessschritt wird dann durch Erzeugen einer visuellen, akustischen und/oder haptischen Ausgabe in Abhängigkeit von dem ermittelten aktuellen Prozesszustand überwacht. Damit soll eine verbesserte Überwachung manueller Prozessschritte eines Industrieprozesses im Hinblick auf die Qualitätssicherung erreicht werden.In order to address the problems mentioned, or at least to detect errors, there is a need for improved process monitoring. As an approach to this, the DE 10 2019 104 822 A1 a method and a device for monitoring an industrial process step. Digital image data is recorded using an appropriate monitoring system. Furthermore, a current process state is determined by generating the current process state as output data from the recorded digital image data as input data based on a correspondingly trained decision algorithm. The process step is then monitored by generating a visual, acoustic and/or haptic output depending on the determined current process state. This is intended to achieve improved monitoring of manual process steps of an industrial process with regard to quality assurance.

Ein Verfahren zur Überwachung eines Fertigungsprozesses ist auch in der DE 10 2017 207 992 A1 beschrieben. Darin wird ein Werkstück mit einer Sensoreinheit erfasst und durch die Sensoreinheit erfasste Informationen werden an eine Datenbank gesendet, wo ein werkstückspezifischer Datensatz angelegt wird. Das Werkstück wird vor, während und/oder nach Durchführung eines Bearbeitungsschrittes oder eines Handhabungsschrittes am Werkstück durch die Sensoreinheit erfasst. Der in der Datenbank hinterlegte Datensatz wird dann vor, während und/oder nach Durchführung eines Bearbeitungsschrittes oder Handhabungsschrittes am Werkstück aktualisiert. Damit soll ein Verfahren bereitgestellt werden, mit dem die bei der individuellen Fertigung von Werkstücken auftretenden Nachteile reduziert und/oder die Prozesssicherheit erhöht werden kann.A method for monitoring a manufacturing process is also in the DE 10 2017 207 992 A1 described. In it, a workpiece is recorded with a sensor unit and information recorded by the sensor unit is sent to a database where a workpiece-specific data record is created. The workpiece is detected by the sensor unit before, during and/or after carrying out a processing step or a handling step on the workpiece. The data record stored in the database is then updated before, during and/or after a processing step or handling step is carried out on the workpiece. The aim is to provide a method with which the disadvantages that occur in the individual production of workpieces can be reduced and/or process reliability can be increased.

Ein konkreter industrieller Anwendungsfall für eine Überwachung ist beispielsweise in der DE 10 2016 120 131 A1 beschrieben. Dort ist ein Verfahren zur Unterstützung eines Absortiervorgangs von auf einem Sortiertisch angeordneten Werkstücken, die mit einer Flachbettwerkzeugmaschine mit einem Bearbeitungsplan erzeugt wurden, offenbart. Darin wird zunächst ein Bearbeitungsbilddatensatz des Bearbeitungsplans, der der Anordnung von mindestens einem Werkstück zugrunde lag, bereitgestellt. Es erfolgt dann ein bildgebendes Erfassen des Sortiertisches mit einer Mehrzahl von nebeneinander angeordneten Werkstücken und ein Erzeugen eines ersten Absortierbilddatensatzes. Weiter erfolgt ein wiederholtes bildgebendes Erfassen des Sortiertisches und einen Erzeugen eines zweiten Absortierbilddatensatzes, nachdem mindestens ein Werkstück vom Sortiertisch entnommen wurde. Der erste Absortierbilddatensatz und der zweite Absortierbilddatensatz werden dann unter Einbezug des Bearbeitungsbilddatensatzes abgeglichen, wobei ein Sortiersignal erzeugt wird, das Informationen enthält, die den Typ, die Lage und/oder die Form des entnommenen Werkstücks umfassen. Damit sollen eine Zuordnung erleichtert, Fehler bei der Zuordnung reduziert und/oder die Durchführung sich anschließender Prozesse effizient ermöglicht werden.A specific industrial use case for monitoring is, for example, in DE 10 2016 120 131 A1 described. There, a method for supporting a sorting process of workpieces arranged on a sorting table, which were produced with a flatbed machine tool with a processing plan, is disclosed. A machining image data set of the machining plan on which the arrangement of at least one workpiece was based is first provided. The sorting table with a plurality of workpieces arranged next to one another is then imaged and a first sorting image data set is generated. Furthermore, the sorting table is captured repeatedly by imaging and a second sorting image data set is generated after at least one workpiece has been removed from the sorting table. The first sorting image data set and the second sorting image data set are then compared taking into account the processing image data set, with a sorting signal being generated which contains information which includes the type, position and/or shape of the removed workpiece. This is intended to make assignment easier, reduce errors in assignment and/or enable subsequent processes to be carried out efficiently.

Als weiterer technischer Hintergrund sei die US 2021 / 0 248 514 A1 genannt. Darin ist ein computerimplementiertes Verfahren zur Auswahl und Konfiguration eines automatisierten robotischen Prozesses beschrieben. Darin wird basierend auf einer temporären biometrischen Messung eines Arbeiters eine Art von Gedankengang beim Ausüben einer Aufgabe identifiziert. US 2021 / 0 248 514 A1 should be mentioned as further technical background. It describes a computer-implemented method for selecting and configuring an automated robotic process. It identifies a type of thought process when performing a task based on a temporary biometric measurement of a worker.

Weiter wird dann eine Komponente einer Kl-Lösung ausgewählt, um diese Art von Gedankengang zu replizieren. Dieses Auswählen basiert dabei auf einem identifizierten aktiven Bereich des Neokortex des Arbeiters.Further, a component of a Kl solution is then selected to replicate this type of thought process. This selection is based on an identified active area of the worker's neocortex.

Als weiterer technischer Hintergrund sei die US 11,157,081 B1 genannt, in der eine tragbare Vorrichtung beschrieben ist. Die dortige Vorrichtung umfasst ein Display zum Bereitstellen von Informationen an einen jeweiligen Träger, wobei die Informationen wenigstens zwei auswählbare Optionen umfassen. Die Vorrichtung umfasst weiter ein Gehirnüberwachungsgerät zum Nachverfolgen einer Gehirnwellenaktivität des Trägers und zum Detektieren eines mentalen Entschlusses. Basierend darauf soll eine der Optionen als ausgewählte Option identifiziert werden. Weiter umfasst die Vorrichtung einen Elektromyographen, der dazu eingerichtet ist, die Optionen basierend auf der Gehirnwellenaktivität in Kombination mit durch den Elektromyografen nachverfolgter Muskelaktivität nachzuverfolgen.As further technical background, this is: US 11,157,081 B1 called, in which a portable device is described. The device there comprises a display for providing information to a respective carrier, the information comprising at least two selectable options. The device further includes a brain monitor for tracking brain wave activity of the wearer and detecting a mental decision. Based on this, one of the options should be identified as the selected option. The device further includes an electromyograph configured to track options based on brain wave activity in combination with muscle activity tracked by the electromyograph.

Aufgabe der vorliegenden Erfindung ist es, eine besonders effiziente und kostengünstige Produktion von Gütern und unter menschlicher Mitwirkung zu ermöglichen.The object of the present invention is to enable particularly efficient and cost-effective production of goods with human participation.

Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren offenbart.This object is achieved according to the invention by the subject matter of the independent patent claims. Possible refinements and further developments of the present invention are disclosed in the dependent claims, in the description and in the figures.

Das erfindungsgemäße Verfahren kann angewendet werden zum Überwachen eines zumindest teilweise manuellen Fertigungsprozesses. Das Verfahren kann also beispielsweise zur Fehlererkennung oder Ablaufkontrolle eingesetzt werden im Rahmen einer Fertigung oder eines Prozesses, der einen oder mehrere manuelle Fertigungs-, Prozess- oder Arbeitsschritte umfasst. Insbesondere kann das Verfahren in der industriellen Fertigung eingesetzt werden, ist jedoch nicht auf diesen Anwendungsbereich beschränkt. Das Verfahren kann also in verschiedenen Anwendungsbereichen angewendet werden, insbesondere in Anwendungen mit repetitiven, also sich häufig wiederholenden gleichartigen manuellen Tätigkeiten, Abläufen oder Handlungen. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden, während eine manuelle Tätigkeit durch eine Person im Rahmen des Fertigungsprozesses ausgeübt wird, mittels eines tragbaren Gehirnsignaldetektors Gehirnsignale der Person gemessen. Bei diesen Gehirnsignalen kann es sich beispielsweise um Gehirnwellen, Gehirnströme, Spannungsschwankungen an der Kopfaußenseite und/oder sonstige elektromagnetische Signale im Zusammenhang mit der Gehirntätigkeit der Person handeln. Die gemessenen Gehirnsignale sind also Messdaten, welche die Aktivität des Gehirns der jeweiligen Person angeben oder beschreiben. Da die Tätigkeit, also Handlungen, Bewegungen und/oder dergleichen der Person durch deren Gehirn gesteuert werden, sind sie in den Gehirnsignale codiert oder repräsentiert. Zum Messen der Gehirnsignale können beispielsweise EEG-Elektroden, Sonden, Messfühler, Mikro- oder Nanodrähte und/oder dergleichen mehr eingesetzt werden. Diese können in den tragbaren Gehirnsignaldetektor integriert sein, der zum Tragen oder Befestigen am Kopf einer Person ausgestaltet sein kann. Der tragbare Gehirnsignaldetektor kann beispielsweise als Kappe, auf den Kopf auflegbares Netz, als Helm, als Headset, als Head-Mounted Display (HMD) oder dergleichen mehr ausgestaltet sein.The method according to the invention can be used to monitor an at least partially manual manufacturing process. The method can therefore be used, for example, for error detection or process control as part of a production or a process that includes one or more manual production, process or work steps. In particular, the process can be used in industrial production, but is not limited to this area of application. The method can therefore be used in various areas of application, especially in applications with repetitive, i.e. frequently repeated, similar manual activities, processes or actions. In a method step of the method according to the invention, while a manual activity is being carried out by a person as part of the manufacturing process, the person's brain signals are measured using a portable brain signal detector. These brain signals can be, for example, brain waves, brain waves, voltage fluctuations on the outside of the head and/or other electromagnetic signals related to the person's brain activity. The measured brain signals are measurement data that indicate or describe the activity of the respective person's brain. Since the person's activities, i.e. actions, movements and/or the like, are controlled by their brain, they are encoded or represented in the brain signals. For example, EEG electrodes, probes, sensors, micro- or nanowires and/or the like can be used to measure the brain signals. These can be integrated into the portable brain signal detector, which can be designed to be worn or attached to a person's head. The portable brain signal detector can be designed, for example, as a cap, a net that can be placed on the head, a helmet, a headset, a head-mounted display (HMD) or the like.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden die gemessenen, also aufgenommenen Gehirnsignale mittels einer dazu trainierten Einrichtung des maschinellen Lernens und/oder mittels einer Zeitreihenanalyse automatisch verarbeitet. Eine solche Einrichtung des maschinellen Lernens kann beispielsweise ein künstliches neuronales Netz, ein Random-Forest-Klassifizierer und/oder dergleichen mehr sein oder umfassen. Die Einrichtung des maschinellen Lernens kann also als Softwarekomponente ausgestaltet sein oder eine Softwarekomponente umfassen. Ebenso kann die Einrichtung des maschinellen Lernens als Hardwareeinrichtung ausgestaltet sein, beispielsweise mit einem Datenspeicher, in dem eine entsprechende Softwarekomponente hinterlegt ist, oder als Hardwareschaltung. Die gemessenen Gehirnsignale werden also - eventuell nach einer Signalvorverarbeitung - der Einrichtung des maschinellen Lernens als Input, also als Eingangsdaten zugeführt oder bereitgestellt. Ebenso können die gemessenen Gehirnsignale - eventuell nach einer Signalvorverarbeitung - als Input einer Einrichtung zugeführt oder bereitgestellt werden, die zum, insbesondere automatischen oder teilautomatischen, Durchführen einer vorgegebenen Zeitreihenanalyse eingerichtet ist. Eine solche Zeitreihenanalyse im vorliegenden Sinne kann insbesondere einen vorgegebenen klassischen, also nicht auf maschinellem Lernen basierenden, Algorithmus anwenden. Beispielsweise kann die Zeitreihenanalyse auf dem DTW-Algorithmus basieren und/oder eine Bestimmung und vorgegebene Auswertung von Abstandsmaßen umfassen und/oder dergleichen.In a further method step of the method according to the invention, the measured, i.e. recorded, brain signals are automatically processed using a trained machine learning device and/or using a time series analysis. Such a machine learning device can be or include, for example, an artificial neural network, a random forest classifier and/or the like. The machine learning facility can therefore be designed as a software component or include a software component. Likewise, the machine learning device can be designed as a hardware device, for example with a data memory in which a corresponding software component is stored, or as a hardware circuit. The measured brain signals are therefore fed or made available to the machine learning device as input, i.e. as input data - possibly after signal pre-processing. Likewise, the measured brain signals - possibly after signal pre-processing - can be supplied or made available as input to a device which is set up to carry out a predetermined time series analysis, in particular automatically or semi-automatically. Such a time series analysis in the present sense can in particular use a predetermined classic algorithm, i.e. not based on machine learning. For example, the time series analysis can be based on the DTW algorithm and/or include a determination and predetermined evaluation of distance measures and/or the like.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird als ein Output, also Ausgangsdaten der Einrichtung des maschinellen Lernens oder basierend auf einem solchen Output die Ausübung der manuellen Tätigkeit bezüglich, also hinsichtlich oder relativ zu einer vordefinierten bestimmungsgemäßen, also vorgesehenen bzw. korrekten Ausübung der manuellen Tätigkeit bewertet. Dies kann insbesondere automatisch oder teilautomatisch erfolgen. Beispielsweise kann die Einrichtung des maschinellen Lernens und/oder die Zeitreihenanalyse direkt als Output ausgegeben oder angeben, ob die Tätigkeit bestimmungsgemäß oder von der bestimmungsgemäßen Ausübung abweichend, beispielsweise fehlerhaft oder irregulär, ausgeführt wurde. Die Einrichtung des maschinellen Lernens kann also dazu trainiert und/oder die Einrichtung für die Zeitreihenanalyse dazu eingerichtet sein, entsprechende Abweichungen oder Fehler der Ausübung der manuellen Tätigkeit durch die jeweilige Person anhand von deren Gehirnsignalen zu erkennen. Dies ist möglich, da eine Handlung, die einen Fehler bei der Ausübung der manuellen Tätigkeit darstellt, typischerweise mit einem Gehirnsignal einhergeht, das bei einer bestimmungsgemäßen Ausübung der manuellen Tätigkeit ohne diese Handlung bzw. ohne diesen Fehler nicht auftritt oder in abweichender Form auftritt.In a further method step of the method according to the invention, the exercise of the manual activity is used as an output, i.e. output data of the machine learning device or based on such an output, i.e. with regard to or relative to a predefined intended, i.e. intended or correct exercise of the manual activity rated. This can be done in particular automatically or semi-automatically. For example, the facility can Machine learning and/or time series analysis can be output directly as output or indicate whether the activity was carried out as intended or deviated from its intended use, for example incorrectly or irregularly. The machine learning device can therefore be trained and/or the time series analysis device can be set up to detect corresponding deviations or errors in the performance of the manual activity by the respective person based on their brain signals. This is possible because an action that represents an error in the performance of the manual activity is typically accompanied by a brain signal that does not occur or occurs in a different form when the manual activity is carried out as intended without this action or without this error.

Ebenso kann der Output der Einrichtung des maschinellen Lernens und/oder der Einrichtung für die Zeitreihenanalyse beispielsweise mittels eines weiteren vorgegebenen, insbesondere klassischen, also nicht auf maschinellen Lernen basierenden, Algorithmus oder Verfahrens weiterverarbeitet oder nachverarbeitet werden. Dabei kann beispielsweise Filter, insbesondere ein Tiefpassfilter, angewendet werden, ein Mustervergleich, eine Signalverarbeitung, ein Schwellenwertvergleich, etwa für eine Peakhöhe in den Gehirnsignalen oder einen Abweichungs- bzw. Ähnlichkeitsgrad, beispielsweise zwischen den gemessenen Gehirnsignalen und einem vorgegebenen Gehirnsignal oder Gehirnsignalmuster, das bei einer bestimmungsgemäßen Ausübung der manuellen Tätigkeit aufgenommen wurde, für einen Konfidenzwert bezüglich der bestimmungsgemäßen oder fehlerhaften bzw. irregulären Ausübung der manuellen Tätigkeit und/oder dergleichen mehr durchgeführt werden, um die Bewertung durchzuführen oder zu erhalten. Durch einen Filter können gegebenenfalls Prädiktionsschwankungen der Einrichtung des maschinellen Lernens gedämpft oder herausgefiltert werden. Eine Weiter- oder Nachverarbeitung kann also beispielsweise eine robustere Bewertung ermöglichen.Likewise, the output of the machine learning device and/or the time series analysis device can be further processed or post-processed, for example, by means of a further predetermined, in particular classic, i.e. not based on machine learning, algorithm or method. For example, filters, in particular a low-pass filter, can be used, a pattern comparison, a signal processing, a threshold comparison, for example for a peak height in the brain signals or a degree of deviation or similarity, for example between the measured brain signals and a predetermined brain signal or brain signal pattern a proper exercise of the manual activity was recorded, for a confidence value regarding the intended or incorrect or irregular exercise of the manual activity and/or the like in order to carry out or obtain the assessment. A filter can be used to attenuate or filter out prediction fluctuations of the machine learning device. Further or post-processing can, for example, enable a more robust evaluation.

Die gemessenen Gehirnsignale können also durch eine klassische oder auf dem maschinellen Lernen basierende Methode bzw. Einrichtung verarbeitet werden. Ebenso kann eine Verarbeitung mittels einer klassischen Methode bzw. einer klassischen Datenverarbeitungseinrichtung und mittels einer Methode bzw. Einrichtung des maschinellen Lernens durchgeführt werden. In letzterem Fall können jeweilige Outputs, also Verarbeitungs- oder Zwischenergebnisse, fusioniert werden. Dazu können an sich bekannte Methoden der Daten- oder Sensorfusion angewendet werden. Durch eine solche Fusion von Output zweier unterschiedlicher Methoden bzw. Einrichtungen kann gegebenenfalls eine verbesserte Robustheit, Güte oder Zuverlässigkeit der Bewertung erreicht werden.The measured brain signals can therefore be processed using a classic or machine learning-based method or device. Likewise, processing can be carried out using a classic method or a classic data processing device and using a machine learning method or device. In the latter case, respective outputs, i.e. processing or intermediate results, can be merged. For this purpose, known methods of data or sensor fusion can be used. By merging the output of two different methods or facilities in this way, improved robustness, quality or reliability of the assessment can be achieved.

Die Bewertung kann beispielsweise ausgegeben oder bereitgestellt werden und/oder es kann in Abhängigkeit davon automatisch ein vorgegebenes Steuersignal bzw. ein in Abhängigkeit von der Bewertung aus mehreren vorgegebenen Steuersignalen automatisch ausgewähltes Steuersignal erzeugt, ausgegeben oder ausgelöst werden. So kann beispielsweise auf ein Erkennen einer nicht-bestimmungsgemäßen Ausübung der manuellen Tätigkeit hin automatisch ein entsprechendes Hinweis- oder Warnsignal ausgegebenen oder ausgelöst werden.The evaluation can, for example, be output or provided and/or depending on this, a predetermined control signal or a control signal automatically selected from several predetermined control signals depending on the evaluation can be generated, output or triggered. For example, if a manual activity is not carried out as intended, a corresponding information or warning signal can be automatically issued or triggered.

Die vorliegende Erfindung ermöglicht insgesamt eine Umsetzung oder Implementierung von Fehlervermeidungs- und Unterstützungsmaßnahmen durch eine Echtzeitanalyse der Gehirnsignale der jeweiligen Person während der Ausübung der manuellen Tätigkeit. Die vorliegende Erfindung kann damit gegenüber bisherigen Ansätzen ein neues Feld der Überwachung und Ablaufkontrolle von Prozessen, in die Menschen integriert oder an denen Menschen beteiligt sind, eröffnen.Overall, the present invention enables implementation or implementation of error prevention and support measures through real-time analysis of the brain signals of the respective person while performing the manual activity. Compared to previous approaches, the present invention can therefore open up a new field of monitoring and process control of processes in which people are integrated or in which people are involved.

Forschungsergebnisse haben gezeigt, dass vor allem bei sich wiederholenden Arbeiten oder Tätigkeiten Gehirnströme ein gleiches, sich wiederholendes Signalmuster aufzeigen können. Bei einer Abweichung von einer entsprechenden standardisierten Tätigkeit wird sich dieses Signalmuster verändern. Durch das Detektieren dieser Veränderung der Gehirnsignale kann eine entsprechende Abweichung, also potenziell ein Fehler bei der Ausübung der manuellen Tätigkeit erkannt oder vorhergesagt werden. Damit kann also, beispielsweise die jeweilige Person selbst, vor einem sich anbahnenden oder abzeichnenden Fehler gewarnt werden. Dies ermöglicht nicht nur ein Erkennen, sondern auch ein proaktives Vermeiden von Fehlern. Letzteres ist der Fall, da eine entsprechende Veränderung der Gehirnsignale bereits vor oder zu Beginn einer Bewegung oder Handlung, die von der bestimmungsgemäßen Ausübung abweicht und zumindest potenziell zu einem Fehler führen kann, auftreten und detektiert werden kann. Die vorliegende Erfindung kann somit bisherige Fehlervermeidungsmaßnahmen auf die kognitive Auswertung von Gehirnsignalen der jeweiligen Person, welche die manuelle Tätigkeit ausübt, erweitern. Damit kann die vorliegende Erfindung eine weitere Sicherheitsebene bilden, insbesondere für zeitkritische fehleranfällige oder repetitive Tätigkeiten, etwa in der kontinuierlichen, industriellen Serienfertigung von Bauteilen.Research results have shown that brain waves can show the same, repeating signal pattern, especially during repetitive work or activities. If there is a deviation from a corresponding standardized activity, this signal pattern will change. By detecting this change in brain signals, a corresponding deviation, i.e. potentially an error when performing the manual activity, can be recognized or predicted. This means that, for example, the person in question can be warned of an impending or impending error. This not only enables errors to be detected, but also to be proactively avoided. The latter is the case because a corresponding change in the brain signals can occur and be detected before or at the start of a movement or action that deviates from the intended exercise and can at least potentially lead to an error. The present invention can therefore extend previous error prevention measures to the cognitive evaluation of brain signals of the respective person carrying out the manual activity. The present invention can thus form a further level of security, especially for time-critical, error-prone or repetitive activities, for example in the continuous, industrial series production of components.

Die vorliegende Erfindung kann weiter eine Einsparung von Kosten für Fehlervermeidungsmaßnahmen durch Reduktion von anderen, herkömmlichen Maßnahmen und durch Reduktion entsprechender Messtechnik für die herkömmliche Produkt- und Prozessüberwachung ermöglichen. Zudem kann die vorliegende Erfindung eine Reduktion von Ausschuss und Produktionsverzögerungen durch Verbesserung der Integration des Menschen in Produktionslinien bzw. einen jeweiligen Fertigungsprozess ermöglichen. Damit können gegebenenfalls auch verkürzte Produktionszeiten durch den Wegfall anderer Kontrollmaßnahmen erreicht werden.The present invention can further save costs for error prevention measures by reducing other conventional ones chen measures and by reducing the corresponding measurement technology for conventional product and process monitoring. In addition, the present invention can enable a reduction in rejects and production delays by improving the integration of people into production lines or a respective manufacturing process. This means that, if necessary, shortened production times can be achieved by eliminating other control measures.

Bisherige Fehlervermeidungsmaßnahmen umfassen etwa Poke Yoke, vergleichsweise teure und aufwändige Messtechnik zur Überprüfung von Produkt- und Prozesseigenschaften, relativ teure und aufwändige Lichttechnik zur visuellen Unterstützung und/oder dergleichen mehr. Derartige Lösungen haben oftmals den Nachteil, dass damit ein relativ großer konstruktiver Aufwand und relativ hohe Kosten verbunden sind. Zudem können dadurch in vielen Fällen die Prozesszeiten in Fertigungsanlagen verlängert werden und zudem kann ein Umgehen der Maßnahmen oftmals nicht vollständig vermieden oder ausgeschlossen werden. Dies hat zu dem Ansatz geführt, zur Vermeidung von Fehlern, die von Menschen induziert oder verursacht werden, den Automatisierungsgrad von Anlagen immer weiter zu erhöhen und somit die Rolle des Menschen in der Produktion immer unbedeutender werden zu lassen. Im Gegensatz dazu kann die vorliegende Erfindung auch bei Einbindung von Personen in Fertigungsprozesse dazu beitragen, Fehler zu reduzieren und somit die Bedeutung von Menschen in der Produktion aufrechterhalten oder wieder erhöhen. Dies kann positive Effekte mit sich bringen, beispielsweise dem langfristigen Stellenabbau in der Produktion entgegenwirken.Previous error prevention measures include poke yoke, comparatively expensive and complex measurement technology for checking product and process properties, relatively expensive and complex lighting technology for visual support and/or the like. Such solutions often have the disadvantage that they involve a relatively large design effort and relatively high costs. In addition, in many cases process times in production plants can be extended and circumventing the measures often cannot be completely avoided or ruled out. This has led to the approach of continually increasing the level of automation of systems in order to avoid errors that are induced or caused by humans, thus making the role of humans in production increasingly insignificant. In contrast, the present invention can help reduce errors even when people are involved in manufacturing processes and thus maintain or increase the importance of people in production. This can have positive effects, for example counteracting long-term job cuts in production.

Das erfindungsgemäße Verfahren kann flexibel in unterschiedlichen Situationen und Szenarien angewendet werden. So kann die Verarbeitung der gemessenen Gehirnsignale und/oder die korrespondierende Bewertung beispielsweise kontinuierlich oder jeweils für Zeitintervalle vorgegebener Länge durchgeführt werden. Die Länge der Zeitintervalle kann beispielsweise an die jeweilige manuelle Tätigkeit angepasst werden, also etwa der Länge eines Tätigkeitsschritts oder eines sich wiederholenden Zyklus der manuellen Tätigkeit bzw. einer entsprechenden dafür vorgegebenen oder gelernten Dauer oder Durchschnittsdauer entsprechen. Die Anpassung der Länge der Zeitintervalle kann eine flexible Anpassung des Verfahrens an verschiedene Anwendungsfälle ermöglichen, beispielsweise in Abhängigkeit von einer jeweiligen Komplexität der manuellen Tätigkeit. Ebenso kann beispielsweise ein Vorhersagehorizont für die Detektion sich anbahnender oder - zumindest voraussichtlich - bevorstehender Fehler oder Abweichungen von der bestimmungsgemäßen Ausübung der jeweiligen manuellen Tätigkeit durch die Einrichtung des maschinellen Lernens und/oder die Einrichtung für die Zeitreihenanalyse entsprechend angepasst werden. So kann beispielsweise ein kürzerer Vorhersagehorizont eine zuverlässigere Fehlererkennung oder Fehlervorhersage ermöglichen, während ein längerer Vorhersagehorizont besonders frühzeitige Reaktionen oder eine besonders frühzeitige Einleitung von Sicherheits- oder Korrekturmaßnahmen ermöglichen kann.The method according to the invention can be used flexibly in different situations and scenarios. For example, the processing of the measured brain signals and/or the corresponding evaluation can be carried out continuously or for time intervals of a predetermined length. The length of the time intervals can, for example, be adapted to the respective manual activity, i.e. correspond approximately to the length of an activity step or a repeating cycle of the manual activity or a corresponding specified or learned duration or average duration. Adjusting the length of the time intervals can enable the method to be flexibly adapted to different use cases, for example depending on the complexity of the manual activity. Likewise, for example, a prediction horizon for the detection of impending or - at least likely - impending errors or deviations from the intended exercise of the respective manual activity can be adjusted accordingly by the machine learning device and/or the time series analysis device. For example, a shorter prediction horizon can enable more reliable error detection or prediction, while a longer prediction horizon can enable particularly early reactions or a particularly early initiation of security or corrective measures.

In einer möglichen Ausgestaltung der vorliegenden Erfindung werden als die Gehirnsignale mehrere verschiedene Signalströme gleichzeitig gemessen. Dementsprechend können diese mehreren gleichzeitig gemessenen Signalströme als Input für die Einrichtung des maschinellen Lernens und/oder der Zeitreihenanalyse verwendet, also dieser zugeführt oder bereitgestellt werden. Bei den mehreren Signalströme kann es sich beispielsweise um Signal- oder Datenströme von mehreren gleichen oder unterschiedlichen Sensoren, von mehreren Messpunkten oder Messstellen, für unterschiedliche Signalarten, Frequenzbereiche, Spannungsniveaus und/oder dergleichen mehr handeln. Das Messen und Verwenden mehrerer Signalströme kann eine genauere Erfassung bzw. Abbildung der manuellen Tätigkeit und damit eine genauere und zuverlässigere Bewertung der Ausübung der jeweiligen manuellen Tätigkeit bzw. einer entsprechenden Fehlererkennung ermöglichen.In a possible embodiment of the present invention, several different signal streams are measured simultaneously as the brain signals. Accordingly, these multiple signal streams measured at the same time can be used as input for setting up machine learning and/or time series analysis, i.e. fed or made available to it. The multiple signal streams can be, for example, signal or data streams from multiple identical or different sensors, from multiple measuring points or measuring points, for different signal types, frequency ranges, voltage levels and/or the like. Measuring and using multiple signal streams can enable a more precise recording or mapping of the manual activity and thus a more precise and reliable assessment of the performance of the respective manual activity or a corresponding error detection.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden anhand der gemessenen Gehirnsignale mehrere Phasen der manuellen Tätigkeit erkannt, beispielsweise automatisch durch die Einrichtung des maschinellen Lernens und/oder die Zeitreihenanalyse. Solche Phasen können beispielsweise unterschiedlichen Teilschritten, Bewegungen oder Handgriffen entsprechen, deren Verkettung insgesamt die manuelle Tätigkeit oder einen Zyklus der manuellen Tätigkeit ergeben kann. Weiter wird dann als Teil der Bewertung, insbesondere automatisch, ermittelt, in welcher Phase gegebenenfalls eine Abweichung von der bestimmungsgemäßen Ausübung der jeweiligen manuellen Tätigkeit auftritt, aufgetreten ist oder voraussichtlich auftreten wird. Dazu können beispielsweise für die einzelnen Phasen separate Trainingsdaten erzeugt und zum Trainieren der Einrichtung des maschinellen Lernens verwendet werden. Ebenso können Trainingsdaten erzeugt bzw. für das Trainieren der Einrichtung des maschinellen Lernens verwendet werden, die mehrere Phasen bzw. wenigstens einen vollständigen Zyklus der manuellen Tätigkeit umfassen oder abbilden, wobei darin unterschiedlichen Phasen entsprechende Bereiche und/oder Punkte oder Bereiche zwischen aufeinanderfolgenden Phasen markiert oder definiert sein können. Die Trainingsdaten können also entsprechend annotiert sein. Die Einrichtung des maschinellen Lernens kann hier also auch zum Erkennen oder Unterscheiden unterschiedlicher Phasen der jeweiligen manuellen Tätigkeit trainiert sein. Durch die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung können Abweichungen oder Fehler bzw. Fehlerarten besonders genau und spezifisch detektiert werden. Dies kann entsprechend genaue angepasste Reaktionen, Sicherheits- oder Korrekturmaßnahmen ermöglichen und damit entsprechenden Aufwand reduzieren und/oder zur Vermeidung von Ausschuss beitragen.In a further possible embodiment of the present invention, several phases of manual activity are recognized based on the measured brain signals, for example automatically by setting up machine learning and/or time series analysis. Such phases can, for example, correspond to different sub-steps, movements or actions, the chaining of which can result in the manual activity or a cycle of the manual activity. Furthermore, as part of the assessment, it is then determined, in particular automatically, in which phase, if any, a deviation from the intended exercise of the respective manual activity occurs, has occurred or is likely to occur. For this purpose, for example, separate training data can be generated for the individual phases and used to train the machine learning setup. Likewise, training data can be generated or used for training the machine learning device, which includes or depicts several phases or at least one complete cycle of the manual activity, with areas corresponding to different phases and/or points or areas between successive phases being marked or can be defined. The training data can therefore be annotated accordingly. The setup of machine learning can also be trained to recognize or differentiate between different phases of the respective manual activity. The embodiment of the present invention proposed here allows deviations or errors or types of errors to be detected particularly precisely and specifically. This can enable appropriately tailored responses, security or corrective measures and thus reduce the corresponding effort and/or help avoid rejects.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Gehirnsignale mittels eines Head-Mounted Displays (HMD), das wenigstens einen Sensor zum Messen der Gehirnsignale aufweist, gemessen. Insbesondere kann das HMD als AR-Brille (AR: Augmented Reality) ausgestaltet sein. Ein entsprechender Sensor zum Messen der Gehirnsignale kann beispielsweise in einen Brillenbügel oder Kopfgurt oder dergleichen des HMD integriert oder daran angeordnet sein. Ein HMD kann im Vergleich zu anderen Lösungen besonders einfach handhabbar sein und eröffnet zudem auf besonders einfache Weise die Möglichkeit, Gehirnsignale nicht nur an einem Messpunkt, sondern über einen räumlich ausgedehnten Bereich entlang des Kopfes der jeweiligen Person zu messen. Damit kann eine entsprechend verbesserte Genauigkeit und Zuverlässigkeit bzw. ein entsprechend verbesserter Detailgrad der gemessenen Gehirnsignale und damit letztlich auch eine entsprechend verbesserte, also genauere und/oder zuverlässigere, Bewertung ermöglicht werden. Das HMD bietet dabei zudem inhärent die Möglichkeit, der jeweiligen Person, also dem jeweiligen Träger des HMD, ein individuelles Feedback bezüglich der Gehirnsignale und/oder der Ausübung der manuellen Tätigkeit bzw. deren Bewertung zukommen zu lassen, also etwa anzuzeigen, insbesondere zumindest im Wesentlichen unabhängig von jeweiligen Umgebungsbedingungen und unter Wahrung der Privatsphäre bzw. von Datenschutzanforderungen auch dann, wenn sich in der Umgebung der jeweiligen Person weitere Personen aufhalten.In a further possible embodiment of the present invention, the brain signals are measured using a head-mounted display (HMD), which has at least one sensor for measuring the brain signals. In particular, the HMD can be designed as AR glasses (AR: Augmented Reality). A corresponding sensor for measuring the brain signals can, for example, be integrated into or arranged on a glasses temple or head strap or the like of the HMD. An HMD can be particularly easy to use compared to other solutions and also opens up the possibility of measuring brain signals not just at one measuring point, but over a spatially extended area along the head of the respective person. This makes it possible to achieve a correspondingly improved accuracy and reliability or a correspondingly improved level of detail of the measured brain signals and thus ultimately also a correspondingly improved, i.e. more precise and/or more reliable, evaluation. The HMD also inherently offers the possibility of providing the respective person, i.e. the respective wearer of the HMD, with individual feedback regarding the brain signals and/or the exercise of the manual activity or its evaluation, i.e. displaying it, in particular at least essentially regardless of the respective environmental conditions and in compliance with privacy or data protection requirements, even if there are other people in the respective person's surroundings.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird automatisch ein Warnhinweis an die jeweilige, die manuelle Tätigkeit ausübende Person ausgegeben, wenn die Bewertung eine Abweichung von der bestimmungsgemäßen Ausübung der manuellen Tätigkeit indiziert. Dabei kann beispielsweise ein Grad und/oder eine Art der Abweichung berücksichtigt werden. Es kann dann also beispielsweisen nur dann ein entsprechender Warnhinweis ausgegeben werden, wenn die Abweichung größer als ein vorgegebener Abweichungsschwellenwert ist und/oder wenn die Abweichung von einer vorgegebenen Art ist oder dergleichen. So können entsprechend kleinere individuelle, also personenabhängige Eigenschaften oder Abweichungen der Ausübung der jeweiligen manuellen Tätigkeit toleriert werden, die beispielsweise tagesformabhängig sein können und üblicherweise nicht zu einem Fehler oder Problem in dem Fertigungsprozess führen. Damit können letztlich unnötige Warnhinweise vermieden und der jeweiligen Person eine individuelle oder leicht variierende und somit leichtere oder angenehmere Ausübung der manuellen Tätigkeit ermöglicht werden, ohne die jeweilige Person durch letztlich unnötige Warnhinweise abzulenken oder zu irritieren. In a further possible embodiment of the present invention, a warning is automatically issued to the respective person performing the manual activity if the assessment indicates a deviation from the intended performance of the manual activity. For example, a degree and/or a type of deviation can be taken into account. For example, a corresponding warning can then only be issued if the deviation is greater than a predetermined deviation threshold and/or if the deviation is of a predetermined type or the like. Correspondingly smaller individual, i.e. person-dependent, characteristics or deviations in the performance of the respective manual activity can be tolerated, which can, for example, depend on the day's form and usually do not lead to an error or problem in the manufacturing process. In this way, unnecessary warnings can ultimately be avoided and the respective person can be able to carry out the manual activity in an individual or slightly different and therefore easier or more pleasant manner, without distracting or irritating the respective person with ultimately unnecessary warnings.

Andererseits ermöglicht die automatische Ausgabe des Warnhinweises jeweils eine unmittelbare Reaktion auf einen aufgetretenen oder sich anbahnenden Fehler an dem Ort, wo dieser auftritt oder verursacht wird. Damit kann besonders zeit- und ortsnah auf erkannte Abweichungen von der bestimmungsgemäßen Ausübung der jeweiligen manuellen Tätigkeit bzw. resultierende Fehler in der Fertigung reagiert werden. Dies kann eine besonders effektive und effiziente Vermeidung oder Korrektur von Fehlern bei der Ausübung der jeweiligen manuellen Tätigkeit bzw. der Fertigung ermöglichen, was letztlich ebenfalls zur Vermeidung von Ausschuss oder Produktionsfehlern beitragen kann.On the other hand, the automatic output of the warning enables an immediate reaction to an error that has occurred or is impending at the location where it occurs or is caused. This makes it possible to react particularly quickly and locally to identified deviations from the intended execution of the respective manual activity or resulting errors in production. This can enable a particularly effective and efficient avoidance or correction of errors when carrying out the respective manual activity or production, which can ultimately also help to avoid rejects or production errors.

Ebenso kann es vorgesehen sein, dass dann, wenn die Bewertung eine bestimmungsgemäße, also korrekte Ausübung der manuellen Tätigkeit ergibt oder indiziert, ein entsprechender Positivhinweis, der dies angibt, an die jeweilige Person ausgegeben wird. Damit kann ein Training oder eine Einarbeitung von Personen in die jeweilige manuelle Tätigkeit durch positives Feedback unterstützt und/oder eine Motivationsverbesserung erreicht werden. Dies wiederum kann ebenfalls zu einer reduzierten Fehlerrate beitragen.It can also be provided that if the assessment results in or indicates that the manual activity was carried out as intended, i.e. correctly, a corresponding positive note indicating this is issued to the respective person. This means that training or familiarization of people with the respective manual activity can be supported through positive feedback and/or an improvement in motivation can be achieved. This in turn can also contribute to a reduced error rate.

In einer möglichen Weiterbildung der vorliegenden Erfindung wird der Warnhinweis und/oder der Positivhinweis mittels derselben Vorrichtung ausgegeben, mittels welcher auch die Gehirnsignale gemessen werden. Es können also beispielsweise sowohl die Gehirnsignale gemessen als auch der Warnhinweis ausgegeben werden mittels des an anderer Stelle genannten HMD oder dergleichen. Die hier vorgeschlagene Weiterbildung der vorliegenden Erfindung kann eine besonders flexible, von äußeren Einrichtungen und/oder Umgebungsbedingungen zumindest im Wesentlichen unabhängige Anwendung der vorliegenden Erfindung ermöglichen. So kann beispielsweise der Warnhinweis und/oder der Positivhinweis von der jeweiligen Person auch dann besonders zuverlässig wahrgenommen werden, wenn in der Umgebung eine erhöhte Umgebungslautstärke herrscht und/oder eine externe Warn- oder Hinweiseinrichtung nicht ohne Weiteres im typischen, während der Ausübung der Tätigkeit gegebenen Blickfeld der Person angeordnet wenden kann. Zudem kann so besonders einfach und zuverlässig eine personenindividuelle Ausgabe des Warnhinweises und/oder des Positivhinweises erreicht werden. Dies kann eine Ablenkung oder Verwirrung anderer Personen in der Umgebung vermeiden und einen besonders hohen Grad an Datenschutz ermöglichen.In a possible development of the present invention, the warning message and/or the positive message is issued using the same device by which the brain signals are measured. For example, both the brain signals can be measured and the warning issued using the HMD or the like mentioned elsewhere. The development of the present invention proposed here can enable a particularly flexible application of the present invention that is at least essentially independent of external devices and/or environmental conditions. For example, the warning notice and/or the positive notice can be perceived particularly reliably by the respective person even if there is increased ambient noise in the area and/or an external warning or notification device is not readily available in the typical manner during the exercise of the The person's field of vision can be arranged according to the activity. In addition, a person-specific issue of the warning and/or the positive message can be achieved particularly easily and reliably. This can avoid distraction or confusion of other people in the area and enable a particularly high level of data protection.

Unabhängig von den anderen beschriebenen Ausgestaltungen der vorliegenden Erfindung kann die eigentliche Auswertung oder Verarbeitung der gemessenen Gehirnsignale je nach Ausgestaltung oder im Einzelfall verfügbaren technischen Möglichkeiten durch dieselbe Vorrichtung, also beispielsweise ebenfalls durch das HMD, erfolgen, die auch zum Messen der Gehirnsignale und/oder zum Ausgeben des an anderer Stelle genannten Warnhinweises verwendet wird, oder an eine externe Datenverarbeitungseinrichtungen, beispielsweise einen Zentralrechner oder Server oder dergleichen, ausgelagert werden. Letzteres kann einen Energiebedarf der tragbaren Vorrichtung reduzieren, sodass diese entsprechend leichter und/oder weniger komplex ausgestaltet und dadurch beispielsweise angenehmer zu tragen und/oder kostengünstiger sein kann. Zudem kann durch die externe Auswertung oder Verarbeitung der gemessenen Gehirnsignale die Anwendung von mehr Berechnungsressourcen dafür ermöglicht oder vereinfacht werden, was wiederum eine entsprechend genauere und zuverlässigere und/oder schnellere Bewertung bzw. Fehlererkennung ermöglichen kann.Regardless of the other described embodiments of the present invention, the actual evaluation or processing of the measured brain signals can, depending on the embodiment or the technical options available in the individual case, be carried out by the same device, for example also by the HMD, which is also used to measure the brain signals and/or for Issuing the warning mentioned elsewhere is used, or is outsourced to an external data processing device, for example a central computer or server or the like. The latter can reduce the energy requirement of the portable device, so that it can be made correspondingly lighter and/or less complex and can therefore, for example, be more comfortable to wear and/or more cost-effective. In addition, the external evaluation or processing of the measured brain signals can enable or simplify the use of more computing resources for this purpose, which in turn can enable a correspondingly more precise and reliable and/or faster evaluation or error detection.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Verfahren zum Schaffen bzw. Trainieren einer Einrichtung des maschinellen Lernens, die für ein automatisches oder zumindest teilautomatisiertes Erkennen von Fehlern beim Ausüben einer manuellen Tätigkeit durch eine Person eingerichtet, also insbesondere trainiert ist. Dabei werden als Trainingsdaten Referenzgehirnsignale während mehrerer fehlerfreier Ausübungen der manuellen Tätigkeit gemessen. Dies können Gehirnsignale derselben Person, die auch die manuelle Tätigkeit im letztlichen Anwendungsfall oder Produktiveinsatz ausführen wird, Gehirnsignale einer anderen Person oder Gehirnsignale von mehreren Personen sein. Ersteres kann eine individuell abgestimmte Erkennung von Abweichungen und damit eine entsprechend genaue Bewertung ermöglichen, während Letzteres Unterschiede zwischen verschiedenen Personen berücksichtigen und somit eine besonders robuste Abweichungserkennung bzw. Bewertung ermöglichen kann, wenn beispielsweise wechselnde Personen die manuelle Tätigkeit ohne jeweiliges Anpassen der Einrichtung des maschinellen Lernens ausführen sollen oder werden. Die Einrichtung des maschinellen Lernens wird mittels dieser die Referenzgehirnsignale umfassenden Trainingsdaten trainiert. Hier kann die Einrichtung des maschinellen Lernens also zum Erkennen einer bestimmungsgemäßen Ausübung der manuellen Tätigkeit anhand der Referenzgehirnsignale trainiert werden. Dazu können herkömmliche Trainingsmethoden angewendet werden, wie beispielsweise ein Fehlerrückführungsverfahren (englisch: Backpropagation) und/oder dergleichen mehr.A further aspect of the present invention is a method for creating or training a machine learning device which is set up, i.e. in particular trained, for automatic or at least partially automated recognition of errors when a person performs a manual activity. Reference brain signals are measured as training data during several error-free exercises of manual activity. These can be brain signals from the same person who will also carry out the manual activity in the final application or productive use, brain signals from another person or brain signals from several people. The former can enable individually tailored detection of deviations and thus a correspondingly precise evaluation, while the latter can take differences between different people into account and thus enable particularly robust deviation detection or evaluation if, for example, changing people carry out the manual activity without adjusting the machine learning setup should or will be carried out. The machine learning device is trained using this training data, which includes the reference brain signals. Here, the machine learning device can be trained to recognize that the manual activity is being carried out as intended using the reference brain signals. For this purpose, conventional training methods can be used, such as an error feedback method (backpropagation) and/or the like.

Die mittels des erfindungsgemäßen Verfahrens zum Schaffen einer Einrichtung des maschinellen Lernens geschaffene oder trainierte Einrichtung des maschinellen Lernens kann insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren zum Überwachen eines zumindest teilweise manuellen Fertigungsprozesses sein oder dieser entsprechen.The machine learning device created or trained by means of the method according to the invention for creating a machine learning device can in particular be or correspond to the one in connection with the method according to the invention for monitoring an at least partially manual manufacturing process.

In einer möglichen Weiterbildung der vorliegenden Erfindung werden als Trainingsdaten auch Fehlerreferenzgehirnsignale während einer fehlerbehafteten, also von der bestimmungsgemäßen Ausübung abweichenden Ausübung der manuellen Tätigkeit gemessen. Diese Fehlerreferenzgehirnsignale können, wie im Zusammenhang mit den Referenzgehirnsignalen erläutert, Gehirnsignale von derselben Person, die auch die manuelle Tätigkeit im letztlichen Anwendungsfall oder Produktiveinsatz ausführen wird, Gehirnsignale einer anderen Person und/oder Gehirnsignale von mehreren Personen sein oder umfassen. Die Fehlerreferenzgehirnsignale werden dann ebenfalls zum Trainieren der Einrichtung des maschinellen Lernens verwendet. Die Fehlerreferenzsignale können insbesondere für mehrere unterschiedliche Fehler gemessen werden. Dabei kann jeweils nur genau ein einziger Fehler oder eine einzige Fehlerart je einzelner Ausübung oder je Zyklus der Ausübung der manuellen Tätigkeit gemacht, also vermessen werden. Dies kann nicht nur das Erkennen einer beliebigen Abweichung, sondern auch deren Identifizierung ermöglichen. Damit können beispielsweise entsprechend fehler- oder abweichungsspezifische Warnhinweise, Sicherheits- oder Korrekturmaßnahmen oder dergleichen ermöglicht werden. In der hier vorgeschlagenen Weiterbildung der vorliegenden Erfindung kann die Einrichtung des maschinellen Lernens zum Erkennen einer fehlerbehafteten bzw. nicht-bestimmungsgemäßen Ausübung der manuellen Tätigkeit, insbesondere zum Erkennen mehrerer unterschiedlicher Fehler oder Fehlerarten, trainiert werden. Dies kann eine genauere und zuverlässigere Erkennung von Abweichungen und damit letztlich eine entsprechend verbesserte Bewertung ermöglichen. Um das Aufnehmen der Fehlerreferenzgehirnsignale zu vereinfachen und zu beschleunigen, kann die jeweilige Person, an der die Fehlerreferenzgehirnsignale gemessen werden, beispielsweise angewiesen werden, jeweils einen bestimmten vorgegebenen Fehler zu machen, also in die Ausübung der manuellen Tätigkeit einzubauen. Damit können die Fehlerreferenzgehirnsignale entsprechend einfach und aufwandsarm annotiert, also eine entsprechend einfache oder automatische Zuordnung zwischen einem bestimmten Fehler oder einer bestimmten Fehlerart bzw. Abweichung von der bestimmungsgemäßen Ausübung und den zugehörigen Fehlerreferenzgehirnsignalen erreicht werden. Dies kann eine besonders einfache, schnelle und aufwandsarme Erzeugung der Trainingsdaten ermöglichen oder unterstützen.In a possible further development of the present invention, error reference brain signals are also measured as training data during an error-prone exercise of the manual activity, i.e. that deviates from the intended exercise. As explained in connection with the reference brain signals, these error reference brain signals can be or include brain signals from the same person who will also carry out the manual activity in the ultimate application or productive use, brain signals from another person and / or brain signals from several people. The error reference brain signals are then also used to train the machine learning setup. The error reference signals can in particular be measured for several different errors. Only one error or one type of error can be made, i.e. measured, per individual exercise or per cycle of manual activity. This can allow not only the detection of any deviation, but also its identification. This makes it possible, for example, to provide error- or deviation-specific warnings, safety or corrective measures, or the like. In the development of the present invention proposed here, the machine learning device can be trained to recognize an error-prone or improper exercise of the manual activity, in particular to recognize several different errors or types of errors. This can enable more accurate and reliable detection of deviations and ultimately a correspondingly improved assessment. In order to simplify and speed up the recording of the error reference brain signals, the respective person on whom the error reference brain signals are measured can, for example, be instructed to make a specific predetermined error, i.e. in the exercise of the manual to incorporate activity. This allows the error reference brain signals to be annotated in a correspondingly simple and low-effort manner, i.e. a correspondingly simple or automatic association between a specific error or a specific type of error or deviation from the intended exercise and the associated error reference brain signals can be achieved. This can enable or support particularly simple, quick and low-effort generation of training data.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Überwachungssystem zum Überwachen eines zumindest teilweise manuellen Fertigungsprozesses. Das erfindungsgemäße Überwachungssystem umfasst einen tragbaren Gehirnsignaldetektor, der beispielsweise die an anderer Stelle genannte Vorrichtung, also beispielsweise das HMD, sein oder umfassen kann. Das erfindungsgemäße Überwachungssystem umfasst weiter eine Datenverarbeitungseinrichtung zum automatischen Verarbeiten mittels des tragbaren Gehirnsignaldetektors gemessener Gehirnsignale. Erfindungsgemäß ist es dabei vorgesehen, dass diese Datenverarbeitungseinrichtung eine entsprechend trainierte, gemäß dem erfindungsgemäßen Verfahren geschaffene Einrichtung des maschinellen Lernens und/oder eine für eine, insbesondere automatische oder teilautomatische, vorgegebene Zeitreihenanalyse von Gehirnsignalen eingerichtete Einrichtung, ist oder umfasst und/oder dass das erfindungsgemäße Überwachungssystem zur, insbesondere automatischen oder teilautomatischen, Ausführung des erfindungsgemäßen Verfahrens zum Überwachen eines zumindest teilweise manuellen Fertigungsprozesses eingerichtet ist. Dazu kann das Überwachungssystem, insbesondere dessen Datenverarbeitungseinrichtung, beispielsweise eine Prozesseinrichtung, also etwa einen Mikrochip, Mikroprozessor oder Mikrocontroller oder dergleichen, und einen damit gekoppelten computerlesbaren Datenspeicher umfassen. In diesem Datenspeicher kann dann ein Betriebs- oder Computerprogramm gespeichert sein, das die im Zusammenhang mit dem erfindungsgemäßen Verfahren zum Überwachen des zumindest teilweise manuellen Fertigungsprozesses beschriebenen Verfahrensschritte, Maßnahmen oder Abläufe oder entsprechende Steueranweisungen codiert oder implementiert. Dieses Betriebs- oder Computerprogramm kann dann durch die Prozesseinrichtung ausführbar sein, um das entsprechende Verfahren auszuführen oder dessen Ausführung zu bewirken. Die Datenverarbeitungseinrichtung kann Teil des tragbaren Gehirnsignaldetektors, also in diesen integriert sein. Ebenso kann die Datenverarbeitungseinrichtung eine bezüglich des tragbaren Gehirnsignaldetektors externe Datenverarbeitungseinrichtung sein. In letzterem Fall kann der tragbare Gehirnsignaldetektor beispielsweise über ein entsprechendes Datenkabel oder eine kabellose Datenverbindung, beispielsweise eine Funk-, WLAN- oder Bluetooth-Datenverbindung oder dergleichen, Daten, insbesondere die gemessenen Gehirnsignale, an die Datenverarbeitungseinrichtung senden. Ebenso kann die Datenverarbeitungseinrichtung dazu eingerichtet sein, die jeweils resultierende Bewertung oder einen korrespondierenden Hinweis oder dergleichen entsprechend an den tragbaren Gehirnsignaldetektor und/oder eine Ausgabeeinrichtung zu senden.Another aspect of the present invention is a monitoring system for monitoring an at least partially manual manufacturing process. The monitoring system according to the invention comprises a portable brain signal detector, which can be or include, for example, the device mentioned elsewhere, for example the HMD. The monitoring system according to the invention further comprises a data processing device for automatically processing brain signals measured by means of the portable brain signal detector. According to the invention, it is provided that this data processing device is or comprises a correspondingly trained machine learning device created according to the method according to the invention and / or a device set up for a, in particular automatic or semi-automatic, predetermined time series analysis of brain signals and / or that the inventive Monitoring system is set up for, in particular automatic or semi-automatic, execution of the method according to the invention for monitoring an at least partially manual manufacturing process. For this purpose, the monitoring system, in particular its data processing device, can comprise, for example, a processing device, i.e. a microchip, microprocessor or microcontroller or the like, and a computer-readable data memory coupled thereto. An operating or computer program can then be stored in this data memory, which encodes or implements the method steps, measures or processes or corresponding control instructions described in connection with the method according to the invention for monitoring the at least partially manual manufacturing process. This operating or computer program can then be executable by the process device in order to carry out the corresponding method or to effect its execution. The data processing device can be part of the portable brain signal detector, i.e. integrated into it. Likewise, the data processing device can be a data processing device that is external to the portable brain signal detector. In the latter case, the portable brain signal detector can send data, in particular the measured brain signals, to the data processing device, for example via a corresponding data cable or a wireless data connection, for example a radio, WLAN or Bluetooth data connection or the like. Likewise, the data processing device can be set up to send the resulting assessment or a corresponding note or the like to the portable brain signal detector and / or an output device.

In einer möglichen Weiterbildung der vorliegenden Erfindung ist der tragbare Gehirnsignaldetektor als AR-Brille mit wenigstens einem integrierten Sensor zum Messen elektrischer Gehirnsignale eines jeweiligen Trägers ausgestaltet. Dies kann durch die Möglichkeiten der AR-Brille zum Ausgeben von Informationen an den jeweiligen Träger auf besonders einfache und zuverlässige bzw. personenindividuelle Weise eine Realisierung einer Feedbackschleife und/oder eine Übermittlung von Warnhinweisen oder dergleichen an den jeweiligen Träger ermöglichen.In a possible development of the present invention, the portable brain signal detector is designed as AR glasses with at least one integrated sensor for measuring electrical brain signals of a respective wearer. This can enable the AR glasses to output information to the respective wearer in a particularly simple and reliable or person-specific manner, enabling the implementation of a feedback loop and/or the transmission of warnings or the like to the respective wearer.

Weitere Merkmale der Erfindung können sich aus der nachfolgenden Figurenbeschreibung sowie anhand der Zeichnung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can be seen from the following description of the figures and from the drawing. The features and combinations of features mentioned above in the description as well as the features and combinations of features shown below in the description of the figures and/or in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without the scope of the invention to leave.

Die Zeichnung zeigt in:

1 eine schematische Darstellung zur Veranschaulichung eines Überwachungssystems für manuelle Fertigungsschritte; und
2 eine schematisch Übersichtsdarstellung zur Veranschaulichung eines Verfahrens zum Überwachen eines zumindest teilweise manuellen Fertigungsprozesses mittels eines entsprechenden Überwachungssystems.

The drawing shows in:

1 a schematic representation to illustrate a monitoring system for manual manufacturing steps; and
2 a schematic overview representation to illustrate a method for monitoring an at least partially manual manufacturing process using a corresponding monitoring system.

Gleiche oder funktionsgleiche Elemente sind in den Figuren mit den gleichen Bezugszeichen versehen.Identical or functionally identical elements are provided with the same reference numerals in the figures.

1 zeigt eine ausschnittweise schematische Übersichtsdarstellung eines Überwachungssystems zum Überwachen eines zumindest teilweise manuellen Fertigungsprozesses. Das Überwachungssystem umfasst hier einen tragbaren Gehirnsignaldetektor 1, der hier beispielhaft als AR-Brille ausgestaltet ist. Der Gehirnsignaldetektor 1 weist eine Ausgabeeinrichtung 2 zum Anzeigen oder Ausgeben von bildlichen und/oder akustischen Informationen auf. Weiter sind an Kopf- oder Brillenbügel 3 des tragbaren Gehirnsignaldetektors 1, hier also der AR-Brille, Sensoren 4 zum Messen von Signalen, die eine Gehirnaktivität des jeweiligen Trägers repräsentieren, angeordnet. Der Gehirnsignaldetektor 1 kann zudem hier nicht im Einzelnen erkennbare Datenverarbeitungsmittel, beispielsweise einen Mikroprozessor oder dergleichen zum Verarbeiten der gemessenen Signale und/oder zum Senden der gemessenen Signale oder daraus erzeugter verarbeiteter oder vorverarbeiteter Signale aufweisen. 1 shows a partial schematic overview of a monitoring system for monitoring an at least partially manual manufacturing process. The monitoring system here includes a portable brain signal detector 1, which is designed here as AR glasses, for example. The brain signal detector 1 has an output device 2 for displaying or outputting visual and/or acoustic information tions. Furthermore, sensors 4 for measuring signals that represent brain activity of the respective wearer are arranged on the headband or glasses temple 3 of the portable brain signal detector 1, here the AR glasses. The brain signal detector 1 can also have data processing means that cannot be identified in detail here, for example a microprocessor or the like, for processing the measured signals and/or for sending the measured signals or processed or pre-processed signals generated therefrom.

Zusätzlich oder alternativ kann eine entsprechende Verarbeitung der gemessenen Signale außerhalb des tragbaren Gehirnsignaldetektors 1 durchgeführt werden. Dazu ist hier schematisch eine entsprechende externe Datenverarbeitungseinrichtung 5 dargestellt. Diese kann über eine Schnittstelle 6 die gemessenen Signale von dem tragbaren Gehirnsignaldetektor 1 empfangen und mittels eines Prozessors 7 und eines Datenspeichers 8 verarbeiten. Dazu kann in dem Datenspeicher 8, wie hier beispielhaft angedeutet, eine Maschinenlernkomponente 9, beispielsweise ein entsprechend trainiertes künstliches neuronales Netz oder dergleichen, gespeichert sein. Ebenso kann die Datenverarbeitungseinrichtung 5 zum Ausführen einer Zeitreihenanalyse der mittels des Gehirnsignaldetektors 1 gemessenen Signale eingerichtet sein. Damit können die gemessenen Signale verarbeitet werden, um bei einer Ausübung einer manuellen Tätigkeit durch einen Träger des tragbaren Gehirnsignaldetektors 1 auftretende oder sich anbahnende Abweichungen von einer vorgegebenen, vordefinierten oder vorbestimmten bestimmungsgemäßen Ausübung der manuellen Tätigkeit, also entsprechende Fehler oder Fehleranzeichen zu erkennen bzw. die gemessenen Signale bzw. die korrespondierende Ausübung der manuellen Tätigkeit entsprechend zu bewerten.Additionally or alternatively, appropriate processing of the measured signals can be carried out outside the portable brain signal detector 1. For this purpose, a corresponding external data processing device 5 is shown schematically here. This can receive the measured signals from the portable brain signal detector 1 via an interface 6 and process them using a processor 7 and a data memory 8. For this purpose, a machine learning component 9, for example a correspondingly trained artificial neural network or the like, can be stored in the data memory 8, as indicated here by way of example. Likewise, the data processing device 5 can be set up to carry out a time series analysis of the signals measured by the brain signal detector 1. The measured signals can thus be processed in order to detect deviations that occur or are impending when a wearer of the portable brain signal detector 1 performs a manual activity from a predetermined, predefined or predetermined intended exercise of the manual activity, i.e. corresponding errors or signs of error to evaluate the measured signals or the corresponding exercise of the manual activity accordingly.

Vorliegend ist es also vorgesehen, basierend auf Gehirnströmen, Gehirnwellenmustern oder dergleichen eines Trägers des Gehirnsignaldetektors 1, beispielsweise eines Monteurs oder Arbeiters, mittels künstlicher Intelligenz, also insbesondere mittels einer Einrichtung des maschinellen Lernens, wie etwa der Maschinenlernkomponente 9, Abweichungen in einer manuellen Tätigkeit von deren bestimmungsgemäßer Ausübung zu detektieren und diesen gegebenenfalls vorausschauend vorzubeugen. Dazu zeigt 2 eine schematische Übersichtsdarstellung zur weiteren Veranschaulichung. Hier ist eine Person 10 angedeutet, welche den tragbaren Gehirnsignaldetektor 1 trägt. Dieser liefert einen Input 11, der hier mehrere gleichzeitig gemessene Gehirnsignale 12 umfasst. Der Gehirnsignaldetektor 1, vorliegend also die AR-Brille, ist also gegenüber herkömmlichen AR-Brillen mit einer zusätzlichen Sensorik, nämlich den Sensoren 4, ausgestattet, die beispielsweise am Gestell der AR-Brille angebracht sein können. Die AR-Brille wird hier verwendet um über den Gestellbereich die Hirnströme oder Gehirnwellenmuster, also die Gehirnsignale 12 aufzunehmen. Das sich ergebende multivariate Signalmuster von Gehirnsignale 12 wird dann mittels der Maschinenlernkomponente 9 verarbeitet, wobei die Maschinenlernkomponente 9 direkt in dem tragbaren Gehirnsignaldetektor 1oder alternativ wie in 1 angedeutet in einer externen Datenverarbeitungseinrichtung 5 implementiert oder hinterlegt sein kann.In the present case, it is therefore provided, based on brain waves, brain wave patterns or the like of a wearer of the brain signal detector 1, for example a fitter or worker, by means of artificial intelligence, i.e. in particular by means of a machine learning device, such as the machine learning component 9, to detect deviations in a manual activity to detect their intended use and, if necessary, to prevent them proactively. This shows 2 a schematic overview representation for further illustration. Here a person 10 is indicated who is wearing the portable brain signal detector 1. This provides an input 11, which here includes several brain signals 12 measured at the same time. The brain signal detector 1, in this case the AR glasses, is therefore equipped with additional sensors, namely the sensors 4, compared to conventional AR glasses, which can be attached to the frame of the AR glasses, for example. The AR glasses are used here to record the brain waves or brain wave patterns, i.e. the brain signals 12, via the frame area. The resulting multivariate signal pattern of brain signals 12 is then processed by means of the machine learning component 9, the machine learning component 9 directly in the portable brain signal detector 1 or alternatively as in 1 indicated can be implemented or stored in an external data processing device 5.

Das Verarbeiten der Gehirnsignale 12 mittels der Maschinenlernkomponente 9 kann resultieren in einer Einschätzung oder Bewertung 13 für einen Zustand der jeweiligen manuellen Tätigkeit, also beispielswiese eines entsprechenden Fertigungs- oder Produktionsschrittes. Diese Einschätzung oder Bewertung 13 kann dabei kontinuierlich oder in einer Abfolge jeweils für ein bestimmtes Zeitintervall, also jeweils einen Abschnitt der Gehirnsignale 12 bestimmt werden. Die Länge dieser Zeitintervalle oder Abschnitte und gegebenenfalls ein Vorhersagehorizont der Einschätzung oder Bewertung 13 kann abhängig vom jeweiligen Anwendungsfall gewählt werden bzw. eine Komplexität des verwendeten Modells, insbesondere der Maschinenlernkomponente 9 bestimmen.The processing of the brain signals 12 by means of the machine learning component 9 can result in an assessment or evaluation 13 for a state of the respective manual activity, for example a corresponding manufacturing or production step. This assessment or evaluation 13 can be determined continuously or in a sequence for a specific time interval, i.e. a section of the brain signals 12. The length of these time intervals or sections and, if necessary, a prediction horizon of the assessment or evaluation 13 can be selected depending on the respective application or determine a complexity of the model used, in particular the machine learning component 9.

Die Bewertung 13 und/oder ein daraus abgeleiteter Hinweis 14 kann über die Ausgabeeinrichtung 2 an die Person 10 ausgegeben werden. Der Hinweis 14 kann die Person 10 beispielsweise auf einen detektierten oder vorhergesagten Fehler, eine korrespondierende Sicherheits- oder Korrekturmaßnahmen oder, etwa im Rahmen einer Einarbeitung der Person 10 in die jeweilige manuelle Tätigkeit, auf Verbesserungsmöglichkeiten oder dergleichen hinweisen oder aufmerksam machen.The evaluation 13 and/or a note 14 derived therefrom can be output to the person 10 via the output device 2. The notice 14 can, for example, point out or draw the attention of the person 10 to a detected or predicted error, a corresponding security or corrective measure or, for example as part of the person 10's training in the respective manual activity, to opportunities for improvement or the like.

Vor einem derartigen produktiven Einsatz kann die Maschinenlernkomponente 9 zunächst trainiert werden. Dazu kann die Person 10 und/oder wenigstens eine andere Person die jeweilige manuelle Tätigkeit fehlerfrei durchführen. Währenddessen können mittels des Gehirnsignaldetektors 1 zu dieser fehlerfreien Ausübung der manuellen Tätigkeit korrespondierende Referenzgehirnsignale aufgenommen und basierend darauf Trainingsdaten für die Maschinenlernkomponente 9 erzeugt oder bereitgestellt werden. Dabei kann die Person 10 die jeweilige manuelle Tätigkeit bevorzugt mit maximaler Konzentration und fehlerfrei mehrere Male hintereinander ausführen. Diese Ausübung der jeweiligen manuellen Tätigkeit kann dabei durch die AR-Brille, insbesondere deren Ausgabeeinrichtung 2, unterstützt werden, beispielsweise durch Einblenden entsprechender Hilfestellungen, Hand- und/oder Bauteilpositionen, Bewegungspfade, Bedienelementmarkierungen, Zielpositionen und/oder dergleichen mehr. Weiter können Fehlerreferenzgehirnsignale aufgenommen und in entsprechende Trainingsdaten umgesetzt werden. Diese Fehlerreferenzgehirnsignale können mittels des Gehirnsignaldetektors 1 aufgenommen werden, während die Person 10, beispielsweise absichtlich oder zufällig bzw. aus Versehen, Fehler bei der Ausübung der manuellen Tätigkeit macht. Zu solchen Fehlern korrespondierende bzw. während solcher Fehler aufgenommene Gehirnsignale 12 können in den Trainingsdaten entsprechend markiert werden oder sein.Before such a productive use, the machine learning component 9 can first be trained. For this purpose, the person 10 and/or at least one other person can carry out the respective manual activity without errors. Meanwhile, reference brain signals corresponding to this error-free exercise of the manual activity can be recorded by means of the brain signal detector 1 and, based on this, training data can be generated or provided for the machine learning component 9. The person 10 can preferably carry out the respective manual activity several times in a row with maximum concentration and without errors. This exercise of the respective manual activity can be supported by the AR glasses, in particular their output device 2, for example by displaying appropriate assistance, hand and/or component positions, movement paths, control element markings, target positions and/or the like more. Furthermore, error reference brain signals can be recorded and converted into corresponding training data. These error reference brain signals can be recorded by means of the brain signal detector 1 while the person 10, for example intentionally or accidentally or accidentally, makes errors in the performance of the manual activity. Brain signals 12 corresponding to such errors or recorded during such errors can be marked accordingly in the training data.

Mit den Trainingsdaten kann die Maschinenlernkomponente 9, beispielsweise mittels einer überwachten Lernmethode, trainiert werden, um zu einer bestimmungsgemäßen Ausübung der jeweiligen manuellen Tätigkeit korrespondierende Gehirnsignale und davon abweichende Gehirnsignale zu erkennen sowie gegebenenfalls automatisch in Echtzeit entsprechende Rückmeldungen an den Gehirnsignaldetektor 1 bzw. die Ausgabeeinrichtung 2 oder die Person 10 auszugeben.With the training data, the machine learning component 9 can be trained, for example by means of a supervised learning method, in order to recognize brain signals corresponding to the intended exercise of the respective manual activity and brain signals that deviate therefrom and, if necessary, automatically provide corresponding feedback in real time to the brain signal detector 1 or the output device 2 or the person to spend 10.

Gegebenenfalls kann dann in einer Testphase die Funktionsfähigkeit des Überwachungssystems geprüft werden und es können bei Bedarf gegebenenfalls weitere Trainingsdaten erzeugt und/oder das Training der Maschinenlernkomponente 9 fortgeführt oder verfeinert werden.If necessary, the functionality of the monitoring system can then be checked in a test phase and, if necessary, further training data can be generated and/or the training of the machine learning component 9 can be continued or refined.

Das Überwachungssystem mit der so trainierten Maschinenlernkomponente 9 kann dann beispielsweise in einer industriellen Fertigung oder Produktion eingesetzt werden und dort die jeweilige Person 10, beispielsweise einen Werker oder Arbeiter, bei manuellen Tätigkeiten oder Fertigungs- bzw. Prozess- oder Produktionsschritten unterstützen. Dabei ist dann die Verwendung der AR-Brille nicht notwendig, sodass gegebenenfalls ebenso andere Arten von Sensoreinrichtungen, Kommunikationsmitteln, Interfaces oder dergleichen verwendet werden können.The monitoring system with the machine learning component 9 trained in this way can then be used, for example, in industrial manufacturing or production and can support the respective person 10, for example a worker, with manual activities or manufacturing or process or production steps. The use of AR glasses is then not necessary, so that other types of sensor devices, communication means, interfaces or the like can also be used if necessary.

Insgesamt zeigen die beschriebenen Beispiele wie eine KI-basierte Qualitätsoptimierung von teilautomatisierten Produktionsabläufen realisiert werden kann.Overall, the examples described show how AI-based quality optimization of partially automated production processes can be achieved.

BezugszeichenlisteReference symbol list

11: GehirnsignaldetektorBrain signal detector
22: AusgabeeinrichtungOutput facility
33: BrillenbügelGlasses temples
44: Sensorsensor
55: DatenverarbeitungseinrichtungData processing device
66: Schnittstelleinterface
77: Prozessorprocessor
88th: DatenspeicherData storage
99: MaschinenlernkomponenteMachine learning component
1010: Personperson
1111: InputInput
1212: GehirnsignaleBrain signals
1313: BewertungEvaluation
1414: HinweisNotice

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102019104822 A1 [0003]
DE 102017207992 A1 [0004]
DE 102016120131 A1 [0005]
US 11157081 B1 [0008]

Claims

Method for monitoring an at least partially manual manufacturing process, wherein - while a person (10) is carrying out a manual activity as part of the manufacturing process, brain signals of the person (10) are measured using a portable brain signal detector (1), - the measured brain signals (12) are automatically processed using a trained machine learning device (9) and/or a time series analysis, and - as or based on an output (13) of the machine learning facility (9) and/or the time series analysis, the exercise of the manual activity is evaluated with regard to a predefined intended exercise.

Procedure according to Claim 1 , characterized in that several different signal streams (12) are measured simultaneously as the brain signals (12).

Method according to one of the preceding claims, characterized in that several phases of the manual activity are recognized based on the brain signals (12) and, as part of the evaluation (13, 14), it is determined in which phase a deviation from the intended exercise may occur.

Method according to one of the preceding claims, characterized in that the brain signals (12) are measured by means of a head-mounted display which has at least one sensor (4) for measuring the brain signals (12), in particular by means of AR glasses (1). become.

Method according to one of the preceding claims, characterized in that a warning message (14) is automatically issued to the respective person (10) carrying out the manual activity if the evaluation (13) indicates a deviation from the intended exercise of the manual activity, and /or a positive notice (14) is issued if the evaluation (13) indicates that the manual activity was carried out as intended.

Procedure according to Claim 5 , characterized in that the warning notice (14) and/or the positive notice (14) is issued by means of the same device (1) by which the brain signals (12) are also measured.

Method for creating a machine learning device (9) which is set up to detect errors when performing a manual activity by a person (10), reference brain signals (12) being measured as training data during several error-free exercises of the manual activity and thus the machine learning facility (9) is trained.

Procedure according to Claim 7 , characterized in that error reference brain signals (12) are also measured as training data during an error-prone exercise of the manual activity, in particular for several different errors, and the machine learning device (9) is also trained with this.

Monitoring system (1, 5) for monitoring an at least partially manual manufacturing process, comprising a portable brain signal detector (1) and a data processing device (5) for automatically processing measured brain signals (12), the data processing device (5) being a correspondingly trained one, according to a method according to Claim 7 or 8th created machine learning device (9) and / or a device that is set up to carry out a predetermined time series analysis of measured brain signals, and / or wherein the monitoring system (1, 5) for carrying out a method according to one of Claims 1 until 6 is set up.

Monitoring system (1, 5). Claim 9 , characterized in that the portable brain signal detector (1) is designed as AR glasses (1) with at least one integrated sensor (4) for measuring electrical brain signals (12) of a respective wearer (10).