-
Die Erfindung betrifft ein Verfahren zur Überprüfung mindestens eines durch eine Person durchgeführten manuellen Arbeitsschritts.
-
Aus dem Stand der Technik ist, wie in der
DE 10 2019 006 810 A1 beschrieben, ein Verfahren zur Überprüfung einer Herstellung einer Steckverbindung bekannt. Während der Herstellung der Steckverbindung wird ein korrektes Herstellen der Steckverbindung durch eine Erhebung von die Herstellung der Steckverbindung betreffenden Daten mittels einer externen Sensorik und eine Analyse der Daten durch mindestens ein vortrainiertes neuronales Netz überprüft.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Überprüfung mindestens eines durch eine Person durchgeführten manuellen Arbeitsschritts anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Überprüfung mindestens eines durch eine Person durchgeführten manuellen Arbeitsschritts mit den Merkmalen des Anspruchs 1.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Überprüfung mindestens eines durch eine Person durchgeführten manuellen Arbeitsschritts wird erfindungsgemäß mittels mindestens eines Drucksensors mindestens eines an einem Arm, einer Hand, insbesondere einem Finger, oder an einer Schulter der Person angeordneten Sensorbandes mindestens eine Bewegung mindestens eines Muskels im Arm der Person erfasst.
-
Aus der erfassten Bewegung des mindestens einen Muskels wird
- - mindestens eine einen Beginn oder ein Ende des manuellen Arbeitsschrittes kennzeichnende Geste des Arms, insbesondere einer Hand des Arms, ermittelt, welche als Startsignal bzw. Endsignal einer Erhebung von Daten, welche die Durchführung des mindestens einen manuellen Arbeitsschritts betreffen, mittels einer weiteren Sensorik verwendet wird, die insbesondere ebenfalls in dem hier beschriebenen Verfahren durchgeführt wird,
und/oder
- - mindestens eine die Durchführung des mindestens einen manuellen Arbeitsschritts betreffende Geste des Arms, insbesondere einer Hand des Arms, ermittelt, und es werden Daten, betreffend eine dabei durch die Person aufgewendete Kraft, erhoben.
-
Durch eine Analyse der erhobenen Daten wird eine korrekte Durchführung des mindestens einen manuellen Arbeitsschrittes überprüft.
-
Bei der ersten Variante des Verfahrens, bei welcher mindestens eine den Beginn oder das Ende des manuellen Arbeitsschrittes kennzeichnende Geste des Arms, insbesondere der Hand des Arms, ermittelt wird, welche als Startsignal bzw. Endsignal der Erhebung der die Durchführung des mindestens einen manuellen Arbeitsschritts betreffenden Daten mittels der weiteren Sensorik verwendet wird, insbesondere indem diese mindestens eine Geste oder mehrere entsprechende Gesten mit einer oder mehreren relevanten Perioden des zu analysierenden manuellen Arbeitsschritts synchronisiert wird/werden, können als die Durchführung des mindestens einen manuellen Arbeitsschritts betreffende Daten beispielsweise Audiodaten und/oder Beschleunigungsdaten erhoben werden, beispielsweise ebenfalls mittels des Sensorbandes oder mittels einer anderen Sensoreinheit, beispielsweise einer so genannten Smartwatch am Arm der Person. Durch deren Analyse kann dann die korrekte Durchführung des mindestens einen manuellen Arbeitsschrittes überprüft werden, er kann beispielsweise als korrekt oder nicht korrekt durchgeführt klassifiziert werden.
-
Durch die erfindungsgemäße Lösung ist dabei keine Interaktion, zumindest keine bewusste und zusätzliche Interaktion, der Person mit dem Sensorband und/oder mit der anderen Sensoreinheit zum Starten und Beenden der Erhebung dieser Daten erforderlich. Um diese Interaktion zu vermeiden, wird erfindungsgemäß der mindestens eine Drucksensor oder werden mehrere solche Drucksensoren in dem Sensorband verwendet, die die Bewegung des mindestens einen Muskels oder der Muskeln der Person analysieren und die Datenerhebung automatisch starten und stoppen können, indem sie die mindestens eine Geste oder mehrere Gesten erkennen und sie dem mindestens einen manuellen Arbeitsschritt oder mehreren solchen manuellen Arbeitsschritten zuordnen, insbesondere dem Beginn und dem Ende. Somit wird mittels dieser Lösung ermöglicht, dass die die Durchführung des mindestens einen manuellen Arbeitsschritts betreffenden Daten für die Überprüfung, insbesondere für eine Qualitätsprüfung, nur im relevanten Zeitraum und ohne eine erforderliche Interaktion der Person mit dem Sensorband und/oder der weiteren Sensoreinheit effektiv erfasst werden. Diese Variante erhöht somit eine Zeiteffizienz, da sie aufgrund der nicht mehr erforderlichen Interaktion der Person mit dem Sensorband und/oder der weiteren Sensoreinheit zum Starten und Beenden der Datenerhebung eine Anzahl von Tätigkeiten, welche die Person auszuführen hat, reduziert. Zudem wird durch das gezielte Starten und Stoppen der Datenerhebung eine erhobene und zu analysierende Datenmenge reduziert. Es wird somit ein besserer und autonomerer Datenerhebungsprozess erreicht.
-
Bei der alternativen oder zusätzlichen zweiten Variante des Verfahrens, bei welcher aus der erfassten Bewegung des mindestens einen Muskels mindestens eine die Durchführung des mindestens einen manuellen Arbeitsschritts betreffende Geste des Arms, insbesondere der Hand des Arms, ermittelt wird, und Daten, betreffend die dabei durch die Person aufgewendete Kraft, erhoben werden, kann auch auf diese Weise eine Qualitätsüberprüfung für einen solchen manuellen Arbeitsschritt, beispielsweise eine manuelle Herstellung einer Verbindung, zum Beispiel einer elektrischen Steckverbindung, erfolgen. Dadurch kann die korrekte Durchführung des mindestens einen manuellen Arbeitsschrittes überprüft werden, er kann beispielsweise als korrekt oder nicht korrekt durchgeführt klassifiziert werden. Bei dieser Lösung sind insbesondere keine weiteren Sensoren und Sensoreinheiten erforderlich, sondern vorteilhafterweise nur das eine Sensorband, beispielsweise Armband. Die Überprüfung des manuellen Arbeitsschrittes ist dabei online, d. h. während dessen Durchführung, und mit nichtinvasiven Methoden möglich. Zudem ist keine Mensch-Maschine-Interaktion, zumindest keine bewusste und zusätzliche Mensch-Maschine-Interaktion, erforderlich, sondern es ist lediglich die Ausführung des manuellen Arbeitsschritts erforderlich. Insbesondere sind keine zusätzlichen Handlungen der Person zum Starten und Beenden der Datenerhebung erforderlich.
-
In einer möglichen Ausführungsform des Verfahrens werden aus der mittels des mindestens einen Drucksensors erfassten Bewegung des mindestens einen Muskels zusätzlich Daten, betreffend eine Richtung der durch die Person aufgewendeten Kraft, erhoben. Dadurch kann die Überprüfung der Durchführung des mindestens einen manuellen Arbeitsschritts weiter verbessert werden, da bei dieser Überprüfung nicht nur die aufgewendete Kraft, sondern auch deren Richtung berücksichtigt wird.
-
In einer möglichen Ausführungsform des Verfahrens wird die Analyse der erhobenen Daten mittels mindestens eines, insbesondere vortrainierten, neuronalen Netzes durchgeführt, auch als künstliches neuronales Netz oder deep neural network bezeichnet. Dies ermöglicht eine Erlangung von sicheren Ergebnissen hinsichtlich der Bewertung der Durchführung des mindestens einen manuellen Arbeitsschritts, insbesondere zur Klassifizierung als korrekt oder nicht korrekt durchgeführt, beispielsweise bei der Herstellung einer Verbindung, zum Beispiel einer elektrischen Verbindung. Die oben beschriebene erste Variante, bei welcher mindestens eine den Beginn oder das Ende des manuellen Arbeitsschrittes kennzeichnende Geste des Arms, insbesondere der Hand des Arms, ermittelt wird, welche als Startsignal bzw. Endsignal der Erhebung der die Durchführung des mindestens einen manuellen Arbeitsschritts betreffenden Daten mittels der weiteren Sensorik verwendet wird, ermöglicht des Weiteren robustere neuronale Netze, welche eine Genauigkeit bei dieser Überprüfung weiter verbessern.
-
Als manueller Arbeitsschritt wird in einer möglichen Ausführungsform des Verfahrens eine Herstellung einer, insbesondere elektrischen, Steckverbindung durchgeführt. Das erfindungsgemäße Verfahren ermöglicht die Überprüfung von deren korrekter Herstellung auf einfache und sichere Weise während ihrer Herstellung, so dass keine zusätzlichen Überprüfungsschritte erforderlich sind.
-
In einer möglichen Ausführungsform des Verfahrens umfasst die weitere Sensorik, mittels welcher die Daten erhoben werden,
- - mindestens ein Mikrofon,
- - mindestens einen Beschleunigungssensor,
- - mindestens ein Gyroskop,
- - mindestens einen Positionssensor,
- - mindestens einen Infrarotsender, und/oder
- - mindestens eine Kamera.
-
Dadurch wird es ermöglicht, die für die Überprüfung relevanten Daten zu erheben und auszuwerten.
-
In einer möglichen Ausführungsform des Verfahren wird in einer Trainingsphase des mindestens einen neuronalen Netzes die korrekte Durchführung des mindestens einen manuellen Arbeitsschrittes mittels des mindestens einen Drucksensors und/oder mittels der weiteren Sensorik aufgezeichnet und nach der Trainingsphase werden die Daten durch den mindestens einen Drucksensor und/oder die Daten durch die mindestens eine weitere Sensorik erhoben und mit der korrekten Durchführung des mindestens einen manuellen Arbeitsschrittes verglichen.
-
Dadurch kann der manuelle Arbeitsschritt auf einfache und sichere Weise überprüft werden und beispielsweise als korrekt oder nicht korrekt durchgeführt klassifiziert werden.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
- 1 schematisch ein Verfahren zur Überprüfung mindestens eines durch eine Person durchgeführten manuellen Arbeitsschritts.
-
1 zeigt eine schematische Darstellung eines Verfahrens zur Überprüfung mindestens eines durch eine Person P durchgeführten manuellen Arbeitsschritts. Dieser mindestens eine durch die Person P durchgeführte manuelle Arbeitsschritt ist beispielsweise eine Herstellung einer, insbesondere elektrischen, Steckverbindung.
-
In diesem Verfahren wird/werden mittels mindestens eines Drucksensors oder mehrerer Drucksensoren mindestens eines an einem Arm, einer Hand, insbesondere einem Finger, oder an einer Schulter der Person P angeordneten Sensorbandes SB, insbesondere Armbandes, mindestens eine Bewegung oder mehreren Bewegungen mindestens eines Muskels oder mehrerer Muskeln im Arm der Person P erfasst. In 1 ist das beispielsweise am Arm der Person P angeordnete Sensorband SB schematisch vergrößert dargestellt, schematisch gekennzeichnet durch ein Lupensymbol.
-
In einer ersten Ausführungsform des Verfahrens wird/werden aus der erfassten Bewegung des mindestens einen Muskels oder der mehreren Muskeln mindestens eine einen Beginn oder ein Ende des manuellen Arbeitsschrittes kennzeichnende Geste des Arms, insbesondere einer Hand des Arms, ermittelt, welche als Startsignal bzw. Endsignal einer Erhebung von die Durchführung des mindestens einen manuellen Arbeitsschritts betreffenden Daten D mittels einer weiteren Sensorik verwendet wird, die insbesondere ebenfalls in dem hier beschriebenen Verfahren durchgeführt wird. Vorteilhafterweise werden mehrere solche Gesten ermittelt, insbesondere mindestens eine den Beginn und mindestens eine das Ende des manuellen Arbeitsschrittes kennzeichnende Geste. Wird sowohl eine den Beginn des manuellen Arbeitsschrittes kennzeichnende Geste als auch eine das Ende des manuellen Arbeitsschrittes kennzeichnende Geste ermittelt, so wird entsprechend die den Beginn des manuellen Arbeitsschrittes kennzeichnende Geste als Startsignal der Erhebung der die Durchführung des mindestens einen manuellen Arbeitsschritts betreffenden Daten D mittels der weiteren Sensorik verwendet und die das Ende des manuellen Arbeitsschrittes kennzeichnende Geste wird als Endsignal der Erhebung der die Durchführung des mindestens einen manuellen Arbeitsschritts betreffenden Daten D mittels der weiteren Sensorik verwendet. Die weitere Sensorik ist beispielsweise ebenfalls in dem Sensorband SB angeordnet, wie im Beispiel gemäß 1 gezeigt, oder beispielsweise auf andere Weise positioniert, wie im Folgenden noch beschrieben wird.
-
Die weitere Sensorik umfasst beispielsweise mindestens ein Mikrofon, mindestens einen Beschleunigungssensor, mindestens ein Gyroskop, mindestens einen Positionssensor, mindestens einen Infrarotsender, und/oder mindestens eine Kamera.
-
In einer alternativen oder zusätzlichen Ausführungsform des Verfahrens wird/werden aus der erfassten Bewegung des mindestens einen Muskels oder der mehreren Muskeln mindestens eine die Durchführung des mindestens einen manuellen Arbeitsschritts betreffende Geste des Arms, insbesondere einer Hand des Arms, oder mehrere solche Gesten, ermittelt, und es werden Daten D, betreffend eine dabei durch die Person P aufgewendete Kraft und vorteilhafterweise zusätzlich betreffend eine Richtung der durch die Person P aufgewendeten Kraft, erhoben.
-
Durch eine Analyse der erhobenen Daten D, d. h. der durch die erste Ausführungsform mittels der weiteren Sensorik erhobenen die Durchführung des mindestens einen manuellen Arbeitsschritts betreffenden Daten D und/oder der durch die zweite Ausführungsform erhobenen Daten D, betreffend die durch die Person P aufgewendete Kraft und vorteilhafterweise zusätzlich die Richtung der durch die Person P aufgewendeten Kraft, wird eine korrekte Durchführung des mindestens einen manuellen Arbeitsschrittes überprüft. Die Analyse der erhobenen Daten D wird insbesondere mittels mindestens eines, insbesondere vortrainierten, neuronalen Netzes NN durchgeführt, auch als künstliches neuronales Netz NN oder deep neural network bezeichnet, vorteilhafterweise mittels mehrerer solcher neuronalen Netze NN.
-
Wie in 1 dargestellt, werden somit die Daten D, insbesondere mittels des Sensorbandes SB und/oder mittels der weiteren Sensorik, beispielsweise an eine Auswerteeinheit A gesendet, vorteilhafterweise mittels einer kabellosen Datenübertragung. Dort werden sie mittels des neuronalen Netzes NN oder mittels der mehreren neuronalen Netze NN analysiert, und ein entsprechendes Analyseergebnis E, insbesondere eine Aussage, ob der mindestens eine manuelle Arbeitsschritt korrekt oder nicht korrekt durchgeführt wurde, wird vorteilhafterweise an das Sensorband SB übermittelt und dort der Person P angezeigt, so dass die Person P direkt eine Aussage darüber erhält, ob sie den mindestens einen manuellen Arbeitsschritt korrekt durchgeführt hat oder nicht und somit bei nicht korrekter Durchführung beispielsweise sofort eine Korrektur vornehmen kann.
-
Beispielsweise wird in einer Trainingsphase des mindestens einen neuronalen Netzes NN die korrekte Durchführung des mindestens einen manuellen Arbeitsschrittes mittels des mindestens einen Drucksensors und/oder mittels der weiteren Sensorik aufgezeichnet und nach der Trainingsphase werden die Daten D durch den mindestens einen Drucksensor und/oder die Daten D durch die mindestens eine weitere Sensorik erhoben und mit der korrekten Durchführung des mindestens einen manuellen Arbeitsschrittes verglichen.
-
Die zweite Ausführungsform des Verfahrens ermöglicht somit insbesondere eine Qualitätsprüfung bezüglich der Ausführung des mindestens einen manuellen Arbeitsschritts, beispielsweise bezüglich der Herstellung der, insbesondere elektrischen, Steckverbindung mittels des mindestens einen Drucksensors oder der mehreren Drucksensoren und eine dadurch realisierte Gestenerkennung und Kraftermittlung, insbesondere Kraftschätzung.
-
In beiden Ausführungsformen werden tragbare Drucksensoren verwendet, insbesondere zur Erfassung der Bewegung der Muskeln der Person P und zur Erkennung der Gesten, in der zweiten Ausführungsform des Verfahrens zusätzlich zur Schätzung der ausgeübten Kraft und deren Richtung. Zur Auswertung werden vorteilhafterweise Algorithmen der künstlichen Intelligenz verwendet.
-
Mit den gesammelten Informationen wird eine Qualitätsprüfung und -kontrolle ermöglicht, während gleichzeitig manuelle Arbeitsschritte, die von Personen P während einer Produktion ausgeführt werden, digitalisiert werden.
-
Ein spezieller Anwendungsfall ist beispielsweise die bereits erwähnte Herstellung einer Steckverbindung, aber das Verfahren kann auch in anderen Prozessen, insbesondere manuellen Herstellungsprozessen, verwendet werden.
-
Für die zweite Ausführungsform werden beispielsweise, insbesondere zum Trainieren des neuronalen Netzes NN oder der mehreren neuronalen Netze NN, mittels des Drucksensors oder der Drucksensoren Daten D des manuellen Arbeitsschritts oder vieler verschiedener manueller Arbeitsschritte aufgezeichnet und es wird eine dabei jeweils aufgebrachte Kraft ermittelt. Für dieses Training kann die Kraftermittlung insbesondere auch auf andere Weise erfolgen, d. h. nicht mit den Drucksensoren, sondern beispielsweise mit anderen Sensoren. Es wird dadurch ermöglicht, einem jeweiligen mit einem oder mehreren Drucksensoren ermittelten Druck eine jeweils dabei aufgebrachte Kraft zuzuordnen.
-
Auf diese Weise wird es ermöglicht, nun ausschließlich mit dem einen Drucksensor oder mit den mehreren Drucksensoren, beispielsweise am Arm oder an beiden Armen der Person P, den Druck während der Durchführung eines jeweiligen manuellen Arbeitsschrittes zu ermitteln und ausschließlich mit diesen Daten D des mindestens einen Drucksensors oder der mehreren Drucksensoren, d. h. insbesondere ohne explizite Kraftmessung, die aufgebrachte Kraft zu ermitteln oder zumindest zu schätzen und zur Klassifizierung des jeweiligen manuellen Arbeitsschritts als korrekt oder nicht korrekt durchgeführt zu verwenden.
-
Diese zweite Ausführungsform des Verfahrens ist insbesondere zur Überprüfung manueller Arbeitsschritte geeignet, bei denen der Einsatz einer vorgegebenen Kraft durch die den manuellen Arbeitsschritt ausführende Person P entscheidend dafür ist, dass dieser manuelle Arbeitsschritt korrekt durchgeführt wird. Beispielsweise bei der Herstellung der, insbesondere elektrischen, Steckverbindung ist eine vorgegebene Kraft erforderlich, um diese Steckverbindung korrekt herzustellen. Wird mittels des hier beschriebenen Verfahrens, insbesondere mittels dessen zweiter Ausführungsform, ermittelt, dass diese Kraft durch die Person P aufgebracht wurde, wird diese Steckverbindung als korrekt ausgeführt klassifiziert, anderenfalls als nicht korrekt ausgeführt.
-
Diese Lösung, beispielsweise angewendet an einer Produktionslinie, ermöglicht eine Qualitätskontrolle in Echtzeit und vor Ort. Das Verfahren ist dabei nicht invasiv und erfordert keine zusätzliche Zeit während des Herstellungsprozesses. Dadurch kann mittels dieses Verfahrens jede einzelne Verbindung überprüft werden, um die Qualität der Produktion zu verbessern, und die Anzahl möglicher zusätzlicher Stationen, an denen bisher Qualitätsprüfungen durchgeführt werden, kann dadurch reduziert werden.
-
Bei der oben beschriebenen alternativen oder zusätzlichen ersten Ausführungsform des Verfahrens wird die beschriebene Gestenerkennung mittels des mindestens einen Drucksensors oder der mehreren Drucksensoren als Auslöser für die Erhebung der Daten
D mittels der weiteren Sensorik verwendet. Diese Erhebung der Daten
D mittels der weiteren Sensorik und deren Analyse erfolgt dann beispielsweise, wie in der
DE 10 2019 006 810 A1 beschrieben, insbesondere gemäß deren Figur und Figurenbeschreibung, insbesondere Absätze [0012] bis [0033], deren Inhalt hiermit durch Referenz aufgenommen wird, jedoch im Folgenden im Wesentlichen auch nochmals explizit beschrieben wird.
-
Auch bei dieser ersten Ausführungsform des Verfahrens werden ein oder mehrere tragbare Drucksensoren, beispielsweise an Armen, Schultern und/oder Fingern der Person P, zur Erkennung menschlicher Gesten verwendet, hier als Auslöser für die Datenerhebung mittels der weiteren Sensorik, beispielsweise bei manuellen Arbeitsschritten zur Montage und Herstellung industrieller Komponenten. Es wird somit eine neue Auslösemethode für Qualitätsprüfungsanwendungen bereitgestellt, bei der die aktive Interaktion zwischen Mensch und Maschine, insbesondere zwischen der Person P und der weiteren Sensorik, zum Starten und Stoppen der Datenerhebung entfällt.
-
Die Person
P führt den mindestens einen manuellen Arbeitsschritt aus, der digitalisiert und analysiert werden soll. Dafür müssen entsprechende Daten
D erhoben werden, insbesondere aufgezeichnet werden. Eine kontinuierliche Datenerhebung, insbesondere Datenaufzeichnung, und Datenanalyse wäre jedoch nicht effizient und würde darüber hinaus zu Fehlklassifizierungen führen, weil dabei auch andere Daten vor und nach dem zu überprüfenden Arbeitsschritt aufgezeichnet und analysiert werden würden. Dies wird durch die hier beschriebene Lösung vermieden, denn indem aus der erfassten Bewegung des mindestens einen Muskels oder der mehreren Muskeln, vorteilhafterweise aus mehreren solchen erfassten Bewegungen, mindestens die den Beginn und/oder die das Ende des manuellen Arbeitsschrittes kennzeichnende Geste des Arms, insbesondere der Hand des Arms, ermittelt wird, die als Startsignal bzw. Endsignal der Erhebung der die Durchführung des mindestens einen manuellen Arbeitsschritts betreffenden Daten
D mittels der weiteren Sensorik verwendet wird, können Daten
D der weiteren Sensorik, beispielsweise eines oder mehrerer der oben genannten Sensoren, in einem bestimmten Zeitfenster erhoben werden, insbesondere aufgezeichnet werden, nämlich während der Durchführung des mindestens einen manuellen Arbeitsschritts, somit insbesondere basierend auf der aktuellen Position des Körpers der Person
P und den Gesten, die diese Person
P macht. Diese Lösung führt somit zu einer Zeiteffizienz, verbessert die Genauigkeit des Überprüfungsergebnisses und ermöglicht die Implementierung einer solchen Überprüfung durch die weitere Sensorik, insbesondere gemäß
DE 10 2019 006 810 A1 in eine Produktionslinie, wodurch eine negative Beeinflussung von dort arbeitenden Personen
P minimiert wird, da sie keine zusätzlichen Schritte zur Qualitätsüberprüfung ausführen müssen, sondern diese Qualitätsüberprüfung wird automatisch durchgeführt.
-
Im Folgenden wird die erste Ausführungsform des Verfahrens anhand des in der Figurenbeschreibung der
DE 10 2019 006 810 A1 , insbesondere in deren Absätzen [0012] bis [0033] und Figur, beschriebenen Beispiels erläutert.
-
Der von der Person P ausgeführte manuelle Arbeitsschritt ist dort die Herstellung der Steckverbindung. Die korrekte Ausführung dieses manuellen Arbeitsschritts, d. h. die korrekte Herstellung dieser Steckverbindung, soll mittels des hier beschriebenen Verfahrens überprüft werden. Die Steckverbindung wird in diesem Beispiel durch ein Zusammenstecken zweier Steckverbindungskomponenten hergestellt, beispielsweise durch ein Einstecken eines Steckers in eine Steckdose oder Steckerbuchse.
-
Die Steckverbindung wird dabei beispielsweise an einem Bauteil hergestellt, an welchem sich die zweite Steckverbindungskomponente befindet, mit welcher die erste Steckverbindungskomponente zum Herstellen der Steckverbindung verbunden werden soll. Das Bauteil ist insbesondere ein Fahrzeugbauteil, zum Beispiel ein Motorblock oder ein Batteriemodul eines Fahrzeugs oder für ein Fahrzeug oder ein anderes Fahrzeugbauteil.
-
Nicht korrekt hergestellte Steckverbindungen, beispielsweise an solchen Motorblöcken, Batteriemodulen und/oder an einem Fahrzeug, sind oft Ursache für Fehlfunktionen und Rückläufe in einer Fahrzeugproduktion. Ein großes Problem ist beispielsweise, dass ein Stecker, der nicht korrekt eingerastet wurde, zunächst trotzdem einen elektrischen Kontakt hat und sich erst durch Vibrationen während eines Fahrbetriebs langsam löst.
-
Mittels des oben beschriebenen Verfahrens können solche manuell hergestellten Steckverbindungen bereits bei der Montage, d. h. bereits während ihrer Herstellung, kontrolliert werden. Dadurch kann bei einer nicht korrekt hergestellten Steckverbindung insbesondere eine sofortige Nacharbeit durchgeführt werden. Dies kann insbesondere im Fahrzeugbereich erhebliche Zeitaufwände sparen, da auf diese Weise kein späterer Rückbau erforderlich ist, um die Steckverbindung zu erreichen.
-
In dem hier beschriebenen Verfahren wird bereits während der Herstellung der jeweiligen Steckverbindung ein korrektes Herstellen der jeweiligen Steckverbindung, insbesondere ein korrektes manuelles Stecken der jeweiligen Steckverbindung, durch die Erhebung der die Durchführung des mindestens einen manuellen Arbeitsschritts, hier somit die Herstellung der jeweiligen Steckverbindung, betreffenden Daten D mittels der, insbesondere externen, weiteren Sensorik und der Analyse der Daten D, insbesondere durch mindestens ein, insbesondere vortrainiertes, neuronales Netz NN überprüft. Die Analyse erfolgt hierbei insbesondere mittels künstlicher Intelligenz, d. h. insbesondere mittels einer entsprechenden Software und somit insbesondere mittels eines entsprechenden Computerprogramms, auch als Computerprogrammprodukt bezeichnet.
-
Unter externer weiterer Sensorik ist insbesondere zu verstehen, dass die weitere Sensorik kein Bestandteil der Steckverbindung und der daran beteiligten Steckverbindungskomponenten ist. Die weitere Sensorik erfasst insbesondere einen Bewegungsablauf und/oder Geräusche während der Herstellung der Steckverbindung.
-
Diese weitere Sensorik, mittels welcher die Daten D erhoben werden, umfasst beispielsweise, wie oben bereits erwähnt, mindestens einen Beschleunigungssensor, mittels welchem Beschleunigungsdaten erhoben werden, und/oder mindestens ein Mikrofon, mittels welchem Audiodaten erhoben werden, und/oder mindestens einen Positionssensor und/oder mindestens eine Kamera und/oder mindestens ein Gyroskop und/oder mindestens einen Infrarotsender. Ist ein Infrarotsender vorgesehen, so ist die Kamera vorteilhafterweise als eine Infrarotkamera ausgebildet, um den Infrarotsender zu erkennen und zu erfassen und dadurch Positionsdaten zu erheben. Alternativ oder zusätzlich kann die Kamera beispielsweise zur Erfassung von Bildern im sichtbaren Wellenlängenbereich ausgebildet sein, insbesondere als eine so genannte RGB-Kamera, um insbesondere eine Handerkennung zu ermöglichen und dadurch entsprechende Positionsdaten zu erheben.
-
Die weitere Sensorik oder zumindest eine oder mehrere Komponenten der weiteren Sensorik, insbesondere der mindestens eine Beschleunigungssensor und/oder das mindestens eine Mikrofon und/oder der mindestens eine Positionssensor und/oder das mindestens eine Gyroskop und/oder der mindestens eine Infrarotsender ist/sind zweckmäßigerweise an der menschlichen Hand der Person P angeordnet, welche den mindestens einen manuellen Arbeitsschritt, hier die Herstellung der Steckverbindung, durchführt, beispielsweise mittels eines Arbeitshandschuhs oder direkt an der Hand oder beispielsweise mittels des Sensorbandes SB am Arm der Person P.
-
Um die Analyse der erhobenen Daten D mittels des mindestens einen, insbesondere vortrainierten, neuronalen Netzes NN zu ermöglichen, wird, wie oben ebenfalls bereits erwähnt, vorteilhafterweise in einer Trainingsphase des mindestens einen neuronalen Netzes NN ein korrekter Ablauf des mindestens einen manuellen Arbeitsschritts, hier somit ein korrekter Ablauf der Herstellung solcher Steckverbindungen, mittels der weiteren Sensorik aufgezeichnet und nach der Trainingsphase werden während der Durchführung des mindestens einen manuellen Arbeitsschritts, hier somit während der Herstellung der jeweiligen Steckverbindung, die den manuellen Arbeitsschritt, hier die Herstellung der Steckverbindung, betreffenden Daten D durch die weitere Sensorik erhoben und mit dem korrekten Ablauf des manuellen Arbeitsschritts, hier der Herstellung der Steckverbindung, verglichen.
-
Die mittels der weiteren Sensorik erfassten Daten D werden somit zunächst in der Trainingsphase aufgezeichnet und klassifiziert in Daten D eines positiven Ablaufs, d. h. der korrekten Durchführung des manuellen Arbeitsschritts, hier der korrekten Herstellung der Steckverbindung, im Gegensatz zu einem nicht erfolgreichen Ablauf, d. h. der nicht korrekten Durchführung des manuellen Arbeitsschritts, hier somit der nicht korrekten Herstellung der Steckverbindung. Sowohl die Trainingsdaten der korrekten Durchführung, d. h. der korrekten Herstellung der Steckverbindung, als auch die Trainingsdaten der nicht korrekten Durchführung, d. h. der nicht korrekten Herstellung der Steckverbindung, werden zur Klassifizierung des Datensatzes mit ihrer entsprechenden Kennzeichnung, beispielsweise i.O. für in Ordnung bei einer korrekten Durchführung und somit einer korrekten Herstellung der Steckverbindung und n.i.O. für nicht in Ordnung bei einer nicht korrekten Durchführung und somit einer nicht korrekten Herstellung der Steckverbindung, in mindestens ein neuronales Netz NN geladen.
-
Entsprechend der Trainingsdaten wird im Anschluss mindestens ein trainiertes neuronales Netz NN als Klassifizierer eingesetzt, sodass die Klassifizierung von mittels der weiteren Sensorik neu aufgenommener Daten D in sehr kurzer Zeit, beispielsweise innerhalb von ca. 101 bis 102 ms, möglich ist.
-
Bei der Fusion mehrerer Sensoren der Sensorik, insbesondere mehrerer der oben genannten Komponenten der Sensorik, ist beispielsweise der Einsatz je eines neuronalen Netzes NN pro Sensor möglich, wobei dann anschließend eine einfache Fusion der i.O./n.i.O.-Resultate, d. h. der Resultate bezüglich der korrekten Durchführung und somit korrekten Herstellung oder der nicht korrekten Durchführung und somit nicht korrekten Herstellung der Steckverbindung, durchgeführt wird. D. h. es wird zunächst mittels der Daten D des jeweiligen Sensors vom jeweiligen neuronalen Netz NN als Resultat ermittelt, ob der manuelle Arbeitsschritt korrekt oder nicht korrekt durchgeführt wurde, d. h. ob die Steckverbindung korrekt oder nicht korrekt hergestellt wurde. Diese Resultate werden anschließend fusioniert zu einer endgültigen Beurteilung, ob der manuelle Arbeitsschritt korrekt oder nicht korrekt durchgeführt wurde, d. h. ob die Steckverbindung korrekt oder nicht korrekt hergestellt wurde.
-
Alternativ oder zusätzlich erfolgt bei dieser Fusion mehrerer Sensoren der weiteren Sensorik, insbesondere mehrerer der oben genannten Komponenten der weiteren Sensorik, beispielsweise eine Fusion der Daten D mehrerer oder aller vorhandenen Sensoren der weiteren Sensorik vor dem Einspeisen der Daten D in das neuronale Netz NN. Hierbei wird somit zweckmäßigerweise nur ein neuronales Netz NN verwendet.
-
Die Sensoren der weiteren Sensorik dienen insbesondere einer Erfassung eines korrekt geführten Bewegungsablaufs zur Durchführung des mindestens einen manuellen Arbeitsschritts, hier somit einer Erfassung eines korrekt geführten Bewegungsablaufs zur Montage, d. h. zur Herstellung, der Steckverbindung. Hierfür kommen somit insbesondere, wie oben bereits erwähnt, Beschleunigungssensoren, Gyroskope, Infrarotsender mit Infrarotkameras und/oder Kameras im sichtbaren Wellenlängenbereich mit der Funktion, die Hand oder deren Teile zu verfolgen, in Betracht. Infrarotsender werden dabei als aktive Elemente an der Hand oder am Arm angebracht, beispielsweise mittels des Arbeitshandschuhs oder des Sensorbandes SB, an einem fixen Punkt kalibriert und durch eine oder mehrere Infrarotkameras detektiert.
-
Durch die weitere Sensorik wird somit während der Trainingsphase zunächst der korrekte Bewegungsablauf aufgezeichnet und nach der Trainingsphase der neuronalen Netze NN werden durch dieselben Sensoren dieser weiteren Sensorik die Daten D des Bewegungsablaufs während der Durchführung des manuellen Arbeitsschritts, hier während der Herstellung der jeweiligen Steckverbindung, live, d. h. direkt und aktuell, aufgenommen und mit dem aufgezeichneten korrekten, insbesondere idealen, Bewegungsablauf verglichen.
-
In dem hier beschriebenen Verfahren, gemäß dessen erster Ausführungsform, dient die Erfassung der mindestens einen Bewegung des mindestens einen Muskels im Arm der Person P mittels des mindestens einen Drucksensors oder der mehreren Drucksensoren im Sensorband SB als initialer Auslöser und vorteilhafterweise ebenso als Stopper für die weitere Sensorik, insbesondere für die Erhebung der Daten D mittels der weiteren Sensorik, indem aus der erfassten Bewegung des mindestens einen Muskels mindestens eine den Beginn und vorteilhafterweise mindestens eine das Ende des manuellen Arbeitsschrittes kennzeichnende Geste des Arms, insbesondere der Hand des Arms, ermittelt wird, welche entsprechend als Startsignal bzw. Endsignal der Erhebung der die Durchführung des mindestens einen manuellen Arbeitsschritts, hier der Herstellung der Steckverbindung, betreffenden Daten D mittels der weiteren Sensorik verwendet wird. D. h. die den Beginn des manuellen Arbeitsschrittes kennzeichnende Geste wird entsprechend als Startsignal verwendet und die das Ende des manuellen Arbeitsschrittes kennzeichnende Geste wird entsprechend als Endsignal verwendet.
-
Mittels des Mikrofons der weiteren Sensorik kann insbesondere ein Einrasten der Steckverbindung akustisch überprüft werden. Hierzu ist das Mikrofon beispielsweise in einem hierfür geeigneten Abstand zur herzustellenden Steckverbindung montiert oder, insbesondere in miniaturisierter Form, zu einem oder mehreren anderen Sensoren der weiteren Sensorik hinzugefügt und beispielsweise direkt an der Hand oder an dem Arbeitshandschuh oder am Arm, beispielsweise mittels des Sensorbandes SB, angeordnet. Vorteilhafterweise werden in der Trainingsphase Einrastgeräusche während der Herstellung einer oder mehrerer Steckverbindungen sowie Nebengeräusche, die nicht als einrastende Steckverbindung gelten, zur Verfügung gestellt und damit ein neuronales Netz NN trainiert, welches dann zur Live-Erkennung, d. h. zur direkten und aktuellen Erkennung, der entsprechenden Einrastgeräusche in der Montage, d. h. während einer regulären Herstellung von Steckverbindungen, verwendet wird.
-
Die Sensoren oder zumindest einer oder mehrere Sensoren der weiteren Sensorik können beispielsweise, wie oben bereits erwähnt, am Handschuh, insbesondere Arbeitshandschuh, oder zum Beispiel an einem ringartigen Modul für Finger oder Arm befestigt sein, beispielsweise an dem Sensorband SB, oder beispielsweise in eine einzelne Platine oder in eine so genannte Smartwatch integriert sein.
-
Als Analyseergebnis E des Verfahrens liefert die Software, d. h. das Computerprogramm, vorteilhafterweise eine Ja/Nein-Antwort zur Qualität des durchgeführten manuellen Arbeitsschritts, hier der Herstellung der Steckverbindung, d. h. eine Antwort, ob der jeweils durchgeführte manuelle Arbeitsschritt korrekt oder nicht korrekt durchgeführt wurde, somit in diesem Beispiel, ob die jeweils hergestellte Steckverbindung korrekt oder nicht korrekt hergestellt wurde.
-
Das beschriebene Verfahren ermöglicht beispielsweise eine Qualitätssicherung der für die Produktion und Funktionsweise der Antriebsmodule signifikanten Steckverbindungen oder anderer Steckverbindungen oder anderer manueller Arbeitsschritte. Des Weiteren wird eine Einsparung von Zeit in der Softwareentwicklung ermöglicht, da die künstliche Intelligenz mindestens eines neuronalen Netzes NN verwendet wird und dadurch keine aufwändige anderweitige Datenanalyse erforderlich ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019006810 A1 [0002, 0037, 0039, 0040]
