FR3137205A1 - Gestion Augmentée d’Entrainement des Opérateurs qui Réalisent les Processus Industriels - Google Patents

Abstract

L’invention concerne un procédé (100) mis en œuvre par un système informatique pour former des opérateurs sur un processus prédéterminé ayant une séquence de gestes caractéristiques, caractérisé en ce que le procédé comprend les étapes suivantes:- une étape d’acquisition (102) comprenant une étape de suivi des mains permettant de détecter une position qui correspond à un début ou une fin de séquence de gestes caractéristiques d’un processus prédéterminé en cours ; - une étape de suivi de mouvement des mains (104) permettant de contrôler la trajectoire et le déplacement pendant une séquence de gestes caractéristiques ;- une étape d’identification (106) de la position des mains de l’opérateur et- une étape de comparaison (108) pour déterminer une variance entre un geste identifié et un geste correct correspondant du processus prédéterminé ; de sorte que les gestes d'un opérateur en train de faire le processus prédéterminé sont enregistrés afin d'être utilisés dans la séance de formation en cours. Figure pour l’abrégé : Fig 5

Description

Gestion Augmentée d’Entrainement des Opérateurs qui Réalisent les Processus Industriels

L’invention concerne les consignes fournies à un opérateur en train de réaliser des processus industriels. Plus particulièrement, l’invention concerne un système de gestion augmentée basée sur un couplage entre les outils de la réalité augmentée et la mesure des mouvements de doigts d’un opérateur en cours d’entrainement des tâches associées avec un ou des processus industriels.

Contexte

Dans le domaine de processus industriels, le travail de montage, de démontage, d’opération et de maintenance comprend des actions complexes. Chaque action nécessite des connaissances et des techniques spécifiques pour chaque machine et équipement en fonction des tâches associées. En raison de la variété des machines et des équipements, les entreprises industrielles se trouvent dans l'obligation d'assurer une formation régulière des opérateurs, des utilisateurs, des travailleurs et des techniciens (collectivement, « opérateurs »). Par conséquent, améliorer l’autonomie des opérateurs dans la gestion des compétences nécessaires à leurs polyvalences grâce à un nouveau moyen d’entrainement serait avantageux pour l'industrie.

Parmi les méthodes de formation connues, la formation sur site se déroule directement dans le contexte du travail. Elle est la plus efficace parce que l’opérateur apprend par l’expérience en suivant directement les consignes fournies pendant la formation. En revanche, ce type de formation peut nécessiter des temps longs de formation. Certaines machines et certains services doivent donc être mis en pause en raison de l’absence des opérateurs. Aussi, si les équipements sont endommagés pendant l’entrainement, les coûts de réparation supplémentaires augmenteront. En outre, les processus industriels comprennent souvent des tâches dangereuses qui comportent des risques pour les opérateurs.

Dans les processus industriels dont les interventions par main sont prévues, un geste de la main est une forme non verbale de communication entre une personne et une machine. La reconnaissance des gestes de la main est donc considérée comme un aspect important de l'interaction homme-machine (ou « human-computer interaction » ou « HCI »), qui donne aux ordinateurs la possibilité de capter et de comprendre les gestes de la main, puis d'exécuter des actions. Des systèmes standardisés de reconnaissance des gestes de la main sont basés sur la vision, incorporant le prétraitement (y compris la détection de la zone de la main), l’extraction de caractéristiques et l’étiquetage. Une technique de formation couramment utilisée est celle des capteurs d'électromyographie de surface (ou « sEMG ») pour les gestes de la main intégrés. L'apprentissage automatique (ou « machine learning » ou « ML ») est utilisé pour résoudre le problème de la reconnaissance des gestes de la main à partir des signaux sEMG. Les classificateurs pour la reconnaissance des gestes de la main comprennent, sans limitation, les machines à vecteurs de support (ou « Support Vector Machine » ou « SVM »), k-nearest neighbors (ou « k-NN »), les arbres de décision (ou « decision trees »), la forêt aléatoire (ou « random forest »), l'analyse discriminante linéaire, le réseau neuronal artificiel (ou « artificial neural network » ou « ANN »), les réseaux de neurones convolutifs ((ou « convolutional neural networks » ou « CNNs ») et leurs équivalents.

Les gestes de la main sont souvent utilisés dans les systèmes d’HCI et de réalité augmentée en raison de leur interprétabilité et de leur rapidité de communication. La variété et la diversité des gestes ont un effet significatif sur le taux d'identification et l'efficacité de la méthode d'identification des gestes de la main. Les méthodes d’apprentissage automatiques peuvent être utilisées pour améliorer le rythme auquel les gestes des mains sont reconnus.

Diverses technologies peuvent permettre à un opérateur de faire l'entrainement dans un mélange de mondes réels et virtuels (intégrant, par exemple, des éléments des deux). Par exemple, la reconnaissance des gestes de la main pourrait être obtenue à partir d’un capteur de profondeur (par exemple, un capteur du type appelé « Kinect ») pour mesurer la dissimilarité entre les formes de mains (voir .Robust Part-Based Hand Gesture Recognition Using Kinect Sensor, Zhou Ren, Junsong Yuan, Jingjing Meng,Zhengyou Zhang,IEEE TRANSACTIONS ON MULTIMEDIA, Vol. 15, No. 5 (août 2013) (“la reference Zhou”)(KINECT® est une marque enregistrée appartenant à Microsoft Corporation). Au lieu de porter un gant de données, le capteur de profondeur peut détecter et segmenter les mains de manière robuste pour construire une base valable pour la reconnaissance des gestes de la main.

En outre, la reconnaissance des gestes de la main en temps réel pourrait être obtenue à partir des signaux de sEMG (voirReal-Time Surface EMG Pattern Recognition for Hand Gestures Based on an Artificial Neural Network, Zhen Zhang, Kuo Yang, Jinwu Qian and Lunwei Zhang, www.mdpi.com/journal/sensors (18 juillet 2019). Un brassard acquiert les signaux sEMG et une approche de fenêtre glissante est appliquée pour segmenter les données correspondantes dans l'extraction des caractéristiques. Un réseau neuronal artificiel (ANN) est entraîné par l'ensemble de données, et une méthode de test est utilisée dans laquelle le geste sera reconnu lorsque les temps d'étiquetage reconnus atteignent le seuil des temps d'activation par le classificateur ANN. Par conséquent, le système de reconnaissance pourrait être capable de reconnaître un geste avant que celui-ci ne soit terminé.

Dans un autre exemple, certains dispositifs d'affichage, tels que divers dispositifs d'affichage montés sur la tête, peuvent avoir des affichages transparents qui permettent la superposition d'images affichées sur un environnement de fond du monde réel. Les images peuvent apparaître devant l'environnement de fond du monde réel lorsqu'elles sont vues à travers l'affichage transparent. En particulier, les images peuvent être affichées sur l'écran transparent de telle sorte qu'elles apparaissent mélangées à des éléments de l'environnement de fond du monde réel dans ce que l'on peut appeler la réalité augmentée.

Dans un environnement augmenté, une technologie de réalité augmentée peut rendre meilleure et plus efficace l’entrainement des tâches associées aux processus industriels, permettant une formation selon l'approche de l'apprentissage par la pratique. Par exemple, le brevet US9,643,314 divulgue une méthode de pilotage d’un robot pour manipuler des objets en monde virtuel par l’acquisition des mouvements de l’opérateur. Dans ce cas, l’acquisition du geste de la main de l’opérateur est transcrite à un robot et pas comparé à un attendu.

Dans un autre exemple, le brevet US10,952,488 divulgue un dispositif d'interface de soudage qui emploi un capteur optique et un capteur de temps de vol pour collecter une image d'un environnement de soudage. Le dispositif comprend aussi un contrôleur de réalité augmentée pour déterminer un objet simulé à présenter dans un champ de vision, une position de l'objet simulé dans le champ de vision, et une perspective de l'objet simulé dans le champ de vision . Un affichage semi-transparent du dispositif présente l'objet simulé rendu dans le champ de vision en fonction de la position déterminée par le contrôleur de réalité augmentée, au moins une partie de l'environnement de soudure étant observable à travers l'affichage semi-transparent lorsque l'affichage présente l'objet simulé rendu.

Il est donc entendu que l’entrainement pourrait être réalisé de manière virtuelle pour éviter qu’un opérateur soit blessé pendant l’entrainement, ce qui ne donne pas aux opérateurs le sens des lieux de travail réels et les outils qu'ils doivent utiliser, y compris le manque de compréhension du processus de travail réel. En conséquence, les opérateurs ne peuvent pas percevoir profondément le geste approprié.

Ainsi, l’invention divulguée concerne un système de reconnaissance et d’évaluation automatique d’entrainement des tâches associées avec des processus industriels. L’invention divulguée propose une solution pour préparer les séquences d’entrainement basées sur la réalité augmentée en mettant l'accent sur l’aspect acquisition, l'évaluation et la comparaison de différentes gestes de la main. Le problème visé par l’invention est celui de reconnaissance automatique de tâches pour reconnaître des tâches associées avec un procédé prédéterminé et l’ordre de leur réalisation. Ainsi, l’invention se distingue de l’art antérieur en offrant une analyse en temps réel du travail de l’opérateur et permet à ce dernier de se corriger et de valider ses travaux.

L’invention concerne un procédé pour former des opérateurs sur un processus prédéterminé ayant une séquence de gestes caractéristiques, le procédé mis en œuvre par un système informatique comprenant un ou des processeurs qui sont capables d'exécuter des instructions programmées stockées dans une mémoire connectée de manière opérationnelle à un ou des processeurs pour réaliser le procédé, caractérisé en ce que le procédé comprend les étapes suivantes :
- une étape d’acquisition réalisée par un module de réception du système informatique pour recevoir les données correspondant à la vue à la première personne de l’opérateur, pendant laquelle les gestes des mains d’un opérateur sont capturés en temps réel dans la vue à la première personne pendant une séance de formation réalisée par l’opérateur, et pendant laquelle le système informatique obtient des données d’un geste de main associé à un processus prédéterminé auquel l’opérateur participe, cette étape comprenant :
- une étape de suivi des mains à partir d’un dispositif d’affichage du système informatique incorporant un composant de suivi du type réalité augmentée, dont le suivi de mains de l’opérateur permet de détecter une position qui correspond à un début ou une fin de séquence de gestes caractéristiques d’un processus prédéterminé en cours ;
- une étape de suivi de mouvement des mains réalisée par un module d'extraction du système informatique pour extraire un ensemble de gestes caractéristiques cherchés dans le processus prédéterminé en cours, dont le suivi de mouvement à partir d’un dispositif d’affichage du système informatique permet de contrôler la trajectoire et le déplacement des doigts de l’opérateur pendant une séquence de gestes caractéristiques, et pendant laquelle le dispositif d’affichage détecte tous les gestes dans la séquence associé avec le processus prédéterminé ;
- une étape d’identification d’une position des mains de l’opérateur par rapport aux gestes caractéristiques du processus prédéterminé, pendant laquelle des paramètres du mouvement réalisé par l’opérateur et enregistrés pendant l’étape de suivi de mouvement sont utilisés pour identifier un geste caractéristique, cette étape réalisée par un module d'analyse d'extraction du système informatique pour identifier le geste caractéristique associé au processus prédéterminé ; et
- une étape de comparaison pendant laquelle le geste caractéristique identifié et les gestes caractéristiques du processus prédéterminé sont comparés pour déterminer une variance entre eux pendant le processus prédéterminé ;
de sorte que les gestes d'un opérateur en train de faire le processus prédéterminé sont enregistrés afin d'être utilisés dans la séance de formation en cours.

Dans des modes de réalisation du procédé de l’invention, l’étape d’acquisition comprend une étape de capture des gestes faits par l’opérateur dans un champ de vision du dispositif d’affichage du système informatique.

Dans des modes de réalisation du procédé de l’invention, l’étape de comparaison comprend :
- la génération d’une vérification de la qualité du geste pour indiquer où la réalisation du geste identifié est correcte ; et
- la génération d’un message d’alerte pour indiquer où la réalisation du geste identifié est incorrecte ;
- de sorte que la vérification et le message d’alerte sont générés en temps réel.

Dans des modes de réalisation du procédé de l’invention, la vérification de la qualité du geste et la vérification de la qualité du message d’alerte comprennent des consignes visuelles dans un champ de vision du dispositif d’affichage porté par l’opérateur pendant la séance de formation.

Dans des modes de réalisation du procédé de l’invention, le procédé comprend en outre une étape de fournir une ou des consignes visuelles dans un champ de texte et/ou dans un champ d’image dans un champ de vision du dispositif d’affichage du système informatique.

Dans des modes de réalisation du procédé de l’invention, la génération du message d’alerte inclut la génération d’un ou des conseils pour provoquer la correction des gestes incorrects par l’opérateur avant la réalisation des gestes en aval.

Dans des modes de réalisation du procédé de l’invention, l’étape de suivi de mouvement des mains comprend une étape de détection de fin de séquence de gestes.

Dans des modes de réalisation du procédé de l’invention, pendant l’étape de comparaison, un ou des modèles de reconnaissance des gestes utilisent :
- des algorithmes d'apprentissage automatique ; ou
- des algorithmes d'apprentissage profond.

Dans des modes de réalisation du procédé de l’invention, le procédé comprend en outre une étape d’obtention d’une synchronisation temporelle entre des gestes faits par l’opérateur et les gestes caractéristiques attendus pendant la séance de formation.

Dans des modes de réalisation du procédé de l’invention, pendant l’étape de comparaison, la synchronisation temporelle obtenue est utilisée dans l’envoi des vérifications et/ou des messages d’alerte ;
de sorte que l’opérateur reçoit en temps réel une indication de réussite ou d’échec du geste identifié.

D’autres aspects de l’invention vont devenir évidents grâce à la description détaillée suivante.

La nature et les divers avantages de l’invention vont devenir plus évidents à la lecture de la description détaillée qui suit, conjointement avec les dessins annexés, sur lesquels les mêmes numéros de référence désignent partout des parties identiques, et dans lesquels :
La représente un diagramme de flux d’un mode de réalisation d’un procédé de l’invention pour former des opérateurs sur la base des mouvements de doigts.
La représente des exemples de gestes de préhension comprenant des postures statiques de la main.
La représente une capture d’une vidéo incorporant les gestes des mains faits par l’opérateur et des consignes reçues en réalisant un processus prédéterminé.
La représente un champ de vision d’un opérateur pendant une séance de formation d’un processus nœud plat exemplaire
La représente une décomposition d’étapes dans un processus nœud plat exemplaire.

Description détaillée

En se référant maintenant aux figures, sur lesquelles les mêmes numéros identifient des éléments identiques, la représente un diagramme de flux d’un mode de réalisation du procédé 100 de l’invention. Le procédé 100 concerne un procédé de formation des opérateurs sur la base des mouvements de doigts. Le procédé 100 permet de détecter la performance correcte d’un ou des gestes associés à un ou des processus spécifiques sur la base de détection des gestes de main de l’opérateur. Telle qu’utilisée ici, toute référence à une « main » (au singulier ou au pluriel) peux inclure un ou des doigts (y compris les pouces) et/ou le poignet correspondants.

Tel qu'utilisé ici, “opérateur” se réfère à un seul utilisateur comprenant un participant individuel d’un processus prédéterminé. L’opérateur peut être un membre individuel d'une équipe ou d'un groupe qui participe à un processus prédéterminé. L’opérateur peut inclure une machine (par exemple, un robot ou un cobot) ayant des droits intégrés qui répliquent des mouvements de manière anthropomorphique. Un opérateur humain (ou pas) pourrait gérer une telle machine en gérant à distance un processus prédéterminé en direct. Il est entendu qu’un opérateur (soit humain soit machine) peut employer un ou des systèmes et/ou appareils électroniques configurés pour recevoir une entrée de commande et configurés pour envoyer automatiquement des données à au moins un autre opérateur (par exemple, un opérateur humain qui gère un processus en amont ou en aval du processus prédéterminé en cours de réalisation).

Tel qu'utilisé ici, le terme “procédé” ou “processus” peut comprendre une ou plusieurs étapes effectuées par au moins un système informatique comportant un ou des processeurs pour exécuter des instructions qui identifient les activités. Toute séquence de tâches est donnée à titre d’exemple et ne limite pas les procédés décrits à une quelconque séquence particulière.

Le procédé 100 de l’invention est mis en œuvre par un système informatique (ou « système ») pour projeter instantanément, sur la base d’une vue à la première personne d'un opérateur, des gestes de l’opérateur en train de faire un processus prédéterminé. Dans le cadre d’une formation de l’opérateur, le procédé de l’invention permet de comparer les gestes de l’opérateur aux gestes associés à un ou des processus prédéterminés pour assurer la performance correcte des processus. Comme utilisé ici, un ensemble de gestes forment une manière établie de faire un processus dans un contexte qui oblige la performance correcte des gestes. Il est entendu qu’un « geste caractéristique» comprend un geste étant associé à un processus prédéterminé dont le geste fait partie.

Le procédé 100 de l’invention utilise des méthodes de décomposition des gestes pour associer les gestes visuels et les processus réalisés sur la base de la vue à la première personne de l'opérateur en cours de formation. L’algorithme employé dans la réalisation du procédé 100 permet l’amélioration continue sur l’ensemble des séances de formation, assurant que le système qui réalise le procédé s’améliore de l’expérience qu’il acquiert par correction ou validation de l’opérateur, notamment sur le choix de l’ordre de gestes à détecter et/ou à faire pendant un processus prédéterminé. Ainsi, les traitements de gestes réalisés par l’invention divulguée permettent de différencier la reconnaissance de gestes associés avec chaque processus, de gestes associés avec un processus particulier, et la reconnaissance d’un processus dans son intégralité. Il est entendu que des outils basés sur l’intelligence artificielle (ou « IA ») pourraient aussi être utilisés dans la réalisation du procédé 100.

L’entrée de données de gestes de l’opérateur, comprenant au moins une vidéo incorporant une ou des vues à la première personne de l’opérateur, peut faciliter une identification de gestes dans la vue à la première personne de l’opérateur. Un processus d’analyse du geste est réalisé manuellement pendant le procédé 100, et les paramètres d’identification sont trouvés par essais erreur. Dans des modes de réalisation du procédé 100, des gestes réalisés par l’opérateur et identifiés dans ses vues peuvent être associés avec un ou des processus prédéterminés. L'entrée de données de gestes de l’opérateur, capturée pendant une ou des séances de formation de l’opérateur, peut inclure une position de départ de l’opérateur (ou « position neutre ») dérivé de la vue à la première personne de l’opérateur et se référant à une main particulière (et/ou un doigt particulier) de l’opérateur. Cette entrée de données de gestes capturée peut inclure aussi une position de doigt de l’opérateur associée à au moins certains des processus prédéterminés dans lesquels l’opérateur a l’intention de se former.

Le procédé 100 comprend donc l'extraction de caractéristiques de la vue à la première personne de l’opérateur. Dans un mode de réalisation, ces caractéristiques sont basées au moins en partie sur les gestes caractéristiques associés aux processus prédéterminés reconnus pendant une séance de formation à laquelle l’opérateur participe. Le procédé divulgué utilise des méthodes d’apprentissage automatiques (par exemple, l’entrainement des réseaux neuronaux) pour reconnaitre des gestes caractéristiques associés aux processus réalisés, et pour corriger les gestes faits qui empêchent la réalisation correcte d’un ou des processus associés.

En se référant encore à la , un système informatique (ou « système ») qui réalise le procédé 100 enregistre les gestes des mains de l’opérateur pendant une séance de formation réalisée par l’opérateur. Le système obtient des données d’un geste de main éventuellement associé à un processus particulier auquel l’opérateur participe (ou « processus prédéterminé »). Il est entendu que les données du geste obtenues peuvent être associées à un geste caractéristique (ou d’une séquence de gestes caractéristiques) d’un processus prédéterminé auquel l’opérateur se forme.

Le système informatique (ou « système ») qui réalise le procédé 100 comprend un réseau de communication incorporant un ou des serveurs de communication (ou « serveurs ») qui gèrent les données entrantes au système à partir des sources variées. Le réseau de communication peut inclure des connexions câblées ou sans fil et peut mettre en œuvre tout protocole de transfert de données connu d'un homme de métier. Les exemples de connexions sans fil peuvent inclure, sans limitation, les radiofréquences (RF), les satellites, les téléphones portables (analogiques ou numériques), Bluetooth®, Wi-Fi, infrarouge, ZigBee, réseau local (LAN), WLAN (Wireless Local Area Network), réseau étendu (WAN), NFC (« near field communication »), d'autres configurations et normes de communication sans fil, leurs équivalents, et une combinaison de ces éléments.

Le terme « processeur » (ou, alternativement, le terme "circuit logique programmable") désigne un ou plusieurs dispositifs capables de traiter et d'analyser des données et comprenant un ou plusieurs logiciels pour leur traitement (par exemple, un ou plusieurs circuits intégrés connus par l’homme de métier comme étant inclus dans un ordinateur, un ou plusieurs contrôleurs, un ou plusieurs microcontrôleurs, un ou plusieurs micro-ordinateurs, un ou plusieurs automates programmables (ou « PLC »), un ou plusieurs circuits intégrés spécifiques à une application, un ou plusieurs réseaux de neurones, et/ou un ou plusieurs autres circuits programmables équivalents connus). Le processeur comprend un logiciel pour le traitement des données capturées par les éléments associés avec le système informatique (et les données correspondantes obtenues) ainsi qu'un logiciel pour l'identification et la localisation des variances et l’identification de leurs sources pour les corriger.

Le système informatique comprend au moins un dispositif d’affichage porté sur la tête de l’opérateur pendant une séance de formation. Le dispositif d’affichage incorpore un système optique donnant à l’opérateur une vue à la première personne directe réelle de l'espace devant lui/elle. Comme utilisé ici, la vue « directe réelle » fait référence à la capacité de voir directement les mains (y compris les poignets) de l’opérateur dans un environnement physique avec l'œil humain et non pas des représentations d'images créées (par exemple, regarder une vidéo d'un doigt d’une main sur un écran n'est pas une vue directe réelle du doigt). Il est entendu que le dispositif d’affichage peut comprendre un dispositif de réseau mobile en communication avec le réseau de communication du système informatique (y compris des dispositifs du type « réalité augmentée » et/ou « réalité virtuelle », et/ou toutes combinaisons et/ou tous équivalents), (voir, par exemple, le dispositif d'affichage monté sur la tête du brevet US11,017,231).

Le dispositif d’affichage peut comprendre au moins une caméra vidéo (ou « caméra ») faisant face à l'environnement physique dont l’opérateur fait la séance de formation. La caméra peut capturer des images vidéo et fixes des gestes réalisés par l’opérateur en cours de formation. Comme utilisé ici, « image », au singulier ou au pluriel, fait respectivement référence aux images fixes et aux images capturées dans des séquences vidéo. La caméra peut être choisie parmi les caméras disponibles dans le commerce, y compris, sans limitation, des caméras de profondeur et des caméras à lumière visible (caméra RVB). Dans la description qui suit, les termes « caméra vidéo », "caméra", "appareil photo", "capteur" et "capteur optique" peuvent être utilisés de manière interchangeable et peuvent se référer à un ou plusieurs appareils configurés pour capturer des images vidéo et fixes.

Le dispositif d’affichage employé enregistre la vue à la première personne incorporant les gestes des mains faits par l’opérateur pendant une ou des séances de formation. Les gestes enregistrés comprennent les actions comportementales de l’opérateur en cours de formation dans un processus prédéterminé. Le dispositif d’affichage peut comprendre divers éléments électroniques (comprenant, à titre d’exemple, des haut-parleurs, des capteurs inertiels, un émetteur-récepteur GPS et/ou un capteur de température). Toutefois, il n’est pas nécessaire de cartographier des mains de l’opérateur dans l’environnement physique ni de les identifier par rapport à des emplacements géographiques d’autres objets dans la vue de l’opérateur pendant la séance de formation.

Le dispositif d’affichage comprend un composant de suivi intégré pour suivre les gestes des mains faits par l’opérateur pendant une séance de formation. Le composant de suivi peut prendre en compte la perception du déplacement des mains (y compris les déplacements des doigts individuels et/ou des poignets) qui est principalement définie par le contrôle du mouvement du point de vue de l'opérateur. Le composant de suivi peut être du type disponible dans le commerce.

Dans un mode de réalisation, le dispositif d’affichage comprend un composant de suivi du type réalité augmentée (par exemple, du type HoloLens® proposé par Microsoft)). Dans ce type de dispositif, il existe des capteurs embarqués dans l’appareil qui élimine le besoin d’avoir une caméra fixe que l’opérateur doit positionner. En outre, un dispositif d’affichage incorporant un composant de suivi du type réalité augmentée permet une vue à la première personne pour réaliser une projection instantanée de l’opérateur sur le geste. L’affichage intégré dans un tel dispositif d’affichage permet une interaction dynamique, avec des alertes rapides (permettant une correction immédiate du geste en amont d’autres gestes d’un processus prédéterminé) et/ou des validations immédiates (permettant le renforcement de bons gestes et la réalisation en continu du processus prédéterminé).

Avec l’utilisation d’une technologie réalité augmentée, la spécification des prises et des gestes de la main correctes d’un processus prédéterminé est prise en compte. Par exemple, en se référant à la , on peut voir qu'un geste de préhension comprend toute posture statique de la main avec laquelle un objet peut être tenu en toute sécurité indépendamment de l'orientation de la main (la correspond à la Figure 16 de la référenceAn Approach to Preparing Hand Gesture Maintenance Training Based on Virtual Reality, Manoch Numfu, Université Grenoble Alpes, https://tel.archives-ouvertes.fr/tel-03158358, (3 March 2021)), (« la référence Numfu »)(citant la référence Huagen, Shuming, & Qunsheng., 2004). Les gestes de préhension peuvent être classifiés selon une forme de base, telle que le cuboïde, le cylindre, la sphère, le triangle, etc. (citant Liu X. Cui, Song, & Xu, 2014). Ainsi, dans le monde réel, l’orientation des mains est réalisée dans un espace réel sans contraintes de mouvement.

Le processus prédéterminé choisi pour la formation est composé d'une séquence d'étapes marquées par les gestes de mains spécifiques nécessaires pour effectuer correctement le processus prédéterminé. Des instanciations d’un modèle d’un processus générique peuvent être utilisées pour spécifier des séquences d'entraînement qui pourront être suivies par l’opérateur, à condition que les séquences de gestes correspondants aient été enregistrées auparavant (par exemple en filmant un expert exécutant la séquence). Dans le cadre de la séquence de chaque étape de processus, il est nécessaire de spécifier le geste (et, si besoin, le ou les outils) approprié pour réaliser correctement le processus en fonction des caractéristiques du processus choisi. Les gestes seront mis en interaction avec la main de l’opérateur afin de constituer le modèle qui décrit les gestes des mains utilisés pour chaque étape d’un processus prédéterminé.

Le dispositif d’affichage peut communiquer par fil ou sans fil (par exemple, via WiFi, Bluetooth®, infrarouge, transmission RFID, Universal Serial Bus (USB), cellulaire, et/ou autres moyens de communication sans fil) sur le réseau de communication du système informatique.

Le réseau de communication du système informatique peut comprendre un ou d’autres dispositifs de communication (ou « dispositifs ») qui capturent et qui transmettent des données recueillies de l’environnement physique dans lequel l’opérateur réalise une séance de formation. Le ou les dispositifs de communication peuvent comprendre un ou des dispositifs portables tels qu'un dispositif de réseau mobile d’un opérateur identifié ou d’un formateur de l’opérateur (par exemple, un téléphone mobile, un ordinateur portable, un ou des dispositifs portables connectés au réseau, y compris des dispositifs du type « réalité augmentée » et/ou « réalité virtuelle », et/ou toutes combinaisons et/ou tous équivalents). Le ou les dispositifs de communication peuvent comprendre aussi un ou des ordinateurs à distance pouvant transférer des données par le réseau de communication.

Le système informatique comprend un ou plusieurs modules qui sont mis en œuvre par le système informatique et exécutables par un ou des processeurs. Les modules comprennent un module de réception configuré pour recevoir les données correspondant à la vue à première personne de l’opérateur, capturées par le dispositif d’affichage. Les modules comprennent aussi un module d'extraction configuré pour extraire un ensemble de gestes caractéristiques cherchés dans un processus prédéterminé. Cet ensemble de gestes caractéristiques peut inclure des gestes caractéristiques qui apparaissent dans la vue de l’opérateur. Les modules comprennent en outre un module d'analyse configuré pour identifier, en se basant au moins en partie sur l'ensemble de gestes caractéristiques associés au processus prédéterminé en cours de réalisation pendant une séance de formation, le geste caractéristique particulier associé au processus prédéterminé (ou à une tâche du processus prédéterminé) afin de reconnaître la réalisation correcte du geste caractéristique dans une combinaison et/ou ordre prédéterminé.

Le dispositif d'affichage monté sur la tête de l’opérateur peut afficher à l'opérateur un contenu virtuel. En se référant aux figures 3 et 4, le dispositif d'affichage monté sur la tête peut avoir un champ de vision qui indique les gestes des mains faits par l’opérateur pendant une séance de formation (y compris, sans limitation, une position de l’extrémité d’un doigt index droit D_D, une position de l’articulation d’une phalange droite D_D1, et l’orientation des poignets respectifs gauche et droite P_G, P_Dcomme représentés par les axes respectifs) (voir la ). Le champ de vision du dispositif d’affichage définit un volume d'espace dans lequel l'opérateur peut voir la vue à première personne des mains réalisant le geste correctement.

En se référant encore à la et en outre à la , d'autres indices peuvent être utilisés pour étiqueter les pixels correspondant à différentes parties des mains (y compris les poignets). Par exemple, les pixels représentant la main gauche M_Gpeuvent être étiquetés avec un indice différent de celui des pixels représentant la main droite M_D. Dans un autre exemple, les pixels représentant le doigt index droit D peuvent être étiquetés avec un indice différent de celui des pixels représentant un pouce T.

La reconnaissance de gestes peut également être réalisée en étiquant les pixels de toute manière appropriée. Par exemple, un réseau neuronal artificiel peut être entraîné pour classer chaque pixel avec les indices/étiquettes appropriés. De cette façon, les différentes caractéristiques d'une main ou d'une autre peuvent être identifiées par le calcul, permettant ainsi de discerner différents gestes. Par exemple, la position tridimensionnelle des doigts peut être suivie d'une séance de formation à l'autre, ce qui permet de discerner des paramètres tels que la position des doigts, l'angle des doigts, la vitesse des doigts, l'accélération des doigts, la proximité des doigts, etc.

Ces informations sont traitées en continu pour détecter des positions ou postures spécifiques à des étapes de réalisation du geste et pour suivre des mouvements afin de vérifier si l’enchainement des gestes est conforme avec l’objectif du geste à réaliser. Ce sont les experts du métier et les formateurs qui définissent ces étapes et la pédagogie associée. Dans l’exemple du nœud plat fourni ci-dessous, le passage du fils de la main droite M_Ddans la main gauche M_Gimplique des critères pour que cette étape du geste soit réalisée correctement. La finalité (étant la tenue des deux fils dans la main gauche) peut être réalisée différemment, mais ça ne sera pas un « bon geste » parce qu’il n’est pas adapté à toutes les situations (par exemple, petit fils, gros câble, présence de tension, etc.). Les tolérances sont adaptées à différentes morphologies humaines et doivent donc laisser une liberté de réalisation sans remettre en cause la finalité du geste. Ainsi, ce point est spécifique à chaque application.

Exemple de combinaison des gestes, postures et contrôles sur le nœud plat

En se référant encore aux figures 3 et 4, et en outre à la , à titre d’exemple, on considère la combinaison de gestes, postures et contrôles associés à un processus sur le nœud plat. Chaque geste du processus comprend une séquence qui est décomposée en plusieurs étapes comme représentées dans la . La représente une zone de détection par rapport à une main surveillée dont certaines articulations de la main se positionnent dans un volume proche de certains repères (par exemple, l’intersection de plan de main et d’axe de doigt ou orientation du poignet).

En se référant à la , dans le cadre d’un « proof-of-concept » d’un processus nœud plat (réalisé ici par les droitiers), il existe une combinaison de quatre (4) étapes essentielles permettant de réaliser un nœud :
- Le processus démarre à partir d’une position de départ dont une extrémité d’un fil est prise dans chaque main et les mains sont écartées par une distance minimum prédéterminée. En se référant à la , les étapes définies sont les suivantes :
- La main droite réalise une première étape de croisement (« Étape 1 ») pendant laquelle le fil tenu dans la main droite est amené dans la main gauche en croisant un fil dessus. En réalisant cette étape, le système reconnaît un geste correct. Cette reconnaissance s’exprime à l’opérateur sous forme d’un message de renforcement et/ou d’encouragement affiché dans le champ de vision du dispositif d’affichage (voir, par exemple, le champ de texte 50 représenté dans la ). Ce message pourrait incorporer une instruction à passer à la prochaine étape. Dans le cas où cette étape est mal réalisée (par exemple, le fil tenu dans la main droite est amené dans la main gauche en croisant un fil dessous), le dispositif d’affichage incorpore un message pédagogique pour identifier l’erreur et pour encourager sa correction (par exemple, un message dans le champ de texte 50 qui dit « Geste erroné, passer la main droite au-dessus du fil »).
- La main droite réalise une deuxième étape de crochet (« Étape 2 ») pendant laquelle le croisement du fil est tenu entre le pouce droit et le doigt index droit de la main droite. Simultanément, la main gauche amène le fil dessus pour former un premier crochet sans nœud. Si cette étape est bien réalisée, le dispositif d’affichage incorpore un message pour la reconnaître et pour passer à la prochaine étape. Dans le cas où cette étape est mal réalisée (par exemple, la main gauche amène le fil dessous au lieu de dessus), le dispositif d’affichage incorpore un message pédagogique pour identifier l’erreur et pour encourager sa correction (par exemple, un message dans le champ de texte 50 qui dit « Pas de nœud, réessayer » ou un message qui donne une consigne). Ainsi, le système focalise l’opérateur sur les bons gestes qui assurent la réalisation du nœud attendu, et il évite que l’opérateur apprenne les gestes qui empêchent cette réalisation.
- La main droite réalise une troisième étape de croisement (« Étape 3 ») pendant laquelle le fil tenu dans la main droite est amené dans la main gauche en croisant un fil dessous. Si cette étape est bien réalisée, le dispositif d’affichage incorpore un message pour la reconnaître et pour passer à la prochaine étape. Dans le cas où cette étape est mal réalisée (par exemple, la main gauche amène le fil dessus au lieu de dessous), le dispositif d’affichage incorpore un message pédagogique pour identifier l’erreur et pour encourager sa correction (par exemple, un message dans le champ de texte 50 qui assure un contrôle qualité par l’opérateur).
- La main droite réalise une quatrième et dernière étape de crochet (« Étape 4 ») pendant laquelle le croisement du fil est tenu entre le pouce droit et le doigt index droit de la main droite. Simultanément, la main gauche amène le fil dessous pour former un deuxième crochet (et donc le nœud). Si cette étape est bien réalisée, le dispositif d’affichage incorpore un message pour la reconnaître et pour assurer un contrôle qualité par l’opérateur. Dans le cas où cette étape est mal réalisée (par exemple, la main gauche amène le fil dessus au lieu de dessous), le dispositif d’affichage incorpore un message pédagogique pour alerter l’opérateur et pour encourager sa correction (par exemple, un message dans le champ de texte 50 qui dit « Dessus ou dessous ? ».

En se référant encore à l’exemple de combinaison de gestes sur le nœud plat, l’opérateur pourrait avoir des consignes de suivi incorporant les indications pour réussir les gestes caractéristiques attendus. Dans l’exemple représenté dans la , les consignes qui apparaissent dans le champ de vision du dispositif d’affichage peuvent inclure, par exemple :
- une identification du geste « boucle 1 détectée » qui déclenche une séquence de gestes caractéristiques (signalé par la consigne « boucle 2 attendue ») ;
- une vérification de qualité de geste identifié (« Vérifier la qualité du nœud ») ; et
- une image du nœud correct pour faire une comparaison avec le nœud, réalisée par l’opérateur pendant la séance de formation.

Il est entendu que le dispositif d’affichage pourrait inclure une image de référence (voir, par exemple, la , dans laquelle le champ de vision du dispositif d’affichage incorpore un champ d’image 52 qui représente le nœud correct et les croisements dessus et dessous). Le système peut assurer les consignes à chaque étape du processus pour assurer la prise en compte par l’opérateur en tandem avec le geste réalisé (les consignes étant lisibles dans le champ de texte 50 et/ou des consignes visuelles dans l’image 52). Ces consignes pourraient être mises en combinaison avec une ou d’autres alertes qui indiquent un besoin de modification du geste (y compris, par exemple, des alertes audibles).

Il est entendu que chaque étape peut être bien ou mal réalisée, mais une « mauvaise » combinaison d’étapes bien réalisées peut amener à un mauvais nœud ou à l’absence de nœud. Il faut donc contrôler aussi la combinaison. On retrouve donc les mouvements avec les combinaisons possibles, les combinaisons « interdites » qui introduisent un problème de qualité, la combinaison correcte, et les combinaisons qui ne font pas de nœuds (dans ce dernier cas, il n’y aucun risque parce que l’opérateur se rend compte de son erreur tout seul). Cette décomposition est valable pour les droitiers, et elle est symétrique (droite- gauche) pour les gauchers.

En utilisant le dispositif d’affichage incorporant un composant de suivi du type réalité augmentée, le suivi des mains de l’opérateur permet de suivre l’exécution d’un mouvement, de vérifier des points de passage, de contrôler les orientations du poignet et des doigts, et de valider des combinaisons de gestes pour vérifier si le geste réalisé est conforme au processus prédéterminé. Le moyen d’affichage du dispositif d’affichage permet d’indiquer les erreurs et/ou les risques à l’opérateur en temps réel, de donner des conseils, d’insister sur les messages pédagogiques, d’apprendre à faire les contrôles de qualité avec un rappel de la norme, et de suivre la performance (par exemple, en donnant un « challenge » sur le nombre de bons gestes à la suite).

En se référant encore aux figures 1 à 5, une description détaillée est donnée à titre d’exemple d’un procédé 100 de l’invention (« procédé ») pour former des opérateurs sur la base des mouvements de doigts. Le procédé 100 est mis en œuvre par le système informatique décrit ci-dessus (ou par un site et/ou une installation incorporant le système informatique). Chaque geste est décomposé en plusieurs étapes, et chaque étape est contrôlée suivant le diagramme de flux représenté dans la . Dans le procédé 100, le fonctionnement du contrôle d’un geste incorpore les options suivantes :
- Contrôle de posture ;
- Suivi de geste ;
- Affichage de consigne ; et
- Affichage d’alerte.

Les affichages de consigne(s) et d’alerte(s) sont réalisés dans le champ de vue du dispositif d’affichage porté par l’opérateur pendant une séance de formation d’un processus prédéterminé.

En démarrant le procédé 100 de l’invention, le procédé comprend l’étape d’acquisition 102 pendant laquelle les gestes des mains de l’opérateur sont capturés dans la vue à la première personne pendant une séance de formation réalisée par l’opérateur. Plus particulièrement, les gestes des mains de l’opérateur sont capturés dans le champ de vision du dispositif d’affichage en temps réel correspondant à la réalisation du geste. Pendant cette étape, le système obtient des données d’un geste de main éventuellement associé à un processus prédéterminé dont l’opérateur participe.

L’étape d’acquisition 102 comprend une étape de suivi des mains, à partir du dispositif d’affichage incorporant le composant de suivi du type réalité augmentée. Le suivi des mains permet de détecter une position qui correspond à un début ou une fin de séquence de gestes caractéristiques. Pendant cette étape, la position d’une ou des mains de l’opérateur sont suivies pour déterminer si cette position est dans une tolérance prédéterminée pour démarrer le processus prédéterminé en cours. Cette étape dénote le démarrage d’une séquence de gestes dans un ordre attendu à partir d’un positionnement initial des mains.

Le procédé 100 comprend en outre une étape 104 de suivi de mouvement des mains pendant laquelle le dispositif d’affichage détecte tous les gestes dans la séquence associé avec le processus prédéterminé choisi pour la formation en cours. Le suivi de mouvement permet de contrôler la trajectoire et le déplacement des doigts de l’opérateur pendant une séquence de gestes caractéristiques. Cette étape comprend une étape de détection de fin de séquence. En raison de suivi du mouvement des mains pendant cette étape, il n’est pas nécessaire que l’opérateur prenne un positionnement initial particulier en démarrant la séquence des gestes du processus prédéterminé pendant l’étape 102.

Il est entendu que l’opérateur pourrait utiliser une ou les deux mains, en fonction de la formation et du processus prédéterminé choisi.

Les gestes de la main et les séquences dont ils font partie sont détectés dans le champ de vue du dispositif d’affichage. Les gestes détectés peuvent être enregistrés afin d'être utilisés dans la formation en cours et pour revoir la performance de l’opérateur à la fin de cette formation. Pour une reconnaissance robuste des gestes des mains, un ou des modèles de reconnaissance des gestes utilisent principalement des algorithmes d'apprentissage automatique (tels que K-Nearest Neighbor (KNN) et Support Vector Machine (SVM)), et des algorithmes d'apprentissage profond (tels que réseau neuronal récurrent (RNN) et le réseau neuronal à convolution profond (CNN)). Ces modèles sont utilisés pour détecter les gestes caractéristiques du processus prédéterminé à partir d’un ou plusieurs gestes faits par l’opérateur pendant une séance de formation.

Il est entendu qu’un réseau de neurones convolutifs graphiques (ou « Graph CNN ») peut être employé pendant le procédé 100 pour reconstruire un maillage 3D complet de la surface de la main qui contient des informations plus riches sur la forme et la pose de la main. Pour entraîner les réseaux avec une supervision complète, un ensemble de données synthétiques peut être créé contenant à la fois la forme et la pose de la main. Dans cette manière, on peut utiliser des réseaux neuronaux profonds qui sont formés de bout en bout pour récupérer le maillage 3D de la main directement à partir d'une seule image RVB (par exemple, une image d’une ou des mains d’un expert qui réalise régulièrement la séquence correcte, y compris les gestes corrects, associés au processus prédéterminé) (voir « 3D Hand Shape and Pose Estimation from a Single RGB Image », Liuhao Ge et al.,Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(2019)(la « référence Ge »). Il est entendu que d’autre méthodes peuvent être employées, y compris l’apprentissage des variations non linéaires de la forme de la main.

Le procédé 100 comprend en outre une étape 106 d’identification de la position des mains de l’opérateur par rapport aux gestes caractéristiques du processus prédéterminé. Pendant cette étape, les paramètres clefs du mouvement réalisé par l’opérateur (enregistrés pendant l’étape 104 de suivi de mouvement) sont utilisés pour identifier la position de la main par rapport aux gestes caractéristiques du processus prédéterminé.

Le procédé 100 comprend en outre une étape 108 de comparaison pendant laquelle les caractéristiques du geste identifié pendant l’étape 106 (par exemple, la position de l’extrémité du doigt index D_D, la position de l’articulation du pouce T et l’orientation des poignets P_G, P_D) sont pris en compte pour valider le geste conformément au processus prédéterminé. Pendant cette étape, le geste identifié et les gestes caractéristiques du processus prédéterminé sont comparés pour déterminer une variance entre le geste identifié et le geste correct correspondant du processus prédéterminé. Cette comparaison engendre soit une vérification 108a de la qualité du geste soit un message d’alerte 108b pour avertir l’opérateur. La vérification 108a et le message d’alerte 108b sont faits en temps réel pour que l’aspect validation/correction du geste soit lié à la séquence de gestes caractéristiques du processus prédéterminer à réaliser pendant la formation. La vérification 108a et le message d’alerte 108b comprennent des messages écrits dans le champ de vision du dispositif d’affichage (comme représenté par les consignes 110 de la ). Il est entendu que ces messages écrits pourraient être accompagnés par des messages audios et/ou par des signaux haptiques.

Pendant l’étape 108 de comparaison, une vérification 108a du geste engendre une vérification supplémentaire 108a’ pour valider que le geste identifié est conforme aux tolérances du mouvement établies pour le processus prédéterminé. Cette validation supplémentaire peut être réalisée en amont du geste suivant dans la séquence de gestes caractéristiques, de sorte que l’opérateur apprend bien le comportement du geste actuel.

Si la validation supplémentaire 108a’ indique la réalisation incorrecte du geste identifié, un message d’alerte 108b’ apparait dans le champ de vision du dispositif d’affichage. Dans le cas où un message d’alerte 108b, 108b’ indique la réalisation incorrecte du geste identifié, l’opérateur est averti de ce fait avant la réalisation d’un geste en aval. L’envoi d’un message d’alerte indique un risque d’échec à réaliser le processus prédéterminé pour que l’opérateur puisse corriger son geste en temps réel lors la formation en cours. Un message d’alerte 108b, 108b’ peut inclure un ou des conseils pour provoquer la correction des gestes incorrects par l’opérateur avant la réalisation des gestes en aval (par exemple, une ou des consignes lisibles dans un champ de texte du type 50 représenté dans la et/ou une ou des consignes visuelles dans un champ d’image du type 52 représenté dans la ). L’envoi des messages d’alerte 108b, 108b’ peut être répété jusqu’à ce que l’opérateur réalise correctement le geste identifié (y compris la réalisation du geste dans le bon ordre d’une séquence de gestes caractéristiques du processus prédéterminé).

Ainsi, le système qui met en œuvre le procédé 100 de l’invention surveille en temps réel l’adéquation entre le travail de l’opérateur et se sert d’un enchainement d’étapes pour valider la qualité du geste (et donc sa potentialité à aboutir au bon résultat). Cet enchainement d’étapes pourra être utilisé pour éviter les cas où un bon résultat est obtenu par des gestes inadaptés (par exemple, pour des raisons d’ergonomie, de qualité, de répétabilité et/ou de transposition à d’autres processus). Le système va donner à l’opérateur la consigne de comparer son travail avec l’attendu. Par ces aspects, on obtient un résultat contrôlable par l’opérateur et issu de procédures validées qu’il aura assimilées. En conséquence, l’opérateur est incité à faire son auto-critique et à valider sa capacité à agir en autonomie sur le processus réel, puisqu’il/elle a acquis la capacité à se contrôler lui/elle-même.

Dans tous les modes de réalisation du procédé 100, une synchronisation temporelle est obtenue entre des gestes faits par l’opérateur et une séance de formation réalisée par l’opérateur (par exemple, pour vérifier que les gestes respectent une cadence correcte du processus prédéterminé). La synchronisation temporelle est obtenue en utilisant des points de synchronisation temporelle enregistrés par le dispositif d’affichage qui correspondent dans le temps à un processus prédéterminé de la séance de formation. Les gestes caractéristiques du processus prédéterminés et les points de synchronisation temporelle sont utilisés pour aligner les gestes faits par l’opérateur et les heures des gestes de la séance de formation sur la même horloge. De cette manière, les gestes de l’opérateur sont synchronisés dans le temps avec la séance de formation de sorte que chaque geste sera mis en correspondance avec un geste caractéristique au moment approprié sur l'horloge. Comme un processus prédéterminé concerne une séquence temporelle, le temps peut être utilisé comme un signal explicit pour identifier le rapport entre les gestes dans le champ de vision du dispositif d’affichage et les gestes caractéristiques attendus. Pendant l’étape 108 de comparaison du procédé 100, cette synchronisation pourrait être utilisée dans l’envoi des vérifications 108a, 108a’ et/ou des messages d’alerte 108b, 108b’de sorte que l’opérateur reçoit en temps réel une indication de réussite ou d’échec du geste. L’opérateur peut donc réagir de manière appropriée pour prendre en contrôle la réalisation correcte du processus prédéterminé en cours.

Dans tous les modes de réalisation du procédé 100, un réseau neuronal peut être entraîné pour permettre de reconnaitre les gestes caractéristiques dans des séances de formation et de créer des boîtes englobantes (ou « régions encadrées ») autour des gestes caractéristiques reconnus. Les régions encadrées peuvent représenter des gestes faits correctement pour renforcer de bonnes habitudes en faisant le processus prédéterminé qui est le sujet de la séance de formation en cours (par exemple, une région encadrée autour du pouce T qui est mal articulé). Pendant cet entraînement, les coordonnées de la boîte englobante du geste caractéristique sont mises en corrélation avec les coordonnées des positions de mains. Ces coordonnées sont utilisées pour calculer des caractéristiques du geste comprenant, sans limitation, le temps de complétion du geste et le temps de complétion de la séquence dont le geste fait partie. Les régions recadrées et les gestes caractéristiques sont transmis à un réseau neuronal (par exemple, un ou des CNNs) pour apprendre conjointement la représentation du geste caractéristique par des opérateurs différents pendant la formation.

Dans tous les modes de réalisation du procédé 100 de l’invention, une ou plusieurs étapes peuvent être réalisées de manière itérative.

Le système informatique peut inclure des préprogrammations des informations de gestion. Par exemple, un réglage du procédé 100 peut être associé avec les paramètres des environnements physiques typiques dans lesquels le système fonctionne. Dans des modes de réalisation du procédé 100, le système informatique (et/ou une installation incorporant le système informatique) peut recevoir des commandes vocales ou d'autres données audio représentant, par exemple, une démarche ou un arrêt de capture des vidéos. La commande peut inclure une demande pour l'état actuel du procédé prédéterminé. Une réponse générée peut être représentée de manière audible, visuelle, tactile (par exemple, en utilisant une interface haptique) et/ou virtuelle et/ou augmentée. Cette réponse, ainsi que les données correspondantes, peuvent être enregistrées dans le réseau neuronal.

L’invention divulguée à pour but de perturber au minimum l’apprenti (l’opérateur). Il faut donc accompagner le geste pour qu’il soit fluide et « s’automatise » tout en donnant des indications sur la qualité, la précision, les contrôles à réaliser ou en reprenant les messages pédagogiques de la formation initiale (voir l’exemple sur le nœud plat ci-dessus). Un message d’alerte sur une erreur détectée insiste sur l’autocontrôle que l’opérateur doit faire systématiquement. En focalisant sur les caractéristiques des gestes en temps réel, la formation de l’opérateur reste autonome indépendamment de ses caractéristiques individuelles (par exemple, la taille des mains, la couleur de la peau, la présence d’une maladie ou d’une invalidité de mains, le genre de l’opérateur, etc.).

Les termes « au moins un(e) » et « un(e) ou plusieurs » sont utilisés de manière interchangeable. Les gammes qui sont présentées comme se situant « entre a et b » englobent les valeurs « a » et « b ».

Bien que des modes de réalisation particuliers de l’appareil révélé aient été illustrés et décrits, on comprendra que divers changements, additions et modifications peuvent être pratiqués sans s’écarter de l’esprit ni de la portée du présent exposé. Par conséquent, aucune limitation ne devrait être imposée sur la portée de l’invention décrite à l’exception de celles exposées dans les revendications annexées.

Claims (10)

1. Procédé (100) pour former des opérateurs sur un processus prédéterminé ayant une séquence de gestes caractéristiques, le procédé mis en œuvre par un système informatique comprenant un ou des processeurs qui sont capables d'exécuter des instructions programmées stockées dans une mémoire connectée de manière opérationnelle à un ou des processeurs pour réaliser le procédé, caractérisé en ce que le procédé comprend les étapes suivantes :
   - une étape d’acquisition (102) réalisée par un module de réception du système informatique pour recevoir les données correspondant à la vue à la première personne de l’opérateur, pendant laquelle les gestes des mains d’un opérateur sont capturés en temps réel dans la vue à la première personne pendant une séance de formation réalisée par l’opérateur, et pendant laquelle le système informatique obtient des données d’un geste de main associé à un processus prédéterminé auquel l’opérateur participe, cette étape comprenant :
   - une étape de suivi des mains à partir d’un dispositif d’affichage du système informatique incorporant un composant de suivi du type réalité augmentée, dont le suivi de mains de l’opérateur permet de détecter une position qui correspond à un début ou une fin de séquence de gestes caractéristiques d’un processus prédéterminé en cours ;
   - une étape de suivi de mouvement des mains (104) réalisée par un module d'extraction du système informatique pour extraire un ensemble de gestes caractéristiques cherchés dans le processus prédéterminé en cours, dont le suivi de mouvement à partir d’un dispositif d’affichage du système informatique permet de contrôler la trajectoire et le déplacement des doigts de l’opérateur pendant une séquence de gestes caractéristiques, et pendant laquelle le dispositif d’affichage détecte tous les gestes dans la séquence associé avec le processus prédéterminé ;
   - une étape d’identification (106) d’une position des mains de l’opérateur par rapport aux gestes caractéristiques du processus prédéterminé, pendant laquelle des paramètres du mouvement réalisé par l’opérateur et enregistrés pendant l’étape de suivi de mouvement (104) sont utilisés pour identifier un geste caractéristique, cette étape réalisée par un module d'analyse d'extraction du système informatique pour identifier le geste caractéristique associé au processus prédéterminé ; et
   - une étape de comparaison (108) pendant laquelle le geste caractéristique identifié et les gestes caractéristiques du processus prédéterminé sont comparés pour déterminer une variance entre eux pendant le processus prédéterminé ;
   de sorte que les gestes d'un opérateur en train de faire le processus prédéterminé sont enregistrés afin d'être utilisés dans la séance de formation en cours.
2. Procédé (100) de la revendication 1, dans lequel, pendant l’étape d’acquisition (102), la capture des gestes faits par l’opérateur est réalisée dans un champ de vision du dispositif d’affichage du système informatique.
3. Procédé (100) de la revendication 2, dans lequel l’étape de comparaison (108) comprend :
   - la génération d’une vérification (108a, 108a’) de la qualité du geste pour indiquer où la réalisation du geste identifié est correcte ; et
   - la génération d’un message d’alerte (108b, 108b’) pour indiquer où la réalisation du geste identifié est incorrecte ;
   de sorte que la vérification (108a) et le message d’alerte (108b) sont générés en temps réel.
4. Procédé (100) de la revendication 3, dans lequel la vérification (108a, 108a’) de la qualité du geste et le message d’alerte (108b, 108b’) générés pendant l’étape de comparaison comprennent des consignes visuelles dans un champ de vision du dispositif d’affichage du système informatique comprenant un dispositif d’affichage qui est porté par l’opérateur pendant la séance de formation.
5. Procédé (100) de la revendication 4, comprenant en outre une étape de fournir une ou des consignes visuelles dans un champ de texte (50) et/ou dans un champ d’image (52) dans un champ de vision du dispositif d’affichage du système informatique.
6. Procédé (100) de l’une quelconque des revendications 3 à 5, dans lequel la génération du message d’alerte (108b, 108b’) inclut la génération d’un ou des conseils pour provoquer la correction des gestes incorrects par l’opérateur avant la réalisation des gestes en aval.
7. Procédé (100) de l’une quelconque des revendications précédentes, dans lequel l’étape de suivi de mouvement des mains (104) comprend une étape de détection de fin de séquence de gestes.
8. Procédé (100) de l’une quelconque des revendications précédentes, dans lequel, pendant l’étape de comparaison (108), un ou des modèles de reconnaissance des gestes utilisent :
   - des algorithmes d'apprentissage automatique ; ou
   - des algorithmes d'apprentissage profond.
9. Procédé (100) de l’une quelconque des revendications précédentes, comprenant en outre une étape d’obtention d’une synchronisation temporelle entre des gestes faits par l’opérateur et les gestes caractéristiques attendus pendant la séance de formation.
10. Procédé (100) de la revendication 9, dans lequel, pendant l’étape de comparaison (108), la synchronisation temporelle obtenue est utilisée dans l’envoi des vérifications (108a, 108a’) et/ou des messages d’alerte (108b, 108b’) ;
    de sorte que l’opérateur reçoit en temps réel une indication de réussite ou d’échec du geste identifié.