FR2917195A1

FR2917195A1 - Systeme autonome d'assistance technique.

Info

Publication number: FR2917195A1
Application number: FR0704078A
Authority: FR
Inventors: Yves Mangili
Original assignee: 4DCONCEPT SOC PAR ACTIONS SIMP
Current assignee: 4DCONCEPT SOC PAR ACTIONS SIMP
Priority date: 2007-06-07
Filing date: 2007-06-07
Publication date: 2008-12-12
Anticipated expiration: 2027-06-07
Also published as: FR2917195B1

Abstract

L'invention concerne un système autonome d'assistance technique pour la conduite d'interventions sur un équipement (3) par un opérateur sur site comprenant des moyens de traitement autonomes et portatifs (2), des moyens de vision tête haute (1) comportant des moyens permettant la surimpression dans le champ de vision de l'opérateur d'informations visuelles générées par lesdits moyens de traitement (2), au moins une caméra (10) pour générer une image vidéo dudit équipement (3) tel qu'il est vu par l'opérateur et au moins un microphone (12) pour la captation des commandes vocales de l'opérateur. Lesdits moyens de traitement comprennent un logiciel de reconnaissance de formes pour l'interprétation des images générées par ladite caméra (10), un logiciel de reconnaissance de la parole pour l'interprétation des signaux générés par ledit microphone (12), un logiciel de commande du générateur d'images (13), au moins une base de données concernant l'agencement, le fonctionnement, et les opérations pouvant être conduites sur l'équipement (3), et au moins un logiciel pour la génération des informations visuelles destinées à assister l'opérateur dans la conduite de ses opérations.

Description

10 La présente invention concerne un système autonome d'assistance

technique, notamment pour l'installation, la surveillance, la réparation, la maintenance, la modification ou la mise hors service d'un équipement par un opérateur sur site.

15 Elle a plus particulièrement, mais non exclusivement, pour but de fournir à un opérateur chargé de conduire une intervention une assistance interactive en temps réel en utilisant les ressources d'un système informatique qui reçoit et traite des informations sur les actions effectuées par ledit opérateur et le comportement dudit équipement et qui peut être commandé par la voix. 20 Elle s'applique d'une façon particulièrement avantageuse aux domaines dans lesquels l'expertise humaine est rare et/ou dans lesquels les erreurs peuvent avoir des conséquences dramatiques. C'est le cas par exemple de l'installation, de la réparation ou de la maintenance d'équipements sophistiqués dans les 25 activités nucléaires, armement, aéronautique, processus industriels, voire même les interventions chirurgicales. De façon optionnelle, le système peut être relié à un centre de supervision distant des opérations conduites par l'opérateur.

30 Le brevet FR 2 847 052 dévoile un procédé et un système d'assistance technique à distance pour la surveillance, l'installation, la réparation, la 1 2917195 -2 maintenance et/ou la modification d'équipements distants d'un centre d'assistance technique. Dans cette invention, un technicien sur site est doté d'une caméra qui, par le canal d'un réseau de transmission de données, envoie des images d'un équipement à réparer à un technicien expert distant ; celui-ci, après analyse des images reçues, renvoie au technicien sur site des codes correspondant à des instructions à exécuter. Le technicien sur site dispose d'une unité de traitement qui, grâce à un tableau de correspondance, convertit ces codes en instructions visuelles ou sonores ; les instructions visuelles sont reçues sur un écran ou sur des lunettes que porte le technicien sur site.

Ce procédé et ce système présentent plusieurs inconvénients. Tout d'abord, il ne s'agit pas d'un système autonome car il mobilise obligatoirement deux techniciens, un technicien sur site et un technicien expert. De plus, il ne s'agit pas véritablement d'une solution temps réel mais d'une solution temps différé à cause de la transmission d'images de l'équipement à réparer par le réseau de transmission de données. Ces images représentent un volume de données important pour le réseau qui limite le type d'échange que peuvent avoir les deux techniciens. Si ledit réseau de transmission ne supporte pas ce volume de données, l'opérateur sur site est privé de l'expertise du technicien expert distant et/ou est fortement limité dans ses interventions. Par ailleurs, les codes utilisés par ce système doivent obligatoirement être définis au préalable et sont donc en nombre limité, ce qui limite les interventions du technicien expert.

L'invention a donc plus particulièrement pour but de supprimer ces inconvénients en proposant un système temps réel à commande vocale dans lequel le technicien sur site a recours à un logiciel implanté dans une unité de traitement portative pour le guider dans les opérations à effectuer et contrôler ses interventions. Le logiciel peut être un logiciel connu d'aide à la maintenance ou du type système expert.30 - 3 A cet effet, elle propose un système autonome d'assistance technique temps réel pour la conduite d'interventions sur un équipement par un opérateur sur site comprenant : • des moyens de traitement autonomes et portatifs, • des moyens de vision tête haute connectés auxdits moyens de traitement, lesdits moyens de vision comportant des moyens permettant la surimpression dans le champ de vision de l'opérateur d'informations visuelles générées par un générateur d'images commandé par lesdits moyens de traitement, • au moins une caméra pour générer une image vidéo dudit équipement tel qu'il est vu par l'opérateur, connectée auxdits moyens de traitement, • au moins un microphone (12) pour la captation des commandes vocales de l'opérateur, connecté auxdits moyens de traitement (2).

Les moyens de traitement comprennent : • un logiciel de reconnaissance de formes pour l'interprétation des images générées par ladite caméra, • un logiciel de reconnaissance de la parole pour l'interprétation des signaux générés par ledit microphone (12), • un logiciel de commande du générateur d'images, • au moins une base de données concernant l'agencement, le fonctionnement et les opérations pouvant être conduites sur l'équipement, • au moins un logiciel pour la génération par ledit générateur d'images des informations visuelles destinées à assister l'opérateur et pour la comparaison entre lesdites informations fournies à l'opérateur et les actions réalisées par ledit opérateur.

Le concept mis en oeuvre est celui de la réalité augmentée, c'est-à-dire que l'opérateur voit une image de l'équipement sur lequel il intervient enrichie par d'autres éléments. Il voit une image de l'équipement réel et, en superposition, - 4 d'autres informations comme par exemple et de façon non limitative des textes, des pictogrammes, des menus, des animations, générées par les moyens de traitement. Ces informations, par exemple des pictogrammes, peuvent être asservis de façon à pointer toujours sur la même partie de l'équipement indépendamment des mouvements de la tête de l'opérateur.

Ces informations peuvent avoir pour objet de guider l'opérateur dans les opérations qu'il doit effectuer, par exemple lui indiquer un bouton à tourner avec le sens de rotation, le bouton à presser ou la pièce à changer, ou de fournir des informations complémentaires sur l'équipement, ou d'afficher des menus permettant à l'opérateur de naviguer par la voix dans les phases opératoires de ladite intervention.

Les interventions à conduire par l'opérateur peuvent par exemple concerner l'installation, la surveillance, la réparation, la maintenance, la modification ou la mise hors service d'un équipement. Les moyens de traitement peuvent avantageusement être portés par l'opérateur lui-même.

Selon une variante avantageuse, pour générer lesdites informations visuelles, 20 le logiciel est conçu de manière à réaliser la suite d'opérations suivante : • définir une séquence de phase opératoire que doit exécuter l'opérateur sur l'équipement, • transmettre séquentiellement au générateur d'images des instructions et des informations relatives à chacune des phases opératoires de manière 25 à ce que ces instructions et ces informations viennent en surimpression dans le champ de vision de l'opérateur qui regarde l'équipement, • à partir des images transmises par la caméra, effectuer une reconnaissance des formes pour identifier l'équipement tel qu'il est vu par l'opérateur et les actions exécutées par l'opérateur sur 30 l'équipement, - 5 • analyser et exécuter les commandes vocales transmises par le microphone (12), de manière à permettre à l'opérateur de naviguer mains libres dans les phases opératoires de ladite intervention.

De façon optionnelle, le logiciel réalise en outre l'opération consistant à vérifier que les actions exécutées par l'opérateur correspondent bien aux instructions transmises au système de vision tête haute.

Selon une autre option, le logiciel réalise en outre l'opération consistant à 10 composer et transmettre à l'opérateur un signal d'alarme quand une anomalie est détectée.

Selon une autre vari ante, le système comporte en outre des moyens de diffusion d'informations sonores connectés auxdits moyens de traitement, 15 lesdites informations sonores étant générées par lesdits moyens de traitement. De cette façon, lesdits moyens de traitement peuvent diffuser par voie sonore des informations textuelles à l'opérateur. Les moyens de traitement peuvent ainsi envoyer des instructions à l'opérateur qui seraient difficilement codifiables par des images, par exemple de regarder, et donc de pointer sa 20 caméra, sur une autre partie de l'équipement pour y relever d'autres informations.

Les moyens de diffusion d'informations sonores peuvent consister en des écouteurs ou un casque audio intégrés à un casque vision tête haute. 25 Avantageusement, le système peut également être connecté à l'équipement sur lequel l'opérateur conduit une intervention ou à un autre équipement proche du lieu de l'intervention tel qu'un banc de test, un ordinateur ou un calculateur de bord ; ladite connexion peut être filaire suivant un standard connu, telle 30 qu'une liaison USB, ou sans fil, également suivant un standard connu. -6 En effet, suivant la complexité de l'équipement, les images prises par la caméra peuvent ne pas suffire pour caractériser son état, par exemple une tension ou un ampérage électrique, une fréquence de signal, une température, une vitesse de rotation, ou pour contrôler l'effet des interventions de l'opérateur sur l'équipement. Par exemple, si le technicien doit réaliser le réglage fin d'une variable de l'équipement, il n'est peut être pas suffisant de lui indiquer un angle de rotation de vis de réglage, mais il est peut être préférable que le système reçoive directement une valeur caractéristique dudit réglage, issue de l'équipement.

Inversement, si le système est connecté à l'équipement, il peut conduire des opérations que l'opérateur ne pourrait pas conduire à la main ou difficilement, par exemple la mise à jour d'un logiciel ou l'exécution d'un test au sein de l'équipement.

Avantageusement, les moyens de traitement du système peuvent comprendre un ordinateur portable. Il peut s'agir par exemple d'un ordinateur particulièrement compact de façon à pouvoir être porté à la ceinture par l'opérateur, et éventuellement dépourvu d'écran et de souris.

De manière avantageuse, les bases de données et les logiciels utilisés par le système sont résidents sur une mémoire de masse interne à l'ordinateur portable, tel qu'un disque dur.

25 De manière également avantageuse, lesdites bases de données et lesdits logiciels sont inscrits sur un support externe à l'ordinateur portable connecté audit ordinateur portable. Il peut s'agir par exemple d'une clef USB, d'un CD-ROM ou d'un disque dur externe. De cette façon, l'ordinateur portable est un ordinateur standard, seul le support externe change en fonction de 30 l'équipement sur lequel l'opérateur doit intervenir. De façon alternative, seule une partie des informations nécessaires au système, par exemple les logiciels 20 de traitement d'images ou de reconnaissance de la parole, est inscrite sur le disque dur de l'ordinateur portable, les bases de données caractéristiques de l'équipement étant inscrites sur le support externe.

De manière tout aussi avantageuse, lesdites bases de données et lesdits logiciels sont téléchargés par l'opérateur, par exemple en se connectant à un centre de maintenance avant son intervention.

Avantageusement, le système peut être connecté aux moyens de traitement et de communication d'un superviseur présent dans un centre de supervision distant, par l'intermédiaire d'un moyen de transmission de données standard comme par exemple une liaison internet, le réseau téléphonique commuté ou un réseau interne d'entreprise, de manière à pouvoir échanger des informations sur l'intervention conduite par l'opérateur.

Il est important de noter que cette connexion est optionnelle, l'opérateur équipé du système selon l'invention étant autonome. Cependant, une telle liaison avec un centre de supervision peut présenter des avantages, par exemple :

• en cas d'imprévu, pièce de rechange manquante ou défaillante par exemple,

• travail collaboratif par l'intermédiaire d'un tableau virtuel,

• pour clore l'intervention de l'opérateur, qu'il s'agisse d'un succès ou d'un échec,

• au cas où l'opérateur ne réagit pas aux alarmes générées par les moyens 30 de traitement sur site, ces derniers envoyant alors une alarme au centre de supervision. 25 2917195 -8 Des modes d'exécution de l'invention seront décrits ci-après, à titre d'exemples non limitatifs, avec référence aux dessins annexés, dans lesquels :

5 La figure 1 représente une vue schématique du système autonome d'assistance technique et d'un équipement sur lequel un technicien doit intervenir.

La figure 2 est une illustration de la superposition d'images perçues par 10 le technicien au travers de l'écran du casque vision haute.

La figure 3 représente une vue schématique d'une première variante du système autonome d'assistance technique.

15 La figure 4 représente une vue schématique d'une seconde variante du système autonome d'assistance technique.

Dans la figure 1, un système autonome d'assistance technique, représenté schématiquement, comporte un casque vision tête haute 1 et une unité de 20 traitement portable 2. Le système est utilisé par un opérateur (non représenté) intervenant sur l'équipement 3. Le casque vision haute 1 comporte une caméra 10, qui prend des images de l'équipement 3, des écouteurs 11, un microphone 12 et un projecteur d'images 13 connectés à l'ordinateur portable 2. Le projecteur 13 projette des images telles que des pictogrammes, des menus ou des animations, sur l'écran semi-réfléchissant 14 du casque vision tête haute 1, de sorte que l'oeil de l'opérateur 15 perçoit en superposition l'image de l'équipement 3 et les images projetées par le projecteur 13. Alternativement, ces images peuvent venir s'afficher par le moyen de cristaux liquides inclus dans l'écran.30 Le microphone 12 reçoit les commandes vocales de l'opérateur et les transmet à l'ordinateur portable 2. De cette façon, l'opérateur peut commander l'ordinateur portable 2 par la voix, par exemple en commandant l'affichage ou la suppression d'images, ou en choisissant une option de menu, de manière à progresser mains libres dans son intervention. Les données et les logiciels utilisés par le système expert de l'ordinateur portable 2 sont stockés en tout ou partie sur un disque dur interne 20 ou externe 20', ou encore un CR-ROM (non représenté) logé dans l'ordinateur portable 2 ou dans un lecteur externe, ou encore dans une clef USB 20".

La figure 2 représente un exemple de superposition d'une image 30 d'une partie de l'équipement 3 et d'un pictogramme 31 généré par l'ordinateur portable 2. Le pictogramme 31a représente l'outil à utiliser par le technicien, ici un tourne vis, ainsi que la façon d'utiliser ledit outil, ici tourner dans le sens anti-horaire 31 b.

La figure 3 représente schématiquement une première variante du système autonome d'assistance technique. Dans cette variante, l'ordinateur portable 2 est relié à l'équipement 3 par une liaison filaire ou sans fil 30 suivant un standard connu tel que liaison USB, Bluetooth ou WiFi. De façon alternative, l'ordinateur portable 2 peut être relié à un autre équipement 3' proche de l'équipement 3 sur lequel est conduite l'intervention, tel qu'un bac d'essai, un ordinateur ou un calculateur de bord.

La figure 4 représente schématiquement une seconde variante du système autonome d'assistance technique. Dans cette variante, le système est relié à un centre de supervision 40 équipé de moyens de traitement et de communication 41 tels qu'un ordinateur par le canal de liaisons filaires ou sans fil 42 et des équipements appropriés 43 tels qu'un MODEM, suivant des standards connus tels que Ethernet, TCP/IP ou WiFi. De cette manière, le technicien sur site et le superviseur 44 peuvent communiquer par l'intermédiaire de l'ordinateur 2917195 - 10- portable 2 et des moyens de traitement et de communication 41. De plus, l'ordinateur portable 2 et des moyens de traitement et de communication 41 peuvent échanger des informations de validation, de contrôle ou d'alarme sur les opérations réalisées par le technicien sur site. De cette manière, le 5 superviseur 44 peut intervenir par exemple en cas d'imprévu ou lorsque le technicien sur site ne réagit pas aux signaux d'alarme générés par l'ordinateur portable 2.

Claims

Revendications

1. Système autonome d'assistance technique pour la conduite d'interventions sur un équipement (3) par un opérateur sur site caractérisé en 5 ce qu'il comprend : • des moyens de traitement autonomes et portatifs (2), • des moyens de vision tête haute (1) connectés auxdits moyens de traitement (2), lesdits moyens de vision comportant des moyens permettant la surimpression dans le champ de vision de l'opérateur 10 d'informations visuelles générées par lesdits moyens de traitement (2), • au moins une caméra (10) pour générer une image vidéo dudit équipement (3) tel qu'il est vu par l'opérateur, connectée auxdits moyens de traitement (2), • au moins un microphone (12) pour la captation des commandes vocales 15 de l'opérateur, connecté auxdits moyens de traitement (2), lesdits moyens de traitement comprenant : • un logiciel de reconnaissance de formes pour l'interprétation des images générées par ladite caméra (10), • un logiciel de reconnaissance de la parole pour l'interprétation des 20 signaux générés par ledit microphone (12), • un logiciel de commande du générateur d'images (13), • au moins une base de données concernant l'agencement, le fonctionnement, et les opérations pouvant être conduites sur l'équipement (3), 25 • au moins un logiciel pour la génération des informations visuelles destinées à assister l'opérateur et pour la comparaison entre lesdites informations fournies à l'opérateur et les actions réalisées par ledit opérateur. 2917195 - 12 -

2. Système autonome selon la revendication 1, caractérisé en ce que, pour générer lesdites informations visuelles, le logiciel est conçu de manière à réaliser la suite d'opérations suivante : • définir une séquence de phase opératoire que doit exécuter l'opérateur sur l'équipement, • transmettre séquentiellement aux moyens de vision tête haute (1) des instructions et des informations relatives à chacune des phases opératoires de manière à ce que ces instructions et ces informations viennent en surimpression dans le champ de vision de l'opérateur qui regarde l'équipement (3), • à partir des images transmises par la caméra (10), effectuer une reconnaissance des formes pour identifier l'équipement tel qu'il est vu par l'opérateur et les actions exécutées par l'opérateur sur l'équipement (3), • analyser et exécuter les commandes vocales transmises par le microphone (12), de manière à permettre à l'opérateur de naviguer mains libres dans les phases opératoires de ladite intervention.

3. Système autonome selon la revendication 2, caractérisé en ce qu'il comporte en outre l'opération consistant à vérifier que les actions exécutées par l'opérateur correspondent bien aux instructions transmises par le logiciel aux moyens de vision tête haute (1).

4. Système autonome selon la revendication 2 ou 3, 25 caractérisé en ce qu'il comporte en outre l'opération consistant à composer et transmettre à l'opérateur un signal d'alarme quand une anomalie est détectée.

5. Système autonome selon l'une quelconque des revendications 1 à 4, caractérisé en ce que les moyens de vision tête haute (1) et les moyens 30 permettant la surimpression d'informations visuelles comprennent un casque de vision tête haute, une visière semi-réfléchissante (14) solidaire dudit casque- 13 - au travers de laquelle l'opérateur regarde l'équipement (3) ainsi qu'un projecteur (13) projetant lesdites informations sur ladite visière ou des moyens d'affichage à cristaux liquides intégrés dans ladite visière.

6. Système autonome selon l'une quelconque des revendications 1 à 5, caractérisé en ce que le système comporte en outre des moyens de diffusion d'informations sonores (11) connectés auxdits moyens de traitement (2), lesdites informations sonores étant générées par lesdits moyens de traitement (2).

7. Système autonome selon l'une quelconque des revendications 1 à 6, caractérisé en ce que les moyens de traitement (2) sont également connectés à l'équipement (3) sur lequel est conduit l'intervention ou à un autre équipement (3') par le canal d'un moyen de liaison (30) de manière à échanger des informations concernant ledit équipement (3).

8. Système autonome selon l'une quelconque des revendications 1 à 7, caractérisé en ce que les moyens de traitement (2) comportent un ordinateur portable.

9. Système autonome selon l'une quelconque des revendications 1 à 8, caractérisé en ce que les logiciels et les bases de données sont résidents sur un support interne (20) aux moyens de traitement (2) ou sont stockés sur un support externe (20') connecté aux moyens de traitement (2) ou sont téléchargés en vue de leur utilisation.

10. Système autonome selon l'une quelconque des revendications 1 à 9, caractérisé en ce que les logiciels comportent un système expert. 2917195 - 14 -

11. Système autonome selon l'une quelconque des revendications 1 à 10, caractérisé en ce que le système est relié à l'unité de traitement et de communication (41) d'un superviseur (44) présent dans un centre de supervision (40) distant par l'intermédiaire de moyens de transmission de 5 données (42, 43), de manière à ce que ledit opérateur et ledit superviseur (44) puissent échanger des informations au sujet de l'intervention de l'opérateur sur l'équipement (3).