FR3067841B1 - Systeme et procede de localisation par traitement d'images - Google Patents

Abstract

Le système de localisation (100) d'un objet (30) dans un espace réel (10) par traitement d'images, comporte un centre de calculs (101), avec une base de données (105) d'un environnement virtuel, représentation virtuelle de l'espace réel (10), et calculant la position d'un point depuis lequel l'environnement virtuel est vu tel que sur une image de l'espace réel (10) obtenue par un dispositif d'acquisition d'images (31) porté par l'objet (30). Le centre de calculs (101) est déporté par rapport à l'objet (30) et un dispositif de transmission de données (110) réalise le transfert de données images de l'objet (30) vers le centre de calculs (101) et inversement de données de localisation du centre de calculs vers l'objet,. Le centre de calculs traite les données image pour déterminer une position depuis lequel l'image a été acquise, et enregistre dans une base de données complémentaires (103) des données de l'image traitée pour compléter et ou corriger une base de données initiale (102). Le système de localisation met en œuvre un procédé de localisation pour localiser et transmettre les données de localisation à une pluralité d'objets de l'environnement réel.

Description

SYSTEME ET PROCEDE DE LOCALISATION PAR TRAITEMENT D’IMAGES

DOMAINE DE L’INVENTION L’invention appartient au domaine de la localisation d’un objet ou d’une partie d’objet dans l’espace. L'invention concerne en particulier la localisation précise d’une position dans l’espace d’un point d’observation par le traitement d’images observées depuis le point à localiser.

Plus particulièrement l'invention trouve application dans la localisation de machines évoluant dans un environnement complexe et potentiellement variable, par exemple un environnement d’atelier industriel dans lequel est réalisé l’assemblage de grandes structures.

ART ANTERIEUR

Dans de nombreux domaines de l’industrie il est nécessaire de localiser en continu un objet, ou au moins un point d’un objet, dans l’espace lorsque la position de l’objet est appelée à évoluer.

Il existe pour cela de nombreuses solutions pour identifier la position de l’objet relativement à un environnement local, positionnement local, ou relativement à une référence considérée comme absolue, comme par exemple un repère terrestre, positionnement global.

Ainsi par exemple, il existe des systèmes de localisation par la mesure, mettant en œuvre en particulier des capteurs de distance par rapport à des points ou des surfaces de référence, des systèmes par triangulation mettant en œuvre des visées sur des cibles ayant des positions connues, des systèmes par trilatération par des mesures de dates et ou de phases sur des signaux reçus de plusieurs sources comme dans les systèmes de localisation par satellite.

Ces systèmes de localisation présentent généralement des limites liées aux environnements dans lesquels ils peuvent être mis en œuvre de manière fiable et de leur complexité, et de leurs résolutions spatiales intrinsèques.

Plus récemment, les progrès de l’imagerie numérique et du traitement numérique des images permettent de déterminer une localisation par des reconnaissances de formes sur des images, solutions cherchant à imiter le fonctionnement, au moins le résultat, du travail combiné de l’œil et du cerveau humain ou animal, qui est capable de déterminer où il se trouve par l’observation de ce qu’il voit et qu’il rapproche d’images acquises antérieurement.

Toutefois, sauf à obtenir une superposition parfaite de ce qui est vu avec ce qui a été mémorisé antérieurement, il est nécessaire d’appliquer des corrections qui peuvent devenir très lourdes en puissances de calculs et en temps de calculs, en particulier lorsque les objets ou formes observés présentent des variations d’apparence pouvant évoluer d’une observation à l’autre, par exemple de forme, ou de couleur, ou d’éclairement, ou de position relative par rapport à d’autres objets ou à un environnement.

Les différentes solutions de localisation peuvent être combinées, lorsqu’elles sont utilisables, pour permettre des localisations dans de plus grands volumes, ou plus précises, mais la complexité et la performance de ces systèmes ne s’adaptent pas aujourd’hui à toutes les applications et en particulier dans un environnement industriel où doivent évoluer des robots et des outillages robotisés travaillant par exemple sur des structures complexes et fragiles, comme par exemple dans le cas des chaînes d’assemblage d’aéronefs.

EXPOSE DE L’INVENTION

La présente invention apporte une amélioration aux solutions connues de l’art antérieur par la mise en œuvre d’un système et d’un procédé dans lesquels un traitement d’images déporté réalise des calculs de localisation au profit d’un nombre quelconque d’objets et améliore de manière constante l’environnement virtuel mis en œuvre pour les calculs de localisation.

Le système de localisation de l’invention, pour localiser au moins un objet dans un espace réel par traitement d’images, comporte un centre de calculs, ledit centre de calculs comportant au moins une base de données d’un environnement virtuel, représentation virtuelle de l’espace réel et comporte au moins un dispositif d’acquisition d’images destiné à être porté par l’au moins un objet.

La localisation de l’au moins un objet comporte le calcul d’une position d’un point de l’environnement virtuel depuis lequel ledit environnement virtuel est vu tel que représenté sur au moins une image de l’espace réel obtenue par l’au moins un dispositif d’acquisition d’images.

En outre : le centre de calculs est déporté par rapport à l’au moins un dispositif d’acquisition d’images et le système de localisation comporte un dispositif de transmission de données réalisant le transfert de données représentatives d’images depuis l’au moins un dispositif d’acquisition d’images vers le centre de calculs et le transfert de données de localisation depuis ledit centre de calculs vers ledit dispositif d’acquisition d’images, le centre de calculs est configuré pour réaliser un traitement des données, représentatives d’une image de l’espace réel transmise par l’au moins un dispositif d’acquisition d’images, pour déterminer dans l’environnement virtuel une position d’un point de l’espace réel depuis lequel l’image a été acquise, et transmet audit au moins un dispositif d’acquisition d’images des données de localisation dudit point comportant des données de ladite position, le centre de calculs est configuré pour enregistrer dans une base de données complémentaires des données de l’image de l’espace réel traitée, acquise par le dispositif d’acquisition d’images, qui complètent et ou corrigent une base de données initiale d’une représentation numérique initiale de l’espace réel pour constituer la base de données d’une représentation numérique améliorée dudit espace réel.

Dans cet agencement du système de localisation, les moyens mis en œuvre pour le stockage de la base de données de la représentation virtuelle de l’espace, pour la manipulation de cette base de données et pour le traitement des images sont avantageusement déportés de l’objet à localiser ce qui facilite l’installation à distance sans limite de masse et de volume des moyens du centre de calculs, favorisant la capacité de traitement et la rapidité de traitement, qui seraient en pratique limités dans une solution embarquée sur l’objet. En outre la concentration des images traitées par le centre de calculs permet simultanément d’enrichir le contenu de la base de données et d’améliorer la représentation virtuelle de l’espace réel à partir des images mises en œuvre pour les calculs de localisation, une telle amélioration profitant à tout objet devant être localisé par le système dans l’espace réel.

Dans une forme de réalisation, le centre de calculs réalise en outre un traitement des données, représentatives d’une image de l’espace réel transmise par l’au moins un objet, pour déterminer dans l’environnement virtuel une direction d’un axe d’observation vers laquelle est visualisé l’espace réel, depuis le point de l’espace réel depuis lequel l’image a été acquise, et transmet audit au moins un objet les données de localisation dudit point comportant des données de direction de l’axe d’observation.

Il est ainsi déterminé non seulement la position du dispositif d’acquisition d’images mais également son orientation dans l’espace réel, de laquelle l’orientation de l’objet se déduit par le calage du dispositif d’acquisition d’image par rapport à un corps de l’objet.

Dans une forme de réalisation, le système de localisation comporte une pluralité de dispositifs d’acquisition d’images, destinés à être portés par des objets situés dans l’espace réel à un même instant et ou à des instants différents.

Il est ainsi tiré bénéfice du traitement d’un plus grand nombre d’images réalisées depuis des emplacements différents de l’espace réel et ou à des moments différents pour améliorer la base de données mise en œuvre pour les calculs de localisation.

Avantageusement le dispositif de transmission de données est un dispositif de transmission sans fil.

Dans une forme de réalisation, le système de localisation comporte au moins un dispositif de localisation autonome destiné à être porté par l’au moins un objet et associé au dispositif d’acquisition d’images de sorte à générer pour chaque image des données primaires de localisation associées aux données représentatives de ladite image.

Dans une forme de réalisation, le dispositif d’acquisition d’images destiné à être porté par l’au moins un objet est une caméra vidéo délivrant des données à deux dimensions, 2D, et/ou une caméra de profondeur délivrant des données à trois dimensions, 3D.

Il est de la sorte possible de transmettre un flux d’images qui permettent de suivre la position de l’objet dans l’espace réel lorsque l’objet portant le dispositif d’acquisition d’images se déplace.

Dans une forme de réalisation, le système comporte en outre un poste de supervision qui utilise la base de données de l’environnement virtuel et les données de localisation du ou des objets porteurs de dispositifs d’acquisition d’images pour reconstruire sur un ou des écrans une représentation visuelle de l’espace virtuel, comportant des représentations de structures et d’objets de ou dans l’espace réel, vue depuis au moins un point d’observation fixé arbitrairement ou choisi par un opérateur. L’invention s’adresse également à un procédé de localisation d’au moins un objet dans un espace réel dans lequel se trouve ledit au moins un objet.

Le procédé comporte : a) une étape préalable de création d’un modèle numérique d’une représentation virtuelle initiale de l’espace réel, hébergé dans une base de données d’un centre de calculs séparé de l’au moins un objet, puis ; b) une étape de transmission au centre de calculs de données représentatives d’une image de l’espace réel acquise depuis un point d’observation lié à l’objet, puis ; c) une étape de traitement par le centre de calculs desdites données représentatives de ladite image pour déterminer, dans la représentation virtuelle initiale de l’espace réel ou dans une représentation virtuelle enrichie dudit espace réel, une position depuis laquelle ladite image a été formée dans l’espace réel, et ; d) une étape d’enrichissement du modèle numérique de la représentation virtuelle, initiale ou enrichie, de l’espace réel par incorporation dans ledit modèle numérique de données de l’espace réel extraites des données représentatives de ladite image transmise à l’étape de transmission.

Dans un mode de mise en œuvre du procédé, l’étape de traitement par le centre de calculs des données représentatives de l’image transmise comporte de déterminer, dans la représentation virtuelle de l’espace réel, une direction d’un axe d’observation vers laquelle est visualisé l’espace réel, depuis le point dudit espace réel depuis lequel l’image a été acquise.

Dans un mode de mise en œuvre, le procédé, après l’étape de traitement, comporte une étape de transmission, par le centre de calculs à l’objet concerné, de données de localisation comportant des données de la position déterminée à l’étape de traitement, depuis laquelle l’image a été formée dans l’espace réel, le cas échéant de données de direction d’un axe d’observation.

Dans un mode de mise en œuvre du procédé, les données de l’espace réel, incorporées à l’étape d’enrichissement dans le modèle numérique de la représentation virtuelle de l’espace réel, comportent des primitives élaborées à partir d’attributs d’apparence parmi des contrastes, des couleurs, des transparences, des réflexions, des textures, des mesures de profondeurs.

Dans un mode de mise en œuvre du procédé, les données de l’espace réel, incorporées à l’étape d’enrichissement dans le modèle numérique de la représentation virtuelle de l’espace réel, comportent des données relatives à des structures de l’espace réel ajoutées, et ou supprimées, et ou déplacées dans ledit espace réel.

Dans un mode de mise en œuvre du procédé, des images de l’espace réel sont acquises successivement depuis un point d’observation lié à l’au moins un objet et transmises séquentiellement au centre de calculs et les étapes de traitement et d’enrichissement sont effectuées de manière récurrente avec tout ou partie desdites images transmises séquentiellement.

Dans un mode de mise en œuvre du procédé, une pluralité d’objets sont localisés simultanément et ou séquentiellement.

Dans un mode de mise en œuvre du procédé, les données enregistrées dans la base de données complémentaire sont cumulées et conservées dans un historique d’enrichissement de la base de données initiale.

PRÉSENTATION DES FIGURES L'invention est décrite en référence aux figures qui sont données à titre d'un exemple non limitatif d'un mode de réalisation de l'invention, qui représente de manière schématique :

Figure 1 : Une illustration d’un exemple de système de localisation suivant l’invention appliquée au cas d’un espace déterminé par le volume d’un hangar atelier où est placé un avion.

Figure 2 : Un organigramme simplifié du procédé de localisation suivant l’invention.

Sur les figures, les dessins ne sont pas nécessairement représentés avec une même échelle.

DESCRIPTION D’UN MODE DÉTAILLÉ DE RÉALISATION DE L’INVENTION L’invention concerne un dispositif et un procédé pour localiser un objet 30 dans un espace 10 par reconnaissance optique. L’invention est décrite dans l’exemple de la localisation dans un espace défini par une empreinte au sol 11 et une hauteur H, par exemple la surface au sol et la hauteur d’un bâtiment industriel, qui peut être de grandes dimensions mais pour lequel la rotondité de la Terre est négligeable, et il sera considéré une localisation dans ledit espace avec un repère cartésien OXYZ dont l’orientation d’une direction verticale est indépendante de l’emplacement de l’origine O du repère dans ledit espace, verticale qui, suivant l’hypothèse réalisée, sera considérée comme la verticale invariable d’un repère terrestre local de l’espace considéré.

Cette hypothèse est naturellement une hypothèse simplificatrice, valide en général dans les conditions de l’exemple de réalisation et de mise en œuvre qui sera décrit, et l’homme du métier mettra en œuvre les équations prenant en compte la rotondité de la Terre dans le cas d’une application pour laquelle cette hypothèse simplificatrice ne serait plus satisfaisante.

Pour les besoins de la description le repère OXYZ correspond à un système d’axes conventionnel avec un axe X horizontal, un axe Z vertical orienté positivement vers le haut et un axe Y, perpendiculaire à un plan défini par les directions des axes X et Z.

Sur la figure 1 est représenté symboliquement un espace réel 10 dans lequel un ou des objets 30 doivent être localisés. L’espace 10 correspond à un volume dans lequel sont situées des structures primaires 14 fixes, par exemple des structures d’un bâtiment protégeant l’espace, ou de bâtiments situés dans l’espace, voire en périphérie dudit espace, et ou des structures secondaires 20 potentiellement mobiles, par exemple des outillages 21 dont tout ou partie peut être déplacé dans le repère lié à l’espace, ou des structures temporaires telles qu’un aéronef 22, dans le cas illustré, placé dans l’espace lors d’une étape de sa fabrication ou de son contrôle par exemple. L’objet 30, représenté sur la figure 1 sous la forme d’un robot mobile au sol, devant être localisé comporte en outre au moins un dispositif d’acquisition d’images 31, tel qu’une caméra, porté par ledit objet, dispositif d’acquisition d’images qui est partie d’un système de localisation 100 pour localiser l’objet.

Le dispositif d’acquisition d’images 31 est portée par l’objet 30 de préférence, mais non nécessairement, orientable pour acquérir des images dans différentes directions relativement à un système d’axes O’X’Y’Z’ lié à l’objet. D’une manière générale, le dispositif d’acquisition d’images de l’objet 30 peut comporter une ou plusieurs caméras, chaque caméra étant caractérisée, outre sa position fixe ou variable sur ledit objet, par un domaine spectral et ou sa capacité à restituer des informations de profondeur des images qu’elle fournit et par des caractéristiques optiques d’une focale qui peut être fixe avec un champ plus ou moins large ou qui peut être variable par valeurs discrètes ou de manière continue. La caméra vidéo délivre par exemple des données à deux dimensions, 2D, et/ou des données trois dimensions, 3D, pour une caméra dite de profondeur.

De manière connue des capteurs d’orientation (non représentés), le cas échéant des capteurs de position (non représentés), de chaque caméra du dispositif d’acquisition d’images 31 déterminent, le cas échéant après traitement des signaux issus desdits capteurs, une position et une direction d’observation de la caméra dans le système d’axes O’X’Y’Z lié à l’objet 30. Par direction d’observation il doit être compris une direction d’un axe optique 311 aboutissant sensiblement au centre d’une image formée par un système optique de la caméra considérée sur un capteur d’image de ladite caméra.

Le dispositif d’acquisition d’images 31, porté par l’objet 30, est associé à un dispositif de transmission de données 110, en particulier de données correspondant aux images et éventuellement à des conditions de prise de vues par chaque caméra du dispositif d’acquisition d’images, par exemple des positions et orientations dans le système d’axes O’X’Y’Z’ lié à l’objet pour chaque image.

La transmission des données peut être réalisée par tout moyen de transmission connu, avantageusement un système de transmission sans fil, radio ou optique, adapté lorsque l’objet à localiser est un objet se déplaçant dans l’espace 10, et également adapté aux conditions d’environnement dans ledit espace.

Le système de localisation 100 d’un objet comporte également un centre de calculs 101 adapté en particulier pour le traitement d’images, connecté au dispositif de transmission 110 par lequel il reçoit des données de l’objet à localiser et transmet des données audit objet.

Le centre de calculs 101 comporte de manière connue un ou plusieurs ordinateurs et des programmes de traitement d’images pour réaliser sur des images reçues des opérations telles que : reconnaissances de formes ; reconnaissances de couleurs et ou de contrastes ; comparaisons de formes ; transformations d’image ; combinaisons d’images pour reconstruire numériquement des formes d’objets en trois dimensions, cette liste n’étant pas exhaustive.

Ces types d’opérations appliquées à des images sont aujourd’hui connus de l’homme du métier et les algorithmes correspondants mis en œuvre ne seront pas détaillés ici.

Le centre de calculs 101 comporte également une ou des bases de données 105 d’une représentation numérique de tout ou partie de l’espace réel 10 dans lequel l’objet doit être localisé.

Ladite base de données 105 comporte une base de données 102 d’une représentation numérique initiale de l’espace réel 10.

La représentation numérique initiale peut être le résultat de calculs pour créer une représentation virtuelle de l’espace réel par exemple résultant d’une maquette numérique en trois dimensions ou d’un assemblage de maquettes numériques.

La représentation numérique initiale peut également être le résultat du traitement d’images obtenues dans l’environnement réel de l’espace 10, le cas échéant en y introduisant des cibles assurant une meilleure calibration des données acquises dans l’environnement réel. Les algorithmes d’extraction de contours et de reconnaissance de formes sont également avantageusement mis en œuvre dans ce cas.

Ces deux méthodes, données à titre d’exemples, de construction de la représentation numérique initiale de l’espace sont le cas échéant combinées entre elles, ou combinées avec d’autres techniques pour acquérir des données en trois dimensions d’un environnement, comme par exemple la télémétrie laser à balayage.

Le centre de calculs 101 comporte également des données complémentaires de la représentation de l’espace dans lequel l’objet doit être localisé.

Ces données complémentaires, mémorisées dans une base ou des bases de données complémentaires 103, par exemple une sous-base de la ou des bases de données 105 de la représentation numérique de l’espace réel, sont issues des images transmises par des objets à localiser situés dans l’espace réel.

Les données complémentaires enrichissent la représentation numérique de l’espace réel en apportant des informations représentatives de conditions réelles d’observation qui, tout en étant cohérentes avec la représentation numérique initiale, vont accélérer le traitement des images ultérieures par un processus d’apprentissage.

Par exemple les couleurs, les textures, l’albédo des différentes surfaces, des éclairages, des reflets, des transparences ne sont pas nécessairement parfaitement représentés dans la représentation numérique initiale, et ce d’autant plus que certaines de ces caractéristiques sont variables dans le temps et dans l’espace et très sensibles aux conditions d’observation.

Par exemple des modifications de l’environnement réel, par exemple des déplacements de structures ou d’objets dans l’environnement, des « apparitions » de nouveaux objets ou des « disparitions » d’objets, sont détectées et enregistrées pour assurer une mise à jour continue de la représentation de l’environnement, avantageusement réversible par une historisation des données complémentaires.

Les données complémentaires sont donc issues du traitement des images successives transmises par des dispositifs d’acquisition d’images 31, mettant en œuvre par exemple des caméras 31, et utilisées pour localiser des objets 30, portant chacun un dispositif d’acquisition d’images, dans l’espace 10 par reconnaissance optique des formes visibles sur lesdites images et qui sont traitées d’une part pour calculer depuis quel point de l’espace 10 chaque image a été générée par comparaison avec le modèle numérique de l’espace mémorisé par le système de localisation, et d’autre part pour enrichir le modèle numérique de l’espace réel avec des données de l’espace réel actuel déterminées lors du traitement de chacune des images reçues.

La mise en œuvre du système de localisation enrichit donc les données complémentaires d’autant plus que le nombre d’images traitées pour les calculs de localisation augmente, du fait de localisations multiples d’un même objet se déplaçant dans l’espace réel, et du fait de localisations de différents objets, présent simultanément dans l’espace réel ou à des instants différents. L’utilisation d’algorithmes de reconnaissance de formes sur une combinaison des données de la représentation initiale et des données complémentaires permet d’accélérer la reconnaissance et la précision de l’identification des formes observées et donc d’accélérer les calculs et d’améliorer la précision de la localisation issue de cette reconnaissance des formes sur les images traitées.

La mise en œuvre du centre de calculs, traitant les images, et la base de données 105, déportées pour réaliser les calculs et pour déterminer une localisation de l’objet dans l’espace réel permet de mettre en œuvre des moyens illimités, au moins en théorie, tant en volume qu’en masse et en besoin d’énergie, au profit de puissances de calculs qui ne sauraient en pratique être portés par les objets à localiser eux-mêmes, au moins lorsque ceux-ci sont de tailles réduites comme des petits robots roulants ou volants, voire flottants, moyens de traitements qui devraient en outre être portés par chacun desdits objets.

Le centre de calculs 101 est donc en mesure de calculer avec précision et rapidité la localisation de l’objet 30 pour chaque image transmise par ledit objet et de lui retransmettre cette localisation, les seules contraintes étant de maintenir les liaisons assurant les transmissions des données entre ledit centre de calculs et ledit objet.

En pratique, plus grand aura été le nombre des images de l’espace 10 transmises par un ou plusieurs objets et traitées par le centre de calculs 101 du système de localisation 100, et plus la précision et la rapidité des calculs de localisation seront améliorées et ces améliorations profiteront instantanément à chacun des objets communiquant avec ledit centre de traitement, et de manière transparente pour chacun des objets qui recevra directement les informations de sa position, sans besoin de mises à jour comme il serait nécessaire dans le cas d’une base de données implémentée dans des moyens de traitement embarqué sur l’objet.

Avantageusement, la localisation de l’objet 30 est calculée dans différents repères liés à l’espace réel 10 et aux structures primaires 14 et secondaires 20, puis transmise à l’objet 30 pour les différents repères, éventuellement pour seulement certains repères définis dans une requête dudit objet. L’objet 30 dispose alors des informations de localisation lui permettant de gérer ses déplacements et ou ses mouvements relativement aux différentes structures de l’espace réel 10.

Par exemple la localisation par rapport à des repères liés à des structures primaires 14 permet à l’objet 30 de gérer des déplacements d’ensemble au sein de l’espace réel 10, pendant lesquels déplacements les structures secondaires peuvent n’être identifiées que comme des volumes protégés, et la localisation par rapport à des structures secondaires 20 permet de gérer les mouvements de l’objet 30 à proximité d’une structure secondaire ou pendant des périodes de travail sur une structure secondaire pendant lesquelles la connaissance d’une localisation relative précise est nécessaire, même en cas de variabilité desdites structures secondaires. II doit être noté dans cette dernière situation que si la visibilité sur une image transmise par l’objet 10 d’au moins une partie de la structure secondaire, par rapport à laquelle une localisation relative est recherchée, est avantageuse pour les calculs de localisation, cette visibilité n’est pas indispensable. En effet, pour autant que le système de localisation 100 ait traité un nombre suffisant d’images transmises antérieurement par l’objet 30 à localiser, ou par d’autres objets, le traitement d’une image montrant tout ou partie d’au moins une structure permet la localisation dans un repère lié à ladite structure et, par des matrices de transformation, de calculer les données de localisation dans un repère lié à un objet non visible sur une image, mais dont la localisation précise aura été déterminée par rapport au repère absolu OXYZ par les images transmises antérieurement.

Le centre de calculs 101 ayant retransmis la localisation, résultant des calculs de localisation réalisés par ledit centre de calculs, à l’objet 30 à l’origine d’une ou plusieurs images transmises pour cette localisation, ledit objet est alors en mesure de réaliser des mouvements ou des déplacements en fonction de tâches qui lui sont assignées, tout en continuant à recevoir des informations de localisation mises à jour à partir des images successives acquises et transmises par le système d’acquisition d’images porté par ledit objet. L’objet est par exemple un robot, au sol, ou flottant, ou volant, qui pour son fonctionnement doit connaître en permanence et avec précision sa position, ou celle d’un effecteur, absolue dans l’environnement dans lequel il évolue, ou sa position relative par rapport à d’autres objets ou structures dans l’environnement.

Le robot peut être par exemple un robot manipulateur, un robot d’inspection, un robot assistant d’un opérateur humain ou d’un autre robot.

Par sa puissance de traitement des données des images et des bases de données, et par l’enrichissement continu des bases de données complémentaires résultant du traitement d’un nombre grandissant d’images de l’environnement réel reçues de l’objet à localiser ou avantageusement d’une pluralité d’objets à localiser, le système de localisation est en mesure de transmettre à l’objet à localiser non seulement une position absolue dans le référentiel lié à l’environnement mais également une position relative dans un référentiel lié aux structures apparaissant ou non sur les images transmises par ledit ou lesdits objets à localiser.

Lorsque les structures de l’environnement sont immobiles et stables dans le référentiel de l’environnement, la position relative et la position absolue sont biunivoques.

Cependant dans le contexte industriel d’un atelier certaines structures ne sont pas toujours en un même emplacement de l’environnement de l’atelier, soit que la structure est mobile, comme par exemple un bâtit d’assemblage ou un outillage lourd, soit que la position de la structure présente une incertitude (légitime), par exemple un aéronef sur son train d’atterrissage, ou placé sur vérins de levage, dont la position est seulement approximativement définie, comparativement à la précision recherchée pour les localisations du ou des objets, lorsque l’aéronef est mis en place dans l’atelier, soit encore que la structure est variable, par exemple un aéronef qui peut correspondre à des types différents par leurs dimensions et ou leurs formes, ou à des positions différentes de parties mobiles d’un aéronef donné, par exemple des gouvernes d’un avion ou un rotor d’hélicoptère.

Dans ces conditions, le système de localisation, à partir des images reçues du ou des objets à localiser, qu’il traite pour déterminer la localisation desdits objets à localiser, reconstruit en permanence un modèle de l’environnement réel dans lequel il corrige les effets liés à des modifications physiques de cet environnement, lui permettant de faire bénéficier chaque objet à localiser d’une localisation absolue et relative précise et toujours optimisées profitant de l’ensemble des informations que ledit système de localisation détermine à partir des images reçues de tous les objets à localiser.

La mise à jour continue du modèle de l’environnement réel se fait donc dans l’invention sans intervention particulière d’un opérateur sur le système de localisation, par exemple pour prendre en compte des évolutions de l’environnement, comme par exemple la position modifiée d’un aéronef ou le type d’aéronef.

Le traitement de données mémorisées sur des périodes antérieures permet en particulier d’identifier rapidement des changements de l’environnement pouvant correspondre à une configuration antérieure de l’espace, précisément ou approximativement, déjà connue du système de localisation. La reconstruction du modèle de l’environnement avec les nouvelles images transmises par les objets à localiser est alors beaucoup plus rapide pour atteindre les niveaux de précision nécessaires.

Dans des applications particulières, l’espace réel 10 comporte une ou des structures secondaires 20, 21 et n’est associé à aucune structure primaire (soit qu’il n’y en a pas dans l’espace 10 soit qu’elle n’est pas considérée), ou bien comporte une structure primaire 14 et n’est associé à aucune structure secondaire (soit qu’il n’y en a pas dans l’espace réel 10 soit qu’elles ne sont pas considérées).

Dans ces cas d’application, la position de l’objet est établie dans un ou des repères liés à la ou aux structures référencées de l’espace réel 10. L’absence d’une structure secondaire correspond par exemple au cas de la localisation d’un objet dans un environnement figé, tel qu’un hangar vide, par exemple à des fins de guidage de l’objet pour une mise à poste ou un convoyage. L’absence de structure primaire correspond par exemple au cas où seule une localisation relativement à une structure secondaire est recherchée et dans lequel une structure primaire, si elle existe, ne présente pas de caractéristique permettant d’améliorer la qualité de la localisation recherchée.

Ainsi le système de localisation de l’invention est un système de localisation utilisant les techniques de reconnaissance visuelle et mettant à disposition d’un ou plusieurs objets à localiser des capacités de calculs et de traitement des images qui seraient difficiles, sinon impossible en pratique, à intégrer dans chaque objet à localiser, et qui exploite les images transmises par tous les objets à localiser pour affiner et mettre à jour en permanence un modèle numérique de l’espace réel dans lequel évoluent les objets à localiser et déterminer plus rapidement les localisations des objets à localiser avec une précision améliorée par rapport aux systèmes connus de localisation par reconnaissance visuelle.

De par sa structure et ses algorithmes, le système de localisation , à partir d’une configuration initiale dans laquelle il dispose d’un premier modèle de l’espace réel dans lequel doivent évoluer des objets à localiser, enrichit le modèle d’environnement avec des images, ou des résultats de leurs traitements, transmises depuis les objets à localiser et détermine des localisations avec des temps de calculs et des précisions en constante amélioration dans le temps au fur et à mesure que de nouvelles images sont traitées pour déterminer les positions d’objets à localiser par reconnaissance des formes observées dans les nouvelles images transmises et calculs du point de l’espace depuis lequel chaque image a été générée par le dispositif d’acquisition d’images.

Bien que le système de localisation par traitement d’images de l’invention soit en mesure de restituer à chaque objet une localisation précise, la mise en œuvre du système de l’invention n’exclut pas qu’un objet dispose de moyens de localisation autonomes, par exemple de localisation dans un repère absolu par triangulation ou trilatération, ou par odométrie.

La transmission par un objet de sa position, mesurée ou estimée, au centre de calculs 101 des images permet en particulier de simplifier, et donc d’accélérer, le calcul de position à transmettre par ledit centre de traitement audit objet, et également de détecter des incohérences pouvant traduire l’imprécision ou la défaillance d’un composant du système de localisation.

Des moyens de localisation embarqués sur l’objet permettent également d’assurer un guidage autonome en mode dégradé en cas de perte de communication avec le centre de traitement d’images ou d’impossibilité de transmettre des images par exemple suite à une détérioration du capteur d’image.

Dans une forme de réalisation, le système de localisation est couplé à un système de supervision 120 qui utilise la base de données 105 de l’environnement réel 10 et les informations de position de chacun des objets pour reconstruire, avantageusement en temps réel, sur un ou des écrans une représentation virtuelle de l’espace réel 10, avec les structures et les objets qu’il contient, depuis un ou des points d’observation de l’espace, par exemple un point d’observation choisi par un opérateur.

Le système de localisation 100 décrit est avantageusement utilisé pour mettre en œuvre un procédé 200 de localisation d’au moins un objet 30 dans au moins un repère de l’espace réel 10 dans lequel se trouve, et se déplace le cas échéant, l’objet.

Suivant ledit procédé, il est mis en œuvre au moins les étapes suivantes.

Dans une étape préalable 201, un modèle numérique initial d’une représentation de l’espace réel 10 est généré. Le modèle numérique initial est une expression virtuelle de l’espace réel dans laquelle les structures, au moins pour les structures principales susceptibles de servir de références dans les calculs de position, dudit espace réel sont représentées.

Le modèle numérique initial est par exemple issu d’une maquette numérique. Le modèle numérique peut également être le résultat d’une numérisation en trois dimensions, plus ou moins détaillée, de l’espace réel, par exemple par des techniques de télémétrie laser, de moiré de projection, de traitement d’images du domaine visible.

Dans une étape de transmission montante 202, récurrente, des données représentatives d’une image de l’espace réel 10, acquise depuis un point d’observation lié à l’objet 30 devant être localisé, sont transmises au centre de calculs 101. Les images de l’espace réel sont acquises par le dispositif d’acquisition d’images 31 de l’objet, dispositif pouvant comporter une ou plusieurs caméras, le cas échéant des moyens d’éclairement dans un domaine de lumière visible ou non visible, par exemple infrarouge. Les images acquises sont converties en données pour leur transmission, avantageusement en données numériques en raison d’une sensibilité réduite aux perturbations et interférences pouvant être rencontrées dans l’espace réel 10.

Dans une étape de traitement 203, les données représentatives d’une image, acquise par le dispositif d’acquisition d’images 31 et reçues par le centre de calculs 101, sont traitées par ledit centre de calculs pour déterminer, dans la représentation virtuelle de l’espace réel une position depuis, le cas échéant une direction dans, laquelle ladite image a été acquise dans l’espace réel 10.

Pour une première image, la représentation virtuelle initiale de l’espace réel est utilisée, mais avantageusement pour les itérations suivantes de traitement des données des images successives, une représentation virtuelle enrichie, incorporant des données sur l’espace réel déterminées par le traitement des images est mise en œuvre.

La détermination de la position depuis laquelle l’image a été acquise dans l’espace réel équivaut en théorie à déterminer dans la représentation virtuelle de l’espace réel un point à partir duquel une image de synthèse de la représentation virtuelle est identique à l’image acquise, ce point pouvant être transposé comme la localisation recherchée dans l’espace réel. En pratique l’identité entre l’image de synthèse et l’image acquise n’est jamais parfaite et l’homme du métier mettra en œuvre les techniques connues, notamment de corrélations et de probabilités, pour identifier la localisation avec le niveau de qualité attendu. De telles méthodes lorsqu’elles utilisent des calculs itératifs convergeront plus rapidement lorsqu’une position estimée de l’objet 30 sera connue par ailleurs, que cette position estimée soit transmise avec les données des images acquises ou que cette position résulte de calculs de localisation antérieurs pour le même objet.

Dans une étape de transmission descendante 204, les données de localisation, comportant des données de position et le cas échéant des données de direction d’un axe d’observation 311, obtenues à l’étape de traitement 203 de l’image, sont transmises à l’objet 30 ayant transmis ladite image.

Cette transmission est avantageuse lorsque l’objet 30 concerné est un objet mobile mettant en œuvre un système de guidage autonome qui utilisera alors les données de localisation reçues.

Dans d’autres modes de mise en œuvre, l’objet mobile est télécommandé par un centre de pilotage, cas non représenté, et alors les données de localisation seront transmises, par exemple par un réseau de communication, audit centre de pilotage, une solution hybridée des deux modes de transmission des données de localisation étant bien sûr possible pour des raisons d’hybridation du pilotage ou pour des raisons de redondances et ou de surveillance.

Dans une étape d’enrichissement 205, le modèle numérique de la représentation virtuelle de l’espace réel 10 est enrichi par incorporation dans ledit modèle numérique de données extraites à l’étape de traitement 203.

En effet, chaque image, ou au moins certaines des images, dont les données sont reçues par le centre de calculs 101 est une vue, a priori partielle, de l’espace réel 10 tel que peut être perçu ledit espace réel par le dispositif d’acquisition d’images au moment où l’image est acquise.

Cette perception de l’espace réel 10 peut être différente de celle du modèle numérique de la représentation virtuelle dudit espace réel.

Elle peut être différente parce que la représentation virtuelle de l’espace réel n’est pas totalement exacte, soit que le modèle numérique est simplifié, soit qu’il comporte des erreurs.

Elle peut être différente parce que l’espace réel 10, à l’instant d’acquisition de l’image, a effectivement subi des transformations, par exemple par des modifications de formes, et ou d’emplacement, et ou de couleur, ou de toute autre caractéristique observable par le dispositif d’acquisition d’images, ou encore par des structures ayant été retirées de l’espace réel ou des structures ayant été ajoutées dans l’espace réel.

Elle peut également être différente parce que les conditions d’observation de l’espace réel 10 on été modifiées, par exemple en raison de changement dans les conditions d’éclairement ou par la présence d’aérosol dans l’air dudit espace réel, donnant à l’espace réel un aspect différent même en absence de modification matérielle dudit espace réel.

Dans ce contexte, le centre de calculs 101 ayant identifié une image de l’espace réel comme correspondant à une partie, depuis une position et suivant une direction, de la représentation virtuelle dudit espace réel va réaliser un traitement des données de ladite images pour extraire des informations pour compléter, corriger ou mettre à jour, et d’une manière générale enrichir, les données de ladite représentation virtuelle dans la base de données 105.

Dans un premier cycle de traitement des données représentatives des images, les données enrichies sont celles de la représentation virtuelle initiale de l’espace réel. Dans les cycles de traitement ultérieurs, les données enrichies sont cumulées de sorte que la représentation virtuelle de l’espace réel est continûment affinée, enrichie et mise à jour.

Avantageusement, les données d’enrichissements sont historisées de sorte à suivre l’évolution de la représentation virtuelle de l’espace réel qui peut être soumises à des variations cycliques, par exemple des phases d’activité qui conduisent à des déplacements d’outillage, par exemple des variations d’éclairement liées aux alternances jour/nuit et aux différentes périodes de l’année. Une historisation permet ainsi de restaurer temporairement des données de la représentation virtuelle dans les conditions du moment. D’une manière générale, au moins pour un objet 30 en déplacement, le but est de fournir la localisation d’un objet 30, ou de chacun des objets d’une pluralité d’objet, de manière continue, c’est à dire avec une fréquence suffisante pour chaque objet pour que sa trajectoire puisse être identifiée avec une précision requise pour les opérations devant être assurées par ledit objet.

Les étapes de transmission montante 202, de traitement 203, de transmission descendante 204 et d’enrichissement 205 sont donc réalisées de manière cyclique pour fournir les données de localisation de tout ou partie des images reçues par le centre de traitement 101. L’invention permet ainsi de faire bénéficier tous les objets à localiser des informations, résultant d’un traitement des images, reçues par le centre de traitement d’images, de l’espace réel vu par chacun des objets à localiser.

Il permet également une mise à jour permanente du modèle numérique représentant l’espace, sans intervention d’un opérateur, par les images transmises par tous les objets à localiser, et au profit de chacun des objets à localiser qui sont en mesure de recevoir les données de leurs localisations plus rapidement, plus précise, et sans qu’il soit nécessaire de disposer d’un moyen de localisation autonome embarqué sur l’objet. L’exemple présenté d’un hangar atelier pour des aéronefs et d’un robot mobile dans ledit hangar n’est pas limitatif de l’invention.

Pour autant qu’un objet doivent être localisé dans un environnement présentant une relative stabilité, pour le moins une vitesse d’évolution suffisamment « lente » en regard de l’enrichissement possible suivant les principes de l’invention, l’homme du métier pourra appliquer les principes de l’invention exposés supra.

De manière non limitative, l’invention pourra être mise en œuvre pour localiser un véhicule dans un espace plus ou moins ouvert, que ce véhicule se déplace sur le sol, sur l’eau ou en vol. L’invention pourra également être mise en œuvre pour localiser un élément terminal d’un robot devant déplacer dans l’espace réel ledit élément terminal, par exemple porteur d’un outil, par rapport à une structure dans un système d’axes de laquelle seront calculées les données de localisation. L’invention, en utilisant des capteurs essentiellement optiques, est en mesure de délivrer des données de localisation de grande précision en s’affranchissant des effets de perturbation ou de défauts de propagation connus avec d’autres technologies, en particulier mettant en œuvre des ondes électromagnétiques ou acoustiques.

Claims (15)

1. REVENDICATIONS

   1 - Système de localisation (100) d’au moins un objet (30) dans un espace réel (10) par traitement d’images, comportant un centre de calculs (101), ledit centre de calculs comportant au moins une base de données (105) d’un environnement virtuel, représentation virtuelle de l’espace réel (10), la localisation de l’au moins un objet (30) comportant le calcul d’une position d’un point de l’environnement virtuel depuis lequel ledit environnement virtuel est vu tel que représenté sur au moins une image de l’espace réel (10) obtenue par au moins un dispositif d’acquisition d’images (31) porté par l’au moins un objet (30), caractérisé en ce que : le centre de calculs (101) est déporté par rapport à l’au moins un objet (30) et le système de localisation (100) comporte un dispositif de transmission de données (110) réalisant le transfert de données représentatives d’images depuis l’au moins un objet (30) vers le centre de calculs (101) et le transfert de données de localisation depuis ledit centre de calculs vers ledit objet, ledit centre de calculs réalise un traitement des données, représentatives d’une image de l’espace réel transmise par l’au moins un objet (30), pour déterminer dans l’environnement virtuel une position d’un point de l’espace réel (10) depuis lequel l’image a été acquise, et transmet audit au moins un objet des données de localisation dudit point comportant des données de ladite position, ledit centre de calculs enregistre dans une base de données complémentaires (103) des données de l’image de l’espace réel traitée, acquises par le dispositif d’acquisition d’images (31), qui complètent et ou corrigent une base de données initiale (102) d’une représentation numérique initiale de l’espace réel pour constituer la base de données (105) d’une représentation numérique améliorée de dudit espace réel.
2. 2 - Système suivant la revendication 1 dans lequel le centre de calculs (101) réalise en outre un traitement des données, représentatives d’une image de l’espace réel transmise par l’au moins un objet (30), pour déterminer dans l’environnement virtuel une direction d’un axe d’observation (311) vers laquelle est visualisé l’espace réel (10), depuis le point dudit espace réel depuis lequel l’image a été acquise, et transmet audit au moins un objet les données de localisation dudit point comportant des données de direction de l’axe d’observation.
3. 3 - Système suivant la revendication 1 ou la revendication 2 comportant une pluralité de dispositifs d’acquisition d’images, destinés à être portés par des objets (30) à localiser situés dans l’espace réel (10) à un même instant et ou à des instants différents.
4. 4 - Système suivant l’une des revendications précédentes dans lequel le dispositif de transmission de données (110) est un dispositif de transmission sans fil.
5. 5 - Système suivant l’une des revendications précédentes dans lequel le système de localisation comporte au moins un dispositif de localisation autonome destiné à être porté par l’au moins un objet (30) et associé à l’au moins un dispositif d’acquisition d’images (31) de sorte à associer aux images acquises des données primaires de localisation.
6. 6 - Système suivant l’une des revendications précédentes dans lequel le dispositif d’acquisition d’images (31), destiné à être porté par l’au moins un objet (30), comporte au moins une caméra vidéo délivrant des données à deux dimensions, 2D, et/ou une caméra de profondeur délivrant des données à trois dimensions, 3D.
7. 7 - Système suivant l’une des revendications précédentes comportant en outre un poste de supervision (120) qui utilise la base de données de l’environnement virtuel (105) et les données de localisation du ou des objets (30) pour reconstruire sur un ou des écrans une représentation visuelle de l’espace virtuel (10), comportant des représentations de structures (20) et d’objets (30) de l’espace réel (10), ou dans ledit espace réel, vue depuis au moins un point d’observation fixé arbitrairement ou choisi par un opérateur.
8. 8 - Procédé (200) de localisation d’au moins un objet (30) dans un espace réel (10) dans lequel se trouve ledit au moins un objet, ledit procédé comportant : a) une étape préalable (201) de création d’un modèle numérique d’une représentation virtuelle initiale de l’espace réel (10), hébergé dans une base de données d’un centre de calculs (101) séparé de l’au moins un objet (30), puis ; b) une étape de transmission (202) au centre de calculs (101) de données représentatives d’une image de l’espace réel (10) acquise depuis un point d’observation lié à l’objet (30), puis ; c) une étape de traitement (203) par le centre de calculs (101) desdites données représentatives de ladite image pour déterminer, dans la représentation virtuelle initiale de l’espace réel ou dans une représentation virtuelle enrichie dudit espace réel, une position depuis laquelle ladite image a été formée dans l’espace réel (10), et ; d) une étape d’enrichissement (205) du modèle numérique de la représentation virtuelle initiale ou enrichie de l’espace réel (10) par incorporation dans ledit modèle numérique de données de l’espace réel extraites des données représentatives de ladite image transmise à l’étape de transmission (202).
9. 9 - Procédé suivant la revendication 8 dans lequel l’étape de traitement (203) par le centre de calculs (101) des données représentatives de l’image transmise comporte de déterminer, dans la représentation virtuelle de l’espace réel, une direction d’un axe d’observation (311) vers laquelle est visualisé l’espace réel (10), depuis le point dudit espace réel depuis lequel l’image a été acquise.
10. 10 - Procédé suivant la revendication 8 ou la revendication 9 comportant, après l’étape de traitement (203), une étape de transmission (204) par le centre de calculs (101) de données de localisation comportant des données de la position déterminée à ladite étape de traitement, depuis laquelle l’image a été formée dans l’espace réel (10), le cas échéant de données de direction d’un axe d’observation.
11. 11 - Procédé suivant l’une des revendications 8 à 10 dans lequel les données de l’espace réel, incorporées à l’étape d’enrichissement (205) dans le modèle numérique de la représentation virtuelle de l’espace réel (10), comportent des primitives élaborées à partir d’attributs d’apparence parmi des contrastes, des couleurs, des transparences, des réflexions, des textures, des mesures de profondeurs.
12. 12 - Procédé suivant l’une des revendications 8 à 11 dans lequel les données de l’espace réel, incorporées à l’étape d’enrichissement (205) dans le modèle numérique de la représentation virtuelle de l’espace réel (10), comportent des données relatives à des structures (20) dudit espace réel ajoutées, et ou supprimées, et ou déplacées dans ledit espace réel.
13. 13 - Procédé suivant l’une des revendications 8 à 12 dans lequel des images de l’espace réel (10) sont acquises successivement depuis un point d’observation lié à l’au moins un objet (30) et transmises séquentiellement au centre de calculs (101) et dans lequel les étapes de traitement (203) et d’enrichissement (205) sont effectuées de manière récurrente avec tout ou partie desdites images transmises séquentiellement.
14. 14 - Procédé suivant l’une des revendications 8 à 13 dans lequel une pluralité d’objets (30) sont localisés simultanément et ou séquentiellement.
15. 15 - Procédé suivant l’une des revendications 8 à 14 dans lequel les données enregistrées dans la base de données complémentaire (103) sont cumulées et conservées dans un historique d’enrichissement de la base de données initiale (102).