FR3106680A1

FR3106680A1 - Procédé d’estimation d’une pose d’un objet

Info

Publication number: FR3106680A1
Application number: FR2000782A
Authority: FR
Inventors: Mathieu GONZALEZ; Amine Kacete; Albert MURIENNE
Original assignee: Fondation B Com
Current assignee: Fondation B Com
Priority date: 2020-01-27
Filing date: 2020-01-27
Publication date: 2021-07-30

Abstract

La présente invention concerne un procédé d’estimation d’une pose d’un objet (10) comprenant des étapes de : - acquisition d’une représentation matricielle dudit objet (10), ladite représentation matricielle définissant une pluralité de pixels et comprenant au moins des données de profondeur respectivement associées aux pixels de la pluralité de pixels, - détermination d’au moins une imagette (I1, I2) à partir de la représentation matricielle acquise, - détermination d’un premier vecteur, d’un deuxième vecteur et d’un troisième vecteur par traitement de ladite imagette (I1, I2), - détermination d’une première estimation intermédiaire de la position d’un premier point de référence à partir du premier vecteur déterminé et du centre (O1, O2) de l’imagette,- détermination d’une deuxième estimation intermédiaire de la position d’un deuxième point de référence à partir du deuxième vecteur déterminé et du centre (O1, O2) de l’imagette (I1, I2), - détermination d’une troisième estimation intermédiaire de la position d’un troisième point de référence à partir du troisième vecteur déterminé et du centre (O1, O2) de l’imagette (I1, I2), - estimation d’une première position du premier point de référence sur la base de la première estimation intermédiaire déterminée pour ladite imagette,- estimation d’une deuxième position du deuxième point de référence sur la base de la deuxième estimation intermédiaire déterminée pour ladite imagette, et- estimation d’une troisième position du troisième point de référence sur la base de la troisième estimation intermédiaire déterminée pour ladite imagette. Figure pour l’abrégé : figure 5

Description

Procédé d’estimation d’une pose d’un objet

Domaine technique de l'invention

La présente invention concerne le domaine technique de la détection d’objet dans un environnement tridimensionnel.

Elle concerne en particulier un procédé d’estimation d’une pose d’un objet.

Etat de la technique

La détection d’un objet, et en particulier de sa position tridimensionnelle dans un environnement, trouve une application particulière avec le développement des technologies de réalité augmentée. Par exemple, dans un contexte médical préparatoire, un outil d’assistance au positionnement d’un guide de coupe orthopédique permettrait d’améliorer la précision de l’intervention chirurgicale.

L’article «Learning 6d object pose estimation using 3d object coordinates» de Brachmann, E., Krull, A., Michel, F., Gumhold, S., Shotton, J., et Rother, C. (Septembre 2014), dansEuropean conference on computer vision(pp. 536-551), Springer, Cham propose dans ce cadre une méthode d’estimation, à partir d’une image tridimensionnelle réelle, de la pose d’un objet définie selon six degrés de liberté (trois degrés de rotation et trois degrés de translation).

La solution proposée dans cet article repose sur l’utilisation d’une forêt aléatoire afin de prédire un ensemble d’hypothèses concernant la pose de l’objet d’intérêt. Des images dites «synthétiques» sont générées à partir de ces hypothèses. L’hypothèse la plus réaliste est ensuite obtenue par une méthode d’optimisation énergétique en comparant chacune des images synthétiques à une image réelle.

Cette méthode est très coûteuse en temps et ressources d’exécution de par la nécessité de résolution du problème énergétique. De plus, elle présente une précision limitée car elle repose sur une prédiction discrète des hypothèses de pose de l’objet.

Présentation de l'invention

Dans ce contexte, la présente invention propose d’améliorer la détermination de l’estimation d’une pose d’un objet.

Plus particulièrement, on propose selon l’invention un procédé d’estimation d’une pose d’un objet comprenant des étapes de:
- acquisition d’une représentation matricielle dudit objet, ladite représentation matricielle définissant une pluralité de pixels et comprenant au moins des données de profondeur respectivement associées aux pixels de la pluralité de pixels,
- détermination d’au moins une imagette à partir de la représentation matricielle acquise,
- détermination d’un premier vecteur, d’un deuxième vecteur et d’un troisième vecteur par traitement de ladite imagette,
- détermination d’une première estimation intermédiaire de la position d’un premier point de référence à partir du premier vecteur déterminé et du centre de l’imagette,
- détermination d’une deuxième estimation intermédiaire de la position d’un deuxième point de référence à partir du deuxième vecteur déterminé et du centre de l’imagette,
- détermination d’une troisième estimation intermédiaire de la position d’un troisième point de référence à partir du troisième vecteur déterminé et du centre de l’imagette,
- estimation d’une première position du premier point de référence sur la base de la première estimation intermédiaire déterminée pour ladite imagette,
- estimation d’une deuxième position du deuxième point de référence sur la base de la deuxième estimation intermédiaire déterminée pour ladite imagette, et
- estimation d’une troisième position du troisième point de référence sur la base de la troisième estimation intermédiaire déterminée pour ladite imagette.

Ainsi, de manière avantageuse, la détermination de l’estimation d’une pose d’un objet d’intérêt selon l’invention repose sur la détermination de paramètres géométriques issus de la représentation matricielle. Ces paramètres géométriques sont ensuite utilisés pour déterminer cette estimation de la pose, par la détermination d’estimations intermédiaires. Cela permet notamment de simplifier et d’accélérer la détermination de la pose de l’objet d’intérêt car il n’est pas nécessaire de mettre en œuvre des méthodes d’analyse très coûteuse (telle qu’une méthode énergétique).

De plus, l’utilisation de plusieurs estimations intermédiaires permet d’améliorer la précision de l’estimation de la pose de l’objet déterminée.

D’autres caractéristiques non limitatives et avantageuses du procédé conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes:

- il est prévu une étape d’estimation de la pose dudit objet sur la base de la première position estimée, de la deuxième position et de la troisième position estimée, ladite pose étant définie par un déplacement de l’espace transformant une première position prédéfinie du premier point de référence en ladite première position estimée, une seconde position prédéfinie du second point de référence en ladite seconde position estimée et une troisième position prédéfinie du troisième point de référence en ladite troisième position estimée;

- l’étape de détermination de l’imagette comprend une étape de détermination d’une valeur associée à ladite imagette, ladite valeur étant représentative d’une probabilité qu’au moins une portion de l’objet soit visible sur l’imagette ;

- l’étape de détermination de la valeur associée à l’imagette est mise en œuvre au moyen d’un premier réseau neuronal en fournissant en entrée dudit premier réseau neuronal ladite imagette, ladite valeur déterminée associée à l’imagette étant obtenue en sortie dudit premier réseau neuronal;

- les étapes de détermination du premier vecteur, du deuxième vecteur et du troisième vecteur sont mises en œuvre au moyen d’un deuxième réseau neuronal en fournissant en entrée dudit deuxième réseau neuronal l’imagette, le premier vecteur, le deuxième vecteur et le troisième vecteur déterminés étant obtenus en sortie dudit deuxième réseau neuronal;

- préalablement aux étapes de détermination du premier vecteur, du deuxième vecteur et du troisième vecteur, il est prévu une étape d’apprentissage du deuxième réseau neuronal à partir d’une pluralité d’imagettes prédéterminées;

- la représentation matricielle acquise comprend une pluralité de composantes colorimétriques pour chaque pixel de la pluralité de pixels;

- il est prévu les étapes suivantesde :
- détermination d’une pluralité d’imagettes à partir de ladite représentation matricielle,
- pour chacune desdites imagettes, détermination d’une valeur associée à l’imagette concernée, ladite valeur étant représentative d’une probabilité qu’au moins une portion de l’objet soit visible sur l’imagette concernée, et
- sélection des imagettes pour lesquelles la valeur déterminée est supérieure à un seuil prédéterminé; et

- il est prévu une étape d’application des imagettes sélectionnées en entrée du second réseau neuronal.

Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.

Description détaillée de l'invention

De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l'invention et où:

représente un exemple d’une scène en trois dimensions comprenant un objet d’intérêt pour l’invention,

représente un masque binaire obtenu lors de la mise en œuvre d’un procédé préliminaire conforme à l’invention,

représente schématiquement les éléments principaux d’un système d’estimation de pose d’un objet conforme à l’invention,

représente un autre exemple d’une scène en trois dimensions comprenant un objet d’intérêt pour l’invention,

est une première représentation schématique de paramètres déterminés lors de la mise en œuvre du procédé conforme à l’invention,

est une deuxième représentation schématique de paramètres déterminés lors de la mise en œuvre du procédé conforme à l’invention

est une troisième représentation schématique de paramètres déterminés lors de la mise en œuvre du procédé conforme à l’invention,

est une quatrième représentation schématique de paramètres déterminés lors de la mise en œuvre du procédé conforme à l’invention,

est une cinquième représentation schématique de paramètres déterminés lors de la mise en œuvre du procédé conforme à l’invention

représente, sous forme de logigramme, un exemple de procédé préliminaire conforme à l’invention,

représente, sous forme de logigramme, un exemple de procédé d’estimation de la pose d’un objet conforme à l’invention,

est une représentation schématique d’un premier réseau neuronal utilisé dans le procédé d’estimation de la pose d’un objet conforme à l’invention, et

est une représentation schématique d’un deuxième réseau neuronal utilisé dans le procédé d’estimation de la pose d’un objet conforme à l’invention.

La figure 1 représente un exemple de scène en trois dimensions à laquelle va s’appliquer l’invention. Cette scène est constituée de différents objets disposés sur une surface plane, constituée ici par la surface plane et horizontale d’une table 100. La figure 4 représente une autre scène en trois dimensions.

Chaque scène en trois dimensions comprend un objet 1, 10 d’intérêt dont on souhaite estimer la pose (comme précisé précédemment, définie selon six degrés de liberté, trois degrés de liberté en rotation et trois degrés de liberté en translation).

Sur la figure 3, on a représenté les éléments principaux d’un système 5 d’estimation de pose de l’objet 1, 10 conforme à l’invention.

Le système 5 d’estimation de pose de l’objet 1, 10 comprend un ensemble d’acquisition 50 et un calculateur 54.

L’ensemble d’acquisition 50 comprend un système d’acquisition 51 et une unité de traitement 52. L’ensemble d’acquisition 50 est conçu pour acquérir une représentation de l’objet 1, 10. Par représentation, on entend ici une représentation matricielle de l’objet 1, 10 définissant une pluralité de pixels. Cette représentation matricielle comprend des données de profondeur associées aux pixels définis. La représentation matricielle peut comprendre également une pluralité de composantes colorimétriques associées à chaque pixel de la pluralité de pixels.

En pratique, le système d’acquisition 51 est une caméra dite RGB-D qui acquiert simultanément une image couleur et une carte de profondeur caractérisant la distance des objets vus dans l’image. La caméra RGB-D est par exemple formée par l’association d’une caméra classique RGB et d’au moins une caméra infrarouge. L’unité de traitement 52 reçoit alors des signaux du système d’acquisition 51 de manière à générer une représentation matricielle de l’objet 1, 10 d’intérêt comprenant une image et une carte de profondeur acquises.

Ici, le système d’acquisition 51 comprend une caméra classique RGB et deux caméras infrarouges. La distance des objets vus dans l’image (c’est-à-dire la donnée de profondeur) est obtenue par stéréoscopie entre les deux caméras infrarouges.

En variante, cette donnée de profondeur peur être déterminée à partir d’une estimation d’un temps de propagation (temps de vol mesuré au niveau de la caméra infrarouge).

Afin de traiter la représentation matricielle de l’objet 1, 10 fournie par l’ensemble d’acquisition 50, le système 5 d’estimation de pose de l’objet 1, 10 comprend également le calculateur 54. Le calculateur 54 comporte un processeur, par exemple un microprocesseur, et une mémoire interne. La mémoire interne mémorise notamment des instructions de programme d’ordinateur. Ces instructions de programme d’ordinateur permettent, lorsqu’elles sont exécutées par le processeur, la mise en œuvre par le calculateur 54 de certaines fonctionnalités comme la mise en œuvre d’un procédé d’estimation d’une pose de l’objet 1, 10 décrit ci-après en référence à la figure 11. En particulier, le calculateur 54 est conçu pour mettre en œuvre un premier réseau neuronal R1 et un deuxième réseau neuronal R2, intervenant dans le procédé d’estimation d’une pose de l’objet 1, 10 décrit ci-après.

Préalablement à l’exécution du procédé d’estimation de la pose de l’objet 1, 10, un procédé préliminaire est mis en œuvre. La figure 10 représente, sous forme de logigramme, un exemple de procédé préliminaire mis en œuvre dans le calculateur 54.

Avant l’exécution de la première étape E2 du procédé préliminaire, on considère que l’objet 1, 10 d’intérêt est dans une pose dite neutre, cette pose neutre permettant alors de définir un référentiel associé à l’objet 1 d’intérêt ainsi que des positions associées pour différents points de la surface de l’objet d’intérêt.

Comme le montre la figure 10, le procédé préliminaire débute à l’étape E2. Lors de cette étape, N points d’intérêt sont sélectionnés à la surface de l’objet 1, 10 d’intérêt, avec N un entier supérieur à 2, de préférence supérieur à 3. La valeur de N est déterminée par un opérateur. La sélection de ces N points d’intérêt dans le référentiel lié à l’objet 1, 10 permet de définir la position tridimensionnelle de l’objet 1, 10 dans son référentiel.

Les N points d’intérêt sont par exemple déterminés manuellement par l’opérateur. En variante, les N points d’intérêt peuvent être déterminés automatiquement, par exemple par l’utilisation d’un algorithme d’échantillonnage uniforme ou un algorithme qui sélectionne les points les plus éloignés.

Pour chaque point d’intérêt sélectionné, la position associée de ce point dans le référentiel associé à l’objet 1, 10 d’intérêt est également déterminée, par exemple sur la base d’une représentation tridimensionnelle de la surface de l’objet d’intérêt. Le calculateur 54 identifie alors la position de chaque point d’intérêt par mise en correspondance du point d’intérêt concerné avec cette représentation tridimensionnelle.

En variante, lorsque les N points d’intérêt sont déterminés automatiquement, la représentation tridimensionnelle de chaque point y est directement associée.

Le procédé préliminaire se poursuit à l’étape E4 lors de laquelle l’ensemble d’acquisition 50 est utilisé afin d’acquérir une pluralité de représentations matricielles de l’objet 1, 10 d’intérêt dans des poses tridimensionnelles différentes. Une représentation matricielle est donc associée à une pose connue du l’objet 1, 10 d’intérêt. Un exemple d’une image acquise par le système d’acquisition 52 est représenté sur la figure 1. L’objet 1 d’intérêt est ici une figurine représentant un chat. De préférence pour cette étape E4, l’objet 1 d’intérêt est positionné dans un environnement encombré.

Ainsi, à l’issue de l’étape E4, un jeu de données est constitué à partir de la pluralité de représentations matricielles acquises.

Lors de l’étape E6, le calculateur 54 du système 5 d’estimation de pose de l’objet 1, 10 mémorise les représentations matricielles acquises et les poses associées. Chaque pose est par exemple déterminée à l’aide de marqueurs tridimensionnels utilisés uniquement lors de l’exécution de ce procédé préliminaire.

Pour chaque représentation matricielle mémorisée, et à partir de la pose de l’objet 1 associée, le calculateur 54 détermine, à l’étape E8, un masque binaire correspondant à une représentation bidimensionnelle de l’objet 1 d’intérêt. Plus particulièrement, pour générer ce masque binaire, le calculateur 54 utilise une fonction de projection de chaque point de la représentation tridimensionnelle de l’objet 1 d’intérêt afin d’obtenir la représentation bidimensionnelle de l’objet 1. En pratique, la projection de l’objet 1 d’intérêt dont la pose est connue est réalisée dans un plan lié au système d’acquisition 51. Ce plan est par exemple un plan perpendiculaire à l’axe de visée du système d’acquisition 51. Comme la position du système d’acquisition 51 est connue (grâce aux marqueurs tridimensionnels mentionnés précédemment), il est possible de déterminer la position bidimensionnelle des points de l’objet 1 d’intérêt en projection dans ce plan.

Cette représentation bidimensionnelle permet alors de préciser la position de l’objet 1, tout en validant la présence de cet objet sur la représentation matricielle.

En pratique, pour chaque pixel de la représentation tridimensionnelle de l’objet 1 d’intérêt, on génère une nouvelle représentation bidimensionnelle dans laquelle:
- le pixel de la représentation bidimensionnelle associé (par la projection mentionnée) au pixel concerné de la représentation tridimensionnelle prend une valeur 1 s’il s’agit d’un pixel de l’objet 1 d’intérêt, et
- une valeur 0 sinon.

Cette représentation bidimensionnelle forme alors le masque binaire mentionné précédemment.

En d’autres termes, le masque binaire est une représentation bidimensionnelle associant pour chaque pixel de la représentation tridimensionnelle de l’objet 1 d’intérêt un pixel correspondant dans le masque binaire. Le pixel correspondant dans le masque binaire présente une valeur égale à 1 si le pixel de la représentation matricielle est un pixel de l’objet 1 d’intérêt et une valeur égale à 0 sinon.

Un exemple du masque binaire pour l’objet 1 associé à la figure 1 est représenté sur la figure 2.

Comme le montre la figure 10, le procédé préliminaire se poursuit à l’étape E10. Lors de cette étape, le calculateur 54 détermine une pluralité de parties de la représentation matricielle (tridimensionnelle). Plus explicitement, la représentation matricielle est découpée en une pluralité de parties, chaque partie de la représentation matricielle étant appelée imagette dans la suite.

Chaque imagette est formée de plusieurs pixels contigus de la représentation matricielle. Chaque imagette présente par exemple une taille comprise entre 16x16 pixels² et 64x64 pixels², de préférence 48x48 pixels². La figure 5 représente deux exemples d’imagettes I1, I2.

Le découpage de la représentation matricielle en la pluralité d’imagettes est ici effectué en utilisant une fenêtre de découpage glissante (c’est-à-dire que chaque imagette recouvre au moins une autre imagette). Le pas de la fenêtre glissante est de l’ordre de quelques pixels, de préférence un pas supérieur à 4 pixels. Le pas de la fenêtre glissante est par exemple ici compris entre 8 et 16 pixels.

En variante, le découpage de la représentation matricielle peut être effectué selon un partitionnement de la représentation matricielle (c’est-à-dire sans recouvrement entre les différentes imagettes). En variante encore, le découpage de la représentation matricielle pourrait être effectué suivant une fenêtre glissante au niveau de l’objet d’intérêt 1, 10 et selon une grille sans recouvrement ailleurs.

Pour chaque imagette, le calculateur 54 associe une variable appelée «classe» de l’imagette (étape E12). Cette variable caractérise la présence (ou l’absence) de l’objet 1, 10 d’intérêt sur l’imagette concernée. Ainsi, si l’objet 1, 10 d’intérêt est visible sur l’imagette concernée, la classe de cette imagette est égale à la valeur 1. Dans le cas contraire, si l’objet d’intérêt n’est pas visible sur l’imagette concernée, sa classe prend la valeur 0.

En pratique, la classe de l’imagette est déterminée automatiquement, en utilisant le masque binaire déterminé à l’étape E8. Plus particulièrement, pour chaque imagette de la représentation matricielle est associée une imagette correspondante dans le masque binaire déterminé à l’étape E8. Grâce au masque binaire, l’information de présence de l’objet 1, 10 d’intérêt sur chaque pixel est connue.

Ainsi, une imagette de la représentation matricielle a une classe de valeur 1 lorsque la proportion de pixels sur lesquels l’objet 1, 10 d’intérêt est visible dépasse un seuil prédéterminé et qu’une portion entourant le pixel central de l’imagette comprend également l’objet 1, 10 d’intérêt. Le seuil prédéterminé est par exemple de l’ordre de 20%. La portion entourant le pixel central de l’imagette est par exemple formée de 16 pixels positionnés autour du pixel central. Dans le cas contraire, l’objet 1, 10 d’intérêt ne sera pas considéré comme visible sur l’imagette concernée et la classe de celle-ci sera égale à 0.

En pratique, une condition de valeur de profondeur non nulle pour l’imagette étudiée peut permettre en outre de s’assurer qu’il n’y a pas eu d’erreurs de traitement lors de l’acquisition par le système d’acquisition 51.

A l’étape E14, le calculateur 54 détermine, également pour chaque imagette, une pluralité de vecteurs. Chaque vecteur est ici défini comme la différence entre la position d’un point d’intérêt (parmi les N points d’intérêt choisis à l’étape E2) et la position tridimensionnelle du centre de l’imagette concernée.

Tel que décrit précédemment, une fonction de projection de la représentation matricielle tridimensionnelle en une représentation bidimensionnelle est utilisée pour déterminer le masque binaire. Cette fonction de projection est réutilisée ici et inversée afin de déterminer la position tridimensionnelle du centre de chaque imagette. En effet, sachant que les données de profondeur associées aux différents pixels de chaque imagette sont connues, il est possible d’utiliser l’inverse de la fonction de projection pour déterminer la position tridimensionnelle du centre de l’imagette concernée. En particulier, l’inverse de cette fonction de projection est appliqué au centre de l’imagette concernée bidimensionnelle afin de déterminer la position tridimensionnelle de l’imagette concernée. Autrement dit, la position tridimensionnelle du centre de l’imagette concernée est obtenue grâce à la donnée de profondeur associée (dans la représentation matricielle) au centre de cette imagette.

La figure 5 représente deux exemples de vecteurs déterminés. Pour l’imagette I1 de centre O1, et par rapport à un point d’intérêt A1, le vecteur associé est déterminé et noté iciv1. Le vecteurv2est le vecteur déterminé par le calculateur 54 entre le centre O2 de l’imagette I2 et le point d’intérêt A1.

Ainsi, à l’étape E14, pour chaque imagette, un ensemble de N vecteurs est déterminés (dépendant des N points d’intérêt sélectionnés à l’étape E2).

Finalement, à l’étape E16, le calculateur 54 mémorise, pour chaque imagette de la représentation matricielle, sa classe et l’ensemble de N vecteurs associés.

Comme le montre la figure 10, le procédé préliminaire se poursuit à l’étape E18. Cette étape E18 correspond à une étape d’apprentissage du premier réseau neuronal R1. Pour cela, le calculateur 54 fournit en entrée de ce premier réseau neuronal R1 chaque imagette I1, I2 déterminée à l’étape E10. La figure 12 est une représentation schématique de ce premier réseau neuronal R1.

Le premier réseau neuronal R1 est conçu pour fournir en sortie, pour chaque imagette I1, I2 fournie en entrée, une valeur déterminée p1, p2 associée à l’imagette concernée. Cette valeur déterminée p1, p2 est représentative d’une probabilité qu’au moins une portion de l’objet 1, 10 d’intérêt soit visible sur l’imagette concernée.

Comme chaque imagette a été mémorisée dans le calculateur 54 avec la valeur de sa classe, cette étape d’apprentissage du premier réseau neuronal R1 permet de réajuster les paramètres de ce dernier afin que la différence entre la valeur déterminée en sortie du premier réseau neuronal R1 et la classe associée à l’imagette soit le plus faible possible. Ce premier réseau neuronal R1 a donc ici une fonction de classification des imagettes.

En pratique, le premier réseau neuronal R1 est un réseau neuronal convolutif. Il est formé de deux parties. Une première partie R10 dite de convolution qui comprend un ensemble de filtres, la convolution de cet ensemble de filtres avec chaque imagette I1, I2 permet d’extraire des informations de l’imagette concernée. Ces informations sont ensuite transmises à une deuxième partie R15 comprenant des neurones mettant en œuvre des opérations sur le résultat de chaque imagette filtrée afin d’obtenir ici la valeur déterminée p1, p2 associée à chaque imagette I1, I2 analysée.

L’étape E20 correspond à une étape d’apprentissage du deuxième réseau neuronal R2. Pour cela, le calculateur 54 fournit en entrée de ce deuxième réseau neuronal R2 chaque imagette I1, I2 déterminée à l’étape E10. La figure 13 est une représentation schématique de ce deuxième réseau neuronal R2.

Le deuxième réseau neuronal R2 est conçu pour fournir en sortie, pour chaque imagette I1, I2 fournie en entrée, un ensemble de N vecteurs estimés entre le centre de l’imagette concernée et N points de référence (sur la figure 13, ces vecteurs estimés sont notésve1,ve2).

Comme l’ensemble de N vecteurs associés à l’imagette concernée ont été mémorisés par le calculateur 54 à l’étape E16, ces N vecteurs sont comparés aux N vecteurs estimés et les paramètres du deuxième réseau neuronal R2 sont ajustés afin de minimiser la différence entre les N vecteurs déterminés à l’étape E16 et les N vecteurs estimés obtenus en sortie du deuxième réseau neuronal R2. Ce deuxième réseau neuronal R2 a ici une fonction de régression.

Comme pour le premier réseau neuronal R1, le deuxième réseau neuronal R2 est un réseau neuronal convolutif. Il est formé de deux parties similaires à celles précédemment décrites pour le premier réseau neuronal R1: une première partie R20 dite de convolution qui comprend un ensemble de filtres et qui permet d’extraire des informations de l’imagette I1, I2 concernée et une deuxième partie R25 neurones qui met en œuvre des opérations sur le résultat de chaque imagette filtrée afin d’obtenir ici l’ensemble de N vecteurs estimés entre le centre de l’imagette concernée et N points de référence.

Ce procédé préliminaire est mis en œuvre à partir de représentations connues de l’objet 1, 10 d’intérêt et a pour but principal l’entraînement du premier réseau neuronal R1 et du deuxième réseau neuronal R2. Ce procédé préliminaire est mis en œuvre préalablement à l’exécution du procédé d’estimation d’une pose de l’objet d’intérêt décrit à présent en référence à la figure 11.

La figure 11 représente un exemple de procédé d’estimation de la pose de l’objet 1, 10 d’intérêt conformément à l’invention.

Comme le montre la figure 11, le procédé débute à l’étape E50. Lors de cette étape E50, une représentation matricielle d’une scène tridimensionnelle comprenant (ou non) l’objet d’intérêt 1, 10 est acquise. Ici, cette représentation matricielle acquise est illustrée par exemple par la figure 4. L’objet d’intérêt 10 est ici une figurine représentant un lapin positionné sur parmi d’autres objets. La pose du lapin est inconnue.

Le procédé se poursuit à l’étape E52 lors de laquelle la représentation matricielle acquise à l’étape E50 est découpée en une pluralité d’imagettes (de la même façon que dans le cadre du procédé préliminaire décrit précédemment). Ici, le découpage est effectué selon une fenêtre glissante. Chaque imagette présente donc une portion recouvrant une autre imagette issue du découpage. Deux imagettes I1, I2 sont représentées sur la figure 5.

Pour chaque imagette obtenue, une valeur est déterminée (étape E54). Cette valeur déterminée est représentative de la probabilité qu’au moins une portion de l’objet soir visible sur l’imagette concernée.

En pratique, pour chaque imagette, cette valeur est déterminée par la mise en œuvre du premier réseau neuronal R1 entraîné pour cela lors du procédé préliminaire décrit précédemment. Suite à l’étape d’apprentissage du premier réseau neuronal R1 décrit précédemment, en fournissant en entrée du premier réseau neuronal R1 chaque imagette obtenue à l’étape E52, celui-ci fournit en sortie la valeur déterminée associée à l’imagette concernée.

Comme représenté sur la figure 11, le procédé se poursuit à l’étape E56. Lors de cette étape, le calculateur 54 effectue une sélection parmi les imagettes déterminées. Le calculateur 54 sélectionne ici les imagettes pour lesquelles la valeur déterminée (à l’étape E54) est supérieure à un seuil prédéterminé. Ce seuil prédéterminé est par exemple de l’ordre de 0,95.

Ainsi, à l’issue de l’étape E56, seules les imagettes ayant une probabilité élevée de présence d’une portion de l’objet d’intérêt sont sélectionnées et conservées pour la suite du procédé d’estimation de la pose de l’objet d’intérêt.

Lors de l’étape E58, les imagettes sélectionnées à l’étape E56 sont fournies en entrée du deuxième réseau neuronal R2 (entraîné lors de la mise en œuvre du procédé préliminaire). En sortie du deuxième réseau neuronal R2, sont alors obtenues, pour chaque imagette, des estimations de vecteurs correspondant à la différence entre le centre de l’imagette concernée (déterminé tel que décrit précédemment à l’étape E14) et un point d’intérêt (parmi N points d’intérêt, et dont la position est inconnue à ce stade, permettant de définir la pose de l’objet d’intérêt 10). A l’issue de l’étape E58, pour chaque imagette, sont donc obtenus au moins un premier vecteur, un deuxième vecteur, …, un N^èmevecteur (autant de vecteurs qu’il y a de points d’intérêt).

La figure 6 représente un premier vecteur estimév1A, un deuxième vecteur estimév1Bet un troisième vecteur estimév1Cà partir de l’imagette I1 de centre O1 fournie en entrée du deuxième réseau neuronal R2. La figure 6 représente également trois autres vecteurs estimésv2A,v2B,v2Cà partir de l’imagette I2 de centre O2 fournie en entrée du deuxième réseau neuronal R2.

Le calculateur 54 utilise ensuite, à l’étape E60, les vecteurs déterminés pour déterminer une estimation intermédiaire de la position de chacun des N points d’intérêt. A partir de chaque estimation de vecteur déterminée et du centre de l’imagette concernée, le calculateur 54 déduit l’estimation intermédiaire associée à la position du point d’intérêt correspondant.

Ainsi, comme illustré sur la figure 7 (en lien avec la figure 6), le premier vecteur estimév1Apermet, à partir du centre O1 de l’imagette I1 associée, de déterminer une première estimation intermédiaire A1 de la position d’un premier point d’intérêt. Le deuxième vecteur estimév1Bpermet, à partir du centre O1 de l’imagette I1 associée, de déterminer une deuxième estimation intermédiaire A3 de la position d’un deuxième point d’intérêt. Le troisième vecteur estimév1Cpermet, à partir du centre O1 de l’imagette I1 associée, de déterminer une troisième estimation intermédiaire A2 de la position d’un troisième point d’intérêt.

De la même façon, les trois autres vecteurs estimésv2A,v2B,v2C permettent d’obtenir d’autres première, deuxième et troisième estimations intermédiaires B1, B3, B2 de la position, respectivement, du premier point d’intérêt, du deuxième point d’intérêt et du troisième point d’intérêt, en partant cette fois du centre O2 de l’imagette I2.

En appliquant cette étape E60 à chaque imagette, on obtient alors une pluralité d’estimations intermédiaires (autant qu’il y a d’imagettes) de la position de chaque point d’intérêt. Graphiquement, comme le montre la figure 9, la détermination de cette pluralité d’estimations intermédiaires conduit à la formation de nuages de points N1, N2, N3, chaque nuage de point N1, N2, N3 étant associé à un point d’intérêt. La figure 9 correspond à une exécution du procédé pour N=3 points d’intérêt, et trois nuages de points N1, N2, N3 sont obtenus à l’issue de l’étape E60. Le cas illustré sur la figure 9 ne correspond pas au cas précédemment décrit, les points d’intérêt montrés en tant qu’exemples sont donc différents de ceux illustrés sur les figures 6 à 8.

Le procédé se poursuit ensuite à l’étape E62. Lors de cette étape, la pluralité d’estimations intermédiaires de la position de chaque point d’intérêt est utilisée afin de déterminer une estimation de la position de chacun des points d’intérêt.

Pour cela, pour chaque point d’intérêt, la pluralité d’estimations intermédiaires de la position obtenue à l’étape E60 est agrégée afin d’obtenir une unique estimation de la position du point d’intérêt concerné. Cette agrégation est par exemple mise en œuvre par l’estimation d’un maximum de densité des estimations intermédiaires de la position de chacun des points d’intérêt. L’unique estimation de la position du point d’intérêt concerné correspond alors au point de densité maximum. La figure 8 illustre les estimations G1, G2, G3 des positions des trois points d’intérêt obtenues par cette méthode d’agrégation.

En variante, l’agrégation peut être effectuée, pour chaque point d’intérêt, par calcul d’une moyenne des estimations intermédiaires déterminées de la position du point d’intérêt concerné.

Afin de déterminer la pose de l’objet 10 d’intérêt, les estimations G1, G2, G3 des positions des points d’intérêts (déterminées à l’étape E62) sont mises en correspondance avec les positions de ces mêmes points d’intérêts dans la pose neutre de l’objet d’intérêt (les caractéristiques de la pose neutre, et en particulier la position de points de surface de l’objet d’intérêt, ont été mémorisées par le calculateur 54 avant l’exécution du procédé comme déjà indiqué précédemment).

Plus précisément, à l’étape E64, le calculateur 54 détermine le déplacement de l’espace transformant, pour chaque point d’intérêt, une position prédéterminée de ce point d’intérêt (dans la pose neutre de l’objet) en la position estimée correspondante de ce point d’intérêt (déterminée à l’étape E62). La transformation de la position des N points d’intérêt correspondant à la pose neutre en la position estimée de ces N points d’intérêt correspond à la pose recherchée de l’objet 10 d’intérêt.

En pratique, c’est la transformation, composée d’une rotation et d’une translation, qui rapproche le plus la position des N points d’intérêt correspondant à la pose neutre de la position estimée de ces N points d’intérêt qui est recherchée ici pour définir la pose de l’objet 10. Cela est par exemple réalisé par la résolution d’un problème orthogonal de Procrustes basé sur une décomposition en valeurs singulières. Des détails concernant la résolution du problème orthogonal de Procrustes sont disponibles dans le document «Least-squares fitting of two 3D point sets» de Arun, K Somani, Huang, Thomas S and Blostein, Steven D, IEEE Transactions on pattern analysis and machine intelligence, 5, 698-700, 1987.

En variante, la détermination de la transformation peut être réalisée à l’aide d’un algorithme d’optimisation tel que celui décrit dans l’article :« Experiments with robust estimation techniques in real-time robot vision», Ezio Mali, Eric Marchand, Nov. 2006 ou dans l’article «Robust Registration of 2D and 3D Point Sets», Andrew W. Fitzgibbon, BMVC 2001.

En variante l’étape d’agrégation pourrait être omise, pour chaque point d’intérêt, la pluralité d’estimations intermédiaires de la position obtenue à l’étape E60 est alors mise en correspondance avec la position du point d’intérêt correspondante en pose neutre afin de déterminer la transformation de l’espace associée et obtenir une estimation plus robuste de la pose de l’objet 10 d’intérêt (car un plus grand nombre de points est utilisé).

En variante encore, un calcul de maximum de densité des estimations intermédiaires de la position de chaque point d’intérêt peut être effectué afin d’éliminer les estimations intermédiaires qui sont trop éloignées du maximum calculé. Les estimations intermédiaires restantes peuvent alors être mises en correspondance avec la position du point d’intérêt correspondant en pose neutre afin de déterminer une transformation de l’espace (comme décrit précédemment) et obtenir une estimation de la pose de l’objet 10.

Claims

Procédé d’estimation d’une pose d’un objet (1, 10) comprenant des étapes de:
- acquisition (E50) d’une représentation matricielle dudit objet (1, 10), ladite représentation matricielle définissant une pluralité de pixels et comprenant au moins des données de profondeur respectivement associées aux pixels de la pluralité de pixels,
- détermination (E52) d’au moins une imagette (I1, I2) à partir de la représentation matricielle acquise,
- détermination (E58) d’un premier vecteur (v1A, v2A), d’un deuxième vecteur (v1B, v2B) et d’un troisième vecteur (v1C, v2C) par traitement de ladite imagette (I1, I2),
- détermination (E60) d’une première estimation intermédiaire (A1, B1) de la position d’un premier point de référence à partir du premier vecteur (v1A, v2A) déterminé et du centre (O1, O2) de l’imagette,
- détermination (E60) d’une deuxième estimation intermédiaire (A3, B3) de la position d’un deuxième point de référence à partir du deuxième vecteur (v1B, v2B) déterminé et du centre (O1, O2) de l’imagette (I1, I2),
- détermination (E60) d’une troisième estimation intermédiaire (A2, B2) de la position d’un troisième point de référence à partir du troisième vecteur (v1C, v2C) déterminé et du centre (O1, O2) de l’imagette (I1, I2),
- estimation (E62) d’une première position (G1) du premier point de référence sur la base de la première estimation intermédiaire (A1, B1) déterminée pour ladite imagette,
- estimation (E62) d’une deuxième position (G3) du deuxième point de référence sur la base de la deuxième estimation intermédiaire (A3, B3) déterminée pour ladite imagette, et
- estimation (E62) d’une troisième position (G2) du troisième point de référence sur la base de la troisième estimation intermédiaire (A2, B2) déterminée pour ladite imagette.
Procédé selon la revendication 1, comprenant une étape (E64) d’estimation de la pose dudit objet (1, 10) sur la base de la première position estimée (G1), de la deuxième position estimée (G3) et de la troisième position estimée (G2), ladite pose étant définie par un déplacement de l’espace transformant une première position prédéfinie du premier point de référence en ladite première position estimée (G1), une seconde position prédéfinie du second point de référence en ladite seconde position estimée (G3) et une troisième position prédéfinie du troisième point de référence en ladite troisième position estimée (G4).
Procédé selon la revendication 1 ou 2, dans lequel l’étape de détermination de l’imagette (I1, I2) comprend une étape (E54) de détermination d’une valeur associée à ladite imagette, ladite valeur étant représentative d’une probabilité qu’au moins une portion de l’objet (1, 10) soit visible sur l’imagette (I1, I2).
Procédé selon la revendication 3, dans lequel l’étape de détermination de la valeur associée à l’imagette (I1, I2) est mise en œuvre au moyen d’un premier réseau neuronal (R1) en fournissant en entrée dudit premier réseau neuronal (R1) ladite imagette (I1, I2), ladite valeur déterminée associée à l’imagette (I1, I2) étant obtenue en sortie dudit premier réseau neuronal (R1).
Procédé selon l’une quelconque des revendications 1 à 4, dans lequel les étapes de détermination du premier vecteur (v1A, v2A), du deuxième vecteur (v1B, v2B) et du troisième vecteur (v1C, v2C) sont mises en œuvre au moyen d’un deuxième réseau neuronal (R2) en fournissant en entrée dudit deuxième réseau neuronal (R2) l’imagette (I1, I2), le premier vecteur, le deuxième vecteur et le troisième vecteur déterminés étant obtenus en sortie dudit deuxième réseau neuronal (R2).
Procédé selon la revendication 5, comprenant, préalablement aux étapes de détermination du premier vecteur (v1A, v2A), du deuxième vecteur (v1B, v2B )et du troisième vecteur (v1C, v2C), une étape d’apprentissage du deuxième réseau neuronal (R2) à partir d’une pluralité d’imagettes prédéterminées.
Procédé selon l’une quelconque des revendications 1 à 6, dans laquelle la représentation matricielle acquise comprend une pluralité de composantes colorimétriques pour chaque pixel de la pluralité de pixels.
Procédé selon l’une quelconque des revendications 1 à 7, comprenant les étapes suivantes:
- détermination d’une pluralité d’imagettes à partir de ladite représentation matricielle,
- pour chacune desdites imagettes, détermination d’une valeur associée à l’imagette concernée, ladite valeur étant représentative d’une probabilité qu’au moins une portion de l’objet soit visible sur l’imagette concernée, et
- sélection des imagettes pour lesquelles la valeur déterminée est supérieure à un seuil prédéterminé.
Procédé selon la revendication 8 prise dans la dépendance de la revendication 5, comprenant une étape (E58) d’application des imagettes sélectionnées en entrée du deuxième réseau neuronal (R2).