FR3060170A1 - Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif - Google Patents
Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif Download PDFInfo
- Publication number
- FR3060170A1 FR3060170A1 FR1662455A FR1662455A FR3060170A1 FR 3060170 A1 FR3060170 A1 FR 3060170A1 FR 1662455 A FR1662455 A FR 1662455A FR 1662455 A FR1662455 A FR 1662455A FR 3060170 A1 FR3060170 A1 FR 3060170A1
- Authority
- FR
- France
- Prior art keywords
- objects
- generic
- model
- class
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003044 adaptive effect Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000010801 machine learning Methods 0.000 claims abstract description 9
- 230000002194 synthesizing effect Effects 0.000 claims abstract 2
- 238000001514 detection method Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
L'invention est relative à un procédé de configuration automatique d'un système de reconnaissance d'une classe d'objets de morphologie variable, comprenant les étapes suivantes : prévoir un système d'apprentissage machine avec un jeu de données initial (10) suffisant pour reconnaître des instances d'objets de la classe dans une séquence d'images d'une scène cible ; prévoir un modèle tridimensionnel générique spécifique à la classe d'objets, dont la morphologie est définissable par un jeu de paramètres ; acquérir une séquence d'images de la scène à l'aide d'une caméra (12) ; reconnaître des instances d'image (14) d'objets de la classe dans la séquence d'images acquise en utilisant le jeu de données initial ; conformer le modèle tridimensionnel générique (16) à des instances d'image reconnues (14) ; enregistrer des plages de variation des paramètres (20) résultant des conformations du modèle générique ; synthétiser de multiples objets tridimensionnels (22) à partir du modèle générique en faisant varier les paramètres dans les plages de variation enregistrées ; et compléter le jeu de données (10) du système d'apprentissage par des projections des objets synthétisés (24) dans le plan des images.
Description
Domaine technique
L’invention est relative aux systèmes de reconnaissance d’objets mobiles, et notamment aux systèmes basés sur un apprentissage machine.
Arrière-plan
L’isolation et le suivi d’un objet mobile dans une séquence d’images peuvent être effectués par des algorithmes génériques relativement peu sophistiqués basés, par exemple, sur la soustraction d’arrière-plan. Par contre, il est plus difficile de classer les objets ainsi isolés dans des catégories que Ton souhaite détecter, c’est-à-dire reconnaître si l’objet est une personne, une voiture, un vélo, un animal, etc. En effet, les objets peuvent avoir une grande variété de morphologies dans les images de la séquence (position, taille, orientation, distorsion, texture, configuration d’éventuels appendices et éléments articulés, etc.). Les morphologies dépendent en outre de l’angle de vue et de l’objectif de la caméra qui filme la scène à surveiller. Parfois on souhaite également reconnaître des sous-classes (modèle de voiture, genre d’une personne).
Pour classer et détecter les objets on a généralement recours à un système d’apprentissage machine. Le classement s’appuie alors sur une base de connaissances ou un jeu de données élaboré par apprentissage. Un jeu de données initial est généralement généré lors d’une phase d’apprentissage dit supervisé, où un opérateur visionne des séquences d’images produites en contexte et annote manuellement les zones d’image correspondant aux objets à reconnaître. Cette phase est généralement longue et fastidieuse, car on cherche idéalement à capturer toutes les variantes possibles de la morphologie des objets de la classe, du moins suffisamment de variantes pour obtenir un taux de reconnaissance satisfaisant.
Pour alléger cette tâche initiale d’apprentissage supervisé, on a proposé des techniques d’apprentissage automatique où, plutôt que d’alimenter le jeu de données avec des images réelles annotées, on l’alimente avec des images synthétisées auto-annotées générées à partir de modèles tridimensionnels des objets à reconnaître. Une telle technique est décrite pour configurer un détecteur de piétons dans l’article [“Learning Scene-Specific Pedestrian Detectors without Real Data”, Hironori Hattori et al. 2015 IEEE Conférence on Computer Vision and Pattern Récognition (CVPR)]. Une technique similaire est décrite pour configurer un détecteur de voitures dans l’article [“Teaching 3D Geometry to Déformable Part Models”, Bojan Pepik et al. 2012 IEEE Conférence on Computer Vision and Pattern Récognition (CVPR)].
Une caractéristique de ces techniques est qu’elles génèrent de nombreuses images synthétisées qui, bien qu’elles soient conformes aux paramètres et contraintes des modèles 3D, ont des morphologies improbables. Cela encombre le jeu de données avec des images inutiles et peut ralentir la reconnaissance.
En outre, certains objets ont une morphologie tellement variable qu’il est difficile de reproduire de façon réaliste toutes les possibilités avec un modèle 3D ayant un nombre gérable de paramètres et contraintes. Il en résulte des lacunes dans le jeu de données et des défauts de détection de certains objets.
Résumé
On prévoit de façon générale un procédé de configuration automatique d’un système de reconnaissance d’une classe d’objets de morphologie variable, comprenant les étapes suivantes : prévoir un système d’apprentissage machine avec un jeu de données initial suffisant pour reconnaître des instances d’objets de la classe dans une séquence d’images d’une scène cible ; prévoir un modèle tridimensionnel générique spécifique à la classe d’objets, dont la morphologie est définissable par un jeu de paramètres ; acquérir une séquence d’images de la scène à l’aide d’une caméra ; reconnaître des instances d’image d’objets de la classe dans la séquence d’images acquise en utilisant le jeu de données initial ; conformer le modèle tridimensionnel générique à des instances d’image reconnues ; enregistrer des plages de variation des paramètres résultant des conformations du modèle générique ; synthétiser de multiples objets tridimensionnels à partir du modèle générique en faisant varier les paramètres dans les plages de variation enregistrées ; et compléter le jeu de données du système d’apprentissage par des projections des objets synthétisés dans le plan des images.
Le procédé peut comprendre les étapes suivantes : définir des paramètres du modèle tridimensionnel générique par les positions relatives d’amers d’un maillage du modèle, les positions des autres noeuds du maillage étant liées aux amers par des contraintes ; et opérer des conformations du modèle tridimensionnel générique en positionnant des amers d’une projection du modèle dans le plan des images.
Le procédé peut comprendre en outre les étapes suivantes : enregistrer des textures à partir de zones des instances d’image reconnues ; et plaquer sur chaque objet synthétisé une texture parmi les textures enregistrées.
Le jeu de données initial du système d’apprentissage peut être obtenu par un apprentissage supervisé impliquant au moins deux objets de la classe dont les morphologies sont à des extrêmes opposés d’un domaine de variation constaté des morphologies.
Description sommaire des dessins
Des modes de réalisation seront exposés dans la description suivante, faite à titre non limitatif en relation avec les figures jointes parmi lesquelles :
• la figure 1 représente un modèle générique tridimensionnel schématique d’un objet, projeté en différentes positions d’une scène vue par une caméra ; et • la figure 2 illustre schématiquement une phase de configuration d’un système d’apprentissage machine pour reconnaître des objets selon le modèle générique de la figure 1.
Description de modes de réalisation
Pour simplifier la phase de configuration initiale d’un détecteur d’objets, on propose, comme l’article susmentionné de Hironori Hattori, de configurer un système d’apprentissage machine à l’aide d’images synthétisées et auto-annotées à partir de modèles tridimensionnels. Cependant, pour améliorer le taux de reconnaissance, les modèles tridimensionnels sont obtenus à partir d’un modèle générique paramétrable qui a été au préalable conformé aux images d’objets réels filmés en contexte.
La figure 1 illustre un modèle générique simplifié d’un objet, à titre d’exemple une voiture, projeté sur une image en différentes positions d’un exemple de scène surveillée par une caméra fixe. La scène est ici, pour des raisons de simplicité, une rue traversant horizontalement le champ de vision de la caméra.
A l’arrière-plan, le modèle est projeté en trois positions alignées, au centre et près des bords gauche et droit de l’image. Au premier plan, le modèle est projeté dans une position légèrement à gauche. Toutes ces projections sont issues d’un même modèle du point de vue des dimensions et montrent les variations de morphologie des projections dans l’image en fonction de la position dans la scène. Dans une scène plus complexe, par exemple une rue courbe, on verrait également des variations de morphologie en fonction de l’orientation du modèle.
Les variations de morphologie en fonction de la position sont définies par la projection du plan sur lequel évoluent les objets, ici la rue. La projection du plan d’évolution est définie par des équations qui dépendent des caractéristiques de la caméra (angle de vue, focale et distorsion de l’objectif). Les arêtes perpendiculaires à l’axe de la caméra changent de taille homothétiquement en fonction de la distance à la caméra, et les arêtes parallèles à l’axe de la caméra suivent des lignes de fuite. Il en résulte que, lors d’un déplacement latéral d’une voiture dans la vue illustrée, la face avant de la voiture, initialement visible, est cachée à partir du centre de l’image, tandis que la face arrière, initialement cachée, devient visible à partir du centre de l’image. La face supérieure de la voiture, toujours visible dans cet exemple, se déforme en cisaillement selon des lignes de fuite.
En résumé, les projections d’un même objet dans l’image à des positions ou orientations différentes ont une morphologie variable, même si l’objet réel a une morphologie fixe. Bien entendu, les objets réels peuvent également avoir une morphologie variable, que ce soit d’un objet à l’autre (entre deux voitures de modèles différents), ou au cours du déplacement d’un même objet (piéton). Les systèmes à apprentissage sont bien adaptés à cette situation lorsqu’ils ont été configurés avec suffisamment de données pour représenter l’éventail de morphologies projetées les plus probables.
Le modèle générique tridimensionnel envisagé, par exemple de type PDM (« Point Distribution Model » ou modèle à distribution de points), peut comporter un maillage de noeuds liés les uns aux autres par des contraintes, c’est-à-dire des paramètres qui établissent les déplacements relatifs entre des noeuds adjacents ou les déformations du maillage que provoquent les déplacements de certains noeuds, dits amers (« landmarks »). Les amers sont choisis pour que leurs déplacements permettent d’atteindre toutes les morphologies souhaitées du modèle à l’intérieur des contraintes définies.
Comme le représente la figure 1, dans le premier plan, un modèle générique simplifié de voiture peut comporter, pour la carrosserie, un maillage de 16 noeuds définissant 10 surfaces rectangulaires et comportant 10 amers. Huit amers KO à K7 définissent l’une des faces latérales de la voiture, et les deux amers restants K8 et K9, situés sur l’autre face latérale, définissent la largeur de la voiture. Un seul amer suffirait à définir la largeur de la voiture, mais la présence de deux amers ou plus permettra de conformer le modèle à une projection d’un objet réel en tenant compte des déformations de la projection. Les roues sont un élément caractéristique d’une voiture et on peut leur attribuer un jeu d’amers spécifique, non représenté, définissant l’entre-axe, le diamètre et les points de contact avec la route.
Diverses contraintes peuvent être affectées à ces amers pour que le modèle soit conforme à la gamme de voitures à détecter, par exemple, maintenir le parallélisme entre les deux faces latérales ; maintenir le parallélisme entre les faces avant et arrière ; maintenir le parallélisme entre les arêtes perpendiculaires aux faces latérales ; assurer que les noeuds K3 et K5 soient au-dessus des noeuds Kl et K6 ; assurer que les noeuds K3 et K4 soient au-dessus des noeuds K2 et K5 ; assurer que les noeuds K2 et K3 soient à droite des noeuds Kl et K2 ; assurer que les noeuds K4 et K5 soient à gauche des noeuds K5 et K6, etc.
Comme on l’a précédemment indiqué, le modèle 3D générique illustré est simpliste, cela pour clarifier l’exposé. Dans la pratique, le modèle comprendra un maillage plus fin et permettant de définir des arêtes et des surfaces courbes.
La figure 2 illustre schématiquement une phase de configuration d’un système d’apprentissage machine pour reconnaître des voitures selon le modèle générique de la figure 1, à titre d’exemple. Le système d’apprentissage comprend un jeu de données 10 associé à une caméra 12 installée pour filmer une scène à surveiller, par exemple celle de la figure 1.
La phase de configuration peut démarrer à partir d’un jeu de données 10 existant, qui peut être sommaire et n’offrir qu’un faible taux de reconnaissance. Ce jeu de données existant peut avoir été produit par un apprentissage supervisé rapide et peu contraignant. Les étapes qui suivent servent à compléter le jeu de données pour atteindre un taux de reconnaissance satisfaisant.
Le système de reconnaissance est mis en marche et se met à reconnaître et suivre des voitures dans les images successives capturées par la caméra. Une instance d’image de chaque voiture reconnue est extraite en 14. Pour simplifier l’exposé, seule une face latérale des voitures est illustrée dans les instances - en réalité chaque instance est une projection en perspective dans laquelle d’autres faces sont le plus souvent visibles.
La caméra produit généralement plusieurs images qui contiennent chacune une instance de la même voiture, à des positions différentes. On peut choisir l’instance la plus grande, qui aura la meilleure résolution pour les opérations ultérieures.
Ensuite, le modèle 3D générique est conformé à chaque instance d’image ainsi extraite. Cela peut être effectué par un algorithme classique de conformation (« fitting ») qui cherche, par exemple, les meilleures correspondances entre l’image et les amers du modèle tel que projeté dans le plan de l’image. On peut également utiliser des algorithmes basés sur la détection d’amers, comme cela est décrit, par exemple, dans [“One Millisecond Face Alignment with an Ensemble of Régression Trees”, Vahid Kazemi et al. IEEE CVPR 2014], Bien entendu, il est préférable que d’autres faces des voitures soient visibles dans les instances pour que le modèle puisse être défini de manière complète.
Ces opérations de conformation produisent des modèles 3D censés être à l’échelle des objets réels. Pour cela, les opérations de conformation peuvent utiliser les équations de la projection du plan d’évolution de l’objet. Ces équations peuvent être déterminées manuellement à partir des caractéristiques de la caméra et de la configuration de la scène, ou bien estimées par le système dans une phase d’étalonnage utilisant, le cas échéant, des outils adaptés comme des caméras de profondeur. En sachant que les objets évoluent sur un plan, les équations peuvent être déduites à partir de la variation de la taille en fonction de la position des instances d’un objet suivi.
A l’issue de chaque conformation, on produit en 16 un modèle 3D représentant la voiture reconnue à l’échelle. Les modèles sont illustrés en deux dimensions, en correspondance avec les faces latérales extraites 14. (On remarque que le modèle 3D générique utilisé est conformable aussi bien à des voitures qu’à des fourgonnettes, voire à des autobus. Ainsi, le système est ici plutôt prévu pour reconnaître tout véhicule à quatre roues.)
Pendant l’étape de conformation, on peut également échantillonner les zones d’image correspondant aux différentes faces de la voiture, et stocker ces zones d’image sous forme de textures en 18.
Au bout d’une certaine durée d’acquisition, on aura collectionné sans supervision une multitude de modèles 3D représentant des voitures différentes, ainsi que leurs textures. Si le taux de reconnaissance offert par le jeu de données initial est faible, il suffit de prolonger la durée d’acquisition pour atteindre une collection ayant un nombre satisfaisant de modèles.
Lorsque la collection de modèles 16 est jugée satisfaisante, on compare les modèles entre eux en 20 et on relève pour chaque amer une plage de variation. On a illustré un exemple de plage de variation pour l’amer K6.
Les plages de variation peuvent définir des variations relatives affectant la forme du modèle lui-même, ou des variations absolues comme la position et l’orientation du modèle. L’un des amers, par exemple KO, peut servir de référence absolue. On peut lui attribuer des plages de variation absolue qui déterminent les positions et orientations possibles de la voiture dans l’image. Ces plages ne sont en fait pas directement déductibles des modèles enregistrés, puisque qu’un modèle enregistré peut être issu d’une seule instance choisie sur une multitude d’instances produites au cours du déplacement d’une voiture. On peut estimer les variations de position et d’orientation en les déduisant des multiples instances d’une voiture suivie, sans pour cela devoir effectuer une conformation complète du modèle générique à chaque instance.
Pour un amer diamétralement opposé à KO, par exemple K6, on pourra établir une plage de variation relativement à l’amer KO, qui détermine la longueur de la voiture. Pour un autre amer diamétralement opposé, par exemple K8, on pourra établir une plage de variation relativement à l’amer KO, qui détermine la largeur de la voiture. La plage de variation de chacun des autres amers peut être établi relativement à l’un de ses amers adjacents.
Une fois que les plages de variation sont établies, on synthétise en 22 une multitude de voitures 3D virtuelles à partir du modèle générique en faisant varier les amers dans leurs plages de variation respectives. Sur chaque voiture virtuelle on peut en outre plaquer l’une des textures 18. Les variations des amers peuvent être aléatoires, incrémentales, ou une combinaison des deux.
En 24, chaque voiture synthétisée est projetée dans le plan de l’image de la caméra pour former une instance d’image auto-annotée servant à compléter le jeu de données 10 du système d’apprentissage. Ces projections utilisent également les équations de la projection du plan d’évolution des voitures. Une même voiture synthétisée peut être projetée en plusieurs postions et orientations différentes, selon les plages de variation absolues précédemment déterminées. En général, les orientations sont corrélées aux positions, de sorte qu’on ne fera pas varier les deux paramètres de façon indépendante, sauf si on souhaite détecter des situations anormales, comme une voiture en travers de la route.
Si le jeu de données initial était insuffisant, le jeu de données complété par cette procédure pourrait encore comporter des lacunes empêchant la détection de certains modèles de voiture. Dans ce cas, on peut réitérer une phase de configuration automatique en partant du jeu de données complété. Ce jeu de données offre normalement un taux de reconnaissance supérieur au jeu initial, ce qui conduira à la constitution d’une collection de modèles 16 plus variée, permettant d’affiner les plages de variation de paramètres et de synthétiser des modèles 22 à la fois plus précis et variés pour alimenter de nouveau le jeu de données 10.
Comme on l’a précédemment indiqué, le jeu de données initial peut être produit par un apprentissage supervisé simple et rapide. Dans une telle procédure, un opérateur visionne des images de la scène filmée et, à l’aide d’une interface graphique, annote les zones d’image correspondant à des instances des objets à reconnaître.
Comme la procédure de configuration ultérieure est basée sur les variations morphologiques du modèle générique, l’opérateur peut avoir intérêt à annoter les objets exhibant les variations les plus importantes. Il peut ainsi annoter au moins deux objets dont les morphologies sont à des extrêmes opposés d’un domaine de variation qu’il aurait constaté visuellement.
L’interface peut être conçue pour établir les équations de la projection du plan d’évolution avec l’assistance de l’opérateur. L’interface peut ensuite proposer à l’opérateur de conformer manuellement le modèle générique à des zones d’image, offrant à la fois une annotation et la création des premiers modèles dans la collection 16.
Cette phase d’annotation est sommaire et rapide, l’objectif étant d’obtenir un jeu de données initial restreint permettant le démarrage de la phase de configuration automatique qui complétera le jeu de données.
De nombreuses variantes et modifications des modes de réalisation décrits ici apparaîtront à l’homme du métier. Bien que ces modes de réalisation concernent essentiellement la détection de voitures, la voiture n’est présentée qu’à titre d’exemple d’objet que l’on souhaite reconnaître. Les principes décrits sont applicables à tout objet que l’on peut modéliser de façon générique, notamment des objets déformables, comme des animaux ou des humains.
Claims (4)
- Revendications1. Procédé de configuration automatique d’un système de reconnaissance d’une classe d’objets de morphologie variable, comprenant les étapes suivantes :• prévoir un système d’apprentissage machine avec un jeu de données initial (10) suffisant pour reconnaître des instances d’objets de la classe dans une séquence d’images d’une scène cible ;• prévoir un modèle tridimensionnel générique spécifique à la classe d’objets, dont la morphologie est définissable par un jeu de paramètres ;• acquérir une séquence d’images de la scène à l’aide d’une caméra (12) ;• reconnaître des instances d’image (14) d’objets de la classe dans la séquence d’images acquise en utilisant le jeu de données initial ;• conformer le modèle tridimensionnel générique (16) à des instances d’image reconnues(14);• enregistrer des plages de variation des paramètres (20) résultant des conformations du modèle générique ;• synthétiser de multiples objets tridimensionnels (22) à partir du modèle générique en faisant varier les paramètres dans les plages de variation enregistrées ; et • compléter le jeu de données (10) du système d’apprentissage par des projections des objets synthétisés (24) dans le plan des images.
- 2. Procédé selon la revendication 1, comprenant les étapes suivantes :• définir des paramètres du modèle tridimensionnel générique par les positions relatives d’amers (K0-K9) d’un maillage du modèle, les positions des autres noeuds du maillage étant liées aux amers par des contraintes ; et • opérer des conformations du modèle tridimensionnel générique en positionnant des amers d’une projection du modèle dans le plan des images.
- 3. Procédé selon la revendication 1, comprenant les étapes suivantes :• enregistrer des textures (18) à partir de zones des instances d’image reconnues ; et • plaquer sur chaque objet synthétisé (22) une texture parmi les textures5 enregistrées.
- 4. Procédé selon la revendication 1, dans lequel le jeu de données initial du système d’apprentissage est obtenu par un apprentissage supervisé impliquant au moins deux objets de la classe dont les morphologies sont à des extrêmes opposés d’un domaine de variation constaté des morphologies.
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1662455A FR3060170B1 (fr) | 2016-12-14 | 2016-12-14 | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
US16/469,561 US11036963B2 (en) | 2016-12-14 | 2017-11-21 | Object recognition system based on an adaptive 3D generic model |
CA3046312A CA3046312A1 (fr) | 2016-12-14 | 2017-11-21 | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
IL267181A IL267181B2 (en) | 2016-12-14 | 2017-11-21 | An object recognition system based on a general three-dimensional model that can be adjusted |
KR1020197020073A KR102523941B1 (ko) | 2016-12-14 | 2017-11-21 | 범용 적응형 3d 모델을 기반으로 하는 객체 인식 |
CN201780076996.6A CN110199293A (zh) | 2016-12-14 | 2017-11-21 | 基于通用自适应3d模型的对象识别 |
PCT/FR2017/053191 WO2018109298A1 (fr) | 2016-12-14 | 2017-11-21 | Système de reconnaissance d'objets basé sur un modèle générique 3d adaptatif |
JP2019531411A JP7101676B2 (ja) | 2016-12-14 | 2017-11-21 | 包括的適応3dモデルに基づくオブジェクト認識 |
EP17811644.8A EP3555802A1 (fr) | 2016-12-14 | 2017-11-21 | Système de reconnaissance d'objets basé sur un modèle générique 3d adaptatif |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1662455A FR3060170B1 (fr) | 2016-12-14 | 2016-12-14 | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
FR1662455 | 2016-12-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
FR3060170A1 true FR3060170A1 (fr) | 2018-06-15 |
FR3060170B1 FR3060170B1 (fr) | 2019-05-24 |
Family
ID=58501514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1662455A Active FR3060170B1 (fr) | 2016-12-14 | 2016-12-14 | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
Country Status (9)
Country | Link |
---|---|
US (1) | US11036963B2 (fr) |
EP (1) | EP3555802A1 (fr) |
JP (1) | JP7101676B2 (fr) |
KR (1) | KR102523941B1 (fr) |
CN (1) | CN110199293A (fr) |
CA (1) | CA3046312A1 (fr) |
FR (1) | FR3060170B1 (fr) |
IL (1) | IL267181B2 (fr) |
WO (1) | WO2018109298A1 (fr) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3060170B1 (fr) * | 2016-12-14 | 2019-05-24 | Smart Me Up | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
US11462023B2 (en) | 2019-11-14 | 2022-10-04 | Toyota Research Institute, Inc. | Systems and methods for 3D object detection |
FR3104054B1 (fr) * | 2019-12-10 | 2022-03-25 | Capsix | Dispositif de definition d’une sequence de deplacements sur un modele generique |
US11736748B2 (en) * | 2020-12-16 | 2023-08-22 | Tencent America LLC | Reference of neural network model for adaptation of 2D video for streaming to heterogeneous client end-points |
KR20230053262A (ko) | 2021-10-14 | 2023-04-21 | 주식회사 인피닉 | 2d 현실공간 이미지를 기반의 3d 객체 인식 및 변환 방법과 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040175039A1 (en) * | 2003-03-06 | 2004-09-09 | Animetrics, Inc. | Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery |
US20060269143A1 (en) * | 2005-05-23 | 2006-11-30 | Tatsuo Kozakaya | Image recognition apparatus, method and program product |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5397985A (en) * | 1993-02-09 | 1995-03-14 | Mobil Oil Corporation | Method for the imaging of casing morphology by twice integrating magnetic flux density signals |
DE10252298B3 (de) * | 2002-11-11 | 2004-08-19 | Mehl, Albert, Prof. Dr. Dr. | Verfahren zur Herstellung von Zahnersatzteilen oder Zahnrestaurationen unter Verwendung elektronischer Zahndarstellungen |
EP1811456B1 (fr) * | 2004-11-12 | 2011-09-28 | Omron Corporation | Détecteur de point caractéristique de visage et détecteur de point caractéristique |
JP2007026400A (ja) | 2005-07-15 | 2007-02-01 | Asahi Engineering Kk | 可視光を用いた照度差の激しい場所での物体検出・認識システム、及びコンピュータプログラム |
JP4991317B2 (ja) * | 2006-02-06 | 2012-08-01 | 株式会社東芝 | 顔特徴点検出装置及びその方法 |
JP4585471B2 (ja) * | 2006-03-07 | 2010-11-24 | 株式会社東芝 | 特徴点検出装置及びその方法 |
JP4093273B2 (ja) * | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
JP4241763B2 (ja) * | 2006-05-29 | 2009-03-18 | 株式会社東芝 | 人物認識装置及びその方法 |
JP4829141B2 (ja) * | 2007-02-09 | 2011-12-07 | 株式会社東芝 | 視線検出装置及びその方法 |
US7872653B2 (en) * | 2007-06-18 | 2011-01-18 | Microsoft Corporation | Mesh puppetry |
US20100123714A1 (en) * | 2008-11-14 | 2010-05-20 | General Electric Company | Methods and apparatus for combined 4d presentation of quantitative regional parameters on surface rendering |
JP5361524B2 (ja) * | 2009-05-11 | 2013-12-04 | キヤノン株式会社 | パターン認識システム及びパターン認識方法 |
EP2333692A1 (fr) * | 2009-12-11 | 2011-06-15 | Alcatel Lucent | Procédé et agencement pour correspondance d'images améliorée |
KR101697184B1 (ko) * | 2010-04-20 | 2017-01-17 | 삼성전자주식회사 | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 |
KR101681538B1 (ko) * | 2010-10-20 | 2016-12-01 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
JP6026119B2 (ja) * | 2012-03-19 | 2016-11-16 | 株式会社東芝 | 生体情報処理装置 |
GB2515510B (en) * | 2013-06-25 | 2019-12-25 | Synopsys Inc | Image processing method |
US9299195B2 (en) * | 2014-03-25 | 2016-03-29 | Cisco Technology, Inc. | Scanning and tracking dynamic objects with depth cameras |
US9633483B1 (en) * | 2014-03-27 | 2017-04-25 | Hrl Laboratories, Llc | System for filtering, segmenting and recognizing objects in unconstrained environments |
FR3021443B1 (fr) * | 2014-05-20 | 2017-10-13 | Essilor Int | Procede de construction d'un modele du visage d'un individu, procede et dispositif d'analyse de posture utilisant un tel modele |
CN104182765B (zh) * | 2014-08-21 | 2017-03-22 | 南京大学 | 一种互联网图像驱动的三维模型最优视图自动选择方法 |
US10559111B2 (en) * | 2016-06-23 | 2020-02-11 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
FR3060170B1 (fr) * | 2016-12-14 | 2019-05-24 | Smart Me Up | Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif |
-
2016
- 2016-12-14 FR FR1662455A patent/FR3060170B1/fr active Active
-
2017
- 2017-11-21 WO PCT/FR2017/053191 patent/WO2018109298A1/fr unknown
- 2017-11-21 KR KR1020197020073A patent/KR102523941B1/ko active IP Right Grant
- 2017-11-21 EP EP17811644.8A patent/EP3555802A1/fr not_active Withdrawn
- 2017-11-21 JP JP2019531411A patent/JP7101676B2/ja active Active
- 2017-11-21 CA CA3046312A patent/CA3046312A1/fr active Pending
- 2017-11-21 US US16/469,561 patent/US11036963B2/en active Active
- 2017-11-21 IL IL267181A patent/IL267181B2/en unknown
- 2017-11-21 CN CN201780076996.6A patent/CN110199293A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040175039A1 (en) * | 2003-03-06 | 2004-09-09 | Animetrics, Inc. | Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery |
US20060269143A1 (en) * | 2005-05-23 | 2006-11-30 | Tatsuo Kozakaya | Image recognition apparatus, method and program product |
Also Published As
Publication number | Publication date |
---|---|
IL267181B (en) | 2022-11-01 |
IL267181B2 (en) | 2023-03-01 |
IL267181A (en) | 2019-08-29 |
US20190354745A1 (en) | 2019-11-21 |
WO2018109298A1 (fr) | 2018-06-21 |
US11036963B2 (en) | 2021-06-15 |
CN110199293A (zh) | 2019-09-03 |
CA3046312A1 (fr) | 2018-06-21 |
EP3555802A1 (fr) | 2019-10-23 |
JP2020502661A (ja) | 2020-01-23 |
KR102523941B1 (ko) | 2023-04-20 |
JP7101676B2 (ja) | 2022-07-15 |
KR20190095359A (ko) | 2019-08-14 |
FR3060170B1 (fr) | 2019-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018109298A1 (fr) | Système de reconnaissance d'objets basé sur un modèle générique 3d adaptatif | |
JP6844038B2 (ja) | 生体検出方法及び装置、電子機器並びに記憶媒体 | |
WO2019091787A1 (fr) | Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d'ordinateur associé | |
FR2986198A1 (fr) | Appareil et programme de commande de champ acoustique | |
WO2013088076A1 (fr) | Système de tournage de film vidéo | |
EP2593907A1 (fr) | Procédé de détection d'une cible dans des images stéréoscopiques par apprentissage et classification statistique à partir d'une loi de probabilité | |
FR2858447A1 (fr) | Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications | |
FR3025918A1 (fr) | Procede et systeme de modelisation automatisee d'une piece | |
WO2019121056A1 (fr) | Methode de reconnaissance d'objets dans une scene observee en trois dimensions | |
FR3013488A1 (fr) | Procede d'estimation de la vitesse de deplacement d'une camera | |
Ge et al. | Three-dimensional location methods for the vision system of strawberry-harvesting robots: development and comparison | |
FR3014229A1 (fr) | Reconnaissance de formes par correction d'image | |
FR3002673A1 (fr) | Procede et dispositif d'imagerie tridimensionnelle d'une region partielle de l'environnement d'un vehicule | |
EP3759430A1 (fr) | Systeme de modelisation tridimensionnelle d'une scene par photogrammetrie multi-vue | |
EP0961227A1 (fr) | Procédé de détection de la profondeur relative entre deux objects dans une scène à partir d'un couple d'images issues de prises de vues différentes | |
FR2972281A1 (fr) | Procede et systeme pour estimer une similarite entre deux images binaires | |
FR3021205A1 (fr) | Procede de determination d'au moins un parametre comportemental | |
FR3083352A1 (fr) | Procede et dispositif de detection rapide de structures repetitives dans l'image d'une scene routiere | |
FR3039919A1 (fr) | Suivi d’une cible dans un reseau de cameras | |
EP2877979B1 (fr) | Methode monocamera de determination d'une direction d'un solide | |
EP2769360B1 (fr) | Procédé de localisation d'objets par résolution dans l'espace tridimensionnel de la scène | |
FR3065097A1 (fr) | Procede automatise de reconnaissance d'un objet | |
EP2904543A1 (fr) | Procédé de comptage de personnes pour appareil stéréoscopique et appareil stéréoscopique de comptage de personnes correspondant | |
EP1095358A1 (fr) | Procede de modelisation d'objets ou de scenes 3d | |
FR3015099A1 (fr) | Systeme et dispositif d'aide a la detection et au suivi automatise d'objets mouvants ou de personnes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20180615 |
|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |
|
PLFP | Fee payment |
Year of fee payment: 5 |
|
PLFP | Fee payment |
Year of fee payment: 6 |
|
PLFP | Fee payment |
Year of fee payment: 7 |
|
PLFP | Fee payment |
Year of fee payment: 8 |